Primjena dubokog podržanog učenja na problem optimalnog izvršenja naloga

master's thesis

• Title (english): Application of Deep Reinforcement Learning to the Problem of Optimal Order Execution
• Author: Marino Tomaš
• Mentor: Zvonko Kostanjčar (mentor)
• Committee member: Zvonko Kostanjčar (predsjednik povjerenstva)
• Committee member: Tomislav Petković (član povjerenstva)
• Committee member: Stjepan Begušić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-13, Croatia

Abstract

Kod problema optimalnog izvršenja naloga, potrebno je odrediti kako optimalno podijeliti jedan volumno veliki nalog za kupnju ili prodaju u skup naloga s manjim volumenima, s ciljem maksimizacije profita i minimizacije rizika. Za rješavanje ovog problema korišteno je duboko podržano učenje, kombinacija dubokog i podržanog učenja u kojoj se duboke neuronske mreže koriste kao funkcijski aproksimatori za reprezentaciju politike i/ili funkcije vrijednosti stanja. U sklopu ovog rada razvijen je sofisticirani model utjecaja na tržište korištenjem empirijski potvrđenih funkcija utjecaja na tržište. Zatim su na navedeni model primijenjene dvije metode dubokog podržanog učenja, PPO i Rainbow DQN, kao i klasični pristupi problemu optimalnog izvršenja naloga. Izvršena je usporedba performansi rezultata navedenih pristupa, te su analizirane dobivene politike podržanog učenja.

Abstract (english)

The problem of optimal order execution involves determining how to optimally divide one large bid or ask order into a set of orders with smaller volumes, with the goal of maximizing profits and minimizing risks. To address this problem, we employ deep reinforcement learning, a combination of deep learning and reinforcement learning in which deep neural networks serve as function approximators to represent the policy and/or state value function. As part of this work, a sophisticated market impact model based on empirically corroborated market impact functions was developed. Subsequently, two deep reinforcement learning models, PPO and Rainbow DQN, as well as classical approaches to the problem of optimal order execution, were applied to it. A comparative performance evaluations of all the approaches was performed, and the resulting reinforcement learning policies were analyzed.

• Keywords: optimalno izvršenje naloga; utjecaj na tržište; podržano učenje; duboko učenje; duboko podržano učenje; duboko Q-učenje; proksimalna optimizacija politika
• Keywords (english): optimal order execution; market impact; reinforcement learning; deep learning; deep reinforcement learning; deep Q-learning; proximal policy optimization
• Language: croatian
• URN:NBN: urn:nbn:hr:168:143217
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 10:47:23