Primjena dubokog podržanog učenja na problem optimalnog izvršenja naloga

diplomski rad

• Naslov (engleski): Application of Deep Reinforcement Learning to the Problem of Optimal Order Execution
• Autor: Marino Tomaš
• Mentor: Zvonko Kostanjčar (mentor)
• Član povjerenstva: Zvonko Kostanjčar (predsjednik povjerenstva)
• Član povjerenstva: Tomislav Petković (član povjerenstva)
• Član povjerenstva: Stjepan Begušić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-13, Hrvatska

Sažetak

Kod problema optimalnog izvršenja naloga, potrebno je odrediti kako optimalno podijeliti jedan volumno veliki nalog za kupnju ili prodaju u skup naloga s manjim volumenima, s ciljem maksimizacije profita i minimizacije rizika. Za rješavanje ovog problema korišteno je duboko podržano učenje, kombinacija dubokog i podržanog učenja u kojoj se duboke neuronske mreže koriste kao funkcijski aproksimatori za reprezentaciju politike i/ili funkcije vrijednosti stanja. U sklopu ovog rada razvijen je sofisticirani model utjecaja na tržište korištenjem empirijski potvrđenih funkcija utjecaja na tržište. Zatim su na navedeni model primijenjene dvije metode dubokog podržanog učenja, PPO i Rainbow DQN, kao i klasični pristupi problemu optimalnog izvršenja naloga. Izvršena je usporedba performansi rezultata navedenih pristupa, te su analizirane dobivene politike podržanog učenja.

Sažetak (engleski)

The problem of optimal order execution involves determining how to optimally divide one large bid or ask order into a set of orders with smaller volumes, with the goal of maximizing profits and minimizing risks. To address this problem, we employ deep reinforcement learning, a combination of deep learning and reinforcement learning in which deep neural networks serve as function approximators to represent the policy and/or state value function. As part of this work, a sophisticated market impact model based on empirically corroborated market impact functions was developed. Subsequently, two deep reinforcement learning models, PPO and Rainbow DQN, as well as classical approaches to the problem of optimal order execution, were applied to it. A comparative performance evaluations of all the approaches was performed, and the resulting reinforcement learning policies were analyzed.

• Ključne riječi: optimalno izvršenje naloga; utjecaj na tržište; podržano učenje; duboko učenje; duboko podržano učenje; duboko Q-učenje; proksimalna optimizacija politika
• Ključne riječi (engleski): optimal order execution; market impact; reinforcement learning; deep learning; deep reinforcement learning; deep Q-learning; proximal policy optimization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:143217
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:47:23