Stroj za igru šah zasnovan na potpornom učenju

diplomski rad

• Naslov (engleski): Chess Game Engine Based on Reinforcement Learning
• Autor: Sven Njegač
• Mentor: Marin Šilić (mentor)
• Član povjerenstva: Marin Šilić (predsjednik povjerenstva)
• Član povjerenstva: Siniša Srbljić (član povjerenstva)
• Član povjerenstva: Željko Ilić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2018-07-13, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Prvi dio diplomskog rada obuhvaća teoriju potrebnu za razvoj šahovskog robota, dok drugi dio pokazuje kako je stečeno znanje primjenjeno u praksi.
U teorijskom dijelu objašnjen je problem potpornog učenja te je rečeno da je gotovo isti kao problem MDP-a. Jedina razlika je nepoznatost unutarnjih vjerojatnosti problema potpornog učenja. Zatim je objašnjen postupak rješavanja MDP-a. Tehnike korištene pri rješavanju MDP-a su potom primjenjene na problem potpornog učenja što je rezultiralo razičitim RL algoritmima. Završni algoritam je konstruiran kombinacijom najboljih dijelova razvijenih RL algoritama.
Praktični dio je podijeljen u dva glavna dijela. Razvoj okoline i agenta. Razvoj okoline sastojao se od razvoja stroja za igru šah, grafičkog prikaza, okoline te poslužitelja okoline korištenjem programskog jezika Java. Razvijena okolina u programskom jeziku Java je potom povezana sa OpenAI Gym alatom putem TCP veze kako bi mogla biti korištena u Python-u. Agent je u potpunosti razvijen korištenjem programskog jezika Python, a modeliran je po uzoru na algoritam 𝑇𝐷(𝜆).
Rezultati i mjerenja pokazuju da agent napreduje tokom učenja.

Sažetak (engleski)

The first part of this master thesis covers the theory needed for construction of the chess bot, while second part shows how acquired knowledge is applied in practice.
In the theoretical part, it is described what reinforcement learning problem is and that it is almost exactly as Markov decision process, except its inner probabilities are unknown to an agent. Afterwards solving the MDP was explained. Techniques for solving the MDP were then applied to the reinforcement learning problem which resulted in different RL algorithms. Those approaches were then combined into one which consists of the best parts among all of them.
Practical work was divided into two main parts, environment and agent development. Environment development consisted of creating the chess game engine, GUI, environment and chess environment server in the programming language Java. Furthermore, the constructed environment in Java was connected via TCP connection with OpenAI Gym toolkit so it can be used from Python. The agent was fully implemented using only the Python programming language and it is modelled as a 𝑇𝐷(𝜆) algorithm.
Evaluation of results shows that agent is improving and that its performance is getting better through the learning period.

• Ključne riječi: potporno učenje; agent; okolina; nagrada; šah; robot
• Ključne riječi (engleski): reinforcement learning; agent; environment; reward; chess; bot
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:368327
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 23:27:50