Decentralizirano upravljanje jatom robota korištenjem potpornog strojnog učenja

diplomski rad

• Naslov (engleski): Decentralized control of a flock of robots using reinforcement machine learning
• Autor: Lovro Gotovac
• Mentor: Stjepan Bogdan (mentor)
• Član povjerenstva: Stjepan Bogdan (predsjednik povjerenstva)
• Član povjerenstva: Zdenko Kovačić (član povjerenstva)
• Član povjerenstva: Goran Vasiljević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Svrha ovog rada bila je, koristeći potporno učenje, naučiti jednog agenta (studenta) da se ponaša kao drugi agenti u jatu (učitelji) koji koriste Reynoldsova pravila. Odnosno, cilj je bio istrenirati kontroler temeljen na potpornom učenju koji se uči ``promatrajući'' izlaze iz Reynoldsovog kontrolera. U radu je dan kratki sažetak onih Reynoldsovih pravila korištenih za kontroler, kohezija, separacija, poravnanje i izbjegavanje prepreka. Također, dan je i sažetak potpornog učenja. Opisane su Bellmanove jednadžbe koje su i začele ideju o potpornom učenju. Opisan je Q-learning algoritam temeljen na tim jednadžbama. Objašnjen je razlog prelaska iz tabličnih algoritama kao što je Q-learning u aproksimativne algoritme kao što je DQN (aproksimacija Q vrijednosti) i DDPG (aproksimacija politike) te je dan njihov opis. Također, opisani su programski paketi korišteni u izradi ovog rada. Konačno, opisana je struktura koda korištenog za simulaciju i prikazani su rezultati učenja za sva tri algoritma. DDPG algoritam pokazao se najboljim za rješavanje ovakve vrste problema.

Sažetak (engleski)

This thesis's main goal was to use reinforcement learning to train one agent (student) to behave like other agents in a flock (teachers), which use Reynolds rules to produce flocking. That is, the goal was to train an RL controller that learns by ``observing'' the outputs of the Reynolds controller. This thesis gives a short description of the main Reynolds rules used for the Reynolds controller, cohesion, separation, alignment, and obstacle avoidance, as well as a description and goals of reinforcement learning. First, the fundamental RL equations were described - the Bellman equations. Then, the Q-learning algorithm was explained and the need for value approximation (DQN) or policy approximation (DDPG) instead of the tabular methods. Finally, the structure of the used code was given, and the results of the three algorithms were analysed. It was shown that the DDPG algorithm performed best for this problem.

• Ključne riječi: Reynoldsova pravila; potporno učenje; Q-learning; DQN; DDPG; ROS; Stage
• Ključne riječi (engleski): Reynolds rules; reinforcement learning; Q-learning; DQN; DDPG; ROS; Stage
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:577957
• Studijski program: Naziv: Elektrotehnika i informacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka elektrotehnike i informacijske tehnologije (mag. ing. el. techn. inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 14:58:53