Minimizacija ukupne prijeđene udaljenosti od početne do odredišne lokacije pomoću potpornog učenja

diplomski rad

• Naslov (engleski): Minimizing Total Driven Distance from Source to Destination Using Reinforcement Learning
• Autor: Martina Petak
• Mentor: Marin Šilić (mentor)
• Član povjerenstva: Marin Šilić (predsjednik povjerenstva)
• Član povjerenstva: Siniša Srbljić (član povjerenstva)
• Član povjerenstva: Goran Delač (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2018-07-18, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Minimizacija cijene puta pogodna je situacija za primjenu metoda potpornog učenja. Iz tog razloga, ovaj projekt predstavlja jedno moguće rješnje na takav problem u dinamičkim uvjetima.
Za simuliranje epizoda korišten je SUMO alat, a za upravljanje i implementaciju sustava korišten je Python jezik.
Odabrani algoritam učenja je Watkinsov Q(λ) kao algoritam vremenske razlike učenja s tragovima pouzdanosti, a kao strategija istraživanja implementirana su dva pristupa. Epsilon-pohlepni pristup s vjerojatnošću ε poduzima nasumične akcije, dok Boltzmanov pristup modelira vjerojatnost Boltzmanovom distribucijom kako bi balansirao između istraživanja i iskorištavanja znanja.
Evaluacija algoritma otkiva da se agenta može naučiti snalaženju u prometu, što se očituje u povećanju kumulativne nagrade i smanjenju pogrešaka RMSE i MAE.

Sažetak (engleski)

Travel cost minimisation is a convenient situation for applying reinforcement learning methods. For this reason, this project represents one possible solution to this problem in dynamical conditions.
The SUMO tool was used to simulate the episodes, and the Python language was used to manage and implement the system.
The chosen learning algorithm is Watkins’s Q(λ) as a temporal difference learning algorithm with eligibility traces, and two approaches have been implemented as a research strategy. Epsilon-greedy approach with probability ε takes random action, while Boltzman approach models the probability with Boltzman's distribution to balance between exploration and exploitation of knowledge.
Evaluation of the algorithm discloses that the agent can be learned to operate in traffic environment, as the increment in accumulated reward and reduction in errors RMSE and MAE can be noticed.

• Ključne riječi: potporno učenje; strategija istraživanja; Q-učenje; više agenata; Python; SUMO; PyRL; minimizacija cijene puta
• Ključne riječi (engleski): reinforcement learning; exploration strategy; Q-learning; multiagent; Python; SUMO; PyRL; travel cost minimization
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:376061
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 23:53:15