Robotsko učenje za zadatke manipulacije

diplomski rad

• Naslov (engleski): Robot learning for manipulation tasks
• Autor: Marko Kuzmić
• Mentor: Marija Seder (mentor)
• Član povjerenstva: Ivan Marković (predsjednik povjerenstva)
• Član povjerenstva: Ivan Petrović (član povjerenstva)
• Član povjerenstva: Luka Petrović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-10, Hrvatska

Sažetak

Ovaj rad istražuje primjenu Q-learning algoritma za učenje zadataka robotske manipulacije u simuliranim okruženjima Mountain-Car i Cart-Pole. Q-learning je off-policy algoritam za učenje putem potkrepljenja (reinforcement learning) koji uči optimalne akcije temeljeći se na interakciji s okruženjem i dobivenim nagradama. Eksperimentalni rezultati pokazuju da je Q-learning algoritam uspješno naučio agente kako izvršavati složene zadatke manipulacije, postižući visoke performanse u oba okruženja. U Mountain-Car okruženju, agent je naučio iskoristiti inerciju automobila za savladavanje brda, dok je u Cart-Pole okruženju agent uspješno naučio balansirati polugu na kolicima. Prednosti Q-learning algoritma uključuju jednostavnost, robusnost i jamstvo konvergencije prema optimalnoj politici uz pravilno postavljanje hiperparametara. Međutim, algoritam ima ograničenja vezana uz diskretizaciju prostora stanja i memorijske zahtjeve. Budući rad predlaže primjenu deep Q-learninga, naprednih strategija istraživanja, optimizaciju hiperparametara, primjenu na stvarnim robotskim sustavima i istraživanje hibridnih pristupa kako bi se poboljšala učinkovitost i skalabilnost algoritma. Ovi rezultati pružaju osnovu za daljnja istraživanja i primjenu Q-learning algoritma u stvarnim robotskim sustavima.

Sažetak (engleski)

This thesis explores the application of the Q-learning algorithm for learning robotic manipulation tasks in simulated environments, specifically Mountain-Car and Cart-Pole. Q-learning is an off-policy reinforcement learning algorithm that learns optimal actions based on interaction with the environment and received rewards. Experimental results demonstrate that the Q-learning algorithm successfully taught agents to perform complex manipulation tasks, achieving high performance in both environments. In the Mountain-Car environment, the agent learned to use the car's inertia to climb the hill, while in the Cart-Pole environment, the agent successfully learned to balance the pole on the cart. The advantages of the Q-learning algorithm include simplicity, robustness, and guaranteed convergence to the optimal policy with proper hyperparameter tuning. However, the algorithm has limitations related to the discretization of state spaces and memory requirements. Future work suggests applying deep Q-learning, advanced exploration strategies, hyperparameter optimization, application to real robotic systems, and exploring hybrid approaches to improve the efficiency and scalability of the algorithm. These results provide a basis for further research and application of the Q-learning algorithm in real robotic systems.

• Ključne riječi: reinforcement learning (RL); robotska manipulacija; sintetički podaci; simulacije; autonomni robotski sustavi
• Ključne riječi (engleski): reinforcement learning (RL); robot manipulation; synthetic data; simulations; autonomous robotic system
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:205283
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 21:17:02