Podržano duboko učenje za hvatanje objekata robotskom rukom

undergraduate thesis

• Title (english): Deep reinforcement learning for object grasping with a robotic arm
• Author: Luka Žmak
• Mentor: Ivan Marković (mentor)
• Committee member: Ivan Marković (član povjerenstva)
• Committee member: Vlaho-Josip Štironja (član povjerenstva)
• Committee member: Jelena Gregorić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-05, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Ovaj rad istražuje primjenu podržanog učenja u hvatanju objekata robotskom rukom koristeći neuronske mreže unutar akter-kritičar modela. Model se oslanja na Q-učenje, gdje i akter i kritičar posjeduju svoje ciljne mreže za stabilnije učenje. Akter odabire akcije temeljem politike koja se optimizira kroz proces učenja, dok kritičar procjenjuje vrijednost tih akcija koristeći Bellmanove jednadžbe za izračunavanje vrijednosti stanja. Akcije su pomak pozicije i orijentacije robotske ruke, a stanje je trenutna konfiguracija pozicije, orijentacije i udaljenosti između prstiju robotskog hvatača. Cilj je maksimizirati zbroj svih nagrada kroz vrijeme, prilagođavajući politiku aktera kako bi se postigle optimalne akcije.

Abstract (english)

This paper explores the application of reinforcement learning in object grasping with a robotic arm using neural networks within the actor-critic model. The model relies on Q-learning, where both the actor and the critic possess their target networks for more stable learning. The actor selects actions based on a policy that is optimized through the learning process, while the critic evaluates the value of those actions using Bellman equations to calculate the state values. The actions involve adjusting the position and orientation of the robotic arm, and the state is defined by the current configuration of the position, orientation, and distance between the fingers of the robotic gripper. The goal is to maximize the sum of all rewards over time, adjusting the actor's policy to achieve optimal actions.

• Keywords: podržano duboko učenje; Q-učenje; Bellmanove jednadžbe; akter-kritičar; neuronske mreže
• Keywords (english): deep reinforcement learning; Q-learning; Bellman equation; actor-critic; neural networks
• Language: croatian
• URN:NBN: urn:nbn:hr:168:148592
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 22:34:57