Planiranje gibanja robotske ruke imitacijom pokreta čovjeka praćenog monokularnom kamerom

diplomski rad

• Naslov (engleski): Robot arm motion planning by imitating human motion tracked with a monocular camera
• Autor: Ana Jambrešić
• Mentor: Marija Seder (mentor)
• Član povjerenstva: Ivan Marković (predsjednik povjerenstva)
• Član povjerenstva: Ivan Petrović (član povjerenstva)
• Član povjerenstva: Luka Petrović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-10, Hrvatska

Sažetak

Razvoj sposobnosti robota da imitira ljudske pokrete znatno je transformirao industriju a tako i svakodnevni život. Ovaj diplomski rad fokusira se na razvoj sustava za praćenje pokreta čovjeka monokularnom kamerom te pretvorba tog pokreta u digitalni oblik i izvršavanje na robotskoj ruci Kinova Jaco. Korištenje samo monokularne kamere uklanja potrebu za složenom i skupom kamerom te čini proces teleoperacije intuitivnim i pristupačnim. U radu se primjenjuju algoritmi inverzne, direktne i diferencijalne kinematike za upravljanje robotskom rukom te model neuronske mreže otvorenog koda za detekciju i analizu pokreta ruku čovjeka. Integracija s ROS sustavom omogućava efikasno prenošenje ljudskog pokreta na robotsku ruku u stvarnom vremenu. Testiranje sustava je provedeno kroz simulacije u Gazebo okruženju te praktičnim eksperimentima s Kinova Jaco robotskom rukom.

Sažetak (engleski)

The development of robots capabilities to imitate human movements has significantly transformed the industry as well as everyday life. This thesis focuses on developing a system for tracking human movements using a monocular camera, converting these movements into digital form, and executing them on the Kinova Jaco robotic arm. The use of only a monocular camera eliminates the need for complex and expensive equipment, making the teleoperation process intuitive and accessible. The study applies algorithms for inverse, forward, and differential kinematics for controlling the robotic arm and an open-source neural network model for detecting and analyzing human hand movements. Integration with the ROS system enables efficient transfer of human motion to the robotic arm in real-time. System testing was conducted through simulations in the Gazebo environment and practical experiments with the Kinova Jaco robotic arm.

• Ključne riječi: teleoperacija; direktna kinematika; inverzna kinematika; diferencijalna kinematika; MediaPipe; Kinova Jaco; ROS
• Ključne riječi (engleski): teleoperation; forward kinematics; inverse kinematics; differential kinematics; MediaPipe; Kinova Jaco; ROS
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:905660
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:55:19