Teleoperacija mobilnog robota korištenjem reprezentacije digitalnog blizanca temeljenoj na virtualnoj stvarnosti

master's thesis

• Title (english): Mobile Robot Teleoperation using a Virtual Reality-based Representation of a Digital Twin
• Author: Mateo Paladin
• Mentor: Lea Skorin-Kapov (mentor)
• Committee member: Lea Skorin-Kapov (predsjednik povjerenstva)
• Committee member: Maja Matijašević (član povjerenstva)
• Committee member: Mirko Sužnjević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2025-02-20, Croatia

Abstract

Ovaj diplomski rad predstavlja dizajn i implementaciju VRobo sustava koji upravlja fizičkim robotom unutar digitalnog blizanca temeljenog na virtualnoj stvarnosti. Omogućuje daljinsko upravljanje robotom u stvarnom vremenu s pomoću sučelja virtualne stvarnosti. Koristi ROS za upravljanje robotom i njegovim senzorima te Unity game engine za stvaranje imerzivne aplikacije virtualne stvarnosti sa sučeljem za upravljanje robotom unutar Meta Quest 3 virtualnih naočala. Komunikacija sustava optimizirana je s pomoću ROS Bridge-a i 5G mreže koja omogućuje komunikaciju niskog kašnjenja i koja omogućava postizanje visoke razine sinkronizacije između dvaju robota odnosno korištenih tehnologija. Rad sadrži i testiranje kvalitete iskustva kako bi se dobili dodani podaci o svojstvima sustava, fokusirajući se na zadovoljstvo korisnika, intuitivnost sučelja za upravljanje robotom te razinu imerzije upravljača. Ovaj rad pridonosi području robotike i virtualne stvarnosti, korištenju digitalnih blizanaca i 5G mreži. Stvara vezu između virtualnih okruženja i mobilnih robota u stvarnom svijetu, ali također pomaže u stvaranju i integraciji aplikacija virtualne stvarnosti za upravljanje dinamičkim okruženjima stvarnog svijeta.

Abstract (english)

This master’s thesis presents the design and implementation of the VRobo prototype that integrates a physical robot with a virtual reality-based digital twin, allowing real-time teleoperation of the robot using a VR interface. It uses ROS to control the robot and its sensors and uses the Unity game engine to create an immersive virtual reality application for Meta Quest 3 with an interface for controlling the robot. The prototype communication is optimized using ROS Bridge and a 5G network to enable low-latency communication and achieve elevated levels of synchronization between the robots and technologies used. Quality of Experience testing was conducted in order to evaluate system performance, focusing on user satisfaction, intuitive interface for controlling the robot, and levels of operator immersion. This work advances the integration of robotics and virtual reality, using digital twins and 5G networks. It bridges the gap between virtual environments and real-world robotic control but also helps in creation and integration of virtual reality applications for operating dynamic real-world environments.

• Keywords: Mobilni Robot; Teleoperacija; VR; Virtualna Stvarnost; Digitalni Blizanac; ROS; Unity; Meta Quest 3
• Keywords (english): Mobile Robot; Teleoperation; VR; Virtual Reality; Digital Twin; ROS; Unity; Meta Quest 3
• Language: english
• URN:NBN: urn:nbn:hr:168:817106
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-03-12 11:14:55