Virtualna i proširena stvarnost za udaljeno upravljanje robotom

diplomski rad

• Naslov (engleski): Virtual and Augmented Reality for Remote Robot Control
• Autor: Paula Đonlić
• Mentor: Ana Sović Kržić (mentor)
• Član povjerenstva: Ana Sović Kržić (predsjednik povjerenstva)
• Član povjerenstva: Damir Seršić (član povjerenstva)
• Član povjerenstva: Mladen Vučić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-06-29, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu povezuju se obilježja virtualne stvarnosti i robotike. Iz Fischertechnik TXT Discovery seta slaže se jednostavni robot čiji se dijelovi spajaju na malo računalo Raspberry Pi. Izgled robota je proizvoljan, no mora sadržavati četiri bitna dijela: dvije kamere i dva encoder motora. Opisana je implementacija virtualne stvarnosti koristeći kamere s robota, mobilnu aplikaciju te VR naočale. Prateći aplikaciju, napisan je Python program koji ostvaruje prijenos slike s RPi-ja na lokalnu Web stranicu. Aplikacija učitava odgovarajuću Web stranicu te na taj način ostvaruje prijenos slike na mobilni uređaj. On se zatim pozicionira u VR naočale i pruža korisniku doživljaj svijeta (virtualne stvarnosti) iz perspektive robota. Uz implementaciju virtualne stvarnosti, ostvareno je udaljeno upravljanje robotom uz pomoć dodatne aplikacije. Nova aplikacija također je popraćena Python kôdom. Kôd omogućava povezivanje aplikacije s RPi-jem preko Bluetooth-a. Preko ostvarene veze, šalju se odgovarajući podaci koji pokreću robota u željenom smjeru. Aplikacija nudi dvije opcije udaljenog upravljanja: pomoći tipki te pomoću akcelerometra. Konačno, implementirana je treća mogućnost koja spaja dosad ostvarene operacije u jednoj aplikaciji. Primjenom već napisanog Python programa za Bluetooth spajanje te malo izmijenjenog kôda za prijenos slike, ostvarena je aplikacija koja omogućuje istovremeno praćenje slike i udaljeno upravljanje robotom. Aplikacija učitava sliku iz jedne kamere, pozicionira ju u središte zaslona te oko slike prikazuje tipke za upravljanje ili upute za upravljanje, ovisno o odabranom načinu upravljanja robotom.

Sažetak (engleski)

This paper connects the features of virtual reality and robotics. Using Fischertechnik’s TXT Discovery set, a simple robot is built whose parts are connected to a small Raspberry Pi computer. The appearance of the robot is arbitrary, but it must contain four essential parts: two cameras and two encoder motors. The implementation of virtual reality is described using cameras from the robot, a mobile application and VR glasses. Following the application, there’s a Python program that transfers the image from the RPi to a local Web page. The application loads the Web page and thus transfers the image to the mobile device. The mobile device is then positioned in VR glasses and provides the user with an experience of the world (virtual reality) from a robot perspective. With the implementation of virtual reality, remote robot control was achieved with the help of an additional application. The new application is also accompanied by Python code. The code allows you to connect the application to the RPi via Bluetooth. Through the established connection, the appropriate data is sent, which moves the robot in the desired direction. The application offers two remote control options: using control buttons and using the accelerometer sensor. Finally, a third option has been implemented that combines the operations performed so far in a single application. Using the already written Python program for Bluetooth connection and a slightly modified code for image transfer, an application was created that allows simultaneous image tracking and remote robot control. The application loads the image from one camera, positions it in the center of the screen and displays control buttons or control instructions around the image, depending on the selected robot control mode.

• Ključne riječi: virtualna stvarnost; robotika; mobilna aplikacija; Python kôd; Raspberry Pi
• Ključne riječi (engleski): virtual reality; robotics; mobile application; Python code; Raspberry Pi
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:253643
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 14:52:03