Stereo vizualna lokalizacija mete u 3D prostoru

završni rad

• Naslov (engleski): Stereo visual target localization in 3D space
• Autor: Danijel Stracenski
• Mentor: Marija Seder (mentor)
• Član povjerenstva: Marija Seder (predsjednik povjerenstva)
• Član povjerenstva: Goran Popović (član povjerenstva)
• Član povjerenstva: Antea Hadviger (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-16, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Cilj ovoga rada je riješiti problem lokalizacije predmeta u prostoru pomoću stereo računarskog vida. Kao implementacija rješenja ovoga problema odabrana je autonomna navigacija robota do pokretnog cilja.
U okviru rada, najprije je pojašnjena funkcionalnost RealSense D435 stereo kamere te komunikacija programa za navigaciju s robotom Turtlebot3 Waffle pomoću ROS-a. Nakon toga je objašnjen princip dobivanja udaljenosti predmeta iz slike dispariteta dobivene stereo kamerom. Kako bi dobili lokaciju predmeta u trodimenzionalnom prostoru, potrebno je poznavati njegovu lokaciju na slici što ostvarujemo praćenjem. Implementirano je dvostruko praćenje putem vizualnih svojstava predmeta i pomoću apriltag oznaka.
Iz sada poznatih lokacija objekata na slici prijelazi se na samu lokalizaciju smještavanjem objekata u metrični koordinatni sustav kamere. Nadalje se iz pozicija robota i cilja dobiva vektor pomaka koji svojom orijentacijom i duljinom pokazuje ima li potrebe bilo za rotacijom ili za translacijom. Ovim postupkom robot je spreman na moguće nenadane kretnje cilja te u konačnici dolazi do odredišta.

Sažetak (engleski)

The main goal of this paper is to solve the problem of target localization with stereo imaging. The solution is implemented on the autonomous navigation of the robot to the moving target.
Firstly, this paper explains the functionality of the RealSense D435 stereo camera and shows the basic structure of ROS aided communication between the robot and the main navigation program. This is followed by the principle of getting distance from a disparity image. To be able to localize objects in three-dimensional space we first have to know its location on the image which is done with the object tracking. Double tracking is implemented for the sake of accuracy, with visual attributes tracking and primary apriltag tracking.
From known image positions of objects, we can now localize them in the metric coordinate system of the camera. Secondly, from the location of the robot and target, we are calculating the displacement vector whose orientation and length give needed rotation and transition. This way the robot is ready for possible unexpected movement from the target and in the end it arrives at the target destination.

• Ključne riječi: stereo; računarski vid; lokalizacija; praćenje; ROS; TurtleBot; RealSense D435; triangulacija; disparitet; stereopsija; distorzija; robotika; apriltag
• Ključne riječi (engleski): stereo; computer vision; localization; tracking; ROS; TurtleBot; RealSense D435; triangulation; disparity map; stereopsis; distortion; robotics; apriltag
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:350230
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 21:42:15