Stereo vizualna lokalizacija mete u 3D prostoru

undergraduate thesis

• Title (english): Stereo visual target localization in 3D space
• Author: Danijel Stracenski
• Mentor: Marija Seder (mentor)
• Committee member: Marija Seder (predsjednik povjerenstva)
• Committee member: Goran Popović (član povjerenstva)
• Committee member: Antea Hadviger (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2020-07-16, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Cilj ovoga rada je riješiti problem lokalizacije predmeta u prostoru pomoću stereo računarskog vida. Kao implementacija rješenja ovoga problema odabrana je autonomna navigacija robota do pokretnog cilja.
U okviru rada, najprije je pojašnjena funkcionalnost RealSense D435 stereo kamere te komunikacija programa za navigaciju s robotom Turtlebot3 Waffle pomoću ROS-a. Nakon toga je objašnjen princip dobivanja udaljenosti predmeta iz slike dispariteta dobivene stereo kamerom. Kako bi dobili lokaciju predmeta u trodimenzionalnom prostoru, potrebno je poznavati njegovu lokaciju na slici što ostvarujemo praćenjem. Implementirano je dvostruko praćenje putem vizualnih svojstava predmeta i pomoću apriltag oznaka.
Iz sada poznatih lokacija objekata na slici prijelazi se na samu lokalizaciju smještavanjem objekata u metrični koordinatni sustav kamere. Nadalje se iz pozicija robota i cilja dobiva vektor pomaka koji svojom orijentacijom i duljinom pokazuje ima li potrebe bilo za rotacijom ili za translacijom. Ovim postupkom robot je spreman na moguće nenadane kretnje cilja te u konačnici dolazi do odredišta.

Abstract (english)

The main goal of this paper is to solve the problem of target localization with stereo imaging. The solution is implemented on the autonomous navigation of the robot to the moving target.
Firstly, this paper explains the functionality of the RealSense D435 stereo camera and shows the basic structure of ROS aided communication between the robot and the main navigation program. This is followed by the principle of getting distance from a disparity image. To be able to localize objects in three-dimensional space we first have to know its location on the image which is done with the object tracking. Double tracking is implemented for the sake of accuracy, with visual attributes tracking and primary apriltag tracking.
From known image positions of objects, we can now localize them in the metric coordinate system of the camera. Secondly, from the location of the robot and target, we are calculating the displacement vector whose orientation and length give needed rotation and transition. This way the robot is ready for possible unexpected movement from the target and in the end it arrives at the target destination.

• Keywords: stereo; računarski vid; lokalizacija; praćenje; ROS; TurtleBot; RealSense D435; triangulacija; disparitet; stereopsija; distorzija; robotika; apriltag
• Keywords (english): stereo; computer vision; localization; tracking; ROS; TurtleBot; RealSense D435; triangulation; disparity map; stereopsis; distortion; robotics; apriltag
• Language: croatian
• URN:NBN: urn:nbn:hr:168:350230
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-14 21:42:15