Semantička segmentacija strukturiranog okruženja mobilnog robota

undergraduate thesis

• Title (english): Semantic segmentation of a structured environment for mobile robots
• Author: Baraa Yassin
• Mentor: Matko Orsag (mentor)
• Committee member: Matko Orsag (član povjerenstva)
• Committee member: Filip Zorić (član povjerenstva)
• Committee member: Jakob Domislović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-10, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Ovaj projekt implementirao je sustav semantičke segmentacije koristeći NVIDIA-ine Segformer modele, integrirane unutar okvira ROS 2 i enkapsulirane u Docker okruženju. Sustav je uspješno segmentirao fotografije i video tok podataka, pokazujući robusnost tijekom dnevnih uvjeta, ali suočavajući se s izazovima u uvjetima slabog osvjetljenja i zbog nedovoljne upotrebe GPU-a. Ključni doprinosi uključuju implementaciju modela Segformer i ROS 2 integraciju, unaprjeđujući potencijal za aplikacije u stvarnom vremenu poput autonomne vožnje. Budući rad će se usredotočiti na optimizaciju računalne snage, poboljšanje performansi pri slabom osvjetljenju i poboljšanje mogućnosti u stvarnom vremenu kroz optimizaciju modela i integraciju proširene stvarnosti.

Abstract (english)

This project integrated a semantic segmentation system using NVIDIA's Segformer models, integrated within a ROS 2 framework and encapsulated in a Docker environment. The system successfully segmented still images and video streams, demonstrating robustness during daytime conditions but facing challenges under low-light scenarios and due to insufficient GPU utilization. Key contributions include the implementation of Segformer models and ROS 2 integration, advancing the potential for real-time applications like autonomous driving. Future work will focus on optimizing computational power, improving low-light performance, and enhancing real-time capabilities through model optimization and augmented reality integration.

• Keywords: Semantička segmentacija; Računalni vid; ROS 2; Docker; Neuronska mreža; Umjetna inteligencija; Mobilni roboti; Strojno učenje; Skup podataka; Python; Huggingface
• Keywords (english): Semantic segmentation; Computer vision; ROS 2; Docker; Neural network; Artificial intelligence; Mobile robots; Machine learning; Dataset; Python; Huggingface
• Language: english
• URN:NBN: urn:nbn:hr:168:292856
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 22:31:10