Primjena jezičnih ugrađivanja za semantičku segmentaciju

master's thesis

• Title (english): Application of language embeddings for semantic segmentation
• Author: Ivan Martinović
• Mentor: Siniša Šegvić (mentor)
• Committee member: Siniša Šegvić (predsjednik povjerenstva)
• Committee member: Jan Šnajder (član povjerenstva)
• Committee member: Leonardo Jelenković (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-10, Croatia

Abstract

Semantička segmentacija zadatak je iz područja računalnoga vida koji za cilj ima odrediti pripadnost svakog piksela slike odgovarajućem semantičkom razredu. Rad se sastoji od 3 dijela, a poveznica između ta tri dijela rješavanje je zadatka semantičke segmentacije scena vožnje. U prvom dijelu rada bavimo se semantičkom segmentacijom scena vožnje u teškim vremenskim uvjetima. Korištenjem skupa podataka za učenje koji se sastojao od slika iz više dostupnih skupova podataka te pseudooznačavanjem neoznačenih slika naučili smo model koji je ostvario drugi rezultat na ACDC2023 natjecanju. Drugi dio rada bavi se semantičkom segmentacijom primjenom jezičnih ugrađivanja, a cilj ovog dijela vidjeti je pomaže li korištenje jezičnih ugrađivanja generalizaciji. Modele smo učili na umjetnom skupu slika vožnje koje su dobivene iz računalne igrice GTA5, a vrednovali na stvarnim slikama vožnje. Dobiveni rezultati ukazuju da korištenje jezičnih ugrađivanja može poboljšati performanse modela na slikama iz stvarne domene. Konačno, treći dio rada bavi se semantičkom segmentacijom scena vožnje u okviru nenadziranog prilagođavanja domene. Reproducirali smo rezultate koji predstavljaju stanje tehnike te eksperimentirali s različitim verzijama konvolucijskih okosnica. Korištenje konvolucijskih okosnica nije uspjelo nadmašiti originalno korištenje arhitekture Transformer na zadatku prilagođavanja domene, iako su korištene konvolucijske okosnice prednaučene na puno većim skupovima podataka.

Abstract (english)

Semantic segmentation is a computer vision task that aims to assign a class label to every pixel in an input image. This thesis is divided into three main parts, all connected by the goal of solving semantic segmentation for driving scenes. In the first part, we address the task of semantic segmentation for driving scenes under adverse weather conditions. We collected images from diverse datasets and applied pseudo-labeling to unlabeled images. The model trained on this dataset achieved the second-best results in the ACDC2023 challenge. In the second part of the thesis, the investigation revolves around the application of language embeddings for semantic segmentation. The primary goal is to explore whether incorporating language embeddings facilitates domain generalization and contributes to the development of more robust models. Synthetic images extracted from the GTA5 video game were utilized to train the models, while the evaluation was conducted on real-world driving scene images. The findings reveal that the integration of language embeddings has the potential to enhance domain generalization capabilities. Lastly, the thesis delves into solving semantic segmentation for driving scenes through unsupervised domain adaptation. We reproduced state-of-the-art results and conducted experiments using various convolutional architectures as backbones. However, the application of convolutional backbones did not yield improved results compared to using the Transformer architecture, despite the convolutional backbones being pretrained on much larger datasets.

• Keywords: duboko učenje; računalni vid; semantička segmentacija; jezična ugrađivanja u računalnom vidu; nenadzirana adaptacija domene; generalizacija domene; natjecanje ACDC
• Keywords (english): deep learning; computer vision; semantic segmentation; language embeddings in computer vision; unsupervised domain adaptation; domain generalization; ACDC challenge
• Language: croatian
• URN:NBN: urn:nbn:hr:168:185610
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 09:44:04