Primjena jezičnih ugrađivanja za semantičku segmentaciju

diplomski rad

• Naslov (engleski): Application of language embeddings for semantic segmentation
• Autor: Ivan Martinović
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Jan Šnajder (član povjerenstva)
• Član povjerenstva: Leonardo Jelenković (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-10, Hrvatska

Sažetak

Semantička segmentacija zadatak je iz područja računalnoga vida koji za cilj ima odrediti pripadnost svakog piksela slike odgovarajućem semantičkom razredu. Rad se sastoji od 3 dijela, a poveznica između ta tri dijela rješavanje je zadatka semantičke segmentacije scena vožnje. U prvom dijelu rada bavimo se semantičkom segmentacijom scena vožnje u teškim vremenskim uvjetima. Korištenjem skupa podataka za učenje koji se sastojao od slika iz više dostupnih skupova podataka te pseudooznačavanjem neoznačenih slika naučili smo model koji je ostvario drugi rezultat na ACDC2023 natjecanju. Drugi dio rada bavi se semantičkom segmentacijom primjenom jezičnih ugrađivanja, a cilj ovog dijela vidjeti je pomaže li korištenje jezičnih ugrađivanja generalizaciji. Modele smo učili na umjetnom skupu slika vožnje koje su dobivene iz računalne igrice GTA5, a vrednovali na stvarnim slikama vožnje. Dobiveni rezultati ukazuju da korištenje jezičnih ugrađivanja može poboljšati performanse modela na slikama iz stvarne domene. Konačno, treći dio rada bavi se semantičkom segmentacijom scena vožnje u okviru nenadziranog prilagođavanja domene. Reproducirali smo rezultate koji predstavljaju stanje tehnike te eksperimentirali s različitim verzijama konvolucijskih okosnica. Korištenje konvolucijskih okosnica nije uspjelo nadmašiti originalno korištenje arhitekture Transformer na zadatku prilagođavanja domene, iako su korištene konvolucijske okosnice prednaučene na puno većim skupovima podataka.

Sažetak (engleski)

Semantic segmentation is a computer vision task that aims to assign a class label to every pixel in an input image. This thesis is divided into three main parts, all connected by the goal of solving semantic segmentation for driving scenes. In the first part, we address the task of semantic segmentation for driving scenes under adverse weather conditions. We collected images from diverse datasets and applied pseudo-labeling to unlabeled images. The model trained on this dataset achieved the second-best results in the ACDC2023 challenge. In the second part of the thesis, the investigation revolves around the application of language embeddings for semantic segmentation. The primary goal is to explore whether incorporating language embeddings facilitates domain generalization and contributes to the development of more robust models. Synthetic images extracted from the GTA5 video game were utilized to train the models, while the evaluation was conducted on real-world driving scene images. The findings reveal that the integration of language embeddings has the potential to enhance domain generalization capabilities. Lastly, the thesis delves into solving semantic segmentation for driving scenes through unsupervised domain adaptation. We reproduced state-of-the-art results and conducted experiments using various convolutional architectures as backbones. However, the application of convolutional backbones did not yield improved results compared to using the Transformer architecture, despite the convolutional backbones being pretrained on much larger datasets.

• Ključne riječi: duboko učenje; računalni vid; semantička segmentacija; jezična ugrađivanja u računalnom vidu; nenadzirana adaptacija domene; generalizacija domene; natjecanje ACDC
• Ključne riječi (engleski): deep learning; computer vision; semantic segmentation; language embeddings in computer vision; unsupervised domain adaptation; domain generalization; ACDC challenge
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:185610
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 09:44:04