Polunadzirano učenje semantičke segmentacije slika primjenom konzistencijskih kriterija

doctoral thesis

• Title (english): Semi-supervised learning of semantic segmentation of images by applying consistency criteria
• Author: Ivan Grubišić
• Mentor: Siniša Šegvić (mentor)
• Committee member: Tomislav Hrkać (predsjednik povjerenstva)
• Committee member: Vladimir Čeperić (član povjerenstva)
• Committee member: Damjan Miklić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Electronics, Microelectronics, Computer and Intelligent Systems); Zagreb
• Defense date and country: 2024, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

Polunadzirano učenje je važno za praktičnu primjenu dubokih modela jer ublažava ovisnost o označenim podacima. Ono je posebno zanimljivo u kontekstu guste predikcije, gdje označavanje na razini piksela zahtijeva velik napor. Ovaj rad razmatra oblike polunadziranog učenja koji uz nadzirani gubitak potiču konzistenciju predikcija u perturbacijama ulaznog podatka. Istražili smo formulacije konzistencije s obzirom na smjer konzistencije i perturbiranje ulaza. Oblikovali smo učinkovit algoritam za polunadzirano učenje modela za semantičku segmentaciju. Konačno, predložili smo novi perturbacijski model koji je posebno prikladan za polunadzirano učenje modela za gustu predikciju. Teorijska analiza i empirijski uvidi pokazuju da najbolju generalizaciju postiže jednosmjerna konzistencija s čistim učiteljem. Ovaj oblik polunadziranog konzistencijskog učenja traži se da jedan primjerak modela, učenik, bude konzistentan s drugim, učiteljem, i samo se učenikov ulaz (jako) perturbira. Jednosmjerna konzistencija ima i prednost memorijske učinkovitosti u odnosu na dvosmjernu jer za određivanje gradijenta ne mora pamtiti međurezultate učitelja. Eksperimenti se usredotočuju na učinkovite modele koji su važni za primjene na štedljivom sklopovlju i u stvarnom vremenu. Još neki zaključci istraživanja su: (1) fotometrijske perturbacije su puno korisnije od geometrijskih za semantičku segmentaciju, (2) korištenje pokretnog prosjeka učenikovih parametara u učitelju ima prednost nad jednostavnim dijeljenjem učenikovih parametara samo kad je dostupno vrlo malo označenih podataka, (3) polunadzirano učenje može biti bolja alternativa dodatnim grubim oznakama. Generalizacijska izvedba predložene metode nadmašuje sve prethodne i konkurentne pristupe za polunadziranu semantičku segmentaciju.

Abstract (english)

Semi-supervised learning is important for practical applications of deep models because it alleviates the dependence on labeled data. It is particularly interesting in the context of dense prediction, where labeling at the pixel level requires a lot of effort. This paper considers forms of semi-supervised learning that, together with supervised loss, promote the consistency of predictions in perturbations of the input data. We investigated consistency formulations with respect to the consistency direction and input perturbations. We designed an efficient algorithm for semi-supervised learning for semantic segmentation. Finally, we proposed a new perturbation model that is particularly suitable for semi-supervised learning of dense prediction models. Theoretical analysis and empirical insights show that the best generalization is achieved by one-way consistency with a clean teacher. This form of semi-supervised consistency learning requires one instance of the model, the student, to be consistent with another, the teacher, and only the student's input is (strongly) perturbed. One-way consistency also has the advantage of memory efficiency compared to two-way consistency because it does not have to keep the teacher's intermediate results in memory for computing the gradient. Experiments focus on efficient models that are important for resource-efficient and real-time applications. Some other research findings include: (1) photometric perturbations are much more useful than geometric ones for semantic segmentation, (2) using a moving average of the student's parameters in the teacher is advantageous over simple parameter sharing when there is very little labeled data available, (3) semi-supervised learning can be a better alternative to additional coarse labels. The generalization performance of the proposed method surpasses all previous and competitive approaches for semi-supervised semantic segmentation.

• Keywords: polunadzirano učenje; semantička segmentacija; konzistencijsko učenje; jednosmjerna konzistencija
• Keywords (english): semi-supervised learning; semantic segmentation; consistency training; one-way consistency
• Language: croatian
• URN:NBN: urn:nbn:hr:168:164672
• Promotion: 2023
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-04-03 11:24:04