Polunadzirano učenje semantičke segmentacije slika primjenom konzistencijskih kriterija

disertacija

• Naslov (engleski): Semi-supervised learning of semantic segmentation of images by applying consistency criteria
• Autor: Ivan Grubišić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Tomislav Hrkać (predsjednik povjerenstva)
• Član povjerenstva: Vladimir Čeperić (član povjerenstva)
• Član povjerenstva: Damjan Miklić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave); Zagreb
• Datum i država obrane: 2024, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

Polunadzirano učenje je važno za praktičnu primjenu dubokih modela jer ublažava ovisnost o označenim podacima. Ono je posebno zanimljivo u kontekstu guste predikcije, gdje označavanje na razini piksela zahtijeva velik napor. Ovaj rad razmatra oblike polunadziranog učenja koji uz nadzirani gubitak potiču konzistenciju predikcija u perturbacijama ulaznog podatka. Istražili smo formulacije konzistencije s obzirom na smjer konzistencije i perturbiranje ulaza. Oblikovali smo učinkovit algoritam za polunadzirano učenje modela za semantičku segmentaciju. Konačno, predložili smo novi perturbacijski model koji je posebno prikladan za polunadzirano učenje modela za gustu predikciju. Teorijska analiza i empirijski uvidi pokazuju da najbolju generalizaciju postiže jednosmjerna konzistencija s čistim učiteljem. Ovaj oblik polunadziranog konzistencijskog učenja traži se da jedan primjerak modela, učenik, bude konzistentan s drugim, učiteljem, i samo se učenikov ulaz (jako) perturbira. Jednosmjerna konzistencija ima i prednost memorijske učinkovitosti u odnosu na dvosmjernu jer za određivanje gradijenta ne mora pamtiti međurezultate učitelja. Eksperimenti se usredotočuju na učinkovite modele koji su važni za primjene na štedljivom sklopovlju i u stvarnom vremenu. Još neki zaključci istraživanja su: (1) fotometrijske perturbacije su puno korisnije od geometrijskih za semantičku segmentaciju, (2) korištenje pokretnog prosjeka učenikovih parametara u učitelju ima prednost nad jednostavnim dijeljenjem učenikovih parametara samo kad je dostupno vrlo malo označenih podataka, (3) polunadzirano učenje može biti bolja alternativa dodatnim grubim oznakama. Generalizacijska izvedba predložene metode nadmašuje sve prethodne i konkurentne pristupe za polunadziranu semantičku segmentaciju.

Sažetak (engleski)

Semi-supervised learning is important for practical applications of deep models because it alleviates the dependence on labeled data. It is particularly interesting in the context of dense prediction, where labeling at the pixel level requires a lot of effort. This paper considers forms of semi-supervised learning that, together with supervised loss, promote the consistency of predictions in perturbations of the input data. We investigated consistency formulations with respect to the consistency direction and input perturbations. We designed an efficient algorithm for semi-supervised learning for semantic segmentation. Finally, we proposed a new perturbation model that is particularly suitable for semi-supervised learning of dense prediction models. Theoretical analysis and empirical insights show that the best generalization is achieved by one-way consistency with a clean teacher. This form of semi-supervised consistency learning requires one instance of the model, the student, to be consistent with another, the teacher, and only the student's input is (strongly) perturbed. One-way consistency also has the advantage of memory efficiency compared to two-way consistency because it does not have to keep the teacher's intermediate results in memory for computing the gradient. Experiments focus on efficient models that are important for resource-efficient and real-time applications. Some other research findings include: (1) photometric perturbations are much more useful than geometric ones for semantic segmentation, (2) using a moving average of the student's parameters in the teacher is advantageous over simple parameter sharing when there is very little labeled data available, (3) semi-supervised learning can be a better alternative to additional coarse labels. The generalization performance of the proposed method surpasses all previous and competitive approaches for semi-supervised semantic segmentation.

• Ključne riječi: polunadzirano učenje; semantička segmentacija; konzistencijsko učenje; jednosmjerna konzistencija
• Ključne riječi (engleski): semi-supervised learning; semantic segmentation; consistency training; one-way consistency
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:164672
• Datum promocije: 2023
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-04-03 11:24:04