Convolutional neural networks for illumination estimation in complex illumination environments

disertacija

• Naslov (hrvatski): Konvolucijske neuronske mreže za procjenu osvjetljenja u složenim svjetlosnim uvjetima
• Autor: Ilija Domislović
• Mentor: Marko Subašić (mentor)
• Član povjerenstva: Sven Lončarić (predsjednik povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Član povjerenstva: Lidija Mandić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za elektroničke sustave i obradbu informacija); Zagreb
• Datum i država obrane: 2023, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

The Human Visual System allows us to perceive the world around us. Illumination has a significant effect on an object's color, but humans perceive object color as relatively constant regardless of illumination color. This ability is called color constancy. Unlike humans, cameras are unable to do this automatically, resulting in unnatural-looking images. Methods that emulate the Human Visual System have been proposed. Research has shown that learning-based methods achieve the best results. For the proper usage of learning-based methods, a large number of samples are needed. There are not many multi-illuminant datasets, as their creation is a laborious process. This thesis explores both illumination estimation method development as well as methods for the creation of multi-illuminant datasets. For illumination estimation, five methods, one for single-illuminant and four for multi-illuminant estimation, were developed. The single-illuminant method is a lightweight convolutional neural network that achieves state-of-the-art results on existing datasets. The multi-illuminant methods were created for three situations: one method for when the number of illuminants is known a priori, one method for patch-by-patch estimation, and two methods for pixel-by-pixel estimation. Two dataset creation methods were also developed: one for the creation and labeling of real-world two-illuminant images and one for the creation of images with diverse non-uniform illumination. Experiments show that all proposed methods achieve comparable or better results than methods from the literature.

Sažetak (hrvatski)

Ljudski vizualni sustav omogućuje nam da vidimo svijet oko nas. Osvjetljenje ima značajan utjecaj na boju predmeta, ali ljudi percipiraju boju predmeta kao relativno konstantnu bez obzira na boju osvjetljenja. Tu sposobnost nazivamo postojanost boje. Za razliku od ljudi, kamere to ne rade automatski, što rezultira u slikama koje izgledaju neprirodno. Postoje metode koje oponašaju tu sposobnost ljudskog vizualnog sustava. Istraživanja su pokazala da metode temeljene na učenju postižu najbolje rezultate. Kako bi metode temeljene na učenju pravilno radile potreban je velik broj uzoraka. Nema mnogo skupova podataka s više osvjetljenja jer njihovo stvaranje je naporan proces. Ova disertacija istražuje razvoj metode procjene osvjetljenja i razvoj metoda za stvaranje skupova podataka s više osvjetljenja. Za procjenu osvjetljenja razvijeno je pet metoda, jedna za procjenu jednog i četiri za procjenu više osvjetljenja. Metoda za jedno osvjetljenje je jednostavna konvolucijska neuronska mreža koja postiže dobre rezultate na postojećim skupovima podataka. Metode za više osvjetljenja stvorene su za tri situacije: jedna metoda kada je broj osvjetljenja poznat, jedna metoda za procjenu osvjetljenja sličica po sličica i dvije metode za procjenu osvjetljenja piksel po piksel. Razvijene su još i dvije metode za stvaranja skupa podataka, jedna za izradu i označavanje slika s dva osvjetljenja u stvarnom svijetu i jedna za izradu slika s raznolikim neuniformnim osvjetljenjem. Eksperimenti pokazuju da sve predložene metode postižu usporedive ili bolje rezultate od metoda iz literature.

• Ključne riječi: machine learning; neural networks; image processing; image analysis; data sets; color constancy
• Ključne riječi (hrvatski): strojno učenje; neuronske mreže; obrada slika; analiza slika; skupovi podataka; postojanost boja
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:676218
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• URL zapisa u katalogu: https://publib.fer.hr/cgi-bin/koha/opac-detail.pl?biblionumber=54426
• Vrsta resursa: Tekst
• Opseg: viii, 126 str.
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-05-03 07:01:20