Illumination estimation and segmentation in multi illuminant scenes

doctoral thesis

• Title (croatian): Procjena i segmentacija osvjetljenja u scenama s više osvjetljenja
• Author: Donik Vršnak
• Mentor: Sven Lončarić (mentor)
• Committee member: Marko Subašić (predsjednik povjerenstva)
• Committee member: Zoran Kalafatić (član povjerenstva)
• Committee member: Lidija Mandić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-07, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

Computational color constancy can be done in two steps, illumination estimation and color correction (also referred to as white balancing). The illumination estimation problem is ill-posed, since it is impossible to determine which combination of illumination and reflectance created the color that is seen by the camera sensor. The number of illuminants present in the scene defines the type of problem, i.e., single-illumination and multi-illumination problems.

The focus of the thesis is on multi-illumination methods. These can be separated into multi-illumination estimation methods and image segmentation methods based on illumination. The goal of segmentation methods is to create a mask indicating the areas where only one illuminant is present. They are designed to work in concert with more well-researched single-illumination estimation methods. Multi-illumination estimation methods produce an estimation for each pixel in the scene. The focus is on the implementation and analysis of methods for both multi-illuminant estimation and segmentation. They are implemented using deep-learning-based techniques and achieve state-of-the-art performance on their respective problems. Deep-learning models based on convolutional layers are selected because they show great performance and generalization capabilities. For deep-learning methods, the question of the training dataset is important. For the proposed task, a real-world dataset with 2500 images was used for scenes with two sources of illumination. For scenes with three or more sources, an artificial dataset was created.

Abstract (croatian)

Računalna konstantnost boje provodi se u dva koraka: procjena osvjetljenja i korekcija boje (također zvano balansiranje bijele boje). Problem procjene osvjetljenja je poddefiniran, jer je nemoguće odrediti kombinaciju osvjetljenja i refleksije koja je stvorila boju koju senzor kamere vidi. Broj svjetlosnih izvora prisutnih u sceni određuje vrstu problema, odnosno probleme s jednim svjetlosnim izvorom i probleme s više svjetlosnih izvora.

Fokus ovog diplomskog rada je na metodama za procjenu više osvjetljenja. Te se metode mogu podijeliti na metode procjene više osvjetljenja i metode segmentacije slike na temelju osvjetljenja. Cilj metoda segmentacije je stvaranje maske koja označava područja na kojima je prisutan samo jedan izvor osvjetljenja. One su osmišljene da rade u skladu s bolje istraženim metodama procjene osvjetljenja s jednim izvorom. Metode procjene više osvjetljenja daju procjenu za svaki piksel u sceni. Fokus je na implementaciji i analizi metoda za procjenu više osvjetljenja i segmentaciju. One su implementirane pomoću tehnika temeljenih na dubokom učenju i postižu rezultate na najvišoj razini u svojim odgovarajućim problemima. Modeli dubokog učenja temeljeni na konvolucijskim slojevima odabrani su jer pokazuju izvrsne performanse i sposobnosti generalizacije. Kod dubokog učenja pitanje skupa podataka za treniranje je važno. Za predloženi zadatak korišten je stvarni skup podataka sa 2500 slika za scene s dva izvora osvjetljenja. Za scene s tri ili više izvora osvjetljenja, stvoren je umjetni skup podataka.

• Keywords: Color Constancy; Illumination Estimation; Image Segmentation; Deep Learning
• Keywords (croatian): Postojanost boja; Procjena Osvjetljenja; Segmentacija Osvjetljenja; Duboko Učenje
• Language: english
• URN:NBN: urn:nbn:hr:168:257613
• Promotion: 2024
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• Extent: viii, 100 str. : graf. prikazi
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-02-21 15:01:43