Kolorizacija slika korištenjem uvjetnih generativnih suparničkih mreža

master's thesis

• Title (english): Image colorization using conditional generative adversarial nets
• Author: David Ergović
• Mentor: Tomislav Hrkać (mentor)
• Committee member: Tomislav Hrkać (predsjednik povjerenstva)
• Committee member: Zoran Kalafatić (član povjerenstva)
• Committee member: Leonardo Jelenković (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-10, Croatia

Abstract

Kolorizacija slika je proces kojim se svakom pikselu sivih nijansi dodjeljuje boja koja slici daje više informacija i time unaprjeđuje ljudsko vizualno iskustvo. Boja koja se dodjeljuje predstavljena je matematičkim modelom koji se naziva prostor boja. Korišen je LAB prostor boja. Postoji više pristupa kolorizaciji sivih slika, a najveće skupine su: potpuno automatizirana kolorizacija, polu-automatizirana kolorizacija, kolorizacija vođena tekstom i kolorizacija temeljena na referentnim slikama. U radu se koristi potpuno automatizirana kolorizacija temeljena na uvjetnoj generativnoj suparničkoj mreži. Problem je formuliran kao zadatak konverzije slike iz jedne domene u drugu domenu (iz domene sive slike u domenu slike u boji). COCO2017 je skup podataka koji sam koristio za rješavanje problema, a pošto taj skup sadrži slike u boji postupak predobrade iz slike u boji stvara sivu sliku - odvajanjem L kanala iz trokanalne slike. Provedena su četiri eksperimenta treniranja uvjetne generativne suparničke neuronske mreže s različitim broje epoha, veličina grupa i brojem slika, a krajnji rezultati su zadovoljavajući s obzirom na korištene resurse (memoriju, vrijeme). Poboljšanje bi se moglo očekivati ukoliko se primjeni složeniji model s većim vremenom treniranja.

Abstract (english)

Image colorization is process that assings color to each grey pixel in image. Color gives additional information and boosts human visual experience. Color is represented with mathematical model called color space. In this work, LAB color space is used. There is more then one approach in domain of the colorization greyscale images. Biggest groups are: fully automated colorization, semi-automated colorization, text driven colorization and colorization based on reference images. This work uses fully automated colorization approach based on conditional generative adversarial neural network. Problem is formulated as task of translation image from one domain to the another (from greyscale image to color image). To solve the problem I used COCO2017 as my dataset. This dataset is consisted only of color images, so I used preprocess technique that all color images easily convert to greysacle images using just one channel - L channel. Four experiments are conducted with different number of epochs, batch and dataset sizes. Final results are satisfactory considering available resources (memory and time). Improvements could be done if a more complex model with a longer training time is applied.

• Keywords: kolorizacija; LAB prostor boja; uvjetna generativna suparnička mreža; konverzija slike; COCO2017
• Keywords (english): colorization; LAB color space; conditional generative adversarial neural network; color translation; COCO2017
• Language: croatian
• URN:NBN: urn:nbn:hr:168:514050
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 08:49:07