Generativno modeliranje uvjetnim normalizirajućim tokovima

diplomski rad

• Naslov (engleski): Generative modelling with conditional normalizing flows
• Autor: Tomislav Ćosić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Jan Šnajder (član povjerenstva)
• Član povjerenstva: Adrian Satja Kurdija (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-10, Hrvatska

Sažetak

Procjena gustoće i generiranje slika važni su zadatci računalnog vida s mnogim zanimljivim primjenama.
Poznato je da generativni modeli slika ne uspijevaju naučiti semantičke koncepte. Ovaj problem možemo
ublažiti uvjetovanjem generativnog modela semantičkim informacijama. U okviru rada, potrebno je odabrati
okvir za automatsku diferencijaciju te upoznati biblioteke za rukovanje tenzorima i slikama. Proučiti i ukratko
opisati postojeće generativne arhitekture. Odabrati slobodno dostupne skupove slika te oblikovati podskupove
za učenje, validaciju i testiranje. Oblikovati uvjetni generativni tok te uhodati postupke učenja i validiranja
hiperparametara. Primijeniti naučene modele, prikazati eksperimente na javno dostupnim podatcima te
usporediti generalizacijsku izvedbu sa stanjem tehnike. Komentirati učinkovitost učenja i zaključivanja.
Predložiti pravce za budući rad. Radu priložiti izvorni i izvršni kod razvijenih postupaka, ispitne slijedove i
rezultate, uz potrebna objašnjenja i dokumentaciju. Citirati korištenu literaturu i navesti dobivenu pomoć.

Sažetak (engleski)

Density estimation and image generation are important tasks in computer vision with many interesting applications.
It is known that image generative models fail to learn semantic concepts. This problem can be mitigated by conditioning the generative model using semantic information. In the scope of the paper, it is required to choose an automatic differentiation framework and become familiar with libraries used to handle tensors and images. Research and briefly describe existing generative architectures. Choose freely available image dataset and construct subsets for training, validation and testing. Model a conditional generative flow and implement training and hyperparameter validation. Apply trained models, perform experiments on publicly available datasets and compare generative performance with state-of-the-art. Comment on training and inference efficiency.
Suggest direction for future work. Attach source code and executable code of developed processes to the paper, experiments and results, along with necessary explanations and documentation. Cite used literature and state received help.

• Ključne riječi: normalizirajući tok; uvjetni normalizirajući tok; SimCLR; detekcija anomalija; OpenOOD; okosnica
• Ključne riječi (engleski): normalizing flow; conditional normalizing flow; SimCLR; anomaly detection; OpenOOD; backbone
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:164072
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:22:30