Generiranje i nadopunjavanje slika korištenjem difuzijskih modela

diplomski rad

• Naslov (engleski): Image generation and inpainting using diffusion models
• Autor: Renato Jurišić
• Mentor: Zoran Kalafatić (mentor)
• Član povjerenstva: Zdenko Kovačić (predsjednik povjerenstva)
• Član povjerenstva: Siniša Šegvić (član povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-09, Hrvatska

Sažetak

Ovaj rad istražuje primjenu difuzijskih modela za generiranje i nadopunjavanje slika. Fokus je na uvjetnom generiranju dijelova slike i uvjetovanju tekstom. Rad obuhvaća teorijsku pozadinu difuzijskih modela, različite pristupe nadopunjavanju slika, arhitekturu modela i eksperimentalne rezultate. Analizirano je ponašanje sustava te su prikazani i ocijenjeni ostvareni rezultati. Ključna inovacija je trening modela koji koristi slike kao uvjet tijekom učenja, a tekst tijekom inferencije. Praktični dio uključuje razvoj web aplikacije za manipulaciju slikama ljudskih lica pomoću tekstualnih uputa, koja funkcionira kao verzija Photoshopa temeljena na umjetnoj inteligenciji.

Sažetak (engleski)

This paper investigates the application of diffusion models for image generation and augmentation. The focus is on conditional generation of image parts and text conditioning. The paper covers the theoretical background of diffusion models, different approaches to image augmentation, model architecture and experimental results. The behavior of the system was analyzed and the achieved results were presented and evaluated. The key innovation is the training of the model, which uses images as a condition during learning, and text during inference. The hands-on part involves developing a web application for manipulating images of human faces using text-based instructions, which works like an artificial intelligence-based version of Photoshop.

• Ključne riječi: generativni modeli; difuzijski modeli; nadopunjavanje slika; RePaint; CLIP
• Ključne riječi (engleski): generative models; diffusion models; image inpainting; RePaint; CLIP
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:950520
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 21:00:31