Integracija modela difuzije u vizualno odgovaranje na pitanja

diplomski rad

• Naslov (engleski): Integrating diffusion models into visual question answering
• Autor: Dora Ivezić
• Mentor: Marina Bagić Babac (mentor)
• Član povjerenstva: Marina Bagić Babac (predsjednik povjerenstva)
• Član povjerenstva: Vedran Mornar (član povjerenstva)
• Član povjerenstva: Krešimir Fertalj (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-11, Hrvatska

Sažetak

Vizualno odgovaranje na pitanja (engl. Visual Question Answering - VQA) je automatizirano
rješenje za odgovaranje na pitanja u vezi sa sadržajem slike. Cilj ovog rada je osmisliti, implementirati i evaluirati rješenje ovog izazova korištenjem difuzijskog modeliranja, uvjetujući ga značajkama slike i prikazima pitanja. Istražuje se u kojoj mjeri integracija difuzijskih modela može poboljšati kvalitetu generiranih odgovora. Također, napravljena je usporednu analizu između predloženog rješenja i drugih najsuvremenijih VQA metoda.

Sažetak (engleski)

Visual Question Answering (VQA) is an automated solution for responding to questions regarding the content of an image. The objective of this thesis is to design, implement, and evaluate a solution to this challenge using diffusion modeling, conditioning it with image features and question representations. This research investigates to what extent the integration of diffusion models can improve the quality of generated responses. In addition, it includes a comparative analysis between the proposed solution and other state-of-the-art VQA methods.

• Ključne riječi: difuzijsko modeliranje; vizualno odgovaranje na pitanja (VQA)
• Ključne riječi (engleski): Diffusion Model; Visual Question Answering (VQA)
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:139070
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:52:55