Automatizirano generiranje multimodalnih skupova podataka iz sintetičkih slika korištenjem vizualno-jezičnih modela

diplomski rad

• Naslov (engleski): Automated Generation of Multimodal Image-Text Datasets from Synthetic Images Using Vision-Language Models
• Autor: Elena Wachtler
• Mentor: Tamara Petrović (mentor)
• Član povjerenstva: Tamara Petrović (član povjerenstva)
• Član povjerenstva: Stjepan Bogdan (član povjerenstva)
• Član povjerenstva: Frano Petric (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2025-02-28, Hrvatska

Sažetak

Vizualno-jezični modeli (VJM) objedinjuju funkcionalnosti računalnog vida i jezičnih modela, obogaćujući vizualne informacije iz slika kontekstualnim informacijama koje pruža tekst. Međutim, modeli opće namjene nisu optimirani za fotografije snimljene iz zraka, zbog čega su za tu svrhu obično potrebni specijalizirani modeli. U takvim se slučajevima često koriste sintetički podatci, no takav pristup ima ograničenja. U ovome je radu razvijen sustav koji koristi VJM opće namjene kako bi proizveo... Više odgovore na pažljivo osmišljene upite uparene s, kako slikama iz zraka iz stvarnog svijeta, tako i sa sintetičkim slikama iz zraka. Sustav je evaluiran na dvama zadatcima: opisivanje slike odgovorom na pitanje i stvaranje metapodataka. Rezultati ukazuju na učinkovitost sustava u generiranju multimodalnih podataka za slike snimljene iz zraka, pokazujući dublje razumijevanje konteksta vizualnog sadržaja, kao i obećavajuće sposobnosti zaključivanja. Ova opažanja naglašavaju potencijal VJM-ova za primjene u stvarnom svijetu, poput nadzora, akcija traganja i spašavanja, kao i autonomne navigacije te robotike. Sakrij dio sažetka

Sažetak (engleski)

Vision-language models (VLMs) combine the functionalities of computer vision and language models, which enables them to further enrich visual information available in images with contextual information provided through text. However, general-purpose models are not specifically optimized for aerial imagery, a domain where specialized models are often required. Many resort to using synthetic data in such cases, but this approach has its limitations. In this work, a system using a... Više general-purpose VLM was developed and then used to generate responses based on carefully designed prompts paired with both real-world and synthetic aerial images. The system was evaluated on two tasks: image captioning via visual question answering and metadata generation. Results indicate that the system effectively generates multimodal data for aerial imagery, demonstrating a deeper understanding of context of the visual content, and promising reasoning capabilities. These findings highlight the potential of VLMs in real-world applications such as surveillance, search-and-rescue missions, autonomous navigation, and robotics. Sakrij dio sažetka

• Ključne riječi: izualno-jezični modeli; sintetički podatci; obrada prirodnog jezika; generiranje multimodalnih skupova podataka
• Ključne riječi (engleski): visual-language models; synthetic data; natural language processing; gen- erating multimodal datasets
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:794623
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-03-12 11:20:34