Automatizirano generiranje multimodalnih skupova podataka iz sintetičkih slika korištenjem vizualno-jezičnih modela

master's thesis

• Title (english): Automated Generation of Multimodal Image-Text Datasets from Synthetic Images Using Vision-Language Models
• Author: Elena Wachtler
• Mentor: Tamara Petrović (mentor)
• Committee member: Tamara Petrović (član povjerenstva)
• Committee member: Stjepan Bogdan (član povjerenstva)
• Committee member: Frano Petric (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2025-02-28, Croatia

Abstract

Vizualno-jezični modeli (VJM) objedinjuju funkcionalnosti računalnog vida i jezičnih modela, obogaćujući vizualne informacije iz slika kontekstualnim informacijama koje pruža tekst. Međutim, modeli opće namjene nisu optimirani za fotografije snimljene iz zraka, zbog čega su za tu svrhu obično potrebni specijalizirani modeli. U takvim se slučajevima često koriste sintetički podatci, no takav pristup ima ograničenja. U ovome je radu razvijen sustav koji koristi VJM opće namjene kako bi proizveo odgovore na pažljivo osmišljene upite uparene s, kako slikama iz zraka iz stvarnog svijeta, tako i sa sintetičkim slikama iz zraka. Sustav je evaluiran na dvama zadatcima: opisivanje slike odgovorom na pitanje i stvaranje metapodataka. Rezultati ukazuju na učinkovitost sustava u generiranju multimodalnih podataka za slike snimljene iz zraka, pokazujući dublje razumijevanje konteksta vizualnog sadržaja, kao i obećavajuće sposobnosti zaključivanja. Ova opažanja naglašavaju potencijal VJM-ova za primjene u stvarnom svijetu, poput nadzora, akcija traganja i spašavanja, kao i autonomne navigacije te robotike.

Abstract (english)

Vision-language models (VLMs) combine the functionalities of computer vision and language models, which enables them to further enrich visual information available in images with contextual information provided through text. However, general-purpose models are not specifically optimized for aerial imagery, a domain where specialized models are often required. Many resort to using synthetic data in such cases, but this approach has its limitations. In this work, a system using a general-purpose VLM was developed and then used to generate responses based on carefully designed prompts paired with both real-world and synthetic aerial images. The system was evaluated on two tasks: image captioning via visual question answering and metadata generation. Results indicate that the system effectively generates multimodal data for aerial imagery, demonstrating a deeper understanding of context of the visual content, and promising reasoning capabilities. These findings highlight the potential of VLMs in real-world applications such as surveillance, search-and-rescue missions, autonomous navigation, and robotics.

• Keywords: izualno-jezični modeli; sintetički podatci; obrada prirodnog jezika; generiranje multimodalnih skupova podataka
• Keywords (english): visual-language models; synthetic data; natural language processing; gen- erating multimodal datasets
• Language: english
• URN:NBN: urn:nbn:hr:168:794623
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-03-12 11:20:34