Generiranje opisa slika temeljeno na dubokom učenju

master's thesis

• Title (english): Deep learning based image description generation
• Author: Filip Weisser
• Mentor: Zoran Kalafatić (mentor)
• Committee member: Zoran Kalafatić (predsjednik povjerenstva)
• Committee member: Siniša Šegvić (član povjerenstva)
• Committee member: Dejan Škvorc (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-09, Croatia

Abstract

Moderne metode računalnog vida temeljene na dubokom učenju značajno su unaprijedile područja klasifikacije slika, detekcije objekata i segmentacije. Ovi napreci zajedno sa modelima za strojno prevođenje omogućuju razvoj sustava koji mogu automatski generirati tekstualne opise slika. U okviru ovog diplomskog rada, istraženi su, implementirani i uspoređeni takvi modeli.

Modeli se temelje na kombinaciji konvolucijskih neuronskih mreža za ekstrakciju vizualnih značajki sa slika i rekurentnih neuronskih mreža ili transformer mreža za generiranje teksta. Za potrebe treniranja i testiranja sustava, korišten je Flickr8k skup podataka koji uključuje slike i pripadajuće tekstualne opise.

Analiza ponašanja implementiranog sustava pokazala je da sustav može generirati relevantne i koherentne opise za širok spektar slika. Rezultati su evaluirani korištenjem standardnih metričkih sustava za generiranje teksta, uključujući BLEU, ROUGE i CIDEr. Evaluacija je pokazala da implementirani sustav postiže zadovoljavajuće rezultate u usporedbi s postojećim rješenjima.

Abstract (english)

Modern computer vision methods based on deep learning have significantly advanced the fields of image classification, object detection, and segmentation. These advancements, combined with machine translation models, enable the development of systems that can automatically generate textual descriptions of images. This thesis explores, implements, and compares such models.

The models are based on a combination of convolutional neural networks for extracting visual features from images and either recurrent neural networks or transformer networks for generating text. Flickr8k dataset, which includes images and their corresponding textual descriptions, was used for training and testing the system.

The analysis of the implemented system's behavior demonstrated that the system can generate relevant and coherent descriptions for a wide range of images. The results were evaluated using standard text generation metrics, including BLEU, ROUGE, and CIDEr. The evaluation showed that the implemented system achieves satisfactory results compared to existing solutions.

• Keywords: Generiranje opisa slike; RNN; LSTM; Transformer
• Keywords (english): Image Captioning; RNN; LSTM; Transformer
• Language: croatian
• URN:NBN: urn:nbn:hr:168:037527
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-10-12 22:30:45