Generiranje opisa slika temeljeno na dubokom učenju

diplomski rad

• Naslov (engleski): Deep learning based image description generation
• Autor: Filip Weisser
• Mentor: Zoran Kalafatić (mentor)
• Član povjerenstva: Zoran Kalafatić (predsjednik povjerenstva)
• Član povjerenstva: Siniša Šegvić (član povjerenstva)
• Član povjerenstva: Dejan Škvorc (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-09, Hrvatska

Sažetak

Moderne metode računalnog vida temeljene na dubokom učenju značajno su unaprijedile područja klasifikacije slika, detekcije objekata i segmentacije. Ovi napreci zajedno sa modelima za strojno prevođenje omogućuju razvoj sustava koji mogu automatski generirati tekstualne opise slika. U okviru ovog diplomskog rada, istraženi su, implementirani i uspoređeni takvi modeli.

Modeli se temelje na kombinaciji konvolucijskih neuronskih mreža za ekstrakciju vizualnih značajki sa slika i rekurentnih neuronskih mreža ili transformer mreža za generiranje teksta. Za potrebe treniranja i testiranja sustava, korišten je Flickr8k skup podataka koji uključuje slike i pripadajuće tekstualne opise.

Analiza ponašanja implementiranog sustava pokazala je da sustav može generirati relevantne i koherentne opise za širok spektar slika. Rezultati su evaluirani korištenjem standardnih metričkih sustava za generiranje teksta, uključujući BLEU, ROUGE i CIDEr. Evaluacija je pokazala da implementirani sustav postiže zadovoljavajuće rezultate u usporedbi s postojećim rješenjima.

Sažetak (engleski)

Modern computer vision methods based on deep learning have significantly advanced the fields of image classification, object detection, and segmentation. These advancements, combined with machine translation models, enable the development of systems that can automatically generate textual descriptions of images. This thesis explores, implements, and compares such models.

The models are based on a combination of convolutional neural networks for extracting visual features from images and either recurrent neural networks or transformer networks for generating text. Flickr8k dataset, which includes images and their corresponding textual descriptions, was used for training and testing the system.

The analysis of the implemented system's behavior demonstrated that the system can generate relevant and coherent descriptions for a wide range of images. The results were evaluated using standard text generation metrics, including BLEU, ROUGE, and CIDEr. The evaluation showed that the implemented system achieves satisfactory results compared to existing solutions.

• Ključne riječi: Generiranje opisa slike; RNN; LSTM; Transformer
• Ključne riječi (engleski): Image Captioning; RNN; LSTM; Transformer
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:037527
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 22:30:45