Sustav za proširenje baza afektivne multimedije korištenjem modela dubokog učenja

undergraduate thesis

• Title (english): System for the expansion of affective multimedia databases using deep learning models
• Author: Antonia Šarčević
• Mentor: Marko Horvat (mentor)
• Committee member: Marko Horvat (predsjednik povjerenstva)
• Committee member: Kristina Ćaleta (član povjerenstva)
• Committee member: Andrej Slapničar (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-10, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Baze afektivne multimedije predstavljaju skup semantički i afektivno označenih slika kreiranih sa svrhom izazivanja emocija kod ljudi. Zbog toga su izvrsna podloga za mnoga istraživanja ne samo na području kognitivne znanosti, psihologije i neuroznanosti, već primjenu nalaze i u sklopu računalne znanosti na područjima poput afektivnog računarstva i interakcije ljudi i računala. Kako potražnja za ovakvim bazama podataka sve više raste, a proces ručne izrade afektivno označene multimedije može biti iznimno zahtjevan i dugotrajan, postoji sve veća potreba za automatizacijom ovog procesa primjenom učinkovitih postupaka računalnog vida i modela dubokog učenja. U tu svrhu ovaj rad daje opis baza afektivne multimedije s naglaskom na OASIS bazu afektivnih slika korištenu za razvoj sustava, pregled modela za analizu slika te generativnih modela dubokog učenja za generiranje slike iz teksta, a uključuje detaljan opis i arhitekturu razvijenog sustava.

Abstract (english)

Databases of affective multimedia represent a set of semantically and affectively annotated images created with the purpose of evoking emotions in people. Because of this, they are an excellent foundation for many studies not only in the field of cognitive science, psychology and neuroscience, but also find application within computer science in areas like affective computing and human-computer interaction. As the demand for such databases is rapidly growing, and the manual process of creating affectively labeled multimedia can be extremely demanding and time-consuming, there is a growing need to automate this process by applying effective computer vision procedures and deep learning models. For this purpose, this paper provides a description of affective multimedia databases with an emphasis on the OASIS affective image database used for system development, an overview of models for image analysis and generative deep learning models for text-to-image generation and includes a detailed description and architecture of the developed system.

• Keywords: baze afektivne multimedije; OASIS; umjetna inteligencija; računalni vid; duboko učenje; generiranje slika
• Keywords (english): affective multimedia databases; OASIS; artificial intelligence; computer vision; deep learning; image generation
• Language: croatian
• URN:NBN: urn:nbn:hr:168:289139
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 22:12:56