Raspoznavanje emocija u govoru korištenjem paradigme dubokog učenja

diplomski rad

• Naslov (engleski): Recognizing emotions in speech using deep learning paradigm
• Autor: Luka Banić
• Mentor: Anamari Nakić (mentor)
• Član povjerenstva: Anamari Nakić (predsjednik povjerenstva)
• Član povjerenstva: Josipa Pina Milišić (član povjerenstva)
• Član povjerenstva: Domagoj Kovačević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-03, Hrvatska

Sažetak

U ovome je radu prikazan razvoj modela strojnoga učenja za raspoznavanje emocija u govoru. Model dubokoga učenja razvijen na temelju paradigme nezavisnosti o govorniku, vrši zadatak višeklasne klasifikacije šest emocija iz CREMA-D baze audiozapisa. Konačni model kombinira arhitekture konvolucijskih mreža i transformerskoga enkodera. Dobiveni rezultati pokazuju veću točnost od procjena ljudi u istim uvjetima raspoznavanja. Analiziraju se potencijalne karakteristike ljudske emocionalne ekspresije koje su mogući uzročnik različite izvedbe modela ovisno o emociji te mogućnost i prepreke konstrukcije baze emocionalnih audiozapisa drugačije strukture. Konačno, razvijena je web-aplikacija u sklopu koje je implementiran model za jednostavnu primjenu na proizvoljnome audiozapisu.

Sažetak (engleski)

In this paper, the development of a machine learning model for speech emotion recognition is presented. The deep learning model, developed based on the speaker-independent paradigm, performs the task of multi-class classification of six emotions from the CREMA-D audio database. The final model combines architectures of convolutional networks and transformer encoders. The obtained results demonstrate greater accuracy than human benchmarks under the same recognition conditions. Potential characteristics of human emotional expression, which may cause varying model performance depending on the emotion, are explored, as well as the possibilities and obstacles in constructing a database of emotional audio recordings with a different structure. Finally, a web application has been developed within which the model is implemented for straightforward application to any audio recording.

• Ključne riječi: emocije; govor; duboko učenje; konvolucijske neuronske mreže; transformeri
• Ključne riječi (engleski): emotions; speech; deep learning; convolutional neural networks; transformer
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:747704
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:02:01