Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika

diplomski rad

• Naslov (engleski): Disentangled Representation Learning with Applications in Natural Language Processing
• Autor: Dorian Ivanković
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Član povjerenstva: Bojana Dalbelo-Bašić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Reprezentacije naulene dubokim neuronskim mrežama se teško interpretiraju, što bi moglo onemogućiti njihovo ponovno korištenje na novim zadatcima. Cilj učenja razdvojenih reprezentacija jest naučiti nezavisne informativne značajke, time stvarajući interpretabilnu reprezentaciju. Najistaknutiji pristupi učenju razdvojenih reprezentacija
oslanjaju se na varijacijske autoenkodere i modificiranje varijacijske donje granice, fokusirajući se uglavnom na primjene u području računalnog vida. Cilj ovog rada bio je proučiti metode za učenje razdvojenih reprezentacija temeljene na varijacijskim autoenkoderima i proširiti primjenu na područje obrade prirodnog jezika. Za primjenu
u području obrade prirodnog jezika odabrano je tematsko modeliranje, gdje bi učenje razdvojenih reprezentacija moralo rezultirati s više koherentnim, nezavisnim i interpretabilnim temama. Rezultati su pokazali da modeli za tematsko modeliranje temeljeni na neuronskim mrežama i varijacijskim autoenkoderima kod kojih je cilj dodatno
promijenjen tako da potiče učenje razdvojenih reprezentacija, postižu bolje rezultate u smislu prosječne normalizirane točkaste međusobne informacije (NPMI) po temama, i rezultiraju koherentnijim i interpretabilnijim temama. U radu su također identificirani i razmatrani neki problemi s evaluacijom neuralnih tematskih modela. Naposljetku, pokazano je da prosječna NPMI po temama nije potpuno prikladna mjera za evaluaciju tematskog modeliranja, a uvođenje prikladnije mjere je ostavljeno za budući rad.

Sažetak (engleski)

Representations learned by deep neural networks are hardly interpretable, which might obstruct reusing them for some tasks. The goal of disentangled representation learning is to learn separate informative features, which should create an interpretable representation. Most prominent disentangled representation learning approaches rely on variational autoencoders and modifying the variational lower bound, focusing mostly on the computer vision domain. The goal of this thesis was to study the disentanglement methods based on variational autoencoders and extend the applications to the NLP domain. The task of topic modeling was chosen as an application, where learning disentangled representations should produce more coherent, independent, and interpretable topics. The results have shown that neural topic models whose objective is modified with disentangled variants not only produce better results in terms of the average topic normalized mutual pointwise information (NPMI), but also produce more independent and coherent topics. Some issues with the evaluation of some neural topic models were also identified and addressed. Finally, it has also been shown that the average topic NPMI is not a fully sufficient metric for evaluating topic models, as it does not include all relevant factors, while proposing a new metric that would do so is left for future work.

• Ključne riječi: obrada prirodnog jezika; učenje reprezentacija; razdvojene reprezentacije; duboko učenje; varijacijski autoenkoder; modeliranje tema
• Ključne riječi (engleski): natural language processing; representation learning; disentanglement; deep learning; variational autoencoder; topic modeling
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:834702
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:28:00