Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika

master's thesis

• Title (english): Disentangled Representation Learning with Applications in Natural Language Processing
• Author: Dorian Ivanković
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Committee member: Bojana Dalbelo-Bašić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2020-07-09, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Reprezentacije naulene dubokim neuronskim mrežama se teško interpretiraju, što bi moglo onemogućiti njihovo ponovno korištenje na novim zadatcima. Cilj učenja razdvojenih reprezentacija jest naučiti nezavisne informativne značajke, time stvarajući interpretabilnu reprezentaciju. Najistaknutiji pristupi učenju razdvojenih reprezentacija
oslanjaju se na varijacijske autoenkodere i modificiranje varijacijske donje granice, fokusirajući se uglavnom na primjene u području računalnog vida. Cilj ovog rada bio je proučiti metode za učenje razdvojenih reprezentacija temeljene na varijacijskim autoenkoderima i proširiti primjenu na područje obrade prirodnog jezika. Za primjenu
u području obrade prirodnog jezika odabrano je tematsko modeliranje, gdje bi učenje razdvojenih reprezentacija moralo rezultirati s više koherentnim, nezavisnim i interpretabilnim temama. Rezultati su pokazali da modeli za tematsko modeliranje temeljeni na neuronskim mrežama i varijacijskim autoenkoderima kod kojih je cilj dodatno
promijenjen tako da potiče učenje razdvojenih reprezentacija, postižu bolje rezultate u smislu prosječne normalizirane točkaste međusobne informacije (NPMI) po temama, i rezultiraju koherentnijim i interpretabilnijim temama. U radu su također identificirani i razmatrani neki problemi s evaluacijom neuralnih tematskih modela. Naposljetku, pokazano je da prosječna NPMI po temama nije potpuno prikladna mjera za evaluaciju tematskog modeliranja, a uvođenje prikladnije mjere je ostavljeno za budući rad.

Abstract (english)

Representations learned by deep neural networks are hardly interpretable, which might obstruct reusing them for some tasks. The goal of disentangled representation learning is to learn separate informative features, which should create an interpretable representation. Most prominent disentangled representation learning approaches rely on variational autoencoders and modifying the variational lower bound, focusing mostly on the computer vision domain. The goal of this thesis was to study the disentanglement methods based on variational autoencoders and extend the applications to the NLP domain. The task of topic modeling was chosen as an application, where learning disentangled representations should produce more coherent, independent, and interpretable topics. The results have shown that neural topic models whose objective is modified with disentangled variants not only produce better results in terms of the average topic normalized mutual pointwise information (NPMI), but also produce more independent and coherent topics. Some issues with the evaluation of some neural topic models were also identified and addressed. Finally, it has also been shown that the average topic NPMI is not a fully sufficient metric for evaluating topic models, as it does not include all relevant factors, while proposing a new metric that would do so is left for future work.

• Keywords: obrada prirodnog jezika; učenje reprezentacija; razdvojene reprezentacije; duboko učenje; varijacijski autoenkoder; modeliranje tema
• Keywords (english): natural language processing; representation learning; disentanglement; deep learning; variational autoencoder; topic modeling
• Language: english
• URN:NBN: urn:nbn:hr:168:834702
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 12:28:00