Implementacija i analiza modela tema Latentne Dirichletove alokacije

diplomski rad

• Naslov (engleski): Implementation and Analysis of Latent Dirichlet Allocation Topic Models
• Autor: Gregor Orlić
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Modeliranje tema široko je korištena tehnika iz područja obrade prirodnog jezika za otkrivanje latentnih temau skupovima dokumenata. Postupak se oslanja na nenadziranom strojno učenje kako bi otkrio riječi koje sečesto supojavljuju u dokumentima. Latentna Dirichletova alokacija (engl. Latent Dirichlet Allocation - LDA) od Blei et al. (2003) najčešće je korišten model tema. LDA pretpostavlja da je svaki dokument mješavina tema,pri čemu je svaka tema mješavina riječi. Dok je teoretska podloga LDA dobro shvaćena, njena praktičnaimplementacija postavlja niz izazova, najčešće povezanih s činjenicom da optimizacija uključuje posteriornu distribuciju parametara koja nije traktabilna. U radu su implementirane dvije metode optimizacije LDA algoritma, varijacijsko zaključivanje i Gibbsovo uzorkovanje. Provedena je analiza kvalitete generiranih tema, kao i računalne performanse. Implementirane metode su uspoređene s postojećim implementacijama.

Sažetak (engleski)

Topic modeling is a widely used technique in natural language processing for discovering latent topics in document collections. The method relies on unsupervised machine learning to discover words often co-occurring in documents. Latent Dirichlet allocation (LDA) of Blei et al. (2003) is the most commonly used topic model. The LDA assumes that each document is a mixture of topics, with each topic being a mixture of words. While the theory of LDA is well understood, its implementation poses a series of practical challenges, mostly related to optimization involving the intractable parameter posterior distribution. Two optimization methods were implemented, variational inference and Gibbs sampling. Both methods were evaluated for their topic quality, alongside computational performance. The methods were compared to existing implementations.

• Ključne riječi: nlp; modeli tema; lda; strojno ucenje
• Ključne riječi (engleski): nlp; topic models; lda; machine learning
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:777266
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 10:31:47