Jezični model temeljen na neuronskoj mreži

diplomski rad

• Naslov (engleski): Neural language model
• Autor: Florijan Stamenković
• Mentor: Marin Golub (mentor)
• Član povjerenstva: Marin Golub (predsjednik povjerenstva)
• Član povjerenstva: Željka Mihajlović (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2015-07-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom diplomskom radu razmatraju se četiri različita pristupa izgradnji jezičnih modela. U uvodu se daje kratak osvrt na moguće primjene jezičnih modela općenito. Potom se definiraju modeli bazirani na zaglađenom prebrojavanju n-grama (korištenjem aditivnog zaglađivanja i zaglađivanja Kneser-Ney metodom), umjetnoj neuronskoj mreži bez skrivenih slojeva, log-bilinearnom modelu i ograničenom Boltzmannovom stroju. Razmatraju se teoretske i implementacijske posebnosti opisanih modela. Potom se modeli vrednuju standardnim mjerama i po uspješnosti na zadatku Microsoft Research Sentence Completion. Dobiveni rezultati se uspoređuju s rezultatima iz sličnih radova. Daje se kratko razmatranje vremenske i memorijske složenosti izrade i korištenja modela, kao i usporedba vremena treniranja korištenjem središnjih i grafičkih procesora.

Sažetak (engleski)

This master thesis cosiders four approaches to language model implementation. An introduction into language models and their application is presented. Following are the definitions of models based on n-gram counts with additive and Kneser-Ney smoothing, neural networks with no hidden layers, log-bilinear models and Restricted Boltzmann Machines. For each a theoretical description is given, as well implementation details. Models are evaluated using standard metrics and on Microsoft Research Sentence Completion Challenge. Results are compared to those from other papers. A brief comparison of model complexity (in time and memory space) is offered, as well as a comparison of iterative model training speed using central versus graphical processors.

• Ključne riječi: jezični model; obrada prirodnog jezika; zaglađivanje \textit{n}-grama; Kneser-Ney; neuronska mreža; log-bilinear; Microsoft Research Sentence Completion Challenge; raspodjeljene reprezentacije; grafički procesor; Cuda
• Ključne riječi (engleski): language model; natural language processing; n-gram smoothing; Kneser-Ney; neural networks; log-bilinear; Microsoft Research Sentence Completion Challenge; distributed representations; Word2Vec; GPU; Cuda
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:939585
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2018-02-06 12:05:09