Jezično modeliranje hrvatskoga jezika modelima dubokoga učenja

master's thesis

• Title (english): Deep Learning for Language Modeling of the Croatian Language
• Author: Sven Vidak
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Committee member: Siniša Šegvić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2016-07-05, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Jezično modeliranje jedan je od osnovnih problema unutar područja obrade
prirodnog jezika. Sposobnost računala da samostalno generira ili razumije tekst
omogućava da mobitelom ili računalom upravljavmo pomoću glasa, ali i da komu-
niciramo s njima. Pojavom dubokog učenja i povećanjem interesa znanstvenika
za područje neuronskih mreža došlo je do razvoja metoda koje su omogućile izni-
man napredak na području jezičnog modeliranja, ali i drugih područja. U okviru
ovog rada proučeni su tipovi neuronskih mreža koje se koriste za problem je-
zičnog modeliranja, načini njihovog učenja i neke naprednije metode koje daju
danas najbolje poznate rezultate. Dana je usporedba tih metoda s klasičnim me-
todama jezičnog modeliranja koje se temelje ne statistici te su opisani problemi
koje te metode imaju i dani su savjeti za rješavanje tih problema. Naučeni modeli
primijenjeni su na problem samostalnog generiranja teksta te ispravljanja krivo
prepoznatog teksta tokom postupka optičkog prepoznavanja. Dobiveni rezultati
su očekivani, ali svakako mogu biti bolji ako se uloži više vremena u proces učenja
neuronskih mreža.

Abstract (english)

Language modeling is one of the basic problem in natural language processing.
Ability of the computers to generate or understand a text (or a sound) enables
us to communicate with them or to instruct them to achieve some goal. Deep
learning and greater interest in neural networks led to the development of new
and efficient techniques that achieve significant progress in language modeling and
other areas. This thesis gave an overview of neural networks used for language
modeling problems, algorithms used to train them and some advanced techniques
that give state of the art results. Comparison of neural networks and standard
language modeling techbiques is givven and it is also shown that neural networks
have some problems that can be solved using advanced models. Learnt models are
used for text generation and optical character recognition correction. Obtained
results are expected, although not best possible which can be achieved with more
training time.

• Keywords: obrada prirodnog jezika; jezično modeliranje; duboko učenje; povratne neuronske mreže; geneiranje teksta; ispravljanje optičkog raspoznavanja znakova
• Keywords (english): natural lanugage processing; language modeling; deep learning; recurrent neural network; text generation; optical character recognition correction
• Language: croatian
• URN:NBN: urn:nbn:hr:168:446792
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2018-02-06 14:17:50