Predviđanje riječi i morfoloških značajki primjenom metoda strojnog učenja na temelju n-gramskih nizova

master's thesis

• Title (english): Prediction of words and morphological features using machine learning methods based on n-grams
• Author: Pavao Kujundžić
• Mentor: Marin Vuković (mentor)
• Committee member: Marin Vuković (predsjednik povjerenstva)
• Committee member: Miljenko Mikuc (član povjerenstva)
• Committee member: Mario Kušek (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2021-09-20, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U ovom diplomskom radu se obrađuje tema Predviđanje riječi i morfoloških značajki primjenom metoda strojnog učenja na temelju n-gramskih nizova. Prikazane su tehnologije i alati korišteni za učitavanje različitih podataka za treniranje modela na temelju kojih se kreiraju i treniraju različiti ngramski jezični modeli koristeći Laplasovu metodu zaglađivanja ili Good Turing metodu zaglađivanja. Objašnjava se korištenje linearne interpolacije u jezičnim modelima koji kombiniraju više ngramskih jezičnih modela, te određivanje računskih parametara λ koji određuju doprinos određenih jezičnih modela u određivanju vjerojatnosti na temelju ulaznih podataka za treniranje. Opširno je opisan i Classla pipeline koji sadrži sve potrebne tehnologije za prepoznavanje i analiziranje morfoloških značajki riječi. Definirane su ključne riječi obrada prirodnog jezika, ngramski nizovi, ngramski jezični modeli, unigram, bigram, trigram, quadgram, Laplasova metoda zaglađivanja, Good Turing metoda zaglađivanja, linearna interpolacija, morfološke značajke riječi i classla.

Abstract (english)

The thesis deals with the topic of Prediction of words and morphological features using machine learning methods based on n-grams. morphological features of words. The technologies and tools used to load different training data to create and train different ngram language models by using Laplace smoothing method and Good Turing smoothing method.
The use of linear interpolation in language models that combine multiple ngram language models is explained, as well as the determination of computational parameters λ that determine the contribution of certain ngram language models in determining probabilities based on input data for training. The Classla pipeline is also described in detail, containing all the necessary technologies for recognizing and analyzing the morphological features of words.
Keywords are natural language processing, ngram sequences, ngram language models, unigram, bigram, trigram, quadgram Laplace smoothing method, Good Turing smoothing method, linear interpolation, morphological features of words and classla,

• Keywords: obrada prirodnog jezika; ngramski nizovi; ngramski jezični modeli; unigram; bigram; trigram; quadgram; Laplasova metoda zaglađivanja:Good Turing metoda zaglađivanja; morfološke značajke riječi; classla
• Keywords (english): natural language processing; ngram sequences; ngram language models; unigram; bigram; trigram; quadgram; Laplace smoothing method; Good Turing smoothing method; linear interpolation; morphological features of words; classla
• Language: croatian
• URN:NBN: urn:nbn:hr:168:982036
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 12:50:21