Predviđanje riječi i morfoloških značajki primjenom metoda strojnog učenja na temelju n-gramskih nizova

diplomski rad

• Naslov (engleski): Prediction of words and morphological features using machine learning methods based on n-grams
• Autor: Pavao Kujundžić
• Mentor: Marin Vuković (mentor)
• Član povjerenstva: Marin Vuković (predsjednik povjerenstva)
• Član povjerenstva: Miljenko Mikuc (član povjerenstva)
• Član povjerenstva: Mario Kušek (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-09-20, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom diplomskom radu se obrađuje tema Predviđanje riječi i morfoloških značajki primjenom metoda strojnog učenja na temelju n-gramskih nizova. Prikazane su tehnologije i alati korišteni za učitavanje različitih podataka za treniranje modela na temelju kojih se kreiraju i treniraju različiti ngramski jezični modeli koristeći Laplasovu metodu zaglađivanja ili Good Turing metodu zaglađivanja. Objašnjava se korištenje linearne interpolacije u jezičnim modelima koji kombiniraju više ngramskih jezičnih modela, te određivanje računskih parametara λ koji određuju doprinos određenih jezičnih modela u određivanju vjerojatnosti na temelju ulaznih podataka za treniranje. Opširno je opisan i Classla pipeline koji sadrži sve potrebne tehnologije za prepoznavanje i analiziranje morfoloških značajki riječi. Definirane su ključne riječi obrada prirodnog jezika, ngramski nizovi, ngramski jezični modeli, unigram, bigram, trigram, quadgram, Laplasova metoda zaglađivanja, Good Turing metoda zaglađivanja, linearna interpolacija, morfološke značajke riječi i classla.

Sažetak (engleski)

The thesis deals with the topic of Prediction of words and morphological features using machine learning methods based on n-grams. morphological features of words. The technologies and tools used to load different training data to create and train different ngram language models by using Laplace smoothing method and Good Turing smoothing method.
The use of linear interpolation in language models that combine multiple ngram language models is explained, as well as the determination of computational parameters λ that determine the contribution of certain ngram language models in determining probabilities based on input data for training. The Classla pipeline is also described in detail, containing all the necessary technologies for recognizing and analyzing the morphological features of words.
Keywords are natural language processing, ngram sequences, ngram language models, unigram, bigram, trigram, quadgram Laplace smoothing method, Good Turing smoothing method, linear interpolation, morphological features of words and classla,

• Ključne riječi: obrada prirodnog jezika; ngramski nizovi; ngramski jezični modeli; unigram; bigram; trigram; quadgram; Laplasova metoda zaglađivanja:Good Turing metoda zaglađivanja; morfološke značajke riječi; classla
• Ključne riječi (engleski): natural language processing; ngram sequences; ngram language models; unigram; bigram; trigram; quadgram; Laplace smoothing method; Good Turing smoothing method; linear interpolation; morphological features of words; classla
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:982036
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:50:21