Klasifikacija teksta za hrvatski jezik pomoću prikaza tekstova dobivenih kontekstualiziranim jezičnim modelima

diplomski rad

• Naslov (engleski): Text classification for Croatian using Text Embeddings Derived from Contextualized Language Models
• Autor: Marin Krešo
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Slobodan Ribarić (član povjerenstva)
• Član povjerenstva: Ante Đerek (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-08, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Učenje prijenosom je novi smjer istraživanja u području obrade prirodnog jezika, posebno zanimljiv zbog impresivnih rezultata u raznim zadacima obrade prirodnog jezika. Tema rada jest primjena različitih pristupa učenja prijenosom na zadatke klasifikacije teksta za hrvatski jezik. U radu su isprobana tri različta pristupa, pri čemu je za ULMFiT metodu bilo potrebno trenirati jezični model ispočetka, dok su za ELMo i FLAIR iskorištena postojeća rješenja. Provedeno je eksperimentalno vrednovanje sva tri pristupa nad zadatkom razrješavanja višeznačnosti riječi te nad zadatkom analize sentimenta u tvitovima, uz statističku analizu značajnosti rezultata. Dobiveni rezultati su uspoređeni s onima iz prethodnih istraživanja.

Sažetak (engleski)

Transfer learning is a new direction in the field of natural language processing, especially interesting because of the impressive results in the various tasks of natural language processing. The goal of the paper is application of different transfer learning approaches for the text classification tasks for the Croatian language. Three different approaches were examined in this thesis, with the ULMFiT method needed to train the language model from scratch, while ELMo and FLAIR used existing solutions. Experimental evaluation of all three approaches to the task was carried out for both word sense disambiguation task and Tweeter sentiment analysis task, with statistical significance tests of the results. The obtained results were compared with those from previous studies.

• Ključne riječi: obrada prirodnog jezika; jezični model; duboko učenje; učenje prijenosom; povratne neuronske mreže; analiza sentimenta; razrješavanje višeznačnosti riječi
• Ključne riječi (engleski): natural language processing; language model; deep learning; transfer learning; recurrent neural networks; sentiment analysis; word sense disambiguation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:955513
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 19:23:37