Duboko učenje vektorskih reprezentacija riječi za modele označavanja tekstova na hrvatskome jeziku

master's thesis

• Title (english): Deep Learning of Word Embeddings for Tagging Models for Croatian Texts
• Author: Goran Gašić
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Committee member: Siniša Šegvić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2015-07-13, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Vektorske reprezentacije riječi prikazuju riječi nisko-dimenzionalnim vektorima realnih vrijednosti u svrhu matematičkog zapisa sintaksnih te semantičkih informacija. Nenadziranim učenjem na skupu teksta hrWaC od 1.4 milijardu pojavnica izgrađujemo 4 tipa reprezentacija za rječnik od 200000 riječi. Pomoću njih dubokim učenjem izgrađujemo modele označavanja tekstova zasnovane na umjetnim neuronskim mrežama. Kombiniramo dostupne označene skupove podataka. Ostvarujemo vrhunsku ili točnost blisku vrhunskoj za označavanje vrsta riječi (96.40%), morfo-sintaksnih deskriptora (89.95%) te imenovanih entiteta (98.61%) na ispitnim skupovima. Javno objavljujemo sve skupove podataka.

Abstract (english)

Word embeddings represent words using low-dimensional real-valued vectors to mathematically express their syntactic and semantic information. We use unsupervised learning on the hrWaC dataset containing 1.4 billion tokens to build 4 types of word embeddings for a dictionary of 200000 words. Then we leverage deep learning to build tagging models based on artifical neural networks. We combine available labelled datasets. We achieve state-of-the-art or near state-of-the-art accuracy for part-of-speech tagging (96.40%), morphosyntactic tagging (89.95%) and named entity recognition (98.61%) on test datasets. We make all datasets publicly available.

• Keywords: obrada prirodnog jezika; duboko učenje; vektorske reprezentacije; neuronske mreže; označavanje vrsta riječi; morfo-sintaksni deskriptori; prepoznavanje imenovanih entiteta; POS; MSD; NER; NLP
• Keywords (english): natural language processing; deep learning; word embeddings; neural networks; part-of-speech tagging; morphosyntactic descriptors; named entity recognition; POS; MSD; NER; NLP
• Language: croatian
• URN:NBN: urn:nbn:hr:168:956359
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2018-02-06 08:51:12