Hijerarhijska klasifikacija tema u medijskim objavama na hrvatskome jeziku

master's thesis

• Title (english): Hierarchical Topic Classification of News Media Articles in Croatian Language
• Author: Ivan Anić
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Committee member: Bojana Dalbelo-Bašić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2020-07-10, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Uvođenje dodatne strukture u zbirku tekstova na prirodnome jeziku razvrstavajući ih prema taksonomiji može donijeti znatne koristi u raznim zadatcima pretraživanja i ekstrakcije informacija. Na primjer, upotreba taksonomije trebala bi uvelike povećati učinkovitost pregledavanja sadržaja u usporedbi s upitima na temelju ključnih riječi. Tema ovog rada jest hijerarhijska klasifikacija novinskih članaka prema unaprijed definiranoj taksonomiji tema. Analizirao sam različite pristupe hijerarhijskoj klasifikaciji, te implementirao nekoliko obećavajuć́ih pristupa kako bih što efikasnije pristupio problemu. Eksperimentirao sam sa tradicionalnim one-vs-all pristupima, te ih usporedio sa modelom koji koristi predtreniran BERT model za generiranje kontekstualnih reprezentacija riječi. Promatranjem metrika posebeno prilagođenih za ovaj problem, zaključujem da modeli mogu generirati smislene rezultate, te da, u globalu, kontekstualne reprezentacije ekstrahirane iz BERT modela imaju prednost u odnosu na tradicionalne TF-IDF značajke.

Abstract (english)

Introducing additional structure into a collection of natural language texts by placing them into a taxonomy can yield considerable benefits in various information retrieval and information extraction tasks. For instance, using a taxonomy should increase the efficiency of content browsing, compared to keyword-based querying. The topic of this thesis is hierarchical multi-label classification of news articles into a predefined topic taxonomy. I analyse various approaches to hierarchical multi-label classification, and implement a few promising approaches to tackle this problem efficiently. I experiment with traditional one-vs-rest approaches, and compare them against a model which utilises pre-trained BERT for generating contextual embeddings. By observing the metrics specifically altered for this problem, I conclude that the models can generate meaningful results, and that, in general, contextual embeddings extracted from BERT have an edge over traditional TF-IDF features.

• Keywords: hijerarhijska višeklasna klasifikacija; konvolucijske neuronske mreže; obrada prirodnog jezika; BERT
• Keywords (english): hierarchical multi-label classification; convolutional neural networks; natural language processing; BERT
• Language: english
• URN:NBN: urn:nbn:hr:168:440415
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 09:41:23