Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku

završni rad

• Naslov (engleski): Application and evaluation of multilingual large language models for named entity recognition in the Croatian language
• Autor: Dorian Matić
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: David Dukić (član povjerenstva)
• Član povjerenstva: Ana Barić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-03, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Prepoznavanje imenovanih entiteta je zadatak razumijevanja prirodnog jezika kojem je cilj klasifikacija imenovanih entiteta (NER) u tekstu. Rad istražuje dva pristupa
primjene dekoderskih velikih višejezičnih modela (LLM) za NER na hrvatskom jeziku:
fino ugađanje LLM-ova bez intervencija u arhitekturu modela i fino ugađanje LLM-ova
uz uklanjanje kauzalne maske s pojedinih dekoderskih slojeva koji čine model. Postupak
ugađanja je proveden na slobodno dostupnim skupovima podataka. Sljedeći modeli su
podvrgnuti ugađanju: Mistral-7B, YugoGPT, Gemma-2B, Llama2-7B i Llama3-8B i provedeno je njihovo vrednovanje. Svi su rezultati uspoređeni s bcms-bertic-ner (trenutačno
najbolji model). Rad zaključuje da su fino ugođeni LLM-ovi vrijedna opcija za zadatak
NER-a na hrvatskom jeziku, a u nekim slučajevima i najbolja.

Sažetak (engleski)

Named entity recognition (NER) is a natural language understanding (NLU) task
that aims to classify named entities in text. The thesis investigates two approaches for
applying decoder-only large language models (LLMs) for NER in Croatian: (1) training
decoder-only models for NER without any interventions into the model architecture, and
(2) selectively removing the causal mask from decoder layers that comprise the model
itself before commencing the training process. The training is conducted with annotated and open-source datasets for the Croatian language NER. The following LLMs are
trained: Mistral-7B, YugoGPT, Llama2-7B, and Llama3-8B, and their evaluations have
been reported. All results are compared against bcms-bertic-ner (SOTA). Finally, the
thesis concludes that finetuned LLMs are a viable option for NER, and sometimes even
a preferable alternative.

• Ključne riječi: obrada prirodnog jezika (NLP); prepoznavanje imenovanih entiteta; veliki višejezični modeli; fino ugađanje; kauzalna pozornost; hrvatski jezik
• Ključne riječi (engleski): natural language processing (NLP); named entity recognition (NER); mul- tilinual large language models (LLMs); finetuning; causal attention mask; Croatian language
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:200183
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 21:31:10