Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta

diplomski rad

• Naslov (engleski): Exploiting latent knowledge of language models to improve performance on document understanding tasks
• Autor: Luka Pavlović
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-10, Hrvatska

Sažetak

Ovaj diplomski rad istražuje iskorištavanje latentnog znanja iz predtreniranih velikih jezičnih modela za poboljšanje performansi u tri scenarija: prepoznavanje imenovanih entiteta (engl. Named Entity Recognition, NER) s ograničenim resursima, NER treniran korištenjem skupa podataka na drugom jeziku i ekstrakcija informacija u strukturiranoj formi. NER zadatak je preoblikovan u zadatak odgovaranja na pitanja (engl. Question Answering) i riješen korištenjem FLAN-T5 modela. Rezultati su pokazali da je početno uključivanje primjera za učenje poboljšalo rezultate u eksperimentima bez treniranja modela koristeći podatke iz ciljnog skupa, ali daljnja povećanja donijela su ograničene prednosti ili čak dovela do pogoršanja. Eksperimenti s treniranjem modela koristeći mali broj primjera iz ciljnoga seta pokazali su poboljšanje performansi. Međutim, izazovi koji uključuju različite jezike i strukturirani izlaz zahtijevaju daljnja istraživanja. Zaključno, predložene metode u kojima se model trenira bez primjera iz ciljnog skupa ili koristeći smanjeni broj primjera iz ciljnog skupa predstavljaju obećavajuće rješenje za scenarije s ograničenim pristupom podacima ili rani razvoj sustava, ali fino podešavanje u punom opsegu je i dalje preferirana metoda u situacijama kada su podatci dostupni.

Sažetak (engleski)

This thesis explores leveraging latent knowledge from pre-trained LLMs to improve performance in three scenarios: low-resource NER, NER trained using a dataset in a different language, and structured information extraction. The NER task is framed as a QA task solved using the FLAN-T5 model. Experimental results showed that including initial training examples enhanced performance in the zero-shot setting, but further increases offered limited benefits or even lead to deterioration. Few-shot experiments demonstrated performance improvement with the inclusion of data from the target dataset. However, challenges involving different languages and structured output require further research. In conclusion, the proposed zero- and few-shot methods present a promising solution for limited data scenarios or early system development, but full-scale fine-tuning remains preferable with sufficient data availability.

• Ključne riječi: veliki jezični modeli; obrada prirodnog jezika; Text-to-Text Transfer Transformer; umjetna inteligencija nad dokumentima; učenje na malom broju primjera; učenje bez primjera
• Ključne riječi (engleski): Large Language Models; Natural Language Processing; few-shot; zero-shot; Text-to-Text Transfer Transformer; Document AI
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:533614
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:03:44