Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta

master's thesis

• Title (english): Exploiting latent knowledge of language models to improve performance on document understanding tasks
• Author: Luka Pavlović
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-10, Croatia

Abstract

Ovaj diplomski rad istražuje iskorištavanje latentnog znanja iz predtreniranih velikih jezičnih modela za poboljšanje performansi u tri scenarija: prepoznavanje imenovanih entiteta (engl. Named Entity Recognition, NER) s ograničenim resursima, NER treniran korištenjem skupa podataka na drugom jeziku i ekstrakcija informacija u strukturiranoj formi. NER zadatak je preoblikovan u zadatak odgovaranja na pitanja (engl. Question Answering) i riješen korištenjem FLAN-T5 modela. Rezultati su pokazali da je početno uključivanje primjera za učenje poboljšalo rezultate u eksperimentima bez treniranja modela koristeći podatke iz ciljnog skupa, ali daljnja povećanja donijela su ograničene prednosti ili čak dovela do pogoršanja. Eksperimenti s treniranjem modela koristeći mali broj primjera iz ciljnoga seta pokazali su poboljšanje performansi. Međutim, izazovi koji uključuju različite jezike i strukturirani izlaz zahtijevaju daljnja istraživanja. Zaključno, predložene metode u kojima se model trenira bez primjera iz ciljnog skupa ili koristeći smanjeni broj primjera iz ciljnog skupa predstavljaju obećavajuće rješenje za scenarije s ograničenim pristupom podacima ili rani razvoj sustava, ali fino podešavanje u punom opsegu je i dalje preferirana metoda u situacijama kada su podatci dostupni.

Abstract (english)

This thesis explores leveraging latent knowledge from pre-trained LLMs to improve performance in three scenarios: low-resource NER, NER trained using a dataset in a different language, and structured information extraction. The NER task is framed as a QA task solved using the FLAN-T5 model. Experimental results showed that including initial training examples enhanced performance in the zero-shot setting, but further increases offered limited benefits or even lead to deterioration. Few-shot experiments demonstrated performance improvement with the inclusion of data from the target dataset. However, challenges involving different languages and structured output require further research. In conclusion, the proposed zero- and few-shot methods present a promising solution for limited data scenarios or early system development, but full-scale fine-tuning remains preferable with sufficient data availability.

• Keywords: veliki jezični modeli; obrada prirodnog jezika; Text-to-Text Transfer Transformer; umjetna inteligencija nad dokumentima; učenje na malom broju primjera; učenje bez primjera
• Keywords (english): Large Language Models; Natural Language Processing; few-shot; zero-shot; Text-to-Text Transfer Transformer; Document AI
• Language: english
• URN:NBN: urn:nbn:hr:168:533614
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 10:03:44