Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima

master's thesis

• Title (english): Question answering systems based on large language models
• Author: Eva Jagodić
• Mentor: Marin Šilić (mentor)
• Committee member: Marin Šilić (predsjednik povjerenstva)
• Committee member: Goran Delač (član povjerenstva)
• Committee member: Adrian Satja Kurdija (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-02-19, Croatia

Abstract

Veliki jezični modeli označili su revoluciju u području obrade prirodnog jezika. Za razliku od tradicionalnih sustava strojnog učenja, koji su trenirani na jednom zadatku i potom korišteni isključivo na tom istom zadatku, veliki jezični modeli postižu dobre rezultate na velikom rasponu zadataka, kako tradicionalnih tako i potpuno novih. Zadatak pitanja i odgovora jedan je od osnovnih zadataka obrade prirodnog jezika koji je također doživio promjene razvojem velikih jezičnih modela. Ovaj rad istražuje najsuvremenije sustave pitanja i odgovora zasnovane na velikim jezičnim modelima i pokušava riješiti jedan od značajnih ograničenja tih modela: jezično ograničenje. Naime, većina modela usmjerena je na engleski jezik, i u korpusu za treniranje i u evaluaciji. Stoga je fokus ovog rada na prilagodbi modela Llama-2 na njemački jezik. U ovu svrhu konstruiran je okvir za evaluaciju na njemačkom i istražene su dvije tehnike poboljšanja s niskim zahtjevima na računalne resurse: učenje iz konteksta i fino podešavanje instrukcijama na parametarski učinkovit način. Rezultati ukazuju na to da dok se značajno poboljšanje može postići korištenjem jednostavnih few-shot instrukcija, fino podešavanje nedovoljno je za dodatna poboljšanja njemačkih sposobnosti.

Abstract (english)

Large Language Models (LLMs) have revolutionized the field of Natural Language Processing (NLP). Unlike traditional machine learning systems, which are trained on a specific task and then applied exclusively to this task, LLMs demonstrate proficiency on a wide variety of tasks, both traditional and novel. Question answering (QA) is one of the fundamental NLP tasks that has experienced notable changes with the development of LLMs. This thesis explores the state-of-the-art of question answering systems based on LLMs and attempts to address one of the significant limitations of these models: the language limitation. Most LLMs are English-centered, in both their pretraining corpus and in their evaluation. Therefore, the focus of the thesis is on trying to adapt a powerful open-soruce model, Llama-2, to German. To achieve this, a German evaluation framework is constructed, and two low-resource enhancement techniques are explored, namely in-context learning and parameter efficient instruction tuning. The results reveal that while significant improvement can be achieved using simple few-shot prompting, fine-tuning proves to be insufficient for further improvements of the model's German QA capabilities.

• Keywords: veliki jezični modeli; sustavi pitanja i odgovora; višejezični modeli; učenje iz konteksta; fino podešavanje instrukcijama
• Keywords (english): large language models; question answering; multilingual models; in-context learning; instruction-tuning
• Language: english
• URN:NBN: urn:nbn:hr:168:303374
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 20:53:55