Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja

završni rad

• Naslov (engleski): Application of a generative language model to question answering and language modeling tasks
• Autor: Jerko Šegvić
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: David Dukić (član povjerenstva)
• Član povjerenstva: Josip Jukić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-05, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Rad proučava mogućnosti generativnog jezičnog modela GPT-2. Detaljno je objašnjena ideja iza generativnih jezičnih modela i principi na kojima se temelje. Objašnjena je arhitektura modela i mehanizmi koje konkretan model koristi. Performanse modela mjerene su na tri različita skupa podataka bez ugađanja i s ugađanjem na podskupovima za treniranje. Skupovi podataka testiraju sposobnost modela za rješavanje jezičnih zadataka odgovaranja na pitanja i jezičnog modeliranja. Za svaki skup je objašnjena njegova struktura, naveden broj primjera na svakom podskupu te objašnjeno što je njime testirano. Da bi model uspješno savladao te zadatke, mora moći pratiti dulji kontekst i dobro razumjeti sadržaj teksta. Opisan je postupak treniranja i nevedeni su hiperparametri korišteni za treniranje na svakom skupu. Provedena je detaljna analiza rezultata prije i nakon ugađanja modela. Komentirani su nedostatci i predloženi koraci za daljnji razvoj.

Sažetak (engleski)

This work studies the abilities of the generative language model GPT-2. The general idea behind generative language models and the principles on which they are based are explained in great detail. The architecture of GPT-2 and the mechanisms used by it are also explained. The performance of the model is measured on three different datasets in the zero-shot setup and with fine-tuning on the training subsets. The datasets test the model's ability to handle more complex language tasks. The structure of each dataset is explained in detail. For each dataset, the size of each subset is listed, and it is explained which tasks they are testing. To succeed on these tasks, the model must be able to follow the longer context and understand it well. The training procedure is described, and hyperparameters used to train each dataset are listed. A detailed analysis of the results before and after fine-tuning was carried out. The deficiencies of training procedures are commented. The steps for further development are also suggested.

• Ključne riječi: umjetna inteligencija; strojno učenje; duboko učenje; obrada prirodnog jezika; generativni modeli; kauzalno jezično modeliranje; transformator; GPT-2
• Ključne riječi (engleski): artificial inteligence; machine learning; deep learning; natural language processing; generative models; causal language modeling; transformer; GPT-2
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:981173
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:38:13