Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica

master's thesis

• Title (english): Combining adaptive pretraining techniques for the task of automated fact-checking
• Author: Ivan Rep
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-11, Croatia

Abstract

Razvoj tehnika strojnog učenja uvelike je promijenio ulogu numeričkih podataka i kako se ti podaci iskorištavaju. Kombiniranje tehnika obrade prirodnog jezika i arhitekture transformatora nadmašilo je ljudske performanse na određenim zadacima razumijevanja prirodnog jezika. Jedan od zadataka razumijevanja prirodnog jezika je i automatizirana provjera činjenica, koja postaje sve više potrebna zbog brzine širenja dezinformacija u modernim medijima. Ovaj rad bavi se primjenom modela transformatora na zadatak detekcije tvrdnji koje je potrebno provjeriti i na zadatak provjere činjenica. Rad uključuje niz eksperimenata vezanih uz predtreniranje arhitektura transformatora i fino podešavanje parametara modela na spomenutim zadacima. Za predtreniranje modela isprobane su neke od postojećih metoda, osmišljena je i isprobana strategija ciljanog maskiranja riječi za zadatak maskiranog modeliranja jezika, i osmišljen je i isproban zadatak detekcije riječi značajnih za zadatak provjere činjenica. Nastavno na eksperimente vezane uz predtreniranje modela, za fino podešavanje parametara modela osmišljen je i isproban način direktnog ugrađivanja informacije o značajnim riječima, testiran je utjecaj korištenja otežavanja funkcije gubitka i međusobni prijenos znanja između zadataka provjere činjenica. Za svaki od naučenih modela prezentirani su i komentirani rezultati, a detaljnija analiza pogrešaka napravljena je za BERT model.

Abstract (english)

The development of machine learning has drastically changed the role of numerical data and how it can be exploited. Combining natural language processing techniques and transformer architecture has surpassed human performance on certain natural language understanding tasks. One of the natural language understanding tasks is automated fact-checking, which has become increasingly important due to the rapid spreading of misinformation and disinformation in modern media outlets. The thesis focuses on applying transformer models to the task of claim check-worthiness detection and fact-verification. It includes a series of experiments regarding pretraining transformer models and fine-tuning on the mentioned tasks. Besides experimenting with the well-known pretraining methods, a method for strategically masking words in the masked language modeling procedure was developed, as well as a method for detecting highly informative words. Aside from experimenting with pretraining, the thesis includes testing the inclusion of highly informative words directly into the fine-tuning procedure, as well as mutual knowledge transfer from each of the fact-checking tasks, and the use of loss function weighting. Each of the trained models is presented and the results are commented on, while a more detailed error analysis is carried out for the BERT model.

• Keywords: provjera činjenica; samonadzirano učenje; obrada prirodnog jezika; duboko učenje; transformator
• Keywords (english): fact-checking; self-supervised learning; natural language processing; deep learning; transformer
• Language: english
• URN:NBN: urn:nbn:hr:168:358740
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 10:20:03