Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije

završni rad

• Naslov (engleski): Nonparametric quantification of uncertainty of text classification models using conformal prediction
• Autor: Patrik Đurđević
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: David Dukić (član povjerenstva)
• Član povjerenstva: Filip Karlo Došilović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-01, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Modeli obrade prirodnog jezika za klasifikaciju teksta sve se više koriste za rješavanje društveno korisnih zadataka kao što je analiza sentimenta. Algoritmi za konformno predviđanje nadograđuju uobičajenu paradigmu strojnog učenja i pomažu ekspertima u rješavanju ovih zadataka omogućujući im da izravno odrede stopu pogreške modela, uz mogućnost predviđanja više klasa za određeni primjer. Ovaj završni rad istražuje različite algoritme strojnog učenja i uspoređuje njihove rezultate na skupu podataka Amazonovih recenzija s ciljem predviđanja je li recenzija pozitivna ili negativna na temelju njenog naslova. Nakon pronalaženja najboljeg modela, rad se usredotočuje na evaluaciju Venn-Abersovih prediktora i algoritma konformnog predviđanja. Utvrđeno je da se vjerojatnosti dobivene koristeći algoritam Venn-Abers razlikuju od onih proizvedenih uobičajeno korištenim Plattovim skaliranjem. Nadalje, utvrđeno je da konformna predviđanja zadovoljavaju slobodno odabranu stopu pogreške. Model s najboljom izvedbom za taj zadatak bio je RoBERTa s F1 metrikom 0.86.

Sažetak (engleski)

Natural language processing models for text classification are increasingly being used to solve socially useful tasks such as sentiment analysis. Conformal prediction algorithms build on top of the regular machine learning paradigms helping practitioners solve these tasks by enabling them to directly specify the model's error rate, with the caveat of possibly observing multi-class predictions. This thesis explores various machine learning algorithms and compares their performance on the Amazon reviews dataset to predict whether the review is positive or negative based on its title. After finding the best model, the thesis evaluates Venn-Abers predictors and the conformal prediction algorithm. It is found that Venn-Abers-produced probabilities differ from ones produced by commonly-used Platt scaling. Furthermore, it is found that model and data-agnostic conformal predictions satisfy the freely-chosen error rate. The best performing model for the task was RoBERTa with 0.86 F1-score.

• Ključne riječi: obrada prirodnog jezika; klasifikacija sentimenta; konformna predikcija; Venn-Abers prediktori; logistička regresija; BERT
• Ključne riječi (engleski): natural language processing; sentiment classification; conformal prediction; Venn-Abers predictors; logistic regression; BERT
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:596599
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-15 10:04:03