Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije

undergraduate thesis

• Title (english): Nonparametric quantification of uncertainty of text classification models using conformal prediction
• Author: Patrik Đurđević
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: David Dukić (član povjerenstva)
• Committee member: Filip Karlo Došilović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2022-07-01, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Modeli obrade prirodnog jezika za klasifikaciju teksta sve se više koriste za rješavanje društveno korisnih zadataka kao što je analiza sentimenta. Algoritmi za konformno predviđanje nadograđuju uobičajenu paradigmu strojnog učenja i pomažu ekspertima u rješavanju ovih zadataka omogućujući im da izravno odrede stopu pogreške modela, uz mogućnost predviđanja više klasa za određeni primjer. Ovaj završni rad istražuje različite algoritme strojnog učenja i uspoređuje njihove rezultate na skupu podataka Amazonovih recenzija s ciljem predviđanja je li recenzija pozitivna ili negativna na temelju njenog naslova. Nakon pronalaženja najboljeg modela, rad se usredotočuje na evaluaciju Venn-Abersovih prediktora i algoritma konformnog predviđanja. Utvrđeno je da se vjerojatnosti dobivene koristeći algoritam Venn-Abers razlikuju od onih proizvedenih uobičajeno korištenim Plattovim skaliranjem. Nadalje, utvrđeno je da konformna predviđanja zadovoljavaju slobodno odabranu stopu pogreške. Model s najboljom izvedbom za taj zadatak bio je RoBERTa s F1 metrikom 0.86.

Abstract (english)

Natural language processing models for text classification are increasingly being used to solve socially useful tasks such as sentiment analysis. Conformal prediction algorithms build on top of the regular machine learning paradigms helping practitioners solve these tasks by enabling them to directly specify the model's error rate, with the caveat of possibly observing multi-class predictions. This thesis explores various machine learning algorithms and compares their performance on the Amazon reviews dataset to predict whether the review is positive or negative based on its title. After finding the best model, the thesis evaluates Venn-Abers predictors and the conformal prediction algorithm. It is found that Venn-Abers-produced probabilities differ from ones produced by commonly-used Platt scaling. Furthermore, it is found that model and data-agnostic conformal predictions satisfy the freely-chosen error rate. The best performing model for the task was RoBERTa with 0.86 F1-score.

• Keywords: obrada prirodnog jezika; klasifikacija sentimenta; konformna predikcija; Venn-Abers prediktori; logistička regresija; BERT
• Keywords (english): natural language processing; sentiment classification; conformal prediction; Venn-Abers predictors; logistic regression; BERT
• Language: english
• URN:NBN: urn:nbn:hr:168:596599
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-15 10:04:03