Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora

master's thesis

• Title (english): Tackling distribution shifts in multilabel text classification using adapters
• Author: Janko Vidaković
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-11, Croatia

Abstract

Nenadzirana prilagodba domene rješava problem prilagodbe klasifikatora na novu domenu, čija je distribucija značajno pomaknuta u odnosu na domenu u kojoj je klasifikator treniran.
Tradicionalni pristup nenadziranoj prilagodbi domene su parametarski neučinkoviti, zahtijevajući cjelokupno treniranje modela, kao i treniranje u više stadija.
Nadalje, nenadzirana prilagodba domeni obično se oslanja na minimizaciju derivabilne mjere za divergenciju domena, no odabir odgovarajuće metrike nije jednostavno.
U ovom radu, istražujemo parametarski učinkovit pristup nenadziranoj prilagodbi domene.
Umjesto minimizacije neke derivabilne metrike za divergenciju domena, koristimo adaptivno predtreniranje kako bismo prilagodili duboki transformator na distribuciju pomaknute domene.
Koristimo adaptore uskog grla kako bismo postigli parametarsku učinkovitost.
Naš pristup je parametarski učinkovit, no svejedno nadmašuje bazne eksperimente s obzirom na performanse na drugoj domeni.
Naši rezultati su također konzistentni s obzirom na različite iznose pomaka distribucija između izvornog i ciljanog skupa podataka.
Konačno, isprobali smo dva različita modela, BERT i RoBERTu, te smo na oba postigli slične rezultate.
Naši rezultati ističu potencijal adaptivnog predtreniranja kao metode prilagodbe domene, te nudimo smjerove za daljnje istraživanje.

Abstract (english)

Unsupervised domain adaptation solves the problem of adapting a classifier to a novel domain with a significant distribution shift relative to the domain of classifier training.
Traditional approaches to unsupervised domain approaches are parameter-inefficient, requiring full model training and multiple training stages.
Furthermore, unsupervised domain adaptation relies on the minimization of a differentiable measure for domain divergence, but choosing the most fitting metric is highly non-trivial.
In this work, we explore a parameter-efficient approach to unsupervised domain adaptation.
Instead of minimizing the value of some differentiable metric, we use adaptive pretraining to adapt a deep transformer-based classifier to the distribution of a shifted domain.
We leverage bottleneck adapters for parameter efficiency.
Our approach is parameter-efficient, while outperforming strong baselines in terms of cross-domain performance.
Our results also show consistency with respect to the amount of distribution shift between the source and the target dataset.
Finally, we experiment with different models, and confirm our results on both BERT and RoBERTa.
Our results highlight the potential of using adaptive pretraining as a method of domain adaptation, and we also offer directions for future research.

• Keywords: klasifikacija teksta s više oznaka; adaptori; duboko učenje; obrada prirodnog jezika; adaptivno predtreniranje; nenadzirana prilagodba domene
• Keywords (english): multilabel text classification; adapters; deep learning; natural language processing; adaptive pretraining; unsupervised domain adaptation
• Language: english
• URN:NBN: urn:nbn:hr:168:499669
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 10:53:46