Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora

diplomski rad

• Naslov (engleski): Evaluation of performance measures for abstractive summarization using generated summaries to train classifiers
• Autor: Vedran Kurdija
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-10, Hrvatska

Sažetak

Automatsko sažimanje teksta čitateljima štedi dragocjeno vrijeme. Veliki pred-trenirani
jezični modeli suvremen su alat za ovaj zadatak. Kako bismo ih efikasno evaluirali, potrebne
su automatske metrike sažimanja. Cilj ovog rada bio je evaluirati sumarizacijske metrike ko-
rištenjem sažetaka kao ulaza u klasifikator, bez potrebe za ljudskom procjenom generiranih
sažetaka.
Eksperimenti su provedeni na BigPatent i Reddit skupovima podataka uz korištenje ve-
likih pred-treniranih jezičnih modela kao sažimača i logističke regresije kao klasifikatora.
Korištene su različite vrste ulaza i raspona rezultata sažetaka u svrhu istraživanja metode i
mogućih pristranosti. Metrike su uspored̄ene vizualno i brojčano. BERTScore i ROUGE-1
postigle su najbolje rezultate u okruženju kratkih sažetaka, gdje su ROUGE-2 i ROUGE-3
postigle loše rezultate, dok su ROUGE-1 i ROUGE-2 postigle najbolje rezultate u okruženju
dužih sažetaka. BLEU je postigao usporedive i konzistentne rezultate u svim scenarijima.
Rezultati za različite raspone rezultata sažetaka doimaju se konzistentnima u kontekstu rel-
ativnog poretka metrika za odred̄eni skup podataka, sa mogućnom nestabilnošću i većom
osjetljivošću na pristranosti u najnižem rasponu rezultata sažetaka.

Sažetak (engleski)

Automatically summarizing text saves readers valuable time. Large pre-trained language
models are the state of the art tool for this task. In order to evaluate them efficiently, auto-
matic summarization metrics are required. The goal of this thesis was to evaluate summa-
rization metrics by using summaries as inputs to a classifier, requiring no human judgment
of the generated summaries.
Experiments were performed on the BigPatent and Reddit datasets using large pre-trained
language models as the summarizers and logistic regression as the classifier. Different input
types and summary scoring ranges were used to explore the method and potential biases.
Metrics were compared visually and numerically. BERTScore and ROUGE-1 performed
best in the short summary setting, where ROUGE-2 and ROUGE-3 performed poorly, and
ROUGE-1 and ROUGE-2 performed best in the longer summary setting. BLEU performed
competitively and consistently across all scenarios. Results with different summary scoring
ranges appear consistent in regards to the relative order of metrics for a fixed dataset, with
potential instability and a greater susceptibility to biases in the lowest summary scoring
range.

• Ključne riječi: sažimanje teksta; evaluacija metrika sažimanja; klasifikacija teksta; veliki pred-trenirani jezični modeli; logistička regresija
• Ključne riječi (engleski): text summarization; summarization metrics evaluation; text classification; large pre-trained language models; logistic regression
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:372491
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 09:28:43