Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora

master's thesis

• Title (english): Evaluation of performance measures for abstractive summarization using generated summaries to train classifiers
• Author: Vedran Kurdija
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-10, Croatia

Abstract

Automatsko sažimanje teksta čitateljima štedi dragocjeno vrijeme. Veliki pred-trenirani
jezični modeli suvremen su alat za ovaj zadatak. Kako bismo ih efikasno evaluirali, potrebne
su automatske metrike sažimanja. Cilj ovog rada bio je evaluirati sumarizacijske metrike ko-
rištenjem sažetaka kao ulaza u klasifikator, bez potrebe za ljudskom procjenom generiranih
sažetaka.
Eksperimenti su provedeni na BigPatent i Reddit skupovima podataka uz korištenje ve-
likih pred-treniranih jezičnih modela kao sažimača i logističke regresije kao klasifikatora.
Korištene su različite vrste ulaza i raspona rezultata sažetaka u svrhu istraživanja metode i
mogućih pristranosti. Metrike su uspored̄ene vizualno i brojčano. BERTScore i ROUGE-1
postigle su najbolje rezultate u okruženju kratkih sažetaka, gdje su ROUGE-2 i ROUGE-3
postigle loše rezultate, dok su ROUGE-1 i ROUGE-2 postigle najbolje rezultate u okruženju
dužih sažetaka. BLEU je postigao usporedive i konzistentne rezultate u svim scenarijima.
Rezultati za različite raspone rezultata sažetaka doimaju se konzistentnima u kontekstu rel-
ativnog poretka metrika za odred̄eni skup podataka, sa mogućnom nestabilnošću i većom
osjetljivošću na pristranosti u najnižem rasponu rezultata sažetaka.

Abstract (english)

Automatically summarizing text saves readers valuable time. Large pre-trained language
models are the state of the art tool for this task. In order to evaluate them efficiently, auto-
matic summarization metrics are required. The goal of this thesis was to evaluate summa-
rization metrics by using summaries as inputs to a classifier, requiring no human judgment
of the generated summaries.
Experiments were performed on the BigPatent and Reddit datasets using large pre-trained
language models as the summarizers and logistic regression as the classifier. Different input
types and summary scoring ranges were used to explore the method and potential biases.
Metrics were compared visually and numerically. BERTScore and ROUGE-1 performed
best in the short summary setting, where ROUGE-2 and ROUGE-3 performed poorly, and
ROUGE-1 and ROUGE-2 performed best in the longer summary setting. BLEU performed
competitively and consistently across all scenarios. Results with different summary scoring
ranges appear consistent in regards to the relative order of metrics for a fixed dataset, with
potential instability and a greater susceptibility to biases in the lowest summary scoring
range.

• Keywords: sažimanje teksta; evaluacija metrika sažimanja; klasifikacija teksta; veliki pred-trenirani jezični modeli; logistička regresija
• Keywords (english): text summarization; summarization metrics evaluation; text classification; large pre-trained language models; logistic regression
• Language: english
• URN:NBN: urn:nbn:hr:168:372491
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 09:28:43