Analiza sentimenta u novinskim naslovima korištenjem velikih jezičnih modela

diplomski rad

• Naslov (engleski): Sentiment analysis in news titles using large language models
• Autor: Jana Juroš
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-02-19, Hrvatska

Sažetak

U domeni obrade prirodnog jezika, analiza sentimenta izdvaja se kao tradicionalan, ali izazovan zadatak, obilježen subjektivnošću, zahtjevima za specifičnim znanjem domene te širokom i nejasnom definicijom sentimenta koja varira ovisno o zadatku. Usmjerena analiza sentimenta donosi dodatne izazove, uključujući sklonost pristranosti vezanoj za pojedine entitete i utjecaj općeg sentimenta na usmjerene evaluacije. Ovaj rad bavi se detekcijom usmjerenog sentimenta u kontekstu velikih jezičnih modela, koji su se u posljednjih nekoliko godina donijeli značajan napredak u nizu NLP zadataka. Analizira se zadatak detekcije usmjerenog sentimenta prema imenovanom entitetu na naslovima novinskih članaka na hrvatskom, engleskom i poljskom jeziku. Istražuje se točnost, nesigurnost i kalibracija velikih jezičnih modela u ovisnosti o parametrima modela i konstrukciji upita zasnovanih na uputama za označivače skupa podataka kojeg ispitujemo. Također, fokus je na analizi konzistentnosti, robusnosti i kalibracije velikih jezičnih modela uzimajući u obzir više vrste modeliranja nesigurnosti modela. Poseban naglasak stavljen je na analizu korelacije nesigurnosti modela i nesigurnosti označivača, istražujući kako se ove dvije dimenzije odražavaju na pouzdanost i preciznost modela.

Sažetak (engleski)

The intricate nature of sentiment analysis (SA) stems from its inherent subjectivity, its broad, vague and task-specific definition and the demand for domain-specific context knowledge. Targeted sentiment analysis (TSA) introduces an additional layer of complexity, notably through susceptibility to entity-specific biases and the sway of prevailing sentiment on targeted evaluations. In this study, we will focus on targeted sentiment detection utilizing Large Language Models, which have recently demonstrated their superiority over other model types across a broad spectrum of NLP tasks. Specifically, we
will analyze the detection of targeted sentiment towards named entities in newspaper article headlines in Croatian, English, and Polish. Our analysis will delve into the accuracy, uncertainty, and calibration aspects of Large Language Models, taking into account their parameters and the methodology for formulating prompts based on the annotator guidelines. Furthermore, we will assess the consistency, robustness, and calibration of these models, considering different approaches to modeling their uncertainty. A significant focus will also be placed on exploring the interplay between the uncertainty inherent in the models and that of the annotators, examining how these two aspects influence the
models’ reliability and accuracy.

• Ključne riječi: obrada prirodnog jezika; veliki jezični modeli; GPT; BERT; LLaMA; detekcija usmjerenog sentimenta; naslovi novinskih članaka; konstruiranje upita; modeliranje nesigurnosti; ispitivanje pouzdanosti; kalibracija modela
• Ključne riječi (engleski): natural language processing; large language models; GPT; BERT; LLaMA; targeted sentiment detection; news article headlines; prompt engineering; prescriptive; descriptive; confidence evaluation; model uncertainty; model calibration
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:824465
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-03-28 07:48:33