Analiza sentimenta u novinskim naslovima korištenjem velikih jezičnih modela

master's thesis

• Title (english): Sentiment analysis in news titles using large language models
• Author: Jana Juroš
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Alan Jović (član povjerenstva)
• Committee member: Marko Čupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-02-19, Croatia

Abstract

U domeni obrade prirodnog jezika, analiza sentimenta izdvaja se kao tradicionalan, ali izazovan zadatak, obilježen subjektivnošću, zahtjevima za specifičnim znanjem domene te širokom i nejasnom definicijom sentimenta koja varira ovisno o zadatku. Usmjerena analiza sentimenta donosi dodatne izazove, uključujući sklonost pristranosti vezanoj za pojedine entitete i utjecaj općeg sentimenta na usmjerene evaluacije. Ovaj rad bavi se detekcijom usmjerenog sentimenta u kontekstu velikih jezičnih modela, koji su se u posljednjih nekoliko godina donijeli značajan napredak u nizu NLP zadataka. Analizira se zadatak detekcije usmjerenog sentimenta prema imenovanom entitetu na naslovima novinskih članaka na hrvatskom, engleskom i poljskom jeziku. Istražuje se točnost, nesigurnost i kalibracija velikih jezičnih modela u ovisnosti o parametrima modela i konstrukciji upita zasnovanih na uputama za označivače skupa podataka kojeg ispitujemo. Također, fokus je na analizi konzistentnosti, robusnosti i kalibracije velikih jezičnih modela uzimajući u obzir više vrste modeliranja nesigurnosti modela. Poseban naglasak stavljen je na analizu korelacije nesigurnosti modela i nesigurnosti označivača, istražujući kako se ove dvije dimenzije odražavaju na pouzdanost i preciznost modela.

Abstract (english)

The intricate nature of sentiment analysis (SA) stems from its inherent subjectivity, its broad, vague and task-specific definition and the demand for domain-specific context knowledge. Targeted sentiment analysis (TSA) introduces an additional layer of complexity, notably through susceptibility to entity-specific biases and the sway of prevailing sentiment on targeted evaluations. In this study, we will focus on targeted sentiment detection utilizing Large Language Models, which have recently demonstrated their superiority over other model types across a broad spectrum of NLP tasks. Specifically, we
will analyze the detection of targeted sentiment towards named entities in newspaper article headlines in Croatian, English, and Polish. Our analysis will delve into the accuracy, uncertainty, and calibration aspects of Large Language Models, taking into account their parameters and the methodology for formulating prompts based on the annotator guidelines. Furthermore, we will assess the consistency, robustness, and calibration of these models, considering different approaches to modeling their uncertainty. A significant focus will also be placed on exploring the interplay between the uncertainty inherent in the models and that of the annotators, examining how these two aspects influence the
models’ reliability and accuracy.

• Keywords: obrada prirodnog jezika; veliki jezični modeli; GPT; BERT; LLaMA; detekcija usmjerenog sentimenta; naslovi novinskih članaka; konstruiranje upita; modeliranje nesigurnosti; ispitivanje pouzdanosti; kalibracija modela
• Keywords (english): natural language processing; large language models; GPT; BERT; LLaMA; targeted sentiment detection; news article headlines; prompt engineering; prescriptive; descriptive; confidence evaluation; model uncertainty; model calibration
• Language: croatian
• URN:NBN: urn:nbn:hr:168:824465
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-03-28 07:48:33