Višejezično otkrivanje govora mržnje i uvredljivog govora

diplomski rad

• Naslov (engleski): Multilingual offensive and hate speech detection
• Autor: Mateja Iveta
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Član povjerenstva: Domagoj Jakobović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-09-16, Hrvatska

Sažetak

Govor mržnje i uvredljiv govor su fenomeni prisutni u stvarnom životu i na internetu, te svakodnevno pogađaju mnoge ljude. Takvim govorom se općenito smatraju zlonamjerni izrazi usmjereni prema pojedincu ili grupi na temelju njihovih karakteristika. Zbog velike količine sadržaja koji nastaje na internetu, ručno otkrivanje takvog govora je dugotrajno i skupo. Stoga automatizirane metode moderiranja postaju sve popularnije. U ovom se radu koriste obrada prirodnog jezika i duboko učenje za binarnu klasifikaciju tekstova prikupljenih s interneta na nekoliko jezika: engleskom, hrvatskom, indonezijskom, francuskom i brazilskom portugalskom. Korišteno je više modela, uključujući mBERT, DistilBERT, XLM-RoBERTa i GPT, kao i dodatne tehnike prijenosa učenja poput učenja iz nekoliko ili niti jednog primjera. Istražili smo i usporedili ove modele i pristupe na različitim jezicima kako bismo identificirali one s najboljom izvedbom. Modeli su prvenstveno ocijenjeni prema F1 mjeri, koja uzima u obzir preciznost i odziv, te su uspoređeni sa sličnim postojećim istraživanjima.

Sažetak (engleski)

Hate and offensive speech are a present phenomenon in real life and online, affecting many people daily. It is generally considered as an offensive discourse targeted towards an individual or a group based on their characteristics. Due to the vast amount of online content being produced, manual detection of such speech is time-consuming and costly. Therefore, automated detection methods are increasing in popularity. In this thesis, we used natural language processing and deep learning for binary classification of texts collected online in several languages: English, Croatian, Indonesian, French, and Brazilian Portuguese. Multiple models were used, including mBERT, DistilBERT, XLM-RoBERTa, and GPT, as well as additional transfer learning techniques such as zero and few-shot learning. We explored and compared these models and approaches in different languages to identify the ones with the highest performance. The models were primarily evaluated based on the F1 score, a measure considering precision and recall, and compared to similar existing research.

• Ključne riječi: Govor mržnje; uvredljiv govor; klasifikacija; obrada prirodnog jezika; veliki jezični modeli
• Ključne riječi (engleski): Hate speech; offensive speech; classification; natural language processing; large language models
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:274786
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-11-07 05:38:18