Prepoznavanje teksta generiranog velikim jezičnim modelom

diplomski rad

• Naslov (engleski): Detection of Text Generated by a Large Language Model
• Autor: Maria Fain
• Mentor: Goran Delač (mentor)
• Član povjerenstva: Goran Delač (predsjednik povjerenstva)
• Član povjerenstva: Marin Šilić (član povjerenstva)
• Član povjerenstva: Klemo Vladimir (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-04, Hrvatska

Sažetak

Veliki jezični modeli koriste se za probleme iz područja obrade prirodnog teksta poput klasifikacije, generiranja, sažimanja teksta i slično. Zlouporabom generativnih velikih jezičnih modela stvorila se potreba za sustavima sposobnima prepoznati tekst generiran velikim jezičnim modelom među tekstovima koje su napisali ljudi. Za rješavanje ovog problema programski su ostvareni klasifikatori BERT, RoBERTa i DistilBERT naučeni koristeći skup podataka „GPT Wiki Intro”. Dio tekstova u skupu za učenje generiran je velikim jezičnim modelom Curie. Nakon što su klasifikatori istrenirani, provedeno je vrednovanje uspješnosti njihovih predikcija nad skupom podataka za ispitivanje koristeći razne metrike. Klasifikatori su dodatno vrednovani koristeći tekstove koje su generirali različiti veliki jezični modeli.

Sažetak (engleski)

Large language models (LLMs) are used for problems in the field of natural language processing such as text classification, generating or summarizing text and others. The misuse of generative LLMs created a need for systems which would be capable of detecting texts generated by an LLM among texts written by humans. For solving this problem, classifiers BERT, RoBERTa and DistilBERT were implemented and trained using the "GPT Wiki Intro" dataset. A share of the texts in the training dataset was generated by the Curie LLM. After the classifiers were trained, their predictions on the testing dataset were validated using various metrics. The classifiers were additionally validated using texts that were generated by different LLMs.

• Ključne riječi: obrada prirodnog jezika; veliki jezični modeli; klasifikacija teksta; BERT; RoBERTa; DistilBERT; modeli zasnovani na transformerima; matrica zabune
• Ključne riječi (engleski): natural language processing; large language models; text classification; BERT; RoBERTa; DistilBERT; transformer models; confusion matrix
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:792042
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:33:36