Detektiranje velikih jezičnih modela na osnovu njihovih odgovora

undergraduate thesis

• Title (english): Detecting large language models based on their responses
• Author: Andrija Dumančić
• Mentor: Mihaela Vranić (mentor)
• Committee member: Mihaela Vranić (predsjednik povjerenstva)
• Committee member: Damir Pintar (član povjerenstva)
• Committee member: Ana Šarčević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-08-26, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Tehnologija velikih jezičnih modela napredovala je impresivnom brzinom,
omogućujući generiranje teksta ljudske kvalitete. Koristi se u prevođenju jezika,
prepoznavanju govora i komunikaciji putem chatbotova, povećavajući efikasnost i
kreativnost. Klasifikacija LLM-ova je važna zbog sigurnosti i transparentnosti, jer
ovi modeli mogu pružati maliciozne i zavaravajuće informacije koje je nužno
prepoznati i otkriti. Cilj ovog rada je razvoj klasifikatora koji može identificirati koji
je LLM, generirao određeni sadržaj. To se postiže uspostavljanjem sveobuhvatnog
skupa podataka, dizajnom upita i mjerenjem karakteristika odgovora, te izgradnjom i
evaluacijom sustava klasifikacije. Rad također nudi diskusiju o ograničenjima i
preporuke za buduća istraživanja.

Abstract (english)

The technology of large language models (LLMs) has advanced at an
impressive pace, enabling the generation of human-quality text. It is used in language
translation, speech recognition, and communication via chatbots, thereby increasing
efficiency and creativity. The classification of LLMs is important for security and
transparency, as these models can provide malicious and misleading information that
needs to be identified and detected. The aim of this paper is to develop a classifier
capable of identifying which LLM generated a particular content. This is achieved by
establishing a comprehensive dataset, designing queries, measuring response
characteristics, and building and evaluating a classification system. The paper also
discusses limitations and provides recommendations for future research.

• Keywords: veliki jezični modeli; klasifikacija; karakteristike odgovora; strojno učenje
• Keywords (english): large language models; classification; response characteristics; machine learning
• Language: croatian
• URN:NBN: urn:nbn:hr:168:806141
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 20:29:14