Sustav za upravljanje halucinacijama velikih jezičnih modela

master's thesis

• Title (english): System for Managing Hallucinations in Large Language Models
• Author: Bjanka Vrljić
• Mentor: Ivica Botički (mentor)
• Committee member: Ivica Botički (predsjednik povjerenstva)
• Committee member: Danijel Mlinarić (član povjerenstva)
• Committee member: Nikica Hlupić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-12, Croatia

Abstract

Halucinacije u velikim jezičnim modelima (LLM-ovima) narušavaju pouzdanost sadržaja generiranog pomoću umjetne inteligencije. Ovaj rad obuhvaća razvoj inovativnog sustava namijenjenog upravljanju halucinacijama u LLM-ovima putem interaktivne aplikacije. Sustav integrira više LLM-ova za generiranje i evaluaciju odgovora, koristeći mehanizme samoprovjere za detekciju haluciniranog sadržaja. Ključni dijelovi uključuju generiranje odgovora u stvarnom vremenu pomoću nekoliko LLM-ova, mehanizme samoprovjere za validaciju odgovora, te radni okvir za ocjenjivanje i kategorizaciju odgovora na temelju vjerojatnosti halucinacije. Aplikacija omogućuje korisnicima odabir između različitih modela te prilagodbu parametara poput temperature i praga detekcije, pružajući fleksibilnost u generiranju i evaluaciji odgovora.

Abstract (english)

Hallucinations in large language models (LLMs) undermine the reliability of AI-generated content. This paper covers the development of an innovative system designed to manage hallucinations in LLMs through an interactive application. The system integrates multiple LLMs for generating and evaluating responses, employing self-check mechanisms for detecting hallucinated content. Key components include real-time response generation using several LLMs, self-check mechanisms for response validation, and a framework for scoring and categorizing responses based on hallucination likelihood. The application enables users to select from a range of models and adjust parameters such as temperature and detection threshold, providing flexibility in response generation and evaluation.

• Keywords: obrada prirodnog jezika; veliki jezični modeli; chatbot; detekcija halucinacija; SelfCheckGPT
• Keywords (english): natural language processing; large language models; chatbot; hallucination detection; SelfCheckGPT
• Language: croatian
• URN:NBN: urn:nbn:hr:168:193768
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 22:27:58