Upotreba LLM-ova prilikom rukovanja sigurnosnim incidentima

završni rad

• Naslov (engleski): Using LLMs in handling security incidents
• Autor: Benedicte Amelie Zorana Gabelica
• Mentor: Stjepan Groš (mentor)
• Član povjerenstva: Stjepan Groš (predsjednik povjerenstva)
• Član povjerenstva: Stjepan Požgaj (član povjerenstva)
• Član povjerenstva: Ivan Sabolić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-01, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Popularizacijom velikih jezičnih modela postavlja se pitanje učinkovitosti njihove
uporabe u područjima gdje su potrebna specifična domenska znanja, kao što je računalna sigurnost. U sklopu ovoga rada ispituje se kvaliteta odgovora LLM-a kada se od
njega traži savjetovanje korisnika Cyber Conflict Simulatora. Ispitivanja se provode koristeći modele otvorenog i zatvorenog koda te se primjenjuju različite tehnike prompt
inženjerstva te namještanje parametara modela. Objašnjen je postupak korištenja LLMova lokalno te programski okviri kojima se taj postupak olakšava. Ispitivanjem su uočeni
glavni nedostatci korištenja javno dostupnih LLM-ova te je opisan postupak finog podešavanja kojim bi se modeli prilagodili određenoj domeni.

Sažetak (engleski)

The popularization of large language models raises the question of their efficiency in
fields requiring specialized domain knowledge, such as computer security. This thesis
examines the quality of LLM’s responses to user queries related to the usage of Cyber
Conflict Simulator. Both open-source and closed-source LLMs are tested using prompt
engineering techniques and parameter calibration. The process of using LLMs locally
is explained, along with the frameworks that facilitate this usage. During testing, the
main disadvantages of open-source LLMs are identified, and the fine-tuning process is
described as a method to adapt LLMs to specific domains.

• Ključne riječi: veliki jezični modeli; Cyber Conflict Simulator; prompt inženjerstvo; fino podešavanje; RAG
• Ključne riječi (engleski): large language models; Cyber Conflict Simulator; prompt engineering; fine-tuning; RAG
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:713663
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:36:01