Detektiranje trovanja podataka primjenom interpretabilnih modela

master's thesis

• Title (english): Detecting data poisoning by means of interpretable models
• Author: Anto Matanović
• Mentor: Siniša Šegvić (mentor)
• Committee member: Siniša Šegvić (predsjednik povjerenstva)
• Committee member: Alan Jović (član povjerenstva)
• Committee member: Tomislav Hrkać (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-11, Croatia

Abstract

Treniranje dubokih modela je skupo i dugotrajno, a vanjski servisi mogu umetnuti
maliciozna stražnja vrata u modele ili podaci s interneta mogu biti zatrovani. Istraživanje napada i obrana je ključno za validaciju podataka i modela. U radu smo predstavili novi pristup koristeći interpretabilni model, pokazavši da objašnjenja malicioznih
primjera sadrže više informacija od čistih objašnjenja. Jednostavno K-means grupiranje
može odvojiti maliciozne primjere, osim kod napada WaNet zbog minimalnih promjena.
Udaljenost objašnjenja čistih i zatrovanih podataka do 10% najbližih čistih objašnjenja
pokazuje veću razliku za zatrovane podatke. Udaljenost do 5% čistih objašnjenja daje
slične rezultate što potvrđuje ROC krivulja i AUROC vrijednost blizu 1 za svaki napad.
Iskoristili smo ovaj podatak za metodu odvajanja čistih i zatrovanih primjeraka, uvođenjem hiperparametra r koji određuje koliko posto primjeraka s najvećim udaljenostima
uklanjamo. Parametar r=0.15 se pokazao uspješnim.

Abstract (english)

Training deep models is expensive and time-consuming, and external services might
introduce malicious backdoors into the models, or data from the internet could be poisoned. Investigating attacks and defenses is crucial for validating data and models. Our
paper presented a new approach using an interpretable model, showing that explanations for malicious examples contain more information than clean explanations. Simple K-means clustering can separate malicious examples, except for WaNet attacks due
to minimal changes. The distance between explanations of clean and poisoned data to
the closest 10% of clean explanations shows a greater difference for poisoned data. The
distance to the closest 5% of clean explanations yields similar results confirmed by the
ROC curve and AUROC value close to 1 for each attack. We utilized this information to
develop a method for separating clean and poisoned examples by introducing a hyperparameter r that determines the percentage of examples with the greatest distances to be
removed. The parameter r=0.15 proved successful.

• Keywords: Duboko Učenje; Stražnja Vrata; Obrana; Interpretabilni modeli; CIFAR10
• Keywords (english): Deep Learning; Backdoor; Defense; Interpretable Models; CIFAR-10
• Language: croatian
• URN:NBN: urn:nbn:hr:168:865880
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 21:29:57