Napadi na modele za detekciju objekata zasnovani na trovanju podataka

diplomski rad

• Naslov (engleski): Attacks on object detection models based on data poisoning
• Autor: Ivan Sabolić
• Mentor: Marko Čupić (mentor)
• Član povjerenstva: Marko Čupić (predsjednik povjerenstva)
• Član povjerenstva: Jan Šnajder (član povjerenstva)
• Član povjerenstva: Siniša Šegvić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-12, Hrvatska

Sažetak

Detekcija objekata u slikama važan je zadatak računalnog vida s mnogim zanimljivim primjenama. U posljednje
vrijeme vrlo zanimljive rezultate postižu duboki modeli zasnovani na konvolucijama i slojevima pažnje. Međutim,
veliki kapacitet tih modela omogućava sofisticirane trojanske napade zasnovane na trovanju podataka za
učenje. U okviru ovog rada, predstavljene su osnovne postavke trojanskih napada.
Uhodani su jednostavni napadi na model za detekciju objekata te su prikazani rezultati takvih napada.
Ispitan je utjecaj finog ugađanja na napade trovanjem podataka u svrhu obrane i uspješnijeg napada.
Također je predložena metoda obrane od napada trovanjem podataka zasnovana na procjeni izglednosti
značajki dobivenih samonadziranim učenjem. Provedeni su eksperimenti koji pokazuju uspješnost navedene
obrane.

Sažetak (engleski)

Object detection in images is an important computer vision task with many interesting applications.
Very interesting results were recently achieved by deep models based on convolutions and attention. However,
the large capacity of these models enables trojan attacks based on data poisoning.
This paper presents the basic settings of the Trojan attack.
Simple attacks on the object detection model have been implemented and the results of such attacks are presented.
The influence of fine-tuning on the data poisoning attack was examined for the purpose of defense and more successful attacks.
Another defense method against data poisoning attacks based on likelihood estimation
of features obtained by self-supervised learning is also proposed.
Experiments were carried out that show the success of the mentioned
defense.

• Ključne riječi: trojanski napadi; detekcija objekata; napadi trovanjem podataka; obrana od napada trovanjem podataka
• Ključne riječi (engleski): trojan attacks; object detection; data poisoning attacks; defenses from data poisoning
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:015296
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:23:14