Pronalaženje anomalija difuzijskim uklanjanjem šuma

diplomski rad

• Naslov (engleski): Anomaly detection with denoising diffusion
• Autor: Josip Srzić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-11, Hrvatska

Sažetak

Varijacijski difuzijski modeli iskazuju impresivne performanse na zadatku detekcije anomalija. Njihova glavna mana je računalna složenost, zbog prolaska krozi dugi unatražni Markovljev proces. Procjena difuzijskog vremena (DTE) varijanta je difuzijskih modela koja ih nadmašuje u zadatku detekcije anomalija uz značajno manji broj potrebnih računalnih operacija. U ovom radu učimo model difuzijske procjene vremena na segmentima skeletona koji opisuju poze osoba u videozapisima, s ciljem pronalaženja anomalnih radnji. U osnovnom eksperimentu pokazujemo da difuzijska procjena vremena primijenjena izravno na skeletone daje kompetitivne rezultate. Zatim, segment skeletona promatramo kao prostorno-vremenski graf te u model za procjenu difuzijskog vremena ubacujemo slojeve konvolucije nad grafovima. Evaluiramo predloženu arhitekturu na skupovima UBnormal i ShanghaiTech. Naši rezultati postižu kompetitivne rezultate na skupu ShanghaiTech te nadmašuju stanje tehnike na skupu UBnormal za 4 postotna boda. Provodimo diskusiju rezultata i predlažemo pravce za budući rad.

Sažetak (engleski)

Variational diffusion models show impressive performance on the anomaly detection task. Their main drawback is computational complexity, due to the long traversal of the backward Markov process. Diffusion Time Estimation (DTE) is a variant of diffusion models that outperforms them in the task of anomaly detection with a significantly lower number of parameters and computational power needed. In this paper, we train a diffusion time estimation model on skeleton segments describing the poses of people in videos, with the goal of detecting anomalous actions. For our baseline experiment, we show that diffusion time estimation applied directly to skeletons gives competitive results. Next, we interpret skeleton segments as spatio-temporal graphs and introduce graph convolutional layers into the diffusion time estimation model. We evaluate the proposed architecture on the UBnormal and ShanghaiTech sets. Our results achieve competitive results on ShanghaiTech and significantly surpass the state of the art on UBnormal. We perform a discussion of the results and suggest directions for future work.

• Ključne riječi: detekcija anomalija; skeleton; ljudska poza; varijacijski difuzijski modeli; procjena difuzijskog vremena; konvolucije nad grafovima
• Ključne riječi (engleski): anomaly detection; skeleton; human pose; variational diffusion models; diffusion time estimation; graph convolutional networks
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:564422
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 22:09:27