Detekcija anomalija iz zvuka u kontekstu pametnog doma primjenom nenadziranog učenja na rubnim uređajima

diplomski rad

• Naslov (engleski): Detecting Anomalies from Sound in the Context of Smart Home Using Unsupervised Learning on Edge Devices
• Autor: Marko Barišić
• Mentor: Ivana Podnar Žarko (mentor)
• Član povjerenstva: Ivana Podnar Žarko (predsjednik povjerenstva)
• Član povjerenstva: Mario Kušek (član povjerenstva)
• Član povjerenstva: Pavle Skočir (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu se istražuje nenadzirana detekciju anomalija iz zvuka, pošto postoji velik broj primjena koje imaju transformativni potencijal, poput one u tvornicama te u pametnom domu.
Kako bi osigurali efikasnu identifikaciju anomalija s malim kašnjenjem i neovisno o internetskoj vezi, a što je potrebno u mnogim primjenama, za zaključivanje koristimo rubni uređaj postavljen blizu lokacije senzora.
Pošto radimo sa sekvencijskim podacima, koristit ćemo LSTM jedinice.
Treniramo mrežu, mijenjamo više veličina neuronske mreže na različitim uređajima te procijenjujemo rezultate metrikama poput vremena zaključivanja, točnosti, F1 i ROC.
Rezultati pokazuju da je naša najbolja neuronska mreža spremna generalizirati u desetini sekunde na pristupačnom rubnom uređaju.
Predlažemo daljnje korake istraživanja radi unaprijeđenja arhitekture neuronske mreže i početak primjene rješenja u praksi.

Sažetak (engleski)

This thesis researches unsupervised sound anomaly detection, as there are many use-cases, including factories and smart homes, with transformative potential.
To make sure that anomalies are identified efficiently and with low-latency without dependence on an Internet connection, which is needed for multiple uses, we use an edge device to infer closer to the sensor location.
Since we work with time-series data, our architecture is made of LSTM units.
We train the network, vary multiple neural network sizes on multiple devices and evaluate the results with metrics like inference time, accuracy, F1 and ROC.
The results point out that the best performing network has a generalization power in around one-tenth of a second and can be performed on an affordable edge device.
We propose further research steps to improve the neural network architecture and start applying the solution in practice.

• Ključne riječi: nenadzirano učenje; detekcija anomalija iz zvuka; autoenkoder; LSTM; rubno računarstvo; IoT
• Ključne riječi (engleski): unsupervised learning; sound anomaly detection; autoencoder; LSTM; edge computing; IoT
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:640155
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 09:44:18