Raspoznavanje vrsta akustičkih događaja ponavljajućom neuronskom mrežom na ugradbenom sustavu

završni rad

• Naslov (engleski): Classification of Acoustic Events Using Recurrent Neural Network on Embedded System
• Autor: Zvonimir Haramustek
• Mentor: Dinko Oletić (mentor)
• Član povjerenstva: Dinko Oletić (predsjednik povjerenstva)
• Član povjerenstva: Stjepan Begušić (član povjerenstva)
• Član povjerenstva: Marko Šimić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-06-30, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Raspoznavanje vrsta akustičkih događaja ponavljajućom neuronskom mrežom na ugradbenom sustavu. Ispitane su različite veličine LSTM ponavljajuće neuronske mreže te nekoliko veličina Mel frekvencijskih značajki korištenih kao ulaz neuronske mreže u svrhe detekcije zvuka motorne pile s potencijalnom primjenom u automatskom nadziranju velikih površina šuma kako bi se detektiralo i suzbilo ilegalnu deforestaciju. Dobiveni model prilagođen je ST Microelectronics mikrokontroleru STM32L4R5ZI s X-CUBE-AI programskim paketom te su na njemu ispitane performanse i memorijsko zauzeće različitih neuronskih mreža te računanje značajki pomoću CMSIS-DSP programskog paketa u stvarnom vremenu iz signala MEMS mikrofona čiji je izlaz PDM signal koji se demodulira pomoću DFSDM sklopovlja mikrokontrolera. Dobiveni su rezultati od 90 do 94,7% točnosti te memorijsko zauzeće od 32 KB do 2 MB ovisno o značajkama ulaza i arhitekturi te je postignuto izvođenje u stvarnom vremenu.

Sažetak (engleski)

Recognition of types of acoustic events by a recurrent neural network on an embedded system. Different sizes of LSTM recurrent neural network and several sizes of Mel frequency features used as neural network input for chainsaw sound detection purposes with potential application in automatic monitoring of large forest areas to detect and suppress illegal deforestation were tested. The resulting model was adapted to the ST Microelectronics microcontroller STM32L4R5ZI with the X-CUBE-AI program package, and the performance and memory usage of different neural networks were tested on it, as well as the calculation of features using the CMSIS-DSP program package in real time from the MEMS microphone signal, the output of which is a PDM signal that is demodulated using the DFSDM circuit of the microcontroller. Results of 90 to 94.7% accuracy and memory usage of 32 KB to 2MB depending on input features and architecture were obtained, and real-time execution was achieved.

• Ključne riječi: raspoznavanje; akustički događaji; ponavljajuća neuronska mreža; ugradbeni sustav; LSTM; Mel frekvencijske značajke; detekcija zvuka; motorne pile; automatsko nadziranje; ilegalna deforestacija; mikrokontroler; STM32L4R5ZI; X-CUBE-AI; CMSIS-DSP; MEMS mikrofon; PDM signal; demodulacija; DFSDM
• Ključne riječi (engleski): classification; acoustic events; recurrent neural network; embedded system; LSTM; Mel frequency spectrum; sound detection; chainsaws; automatic monitoring; illegal deforestation; microcontroller; STM32L4R5ZI; X-CUBE-AI; CMSIS-DSP; MEMS microphone; PDM signal; demodulation; DFSDM
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:943439
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-07-13 10:06:18