Prepoznavanje zvučnih događaja u okruženju Interneta stvari primjenom strojnog učenja

završni rad

• Naslov (engleski): Recognition of sound events in the Internet of Things environment using machine learning
• Autor: Tomislav Matanović
• Mentor: Marko Jurčević (mentor)
• Član povjerenstva: Marko Jurčević (predsjednik povjerenstva)
• Član povjerenstva: Jure Konjevod (član povjerenstva)
• Član povjerenstva: Luka Ferković (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-09-13, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Ovaj rad pruža pregled i uvod u trenutačno stanje tehnologije sitnog strojnog učenje (engl. TinyML). Upoznaje čitatelje s najčešće korištenim ugradbenim platformama (mikrokontrolerima), te razvojnim okvirima za TinyML. Nadalje, rad prati cijelokupni proces izrade TinyML modela, od prikupljanja podataka, treniranja modela strojnog učenja, testiranja i komprimiranja, postavljanja na krajnji uređaj, te izrade aplikacije za praćenje rada modela. Komunikacija krajnjeg uređaja i aplikacije spada u Internet of Things domenu, te je pružen sažeti pregled i tog područja, no naglasak rada je prvenstveno bio na izgradnji modela strojnog učenja i pretvorbi u TinyML model. Za potrebe zadatke, analiziran je zvučni signal, rad računala sa zvukom, te je prikazana izvedba pretprocesiranja zvuka u spektrogram. Razvijeni model klasificira zvuk motorne pile od pozadinskog.

Sažetak (engleski)

This paper provides an overview and introduction to the current state of Tiny Machine Learning (TinyML) technology. It acquaints readers with the most commonly used embedded platforms (microcontrollers) and development frameworks for TinyML. Furthermore, the paper follows the entire process of creating a TinyML model, from data collection, machine learning model training, testing and compression, deployment on the edge device, and developing an application to monitor the model's performance. The communication between the edge device and the application falls within the Internet of Things (IoT) domain, and a brief overview of this field is provided. However, the emphasis of the paper is primarily on building the machine learning model and converting it into a TinyML model. For the purposes of this task, the audio signal was analyzed, the computer's operation with sound was examined, and the implementation of audio preprocessing into a spectrogram was demonstrated. The developed model classifies chainsaw sound from background noise.

• Ključne riječi: strojno učenje; TinyML; ugradbeni sustavi; obrada signala; zvučni signal; spektrogram; Internet of Things; Arduino Nano 33 BLE Sense; TensorFlow Lite; hiperparametri strojnog učenja; Edge computing
• Ključne riječi (engleski): machine learning; TinyML; embedded systems; signal processing; audio signal; spectrogram; Internet of Things; Arduino Nano 33 BLE Sense; TensorFlow Lite; machine learning hyperparameters; Edge computing
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:487492
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 21:30:21