Prepoznavanje pokreta ruke sustavom temeljenim na mikrokontroleru ESP32

završni rad

• Naslov (engleski): Hand Movement Recognition with ESP32 Microcontroller Based System
• Autor: Ivan Linardić
• Mentor: Igor Čavrak (mentor)
• Član povjerenstva: Igor Čavrak (član povjerenstva)
• Član povjerenstva: Ivana Bosnić (član povjerenstva)
• Član povjerenstva: Danko Basch (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-01, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Postoje problemi koje nije moguće riješiti na klasičan algoritamski način. Oni za koje je potrebno znanje poput ljudskog da bi se savladali. Takvi problemi mogu se naći i u svijetu uređaja s ograničenom memorijom poput mikrokontrolera. Rješenje se može pronaći u strojnom učenju. Donedavno je ta tehnologija bila rezervirana za računala s velikom procesorskom moći što se promijenilo pojavom tiny machine learninga. Zadatak ovog rada bio je istražiti funkcioniranje te tehnologije i memorijske zahtjeve te performanse sustava koji bi se njome koristio. U realizaciji tog sustava korišteni su mikrokontroler ESP32, akcelerometar MMA8452Q te modeli strojnog učenja Random Forest i metode potpornih vektora. Čitanje i obrada podataka iz kojih se izvlače atributi za klasifikaciju pokreta rađeni su u Arduino razvojnom okruženju dok je model strojnog učenja treniran i testiran u Pythonu. Utvrđeno je da je moguće napraviti sustav koji uspješno prepoznaje pokrete ruke, a koji zauzima malo memorije i radi prihvatljivom brzinom. Također se pokazalo da je najbolji model strojnog učenja za izgradnju takvog sustava Random Forest model koji je ostvario najbolje rezultate.

Sažetak (engleski)

There are problems that cannot be solved with classical approach using algorithms. Those which need human like knowledge to be overcame. That kind of problems can also be found in a world of limited memory devices such as microcontrollers. Solution can be found in machine learning. Until recently, this technology was reserved only for computers with high processing power which changed with invention of tiny machine learning. The task of this paper was to investigate functioning of this new technology and to find out the memory occupation and the performances of a system that would use it. In a realization of that system microcontroller ESP32, accelerometer MMA8452Q and machine learning models Random Forest and Support Vector Machines were used. Reading and processing of data, from which an attribute vector used in classification was created, was made in Arduino development environment while machine learning model was trained and tested in Python. It has been established that it is possible to create a system that successfully recognizes hand gestures, does not occupy a lot of memory and works at acceptable speed. It has also been shown that the best machine learning model for such system is a Random Forest model because it yielded the best results.

• Ključne riječi: strojno učenje; mikrokontroler; model; memorija
• Ključne riječi (engleski): machine learning; microcontroller; model; memory
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:256328
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-15 10:41:24