Aplikacija za praćenje gesta pomoću duboko kvantiziranih neuronskih mreža korištenih u terapijskim vježbama za ruke

diplomski rad

• Naslov (engleski): Application for gesture tracking using deep quantized neural networks used in therapeutic exercises for hands
• Autor: Bruno Čelan
• Mentor: Zdenko Kovačić (mentor)
• Član povjerenstva: Zdenko Kovačić (predsjednik povjerenstva)
• Član povjerenstva: Stjepan Bogdan (član povjerenstva)
• Član povjerenstva: Matko Orsag (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-02-19, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Računalni vid vrlo je važan dio interakcije čovjek-stroj (HMI). Korištenje strojnog učenja u računalnoj obradi vida otvara nove primjene poput praćenja i prepoznavanja ljudi koji mogu ili ne mogu ući u određene zgrade, pomaganje u dijagnosticiranju autizma kod djece itd. U ovom je radu cilj poboljšati iskustvo fizikalne terapije kako za liječnike tako i za pacijente. Za detekciju ruku u slici korištena je YOLO konvolucijska neuronska mreža. Probana binarna kvantizacija je pokazala odlične rezultate na klasifikacijskim problemima, dok je na problemu detekcije bilo baš obratno. U prepoznavanju dobro izvođenja vježbi testirano je par metoda 2d CNN sa LSTM i 3d CNN-ovi, tu su 3d CNN pokazali kao dosta precizniji modeli, ali ujedno i kompleksniji. Tako da bi trebalo probati utjecaj binarne kvantizacije na 3d CNN modele da bi se mogli koristi u ovom problemu.

Sažetak (engleski)

Computer vision is a very important part of human-machine interaction (HMI). The use of machine learning in computer vision processing opens up new applications such as tracking and recognizing people who may or may not enter certain buildings, helping to diagnose autism in children, etc. In this thesis, the goal is to improve the physical therapy experience for both physicians and patients. YOLO convolutional neural network was used for hand detection. The tested binary quantization showed excellent results on classification problems, while on the detection problem it was just the opposite. In recognizing the correctly performed exercises, a couple of methods were tested 2d CNN with LSTM and 3d CNNs, where 3d CNNs proved to be much more accurate models, but also more complex. So next step should be to try the influence of binary quantization on 3d CNN models to be able to be used in this problem.

• Ključne riječi: konvolucijska neuronska mreža; kvantizacija; binarna kvantizacija; praćenje gesta ruku; detekcija ruku
• Ključne riječi (engleski): convolutional neural network; quantization; binary quantization; hand gesture tracking; hand detection
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:133497
• Studijski program: Naziv: Elektrotehnika i informacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka elektrotehnike i informacijske tehnologije (mag. ing. el. techn. inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:00:28