"Pametna rukavica" za pomoć slabovidnim osobama

diplomski rad

• Naslov (engleski): "Smart Glove Assistant" for Visually Impaired People
• Autor: Matej Rajković
• Mentor: Dina Šimunić (mentor)
• Član povjerenstva: Dina Šimunić (predsjednik povjerenstva)
• Član povjerenstva: Krešimir Malarić (član povjerenstva)
• Član povjerenstva: Radovan Zentner (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-01, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U radu su implementirani postupci za prepoznavanje i praćenje predmeta kao rješenje problema dohvaćanja predmeta slabovidnih osoba. Navedena je implementacija Single Shot MultiBox Detector mreže za računalni vid koja daje dobre rezultate za prepoznavanje predmeta, ali se teško skalira te brzina izvođenja ovisi o željenoj preciznosti. Pojašnjeni su slojevi mreže te njihova implementacija i postupak treniranja korištenjem razvojnog okvira PyTorch. Za praćenje predmeta je implementiran MOSSE filter i navedene su prednosti korištenja metoda za praćenje temeljenih na korelacijskim filterima. Program je izgrađen i optimiziran za Raspberry Pi računalo s vibracijskim motorima za usmjeravanje osobe i senzorom udaljenosti za pravovremeno zaustavljanje rada programa.

Sažetak (engleski)

This paper implements methods for object detection and tracking designed for the visually impaired. Object detection problem was resolved with the implementation of Single Shot MultiBox Detector, a powerful and precise deep neural network, but challenging to scale and computationally expensive. The paper gives an overview of implementation of the network and network training using the PyTorch framework. The MOSSE filter is chosen and implemented for the task of object tracking. The paper lists advantages of correlation filter based approaches for object tracking. Final program is built and optimized for a Raspberry Pi device. It is connected to vibration motors to guide the visually impaired utilizing a tactical response of the motors and a distance sensor to terminate the program on time.

• Ključne riječi: računalni vid; konvolucijske mreže; PyTorch; SSD; MOSSE filter; Raspberry Pi
• Ključne riječi (engleski): computer vision; convolutional networks; PyTorch; SSD; MOSSE filter; Raspberry Pi
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:193924
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 10:39:58