Sustav za raspoznavanje znakovnog jezika

diplomski rad

• Naslov (engleski): System for Sign Language Recognition
• Autor: Branimir Akmadža
• Mentor: Zoran Kalafatić (mentor)
• Član povjerenstva: Zoran Kalafatić (predsjednik povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Rad obrađuje područje detekcije i klasifikacije objekata u računalnom vidu. Konkretno se bavi raspoznavanjem znakova američke znakovne abecede. Obrađeni su algoritmi detekcije, a za potrebe detektora ruke u položaju znaka znakovnog jezika koristi se SSD algoritam. Opisani su i modeli konvolucijskih neuronskih mreža korišteni za učenje klasifikatora. Rezultat rada je aplikacija koja objedinjuje detekciju i klasifikaciju znakovnog jezika kao dvije odvojene cjeline. U sklopu razvoja detektora skupljena je baza slika koja se koristi za treniranje, a koja se sastoji od 3311 slika ruke u položaju znaka znakovnog jezika. Za detekciju objekata koristi se Tensorflow radni okvir, a za razvoj modela za klasifikaciju se koristi Keras biblioteka.

Sažetak (engleski)

This thesis is covering area of object detection and classification as a part of computer vision. Specifically, it covers the recognition of signs of American sign language. There are multiple object detection algorithms described. SSD algorithm is used for detector training. Thesis also describes models based on convolutional neural networks generated for classification task. Result of the thesis is the application which binds together object detection and classification of sign language as two different units. As a part of detector development, a custom image dataset was created. It contains 3311 different images of hand in position of a sign language letter. Tensorflow framework is used for object detection and Keras library for developing classification models.

• Ključne riječi: detekcija objekata; klasifikacija; konvolucijske neuronske mreže; računalni vid; američki znakovni jezik
• Ključne riječi (engleski): object detection; classification; convolutional neural networks; computer vision; American sign language
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:611360
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 15:53:16