Sustav za raspoznavanje znakovnog jezika

master's thesis

• Title (english): System for Sign Language Recognition
• Author: Branimir Akmadža
• Mentor: Zoran Kalafatić (mentor)
• Committee member: Zoran Kalafatić (predsjednik povjerenstva)
• Committee member: Tomislav Hrkać (član povjerenstva)
• Committee member: Alan Jović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Rad obrađuje područje detekcije i klasifikacije objekata u računalnom vidu. Konkretno se bavi raspoznavanjem znakova američke znakovne abecede. Obrađeni su algoritmi detekcije, a za potrebe detektora ruke u položaju znaka znakovnog jezika koristi se SSD algoritam. Opisani su i modeli konvolucijskih neuronskih mreža korišteni za učenje klasifikatora. Rezultat rada je aplikacija koja objedinjuje detekciju i klasifikaciju znakovnog jezika kao dvije odvojene cjeline. U sklopu razvoja detektora skupljena je baza slika koja se koristi za treniranje, a koja se sastoji od 3311 slika ruke u položaju znaka znakovnog jezika. Za detekciju objekata koristi se Tensorflow radni okvir, a za razvoj modela za klasifikaciju se koristi Keras biblioteka.

Abstract (english)

This thesis is covering area of object detection and classification as a part of computer vision. Specifically, it covers the recognition of signs of American sign language. There are multiple object detection algorithms described. SSD algorithm is used for detector training. Thesis also describes models based on convolutional neural networks generated for classification task. Result of the thesis is the application which binds together object detection and classification of sign language as two different units. As a part of detector development, a custom image dataset was created. It contains 3311 different images of hand in position of a sign language letter. Tensorflow framework is used for object detection and Keras library for developing classification models.

• Keywords: detekcija objekata; klasifikacija; konvolucijske neuronske mreže; računalni vid; američki znakovni jezik
• Keywords (english): object detection; classification; convolutional neural networks; computer vision; American sign language
• Language: croatian
• URN:NBN: urn:nbn:hr:168:611360
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 15:53:16