Raspoznavanje hrvatskog znakovnog jezika korištenjem uređaja za optičko praćenje pokreta

diplomski rad

• Naslov (engleski): Croatian Sign Language Recognition Using Optical Motion Tracking Devices
• Autor: Domagoj Alagić
• Mentor: Mislav Grgić (mentor)
• Član povjerenstva: Mislav Grgić (predsjednik povjerenstva)
• Član povjerenstva: Tomislav Kos (član povjerenstva)
• Član povjerenstva: Sonja Grgić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2014-07-15, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Znakovni jezici, iako sasvim ravnopravni govornim jezicima, nisu toliko prepoznati unutar čujuće zajednice ljudi. Ova činjenica ima negativan utjecaj na ostvarivanje prava na komunikaciju, obrazovanje i informiranje osoba s oštećenjem sluha.

Ovaj rad predstavlja ostvarenje sustava za automatsko raspoznavanje znakova u hrvatskom znakovnom jeziku, jeziku zajednice osoba s oštećenjem sluha u Republici Hrvatskoj.
Daje se osnovni pregled hrvatskog znakovnog jezika nakon čega se opisuje i matematički model sustava. Sam sustav izveden je kao klasifikator izoliranih znakova pri čemu se za svaki znak postupkom nadziranog učenja gradi zasebni skriveni Markovljev model. Sami znakovi predstavljaju se kao nizovi vektora značajki koji su izgrađeni korištenjem podataka dobivenih iz uređaja za optičko praćenje, Microsoft Kinecta.

Analizom efikasnosti sustava na odabranom podskupu znakova došlo se do vrlo dobrih rezultata, ali i do mnoštva ideja za njegovu nadogradnju koja bi vodila većoj primjenjivosti sustava u stvarnom svijetu.

Sažetak (engleski)

Sign languages, even though they are equal to the spoken languages, are not widely recognized among the hearing people. This fact has an unfavorable influence on the deaf people's rights of communication, education and information exchange.

This thesis presents a system for the automatic recognition of Croatian Sign Language, language of the Deaf in the Republic of Croatia.
It starts off with a rudimentary overview of the Croatian Sign Language followed by a complete mathematical model on which the system resides. The implemented system works as an isolated sign classifier where for every sign an independent hidden Markov model is created via the process of supervised learning. The signs are represented by sequences of feature vectors created using the data extracted from the optical motion tracking device, Microsoft Kinect.

The system efficiency analysis over a chosen subset of signs has produced very good results, but also a great number of ideas for possible system upgrades. Those upgrades would certainly improve the system's applicability in the real-world situations.

• Ključne riječi: hrvatski znakovni jezik; skriveni Markovljevi modeli; optičko praćenje pokreta; Microsoft Kinect; raspoznavanje; strojno učenje
• Ključne riječi (engleski): Croatian Sign Language; hidden Markov models; optical motion tracking; Microsoft Kinect; recognition; machine learning
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:689524
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2018-02-06 07:35:22