Sustav za raspoznavanje gesta hrvatskoga znakovnog jezika

diplomski rad

• Naslov (engleski): System for Recognition of Croatian Sign Language Gestures
• Autor: Nikola Tomažin
• Mentor: Tomislav Hrkać (mentor)
• Član povjerenstva: Tomislav Hrkać (predsjednik povjerenstva)
• Član povjerenstva: Vladimir Čeperić (član povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Raspoznavanje gesta znakovnoga jezika veoma je kompleksan problem koji se prvotno temelji na kvalitetnoj procjeni poze. U ovom su radu dane teorijske osnove znakovnoga jezika (u čemu su puno pomogli članovi Hrvatskog saveza gluhih i nagluhih) te strojnog i dubokog učenja te je napravljena usporedba raznih alata procjene poze, od kojih se MediaPipe biblioteka najviše istaknula svojom robusnošcu i radom u stvarnom vremenu. Razvijen je sustav za izgradnju podatkovnoga skupa, treniranje sustava te testiranje preko racunalnoga programa i preko web sučelja.

Sažetak (engleski)

Recognizing sign language gestures is a very complex problem, which is initially
based on a quality pose estimation. This thesis presents the theoretical foundations of
sign language (where members of the Croatian Association of the Deaf and Hard of
Hearing helped a lot), machine and deep learning, and a comparison of various pose
estimation tools, of which MediaPipe stood out for its robustness and real-time work.
A system for building a dataset, system training and testing via a computer program
and via a web interface has been developed.

• Ključne riječi: hrvatski znakovni jezik; racunalni vid; procjena poze; MediaPipe; ˇ gesta; duboko ucenje; povratne neuronske mreže
• Ključne riječi (engleski): Croatian Sign Language; Computer Vision; Pose Estimation; MediaPipe; Gesture; Deep Learning; Recurrent Neural Networks
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:570125
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 14:01:57