Sustav za raspoznavanje gesta hrvatskoga znakovnog jezika

diplomski rad

• Naslov (engleski): System for Recognition of Croatian Sign Language Gestures
• Autor: Marko Andreis
• Mentor: Tomislav Hrkać (mentor)
• Član povjerenstva: Tomislav Hrkać (predsjednik povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Član povjerenstva: Vladimir Čeperić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-03, Hrvatska

Sažetak

U radu su predložena tri rješenja za zadatak automatskog raspoznavanja gesta hrvatskog znakovnog jezika. Predloženi pristupi temelje se na korištenju konvolucijskih i povratnih neuronskih mreža za analizu slijeda pokreta iz videozapisa. Opisane su osnovne komponente korištenih arhitektura i uspoređeni rezultati na prikupljenom skupu podataka koji uključuje videozapise s pripadajućim oznakama značenja znakova. Prikupljeni videozapisi organizirani su u tri skupa podataka nad kojima su testirane performanse predloženih pristupa. Osnovni model predstavlja lokaliziranje koordinata ključnih točaka na ljudskom tijelu i neuronsku mrežu zasnovanu na ćelijama s dugoročnom memorijom (LSTM). Drugo rješenje arhitektura je neuronske mreže izgrađene od konvolucijskih ćelija s dugoročnom memorijom (ConvLSTM). Posljednji pristup ponuđen je u obliku dugoročne povratne konvolucijske mreže (LRCN).

Sažetak (engleski)

This thesis describes three solutions for the task of automatic recognition of Croatian sign language gestures. The proposed approaches are based on the use of convolutional and recurrent neural networks for motion analysis from videos. The basic components of the used architectures are described and the results are compared on the collected dataset that includes videos with associated sign meaning labels. Collected videos are organized into three datasets on which the performance of the proposed approaches was tested. The baseline model represents the localization of the coordinates of the key points on the human body and neural network based on the long short-term memory cells (LSTM). Second architectural solution is neural network built from convolutional long short-term memory cells (ConvLSTM). The last approach is offered in the form of a long-term recurrent convolutional network (LRCN).

• Ključne riječi: strojno učenje; računalni vid; konvolucijske neuronske mreže; povratne neuronske mreže; znakovni jezik
• Ključne riječi (engleski): machine learning; computer vision; convolutional neural networks; recurrent neural networks; sign language
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:846656
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 08:16:03