Prepoznavanje gesti ruku

završni rad

• Naslov (engleski): Hand gesture recognition
• Autor: Bjanka Vrljić
• Mentor: Ivica Botički (mentor)
• Član povjerenstva: Ivica Botički (predsjednik povjerenstva)
• Član povjerenstva: Mirjana Domazet-Lošo (član povjerenstva)
• Član povjerenstva: Juraj Dončević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-08, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Završni rad obuhvaća izradu sustava za prepoznavanje slova abecede američkog znakovnog jezika u stvarnom vremenu, što uključuje detekciju ruke na kameri te izradu i korištenje klasifikatora gesti. Detekcija ruke je implementirana pomoću biblioteke MediaPipe. MediaPipe crta pojednostavljeni kostur ruke na ekranu i detektira ključne točke ruke. Te ključne točke se onda prosljeđuju klasifikatoru gesti kako bi napravio predikciju. Klasifikator gesti je ostvaren kao model umjetne neuronske mreže, izrađen pomoću biblioteke TensorFlow. Za treniranje i testiranje modela korišteni su postojeći skupovi podataka s Kaggle. Prikazana je programska implementacija u Pythonu i dobiveni rezultati.

Sažetak (engleski)

This paper covers the development of a system for recognizing the letters of the American Sign Language alphabet in real time, which includes the detection of the hand on the camera and the making of and use of a gesture classifier. Hand detection is implemented using the MediaPipe library. MediaPipe draws a simplified skeleton of the hand on the screen and detects hand key points. These key points are then passed to the gesture classifier in order to make a prediction. The gesture classifier was realized as a model of an artificial neural network, created using the TensorFlow library. Existing Kaggle datasets were used to train and test the model. This paper shows the implementation of this system in Python and the obtained results.

• Ključne riječi: prepoznavanje gesti ruku; umjetna inteligencija; računalni vid; neuronske mreže; američki znakovni jezik; Python; OpenCV; MediaPipe; TensorFlow
• Ključne riječi (engleski): hand gesture recognition; artificial intelligence; computer vision; neural networks; American Sign Language; Python; OpenCV; MediaPipe; TensorFlow
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:766208
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-15 11:26:09