Određivanje poze osoba temeljeno na dubokom učenju

diplomski rad

• Naslov (engleski): Human pose estimation based on deep learning
• Autor: Petra Ilić
• Mentor: Zoran Kalafatić (mentor)
• Član povjerenstva: Zoran Kalafatić (predsjednik povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Član povjerenstva: Domagoj Jakobović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-03, Hrvatska

Sažetak

Određivanje poze osoba je popularan problem u području računalnog vida koji obuhvaća detekciju, povezivanje i praćenje ključnih točaka tijela poput zglobova ruku i nogu, torza i glave. Ovaj rad istražuje primjenu određivanja poze ruku u svrhu automatskog prepoznavanja znakovnog jezika, s fokusom na olakšavanje komunikacije gluhonijemih osoba i poticanje prihvaćanja i razumijevanja znakovnog jezika u široj zajednici. U okviru rada razvijen je klasifikator za prepoznavanje znakova abecede američkog znakovnog jezika. Za ostvarivanje preciznog praćenja ključnih točaka ruke korištena je biblioteka MediaPipe Hands. Model za određivanje poze ruke generira ključne točke koje se potom koriste kao ulaz za klasifikator, koji prepoznaje specifične poze ruke povezane s određenim znakovima abecede znakovnog jezika. Razvijena je i jednostavna aplikacija koja pruža korisnicima interaktivno sučelje za učenje i vježbanje osnova znakovnog jezika.

Sažetak (engleski)

Determining the pose of individuals is a popular problem in the field of computer vision, which involves the detection, association, and tracking of key body points such as joints of the arms and legs, the torso, and the head. This paper explores the application of hand pose estimation for automatic sign language recognition, with a focus on facilitating communication for deaf and mute individuals and promoting acceptance and understanding of sign language within the wider community. Within the scope of this study, a classifier for recognizing American Sign Language alphabet signs was developed. The MediaPipe Hands library was used to achieve accurate tracking of key hand points. The hand pose estimation model generates these points, which are then used as input for the classifier that recognizes specific hand poses associated with certain sign language alphabet characters. Additionally, a simple application was developed, providing users with an interactive interface for learning and practicing the fundamentals of sign language.

• Ključne riječi: određivanje poze; određivanje poze ruke; MediaPipe; američki znakovni jezik; prepoznavanje znakovnog jezika
• Ključne riječi (engleski): Pose Estimation; Hand Pose Estimation; MediaPipe; American Sign Language; Sign Language Recognition
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:242552
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 09:05:14