Prepoznavanje značajki lica u ozbiljnim igrama

diplomski rad

• Naslov (engleski): Face landmark detection in serious games
• Autor: Maja Jurić
• Mentor: Jurica Babić (mentor)
• Član povjerenstva: Jurica Babić (predsjednik povjerenstva)
• Član povjerenstva: Vedran Podobnik (član povjerenstva)
• Član povjerenstva: Željka Car (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-08, Hrvatska

Sažetak

Prepoznavanje značajki lica je područje računalnog vida koje se fokusira na detekciju specifičnih točaka na licu. Postoji manjak programskih rješenja koja koriste ovu tehnologiju u obrazovne svrhe. Zato je razvijeno je modularno programsko rješenje koje se može uključiti u postojeće igre kako bi pružilo mogućnost rada s prepoznavanjem značajki lica. Rješenje se sastoji od modula za prepoznavanje značajki lica, modula za detekciju orijentacije, gesti i izraza lica, modula za upravljanje igrom te modula za proširenu stvarnost. Za implementaciju prepoznavanja značajki lica u igrama korištena je razvojna okolina Unity i MediapipeUnity plugin, alat otvorenog koda koji omogućuje primjenu algoritama za računalni vid u Unityevoj razvojnoj okolini. Evaluacija rješenja provedena je kroz integraciju s ozbiljnom zelenom igrom Eko Zeko te su u radu dokumentirani prijedlozi za poboljšanje. Razvijeno programsko rješenje također ima potencijal za integraciju s projektom Play2Green (identifikator projekta: 2022-1-HR01-KA220-HED-000088675), koji razvija zelene ozbiljne igre koje koriste nove tehnologije

Sažetak (engleski)

Face landmark detection is a field of computer vision that focuses on dentecion of specific points on a face. There is a lack of software solutions that use this technology for educational purposes. Therefore, a modular software solution has been developed than can be integrated into existing games to provide the capability of working with face landmark detection. The solution consists of modules for face landmark detection, gesture and facial expression detection, game management via face landmarks and augmented reality. Unity platform and MediapipeUnity plugin, an open-source tool that enables the application of computer vision algorithms in Unity, were utilized to implement the solution. The solution was evaluated through integration with the existing serious green game, Eko Zeko. Suggestions for further improvement are documented in the paper. The developed software solution also has the potential for integration with the Play2Green (project identifier: 2022-1-HR01-KA220-HED-000088675) project, which develops green serious games that use new technologies.

• Ključne riječi: prepoznavanje značajki lica; ozbiljne igre; Mediapipe; Unity; proširena stvarnost
• Ključne riječi (engleski): face landmark detection; serious games; Mediapipe; Unity; augmented reality
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:567432
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-11-07 05:38:29