Prepoznavanje značajki lica u ozbiljnim igrama

master's thesis

• Title (english): Face landmark detection in serious games
• Author: Maja Jurić
• Mentor: Jurica Babić (mentor)
• Committee member: Jurica Babić (predsjednik povjerenstva)
• Committee member: Vedran Podobnik (član povjerenstva)
• Committee member: Željka Car (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-08, Croatia

Abstract

Prepoznavanje značajki lica je područje računalnog vida koje se fokusira na detekciju specifičnih točaka na licu. Postoji manjak programskih rješenja koja koriste ovu tehnologiju u obrazovne svrhe. Zato je razvijeno je modularno programsko rješenje koje se može uključiti u postojeće igre kako bi pružilo mogućnost rada s prepoznavanjem značajki lica. Rješenje se sastoji od modula za prepoznavanje značajki lica, modula za detekciju orijentacije, gesti i izraza lica, modula za upravljanje igrom te modula za proširenu stvarnost. Za implementaciju prepoznavanja značajki lica u igrama korištena je razvojna okolina Unity i MediapipeUnity plugin, alat otvorenog koda koji omogućuje primjenu algoritama za računalni vid u Unityevoj razvojnoj okolini. Evaluacija rješenja provedena je kroz integraciju s ozbiljnom zelenom igrom Eko Zeko te su u radu dokumentirani prijedlozi za poboljšanje. Razvijeno programsko rješenje također ima potencijal za integraciju s projektom Play2Green (identifikator projekta: 2022-1-HR01-KA220-HED-000088675), koji razvija zelene ozbiljne igre koje koriste nove tehnologije

Abstract (english)

Face landmark detection is a field of computer vision that focuses on dentecion of specific points on a face. There is a lack of software solutions that use this technology for educational purposes. Therefore, a modular software solution has been developed than can be integrated into existing games to provide the capability of working with face landmark detection. The solution consists of modules for face landmark detection, gesture and facial expression detection, game management via face landmarks and augmented reality. Unity platform and MediapipeUnity plugin, an open-source tool that enables the application of computer vision algorithms in Unity, were utilized to implement the solution. The solution was evaluated through integration with the existing serious green game, Eko Zeko. Suggestions for further improvement are documented in the paper. The developed software solution also has the potential for integration with the Play2Green (project identifier: 2022-1-HR01-KA220-HED-000088675) project, which develops green serious games that use new technologies.

• Keywords: prepoznavanje značajki lica; ozbiljne igre; Mediapipe; Unity; proširena stvarnost
• Keywords (english): face landmark detection; serious games; Mediapipe; Unity; augmented reality
• Language: croatian
• URN:NBN: urn:nbn:hr:168:567432
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-11-07 05:38:29