Prepoznavanje emocija u stvarnom vremenu na robotu TIOSS

master's thesis

• Title (english): Real-time emotion recognition on the TIOSS robot
• Author: Ivan Bukić
• Mentor: Ana Sović Kržić (mentor)
• Committee member: Ana Sović Kržić (predsjednik povjerenstva)
• Committee member: Juraj Petrović (član povjerenstva)
• Committee member: Damir Seršić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-04, Croatia

Abstract

Prepoznavanje emocija na licu je ključno za uspješnu komunikaciju među ljudima i može biti primjenjeno u različitim područjima, npr. interakcija čovjeka i robota ili sigurnosne svrhe. Cilj rada je povezivanje automatskog prepoznavanja emocija s robotom TIOSS-om, prvim hrvatskim humanoidnim robotom, izrađenim 1958. godine. Robot je opremljen kamerom i Raspberry Pi 5 računalom. Kroz rad su istraženi najbolji postojeći algoritmi prepoznavanja emocija kao što su različiti tipovi konvolucijskih neuronskih mreža (CNN). Algoritmi su trenirani na standardnim skupovima podataka, FER-2013, CK+ i RAF-DB, koji sadrže tisuće označenih slika lica s različitim emocionalnim izrazima. Odabrani algoritmi su prilagođeni za korištenje na Raspberry Pi 5 računalu u stvarnom vremenu. Algoritmi su testirani i implementirani na TIOSS-u, omogućujući robotu različite glasovne reakcije na temelju prepoznatih emocija.

Abstract (english)

Facial emotion recognition is crucial for successful human communication and can be applied in various fields such as human-robot interaction or security purposes. The objective of this work is to integrate automatic emotion recognition with TIOSS, the first Croatian humanoid robot, created in 1958. The robot is equipped with a camera and a Raspberry Pi 5 computer. Throughout this work, the best existing emotion recognition algorithms, such as convolutional neural networks (CNN), were explored. These algorithms were trained on standard datasets like FER-2013 and RAF-DB, which contain thousands of labeled facial images with different emotional expressions. The selected algorithms were then adapted for real-time use on the Raspberry Pi 5 computer. The algorithms were tested and implemented on TIOSS, enabling the robot to generate different voice reactions based on the recognized emotions.

• Keywords: robot TIOSS; strojno učenje; duboko učenje; prepoznavanje emocija na licu; neuronska mreža; optimizacija
• Keywords (english): robot TIOSS; machine learning; deep learning; facial emotion recogniton; neural network; optimization
• Language: croatian
• URN:NBN: urn:nbn:hr:168:994986
• Study programme: Title: Information and Communication Technology; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 20:14:20