Prepoznavanje emocija u stvarnom vremenu na robotu TIOSS

diplomski rad

• Naslov (engleski): Real-time emotion recognition on the TIOSS robot
• Autor: Ivan Bukić
• Mentor: Ana Sović Kržić (mentor)
• Član povjerenstva: Ana Sović Kržić (predsjednik povjerenstva)
• Član povjerenstva: Juraj Petrović (član povjerenstva)
• Član povjerenstva: Damir Seršić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-04, Hrvatska

Sažetak

Prepoznavanje emocija na licu je ključno za uspješnu komunikaciju među ljudima i može biti primjenjeno u različitim područjima, npr. interakcija čovjeka i robota ili sigurnosne svrhe. Cilj rada je povezivanje automatskog prepoznavanja emocija s robotom TIOSS-om, prvim hrvatskim humanoidnim robotom, izrađenim 1958. godine. Robot je opremljen kamerom i Raspberry Pi 5 računalom. Kroz rad su istraženi najbolji postojeći algoritmi prepoznavanja emocija kao što su različiti tipovi konvolucijskih neuronskih mreža (CNN). Algoritmi su trenirani na standardnim skupovima podataka, FER-2013, CK+ i RAF-DB, koji sadrže tisuće označenih slika lica s različitim emocionalnim izrazima. Odabrani algoritmi su prilagođeni za korištenje na Raspberry Pi 5 računalu u stvarnom vremenu. Algoritmi su testirani i implementirani na TIOSS-u, omogućujući robotu različite glasovne reakcije na temelju prepoznatih emocija.

Sažetak (engleski)

Facial emotion recognition is crucial for successful human communication and can be applied in various fields such as human-robot interaction or security purposes. The objective of this work is to integrate automatic emotion recognition with TIOSS, the first Croatian humanoid robot, created in 1958. The robot is equipped with a camera and a Raspberry Pi 5 computer. Throughout this work, the best existing emotion recognition algorithms, such as convolutional neural networks (CNN), were explored. These algorithms were trained on standard datasets like FER-2013 and RAF-DB, which contain thousands of labeled facial images with different emotional expressions. The selected algorithms were then adapted for real-time use on the Raspberry Pi 5 computer. The algorithms were tested and implemented on TIOSS, enabling the robot to generate different voice reactions based on the recognized emotions.

• Ključne riječi: robot TIOSS; strojno učenje; duboko učenje; prepoznavanje emocija na licu; neuronska mreža; optimizacija
• Ključne riječi (engleski): robot TIOSS; machine learning; deep learning; facial emotion recogniton; neural network; optimization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:994986
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:14:20