Detekcija emocija učenika za vrijeme školskog sata s fotografija

undergraduate thesis

• Title (english): Emotion Detection of Pupils During Lecture From Photographs
• Author: David Dukić
• Mentor: Ana Sović Kržić (mentor)
• Committee member: Ana Sović Kržić (predsjednik povjerenstva)
• Committee member: Matea Đonlić (član povjerenstva)
• Committee member: Liljana Pushkar (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Detekcija emocija jedan je od težih problema računalnog vida. Psiholozi definiraju sedam osnovnih emocija, a to su: sreća, tuga, ljutnja, gađenje, strah, iznenađenje i prezir. Od tih emocija stvoren je reducirani skup emocija koji je primijenjen za detekciju emocija učenika na nastavi. Problem detekcije emocija rješava se algoritmima strojnog učenja za klasifikaciju. Odabrana su dva algoritma strojnog učenja: metoda potpornih vektora i algoritam šume slučajnih stabala. Skup podataka na kojem algoritmi uče i testiraju svoju uspješnost ručno je izrađen. Algoritmima je potreban vektor značajki za svaku fotografiju te pripadna oznaka emocije. Vektor značajki dobiven je pronalaskom bitnih obilježja lica, a oznake emocija ručno su dodijeljene. Metoda potpornih vektora korištena je kao osnovni algoritam za detekciju emocija. Dvije ključne ideje koje metoda potpornih vektora koristi su jezgreni trik te pronalazak potpornih vektora među primjercima vektora značajki. Potporni vektori definiraju granicu odluke. Rezultati dobiveni testiranjem algoritama za detekciju emocija analizirani su kroz matricu konfuzije i kroz stopu uspjeha koja predstavlja točnost.

Abstract (english)

Emotion detection is one of the most difficult problems in computer science. Psychologists have defined seven basic emotions: happiness, sadness, anger, disgust, fear, surprise and contempt. A reduced set of emotions has been created from these basic emotions. This reduced set has been used to detect the emotions of pupils during lecture. Emotion detection problem was solved by using machine learning classification algorithms. Two algorithms that have been chosen to detect emotions of pupils are: support vector machine and random forest classifier. These algorithms were trained and tested on handmade dataset. Classification algorithms need a vector of features for every photograph from the dataset and appropriate label of emotion. Every vector of features contains facial landmarks. Corresponding label for every vector of features was assigned by hand. Support vector machine uses two key ideas. The first idea is to find so-called support vector examples within a vector of features examples and use those examples to construct decision boundary. The second key idea is the kernel trick. Testing results were analysed with confusion matrix and a success rate that represents algorithm accuracy.

• Keywords: Python; OpenCV; emocija; skup podataka; kaskada klasifikatora bazirana na Haarovim značajkama; integralna slika; AdaBoost algoritam učenja; nadzirano učenje; dlib; prediktor oblika; vektor značajki; centar gravitacije; strojno učenje; prenaučenost; unakrsna provjera; metoda potpornih vektora; maksimalna margina razdvajanja; hiperravnina; jezgrena funkcija; scikit-learn; algoritam šume slučajnih stabala; matrica konfuzije
• Keywords (english): Python; OpenCV; emotion; dataset; Haar feature-based cascade of classifiers; integral image; AdaBoost learning algorithm; supervised learning; dlib; shape predictor; vector of features; center of gravity; machine learning; overfitting; cross-validation; support vector machine; maximum margin separator; hyperplane; kernel function; scikit-learn; random forest classifier; confusion matrix
• Language: croatian
• URN:NBN: urn:nbn:hr:168:976579
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 17:45:30