Detekcija emocija učenika za vrijeme školskog sata s fotografija

završni rad

• Naslov (engleski): Emotion Detection of Pupils During Lecture From Photographs
• Autor: David Dukić
• Mentor: Ana Sović Kržić (mentor)
• Član povjerenstva: Ana Sović Kržić (predsjednik povjerenstva)
• Član povjerenstva: Matea Đonlić (član povjerenstva)
• Član povjerenstva: Liljana Pushkar (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Detekcija emocija jedan je od težih problema računalnog vida. Psiholozi definiraju sedam osnovnih emocija, a to su: sreća, tuga, ljutnja, gađenje, strah, iznenađenje i prezir. Od tih emocija stvoren je reducirani skup emocija koji je primijenjen za detekciju emocija učenika na nastavi. Problem detekcije emocija rješava se algoritmima strojnog učenja za klasifikaciju. Odabrana su dva algoritma strojnog učenja: metoda potpornih vektora i algoritam šume slučajnih stabala. Skup podataka na kojem algoritmi uče i testiraju svoju uspješnost ručno je izrađen. Algoritmima je potreban vektor značajki za svaku fotografiju te pripadna oznaka emocije. Vektor značajki dobiven je pronalaskom bitnih obilježja lica, a oznake emocija ručno su dodijeljene. Metoda potpornih vektora korištena je kao osnovni algoritam za detekciju emocija. Dvije ključne ideje koje metoda potpornih vektora koristi su jezgreni trik te pronalazak potpornih vektora među primjercima vektora značajki. Potporni vektori definiraju granicu odluke. Rezultati dobiveni testiranjem algoritama za detekciju emocija analizirani su kroz matricu konfuzije i kroz stopu uspjeha koja predstavlja točnost.

Sažetak (engleski)

Emotion detection is one of the most difficult problems in computer science. Psychologists have defined seven basic emotions: happiness, sadness, anger, disgust, fear, surprise and contempt. A reduced set of emotions has been created from these basic emotions. This reduced set has been used to detect the emotions of pupils during lecture. Emotion detection problem was solved by using machine learning classification algorithms. Two algorithms that have been chosen to detect emotions of pupils are: support vector machine and random forest classifier. These algorithms were trained and tested on handmade dataset. Classification algorithms need a vector of features for every photograph from the dataset and appropriate label of emotion. Every vector of features contains facial landmarks. Corresponding label for every vector of features was assigned by hand. Support vector machine uses two key ideas. The first idea is to find so-called support vector examples within a vector of features examples and use those examples to construct decision boundary. The second key idea is the kernel trick. Testing results were analysed with confusion matrix and a success rate that represents algorithm accuracy.

• Ključne riječi: Python; OpenCV; emocija; skup podataka; kaskada klasifikatora bazirana na Haarovim značajkama; integralna slika; AdaBoost algoritam učenja; nadzirano učenje; dlib; prediktor oblika; vektor značajki; centar gravitacije; strojno učenje; prenaučenost; unakrsna provjera; metoda potpornih vektora; maksimalna margina razdvajanja; hiperravnina; jezgrena funkcija; scikit-learn; algoritam šume slučajnih stabala; matrica konfuzije
• Ključne riječi (engleski): Python; OpenCV; emotion; dataset; Haar feature-based cascade of classifiers; integral image; AdaBoost learning algorithm; supervised learning; dlib; shape predictor; vector of features; center of gravity; machine learning; overfitting; cross-validation; support vector machine; maximum margin separator; hyperplane; kernel function; scikit-learn; random forest classifier; confusion matrix
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:976579
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 17:45:30