Automatsko otkrivanje umora vozača

master's thesis

• Title (english): Automatic Driver Drowsiness Detection
• Author: Dominik Pezelj
• Mentor: Igor Sunday Pandžić (mentor)
• Committee member: Igor Sunday Pandžić (predsjednik povjerenstva)
• Committee member: Mirko Sužnjević (član povjerenstva)
• Committee member: Lea Skorin-Kapov (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2022-07-13, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Umor vozača je važan faktor smanjenja sigurnosti u prometu. Pokazuje se da umor smanjuje kognitivne sposobnosti, ponajprije procjenu i percepciju okoline, a istovremeno je jedan od značajnijih uzroka prometnih nesreća sa smrtnim ishodom, posebno prisutan kod profesionalnih vozača. Procjenjuje se da bi broj vozila u prometu do 2040. godine mogao biti dvostruko veći zbog čega sustavi automatskog otkrivanja umora mogu pridonijeti smanjenju broja prometnih nesreća uzrokovanih umorom vozača.

Sustavi otkrivanja umora procjenjuju umor temeljem prikupljenih informacija. U okviru rada opisana su i implementirana dva sustava automatskog otkrivanja umora čiji se rad zasniva na mogućnosti detekcije, praćenja i analize ljudskog lica na slici. Za pronalazak lica i izračun specifičnih točaka lica korištene su implementacije biblioteke dlib unutar Python okruženja. Pomoću specifičnih točaka lica izračunavaju se EAR (engl. Eye Aspect Ratio) i MAR (engl. Mouth Aspect Ratio). Ove mjere omogućuju otkrivanje zatvorenosti očiju ili otvorenosti usta vozača na slici. Analizom videozapisa u stvarnom vremenu moguće je utvrditi primjerice ima li vozač zatvorene oči, trepće li, koja je frekvencija treptanja, zijeva li te koja je frekvencija zijevanja. Ove se informacije mogu iskoristiti za procjenu umora vozača.
Drugi je pristup direktno korištenje EAR i MAR vrijednosti i modela strojnog učenja. Vrijednosti se proslijede naučenom modelu koji zatim procjenjuje umor vozača.

Abstract (english)

Driver drowsiness detection is a car safety technology that helps prevent accidents caused by the driver getting drowsy. Various studies have suggested that a high amount of all road accidents are fatigue-related. In this paper, two automatic driver drowsiness detection systems are explained based on the possibility of detection, tracking, and analysis of the human face in the image. For face detection, dlib's HOG face detector is used along with the facial landmarks detector. Using the facial landmarks, eye aspect ratio - EAR, and the mouth aspect ratio - MAR can be calculated. EAR and MAR detect if the driver has closed eyes or an open mouth in a picture. Analyzing these measurements on every frame of the video feed makes it possible to detect continuous eye closure, blinks, yawns, etc. Based on that information, driver drowsiness estimation can be made. Another approach is using a machine learning model that directly receives EAR and MAR values for driver drowsiness estimation.

• Keywords: Otkrivanje umora vozača; otkrivanje lica; specifične točke lica; EAR (engl. Eye Aspect Ratio); MAR (engl. Mouth Aspect Ratio); PERCLOS (engl. Percentage of eyelid closure); otkrivanje treptanja; frekvencija treptanja; otkrivanje zijevanja; frekvencija zijevanja; Python; dlib; umjetna neuronska mreža
• Keywords (english): Driver drowsiness detection; face detection; facial landmarks; Eye Aspect Ratio - EAR; Mouth Aspect Ratio - MAR; Percentage of eyelid closure - PERCLOS; blink detection; blink frequency; yawn detection; yawn frequency; Python; dlib; artificial neural network
• Language: croatian
• URN:NBN: urn:nbn:hr:168:278307
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 10:35:58