Sustav za dijagnostiku i praćenje intenziteta mucanja primjenom strojnog učenja na rubnim uređajima

diplomski rad

• Naslov (engleski): System for diagnosing and monitoring the intensity of stuttering using machine learning on edge devices
• Autor: Petar Sušac
• Mentor: Hrvoje Džapo (mentor)
• Član povjerenstva: Hrvoje Džapo (predsjednik povjerenstva)
• Član povjerenstva: Mario Cifrek (član povjerenstva)
• Član povjerenstva: Željka Lučev Vasić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-16, Hrvatska

Sažetak

Mucanje je poremećaj tečnosti govora koji u značajnoj mjeri utječe na verbalnu komunikaciju. Mjerenja intenziteta mucanja i anksioznosti povezane s govorom važna su za uspješno provođenje logopedske terapije, no zbog velike varijabilnosti intenziteta mucanja pouzdana mjerenja su nepraktična i zahtijevaju velik trošak vremena logopeda. U ovom radu razvijen je sustav za automatizirano mjerenje intenziteta mucanja i prikupljanje biomedicinskih signala koji ukazuju na anskioznost. Razvijen je model umjetne neuronske mreže koji detektira tri osnovne vrste mucajućih netečnosti u govoru: blokade, produljenja i ponavljanja. Razvijena je programska potpora za nosivi ugradbeni računalni sustav koji pomoću navedenog modela u stvarnom vremenu mjeri intenzitet mucanja na temelju govora, prikuplja signale vodljivosti kože i fotopletizmografije i iz njih izdvaja odabrane značajke te sprema rezultate obrade za kasniju analizu i vizualizaciju. Sustav postiže točnost do 71% u detekciji mucajućih netečnosti.

Sažetak (engleski)

Stuttering is a speech fluency disorder with a significant effect on the verbal communication ability of those who stutter. Being able to measure the intensity of stuttering and the level of speech-related anxiety in patients is important to speech pathologists in order to successfully conduct speech therapy. However, due to the large variability of stuttering intensity, reliable measurements are impractical and time-consuming. This thesis presents the development of a wearable automated stuttering intensity and speech-related anxiety measurement system. An artificial neural network model is developed to detect the three types of stuttering disfluency (blocks, prolongations, repetitions) from speech, as well as software for a wearable embedded system which uses the neural network model to measure the stuttering intensity in real time. In addition, the wearable system extracts selected features of electrodermal activity and photoplethysmography biosignals which can be linked to the level of anxiety. The results are stored to non-volatile storage for subsequent analysis and visualization. The system achieves up to 71% accuracy in stuttering disfluency classification.

• Ključne riječi: afektivno računarstvo; duboko učenje; mucanje; ugradbeni sustavi; Zephyr RTOS
• Ključne riječi (engleski): affective computing; deep learning; stuttering; embedded systems; Zephyr RTOS
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:629033
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 22:11:05