Upravljanje robotom Pepper putem govora

završni rad

• Naslov (engleski): Speech-based control of robot Pepper
• Autor: Matko Ferenca
• Mentor: Tamara Petrović (mentor)
• Član povjerenstva: Tamara Petrović (predsjednik povjerenstva)
• Član povjerenstva: Zdenko Kovačić (član povjerenstva)
• Član povjerenstva: Ivan Hrabar (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-10, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Scenarij koji je motiv za izradu ovog rada je primjena Peppera kao vodiča za posjetitelje na Fakultetu. U ovome radu je detaljnije obrađena kvaliteta prepoznavanja govora. Uspoređena su dva rješenja, prepoznavanje govora pomoću ugrađenih rješenja i pomoću Google Cloud Speech-to-Text usluge. Ugrađena rješenja testirala su se kroz program Choregraphe, dok su se za Google Cloud uslugu snimali zvučni zapisi također u Choregrapheu. Kako bi eksperiment bio kvalitetan, uspoređivale su se prosječne sigurnosti prepoznatih rečenica za različite udaljenosti (0.40 m i 0.80 m), za različite razine jakosti buke (47 dB i 80 dB) te za različite duljine rečenica (1, 2, 3 te 4 i više riječi). Na temelju 1200 testiranih rečenica, došlo se do zaključka da je prosječna sigurnost poprilično veća kod Google Cloud usluge nego kod ugrađenih rješenja, ali taj zaključak treba uzeti s dozom opreza s obzirom na to da se ne zna kako se točno računa sigurnost prepoznatih rečenica. Također se ustanovilo da kvaliteta prepoznavanja govora ne ovisi mnogo o razini jakosti buke u okolini, ali dosta ovisi o udaljenosti čovjeka od Peppera. Isto tako, prosječna sigurnost prepoznatih rečenica ne opada nužno s povećanjem broja riječi u rečenici, već to ovisi o učestalosti riječi u svakodnevnome govoru kao i o pravilnom izgovoru rečenica. Konačno, predlaže se implementacija Google Cloud usluge za visokokvalitetno prepoznavanje govora prilikom obavljanja dužnosti vodiča za posjetitelje na Fakultetu.

Sažetak (engleski)

Scenario, which is the motive for this Bachelor Thesis is using Pepper robot as a welcome manager on the Faculty of Electrical Engineering and Computing. More specifically, this Bachelor Thesis focuses on analysis and improvement of speech recognition of robot Pepper, which is used in the mentioned scenario. Two solutions were compared, inbuilt solution and Google Cloud Speech-to-Text service. Choregraphe program was used for testing the inbuilt solution, while audio files used for Google Cloud service are recorded using Choregraphe as well. Average confidence levels of the recognized words were measured for two different distances (0.40 m and 0.80 m), two different noise levels (47 dB and 80 dB) and different sentence lengths (1, 2, 3 and 4 or more words). Based on the total of 1200 sentences tested, it was concluded that the average confidence level is significantly higher when using Google Cloud services, although this conclusion should be taken with a dose of caution as it is not known how exactly the confidence levels are being calculated. Moreover, it was concluded that speech recognition quality does not depend on the noise level in the environment as much as it depends on the distance between the person and Pepper. Furthermore, the average confidence level of the recognized words does not necessarily decrease with the increase of the number of the words in a sentence, but it depends more on the frequency of words in the everyday use of language as well as on the correct pronunciation of the sentence. Finally, it is strongly suggested to implement Google Cloud services for high-quality speech recognition while using Pepper as a welcome manager at the Faculty.

• Ključne riječi: Humanoidni robot; Pepper; Google Cloud; Speech-to-Text
• Ključne riječi (engleski): Humanoid robot; Pepper; Google Cloud; Speech-to-Text
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:865662
• Studijski program: Naziv: Elektrotehnika i informacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka elektrotehnike i informacijske tehnologije (univ. bacc. ing. el. techn. inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 08:46:36