Realization of multimodal behaviour of embodied conversational agents in real-time

disertacija

• Naslov (hrvatski): Ostvarivanje višemodalnog ponašanja utjelovljenih razgovornih agenata u stvarnom vremenu
• Autor: Aleksandra Čereković
• Mentor: Igor Sunday Pandžić (mentor)
• Član povjerenstva: Maja Matijašević (predsjednik povjerenstva)
• Član povjerenstva: Ignac Lovrek (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2010-07-08, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

ECAs are computer-generated virtual characters who express human-like abilities in interaction with humans: they speak, make gestures, reason about ongoing conversation and adapt it to their conversational goal. The process of making ECAs is challenging because it is multidisciplinary and requires fundamental advances in speech recognition, natural language understanding and generation, dialogue management, cognitive modelling and reasoning, virtual human architectures and computer graphics and animation. Therefore, present research evidences how research laboratories cooperate in order to create effective and realistic ECAs. Moreover ECA community attempts to set specifications and encourage researchers to exchange their ideas and ECA system components.
This thesis investigates a support for modelling multimodal communication in ECA systems with focus on character animation and multimodal behaviour realization. This thesis also investigates new approaches to development of multiuser support in an ECA system, and explains results of experiments with different equipment for human-computer interaction and impressions of interacting with such a system.

Sažetak (hrvatski)

Utjelovljeni razgovorni agenti je naziv za računalno generirane virtualne likove koji mogu komunicirati sa korisnikom. Pri komunikaciji oni pričaju, gestikuliraju i rasuđuju o tijeku konverzacije te je adaptiraju svojim konverzacijskim ciljevima. Proces stvaranja razgovornih agenata je zahtjevan jer je to multidisciplinarno područje i zahtjeva temeljna znanja o obradi govora razumijevanju i stvaranju jezika, vođenja dijaloga, modeliranju svijesti i rasuđivanju, arhitekturama virtualnih ljudi i računalnoj grafici i animaciji. Stoga, istraživanja koja su u tijeku se najčešće izvode u suradnji nekoliko istraživačkih laboratorija kako bi se stvorili vjerodostojni i realistični razgovorni agenti. Osim toga, istraživačka zajednica nastoji uspostaviti specifikacije i ohrabriti istraživače da razmjenjuju ideje i komponente koje čine ECA sustave.
Ova disertacija istražuje podršku za modeliranje višemodalne komunikacije u sustavima za utjelovljene razgovorne agente. Fokusira se na animaciju i realizaciju višemodalnog ponašanja takvih agenata. Disertacija također istražuje pristup izgradnji podrške za višekorisničku komunikaciju u sustavima sa razgovornim agentima, objašnjava rezultate eksperimenata sa opremom koja se koristi u interakciji sa računalom te istražuje ponašanje takvih sustava u interakciji sa korisnicima.

• Ključne riječi: Embodied Conversational Agents (ECAs); multimodal behaviours; realization of communicative utterances; multiuser interaction
• Ključne riječi (hrvatski): utjelovljeni razgovorni agenti; multimodalna ponašanja; ostvarivanje komunikacijskih ponašanja; višekorisnička interakcija
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:084281
• Datum promocije: 2010
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: 107 str. : graf. prikazi : tablice
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-03-20 10:18:03