Simulation of a television speaker with natural facial gestures

magistarski rad

• Naslov (hrvatski): Simulacija televizijskog govornika s prirodnim pokretima lica
• Autor: Karlo Šmid
• Mentor: Igor Sunday Pandžić (mentor)
• Član povjerenstva: Ignac Lovrek (predsjednik povjerenstva)
• Član povjerenstva: Igor Sunday Pandžić (član povjerenstva)
• Član povjerenstva: Robert Manger (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za telekomunikacije); Zagreb
• Datum i država obrane: 2004-11-18, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

Autonomous Speaker Agent is a graphically embodied animated agent (a virtual character) capable of reading plain English text and rendering it in form of speech accompanied by appropriate, natural-looking facial gestures. The system uses lexical analysis and statistical models of facial gestures in order to generate gestures related to spoken text. It is intended for automatic creation of realistically animated virtual speakers, such as newscasters and storytellers, and incorporates the characteristics of such speakers captured from training video clips. Autonomous Speaker Agent is based on a visual text-to-speech system which generates lip movement synchronized with generated speech. This is extended to include eye blinks, head and eyebrow motion, and a simple gaze following behavior. The result is full face animation produced automatically from plain English text.

Sažetak (hrvatski)

Autonomni razgovorni agent je grafički utjelovljen animirani agent (virtualni lik) koji čita tekst napisan na engleskom jeziku te ga predstavlja kao govor koji je popraćen sa odgovarajućim, prirodnim pokretima lica. Sustav koristi leksičku analizu i statističke modele gesti lica kako bi mogao generirati odgovarajuće geste koje su povezane sa engleskim tekstom. Takav sustav je namijenjen za automatsku generaciju realističnih virtualnih govornika, kao što su TV govornici i pripovjedači, te uključuje karakteristike takvih govornika koje su sakupljene analizom video sekvenci pravih govornika (procesom "treniranja"). Autonomni razgovorni agent je baziran na vizualnom tekst-u-govor sustavu koji generira pokrete usana sinkronizirane sa generiranim govorom. Taj sustav je proširen tako da sada uključuje treptaje očiju, pokrete glave i obrva te jednostavno praćenje pogleda. Rezultat je automatska, potpuna animacija lica na osnovu unesenog engleskog teksta.

• Ključne riječi: Facial animation; virtual character; visual text-to-speech; MPEG-4 FBA; embodied conversational characters
• Ključne riječi (hrvatski): Animacija lica; virtualni govornik; vizualan tekst-u-govor; MPEG-4 FBA; utjelovljeni razgovorni agenti
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:210221
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (magistarski); Akademski / stručni naziv: magistar inženjer računarstva (mag. ing. comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-07-19 10:16:05