Integracija modela za generiranje glasa iz teksta i modela za generiranje slike govornika za realistično stvaranje virtualnih likova

master's thesis

• Title (english): Integration of speech-to-text and speaker image generation models for realistic virtual character creation
• Author: Antun Drobnjak
• Mentor: Ivica Botički (mentor)
• Committee member: Ivica Botički (predsjednik povjerenstva)
• Committee member: Mario Brčić (član povjerenstva)
• Committee member: Danijel Mlinarić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-01, Croatia

Abstract

Performanse sustava za generiranje videa koristeći napredne hardverske konfiguracije, naglašavaju važnost GPU akceleracije. Testovi s različitim veličinama grupa i postavkama kvalitete otkrivaju izazove i učinkovitost u obradi. Studija prikazuje alate poput MakeItTalk-a za kreiranje videa i GlowTTS-a za sintezu zvuka, ističući njihovu ulogu u proizvodnji visokokvalitetnog multimedijalnog sadržaja. Korištenjem moćnih CPU-ova i GPU-ova, pokazano je kako trenutna tehnologija omogućuje učinkovito i sofisticirano generiranje videa i zvuka. Rezultati naglašavaju potrebu za optimiziranim upravljanjem resursima kako bi se postigla uravnotežena brzina obrade i kvaliteta izlaza.

Abstract (english)

The performance of a video generation system using advanced hardware configurations highlights the importance of GPU acceleration. Tests with varying batch sizes and quality settings reveal the challenges and efficiencies in processing. Tools like MakeItTalk for video creation and GlowTTS for audio synthesis are showcased, emphasizing their roles in producing high-quality multimedia content. By leveraging powerful CPUs and GPUs, the study demonstrates how current technology enables efficient and sophisticated video and audio generation. The findings underscore the need for optimized resource management to achieve balanced processing speed and output quality.

• Keywords: generiranje zvuka; generiranje videa; napredne hardverske konfiguracije
• Keywords (english): sound generation; video generation; advanced hardware configurations
• Language: croatian
• URN:NBN: urn:nbn:hr:168:052772
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-10-12 20:27:42