Stvaranje 3D modela lica iz videozapisa primjenom modela dubokog učenja

diplomski rad

• Naslov (engleski): Generating 3D Face Models from Videos by Using Deep Learning Models
• Autor: Krešimir Lelas
• Mentor: Goran Delač (mentor)
• Član povjerenstva: Goran Delač (predsjednik povjerenstva)
• Član povjerenstva: Marin Šilić (član povjerenstva)
• Član povjerenstva: Klemo Vladimir (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-09-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U radu su objašnjene osnove 3D modeliranja, metoda za kreaciju 3D modela lica te korištene
tehnike dubokog učenja (GAN i GCN). Demonstriran je rad jednostavne web aplikacije koja je
izrađena na temelju frontend i backend dijela sa spojem između njih izrađenim pomoću pythona i
knjižnice EEL.
Model za kreaciju 3D lica je istreniran na setu javno dostupnih lica veličine 300000 slika. Model
koristi duboko učenje u svrhu kreacije bolje i kvalitetnije teksture za završno 3D lice. Koristeći
objašnjene tehnike GAN-a i GCN-a model iz početnih podataka razvija vidljivo bolje rješenje.
Rezultati su uspoređeni i analizirati u kontekstu parametara za treniranje modela. Prikaz 3D
modela je napravljen u web aplikaciji te je korisniku omogućeno pregledavanje i promjena
okoliša.

Sažetak (engleski)

The paper explains the basics of 3D modeling, the method for creating 3D face models, and the deep learning techniques used (GAN and GCN). The operation of a simple web application was demonstrated, which was created on the basis of the frontend and backend part with a connection between them created using python and the EEL library.
The 3D face creation model is trained on a set of publicly available faces of size 300000 images. The model uses deep learning to create a better and higher quality texture for the final 3D face. Using the explained techniques of GAN and GCN, the model develops a visibly better solution from the initial data.
The results were compared and analyzed in the context of model training parameters. The 3D model is displayed in the web application and the user is enabled to browse and change the environment.

• Ključne riječi: 3D Model lica; 3D Morfabilni model; Duboko učenje; GAN; Aplikacija; Generiranje
• Ključne riječi (engleski): 3D Face Model; 3D Morphable Model; Deep learning; GAN; Application; Generation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:799930
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 10:18:30