Predviđanje višemodalne semantičke budućnosti u videu

diplomski rad

• Naslov (engleski): Multimodal semantic forecasting in video
• Autor: Kristijan Fugošić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu razmatramo semantičko predviđanje višemodalne budućnosti. Glavni problem u tom kontekstu predstavljaju novootkriveni prostori i artikulirani objekti kod kojih se i u kratkoročnom slučaju suočavamo s velikom nesigurnošću predviđanja. Ideja ovog rada je dopustiti modelu nešto više slobode u smislu mogućnosti predviđanja više različitih budućnosti. To činimo pretvaranjem osnovnog regresijskog modela u uvjetni generativni model temeljen na suparničkom učenju primjenom gubitaka rekonstrukcije momenata. U slučaju kratkoročnog predviđanja dobivena je veća točnost modela, dok kod srednjoročnog predviđanja imamo nešto nižu točnost, ali rezultati su raznoliki i vizualno zanimljiviji. Pokazalo se da učenje novog modela traje 6 puta duže, a vrijeme zaključivanja pribiližno je osnovnom modelu.

Sažetak (engleski)

In this paper we address the multimodal semantic forecasting in road driving scenarios. The main problem in this context is great uncertainty in forecasting of articulated objects and unoccluded spaces, even in the case of short-term predictions. The idea of this paper is to give the model somewhat more freedom by allowing it to predict multiple futures. We do this by converting the base regression model into a conditional generative adversarial model and by using moment reconstruction losses. In the case of short-term prediction, higher accuracy of the model was obtained, while in the case of long-term prediction, we observe slightly lower accuracy, but the predictions are diverse and visually more interesting. It takes about 6 times longer to train the model, while the evaluation time is similar to the base model.

• Ključne riječi: duboko učenje; računalni vid; generativni suparnički modeli; GAN; multimodalno generiranje slika; MR-GAN; predviđanje semantičke budućnosti; predviđanje iz značajki u značajke; F2F; semantička segmentacija; segmentacija instanci
• Ključne riječi (engleski): deep learning; computer vision; generative adversarial models; GAN; multimodal image generation; MR-GAN; semantic future prediction; feature-to-feature; F2F; semantic segmentation; instance segmentation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:467493
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:16:07