Validiranje hiperparametara za semantičko prognoziranje u videu

master's thesis

• Title (english): Validation of hyperparameters for semantic forecasting in video
• Author: Jakov Rukavina
• Mentor: Siniša Šegvić (mentor)
• Committee member: Siniša Šegvić (predsjednik povjerenstva)
• Committee member: Vladimir Čeperić (član povjerenstva)
• Committee member: Željka Mihajlović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-13, Croatia

Abstract

Gusto prognoziranje predviđa reprezentacije iz budućnosti, oslanjajući se pritom na reprezentacije iz prijašnjih trenutaka. Radi se o skupu metoda, između ostalog primjenjivih u industriji autonomnih vozila te za prognoziranje sličica u videu. Ovaj rad razmatra pristupe prognoziranju semantičkih značajki, dobivenih modificiranim piramidalnim SwiftNetom, i latentnih rekonstrukcijskihreprezentacija iz VQ-GANa. Sve eksperimente provodimo na podatkovnom skupu Cityscapes. Za prognoziranje koristimo već postojeće arhitekture F2F i F2MF, a predlažemo i nekoliko modifikacija ovih modela sa svrhom poboljšanja točnosti. Pritom posebno obraćamo pažnju na utjecaj ovih preinaka na brzinu zaključivanja, odnosno računsku složenost. Od modifikacija ističemo prognoziranje značajki više rezolucije, kojim smo postigli poboljšanje točnosti oba modela za dva postotna boda mjere mIoU, dok je mjera mIoU-MO, koja uključuje samo pokretne objekte, narasla za tri postotna boda. Također, predlažemo multimodalnu arhitekturu za zajedničko prognoziranje semantičkih i rekonstrukcijskih reprezentacija. Prognoziranje rekonstrukcija VQ-GANa rezultiralo je zamućenjem slike iz budućeg trenutka u dijelovima scene koji su pokretni te ispravnim i jasnim rekonstrukcijama u statičkim dijelovima scene.

Abstract (english)

Dense forecasting is a method that aims to predict future representations by utilizing information from previous images. It encompasses a range of techniques that find applicability in various domains such as autonomous vehicles and video prediction. This paper explores different approaches to dense forecasting by leveraging modified pyramidal SwiftNet architecture as semantic feature extractor and utilizing VQ-GAN for extracting latent representations used for reconstruction. We evaluate our experiments on the Cityscapes dataset. The forecasting process utilizes existing F2F and F2MF architectures, and introduces several model modifications with the objective of enhancing prediction accuracy. Particular attention is given to assessingthe impact of these modifications on inference speed and computational complexity. Notably, the inclusion of higher-resolution feature forecasting yields a two percentage-point improvement in the mIoU metric for both models, while the mIoU-MO metric, focusing exclusively on moving objects, exhibits a three percentage-point increase. Furthermore, a multimodal architecture is proposed for joint forecasting of semantic and reconstruction representations. The forecasting of VQ-GAN reconstructions results in blurring of in-motion sections of the scene, while achieving accurate and precise reconstructions in static sections.

• Keywords: gusto prognoziranje; semantička segmentacija; rekonstrukcija slika; duboko učenje; računalni vid; piramidalna fuzija; VQ-GAN; Cityscapes
• Keywords (english): dense forecasting; semantic segmentation; image reconstruction; deep learning; computer vision; pyramidal fusion; VQ GAN; Cityscapes
• Language: croatian
• URN:NBN: urn:nbn:hr:168:626071
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-10-11 10:23:01