Eksperimentalno vrednovanje metoda za monokularnu predikciju dubine

diplomski rad

• Naslov (engleski): Experimental evaluation of methods for monocular depth prediction
• Autor: Dominik Špiljak
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Član povjerenstva: Jan Šnajder (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-13, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Do nedavno, konvolucijski modeli su dominirali područjem računalnog vida koristeći preskočne veze i U-net strukturu. U području obrade prirodnog jezika je predstavljen transformer, model koji se temelji na mehanizmu pažnje te ostvaruje state-of-the-art rezultate. U području računalnog vida, inspiriran transformer modelom, predstavljen je vision transformer model koji ostvaruje state-of-the-art rezultate tom području. Najveći nedostaci modela koji se temelje na mehanizmu pažnje su potreba za vrlo velikom količinom podataka kako bi postigli maksimalne performanse te veliki memorijski otisak tijekom učenja. Kroz zadatak monokularne predikcije dubine, uspored̄uju se dvije vrste konvolucijskih modela, MIMO-Unet i LadderDenseNet, te jedan model koji se temelji na mehanizmu pažnje, DPT-Hybrid. Modeli su trenirani na podskupu NYU Depth V2 skupa podataka koji se sastoji od 50000 parova RGB slika i dubinskih mapa za treniranje te 654 parova za testiranje. U radu se uspoređuju vrijednosti 8 različitih metrika za performanse modela na testnom skupu te brzine zaključivanja i memorijski otisak svakog od modela.

Sažetak (engleski)

Until recently, convolutional models dominated the field of computer visions using residual connections and U-net structure. In the field of natural language processing, a transformer, model based on the attention mechanism, was introduced and achieved state-of-the-art results. In the field of computer vision, inspired by the transformer model, a vision transformer model was presented that achieves state-of-the-art results in that field. The biggest disadvantages of attention-based models are the need for a very large amount of data to achieve maximum performance and big memory footprint during training. Through the task of monocular depth estimation, two types of convolutional models are compared, MIMO-Unet and LadderDenseNet, and one attention-based model, DPT-Hybrid. The models were trained on a subset of the NYU Depth V2 dataset consisting of 50000 pairs of RGB images and depth maps for training and 654 pairs for testing. This thesis compares the values of 8 different metrics for the performance of models on the test set and the speed of inference and memory footprint for each of the models.

• Ključne riječi: računalni vid; gusta predikcija; monokularna predikcija dubine; konvolucijski modeli; preskočne veze; U-net struktura; modeli koji se temelje na mehanizmu pažnje; MIMO-UNet; LadderDenseNet; DPT-Hybrid; NYU Depth V2
• Ključne riječi (engleski): computer vision; dense prediction; monocular depth estimation; convolutional models; residual connections; U-net structure; attention-based models; MIMO-UNet; LadderDenseNet; DPT-Hybrid; NYU Depth V2
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:009938
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 10:05:18