Destiliranje semantičke segmentacije

završni rad

• Naslov (engleski): Distillation of semantic segmentation
• Autor: Filip Sučić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Josip Šarić (član povjerenstva)
• Član povjerenstva: Ivan Martinović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-01, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Problem kod modela dubokog učenja koji postižu zapanjujuće rezultate je što su često glomazni i ne možemo ih koristiti u stvarnom vremenu. U ovom radu se istražuju metode kako učinkovito prenijeti znanje takvih modela na manje, efikasnije modele. Prikazane su osnovne metode, uključujući destilaciju pomoću tvrdih i mekih oznaka, kao i kombinaciju stvarnih tvrdih oznaka i mekih oznaka učitelja. Eksperimenti su provedeni na skupu podataka Cityscapes, pri čemu je model učitelj Mask2Former, a model student Swiftnet. Rezultati pokazuju da je moguće prenijeti znanje s većih modela na manje, uz zadržavanje zadovoljavajuće razine performansi.

Sažetak (engleski)

The issue with deep learning models that achieve outstanding results is that they are often too cumbersome to be used in real-time applications. This paper explores methods to effectively transfer the knowledge of such models to smaller, more efficient ones. Basic methods are presented, including distillation using hard and soft labels, as well as a combination of true hard labels and soft teacher labels. Experiments were conducted on the Cityscapes dataset, with Mask2Former as the teacher model and Swiftnet as the student model. The results demonstrate that it is possible to transfer knowledge from larger models to smaller ones while maintaining a satisfactory level of performance.

• Ključne riječi: računalni vid; duboko učenje; semantička segmentacija; tvrde oznake; meke oznake; destilacija znanja
• Ključne riječi (engleski): computer vision; deep learning; semantic segmentation; hard labels; soft labels; knowledge distillation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:927246
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 22:10:54