Kvantizacija dubokih konvolucijskih modela

diplomski rad

• Naslov (engleski): Quantization of deep convolutional models
• Autor: Filip Oreč
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Član povjerenstva: Vladimir Čeperić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-16, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Ovaj rad se bavi kvantiziranjem dubokih konvolucijskih modela. Svrha kvantizacije je provođenje izračuna
u nižoj preciznosti kako bi se smanjilo vrijeme zaključivanja dubokog modela. Kvantiziran je model SwiftNet
na problemu semantičke segmentacije. Za implementaciju korišten je okvir TensorRT, te je model kvantiziran
za uređaj NVIDIA Jetson AGX Xavier. Pokazalo se kako kvantizirani modela ima puno manje vrijeme zaključivanja
u odnosu na FP32 model uz minimalan gubitak točnosti, te nešto manje vrijeme zaključivanja nego FP16 model
također uz minimalan gubitak točnosti.

Sažetak (engleski)

The goal of this thesis is quantization of deep convolutional models. The goal of quantization is to
use lower precision for computation which lowers inference time of the deep model. Model which is
quantized in this thesis is SwiftNet model on the problem of semantic segmentation. For implementation
TensorRT framework was used and models was quantized for the NVIDIA Jetson AGX Xavier embedded hardware.
It has been shown that quantized model has much lower inference time than FP32 model with minimal
accuracy loss and little lower inference time than FP16 model also with minimal accuracy loss.

• Ključne riječi: Kvantizacija; Konvolucijski modeli; Duboko učenje; TensorRT
• Ključne riječi (engleski): Quantization; Convolutional models; Deep learning; TensorRT
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:565022
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 15:45:01