Učenje konvolucijskih modela u miješanoj točnosti

završni rad

• Naslov (engleski): Mixed-precision training of convolutional models
• Autor: Dario Oreč
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Josip Šarić (član povjerenstva)
• Član povjerenstva: Ivan Grubišić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-08, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu su opisane umjetne neuronske mreže, a posebice konvolucijske neuronske mreže. Opisane su metode učenja pomoću gradijentnog spusta i propagacije pogreške unazad, kao i neke tehnike regularizacije. Također je pobliže obrađen rad i korištenje miješane preciznosti, njene prednosti u odnosu na tradicionalni pristup i implementacija u radnom okviru PyTorch. Implementirani su i evaluirani modeli koji koriste miješanu preciznost i oni koji ju ne koriste. Modeli su implementirani pomoću rezidualnih neuronskih mreža, ResNet-18, ResNet-34 i ResNet-50. Na kraju rada su prikazani i uspoređeni rezultati tradicionalnog pristupa i pristupa koji koristi miješanu preciznost.

Sažetak (engleski)

Paper describes artificial neural networks, and in particular convolutional neural networks. Gradient descent learning methods and back-propagation technique are described, as well as some regularization techniques. The work and use of mixed precision, its advantages over traditional approach, and implementation in the PyTorch framework are also discussed in more detail. Models that use mixed precision and those that do not use it have been implemented and evaluated. The models were implemented using residual neural networks, ResNet-18, ResNet-34 i ResNet-50. At the end of the paper, the results of the traditional approach and the approach that uses mixed precision are presented and compared.

• Ključne riječi: neuronske mreže; konvolucijske neuronske mreže; miješana preciznost; amp; ResNet; baseline
• Ključne riječi (engleski): neural networks; convolutional neural networks; mixed precision; amp; ResNet; baseline
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:431599
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 21:19:48