Široke i plitke umjetne neuronske mreže

diplomski rad

• Naslov (engleski): Wide and shallow artificial neural networks
• Autor: Marko Posavec
• Mentor: Vladimir Čeperić (mentor)
• Član povjerenstva: Vladimir Čeperić (predsjednik povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Član povjerenstva: Mirko Poljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-02-24, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Neuronske mreže koje sadrže jedan skriveni sloj i veliki broj neurona u tom sloju nazivaju se široke i plitke neuronske mreže. Mogućnosti aproksimacije takvih neuronskih mreža spominje se u više radova tijekom zadnjih 30 godina. Rezultati tih radova pokazuju kako one mogu aproksimirati bilo koju kontinuiranu funkciju na kompaktnom skupu s proizvoljnom točnošću. Iako ovo zvuči kao veoma korisno svojstvo, u praksi se široke i plitke neuronske mreže ne pokazuju kao najbolji modeli za generalizaciju nad novim podacima, iako postižu veliku točnost nad podacima za treniranje. Opisani su utjecaji dubine i širine neuronske mreže. Sposobnost generalizacije širokih i plitkih neuronskih mreža je uspoređena s dubokim modelima. Korištene su različite regularizacijske metode, aktivacijske funkcije i optimizacijske metode. Eksperimenti su provedeni na MNIST i CIFAR-10 skupovima podataka.

Sažetak (engleski)

In this paper advantages and disadvantages of shallow and wide artificial neural networks are analyzed and compared to other deep learning models. It is shown on an example how to approximate any function on a compact set with any desired accuracy with a shallow neural network that has only one hidden layer. This feature, which is proven in theory, is not very useful in practice. The influences of width and depth of neural networks are described. Wide and shallow neural network's ability to generalize is compared to generalization of deep learning models. Different regularization methods, activation functions and optimization methods are described along with their influence on results from training shallow and wide neural networks. Experiments are made on MNIST and CIFAR-10 data sets. In each experiment optimal hiperparameters were found using grid search.

• Ključne riječi: umjetne neuronske mreže; plitke mreže; široke mreže; podešavanje hiperparametara
• Ključne riječi (engleski): artificial neural network; shallow network; wide network; hyperparameters tuning
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:752942
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 13:32:28