Primjena evolucijskih algoritama u optimizaciji arhitekture neuronske mreže

diplomski rad

• Naslov (engleski): Application of evolutionary algorithms in neural network architecture optimization
• Autor: Josip Vucić
• Mentor: Domagoj Jakobović (mentor)
• Član povjerenstva: Domagoj Jakobović (predsjednik povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-07, Hrvatska

Sažetak

Tema ovog diplomskog rada je analiza metoda neuroevolucije i izrada vlastite metode za optimizaciju proizvoljne metrike neuronske mreže. Odabran je genetski algoritam kao algoritam evolucije. Genotip mreže je izrađen po uzoru na postojeću mrežu SimpleNet. Implementacija algoritma je ostvarena pomoću PyGAD biblioteke. Izrađeni su posebni operatori križanja koji su prikladni za genotip koji predstavlja neuronsku mrežu. Dobrota jedinke definirana je kao maksimalna postignuta validacijska točnost pri učenju jedinke. Provedena je optimizacija hiperparametara učenja i evolucije. Nakon optimizacije je pokrenuta evolucija s optimiranim parametrima, a rezultati su uspoređeni sa SimpleNetom i s jedinkom koja je dobiven nasumičnom pretragom. Korištena metoda neuroevolucije je postigla bolje rezultate od SimpleNeta i nasumične jedinke na skupovima CIFAR10 i MNIST.

Sažetak (engleski)

The topic of this thesis is the analysis of neuroevolution methods and the development of my own method for the optimization of arbitrary neural network metrics. The genetic algorithm was chosen as the evolution algorithm. The network genotype is modeled after the existing SimpleNet network. The implementation of the algorithm was realized using the PyGAD library. Special crossover operators have been developed that are suitable for the neural network genotype. The fitness of a solution is defined as the maximum validation accuracy achieved during training. Optimization of training and evolution hyperparameters was performed. After the optimization, the evolution was started with optimized parameters, and the results were compared with SimpleNet, and a network obtained by random search. The neuroevolution method achieved better results than SimpleNet and the random solution on the CIFAR10 and MNIST datasets.

• Ključne riječi: neuroevolucija; NAS; genetski algoritam; duboko učenje
• Ključne riječi (engleski): neuroevolution; NAS; genetic algorithm; deep learning
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:206658
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:57:53