Radni okvir za umjetne neuronske mreže

undergraduate thesis

• Title (english): Framework for Artificial Neural Networks
• Author: Grgur Kovač
• Mentor: Zoran Kalafatić (mentor)
• Committee member: Zoran Kalafatić (predsjednik povjerenstva)
• Committee member: Zvonimir Pavlić (član povjerenstva)
• Committee member: Martin Soldić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2017-07-10, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U završnom je radu implementiran okvir za izradu umjetnih unaprijednih slojevitih neuronskih mreža. Za implementaciju je korišten programski jezik Python. Također, korištene su sljedeće knjižnice: numpy, tkinter i pyplotlib.

Strukture podataka korištene za unaprijedno propagiranje i treniranje su dvodimenzionalne numpy matrice. Implementirani radni okvir omogućava postavljanje aktivacijske funkcije za svaki sloj neuronske mreže, a ponuđene aktivacijske funkcije su ReLU, leaky ReLU, sigmoida, tangens hiperbolički i funkcija f(x)=x. Za treniranje se koristi Backpropagation s mogućnošću namještanja stope učenja ili stope inercije. Kao funkcija cijene implementirana je suma kvadriranih pogrešaka,a kao indikator naučenosti možemo koristiti sumu kvadriranih pogrešaka i maksimalnu vrijednost pogreške. Svi dijelovi okvira implementirani su tako da se na jednostavan način mogu dodati nove mogućnosti, odnosno alternative.

Završni se rad također sastoji od alata koji omogućuje generiranje potrebnih primjera za problem klasifikacije točaka u dvije skupine. Taj je alat izrađen pomoću knjižnice tkinter.

Radni okvir omogućuje izradu mreža koje, između ostaloga, rješavaju problem klasifikacije. Tri su primjera takvih problema i njihovih rješenja također objašnjeni i analizirani u ovome radu. Prva dva su problemi klasifikacije točaka u dvije skupine, a treći je klasifikacija rukom pisanih brojeva iz MNIST baze. Konstruirani model rješava problem klasifikacije tih brojeva s 96.5% točnosti.

Abstract (english)

In my bachelor thesis I implemented a framework for Feed-Forward Artificial Neural Networks. For implementation I used the python programming language as well as numpy, tkinter, pyplotlib libraries.

The data structures used for Forwardpropagation and Backpropagation are twodimensional numpy arrays. The framework allows using ReLU, leaky ReLU, sigmoid, hiperbolic tangent and function f(x)=x as activation functions. It also allows different activation functions for each layer. Backpropagation algorithm, with the option of setting the learning rate and inertion factor, is used for training. Sum squared can be used as the error function. Sum squared of errors or maximum error can be used as a learning process indicator. All parts of the framework are implemented in such a way that new features can be added with ease.

The thesis also contains a tool for generating required data for the dot classification problem. The tool was created using the tkinter library.

The framework can be used to create networks that solve the classification problem. Three such problems are analysed in this paper. First two are classification problems of dots into two groups and the third is the problem of classifying handwritten digits from the MNIST database. The represented model solves that classification problem with the accuracy of 96.5%.

• Keywords: Umjetna neuronska mreža; unaprijedne neuronske mreže; težina; aktivacijska funkcija; prag; ReLU; ulazni sloj; skriveni sloj; izlazni sloj; nadzirano učenje; numpy; unaprijedno prosljeđivanje; funkcija cijene; Xavierova inicijalizacija; gradijentalni spust; Backpropagation; prenaučenost; pyplotlib; tkinter; Confusion matrix; MNIST baza
• Keywords (english): Artificial neural network; Feed-Forward neural network; weight; activation function; threshold; ReLU; input layer; hidden layer; output layer; supervised learning; numpy; forward propagation; cost function; Xavier initialization; gradient descent; Backpropagation; overfitting; pyplotlib; tkinter; confusion matrix; MNIST database
• Language: croatian
• URN:NBN: urn:nbn:hr:168:796643
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 21:47:22