Predstavljanje slika ograničenim Boltzmannovim neuronskim mrežama

undergraduate thesis

• Title (english): Representing images with restricted Boltzmann networks
• Author: Ivan Relić
• Mentor: Siniša Šegvić (mentor)
• Committee member: Siniša Šegvić (predsjednik povjerenstva)
• Committee member: Mladen Karan (član povjerenstva)
• Committee member: Goran Glavaš (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2015-07-13, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Rad opisuje postupak učenja modela koji omogućuje predstavljanje slika u nižoj dimenzionalnosti – kompresiju slika. Kao skup slika koji se predstavlja u nižoj dimenzionalnosti koristi se MNIST skup podataka rukom pisanih brojeva. MNIST skup podataka službeno se sastoji od dva disjunktna skupa – skupa za učenje koji koristimo za učenje same mreže i skupa za ispitivanje koji koristimo za provjeru preciznosti naučenog modela. Skup podataka se prvo normalizira tako da ima vrijednosti između 0 i 1, uključivo. Model koji učimo je ograničena Boltzmannova neuronska mreža. Model učimo algoritmom kontrastne divergencije. Učenje modela takvim algoritmom prikazano je i nad vrlo jednostavnim skupom podataka – zašumljenim podacima s pravca. Eksperimentalni rezultati preciznosti modela nad MNIST skupom podataka smanjene veličine prikazani su koristeći različite parametre algoritma za učenje. Najbolji dobiveni parametri korišteni su za učenje nad cjelokupnim skupom podataka. Dobivena naučena mreža je potom ispitana na testnom skupu podataka uz prikaz najboljih i najgorih rekonstrukcija, prosječnu pogrešku te usporedbu s metodom PCA.

Abstract (english)

This paper describes training of model that enables mapping of original images into lowered dimensionality ones - compressing. As dataset that is represented in lowered dimensionality is used MNIST handwritten digits dataset. MNIST dataset is officially divided into two disjunctive sets – training set which is used for training the model and testing set which is used to check the accuracy of trained model. First thing to do is normalizing the dataset so it contains values from 0 to 1, inclusive. The model that is trained is restricted Boltzmann network. Algorithm used for training is Contrastive Divergence algorithm. Model training with mentioned algorithm is also shown on very simple dataset – noisy line data. Experimental results of model accuracy on reduced size MNIST dataset were shown using different sets of algorithm parameters. The best parameters were used to train the model on complete MNIST dataset. Trained model was then tested on test dataset showing best and worst reconstruction results, average reconstruction error and comparation to PCA method.

• Keywords: ograničena Boltzmannova neuronska mreža; kontrastna divergencija; MNIST; normalizacija; smanjivanje dimenzionalnosti; kompresija; Python; NumPy; SciPy
• Keywords (english): restricted Boltzmann network; Contrastive Divergence; MNIST; normalization; dimensionality reduction; compression; Python; NumPy; SciPy
• Language: croatian
• URN:NBN: urn:nbn:hr:168:893042
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2018-02-06 11:34:12