Kompozicijsko duboko učenje

master's thesis

• Title (english): Compositional Deep Learning
• Author: Bruno Gavranović
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Bojana Dalbelo-Bašić (član povjerenstva)
• Committee member: Domagoj Kovačević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-08, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Neuronske mreže postaju sve popularniji alat za rješavanje mnogih problema iz stvarnoga svijeta. Neuronske mreže generalna su metoda za diferencijabilnu optimizaciju koja uključuje mnoge druge algoritme strojnog učenja kao specijalne slučajeve. U ovom diplomskom radu mi izlažemo početke formalnog kompozicijskog okvira za razumijevanje različitih komponenata modernih arhitektura neuronskih mreža. Jezik teorije kategorija je korišten za proširenje postojećeg rada o kompozicijskom nadziranom učenju na područja nenadziranog učenja i generativnih modela. Prevođenjem arhitektura neuronskih mreža, skupova podataka, parameter-funkcija mape i nekolicinu drugih koncepata iz dubokog učenja u kategorijski jezik, pokazujemo da se optimizacija može raditi u prostoru funktora između dvije fiksne kategorije umjesto u prostoru funkcija između dva skupa. Dajemo pregled znakovite poveznice između formulacije dubokog učenja u ovom diplomskom radu i formulacije kategorijskih baza podataka. Nadalje, koristimo navedenu kategorijsku formulaciju kako bi osmislili novu arhitekturu neuronskih mreža kojoj je cilj naučiti umetanje i brisanje objekata iz slike sa neuparenim podacima. Testiranjem te arhitekture na dva skupa podataka dobivamo obećavajuće rezultate.

Abstract (english)

Neural networks have become an increasingly popular tool for solving many real-world problems. They are a general framework for differentiable optimization which includes many other machine learning approaches as special cases. In this thesis we lay out the beginnings of a formal compositional framework for reasoning about a number of components of modern neural network architectures. The language of category theory is used to expand existing work on compositional supervised learning into territories of unsupervised learning and generative models. By translating neural network architectures, datasets, parameter-function map, and a number of other concepts to the categorical setting, we show optimization can be done in the space of functors between two fixed categories, rather than functions between two sets. We outline a striking correspondence between the deep learning formulation in this thesis and that of categorical database systems. Furthermore, we use the category-theoretic framework to come up with a novel neural network architecture whose goal is to learn the task of object insertion and object deletion in images with unpaired data. We test the architecture on two different datasets and obtain promising results.

• Keywords: neuronske mreže; duboko učenje; teorija kategorija
• Keywords (english): neural networks; deep learning; category theory
• Language: english
• URN:NBN: urn:nbn:hr:168:040640
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 18:05:03