Prijenos umjetničkog stila optimiranjem konvolucijskog modela

undergraduate thesis

• Title (english): Artistic style transfer by training a convolutional model
• Author: Lucija Ivković
• Mentor: Siniša Šegvić (mentor)
• Committee member: Siniša Šegvić (predsjednik povjerenstva)
• Committee member: Petra Bevandić (član povjerenstva)
• Committee member: Ivan Krešo (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2017-07-10, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Rad obuhvaća dva temeljna pristupa za razvoj modela teksture i sintezu teksture na slici. Prvi pristup razvija neparametrizirani model teksture i oslanja se na preoblikovanje piksela ili skupine piksela ulaznog predloška teksture u svrhu generiranja novog, većeg primjerka. U poglavlju 2.1 ovog rada, opisana su dva algoritma bazirana na ovom pristupu. Drugi pristup sintezi teksture je nešto složeniji pošto se temelji na eksplicitnom parametriziranom modelu koji se sastoji od preciznih matematičkih reprezentacija određenih statističkih značajki. Veći dio rada usmjeren je prema ovom pristupu i detaljno obrađuje algoritam koji koristi konvolucijsku neuronsku mrežu kao model teksture. Za evaluaciju rezultata algoritma kao predlošci teksture, tj. stila odabrane su umjetničke slike poznatih svjetskih slikara, a zadatak algoritma je prenijeti stil s umjetničke slike na digitalnu fotografiju tako da objekti koje fotografija sadrži ostanu prepoznatljivi, ali da se stil u kojem su prikazani promjeni po uzorku na umjetničku sliku. Provedena je analiza rezultata uz različite vrijednosti parametara konvolucijske mreže. Uz izvorni kod algoritma u Pythonu i TensorFlowu priložene su i završne slike analize algoritma.

Abstract (english)

This work presents two main approaches for building a texture model used for texture synthesis. The first approach is based on non-parametrized model and it relies on bare pixel resampling of an input image. Chapter 2.1 has a description of two algorithms based on this approach. The second approach is somewhat more advanced since it is based on an explicit parametrized model composed of detailed mathematical represetations of certain statistical features. Most of this work deals with the algorithm that uses deep convolutional neural network as a texture model. Results of this algorithm have been evaluated by utilizing paintings by various artists as texture samples. The main task is to trasfer the texture (that is, style) from the artwork onto the digital photograph. While the objects shown on the photograph should be preserved, the style in which they are displayed should alter to resemble the artwork. The experimental part analyses the results of this algorithm with different variations of the convolutional model and the implementation itself. The work is accompanied with the source code in Python and TensorFlow and the obtained images.

• Keywords: računalni vid; konvolucijska neuronska mreža; TensorFlow; Python; sinteza teksture; numerička optimizacija; prijenos stila
• Keywords (english): computer vision; convolutional neural network; TensorFlow; Python; texture synthesis; numerical optimization; style transfer
• Language: croatian
• URN:NBN: urn:nbn:hr:168:871162
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 21:03:42