Pokretanje radnog okvira TensorFlow na platformi Apache Spark

diplomski rad

• Naslov (engleski): Running TensorFlow on Apache Spark
• Autor: Filip Herceg
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Martina Antonić (član povjerenstva)
• Član povjerenstva: Pavle Skočir (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Rad opisuje što je to radni okvir TensorFlow i različite mogućnosti pokretanja aplikacija napisanih u radnom okviru TensorFlow. Rad opisuje što su to neuronske mreže i kako se treniraju pomoću radnog okvira TensorFlow. Opisana je i važnost predobrade podataka kako bi rezultati strojnog učenja bili što uspješniji te preporuke kako obraditi različite tipove podataka. U radu je opisana platforma Apache Spark i načini pokretanja platforme Apache Spark kao i aplikacija napisanih za platformu Apache Spark.
Rad također opisuje kako pokrenuti aplikacije napisane u radnom okviru TensorFlow na platformi Apache Spark koristeći radni okvir TensorFlowOnSpark kako bi se postiglo raspodijeljeno treniranje modela strojnog učenja i uspoređuje uspješnost i vrijeme treniranja modela u odnosu na centralizirano treniranje korištenjem jednog procesora i korištenjem jedne grafičke kartice. Na kraju rada su opisana moguća poboljšanja pokretanja radnog okvira TensorFlow na platformi Apache Spark.

Sažetak (engleski)

The thesis describes what is TensorFlow framework and ways of running TensorFlow applications, describes neural networks and how to train them using TensorFlow framework, the importance of data preprocessing and how to preprocess different types of data, what is Apache Spark platform and different ways of running the platform and it’s applications.
Thesis also describes how to run TensorFlow applications on the Apache Spark platform using TensorFlowOnSpark framework to achieve distributed machine learning and compares training success and time of distributed machine learning against centralised learning using CPU and GPU learning.
At the end thesis describes a couple of possible improvements for better distributed machine learning.

• Ključne riječi: radni okvir TensorFlow; platforma Apache Spark; raspodijeljeno strojno učenje; radni okvir TensorFlowOnSpark; neuronske mreže; LSTM model; predobrada podataka; Apache Kafka; Apache Hadoop
• Ključne riječi (engleski): TensorFlow framework; Apache Spark platform; distributed machine learning; TensorFlowOnSpark framework; neural networks; LSTM model; data preprocessing; Apache Kafka; Apache Hadoop
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:031869
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 15:04:19