Usporedba različitih inačica platforme Apache Spark

završni rad

• Naslov (engleski): A Comparison of Different Apache Spark Versions
• Autor: Filip Herceg
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Darko Štriga (član povjerenstva)
• Član povjerenstva: Denis Salopek (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu opisani su osnovi koncepti platforme Apache Spark, komponente platforme Apache Spark (Spark Core, Spark Streaming, Spark SQL, Spark MLlib, Spark GraphX), mogućnosti pokretanja aplikacije te upravljanja resursima. Objašnjene su temeljne strukture podataka platforme Apache Spark. Napravljena je usporedba inačica 1 i 2 te su razlike prikazane na primjerima.

Sažetak (engleski)

This paper describes basic concepts of Apache Spark platform, components of Apache Spark platform (Spark Core, Spark Streaming, Spark SQL, Spark MLlib, Spark GraphX), possibilities of running a Spark application and possibilites of resource management, defines fundamental data structures of Apache Spark platform. Finally this paper shows a comparison of versions 1 and 2 which are also show in the examples.

• Ključne riječi: Apache Spark; Spark SQL; MLlib; Spark Streaming; Spark Structured Streaming; GraphX; Scala; Upravljač; Izvršitelj; RDD; Dataset; DataFrame; raspodijeljena obrada podataka; transformacije; akcije; Akumulator; Hadoop YARN; Mesos; Raspodijeljena obrada u oblaku
• Ključne riječi (engleski): Apache Spark; Spark SQL MLlib; Spark Streaming; Spark Structured Streaming; GraphX; Scala; Driver; Executor; RDD; Dataset; DataFrame; distributed computing; transformations; actions; Accumulator; Hadoop YARN; Mesos; Distributed cloud computing
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:184819
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 18:25:02