Obrada podataka tehnologijom Apache Spark

završni rad

• Naslov (engleski): Data Processing Using Apache Spark
• Autor: Martin Matak
• Mentor: Marko Čupić (mentor)
• Član povjerenstva: Marko Čupić (predsjednik povjerenstva)
• Član povjerenstva: Martin Tutek (član povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2016-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu opisano je kako koristiti tehnologiju Apache Spark. Objašnjeno je
koji su glavni elementi te tehnologije i čemu pojedini element služi. Napisano je i
nekoliko primjera gdje se vidi kako se tehnologija koristi kroz programski jezik Java.
Detaljno je opisan algoritam PageRank radi boljeg pojašnjenja programskog sučelja
koje ova tehnologija nudi. Uveden je pojam dijeljenih varijabli i objašnjeno je kako
pravilno postavljati vrijednosti takvih varijabli na grozdu.

Sažetak (engleski)

In this bachelor thesis it is described how to use technology Apache Spark. It is
explained of which main elements Spark consists and what the purpose of each element
is. Several examples are provided which illustrate how to utilize this technology
through Java programming language. In order to illustrate and explain provided application
programming interface better, the PageRank algorithm is discussed and implemented
using Spark through Java. Shared variables are introduced and it is explained
how to use them properly on cluster.

• Ključne riječi: Apache Spark; otporni raspodijeljeni skup podataka; transformacije; akcije; akumulatori; odašiljatelji
• Ključne riječi (engleski): Apache Spark; Resilient distributed dataset; transformations; actions; accumulators; broadcast variables
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:101333
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2018-02-06 10:32:09