Integracija platformi velikih podataka sa tradicionalnim sustavima za podatkovnu analizu

završni rad

• Naslov (engleski): Integrating Big Data Platforms with Traditional Data Analysis Systems
• Autor: Josip Domazet
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Luka Humski (član povjerenstva)
• Član povjerenstva: Frano Škopljanac-Mačina (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Obrada velikih podataka zahtijeva korištenje posebnih platformi koje omogućavaju
paraleliziranu i raspodijeljenu obradu velikih podataka. Spark je danas jedna od
vodećih platformi za velike podatke. R je vodeći programski jezik za statistiku i
eksploratornu analizu podataka uz ograničenje da tradicionalno radi s podacima koji su
učitani u radnu memoriju. R i Spark se mogu integrirati u moćan radni okvir za analizu
velikih podataka i izradu prediktivnih modela uz pomoć paketa sparklyr. Osnovna ideja
korištenja R-a kao sučelja prema Sparku je da se sva računanja obavljaju u Spark
grozdu, dok R prima rezultate od Sparka.

Sažetak (engleski)

Processing big data requires specialized platforms for parallel and distributed
computing. Spark is today one of the most important big data platforms. R is the leading
programming language for statistics and exploratory data analysis, but its limitation is
that it traditionally works with data loaded into RAM. R and Spark can be integrated into
a powerful framework for big data analysis and predictive modelling with the help of R
package sparklyr. The basic idea of using R as an interface to the Spark is to let Spark
cluster handle all computational jobs, while R session collects results from Spark.

• Ključne riječi: R; Spark; sparklyr; veliki podaci; podatkovna znanost; strojno učenje; eksploratorna analiza; prediktivno modeliranje
• Ključne riječi (engleski): R; Spark; sparklyr; big data; data science; machine learning; exploratory analysis; predictive modelling
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:844232
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 17:37:39