Obrada podataka u programskom okviru Apache Spark

završni rad

• Naslov (engleski): Data Processing Using Apache Spark
• Autor: Niko Krvavica
• Mentor: Vladimir Čeperić (mentor)
• Član povjerenstva: Vladimir Čeperić (predsjednik povjerenstva)
• Član povjerenstva: Alma Traživuk (član povjerenstva)
• Član povjerenstva: Vlatko Galić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-09-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U prvom dijelu ovog rada prikazana je arhitektura programskog okvira Apache Spark-a, dok je u drugom dijelu prikazana obrada skupa podataka i korištenje klasifikacijskih i regresijskih algoritama koji se nalaze unutar Spark-ove knjižice MLlib. Cijeli postupak obrade, treniranja i evaluacije modela napisan je u programskom jeziku Python. Za prikaz korištenja klasifikacijskih algoritama korišteni su naivni Bayesov klasifikator i klasifikator stabla odluke dok su za prikaz korištenja regresijskih algoritama korišteni algoritam linearne regresije, algoritam GBT i algoritam slučajne šume.

Sažetak (engleski)

In this paper, the first part explains the architecture of the Apache Spark framework, while the second part presents the processing of the data set and the use of classification and regression algorithms found within Spark's MLlib. The entire implementation of model processing, training and evaluation is written in the Python programming language. A naive Bayesian classifier and a decision tree classifier were used to illustrate the use of classification algorithms, while a linear regression algorithm, a GBT algorithm, and a random forest algorithm were used to illustrate the use of regression algorithms.

• Ključne riječi: Apache Spark; regresijski algoritmi; klasifikacijski algoritmi; naivni Bayes; linearna regresija; algoritam stabla odluke; algoritam slučajne šume; GBT
• Ključne riječi (engleski): Apache Spark; regression algorithms; classification algorithms; naive Bayes; linear regression; decision tree algorithm; random forest algorithm; GBT
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:121974
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 20:54:05