Klasifikacija podataka korištenjem radnog okvira Apache Spark

master's thesis

• Title (english): Data Classification with Apache Spark Framework
• Author: Patrik Mihaljević
• Mentor: Krešimir Pripužić (mentor)
• Committee member: Krešimir Pripužić (predsjednik povjerenstva)
• Committee member: Jurica Babić (član povjerenstva)
• Committee member: Marin Vuković (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U ovom radu dan je pregledan prikaz najpoznatijih implementiranih klasifikacijskih algoritama koje obuhvaća programska knjižica MLlib programskog okvira Apache Spark. Zbog Spark-ovog nedostatka vizualizacije obrade i analize značajki podataka, korištena je programska knjižica Pandas u programskom jeziku Python. Pri konstrukciji skupa značajki koje će biti korištene za treniranje modela, izrađen je i sam konstrukcijski proces također u programskom jeziku Python. Treniranje modela, evaluacija te optimalan odabir klasifikacijskog modela ostvareni su u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Evaluacija i odabir optimalnog klasifikacijskog modela su provedeni na fakultetskom računalnom grozdu na stvarnim podacima proučavanog slučaja.

Abstract (english)

This paper gives an overview of the most popular implementations of classification algorithms provided in Apahce Spark's MLlib library. Due to Spark's lack of capability to visualize processed and analyzed data, the Pandas library was used in Python for that purpose. For constructing a set of features which will be used for fitting a model, the construction process itself was also developed and implemented in Python programming language. Model fitting, evaluation and optimal selection of the classification model are realized in the Scala programming language using Apache Spark Framework which allows distributed performance. The evaluation and the selection of the optimal classification model were executed on a faculty cluster on the real life dataset.

• Keywords: klasifikacijski algoritmi; raspodijeljeni sustav; Apache Spark; MLlib; strojno učenje; logistička regresija; SVM; slučajne šume; naivni Bayesov klasifikator
• Keywords (english): classification algorithms; distributed system; Apache Spark; MLlib; machine learning; logistic regression; SVM; random forrest; naive Bayes
• Language: croatian
• URN:NBN: urn:nbn:hr:168:945099
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 20:23:08