Dubinska analiza podataka u radnom okviru Apache Spark pomoću knjižnice MLib

undergraduate thesis

• Title (english): Data mining in Apache Spark framework using MLib library
• Author: Lucia Penić
• Mentor: Alan Jović (mentor)
• Committee member: Alan Jović (predsjednik povjerenstva)
• Committee member: Nikolina Frid (član povjerenstva)
• Committee member: Ivan Kovačević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2018-09-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Količina informacija kojima smo okruženi eksponencijalno raste i s njom javlja se potreba za novim rješenjima na području znanosti o podacima. Kao jedno od rješenja, pojavio se Apache Spark, sa svojom izuzetno brzom jezgrom namijenjenoj za obradu velikih skupova podataka. Spark ujedinjuje nekoliko ugrađenih biblioteka koje je moguće međusobno kombinirati unutar jedne aplikacije. Ovaj rad fokusira se na korištenje MLliba, knjižice za strojno učenje, u procesu izvlačenja korisnih informacija iz velike količine podataka. Taj proces objašnjen je detaljno, počevši s uputama za instalaciju Apache Sparka, kratkim osvrtom na osnovne koncepte i naposljetku praktičnim primjerom izgradnje cjevovoda za strojno učenje te vrednovanjem rezultata koristeći MLlib.

Abstract (english)

The amount of digital data that exists is growing at a rapid rate and with it the need for new solutions in the field of data science. As one of the solutions Apache Spark emerged with its lightening fast unified analytics engine for large-scale data processing. It provides several built-in libraries that you can easily combine in the same application. This thesis focuses on the use of MLlib, a machine learning library, in the process of extracting useful knowledge from volumes of data. The process is explained in details, starting with Apache Spark installation guide, an overview of the main concepts and culminating with a practical example of creating a machine learning pipeline and model evaluation via MLlib library.

• Keywords: znanost o podacima; Spark ML; strojno učenje; analiza podataka; obrada podataka; slučajna šuma; DataFrame; RDD; veliki podaci; cjevovod; vrednovanje modela
• Keywords (english): Data Science; Spark ML; machine learning; data analysis; data processing; Random Forest algorithm; DataFrame; RDD; Big Data; pipeline; model evaluation
• Language: croatian
• URN:NBN: urn:nbn:hr:168:001437
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 23:47:50