Dubinska analiza podataka u radnom okviru Apache Spark pomoću knjižnice MLib

završni rad

• Naslov (engleski): Data mining in Apache Spark framework using MLib library
• Autor: Lucia Penić
• Mentor: Alan Jović (mentor)
• Član povjerenstva: Alan Jović (predsjednik povjerenstva)
• Član povjerenstva: Nikolina Frid (član povjerenstva)
• Član povjerenstva: Ivan Kovačević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2018-09-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Količina informacija kojima smo okruženi eksponencijalno raste i s njom javlja se potreba za novim rješenjima na području znanosti o podacima. Kao jedno od rješenja, pojavio se Apache Spark, sa svojom izuzetno brzom jezgrom namijenjenoj za obradu velikih skupova podataka. Spark ujedinjuje nekoliko ugrađenih biblioteka koje je moguće međusobno kombinirati unutar jedne aplikacije. Ovaj rad fokusira se na korištenje MLliba, knjižice za strojno učenje, u procesu izvlačenja korisnih informacija iz velike količine podataka. Taj proces objašnjen je detaljno, počevši s uputama za instalaciju Apache Sparka, kratkim osvrtom na osnovne koncepte i naposljetku praktičnim primjerom izgradnje cjevovoda za strojno učenje te vrednovanjem rezultata koristeći MLlib.

Sažetak (engleski)

The amount of digital data that exists is growing at a rapid rate and with it the need for new solutions in the field of data science. As one of the solutions Apache Spark emerged with its lightening fast unified analytics engine for large-scale data processing. It provides several built-in libraries that you can easily combine in the same application. This thesis focuses on the use of MLlib, a machine learning library, in the process of extracting useful knowledge from volumes of data. The process is explained in details, starting with Apache Spark installation guide, an overview of the main concepts and culminating with a practical example of creating a machine learning pipeline and model evaluation via MLlib library.

• Ključne riječi: znanost o podacima; Spark ML; strojno učenje; analiza podataka; obrada podataka; slučajna šuma; DataFrame; RDD; veliki podaci; cjevovod; vrednovanje modela
• Ključne riječi (engleski): Data Science; Spark ML; machine learning; data analysis; data processing; Random Forest algorithm; DataFrame; RDD; Big Data; pipeline; model evaluation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:001437
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 23:47:50