Primjena programskog modela MapReduce za obradu podataka iz područja prometa

završni rad

• Naslov (engleski): An application of the MapReduce programming model for processing of transport data
• Autor: Ilir Murati
• Mentor: Ivana Podnar Žarko (mentor)
• Član povjerenstva: Ivana Podnar Žarko (predsjednik povjerenstva)
• Član povjerenstva: Damjan Katušić (član povjerenstva)
• Član povjerenstva: Martina Marjanović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2017-06-26, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovome radu pokazao sam jedan od primjera implementacije MapReduce programa u Hadoop okolini, koji služi za obradu velikih skupova podataka. MapReduce programi obrađuju podatke iz područja prometa, konkretno podatke taksi vozila sa područja New Yorka. Glavne funkcije u programima su funkcije Map i Reduce. Funkcija Map se poziva nad svakim dijelom ulaznih podataka i proizvodi međurezultat u obliku ključ/vrijednost. Funkcija Reduce obrađuje sve vrijednosti povezane s istim ključem kako bi se dobio konačan rezultat obrade. Algoritmi su pokretani i obrađeni unutar razvojne okoline Hadoop. Algoritmi su implementirali u programskom jeziku Java te je analizirano njihovo vrijeme izvođenja.

Sažetak (engleski)

In this thesis I have shown one of the examples of the MapReduce program implementation in the Hadoop environment that is used for Big Data analysis. My MapReduce programs analyze traffic data, specifically, data gathered from taxis from the area of New York City. Main functions in programs are functions Map and Reduce. Function Map is invoked on every part of input data and gives result in the form of key/value. Function Reduce analyses all values associated with the same key in order to get the final result. Algorithms are run and processed within the Hadoop development environment. Algorithms are implemented in the Java programming language and their processing time is analyzed.

• Ključne riječi: veliki podatci; promet; taksi vozila; obrada podataka
• Ključne riječi (engleski): Big Data; traffic; taxis; data processing
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:864828
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 23:18:45