Primjena programskog modela MapReduce za obradu podataka iz područja prometa

undergraduate thesis

• Title (english): An application of the MapReduce programming model for processing of transport data
• Author: Ilir Murati
• Mentor: Ivana Podnar Žarko (mentor)
• Committee member: Ivana Podnar Žarko (predsjednik povjerenstva)
• Committee member: Damjan Katušić (član povjerenstva)
• Committee member: Martina Marjanović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2017-06-26, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U ovome radu pokazao sam jedan od primjera implementacije MapReduce programa u Hadoop okolini, koji služi za obradu velikih skupova podataka. MapReduce programi obrađuju podatke iz područja prometa, konkretno podatke taksi vozila sa područja New Yorka. Glavne funkcije u programima su funkcije Map i Reduce. Funkcija Map se poziva nad svakim dijelom ulaznih podataka i proizvodi međurezultat u obliku ključ/vrijednost. Funkcija Reduce obrađuje sve vrijednosti povezane s istim ključem kako bi se dobio konačan rezultat obrade. Algoritmi su pokretani i obrađeni unutar razvojne okoline Hadoop. Algoritmi su implementirali u programskom jeziku Java te je analizirano njihovo vrijeme izvođenja.

Abstract (english)

In this thesis I have shown one of the examples of the MapReduce program implementation in the Hadoop environment that is used for Big Data analysis. My MapReduce programs analyze traffic data, specifically, data gathered from taxis from the area of New York City. Main functions in programs are functions Map and Reduce. Function Map is invoked on every part of input data and gives result in the form of key/value. Function Reduce analyses all values associated with the same key in order to get the final result. Algorithms are run and processed within the Hadoop development environment. Algorithms are implemented in the Java programming language and their processing time is analyzed.

• Keywords: veliki podatci; promet; taksi vozila; obrada podataka
• Keywords (english): Big Data; traffic; taxis; data processing
• Language: croatian
• URN:NBN: urn:nbn:hr:168:864828
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 23:18:45