Eksploratorna i dubinska analiza u okruženju Velikih podataka

diplomski rad

• Naslov (engleski): Exploratory and Data Mining Analysis in Big Data Environment
• Autor: Tin Ivan Križ
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Luka Humski (član povjerenstva)
• Član povjerenstva: Boris Vrdoljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-07, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Kako raste ukupna količina podataka u svijetu svake godine, tako i analiza podataka postaje sve zahtjevniji zadatak.
Ovaj rad prolazi kroz uobičajeni tijek eksploratorne analize i rudarenja velikih podataka u raspodijeljenom okruženju za obradu podataka.
Točnije, predstavljena je analiza napojnica u taksi vožnjama u New York City-u od siječnja 2009. do lipnja 2016. godine korištenjem programskog jezika R i platforme Apache Spark.
Iako je istraženo dvadeset sedam značajki i trenirana tri modela, istraživanje pokazuje da je predviđanje napojnica u taksi vožnjama težak zadatak i da su napojnice najviše motivirane društvenim pritiskom.

Sažetak (engleski)

As global datasphere is growing faster every year, data analysis is becoming an increasingly challenging task.
This paper goes through a big data exploratory analysis and data mining workflow using a distributed data processing environment.
Specifically, it presents an analysis of tips in New York City's taxi rides from January 2009 to June 2016 using the R programming language and the Apache Spark platform.
Although twenty-seven features have been explored and three different models have been trained, the research shows that predicting tips in taxi rides is a difficult task and that tipping is mostly motivated by social pressure.

• Ključne riječi: Apache Spark; R; veliki podaci; sparklyr; eksploratorna analiza podataka; rudarenje podataka; sustav napojnica; taksi vožnje
• Ključne riječi (engleski): Apache Spark; R; big data; sparklyr; exploratory data analysis; data mining; tipping system; taxi rides
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:748590
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:46:56