Prognoza vremenskih serija korištenjem radnog okvira Apache Spark

master's thesis

• Title (english): Time Series Forecasting with Apache Spark Framework
• Author: Dario Bošnjak
• Mentor: Krešimir Pripužić (mentor)
• Committee member: Krešimir Pripužić (predsjednik povjerenstva)
• Committee member: Marin Vuković (član povjerenstva)
• Committee member: Jurica Babić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Prognoziranje vremenske serije omogućuje uvid u budućnost promatranog procesa. Za uspješno prognoziranje najprije je potrebno provesti analizu vremenske serije koja obuhvaća dekompoziciju, statistička testiranja na stacionarnost te prikaz funkcija (parcijalne) autokorelacije. Prognoziranje je moguće raditi pomoću klasičnih statističkih metoda kao što su modeli AR, MA, ARIMA, eksponencijalno zaglađivanje i vektorska autoregresija. Uz klasične statističke metode moguće je koristiti i metode strojnog učenja, preciznije regresijske algoritme kao što su linearna regresija, model linearne regresije, slučajne šume i gradijentno ojačana stabla. Radni okvir Apache Spark za raspodijeljenu obradu i izračunavanja posjeduje funkcionalnosti pogodne za rad s vremenskim serijama te kroz knjižnicu za strojno učenje nudi navedene algoritme strojnog učenja s mogućnosti finog podešavanja postavljanjem hiperparametara. Studijski slučaj prognoziranja dnevne proizvodnje mlijeka pokazao je da su metode strojnog učenja ostvarene pomoću radnog okvira Apache Spark dale bolje rezultate od klasičnih statističkih metoda za prva tri koraka prognoziranja. Također se pokazalo da su meta-algoritmi ansambala dali bolje rezultate od linearne regresije.

Abstract (english)

Time series forecasting gives insights into the future behavior of the observed process. In order to make accurate forecasts, it is necessary to utilize time series decomposition, stationarity tests and to plot the (partial) autocorrelation function. Classical time series forecasting methods like AR, MA, ARIMA, exponential smoothing, and vector autoregression are widely used for time series forecasting. Besides classical methods, it is possible to use machine learning methods like linear regression, random forest, and gradient tree boosting. Apache Spark cluster-computing framework offers functionalities suitable for processing time series data and rich machine learning library. The library contains implementations of mentioned machine learning algorithms with the possibility of fine-tuning hyperparameters. Daily milk yield forecasting case study showed that machine learning methods implemented in Apache Spark produced better results than classical methods for the three-day-ahead forecast. The case study also showed that ensemble methods produced better results than linear regression algorithm.

• Keywords: vremenska serija; analiza vremenske serije; prognoziranje vremenske serije; Apache Spark; strojno učenje
• Keywords (english): Time series; Time series analysis; Time series forecasting; Apache Spark; Machine learning
• Language: croatian
• URN:NBN: urn:nbn:hr:168:794093
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 16:55:48