Analiza tokova podataka u Big Data okruženju

diplomski rad

• Naslov (engleski): Data Stream Analysis in Big Data Environments
• Autor: Jelena Borotić
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Zoran Skočir (član povjerenstva)
• Član povjerenstva: Boris Vrdoljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2017-07-06, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Cilj ovoga rada bio je istražiti postojeće tehnologije za obradu tokova podataka, s naglaskom na Apache Spark Streaming. Na početku rada opisane su tehnologije koje su od najvećeg značaja za ovaj rad, Apcahe Spark i Apache Kafka. U sklopu Sparka opisan je Spark Streaming koji je bio glavna tema ovog rada. Nakon toga opisane su neke specifikacije grozda računala na kojemu je ovaj diplomski rađen. Spark Streaming isproban je problemu detekcije anomalija, a na početku praktičnog dijela prvo je dana teorijska pozadina vezana za anomalije, a nakon toga je opisan i postupak rješavanja problema. Na kraju je dana usporedba Apache Storma sa Spark Streamingom.

Sažetak (engleski)

The main goal of this thesis was to explore current streaming technologies with main focus on Apache Spark Streaming. At the beginning are describen main technologies used in this thesis. After that are given specifications of cluster used in this thesis. For practical part is chosen anomaly detection problem. At the beginning of practical part are explained anomalies and why are they usefull, and afterwards is describen problem solution. At the end are compared Apache Storm and Apache Spark Streaming.

• Ključne riječi: Apache Spark; Tokovi podataka; Apache Kafka; Anomalije; Apache Storm
• Ključne riječi (engleski): Apache Spark; Data streams; Apache Kafka; +; Anomalies; Apache Storm
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:845944
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 19:12:59