Otkrivanje anomalija u velikim podacima

diplomski rad

• Naslov (engleski): Anomaly Detection in Big Data
• Autor: Domagoj Šeketa
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Dragan Jevtić (član povjerenstva)
• Član povjerenstva: Siniša Sovilj (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-09-23, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Rad se bavi temom detekcije anomalija u velikim podacima. Opisuje velike podatke, njihova svojstva i probleme u radu s njima. Također opisuje tokove podataka, njihove modele i načine obrade. Opisane su i anomalije u tokovima podataka, kako se dijele, koji su im uzroci i kako se otkrivaju. Opisana je arhitektura implementiranog sustava za detektiranje anomalija u podatkovnim tokovima. Implementirano rješenje koristi nekoliko tehnologija: FastAPI, Kafku, Druid i Sherlock. Sustav je ispravno detektirao anomalije na nekoliko različitih vrsta vremenskih nizova.

Sažetak (engleski)

The paper deals with the topic of anomaly detection in big data. Describes big data, their properties and problems in working with them. The paper also describes data streams, their models and processing methods. Also anomalies in data flows, how they are classified, what their causes are, and how they are detected. The architecture of the implemented system for detecting anomalies in data flows is also described. The implemented solution uses several technologies: FastAPI, Kafka, Druid and Sherlock. Due to technical difficulties, the solution did not fully work.

• Ključne riječi: detekcija anomalija; nepravilnosti podataka; veliki podaci; tokovi podataka; Kafka; Druid; Sherlock
• Ključne riječi (engleski): anomaly detection; dana anomalies; big data; data streams; Kafka; Druid; Sherlock
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:248804
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 10:01:11