Otkrivanje nepravilnosti u raspodijeljenom sustavu za obradu tokova podataka

završni rad

• Naslov (engleski): Anomaly Detection in Distributed Data Stream Processing System
• Autor: Sergej Jakovljev
• Mentor: Dejan Škvorc (mentor)
• Član povjerenstva: Dejan Škvorc (predsjednik povjerenstva)
• Član povjerenstva: Anita Gribl (član povjerenstva)
• Član povjerenstva: Mladen Karan (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Uz napredak tehnologije sve ve´ca je zastupljenost raspodijeljenih sustava. Oni
nude bolja radna svojstva i nadogradivost od klasicˇnih, ali uvode složenost i med¯uovisnost
servisa. Za neometan rad je kljuˇcno osigurati ranu detekciju nepravilnosti u
radu. Jedan od naˇcina na koji je to mogu´ce ostvariti je slojevitom arhitekturom baziranom
na toku podataka. U ovom završnom radu je korišten sustav Apache Kafka
kao tok podataka, za prikupljanje i oboga´civanje podataka te analizu u realnom vremenu
pomo´cu sustava Confluent KSQL. Ovakav pristup detekciji nepravilnosti nudi
fleksibilnost i otvorenost za nadogradnju kakvu je teško ostvariti s drugim sustavima.

Sažetak (engleski)

As technology is progressing the presence of distributed systems is ever growing.
It is not surprising given they offer better performance and scalability than monolithic
systems. However, they increase the complexity and interdependence of the services.
Therefore to ensure uninterrupted availability it is of utmost importance to ensure early
anomaly detection. One of the ways to do it is using the layered architecture based on
a message stream. This thesis uses the Apache Kafka platform to collect and enrich
the log data which is then queried in real-time using Confluent KSQL engine. This
approach offers the flexibility and upgradeability that is hard to achieve using more
traditional methods.

• Ključne riječi: otkrivanje nepravilnosti; raspodijeljeni sustavi; Apache Kafka; Confluent KSQL; tok podataka; tok poruka
• Ključne riječi (engleski): anomaly detection; distributed systems; Apache Kafka; Confluent KSQL; data stream; message stream
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:630114
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 18:35:21