Analiza dnevničkih zapisa raspodijeljenih sustava u stvarnom vremenu

diplomski rad

• Naslov (engleski): Real-Time Log Analysis for Distributed Systems Monitoring
• Autor: Matej Čubek
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Mihaela Vranić (član povjerenstva)
• Član povjerenstva: Luka Humski (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-13, Hrvatska

Sažetak

U radu naslovljenom „Analiza dnevničkih zapisa raspodijeljenih sustava u stvarnom vremenu“ istražene su mogućnosti Apache Kafka platforme i komponenti ELK-a (ElasticSearch, Logstash i Kibana) za obradu i analizu dnevničkih zapisa raspodijeljenih mikro-servisnih aplikacija koje se izvode na Kubernetesu u stvarnom vremenu. Rad koristi OpenAI API za obogaćivanje dnevničkih zapisa s dodatnim kontekstom i informacijama. Implementirani su mehanizmi za stvarno-vremenske notifikacije i agregaciju dnevničkih zapisa koristeći Kafka Streams, što omogućuje pravovremeno otkrivanje i reagiranje na anomalije u sustavu. Korištenjem SaaS aplikacije CloudVane tvrtke Neos kao primjera, pokazano je kako se ove tehnologije mogu primijeniti u nadzoru dnevničkih zapisa u složenim distribuiranim sustavima. Ovaj rad naglašava važnost dnevničkih zapisa za otkrivanje anomalija i nadzor performansi te ulogu Apache Kafka i ELK platforme u tom kontekstu.

Sažetak (engleski)

In the thesis titled „Real-time Log Analysis of Distributed Systems“, the potential of Apache Kafka platform and ELK stack components (ElasticSearch, Logstash, and Kibana) for real-time processing and analysis of distributed microservice applications running on Kubernetes was explored. The study utilizes the OpenAI API for enriching log files with additional context and information. The thesis introduces mechanisms for real-time notifications and log aggregations using Kafka Streams enabling timely detection and response to system anomalies. Using Neos’s SaaS application CloudVane as an example, the study demonstrates how these technologies can be implemented in monitoring log files in complex distributed systems. This work emphasizes the importance of log files for anomaly detection and performance monitoring, as well as the role of Apache Kafka and ELK platforms in this context.

• Ključne riječi: Kubernetes; Apache Kafka; Tokovi Podataka; Dnevnički zapisi; Obrada u stvarnom vremenu; Elastic; ELK; Nadzor aplikacija; Grozd računala; Logstash; Filebeat; ElasticSearch; Kibana; Minikube; Oblak
• Ključne riječi (engleski): Kubernetes; Apache Kafka; Streaming; Real-Time; Logs; Elastic; ELK; Monitoring; Cluster; Logstash; Filebeat; ElasticSearch; Kibana; Minikube; Cloud
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:430016
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 08:38:55