Raspodijeljeni sustav za dostavljanje relevantnih informacija iz tokova podataka

master's thesis

• Title (english): Distributed System For Delivery of Relevant Information From Data Feeds
• Author: Lucija Raženj
• Mentor: Goran Delač (mentor)
• Committee member: Goran Delač (predsjednik povjerenstva)
• Committee member: Marin Šilić (član povjerenstva)
• Committee member: Klemo Vladimir (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2020-09-04, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U ovom radu detaljno je opisano programsko rješenje raspodijeljenog sustava za dostavljanje relevantnih informacija iz tokova podataka u stvarnom vremenu, nazvanog Buzz. Sustav je dizajniran kao skup mikroservisa koji međusobno komuniciraju koristeći Apache Kafku.
Kao izvor podataka, iz kojeg se pronalaze relevantne informacije, korišten je Twitter tok. Podaci preuzeti s Twittera pohranjeni su u Elasticsearch bazu podataka. Sam pristup uslugama koje Buzz nudi ostvaren je preko REST sučelja za programiranje aplikacija. Za korištenje sustava potrebna je registracija korisnika. Informacije o korisnicima spremljeni su u MySQL bazu podataka. Korisnici nakon registracije mogu definirati upite, odnosno ključne riječi i korisničke twitter profile koje žele pratiti. Nakon što na se ta temelju upita pronađu relevantne informacije one su dostupne u takozvanom feedu. Također implementirana ja pokazna WEB aplikacija Buzz koristeći programski jezik Javascript. Aplikacija omogućuje definiranje jednog ili više feedova te prikaz za njega relevantnih podataka. Osim same implementacije sustava te WEB aplikacije opisane su i korištene tehnologije. Navedene su moguće nadogradnje u smislu poboljšanja performansi sustava i implementacije dodatnih funkcionalnosti.

Abstract (english)

This theses throughly explains implementation of a Buzz, a distributed system for delivery of relevant information from data stream. System operates as a group of microservices that communicate through Apache Kafka. Twitter stream is used as a data source from which a user relevant information are obtained. Retrieved data is stored in Elasticsearch database. Buzz communicates with its clients via the REST API. Before using REST API user needs to be authenticated. Information about users are saved in MySQL database. After registration user can create queries, i.e. search terms consisting of phrases and twitter profile identifiers, that are needed for finding relevant information. Once retrieved relevant informations can be found in Buzz feed. In addition demo WEB application Buzz is implemented using JavaScript programming language. Within application user can crate one or more feeds after which relevant informations are displayed. This thesis also explains technologies used to build Buzz system. Finally, direction of further development are provided, including performance upgrade recommendations and ideas for new features.

• Keywords: raspodijeljeni sustavi; tokovi podataka; mikroservisna arhitektura; REST
• Keywords (english): distributed system; data streams; microservice architecture; REST
• Language: croatian
• URN:NBN: urn:nbn:hr:168:295096
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 10:40:30