Tehnologije za prikupljanje, obradu i analizu velikih skupova podataka

diplomski rad

• Naslov (engleski): Technologies for collecting, processing and analyzing large data sets
• Autor: Nika Požar
• Mentor: Boris Milašinović (mentor)
• Član povjerenstva: Vedran Mornar (predsjednik povjerenstva)
• Član povjerenstva: Igor Mekterović (član povjerenstva)
• Član povjerenstva: Nikica Hlupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-07, Hrvatska

Sažetak

Kao jedna od modernih problematika je rad s velikim skupovima podataka. Ovaj rad upoznaje čitatelja s tom problematikom te iznosi tehnološka rješenja koja su se razvila za rad s tokom velikih skupova podataka. Detaljnije se opisuje primjer toka podataka od Spotify API-ja čiji se podaci povlače pomoću Apache Kafka tehnologije, preko Azure oblaka i transformacija pomoću Apache Sparka i Apache Iceberga do Microsoft Power BI alata za vizualizaciju. Koristeći primjer, objašnjavaju se prednosti i mane modernih tehnologija i naglašava važnost rada s velikim skupovima podataka.

Sažetak (engleski)

One of the modern issues is working with large data sets. This paper introduces the reader with this problem and presents technological solutions that have been developed for working with the flow of large data sets. It presents a detailed example of a data flow from the Spotify API whose data is pulled using Apache Kafka technology, through the Azure cloud and transformed using Apache Spark and Apache Iceberg to the Microsoft Power BI visualization tool. Using an example, the advantages and disadvantages of modern technologies are explained and the importance of working with large data sets is emphasized.

• Ključne riječi: veliki skupovi podataka; dohvaćanje podataka; transformacija podataka; vizualizacija podataka; Spotify API; Apache Kafka; Azure Blob Storage; Apache Spark; Apache Iceberg; Microsoft Power BI
• Ključne riječi (engleski): big data sets; data retrieval; data transformation; data visualization; Spotify API; Apache Kafka; Azure Blob Storage; Apache Spark; Apache Iceberg; Microsoft Power BI
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:184918
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-07-13 10:29:49