Identificiranje geografskih područja s najvećim poboljšanjem kvalitete zraka korištenjem programskog okvira Apache Spark

završni rad

• Naslov (engleski): Identification of the geographical areas with the greatest improvement in air quality with Apache Spark
• Autor: Bernard Kazazić
• Mentor: Martina Antonić (mentor)
• Član povjerenstva: Martina Antonić (predsjednik povjerenstva)
• Član povjerenstva: Petar Krivić (član povjerenstva)
• Član povjerenstva: Josip Marić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-15, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Cilj ovog rada je napisati program za identifikaciju geografskih područja s najvećim poboljšanjem kvalitete zraka 2020. godine u odnosu na 2019. godinu pomoću programskog okvira Apache Spark. U radu su opisani veliki podaci, raspodijeljeni sustavi i programski okviri Apache Spark i Apache Sedona. Za potrebe određivanja kvalitete zraka korišten je skup podataka Luftdaten. Poboljšanja su gledana samo za njemačke regije i gradove. Program je napisan pomoću programskih okvira Spark SQL-a i Apache Sedona . U okviru rada opisani su dijelovi programa koji su korišteni za dobivanje odgovora na upit zadan u sklopu konferencije DEBS 2021. Program je pokretan na lokalnom računalu s 4 dretve.

Sažetak (engleski)

The goal of this paper is to create a program for the identification of geographical areas with the most significant improvement in air quality in 2020. compared to 2019. using the Apache Spark framework. The paper describes big data, distributed systems, and Apache Spark and Apache Sedona frameworks. Luftdaten data set was used to determine the air quality index (AQI). Only German cities and regions were looked at for improvements. The program was written using Spark SQL and Apache Sedona framework. The paper also describes the parts of the program used to obtain the answer to the query given as a task at the DEBS 2021 conference. The program is run on a local computer with 4 threads.

• Ključne riječi: COVID-19; pandemija; indeks kvalitete zraka; raspodijeljeni sustavi; Apache Spark; Apache Sedona; Spark SQL; GeoJSON
• Ključne riječi (engleski): COVID-19; pandemic; air quality index; distributed systems; Apache Spark; Apache Sedona; Spark SQL; GeoJSON
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:814805
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-15 10:30:32