Filtriranje geoprostornog toka podataka korištenjem platforme Apache Flink

diplomski rad

• Naslov (engleski): Filtering of Geospatial Data Streams using Apache Flink Platform
• Autor: Andrea Perica
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Damir Pintar (član povjerenstva)
• Član povjerenstva: Jurica Babić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Geoprostorni podaci složeni su podaci koji uz ostale svoje parametre sadrže i geografsku komponentu. Modeliraju se geometrijskim oblicima točke, linije i poligona, kao i složenijim strukturama za opisivanje reljefnih površina. Njihova je obrada složena te je potrebno koristiti posebne strukture za bolju organizaciju velike količine ove vrste podataka. Uz dobru organizaciju, bitno je i brzo izvođenje operacija te raspodjela poslova. Razvijeno je rješenje za filtriranje geoprostornog toka podataka i temelji se na platformi Apache Flink koja omogućuje raspodijeljenu obradu ograničenih i neograničenih tokova podataka. Sustav pohranjuje pretplate u obliku poligona, a objave, točke, dolaze u sustav u obliku toka podataka. Cilj je ubrzati pronalazak pretplata koje trebaju primiti obavijest o nekoj objavi. Rješenje je korišteno i za provedbu istraživanja u kojem se uspoređuju vremena obrade prilikom organizacije podataka u različite geoprostorne strukture.

Sažetak (engleski)

Geospatial data is a composite type of data which contains geospatial component, along with other parameters. It is modeled with different geometry shapes, such as point, line and polygon, as well as with some more complex structures for terrain modelling. It is recommended to organize this type of data in special structures to achieve better processing time. For even better performance, some of known big data processing platforms may be used. In this thesis, an application for filtering geospatial streams has been developed based on Apache Flink, a platform for bounded and unbounded stream process. The system stores subscriptions in the shape of polygons, and the publications are brought to the system as a data stream. Publications are points, in geospatial data context. The goal is to determine which subscriptions need to receive a notification about newly arrived publication in the shortest possible time. Finally, a research was conducted using developed solution, in which the processing time was measured when using different data organizing structures.

• Ključne riječi: geoprostorni podaci; geoprostorni indeks; Apache Flink; tok podataka; stanje; pretplate; objave; razdjeljivanje prostora
• Ključne riječi (engleski): geospatial data; spatial index; Apache Flink; data stream; state; subscriptions; publications; partitioning
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:515647
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 21:13:59