Skriptni radni okvir za ekstrakciju, transformaciju i učitavanja podataka

diplomski rad

• Naslov (engleski): Script-oriented framework for data extraction, transformation and loading
• Autor: Luka Lazanja
• Mentor: Igor Mekterović (mentor)
• Član povjerenstva: Igor Mekterović (predsjednik povjerenstva)
• Član povjerenstva: Boris Milašinović (član povjerenstva)
• Član povjerenstva: Ljiljana Brkić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-10, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Proces ekstrakcije, transformacije i učitavanja podataka često se koristi kod izrade skladišta podataka. Većina postojećih alata bazira se na grafičkom sučelju, što nije pogodno za programere, zbog čega se predlaže korištenje skriptnih alata u izvršnom okruženju Node.js. U radu je napravljen pregled postojećih skriptnih alata te predstavljen skriptni radni okvir koji na jednostavan i efikasan način odrađuje integraciju. Okvir nudi razne mogućnosti, poput korištenja toka podataka, paralelnog izvođenja zadataka, vođenja dnevnika i generiranja algoritma toka izvođenja. Također, opisan je i algoritam za vremenski ograničenu detekciju razlika dvaju relacija velike kardinalnosti i ukomponiran u algoritam. Okvir je testiran na raznim primjerima koji su dostupni u izvornom kodu, od kojih je jedan stvaranje skladišta podataka iz poznate baze NorthWind.

Sažetak (engleski)

Data extraction, transformation and loading process is often used in data warehouse creation. Most of the existing tools are based on graphical user interface, which is not very suitable for programmers. For that reason, this thesis suggests using script framework in runtime environment Node.js. Overview of most popular scripting tools has been made and another simplified and effective solution has been presented. Moreover, algorithm for time constrained detection of differences between two large relations has been studied and incorporated in the project. The framework has been tested on many examples, which are available in the source code, one of which includes creation of data warehouse from popular database NorthWind.

• Ključne riječi: alat; tokovi podataka; upravljački programi; baze podataka; algoritam
• Ključne riječi (engleski): tool; data streams; drivers; databases; algorithm
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:774056
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 10:17:58