Upotreba tehnologija za raspodijeljenu obradu velikih količina podataka u knjigovodstvu

diplomski rad

• Naslov (engleski): Using Big Data Computing Technologies for Bookkeeping
• Autor: Filip Pažanin
• Mentor: Alan Jović (mentor)
• Član povjerenstva: Alan Jović (predsjednik povjerenstva)
• Član povjerenstva: Ante Đerek (član povjerenstva)
• Član povjerenstva: Željka Mihajlović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-06, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U tvrtki APIS IT zadatak je bilo smanjiti vrijeme potrebno za knjigovodstvenu obradu podataka. Podatci su bili veličine nekoliko gigabajta te se obrada trebala prevesti na paralelnu paradigmu i zatim pokrenuti na računalnom grozdu. Grozd je imao resurse nekolicine osrednjih stolnih računala. Proučavanjem tehnologija velikih količina podataka kao što su HDFS, YARN, Spark i Parquet zadatak je uspješno izvršen te se upotrebom niti polovice resursa dostupnog računalnog grozda smanjilo vrijeme obrade za 5 puta. U radu su opisane sve gore navedene tehnologije te su detaljno prikazani rezultati ispitivanja raznih konfiguracija obrade podataka na računalnom grozdu. Neke od konfiguracija odabrane su kao optimalne, a taj je izbor obrazložen u radu.

Sažetak (engleski)

At APIS IT, the task was to reduce the time required for bookkeeping data processing. The data was a few gigabytes in size, so processing had to be translated to a parallel paradigm and then run on a computer cluster. The cluster had the resources of a few average desktop computers. By studying big data technologies such as HDFS, YARN, Spark and Parquet, the task was completed successfully. The solution included threading of half the resources of the available computer cluster, which reduced the processing time 5 times. The paper describes all the above technologies and presents in detail the results of various data processing configurations testing on the computer cluster. Some of the configurations were chosen as optimal and the choice was explained.

• Ključne riječi: veliki podaci; knjigovodstvo; računalni grozd; Hadoop; YARN; Spark; Parquet; testiranje performansi; paralelizacija
• Ključne riječi (engleski): big data; bookkeeping; computer cluster; Hadoop; YARN; Spark; Parquet; performance testing; parallelization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:566872
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 15:50:17