Skladištenje i obrada podataka s misija autonomnih ronilica

diplomski rad

• Naslov (engleski): Storage and processing of autonomous underwater vehicles' mission data
• Autor: Tomislav Barišić
• Mentor: Zoran Vukić (mentor)
• Član povjerenstva: Zoran Vukić (predsjednik povjerenstva)
• Član povjerenstva: Zdenko Kovačić (član povjerenstva)
• Član povjerenstva: Željko Ban (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2015-02-25, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Autonomne ronilice i oprema koju ronioci koriste tokom misija generiraju velike količine podataka. Većina tih podataka u obliku log datoteka završi spremljena u nekom obliku i pročitana jednom ili niti jednom više. Cilj ovog rada je upravo tim podacima dati novi vrijednost i jedno organizirano mjesto za pohranu istih. Ti podaci spremaju se prema specifičnom protokolu DL7, za koji se daje algoritamsko rješenje parsiranja podataka u čitljive strukture podataka, kojima je lako upravljati i analizirati ih. Kroz rad se analiziraju dostupne tehnologije i trenutni trendovi u upravljanu s velikom količinom ne strukturiranih podataka. Analiziraju se prednosti korištenja usluga u oblaku i zakupa opreme u odnosu na tradicionalno kupovanje i održavanje iste. Provjerava se koncept korištenja ne strukturiranih tzv. NoSQL sustava za pohranu podataka, te njihove karakteristike i performanse u odnosu na tradicionalne relacijske baze podataka. Podacima se daje nova vrijednost upotrebom Hadoop sustava i analizom podataka po MapReduce principu. Kao rezultat rada predložen je dizajn izrade skladišta podataka te je isto uspješno izrađeno i testirano kako bi se provjerili svi zaključci doneseni kroz rad.

Sažetak (engleski)

Autonomous underwater vessels and equipment that divers carry on their missions generate a large amounts of data. Most of that data is stored somewhere, read once or never after that. Goal of this thesis is to offer optimal solution for storing and managing this type of data and to offer analysis solution that will give it a new value and purpose. Data generated on these devices is stored in log files structured by DL7 data files protocol. As a part of theses, algorithmic solution for converting files to readable and easier to manage shape is provided and implemented. Advantages between cloud services and equipment rent against buying own equipment are analyzed in details. Also thesis analyses advantages of using new data management systems as NoSQL databases against traditional relational databases for storing and managing data. Additional value is added to data by implementing Hadoop analyses system and using MapReduce programming model. As a result of thesis suggested design of data warehouse is implemented and tested to prove are the conclusions given during analysis correct or wrong in real world systems.

• Ključne riječi: DL7; skladište podataka; REST; Apache Hadoop; Analiza podataka; računalstvo u oblaku; NoSQL; dokumentne baze podataka; web servis; log datoteke; MapReduce
• Ključne riječi (engleski): DL7; data warehouses; cloud computing; RESTM Apache Hadoop; Cloud computing; Azure; NoSQL; document databases; data analyse; MapReduce; log files analyse
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:062760
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-13 18:52:59