Algoritmi održavanja sumarnih tablica i materijaliziranih pogleda u skladištima podataka

scientific master's theses

• Author: Tomislav Delaš
• Mentor: Mirta Baranović (mentor)
• Committee member: Damir Kalpić (predsjednik povjerenstva)
• Committee member: Mirta Baranović (član povjerenstva)
• Committee member: Mladen Varga (član povjerenstva)
• Committee member: Vedran Mornar (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Applied Mathematics); Zagreb
• Defense date and country: 2004, Croatia
• Scientific / art field, discipline and subdiscipline: NATURAL SCIENCES; Mathematics
• Universal decimal classification (UDC): 51 - Mathematics

Abstract

Osvježavanje sumarnih tablica i materijaliziranih pogleda unutar skladišta podataka predstavlja opsežnu tematiku prvenstveno zbog raznolikosti perspektiva i dimenzija iz kojih se mogu promatrati skladišta podataka i u njima definiranih sumarnih objekata. Zbog toga je razvijeno niz algoritama koji se mogu primjenjivati za osvježavanje skladišta podataka. Ovaj rad sistematski analizira različite metode i algoritme za osvježavanje skladišta podataka. Prvo se analiziraju algoritmi za inkrementalno trenutno osvježavanje materijaliziranih pogleda, koji osiguravaju trenutnu konzistentnost i sinkroniziranost stanja skladišta sa izvornim podacima, ali predstavljaju značajno opterećenje na produkcijske aplikacije, koje u sklopu svog redovnog funkcioniranja moraju uključiti i osvježavanje skladišta. Zatim se analiziraju algoritmi za inkrementalno periodičko (npr. dnevno, tjedno, mjesečno) osvježavanje skladišta, koji prikupljene promjene nad izvornim podacima implementiraju nad stanjem skladišta periodički, sa zadrškom. Time se dozvoljava da stanje skladišta ne bude sinkronizirano sa stanjem izvornih podataka, ali u sustavima za podršku poslovnom odlučivanju i statističkim izvještajima u pravilu nije potrebno imati najsvježije stanje skladišta. Treću skupinu algoritama obuhvaćaju algoritmi održavanja skladišta koji za vrijeme izvršavanja svojih transakcija održavanja omogućuju istovremene korisničke upite prema skladištu podataka. To je posebno korisno u primjenama skladišta gdje ne postoji rezervirano vrijeme samo za transakcije održavanja, već konzistentno skladište mora biti dostupno korisnicima za upite 24 sata dnevno. Zatim se posebno analiziraju skladišta podataka koja sadrže materijalizirane poglede koji se mogu samoodržavati, tj. računati svoje novo stanje korištenjem postojećeg stanja i promjena nad izvornim podacima, bez pristupanja izvornim podacima. U svom drugom dijelu, ovaj rad opisuje praktičnu implementaciju i verifikaciju algoritama na jednom produkcijskom modelu skladišta podataka, uz preporuke za korištenje određenih algoritama ovisno o željenom načinu osvježavanja skladišta i tipu definiranih materijaliziranih pogleda unutar skladišta.

Abstract (english)

Maintenance of aggregate tables and materialized views inside data warehouses is a large and highlighted subject, primarily due to difference of perspectives and approaches of viewing at data warehouses and their summarized objects. Therefore has been developed a series of algorithms that can be applied to refresh data warehouses. This work systematically analyzes different methods and algorithms for data warehouse maintenance. The algorithms for incremental immediate refresh of materialized views have been first analyzed, which ensure current consistency and synchronization of warehouse content with source data, but incur serious burden on production application systems, which in line of their standard functionality must include warehouse maintenance too. After that are laid out algorithms for incremental periodical (daily, weekly, monthly...) warehouse refreshing, which periodically apply collected changes on source data to warehouses. This way is tolerated the fact that the warehouse state is not up to date and synchronized with source data state, but in business decision support systems and statistical reports the fresh data warehouse content is often not required. Third category of warehouse maintenance algorithms encompasses those, which during executing of their maintenance transactions enable concurrent user queries against data warehouse. This is specially applicable to warehouse implementations where there is no reserved time only for maintenance transactions, but consistent contents of data warehouse must be available to user queries 24 hours a day. Then are separately analyzed data warehouses consisting materialized views which are selfmaintanable: they can do selfmaintainance by means only of their current contents and changes of source data, with no need to access to the source data. In its second part, this work describes practical implementation and verification of algorithms on a production model of data warehouse, with usage recommendation of particular algorithms according to the preffered way of warehouse maintenance and the type of defined materialized views inside data warehouses.

• Keywords: skladište podataka; neposredno održavanje; periodičko održavanje; osvježavanje; materijalizirani pogledi; tablica promjena; algoritam; činjenična tablica; dimenzijske tablice; samoodržavanje.
• Keywords (english): data warehouse; immediate maintenance; periodical maintenance; refreshing; materialized views; change table; algorithm; fact table; dimension tables; selfmaintenance
• Language: croatian
• URN:NBN: urn:nbn:hr:168:167209
• Study programme: Title: Postgraduate master programme in electrical engineering; Study programme type: university; Study level: postgraduate; Academic / professional title: Magistar znanosti elektrotehnike (Magistar znanosti elektrotehnike)
• Catalog URL: https://lib.fer.hr:8443/cgi-bin/koha/catalogue/detail.pl?biblionumber=29260&searchid=scs_1571388218187
• Type of resource: Text
• Extent: 119 str. ; 30 cm
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-10-18 08:51:48