Otkrivanje događaja u javno objavljenim podacima

diplomski rad

• Naslov (engleski): Detection of Events in Publicly Available Data
• Autor: Mateo Stakor
• Mentor: Ljiljana Brkić (mentor)
• Član povjerenstva: Ljiljana Brkić (predsjednik povjerenstva)
• Član povjerenstva: Igor Mekterović (član povjerenstva)
• Član povjerenstva: Boris Milašinović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-02-25, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Implementiran je sustav koji otkriva događaje u svijetu na temelju javno dostupnih podataka poput članaka novinarskih portala. Implementirana su dva različita algoritma za međusobnu usporedbu i evaluaciju kvalitete rješenja svakog od njih. Jedan algoritam upotrebljava bazu podataka grafa kako bi grupirao članke koji su slični u događaje. Drugi pak na temelju cjelokupnog sadržaja teksta članka upotrebljavajući TF-IDF način sažimanja teksta u numeričke vrijednost grupira dokumente u događaje. Osim ovih algoritama implementiran je i raspodijeljeni sustav prikupljanja članaka na računalnom oblaku koji je prikupio korpus teksta veličine 2.5 milijuna članaka iz 1000 različitih izvora novinarskih portala.

Sažetak (engleski)

System for detecting events using publicly available data like news articles has been implemented. Two different algorithms have been used and compared to evaluate their results quality. One algorithm uses graph database to cluster together articles that are similar. And other one uses TF-IDF approach of vectorizing documents to numerical values so they could be compared and clustered together into a event. Besides implementation of these two algorithms, distributed crawler has also been implemented. Crawler resides on cloud computers and it gathered text corpus of 2.5 million new articles in size gathered from around 1000 different sources of news portals.

• Ključne riječi: novosti; otkrivanje događaja; grafovska baza podataka; raspodijeljena obrada podataka; crawler; veliki podaci
• Ključne riječi (engleski): news; event detection; graph database; distributed data processing; crawler; big data
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:426009
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 10:44:35