Otkrivanje događaja u javno objavljenim podacima

master's thesis

• Title (english): Detection of Events in Publicly Available Data
• Author: Mateo Stakor
• Mentor: Ljiljana Brkić (mentor)
• Committee member: Ljiljana Brkić (predsjednik povjerenstva)
• Committee member: Igor Mekterović (član povjerenstva)
• Committee member: Boris Milašinović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2021-02-25, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Implementiran je sustav koji otkriva događaje u svijetu na temelju javno dostupnih podataka poput članaka novinarskih portala. Implementirana su dva različita algoritma za međusobnu usporedbu i evaluaciju kvalitete rješenja svakog od njih. Jedan algoritam upotrebljava bazu podataka grafa kako bi grupirao članke koji su slični u događaje. Drugi pak na temelju cjelokupnog sadržaja teksta članka upotrebljavajući TF-IDF način sažimanja teksta u numeričke vrijednost grupira dokumente u događaje. Osim ovih algoritama implementiran je i raspodijeljeni sustav prikupljanja članaka na računalnom oblaku koji je prikupio korpus teksta veličine 2.5 milijuna članaka iz 1000 različitih izvora novinarskih portala.

Abstract (english)

System for detecting events using publicly available data like news articles has been implemented. Two different algorithms have been used and compared to evaluate their results quality. One algorithm uses graph database to cluster together articles that are similar. And other one uses TF-IDF approach of vectorizing documents to numerical values so they could be compared and clustered together into a event. Besides implementation of these two algorithms, distributed crawler has also been implemented. Crawler resides on cloud computers and it gathered text corpus of 2.5 million new articles in size gathered from around 1000 different sources of news portals.

• Keywords: novosti; otkrivanje događaja; grafovska baza podataka; raspodijeljena obrada podataka; crawler; veliki podaci
• Keywords (english): news; event detection; graph database; distributed data processing; crawler; big data
• Language: croatian
• URN:NBN: urn:nbn:hr:168:426009
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 10:44:35