Biblioteka za dohvat novinskog članka s portala i pridruženih komentara na društvenim mrežama

diplomski rad

• Naslov (engleski): Library for downloading news article on portals and associated comments on social networks
• Autor: Šimun Matešić
• Mentor: Stjepan Groš (mentor)
• Član povjerenstva: Stjepan Groš (predsjednik povjerenstva)
• Član povjerenstva: Marin Golub (član povjerenstva)
• Član povjerenstva: Leonardo Jelenković (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2021-07-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U sklopu ovog rada otkriven je unutarnji način rada nekolicine sustava za komentiranje na webu te je na osnovu tih saznanja implementiran sustav za dohvat članaka i njihovih komentara. Krajnji cilj rada je stvoriti web scraping sustav s elementima web pauka koji ispunjava svoju svrhu, a da je lako nadogradiv, robusan te lak za održavati. Odnosno, potrebno je osigurati da je implementacija provedena u skladu s dobrim praksama programskog inženjerstva. Kako bi se moglo reći da sustav ispunjava svoju svrhu, mora moći samostalno preuzimati članke i komentare u odnosu na definirana ograničenja te održavati rad bez obzira na vanjske promjene sustava komentiranja na webu. U radu je prikazan postupak reverznog inženjerstva sustava komentiranja, arhitektura razvijanog sustava te implementacijski detalji bitni za razumijevanje najvećih problema koje je ovaj rad riješio.

Sažetak (engleski)

This paper serves to explain the inner-workings of comment systems used on the web, and based upon that theoretical background goes through the process of building a system which retrieves articles and associated comments from news sites. The end goal of this paper is to build an easily-upgradeable, robust and easy-to-maintain web scraping and crawling system which fulfills its purpose. In other words, good practices must be enforced during the whole implementation life-cycle. The criteria which tells us if the system has fulfilled it's purpose is when it can automatically download news articles and comments and keep working regardless of outside changes of comment systems it relies on. The paper contains the reverse engineering process required to build a base of knowledge of comment systems, the architecture of the built system, and most importantly the implementation details which are needed to fully understand the problems this paper solved.

• Ključne riječi: reverzno inženjerstvo; web pauk; web scraper; programsko inženjerstvo; dobre prakse
• Ključne riječi (engleski): reverse engineering; web crawler; web scraper; software engineering; bestpractices
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:633776
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 13:03:42