Automatsko sustavno pretraživanje web prostora korištenjem Pythona

diplomski rad

• Naslov (engleski): Crawling and Scraping using Python
• Autor: Domagoj Marić
• Mentor: Miljenko Mikuc (mentor)
• Član povjerenstva: Miljenko Mikuc (predsjednik povjerenstva)
• Član povjerenstva: Marin Vuković (član povjerenstva)
• Član povjerenstva: Dragan Jevtić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-09, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Ovaj diplomski rad bavi se temom automatiziranog pretraživanja web prostora i ekstrakcije korisniku korisnog sadržaja iz web stranica. Obrađene su temeljne prakse, potrebna predznanja i demonstrirani napredniji Python alati za izradu programskih rješenja koja ispunjavaju ovu funkcionalnost. Opisane su prednosti i nedostatci svakog obrađenog alata te su dva najprikladnija alata iskorištena za izradu programskog rješenja za jednostavno i sveobuhvatno pretraživanje web stranica registriranih na www.hr, "početnoj stranici Hrvatske".

Sažetak (engleski)

The main subject of this thesis is the automated web browsing and data extraction from the retrieved web sites. These goals are realized by using web crawling and web scraping tools, respectively. In the thesis, I mentioned the main practices of web crawling and web scraping, the basic knowledge prerequisites to start, and demonstrated the four most popular web scraping tools in Python. Considering the main advantages and disadvantages of the tools, I picked two for my main application - a web crawling/scraping application for simple and comprehensive browsing of the web site catalogue on www.hr, the "Croatian Homepage".

• Ključne riječi: automatsko pretraživanje weba; crawling; scraping; beautifulsoup; lxml; scrapy; selenium
• Ključne riječi (engleski): automated browsing; crawling; scraping; beautifulsoup; lxml; scrapy; selenium
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:287728
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 20:02:07