Paralelno dohvaćanje web-stranica koristeći programski jezik Java

undergraduate thesis

• Title (english): Parallel Web Spider Implementation Using the Java Programming Language
• Author: Pavao Blažević
• Mentor: Klemo Vladimir (mentor)
• Committee member: Klemo Vladimir (predsjednik povjerenstva)
• Committee member: Adrian Satja Kurdija (član povjerenstva)
• Committee member: Lucija Šikić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-09-17, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Ovaj završni rad opisuje razvoj Web pauk aplikacija sa primjenom utvrđivanja veza između portala na temelju poveznica koje se mogu pronaći u HTML dokumentima koje primamo na upućeni zahtjev. Pri izradi ovog rada korišten je programski jezik Java u razvojnoj okolini NetBeans, kao temeljni jezik za funkcionalnosti cijelokupne aplikacije uz metode parallelStream i korištenjem razreda klase Thread za paralelno izvođenje aplikacije u usporedbi sa sekvencijskim izvođenjem, korišteni si alati iz knjižnice Jsoup za rad i upravljanje nad dohvaćenim HTML dokumentima, korišteni su alati Neo4j za izradu grafičke baze podataka i u konačnici za vizualizaciju rezultata izvođenog programa korišten je alat Neo4j Desktop.

Abstract (english)

This Bachelor thesis describes development of Web spide application which is applied for identifying relations between Web portals on basis of links that can be found in HTML document which we fetch as a result of our request. In making of this thesis as a base Java programming language was used in NetBeans developing enviournment for functionality of application with methods parallelStream i use of Thread class for parallelism in comparison with sequental running of application. As additional tools we used Jsoup library which provides methods for extracting and manipulating data within HTML document, we also used Neo4j tools for creating graphic data base and finally for visualising final result we used Neo4j Desktop.

• Keywords: Web pauk; Paralelizam; Neo4j; grafička baza podataka; višedretvenost
• Keywords (english): Web Spyder; Pallelism; Neo4j; Graphic Data Base; Multithreading
• Language: croatian
• URN:NBN: urn:nbn:hr:168:248991
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 16:50:17