Personalizirano filtriranje toka s društvene mreže Twitter

undergraduate thesis

• Title (english): Personalized Filtering of the Twitter Stream
• Author: Lovro Vidović
• Mentor: Krešimir Pripužić (mentor)
• Committee member: Krešimir Pripužić (predsjednik povjerenstva)
• Committee member: Darko Štriga (član povjerenstva)
• Committee member: Matija Šulc (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2016-07-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Lucene je jedan od najpoznatijih alata za pretraživanje teksta. Tijekom svog rada koristi dva teorijska modela pretraživanja: čisti Boolean model (engl. Pure Boolean model) i model vektorskog prostora (engl. Vector space model). Rad Lucenea se može podijeliti u dva osnovna dijela: indeksiranje teksta i pretraživanje koristeći stvorene indekse. Indeks je posebna struktura podataka koja omogućuje brzo pretraživanje tekstualnog sadržaja dokumenata. Prije samog procesa indeksiranja potrebno je obaviti analizu tekstualnog sadržaja dokumenta. Proces analize je postupak razdvajanja teksta na posebne jedinice, tokene. Svaki token predstavlja pojedinačnu riječ teksta. Uz tekst riječi koju predstavlja, token još sadrži i početak i kraj pozicije riječi u dokumentu (engl. offsets) te poziciju riječi u dokumentu. Prilikom pretraživanja računa se koeficijent sličnosti između upita kojeg čine unesene ključne riječi i tekstualnog sadržaja dokumenata. Kao rezultat procesa pretraživanja dobivaju se oni dokumenti koji su najsličniji ključnim riječima upita.
Razvijena aplikacija omogućava personalizirano filtriranje toka s društvene mreže Twitter, određivanje onih javnih poruka koje su najsličnije korisnikovom unosu koristeći Javinu programsku knjižnicu Apache Lucene te isporuku filtriranih javnih poruka u korisnikov sandučić elektroničke pošte. Program se poziva periodički.

Abstract (english)

Lucene is one of the most famous tools for text searching. During its work, Lucene uses two theoretical models of searching: Pure Boolean model and Vector space model. Lucene's work can be divided into two primary parts: text indexing and searching text using created indexes. Index is a special data structure which enables fast search of document's textual content. Before indexing process starts, document's textual content must go through analysis process. Analysis process is a special procedure of dividing text to special units i.e. tokens. Every token represents one single text's word. Along with a word it represents, every token contains char number where word starts and char number where the word ends in document (offset).It also contains position of the word in a document. During the searching process, similarity coefficient of query and document on which the search process is applied is calculated. Documents which are the most similar to the key words of the query are given as the search result.
Developed application enables personalized stream filtering from social network Twitter, determination of tweets which have the biggest similarity to the user's key words using search engine library Apache Lucene and delivering e-mail (electronic mail) to the user. Program is running periodically.

• Keywords: Lucene; Twitter; tweet; token; indeksiranje; pretraživanje teksta; Luke; aplikacija za pretraživanje; koeficijent sličnosti; Java
• Keywords (english): Lucene; Twitter; tweet; token; indexing; text searching; Luke; search application; similarity coefficient; Java
• Language: croatian
• URN:NBN: urn:nbn:hr:168:890766
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2018-02-06 14:19:03