Personalizirano filtriranje toka s društvene mreže Twitter

završni rad

• Naslov (engleski): Personalized Filtering of the Twitter Stream
• Autor: Lovro Vidović
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Darko Štriga (član povjerenstva)
• Član povjerenstva: Matija Šulc (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2016-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Lucene je jedan od najpoznatijih alata za pretraživanje teksta. Tijekom svog rada koristi dva teorijska modela pretraživanja: čisti Boolean model (engl. Pure Boolean model) i model vektorskog prostora (engl. Vector space model). Rad Lucenea se može podijeliti u dva osnovna dijela: indeksiranje teksta i pretraživanje koristeći stvorene indekse. Indeks je posebna struktura podataka koja omogućuje brzo pretraživanje tekstualnog sadržaja dokumenata. Prije samog procesa indeksiranja potrebno je obaviti analizu tekstualnog sadržaja dokumenta. Proces analize je postupak razdvajanja teksta na posebne jedinice, tokene. Svaki token predstavlja pojedinačnu riječ teksta. Uz tekst riječi koju predstavlja, token još sadrži i početak i kraj pozicije riječi u dokumentu (engl. offsets) te poziciju riječi u dokumentu. Prilikom pretraživanja računa se koeficijent sličnosti između upita kojeg čine unesene ključne riječi i tekstualnog sadržaja dokumenata. Kao rezultat procesa pretraživanja dobivaju se oni dokumenti koji su najsličniji ključnim riječima upita.
Razvijena aplikacija omogućava personalizirano filtriranje toka s društvene mreže Twitter, određivanje onih javnih poruka koje su najsličnije korisnikovom unosu koristeći Javinu programsku knjižnicu Apache Lucene te isporuku filtriranih javnih poruka u korisnikov sandučić elektroničke pošte. Program se poziva periodički.

Sažetak (engleski)

Lucene is one of the most famous tools for text searching. During its work, Lucene uses two theoretical models of searching: Pure Boolean model and Vector space model. Lucene's work can be divided into two primary parts: text indexing and searching text using created indexes. Index is a special data structure which enables fast search of document's textual content. Before indexing process starts, document's textual content must go through analysis process. Analysis process is a special procedure of dividing text to special units i.e. tokens. Every token represents one single text's word. Along with a word it represents, every token contains char number where word starts and char number where the word ends in document (offset).It also contains position of the word in a document. During the searching process, similarity coefficient of query and document on which the search process is applied is calculated. Documents which are the most similar to the key words of the query are given as the search result.
Developed application enables personalized stream filtering from social network Twitter, determination of tweets which have the biggest similarity to the user's key words using search engine library Apache Lucene and delivering e-mail (electronic mail) to the user. Program is running periodically.

• Ključne riječi: Lucene; Twitter; tweet; token; indeksiranje; pretraživanje teksta; Luke; aplikacija za pretraživanje; koeficijent sličnosti; Java
• Ključne riječi (engleski): Lucene; Twitter; tweet; token; indexing; text searching; Luke; search application; similarity coefficient; Java
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:890766
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2018-02-06 14:19:03