Vektorska reprezentacija teksta

završni rad

• Naslov (engleski): Vectorial text representation
• Autor: Fran Mesić
• Mentor: Mario Bukal (mentor)
• Član povjerenstva: Mario Bukal (predsjednik povjerenstva)
• Član povjerenstva: Domagoj Vlah (član povjerenstva)
• Član povjerenstva: Josip Žubrinić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-02-06, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu prikazana je hijerarhija četiriju modela vektorizacije teksta. BoW (engl. Bag of words) model sastoji se od najjednostavnijeg prebrojavanja broja pojavljivanja pojedine riječi u tekstu. Njegova primjena je najčešće u klasifikaciji dokumenata.
„Bag of n-grams“ model proširuje BoW model tako što uzima više riječi odjednom i time
dobiva kontekst, ali pod cijenu veće dimenzionalnosti.
TF-IDF (engl. Term-Frequency Inverse-Document-Frequency) model unaprjeđuje BoW
model tako što skalira broj pojavljivanja te uzima u obzir i broj dokumenata u kojima se
pojam nalazi. Najčešća primjena je u području povrata informacija.
Konačno, BE25 model proširuje TF-IDF model tako što za relevantnost uzima u obzir i odnose duljina tekstova te optimizira neke od jednadžbi TF-IDF-a.

Sažetak (engleski)

In this thesis, a hierarchy of four text vectorization models is presented. The BoW (Bag of words) model consists of the simplest counting of the number of occurrences of a single word in a text. Its application is most often in the classification of documents.
The "Bag of n-grams" model extends the BoW model by taking multiple words at once, thus getting the context, but at the expense of higher dimensionality.
TF-IDF (Term-Frequency Inverse-Document-Frequency) model improves BoW
model by scaling the number of occurrences and taking into account the number of documents in which the word appears. The most common application is in the area of information retrieval.
Finally, the BE25 model extends the TF-IDF model by taking into account text length relationships and optimizing some of the TF-IDF equations.

• Ključne riječi: Vektori; Filtriranje riječi; Označavanje dijelova govora; Lematiziranje; Povrat informacija; Klasifikacija dokumenata; Vrećica riječi; Frekvencija termina Inverzna dokumentna frekvencija
• Ključne riječi (engleski): Vectors; Word filtering; Marking parts of speech; Lematization; Information retreival; Classification of documents; Bag of words; Term Frequency Inverse document frequency
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:783062
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 09:48:23