Pretraživanje hrvatskog leksičkog n-gramskog sustava na Hadoop platformi

završni rad

• Naslov (engleski): Searching Croatian lexical n-gram system on Hadoop platform
• Autor: Petar Marić
• Mentor: Mirko Randić (mentor)
• Član povjerenstva: Šandor Dembitz (predsjednik povjerenstva)
• Član povjerenstva: Bruno Blašković (član povjerenstva)
• Član povjerenstva: Mirko Randić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2014-07-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Velike količine podataka zahtijevaju veće brzine obrade podataka, a jedno računalo ne može izvršavati takav posao u prihvatljivom vremenu. Radi toga je paralelna obrada podataka sve više u uporabi, a jedan od tih modela obrade podataka implementiran je u platformi Hadoop.
Platforma Hadoop sastoji se od nekoliko komponenti pri čemu svaka obavlja neki posao kao što je mapiranje blokova unutar Hadoop-ovog distribuiranog datotečnog sustava, raspodjela resursa po računalima unutar klastera, upravljanje pokrenutim aplikacijama, itd.
Kako hrvatski jezik ima veliku količinu riječi, zadatak - pronalaženje digrama i trigrama unutar velikih količina podataka, moguće je riješiti upotrebom Hadoop platforme što je vidljivo iz rezultata mjerenja prikazanih u ovom radu.

Sažetak (engleski)

Large amounts of data require greater processing speed, and a computer can not perform such work in eligible time. Therefore the parallel processing increasingly in use, and one of these models of data processing is implemented in Hadoop platform.
Hadoop platform consists of several components whereby each performs a job such as mapping of blocks within Hadoop's distributed file system, the allocation of resources by the computers in the cluster, manage running applications, etc.
As Croatian language has a large amount of words, task - finding digrams and trigrams within large amounts of data, it is possible to solve using the Hadoop platform which is evident from results of the measurements presented in this work.

• Ključne riječi: Hadoop; MapReduce; YARN; Mapper; Reducer; Java; Hrvatski leksički n-gramski sustav; Digrami
• Ključne riječi (engleski): Hadoop; MapReduce; YARN; Mapper; Reducer; Java; Croatian lexical n-gram system; Digram
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:121849
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2018-02-05 17:43:04