Raspodijeljeni sustav za preporučivanje na platformi Apache Spark

diplomski rad

• Naslov (engleski): A Distributed Recommender System on Apache Spark
• Autor: Filip Popić
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Dragan Jevtić (član povjerenstva)
• Član povjerenstva: Marin Vuković (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2017-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu izrađen je raspodijeljeni sustav za preporučivanje. Algoritam preporučivanja temeljen je na suradnji korisnika i korištenju matrice sličnosti objekata preporučivanja. Za izračun matrice sličnosti, podržano je nekoliko različitih mjera sličnosti, koje na temelju ulaznih statistika o korisničkim konzumacijama, računaju sličnost za sve parove objekata. Pri izračunu matrice sličnosti, omogućen je postupak normiranja redaka matrice sličnosti. Za izračun korisničkih preporuka, podržane su tri različite tehnike matričnog množenja u raspodijeljenoj okolini. Postupak predobrade podataka ostvaren je u programskom jeziku C++, dok su sve funkcionalnosti preporučitelja ostvarene u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Testiranje i evaluacija performanci implementiranog algoritma preporučivanja obavljeni su na računalnom grozdu, korištenjem stvarnih podataka iz odabranog studijskog slučaja.

Sažetak (engleski)

The result of this thesis is a distributed recommender system based on the item-item collaborative filtering. The recommendation algorithm builds an item-item similarity matrix based on the collaboratively collected data on user-item interactions, for all users in the system. The recommendation algorithm supports several similarity measures including a vector normalisation of rows in the matrix. Moreover, the recommendation algorithm supports three different distributed matrix multiplication algorithms. The entire recommender system source code is written in Scala programming language based on Apache Spark. However, the data pre-processing scripts are written in C++ programming language executed in a single-node environment. The tests and performance evaluation of the implemented algorithm were executed on a Cloudera cluster using real dataset obtained from the particular case study.

• Ključne riječi: sustavi za preporučivanje; raspodijeljena obrada; suradno filtriranje; mjere sličnosti; Scala; Apache Spark; MLlib; Breeze; rijetke matrične strukture; matrično množenje
• Ključne riječi (engleski): recommender systems; distributed computing; collaborative filtering; similarity measures; Scala; Apache Spark; MLlib; Breeze; sparse matrix representations; matrix multiplication
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:601260
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-14 00:07:09