Raspodijeljeni sustav za preporučivanje na platformi Apache Spark

master's thesis

• Title (english): A Distributed Recommender System on Apache Spark
• Author: Filip Popić
• Mentor: Krešimir Pripužić (mentor)
• Committee member: Krešimir Pripužić (predsjednik povjerenstva)
• Committee member: Dragan Jevtić (član povjerenstva)
• Committee member: Marin Vuković (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2017-07-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U ovom radu izrađen je raspodijeljeni sustav za preporučivanje. Algoritam preporučivanja temeljen je na suradnji korisnika i korištenju matrice sličnosti objekata preporučivanja. Za izračun matrice sličnosti, podržano je nekoliko različitih mjera sličnosti, koje na temelju ulaznih statistika o korisničkim konzumacijama, računaju sličnost za sve parove objekata. Pri izračunu matrice sličnosti, omogućen je postupak normiranja redaka matrice sličnosti. Za izračun korisničkih preporuka, podržane su tri različite tehnike matričnog množenja u raspodijeljenoj okolini. Postupak predobrade podataka ostvaren je u programskom jeziku C++, dok su sve funkcionalnosti preporučitelja ostvarene u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Testiranje i evaluacija performanci implementiranog algoritma preporučivanja obavljeni su na računalnom grozdu, korištenjem stvarnih podataka iz odabranog studijskog slučaja.

Abstract (english)

The result of this thesis is a distributed recommender system based on the item-item collaborative filtering. The recommendation algorithm builds an item-item similarity matrix based on the collaboratively collected data on user-item interactions, for all users in the system. The recommendation algorithm supports several similarity measures including a vector normalisation of rows in the matrix. Moreover, the recommendation algorithm supports three different distributed matrix multiplication algorithms. The entire recommender system source code is written in Scala programming language based on Apache Spark. However, the data pre-processing scripts are written in C++ programming language executed in a single-node environment. The tests and performance evaluation of the implemented algorithm were executed on a Cloudera cluster using real dataset obtained from the particular case study.

• Keywords: sustavi za preporučivanje; raspodijeljena obrada; suradno filtriranje; mjere sličnosti; Scala; Apache Spark; MLlib; Breeze; rijetke matrične strukture; matrično množenje
• Keywords (english): recommender systems; distributed computing; collaborative filtering; similarity measures; Scala; Apache Spark; MLlib; Breeze; sparse matrix representations; matrix multiplication
• Language: croatian
• URN:NBN: urn:nbn:hr:168:601260
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-14 00:07:09