Obrada velikih podataka korištenjem grafičkih procesora na platformi Apache Spark

diplomski rad

• Naslov (engleski): Big Data Processing using Graphical Processors on Apache Spark
• Autor: Darija Lukić
• Mentor: Krešimir Pripužić (mentor)
• Član povjerenstva: Krešimir Pripužić (predsjednik povjerenstva)
• Član povjerenstva: Marin Vuković (član povjerenstva)
• Član povjerenstva: Dragan Jevtić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Apache Spark je programski okvir za obradu velikih skupova podataka koji obradu može obavljati na jednom ili više računala. Nudi razvojne API-je za nekoliko programskih jezika od kojih je u studijskom slučaju ovog rada korištena Java. Programske naredbe iz dostupnih razvojnih API-ja izvršavaju se na procesorskoj jedinici - procesoru. Procesor je dizajniran za brzo rješavanje širokog raspona zadataka, ali je ograničen u istodobnosti zadataka koji se mogu izvoditi. Masivnu istodobnost izvršavanja zadataka nudi grafička procesorska jedinica - grafički procesor. Tvrtka NVIDIA razvila je akcelerator RAPIDS namijenjen za grafičke procesore proizvođača NVIDIA. Uključivanjem akceleratora u Sparkove programe koji koriste DataFrame API, određene programske naredbe iz tog API-ja, za koje je podrška razvijena, prebacuju svoje izvođenje s procesora na grafički procesor. Time se paralelizira i ubrzava obrada podataka. U ovom radu je teorijski opisana platforma Apache Spark i akcelerator RAPIDS, a njihova uporaba prikazana je u studijskom slučaju koji obrađuje podatke iz izvora podataka koji je Apache Kafka tema.

Sažetak (engleski)

Apache Spark is a software framework for processing large data sets that can be processed on one or more computers. It provides high-level APIs for several programming languages, of which Java was used in the case study of this paper. Program commands from available development APIs are executed on the central processing unit - processor. Processor is designed to quickly solve a wide range of tasks, but is limited in the concurrency of tasks that can be performed. Massive simultaneity of task execution is offered by a graphics processing unit - a graphics processor. NVIDIA has developed the RAPIDS accelerator for NVIDIA graphics processors. By including accelerator in programs that use the Spark DataFrame API, certain program commands from that API, for which support has been developed, switch their performance from CPU to GPU. This parallelizes and speeds up data processing. This paper theoretically describes the Apache Spark platform and the RAPIDS accelerator, and their use is presented in a case study that processes data from a data source that is an Apache Kafka topic.

• Ključne riječi: Apache Spark; centralna procesorska jedinica; grafička procesorska jedinica; RAPIDS akcelerator; Apache Kafka
• Ključne riječi (engleski): Apache Spark; central processing unit; graphics processing unit; RAPIDS accelerator; Apache Kafka
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:367169
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-14 09:19:32