Procjena performansi usluge Netflix na osnovu analize kriptiranog prometa uporabom metoda strojnog učenja

master's thesis

• Title (english): A Machine Learning Approach for Performance Estimation of Netflix Video Streaming Based on the Analysis of Encrypted Network Traffic
• Author: Marko Jurković
• Mentor: Lea Skorin-Kapov (mentor)
• Committee member: Lea Skorin-Kapov (predsjednik povjerenstva)
• Committee member: Ognjen Dobrijević (član povjerenstva)
• Committee member: Mirko Sužnjević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2018-07-06, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Electrical Engineering

Abstract

Cilj ovoga rada bila je analiza mogućnosti procjene performansi videa platforme
Netflix gledanih na pametnom telefonu pokretanom Android operacijskim sustavom,
na temelju podataka dostupnih u šifriranom mrežnom prometu, koristeći algoritme
strojnog učenja. Konkretno, gledani Netflix video zapisi klasificirani su u tri klase,
ovisno o trajanju njihovog početnog kašnjenja. U tom smislu postavljeno je laboratorijsko okruženje za izgradnju skupa podataka za strojno učenje, tj. klasifikaciju. Izrađene su snimke ekrana pametnog telefona tijekom gledanja Netflix video zapisa koristeći aplikaciju za snimanje ekrana. Ukupno je izrađeno 300 snimki ekrana. Te snimke su zatim analizirane te su stvorene zapisničke datoteke s informacijama o trajanjima početnih kašnjenja pojedinih video zapisa. Na temelju zapisničkih datoteka provedena je analiza
početnih kašnjenja. Nadalje, proveden je pokušaj dobivanja dodatnih informacija s
aplikacijske razine, primarno informacije o razinama kvalitete gledanih video zapisa.
Pokušaj se pokazao neuspješnim. Konačno, koristeći pomoćne skripte, generiran
je završni skup značajki za algoritme strojnog učenja, i to za svaki gledani video.
Konačni skup podataka činilo je 298 instanci. Za klasifikaciju se koristio Weka radni
okvir za strojno učenje. Stvoreni su klasifikacijski modeli koristeći ukupno sedam
klasifikacijskih algoritama. Za svaki pojedini model stvoren je podskup značajki.
Rezultati klasifikacije pokazali su kako se klasa početnog kašnjenja videa usluge
Netflix može relativno precizno predvidjeti. Primjerice, jednostavan algoritam OneR
točno je klasificirao 71.9% instanci, dok je složeniji algoritam Bagging točno
klasificirao 73.5% instanci. S obzirom na to da konačni skup podataka nije uključivao
podatke o kvaliteti gledanih video zapisa, budući rad na ovu temu mogao bi se
fokusirati na razvoj metode za dobivanje te informacije s aplikacijske razine.
Nadalje, tijekom istraživanja u sklopu ovog rada nije uočena niti jedna pojava
događaja zastajkivanja, pa bi se u budućem radu mogli pokušati izazvati ti događaji.

Abstract (english)

The goal of this thesis was to analyze the ability to predict performance of Netflix
video streaming on an Android smartphone device, based on data available from
encrypted network traffic, using machine learning algorithms. Specifically, each
Netflix video viewed in a streaming session was classified into three classes based
on duration of initial delay of that video. To that end, a laboratory environment was set up to build a machine learning dataset to be used for classification. Screen recordings of Netflix playback sessions were made using a screen recording application on the smartphone. A total of 300 recordings were made. The recordings were then used to generate logs containing the information about durations of initial delay events. Based on the resulting logs, an analysis of initial delay durations was performed. Furthermore, an attempt was made to devise a method for extracting additional application level information from the Netflix network traffic, specifically information about the quality of each streamed video. The attempt turned out to be unsuccessful. Finally, a number of scripts were used to generate the final set of features for each streamed video, to be used in classification. The final machine learning dataset included 298 instances. Weka machine learning framework was used to perform classification. Models were built using seven different classification algorithms. For each model, a subset of features was
selected. The results of the classification show that the initial delay class can be
predicted relatively accurately. A simple OneR algorithm correctly classified 71.9%
of instances, while a complex Bagging algorithm correctly classified 73.5% of
instances. Because the dataset did not include information about video quality, future work could focus on devising a method to extract that information. Furthermore, no
stalling events were encountered during the research for this thesis, so future work
could also attempt to trigger those events.

• Keywords: Netflix; video strujanje; strojno učenje; klasifikacija; iskustvena kvaliteta
• Keywords (english): Netflix; video streaming; machine learning; classification; Quality of Experience
• Language: english
• URN:NBN: urn:nbn:hr:168:151812
• Study programme: Title: Information and Communication Technology; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 21:23:10