Procjena performansi usluge YouTube na osnovu analize kriptiranog prometa i dostave sadržaja putem protokola QUIC

diplomski rad

• Naslov (engleski): YouTube Performance Estimation Based on the Analysis of Encrypted Network Traffic and Content Delivery Using the QUIC Protocol
• Autor: Illona Popić
• Mentor: Lea Skorin-Kapov (mentor)
• Član povjerenstva: Lea Skorin-Kapov (predsjednik povjerenstva)
• Član povjerenstva: Ognjen Dobrijević (član povjerenstva)
• Član povjerenstva: Mirko Sužnjević (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2017-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika

Sažetak

Ovaj rad bavio se istraživanjem performansi YouTube-a kada se sadržaj dostavlja putem nedavno objavljenog protokola QUIC u nativnoj YouTube Android aplikaciji. Da bi se to postiglo, korišten je prethodno razvijen sustav YouQ koji je dorađen tako da je moguće birati između reprodukcije videa u internetskom pregledniku i u YouTube aplikaciji za Android. Ove opcije služe kako bi se njihovo ponašanje moglo usporediti, što je bilo u žarištu prvog dijela rada.

Rezultati usporedbe pokazali su da se QUIC ponaša bolje nego TCP (korišten u pregledniku) kada su uvjeti u mreži dovoljni da bi se videi prikazivali u najvećoj dostupnoj kvaliteti. YouTube se oslanja na prilagodljivo strujanje putem protokola HTTP, što znači da se kvaliteta automatski mijenja u ovisnosti o situaciji na klijentu i u mreži. Rezultati eksperimenata pokazali su da se YouTube Android player prilagođava dulje vrijeme kada se širina pojasa smanjuje. Kao posljedica toga, sadržaj se učitava znatno dulje nego u slučaju preglednika.

Drugi dio rada bio je izgraditi modele za strojno učenje koji bi pomogli mrežnim operaterima procijeniti iskustvenu kvalitetu unatoč šifriranom prometu. Prilikom izračuna iskustvene kvalitete korišten je model opisan u ITU-T P.1203 (P.NATS) preporuci. Budući da YouTube Android API ne nudi metode za detekciju promjena kvalitete, mogla se mjeriti jedino kvaliteta s gledišta duljine (ponovnog) učitavanja sadržaja.

Analizirani skup podataka sastojao se od 428 primjeraka. Klasifikacijski modeli nastali su koristeći WEKA alat i pet algoritama strojnog učenja: OneR, Logistic, SMO, Bagging i Random Forest. Isprobana je klasifikacija u tri i u dvije moguće klase. Rezultati su pokazali da je najprecizniji model stvoren korištenjem Random Forest algoritma. Točnost od 68% je postignuta u slučaju tri, a od 83% u slučaju dvije klase.

Dodatno, u sklopu ovog rada ukratko su opisani koncepti strojnog učenja i alata WEKA kao uvod u praktični dio. Dan je i pregled QUIC protokola te P.NATS modela. Konačno, metodologija, svi provedeni eksperimenti i skupljeni podaci detaljno su opisani.

Sažetak (engleski)

This thesis explored YouTube's performance when content is delivered via a newly released protocol QUIC (Quick UDP Internet Connection) in a native YouTube Android application. To do so, a previously developed system called YouQ was used and upgraded so that there is a choice between playing YouTube videos in a browser and in a native YouTube Android player. The options served to compare the behaviour of the two, which was in focus in the first part of the thesis.

The results of the comparison showed that QUIC performs better than TCP (used in browser) in case when network conditions are sufficient to play videos in the highest available quality. YouTube relies on HTTP adaptive streaming, meaning that the quality changes automatically according to the situation on the client and in the network. Results of conducted experiments showed that when bandwidth decreases, YouTube Android player takes a longer time to adjust. Therefore, stalling events happen and if a video is starting, initial delay is notably longer than in case of a browser player.

The second part of the thesis was to build machine learning models that could help network operators estimate Quality of Experience (QoE) despite the encrypted traffic. When calculating QoE, a model described in Recommendation ITU-T P.1203 (P.NATS) was respected. For the reason that YouTube Android API does not offer a method to note quality switches, only a quality impact due to buffering could be measured.

The dataset that was analysed consisted of 428 instances. Classification models were created with WEKA machine learning tool and five algorithms: OneR, Logistic, SMO, Bagging and Random Forest. Classification into three and two possible classes was tried. The results showed that the most accurate model in both cases was created using Random Forest algorithm. Accuracy of 68% was achieved using three classes and of 83% using two classes.

Moreover, in the scope of this thesis machine learning and WEKA tool were briefly explained as an introduction to the practical part. There is also an overview of QUIC protocol and P.NATS model. Finally, methodology, as well as all conducted experiments and collected data, were described in detail.

• Ključne riječi: klasifikacija mrežnog prometa; strojno učenje; iskustvena kvaliteta; QUIC; YouTube
• Ključne riječi (engleski): network traffic classification; machine learning; Quality of Experience; QUIC; YouTube
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:561284
• Studijski program: Naziv: Informacijska i komunikacijska tehnologija; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2019-03-14 00:07:22