Uporaba metoda klasifikacije rijetkih događaja kod analize mrežnih podataka

diplomski rad

• Naslov (engleski): Applying Rare Event Classification Methods in Network Traffic Analysis
• Autor: Luka Jurić
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Luka Humski (član povjerenstva)
• Član povjerenstva: Boris Vrdoljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-07, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Mrežni podaci predstavljaju skup podataka koji se šalju mrežom, najčešće internetom. U tim mrežnim podacima koji se prenose postoje i zlonamjerni podaci zvani napadi kojima je cilj naštetiti sustavu ili korisniku. Neki od tih napada su jako rijetki u odnosu na sve poslane mrežne podatke. Kako bi se zaštitili od tih rijetkih napada potrebno je napraviti dobro otkrivanje takvih mrežnih napada. Tu dolazi do problema klasifikacije rijetkih događaja gdje su određeni napadi toliko rijetki da ih modeli strojnog učenja zanemaruju, a metrike evaluacije prikrivaju. Nakon upoznavanja s domenom podataka i odabranim skupom podataka \textit{KDD Cup 99} korišteno je 6 različitih metoda učenja u Spark okruženju. Korištene metode su obično učenje, PCA uz k vrijednosti 5 i 10, te metode naduzorkovanja, poduzorkovanja i hibridna metoda uzorkovanja. Iako je najbolji rezultat za obične metrike postiglo obično učenje za model slučajnih šuma, detaljnijim pregledom točnosti za pojedinu klasu vidi se kako takav model ima lošu točnost za rijetke klase. Kada se u obzir evaluacije uzela i točnost po klasama koja ne ovisi o kardinalitetu skupa, najbolji rezultati postignut je za hibridnu metodu uzorkovanja koristeći model slučajnih šuma. Taj rezultat je pokazao da je moguće poboljšati klasifikaciju rijetkih događaja zadržavajući dobre rezultate evaluacije i za česte klase.

Sažetak (engleski)

Network data is a data set sent over a network, usually the Internet. There is also malicious data in these transmitted network data called attacks that targets the system or the user. Some of these attacks are very rare compared to all of network data sent. In order to protect against these rare attacks, it is necessary to make good detection of such network attacks. The problem of classifying rare events is present where certain attacks are so rare that machine learning algorithms ignore them and evaluation metrics conceal them. After getting acquainted within the data domain and the selected data set \textit{KDD Cup 99}, 6 different algorithms were used in the Spark environment. The methods used are raw learning, PCA with k values of 5 and 10, and then oversampling, downsampling, and hybrid sampling method. The best result for usual metrics was achieved by raw learning method for the random forest model. A closer look at the accuracy for a particular class shows that such model has poor accuracy for rare classes. When class-independent accuracy that does not depend on the cardinality of the set was taken into account, the best results were achieved for the hybrid sampling method using the random forest model. This result showed that it is possible to improve the classification of rare events while maintaining good evaluation results for frequent classes as well.

• Ključne riječi: Rijetki događaj; Mrežni podaci; Klasifikacija; Uzorkovanje; KDD Cup 99; Spark; R
• Ključne riječi (engleski): Rare event; Network traffic; Classification; Sampling; KDD Cup 99; Spark; R
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:863167
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 12:36:01