Uporaba metoda objašnjivosti nad modelima strojnog učenja u svrhu razvoja sustava za očuvanje kibernetičke sigurnosti

diplomski rad

• Naslov (engleski): Using Explanatory Methods on Machine Learning Models as a Part of Cybersecurity System Development
• Autor: Sanja Krznarić
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Mihaela Vranić (član povjerenstva)
• Član povjerenstva: Boris Vrdoljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-07-05, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U današnje vrijeme, kada se većina ekonomskih, komercijalnih, kulturalnih, socijalnih i upravnih aktivnosti odvija "online", kibernetička sigurnost ima vrlo važnu ulogu. Eksponencijalni rast broja i raznolikosti kibernetičkih napada doveo je do potrebe za automatizacijom procesa ekstrakcije znanja iz svakim danom sve većeg broja podataka, a idealnim alatom za to pokazalo se strojno učenje. Kako bi modelima strojnog učenja implementiranima u svrhe očuvanja kibernetičke sigurnosti bilo moguće vjerovati, odnosno kako bi se povećala količina ljudskog znanja o domeni te spriječile potencijalne netočne i nepouzdane predikcije, potrebno je da implementirani modeli budu interpretabilni.
Interpretabilnost modela strojnog učenja moguće je postići korištenjem "white-box" modela koji su jednostavni te pri treningu koriste metode koje ekstrahiraju znanje u ljudski interpretabilnom obliku, no takvi modeli često nisu dovoljno kompleksni te ih svojim performansama nadmašuju puno moćniji, no nažalost neinterpretabilni "black-box" modeli. Potreba za iskorištavanjem prediktivne moći "black-box" modela uz zadržavanje interpretabilnosti dovela je do razvoja područja objašnjivosti u strojnom učenju. Ovaj rad fokusira se na korištenje agnostičkih metoda objašnjivosti kako bi se interpretirao rad "black-box" modela treniranih nad skupom podataka vezanim uz kibernetičku sigurnost. Globalne agnostičke metode korištene su u svrhu generalne interpretacije te potencijalne redukcije broja značajki implementiranih modela, dok su lokalne agnostičke metode korištene u svrhu dobivanja detaljnih objašnjenja nad individualnim predikcijama. Rezultati "black-box" modela te pravila ekstrahirana agnostičkim metodama uspoređeni su s rezultatima i pravilima ekstrahiranima iz "white-box" modela treniranih pod istim uvjetima nad istim podatkovnim skupom.

Sažetak (engleski)

Today, when most of the economic, commercial, cultural, social and government activities are carried out online, cybersecurity plays a very important role. Exponential growth in the number and variety of cyber-attacks created a need for the automation of knowledge extraction from the constantly growing amount of data. The ideal tool for such automation turned out to be machine learning. To create confidence in machine learning algorithms implemented in order to obtain cybersecurity, to increase the amount of cybersecurity knowledge and to prevent potentially incorrect and unreliable predictions, the implemented algorithms need to be interpretable.
Interpretability of the machine learning models can be achieved by using simple "white-box" models that extract knowledge in a human-friendly format in the process of learning, but such models are usually not complex enough and thus outperformed by the powerful, but not easily interpretable "black-box" models. In order to keep both the predictive power of "black-box" models and the interpretability of "white-box" model, a new field in machine learning was developed that focused explicitly on the interpretability. This thesis focuses on using model agnostic methods to explain the predictions made by "black-box" models trained on a cybersecurity-related dataset. The global agnostic methods are used to explain the general model behavior and potentially reduce the number of features necessary for the model training, while the local agnostic methods are used to provide detailed explanations on individual predictions. The results of the implemented "black-box" models and the rules extracted by the model agnostic methods are compared with the results and rules provided by the "white-box" models trained under the same conditions on the same dataset.

• Ključne riječi: strojno učenje; objašnjivost; kibernetička sigurnost; CICIDS2017; agnostičke metode
• Ključne riječi (engleski): machine learning; interpretability; cybersecurity; CICIDS2017; model agnostic methods
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:833389
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 15:21:27