Uporaba metoda objašnjivosti nad modelima strojnog učenja u svrhu razvoja sustava za očuvanje kibernetičke sigurnosti

master's thesis

• Title (english): Using Explanatory Methods on Machine Learning Models as a Part of Cybersecurity System Development
• Author: Sanja Krznarić
• Mentor: Damir Pintar (mentor)
• Committee member: Damir Pintar (predsjednik povjerenstva)
• Committee member: Mihaela Vranić (član povjerenstva)
• Committee member: Boris Vrdoljak (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2022-07-05, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

U današnje vrijeme, kada se većina ekonomskih, komercijalnih, kulturalnih, socijalnih i upravnih aktivnosti odvija "online", kibernetička sigurnost ima vrlo važnu ulogu. Eksponencijalni rast broja i raznolikosti kibernetičkih napada doveo je do potrebe za automatizacijom procesa ekstrakcije znanja iz svakim danom sve većeg broja podataka, a idealnim alatom za to pokazalo se strojno učenje. Kako bi modelima strojnog učenja implementiranima u svrhe očuvanja kibernetičke sigurnosti bilo moguće vjerovati, odnosno kako bi se povećala količina ljudskog znanja o domeni te spriječile potencijalne netočne i nepouzdane predikcije, potrebno je da implementirani modeli budu interpretabilni.
Interpretabilnost modela strojnog učenja moguće je postići korištenjem "white-box" modela koji su jednostavni te pri treningu koriste metode koje ekstrahiraju znanje u ljudski interpretabilnom obliku, no takvi modeli često nisu dovoljno kompleksni te ih svojim performansama nadmašuju puno moćniji, no nažalost neinterpretabilni "black-box" modeli. Potreba za iskorištavanjem prediktivne moći "black-box" modela uz zadržavanje interpretabilnosti dovela je do razvoja područja objašnjivosti u strojnom učenju. Ovaj rad fokusira se na korištenje agnostičkih metoda objašnjivosti kako bi se interpretirao rad "black-box" modela treniranih nad skupom podataka vezanim uz kibernetičku sigurnost. Globalne agnostičke metode korištene su u svrhu generalne interpretacije te potencijalne redukcije broja značajki implementiranih modela, dok su lokalne agnostičke metode korištene u svrhu dobivanja detaljnih objašnjenja nad individualnim predikcijama. Rezultati "black-box" modela te pravila ekstrahirana agnostičkim metodama uspoređeni su s rezultatima i pravilima ekstrahiranima iz "white-box" modela treniranih pod istim uvjetima nad istim podatkovnim skupom.

Abstract (english)

Today, when most of the economic, commercial, cultural, social and government activities are carried out online, cybersecurity plays a very important role. Exponential growth in the number and variety of cyber-attacks created a need for the automation of knowledge extraction from the constantly growing amount of data. The ideal tool for such automation turned out to be machine learning. To create confidence in machine learning algorithms implemented in order to obtain cybersecurity, to increase the amount of cybersecurity knowledge and to prevent potentially incorrect and unreliable predictions, the implemented algorithms need to be interpretable.
Interpretability of the machine learning models can be achieved by using simple "white-box" models that extract knowledge in a human-friendly format in the process of learning, but such models are usually not complex enough and thus outperformed by the powerful, but not easily interpretable "black-box" models. In order to keep both the predictive power of "black-box" models and the interpretability of "white-box" model, a new field in machine learning was developed that focused explicitly on the interpretability. This thesis focuses on using model agnostic methods to explain the predictions made by "black-box" models trained on a cybersecurity-related dataset. The global agnostic methods are used to explain the general model behavior and potentially reduce the number of features necessary for the model training, while the local agnostic methods are used to provide detailed explanations on individual predictions. The results of the implemented "black-box" models and the rules extracted by the model agnostic methods are compared with the results and rules provided by the "white-box" models trained under the same conditions on the same dataset.

• Keywords: strojno učenje; objašnjivost; kibernetička sigurnost; CICIDS2017; agnostičke metode
• Keywords (english): machine learning; interpretability; cybersecurity; CICIDS2017; model agnostic methods
• Language: croatian
• URN:NBN: urn:nbn:hr:168:833389
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 15:21:27