Interpretabilnost modela dubokoga učenja vrjednovanjem mapa relevantnosti

doctoral thesis

• Title (english): Interpretability of deep learning models by evaluating relevance maps
• Author: Davor Vukadin
• Mentor: Marin Šilić (mentor)
• Committee member: Goran Delač (predsjednik povjerenstva)
• Committee member: Klemo Vladimir (član povjerenstva)
• Committee member: Tomislav Rolich (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Electronics, Microelectronics, Computer and Intelligent Systems); Zagreb
• Defense date and country: 2024-08-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

Recentan napredak radnih značajki dubokih neuronskih mreža doveo je do razvoja brojnih sustava koji nadmašuju čak i ljudske mogućnosti. Međutim, neprozirnosti modela zaslužnih za ovaj napredak često ograničava njihovo korištenje u osjetljivim područjima gdje su objašnjivost i transparentnost modela od iznimne važnosti. Tijekom godina, istraživači su predložili brojne algoritme koji za cilj imaju povećati razumijevanje odluke pojedinog modela dubokog učenja. Jedna od najpopularnijih metoda je i metoda slojevite propagacije relevantnosti. Ona dodjeljuje mapu relevantnosti promatranom primjeru na temelju dekompozicije nelinearnog klasifikatora za svaku ulaznu značajku. S porastom broja predloženih atribucijskih metoda, pojavljuje se potreba za objektivnim načinom vrjednovanja njihove kvalitete. Iz tog razloga, predložene su brojne metrike koje procjenjuju različita svojstva atribucijskih metoda poput vjernosti, robusnosti i lokalizacije. Nažalost, nije postignut konsenzus oko optimalne metrike u svakoj situaciji. Iz tog razloga, istraživači često posežu za korištenjem više metrika odjednom kako bi procijenili kvalitetu atribucijskih mapa. Međutim, ne postoji jasan način kako agregirati rezultate svih korištenih metrika u jednu, sveobuhvatnu ocjenu. Osim objektivne procjene kvalitete same atribucijske metode, važno je analizirati i poravnanje između procjene kvalitete metrike s ljudskom procjenom kvalitete kako bi se osiguralo da će metoda koja ostvaruje bolji rezultat na odabranoj metrici zaista više pridonositi razumijevanju odluke modela krajnjem korisniku. U sklopu ove disertacije predložena je nova metoda za produkciju mapa relevantnosti koja rješava nedostatke u trenutnim metodama slojevite propagacije relevantnosti te se izravno primjenjuje na najnovije duboke arhitekture, uključujući i vrlo recentnu arhitekturu Vizualnog Transformera, gdje jedino predložena metoda producira mape relevantnosti na razini pojedinih ulaznih piksela. Također je predložena i nova metrika za vrjednovanje kvalitete atribucijskih metoda koja pruža jednu, sveobuhvatnu ocjenu analizirajući istovremeno komponente vjernosti, robusnosti i lokalizacije. Naposljetku, predlaže se metoda za vrjednovanje poravnanja između metrika i ljudske percepcije s ciljem isticanja nedostataka u području vrjednovanja mapa relevantnosti.

Abstract (english)

Recent advances in the performance of deep neural networks have led to the development of numerous systems that even surpass human capabilities. However, the opacity of the models responsible for this progress often limits their use in sensitive areas where explainability and transparency are of paramount importance. Over the years, researchers have proposed numerous algorithms aimed at increasing the understanding of individual deep learning model decisions. One of the most popular methods is the layer-wise relevance propagation method, which assigns a relevance map to the observed example based on the decomposition of the nonlinear classifier for each input feature. With the increase in the number of proposed attribution methods, there is a growing need for an objective way to evaluate their quality. For this reason, numerous metrics have been proposed to assess various properties of attribution methods, such as faithfulness, robustness, and localization. Unfortunately, there is no consensus on the optimal metric for every situation. Consequently, researchers often resort to using multiple metrics simultaneously to evaluate the quality of attribution maps. However, there is no clear way to aggregate the results of all the metrics used into a single, comprehensive score. In addition to the objective assessment of the quality of the attribution method itself, it is important to analyze the alignment between the metric’s quality assessment and the human assessment of quality to ensure that the method achieving a better score on the selected metric genuinely contributes more to understanding the model's decision for the end user. In this dissertation, a new method for producing relevance maps is proposed, addressing deficiencies in current layer-wise relevance propagation methods and directly applying to the latest deep architectures, including the very recent Vision Transformer, where the proposed method is the only one able to produce attribution maps at the level of input pixels. A new metric is also proposed to evaluate the quality of attribution methods, providing a single, comprehensive score by simultaneously analyzing faithfulness, robustness, and localization components. Finally, a method is proposed to evaluate the alignment between metrics and human perception, aiming to highlight shortcomings in the field of relevance map evaluation.

• Keywords: objašnjiva umjetna inteligencija; duboko učenje; transformer; vrjednovanje atribucijskih metoda; ljudska percepcija
• Keywords (english): explainable artificial intelligence; deep learning; transformer; evaluation of attribution methods; human perception
• Language: croatian
• URN:NBN: urn:nbn:hr:168:439489
• Promotion: 2025
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• Extent: 109 str.
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-01-29 12:46:06