Naslov Interpretabilnost modela dubokoga učenja vrjednovanjem mapa relevantnosti Naslov (engleski) Interpretability of deep learning models by evaluating relevance maps Autor Davor Vukadin Mentor Marin Šilić (mentor)Član povjerenstva Goran Delač (predsjednik povjerenstva)Član povjerenstva Klemo Vladimir (član povjerenstva)Član povjerenstva Tomislav Rolich (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Zagrebu Datum i država obrane 2024-08-11, Hrvatska Znanstveno / umjetničko TEHNIČKE ZNANOSTI Univerzalna decimalna klasifikacijaUDC ) 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka Sažetak Recentan napredak radnih značajki dubokih neuronskih mreža doveo je do razvoja brojnih sustava koji nadmašuju čak i ljudske mogućnosti. Međutim, neprozirnosti modela zaslužnih za ovaj napredak često ograničava njihovo korištenje u osjetljivim područjima gdje su objašnjivost i transparentnost modela od iznimne važnosti. Tijekom godina, istraživači su predložili brojne algoritme koji za cilj imaju povećati razumijevanje odluke pojedinog modela dubokog učenja. Jedna od najpopularnijih metoda je i metoda slojevite propagacije relevantnosti. Ona dodjeljuje mapu relevantnosti promatranom primjeru na temelju dekompozicije nelinearnog klasifikatora za svaku ulaznu značajku. S porastom broja predloženih atribucijskih metoda, pojavljuje se potreba za objektivnim načinom vrjednovanja njihove kvalitete. Iz tog razloga, predložene su brojne metrike koje procjenjuju različita svojstva atribucijskih metoda poput vjernosti, robusnosti i lokalizacije. Nažalost, nije postignut konsenzus oko optimalne metrike u svakoj situaciji. Iz tog razloga, istraživači često posežu za korištenjem više metrika odjednom kako bi procijenili kvalitetu atribucijskih mapa. Međutim, ne postoji jasan način kako agregirati rezultate svih korištenih metrika u jednu, sveobuhvatnu ocjenu. Osim objektivne procjene kvalitete same atribucijske metode, važno je analizirati i poravnanje između procjene kvalitete metrike s ljudskom procjenom kvalitete kako bi se osiguralo da će metoda koja ostvaruje bolji rezultat na odabranoj metrici zaista više pridonositi razumijevanju odluke modela krajnjem korisniku. U sklopu ove disertacije predložena je nova metoda za produkciju mapa relevantnosti koja rješava nedostatke u trenutnim metodama slojevite propagacije relevantnosti te se izravno primjenjuje na najnovije duboke arhitekture, uključujući i vrlo recentnu arhitekturu Vizualnog Transformera, gdje jedino predložena metoda producira mape relevantnosti na razini pojedinih ulaznih piksela. Također je predložena i nova metrika za vrjednovanje kvalitete atribucijskih metoda koja pruža jednu, sveobuhvatnu ocjenu analizirajući istovremeno komponente vjernosti, robusnosti i lokalizacije. Naposljetku, predlaže se metoda za vrjednovanje poravnanja između metrika i ljudske percepcije s ciljem isticanja nedostataka u području vrjednovanja mapa relevantnosti.
Sažetak (engleski) Recent advances in the performance of deep neural networks have led to the development of numerous systems that even surpass human capabilities. However, the opacity of the models responsible for this progress often limits their use in sensitive areas where explainability and transparency are of paramount importance. Over the years, researchers have proposed numerous algorithms aimed at increasing the understanding of individual deep learning model decisions. One of the most popular methods is the layer-wise relevance propagation method, which assigns a relevance map to the observed example based on the decomposition of the nonlinear classifier for each input feature. With the increase in the number of proposed attribution methods, there is a growing need for an objective way to evaluate their quality. For this reason, numerous metrics have been proposed to assess various properties of attribution methods, such as faithfulness, robustness, and localization. Unfortunately, there is no consensus on the optimal metric for every situation. Consequently, researchers often resort to using multiple metrics simultaneously to evaluate the quality of attribution maps. However, there is no clear way to aggregate the results of all the metrics used into a single, comprehensive score. In addition to the objective assessment of the quality of the attribution method itself, it is important to analyze the alignment between the metric’s quality assessment and the human assessment of quality to ensure that the method achieving a better score on the selected metric genuinely contributes more to understanding the model's decision for the end user. In this dissertation, a new method for producing relevance maps is proposed, addressing deficiencies in current layer-wise relevance propagation methods and directly applying to the latest deep architectures, including the very recent Vision Transformer, where the proposed method is the only one able to produce attribution maps at the level of input pixels. A new metric is also proposed to evaluate the quality of attribution methods, providing a single, comprehensive score by simultaneously analyzing faithfulness, robustness, and localization components. Finally, a method is proposed to evaluate the alignment between metrics and human perception, aiming to highlight shortcomings in the field of relevance map evaluation.
Ključne riječi
objašnjiva umjetna inteligencija
duboko učenje
transformer
vrjednovanje atribucijskih metoda
ljudska percepcija
Ključne riječi (engleski)
explainable artificial intelligence
deep learning
transformer
evaluation of attribution methods
human perception
Jezik hrvatski URN:NBN urn:nbn:hr:168:439489 Datum promocije 2025 Studijski program Naziv: Računarstvo Vrsta resursa Tekst Opseg 109 str. Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Datum i vrijeme pohrane 2025-01-29 12:46:06
