《Knowledge-Based Systems》:Comprehensive Explainable AI Approach for Audit Opinion Classification Using Feed-Forward Neural Networks
編輯推薦:
可擴(kuò)展的金融導(dǎo)向可解釋性解釋模型(SFIX)與全連接神經(jīng)網(wǎng)絡(luò)(FFNN)結(jié)合,構(gòu)建了審計(jì)意見分類的多維可解釋框架,通過動(dòng)態(tài)重要性、置信度、模式、異常和風(fēng)險(xiǎn)五個(gè)維度評(píng)估特征貢獻(xiàn),在減少20%特征量的情況下保持0.7%的準(zhǔn)確率損失,驗(yàn)證了SFIX在金融審計(jì)場景中的有效性。
阿卜杜拉·埃米爾·奇爾(Abdullah Emir Cil)|托爾加·布尤克塔尼爾(Tolga Buyuktanir)|卡齊姆·耶爾迪茲(Kazim Yildiz)
土耳其伊斯坦布爾馬爾馬拉大學(xué)(Marmara University)純粹與應(yīng)用科學(xué)研究所(Institute of Pure and Applied Sciences)計(jì)算機(jī)工程系(Computer Engineering Department)
摘要
本研究提出了一個(gè)全面的可解釋人工智能(XAI)框架,用于審計(jì)意見分類。該框架將可擴(kuò)展的金融導(dǎo)向可解釋解釋模型(SFIX)與前饋神經(jīng)網(wǎng)絡(luò)(FFNN)相結(jié)合。與傳統(tǒng)的事后可解釋性方法(如SHapley Additive Explanations (SHAP) 和 Locally Interpretable Model Agnostic Explanations (LIME))不同,SFIX框架通過動(dòng)態(tài)重要性、置信度、模式、異常和風(fēng)險(xiǎn)成分提供了多維和內(nèi)在的特征評(píng)估。使用真實(shí)世界的金融數(shù)據(jù)集,證明了SFIX選出的關(guān)鍵特征能夠使FFNN模型在顯著提高可解釋性的同時(shí)實(shí)現(xiàn)高預(yù)測性能。值得注意的是,僅使用20個(gè)SFIX選出的特征訓(xùn)練的FFNN模型,其準(zhǔn)確率與全特征模型幾乎相同,僅降低了0.7%。研究結(jié)果表明,SFIX提供了一種更可靠和透明的特征選擇機(jī)制,并在低維特征空間中提升了模型性能。總體而言,本文提出了一種針對財(cái)務(wù)審計(jì)的新型XAI方法,支持更可解釋和值得信賴的決策支持系統(tǒng)。
引言
近年來,人工智能(AI)系統(tǒng)越來越多地應(yīng)用于關(guān)鍵決策過程,如財(cái)務(wù)分析、信用評(píng)估和公司績效預(yù)測。然而,這些系統(tǒng)的決策機(jī)制往往是黑盒式的,這在不僅需要高準(zhǔn)確率,還需要可解釋性和透明度的領(lǐng)域中存在嚴(yán)重限制。特別是從財(cái)務(wù)報(bào)告的可靠性角度來看,由于法規(guī)遵從性、組織信任和人類監(jiān)督等問題,外部審計(jì)師的意見需要準(zhǔn)確且可解釋的預(yù)測。事實(shí)上,當(dāng)前的法規(guī)(如通用數(shù)據(jù)保護(hù)條例(GDPR)和人工智能法)越來越要求AI系統(tǒng)具有可解釋性和可審計(jì)性 [1],[2]。
盡管傳統(tǒng)的深度學(xué)習(xí)模型(如FFNN)具有強(qiáng)大的預(yù)測性能,但由于缺乏可解釋性,在財(cái)務(wù)決策支持系統(tǒng)中的應(yīng)用受到限制。在具有高監(jiān)管重要性的決策領(lǐng)域(如審計(jì)意見)中,這一限制尤為明顯 [3]。然而,高預(yù)測準(zhǔn)確性并不足以使模型輸出被可靠地理解和解釋;必須使各個(gè)特征對決策過程的貢獻(xiàn)變得透明。
人工智能在財(cái)務(wù)決策中的日益應(yīng)用帶來了與透明度、可靠性和法規(guī)遵從性相關(guān)的關(guān)鍵挑戰(zhàn)。在審計(jì)意見分類中,決策必須既準(zhǔn)確又可解釋,而傳統(tǒng)的深度學(xué)習(xí)模型由于其黑盒特性往往無法提供足夠的可解釋性。盡管現(xiàn)有的XAI技術(shù)(如SHAP和LIME)提供了事后解釋,但它們主要捕捉局部或靜態(tài)的特征貢獻(xiàn),因此無法充分反映財(cái)務(wù)數(shù)據(jù)中的時(shí)間性、交互驅(qū)動(dòng)和風(fēng)險(xiǎn)敏感特性。此外,大多數(shù)特征選擇方法依賴一維標(biāo)準(zhǔn),沒有同時(shí)考慮多個(gè)可解釋性成分。這些限制凸顯了需要一個(gè)全面、多維且基于財(cái)務(wù)的可解釋性框架的必要性。受這些問題的啟發(fā),本研究將SFIX模型與FFNN架構(gòu)相結(jié)合,構(gòu)建了一個(gè)可靠且可解釋的審計(jì)意見分類框架。通過結(jié)合動(dòng)態(tài)重要性、置信度、模式、異常和風(fēng)險(xiǎn)成分,SFIX有助于更豐富和全面地理解特征隨時(shí)間的變化行為。這種整合旨在提高分類性能,同時(shí)提供透明的決策洞察,以支持審計(jì)師、監(jiān)管機(jī)構(gòu)和金融機(jī)構(gòu)。
本研究探討了在財(cái)務(wù)數(shù)據(jù)背景下使用可解釋人工智能(XAI)方法進(jìn)行審計(jì)意見分類的適用性。為此,采用了專門為金融行業(yè)設(shè)計(jì)的SFIX(Scalable Financial-oriented Interpretable eXplanation)[4]模型。SFIX通過全面評(píng)估屬性隨時(shí)間的影響、風(fēng)險(xiǎn)和置信度得分、異常以及時(shí)間序列財(cái)務(wù)數(shù)據(jù)中的模式分析,提供了每個(gè)屬性的內(nèi)在可解釋性。因此,與僅提供事后解釋的方法(如SHAP [5] 或 LIME [6])不同,它直接將可解釋性整合到了模型架構(gòu)中。
本研究解決了以下關(guān)鍵研究問題:
•SFIX模型是否能夠可靠地識(shí)別出審計(jì)意見分類中最具解釋性的屬性?
•使用SFIX選出的特征子集,F(xiàn)FNN模型是否能夠產(chǎn)生相似準(zhǔn)確率的預(yù)測?
•是否可以直接或間接使用SFIX提高FFNN模型的可解釋性?
•SFIX模型在性能上是否優(yōu)于其他XAI方法(如SHAP和LIME)?
為了解決這些問題,使用SFIX方法獲得了特征重要性排名,將不同數(shù)量的重要特征輸入FFNN模型,并將這些模型的分類性能與全特征集進(jìn)行了比較。在研究中,數(shù)據(jù)集中的類別分布保持自然狀態(tài),未應(yīng)用任何平衡技術(shù)(例如SMOTE或欠采樣)。因此,模型的泛化能力和可解釋性是在真實(shí)世界分布上同時(shí)評(píng)估的。
本研究旨在獲得一種能夠在財(cái)務(wù)決策支持系統(tǒng)中同時(shí)提供高準(zhǔn)確性和高可解釋性的結(jié)構(gòu)。SFIX提供的全面可解釋性不僅被視為一種特征選擇方法,也被視為一種間接支持深度學(xué)習(xí)模型決策過程透明度的工具。在這方面,本研究的結(jié)果有望為學(xué)術(shù)界和實(shí)踐者使用可解釋人工智能做出貢獻(xiàn)。
本文的結(jié)構(gòu)如下:第2節(jié)回顧了關(guān)于可解釋人工智能和特征選擇的相關(guān)研究。第3節(jié)詳細(xì)介紹了使用SFIX方法和FNN模型實(shí)施的實(shí)驗(yàn)方法。第4節(jié)描述了實(shí)驗(yàn)設(shè)置和所使用的數(shù)據(jù)集。第5節(jié)以比較的方式展示了結(jié)果并討論了發(fā)現(xiàn)。第6節(jié)對研究進(jìn)行了總體評(píng)估。
相關(guān)工作
在金融領(lǐng)域,基于AI的決策支持系統(tǒng)的使用正在增加,XAI(可解釋人工智能)方法的作用也變得越來越突出,尤其是在信用評(píng)估過程中。
Nallakaruppan等人提出了一個(gè)全面的XAI框架,將LIME、SHAP和PDP等可解釋性方法與隨機(jī)森林等經(jīng)典機(jī)器學(xué)習(xí)算法相結(jié)合,用于信用評(píng)估。他們的工作旨在解釋批準(zhǔn)或
方法論
本研究使用的可解釋人工智能方法SFIX(Scalable Financial-oriented Interpretable eXplanation)是一個(gè)專為金融應(yīng)用開發(fā)的模塊化且時(shí)間敏感的XAI框架。SFIX通過靜態(tài)評(píng)估以及考慮屬性隨時(shí)間的變化效應(yīng)來評(píng)估屬性對模型決策的貢獻(xiàn)。該方法建立在作者最初開發(fā)的可解釋特征評(píng)估框架之上 [4]。提出的方法論
在本研究中,我們建議使用SFIX方法來提高基于深度學(xué)習(xí)的分類模型的性能并增強(qiáng)可解釋性。具體而言,在該方法范圍內(nèi),我們建議根據(jù)使用SFIX計(jì)算出的特征重要性對其進(jìn)行排序,并選擇一定數(shù)量的最重要特征(例如10、15、20、25和30個(gè))。此階段獲得的特征集將作為輸入結(jié)果與討論
在本研究中,SFIX可解釋人工智能方法在兩種不同的數(shù)據(jù)集配置上進(jìn)行了評(píng)估,以改進(jìn)財(cái)務(wù)審計(jì)意見預(yù)測中的特征選擇和模型性能。實(shí)驗(yàn)過程包括兩個(gè)主要階段:原始數(shù)據(jù)集分析和處理缺失數(shù)據(jù)的后期分析。
在第一階段,對原始財(cái)務(wù)數(shù)據(jù)集應(yīng)用了十個(gè)處理步驟,去除了缺失的標(biāo)記觀測值,從而得到了一個(gè)干凈的數(shù)據(jù)集
結(jié)論
本研究通過將SFIX模型與FFNN相結(jié)合,提出了一個(gè)全面的審計(jì)意見分類可解釋人工智能框架。結(jié)果表明,SFIX框架通過其動(dòng)態(tài)重要性、置信度、模式、異常和風(fēng)險(xiǎn)成分提供了多維和內(nèi)在的特征評(píng)估方法。這些成分共同提供了對財(cái)務(wù)屬性的時(shí)間性和結(jié)構(gòu)行為的更深入理解,克服了
作者聲明
我們簽署人聲明本手稿是原創(chuàng)的,之前未發(fā)表過,目前也沒有在其他地方考慮發(fā)表。
我們確認(rèn)所有列出的作者都已閱讀并批準(zhǔn)了本手稿,并且沒有其他符合作者資格標(biāo)準(zhǔn)但未列出的人員。我們進(jìn)一步確認(rèn)手稿中列出的作者順序已得到所有人的批準(zhǔn)。
我們理解通訊作者是唯一的聯(lián)系人
CRediT作者貢獻(xiàn)聲明
阿卜杜拉·埃米爾·奇爾(Abdullah Emir Cil):撰寫——原始草稿、軟件、方法論、形式分析、概念化。托爾加·布尤克塔尼爾(Tolga Buyuktanir):方法論、數(shù)據(jù)整理、撰寫——審閱與編輯、驗(yàn)證。卡齊姆·耶爾迪茲(Kazim Yildiz):撰寫——審閱與編輯、監(jiān)督、方法論。
利益沖突聲明
作者聲明他們沒有已知的競爭性財(cái)務(wù)利益或個(gè)人關(guān)系可能影響本文報(bào)告的工作。