《Knowledge-Based Systems》：Analyzing how pre-trained language models capture factual knowledge using attribution methods
編輯推薦：
預(yù)訓(xùn)練語言模型（PLMs）通過位置鄰近詞和高共現(xiàn)詞而非知識依賴詞捕獲事實知識，依賴知識依賴詞的模式更有效。分析表明，PLMs過度依賴無效模式導(dǎo)致知識捕獲不充分，為優(yōu)化預(yù)訓(xùn)練策略提供依據(jù)。
李少波|孫成杰|劉冰泉|李曉光|尚立峰|董振華|紀振洲|姜欣|劉群
哈爾濱工業(yè)大學(xué)（威海）計算機科學(xué)與技術(shù)系，中國山東省威海市文華西路2號，264209
摘要
最近的研究表明，預(yù)訓(xùn)練的語言模型（PLMs）能夠正確完成諸如“但丁出生于____”這樣的填空式事實查詢，這表明PLMs通過大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)捕獲了事實知識。這一現(xiàn)象引起了研究人員的興趣，他們希望分析這些捕獲的事實知識，例如其準確性、一致性和偏見。本文從另一個角度進行研究：PLMs在預(yù)訓(xùn)練過程中是如何保留事實知識的。具體來說，本文提出的分析量化了PLMs用于從預(yù)訓(xùn)練樣本中捕獲事實知識的詞級模式。本文使用了兩種特征歸因方法——基于擾動的方法和基于梯度的方法——來互補地揭示這種依賴性。然后，分析這種依賴性與事實知識捕獲性能（即在填空式查詢中的準確性和一致性）之間的關(guān)系。分析結(jié)果表明：（1）PLMs更多地依賴于位置接近且高頻率共現(xiàn)的詞匯來捕獲事實知識，而不是依賴于知識本身的詞匯；（2）依賴于知識本身的詞匯的依賴性比依賴于位置接近且高頻率共現(xiàn)的詞匯更有效。基于上述觀察，我們可以得出結(jié)論：對不適當(dāng)模式的依賴性使得PLMs在捕獲事實知識方面效果不佳。本文的分析揭示了事實知識捕獲過程的奧秘，提供了實證觀察和討論，為改進知識密集型任務(wù)的預(yù)訓(xùn)練策略奠定了基礎(chǔ)。
引言
預(yù)訓(xùn)練的語言模型（PLMs）展現(xiàn)了令人驚訝的能力，例如生成合理的文本并通過少量提示完成任務(wù)[1]、[2]、[3]。隨著研究人員繼續(xù)探索和研究預(yù)訓(xùn)練技術(shù)，一些研究[4]、[5]表明，PLMs在預(yù)訓(xùn)練后也學(xué)到了一些事實知識。例如，PLMs能夠正確回答填空式查詢“但丁出生于[mask]？”，答案是“佛羅倫薩”。這表明PLMs在預(yù)訓(xùn)練過程中捕獲了一些事實知識，并在之后能夠回憶起來。隨后，更多詳細的研究致力于分析這些捕獲的事實知識的具體屬性[6]、[7]，或者尋找更好的提示來從PLMs中提取更多知識[5]、[8]，主要集中在已經(jīng)捕獲的事實知識上。
本文的分析并不關(guān)注捕獲的事實知識的歸因，而是試圖理解PLMs是如何捕獲這些事實知識的，即研究PLMs依賴的模式及其有效性。PLMs在預(yù)訓(xùn)練階段捕獲了事實知識。然后，我們通過探究預(yù)訓(xùn)練模型來研究這些模式及其有效性。
具體來說，對于使用掩碼語言建模任務(wù)[9]、[10]預(yù)訓(xùn)練的模型，我們可以明確地指定預(yù)訓(xùn)練階段和探究階段如下：
定義1 預(yù)訓(xùn)練階段：
PLMs通過恢復(fù)預(yù)訓(xùn)練樣本中缺失的事實詞匯來捕獲事實知識。
定義2 探究階段：
通過用填空題來查詢PLMs，檢查它們是否成功捕獲了事實知識。
圖1展示了這兩個階段。在預(yù)訓(xùn)練階段，語言模型需要根據(jù)剩余的上下文預(yù)測缺失的詞匯。當(dāng)缺失的詞匯代表事實信息時，模型可以通過學(xué)習(xí)預(yù)測這些事實詞匯來學(xué)習(xí)和存儲這些知識。正如之前的研究[4]、[7]所定義的，這些事實詞匯對應(yīng)于知識庫（KB）中的實體。
在圖1提供的例子中，PLM通過被訓(xùn)練來預(yù)測事實詞匯“佛羅倫薩”，從而捕獲了“但丁的出生地”。基于這一范式，我們可以通過揭示PLMs用于捕獲缺失事實詞匯的模式來研究捕獲過程。因此，我們提出了關(guān)于預(yù)訓(xùn)練階段的第一個問題：
研究問題1
PLMs在預(yù)訓(xùn)練過程中依賴哪些詞級模式來捕獲事實知識？
具體來說，我們選擇了三種詞級模式，作為PLMs可能依賴的模式來捕獲缺失的事實詞匯：
依賴知識詞匯 KD
這些詞匯可以根據(jù)知識庫（KB）確定性地推斷出缺失的事實詞匯。
位置接近詞匯 PC
這些詞匯在位置上接近缺失的事實詞匯。
高頻率共現(xiàn)詞匯 HC
這些詞匯與缺失的事實詞匯在語料庫中的共現(xiàn)頻率較高。
圖2展示了例子中的不同詞級模式。“1506年5月20日”對應(yīng)于“哥倫布的死亡日期”這一事實知識，而其他與“1506年5月20日”有不同關(guān)聯(lián)的詞匯則是不同的詞級模式。
為了分析上述模式對事實知識捕獲的影響程度，我們引入了特征歸因方法[11]、[12]來量化PLMs對每種模式的依賴性。我們收集了470萬個預(yù)訓(xùn)練樣本來計算每種模式的歸因值。結(jié)果表明：
觀察1
PLMs在捕獲事實知識時更依賴于位置接近且高頻率共現(xiàn)的詞匯，而不是依賴于知識本身的詞匯。
觀察1揭示了預(yù)訓(xùn)練階段用于捕獲事實知識的模式。接下來，探究階段評估了捕獲性能，即PLMs正確捕獲的事實知識的數(shù)量。如果某種模式有效，那么對這種模式的依賴性應(yīng)該與捕獲性能呈正相關(guān)。這就引出了第二個研究問題：
研究問題2
PLMs依賴的模式對于捕獲事實知識是否有效？
計算每種模式的依賴性與PLMs捕獲性能之間的相關(guān)性可以幫助我們確定詞級模式的有效性。具體來說，我們使用相關(guān)性系數(shù)[13]來衡量模式的有效性。更正的相關(guān)性表示模式更有效/無效。相關(guān)結(jié)果表明：
觀察2
依賴知識本身的詞匯比依賴位置接近且高頻率共現(xiàn)的詞匯更有效。
結(jié)合觀察1和觀察2，我們可以得出結(jié)論：PLMs在捕獲事實知識時更依賴于無效的PC和HC詞匯，而不是有效的KD詞匯。我們的實證結(jié)論為PLMs中的事實錯誤或幻覺[14]提供了明確的解釋。
總之，本文的貢獻如下：
•分析結(jié)果提供了明確的證據(jù)，解釋了為什么PLMs無法穩(wěn)健地捕獲事實知識，并為如何提高事實知識捕獲能力提供了啟示。
•本文詳細討論了不同的PLMs、歸因方法和模式（見第5節(jié)），為解釋PLMs提供了更多見解。
•本文提出了一個雙層次分析框架，明確地將預(yù)訓(xùn)練中學(xué)習(xí)的模式與事實知識捕獲性能聯(lián)系起來。該框架可以推廣到其他下游任務(wù)的錯誤分析中。
相關(guān)研究
相關(guān)工作
本文研究了PLMs用于捕獲事實知識的模式，使用了解釋方法。它涉及兩個方面的工作：（1）PLMs中事實知識的探究；（2）神經(jīng)模型的解釋方法。本節(jié)分別對這些工作進行了概述。
概述
本節(jié)詳細介紹了用于回答問題1和問題2的分析框架。圖3提供了一個運行示例來闡明兩階段分析。圖3的左側(cè)部分指的是預(yù)訓(xùn)練階段，其中預(yù)訓(xùn)練樣本包含了關(guān)于“哥倫布”死亡日期的事實知識。利用特征歸因方法，我們量化了每個詞匯在捕獲“1506年5月20日”這一日期方面的貢獻。我們將剩余的詞匯分為三組：KD、PC和HC，每組代表一種
主要結(jié)果
我們選擇了四個使用MLM任務(wù)預(yù)訓(xùn)練的代表性PLMs系列：BERT [9]、RoBERTa [36]、SpanBERT [44] 和 ALBERT [37]。
我們選擇這些PLMs是因為它們涵蓋了不同的預(yù)訓(xùn)練數(shù)據(jù)規(guī)模、模型架構(gòu)和訓(xùn)練策略，使得本文的分析結(jié)果更加可靠。具體來說，BERT作為基礎(chǔ)模型，通過隨機掩碼單個標記來生成預(yù)訓(xùn)練樣本。
討論
本節(jié)提供了從提出的分析框架和結(jié)果中得出的額外見解。它深入探討了不同PLMs捕獲的事實知識的差異，對PLMs中事實知識的歸因方法進行了實證比較，并進行了進一步討論以提供更深入的見解。
結(jié)論
本文提出了一個新穎的兩階段分析框架，專門用于識別和評估PLMs在捕獲事實知識時使用的模式。首先，我們使用兩種典型的歸因方法來衡量PLMs在捕獲事實知識時對三種詞級模式（依賴知識詞匯、位置接近詞匯和高頻率共現(xiàn)詞匯）的依賴性。結(jié)果表明，PLMs更依賴于位置接近且高頻率共現(xiàn)的詞匯，而忽略了依賴于知識本身的線索。
CRediT作者貢獻聲明
李少波：概念化、數(shù)據(jù)整理、調(diào)查、方法論、可視化、撰寫原始稿件、撰寫審稿與編輯。孫成杰：調(diào)查、方法論、監(jiān)督、撰寫審稿與編輯。劉冰泉：調(diào)查、方法論、撰寫審稿與編輯。李曉光：調(diào)查、方法論、撰寫原始稿件、撰寫審稿與編輯。尚立峰：調(diào)查、方法論、撰寫審稿與編輯。董振華：概念化、調(diào)查，
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文報告工作的競爭性財務(wù)利益或個人關(guān)系。
作者同意聲明
本手稿是原創(chuàng)的，之前未發(fā)表過，目前也沒有在其他地方考慮發(fā)表。我們確認所有列出的作者都已閱讀并批準了本手稿，并且沒有其他符合作者資格但未列出的人。我們進一步確認手稿中列出的作者順序已經(jīng)得到批準。我們理解通訊作者是編輯流程的唯一聯(lián)系人。
CRediT作者貢獻聲明
李少波：調(diào)查、可視化、撰寫-審稿與編輯、數(shù)據(jù)整理、撰寫-原始稿件、方法論、概念化。孫成杰：方法論、調(diào)查、撰寫-審稿與編輯、監(jiān)督。劉冰泉：調(diào)查、撰寫-審稿與編輯、方法論。李曉光：撰寫-審稿與編輯、撰寫-原始稿件、方法論、調(diào)查。尚立峰：方法論、撰寫-利益沖突聲明
作者聲明他們沒有已知的可能會影響本文報告工作的競爭性財務(wù)利益或個人關(guān)系。
致謝
本工作得到了中國國家自然科學(xué)基金（項目編號62406087）、山東省自然科學(xué)基金（項目編號ZR2024QF139）、中國科學(xué)院信息與通信技術(shù)研究院國家重點實驗室（項目編號CLQ202406）以及中國科學(xué)院計算機體系結(jié)構(gòu)國家重點實驗室（項目編號CARCHA202104）的支持。
