《Computer Law & Security Review》：Evaluating knowledge-based approaches for legal text analysis: A benchmark study
編輯推薦：
法律自然語言處理領域，ASKE方法通過挖掘法律文本潛在語義結構，在LexGLUE數據集上對比SOTA模型，展現優(yōu)異的文檔分類和知識抽取性能，尤其在EUR-LEX、ECtHR等任務中超越傳統(tǒng)TF-IDF+SVM模型，但弱于Legal-BERT等專用模型。應用場景涵蓋合同分析、判例檢索，局限在于僅支持英語且需改進推理能力。
阿瓦伊斯·阿卜杜勒·哈利克（Awais Abdul Khaliq）|達維德·里瓦（Davide Riva）|斯特凡諾·蒙塔內利（Stefano Montanelli）
米蘭大學（Università degli Studi di Milano），計算機科學系，Via Celoria 18，20133米蘭，意大利
摘要
基于Transformer的架構和大規(guī)模基準測試的最新進展顯著提升了自然語言處理（NLP）的性能。然而，像法律這樣的特定領域由于專業(yè)術語、復雜的語義以及有限的標注數據而帶來了獨特的挑戰(zhàn)。
在本文中，我們使用LexGLUE數據集將ASKE（一種旨在捕捉法律文本中潛在語義結構的知識提取方法）與最先進的法律領域模型進行了基準測試。我們通過偽精確度和偽召回率指標分析了其在不同法律任務中的表現，強調了其優(yōu)勢、局限性和適應性。基于實驗結果，我們討論了ASKE可以有效支持法律文本分析和下游法律信息處理的潛在應用場景。
引言
自從基于Transformer的模型和大規(guī)模基準測試（如GLUE和SuperGLUE）問世以來，自然語言處理（NLP）取得了顯著進展。這些基準測試為通用語言理解任務的標準化評估奠定了基礎，使得模型之間的比較更加一致，并促進了創(chuàng)新[1]、[2]。盡管如此，法律等特定領域仍然存在通用NLP模型和評估數據集難以完全解決的獨特挑戰(zhàn)[3]。
法律文件包括法律條文、法院判決和法律合同，它們在社會正常運作中起著至關重要的作用。然而，由于這些文件具有領域特定的詞匯、復雜的句子結構以及所需的專業(yè)知識，因此難以分析[4]。此外，法律文本通常包含技術性信息，往往需要定制的模型來進行正確的解釋和處理。傳統(tǒng)的監(jiān)督學習方法通常面臨標注數據缺乏和人工注釋成本高昂的問題，這使得它們在法律領域的應用不切實際[5]。
基于Transformer的架構（如BERT及其變體）在過去幾年中在特定領域取得了顯著成果，這得益于機器學習的進步。需要適當的基準測試來評估這些模型在法律文本特定挑戰(zhàn)（如上下文感知的語義和領域特定詞匯）上的能力。法律通用語言理解評估（LexGLUE）就是這樣一種基準測試。LexGLUE是一個全面的NLP模型評估工具，涵蓋了多種法律任務，包括多標簽分類、多類分類和問答。它使用了代表實際法律實踐的數據集，如EUR-LEX、歐洲法院（ECtHR）案例、美國最高法院（SCOTUS）案例和歐盟立法[6]。同時，也開發(fā)了特定領域的模型來改進法律文本分析（例如LegalNLP [7]、LegalBench [8]、IL-TUR [9]、Lextreme [10]、LawBench [11]）。這些模型能夠在沒有大量標注數據的情況下從法律文件中提取有意義的知識。作為這一領域的進一步解決方案，我們最近提出了ASKE [12]。ASKE方法及相關工具旨在利用法律文本的潛在結構和語義來提取法律知識，以概念和關系的形式支持廣泛的下游任務，如文檔分類和法律信息檢索。
在本文中，我們使用LexGLUE數據集將ASKE與幾種最先進的（SOTA）法律文本分析模型進行了基準測試。我們的目標是通過討論該方法的優(yōu)點和局限性，以及其在各種法律任務中的表現來全面評估ASKE。這包括偽精確度和偽召回率指標，這些指標量化了ASKE提取的知識與真實情況的匹配程度。這些指標提供了關于ASKE在不同法律數據集上表現的見解，展示了其在應對法律文本新挑戰(zhàn)時的多功能性和適應性。作為這項工作的進一步貢獻，我們根據實驗結果概述了ASKE可以有效解決法律領域當前挑戰(zhàn)的可能應用場景。
本文的結構如下：第2節(jié)回顧相關文獻；第3節(jié)介紹ASKE的關鍵特性；第4節(jié)詳細說明所使用的LexGLUE數據集；第5節(jié)介紹評估中考慮的最先進模型；第6節(jié)展示實驗結果；第7節(jié)討論ASKE在法律NLP中的潛在應用；最后，第8節(jié)指出局限性和未來工作方向，第9節(jié)提供我們的結論性意見。
節(jié)選內容
文獻綜述
近年來，法律自然語言處理（L-NLP）已成為一個活躍的研究領域，在摘要[13]、信息檢索[14]、[15]、文檔分割[16]、[17]、案例預測[6]、[16]、[18]、語義分析以及信息提取[19]、[20]等任務方面取得了進展。
鐘等人（Zhong et al.）證明，拓撲學習是法律判決預測的極其有效的方法，強調了在法律領域需要定制模型的必要性
ASKE概述
在本節(jié)中，我們概述了ASKE方法，該方法用于從大量法律文檔語料庫中分類和提取法律知識。
給定一個法律文檔語料庫，ASKE的目標是從相關句子/段落（稱為文檔塊）中提取一組相關概念，并將這些概念與相應的概念進行分類。這種分類/提取過程的結果是該語料庫的概念視圖，其中每個概念都可以用來訪問
LexGLUE數據集
LexGLUE數據集被選用于評估ASKE在法律文本分析方面的表現。LexGLUE基準測試包括七個涵蓋不同法律NLU任務的數據集。在本研究中，我們在七個LexGLUE數據集中的六個上評估了ASKE：ECtHR（任務A和B）、SCOTUS、EUR-LEX、LEDGAR和UNFAIR-ToS。我們排除了CaseHOLD，因為它是一個多項選擇題任務，要求從五個候選陳述中識別正確的法律立場。這個任務
評估的模型
ASKE的評估是通過考慮一組最先進的預訓練Transformer模型來進行的。
我們在各種LexGLUE任務上對這些預訓練模型進行了微調，特別是多標簽和多類分類任務。第二組模型包括預訓練的Transformer模型，用于評估ASKE的性能。選擇這些模型是因為它們代表了法律文本特有的挑戰(zhàn)，例如處理長文檔和處理不平衡數據
ASKE在L-NLP中的潛在應用
在LexGLUE數據集上的實驗結果表明，ASKE在多種L-NLP任務中表現出色，包括文檔分類、概念提取和術語增強。接下來，我們概述了ASKE可以有效應用的可能任務。
合同分析。合同審查通常涉及確保合規(guī)性、識別潛在風險以及提取關鍵信息。ASKE提取相關法律術語的能力使得
局限性與未來工作
目前，ASKE僅能處理英文文檔。將ASKE擴展到多語言數據正在考慮中。
實驗結果顯示，ASKE在許多任務上與最先進的模型相當。然而，在需要高級推理或對明確法律文本進行論證的任務（如SCOTUS數據集中的任務）上，它不如專門的基于Transformer的模型（如Legal-BERT和CaseLaw-BERT）表現優(yōu)異。作為一個局限性，我們
結論性意見
在這項工作中，我們使用LexGLUE基準測試中選定的法律數據集，評估了我們的ASKE方法在法律知識提取方面的表現。結果顯示，ASKE在包括ECtHR、SCOTUS、LEDGAR和UNFAIR-ToS在內的多種法律數據集上優(yōu)于所評估的模型。ASKE實驗表明，基線模型（如TFIDF+SVM）被超越，而當考慮最先進的Transformer模型（如BERT和Legal-BERT）時，ASKE提供了有競爭力的結果。
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文所報告工作的競爭性財務利益或個人關系。
