《Computers and Electrical Engineering》：Power engineering domain pretrained language model with natural language processing benchmarks
編輯推薦：
為解決電力工程領域自然語言處理（NLP）研究缺乏專用的預訓練模型和評測基準的問題，來自成均館大學的研究人員通過收集近百萬篇公開的電力工程論文摘要，構建了領域專用語料庫，并在此基礎上預訓練了PoE BERT模型，同時首次提出了包含文檔分類、問答（QA）和命名實體識別（NER）三個任務的電力工程NLP基準。實驗結果表明，PoE BERT模型在參數規模相近的情況下，相比基礎BERT-small模型平均性能提升約13%，顯著提高了該領域NLP任務的性能。這項研究為電力工程領域的NLP應用提供了關鍵模型與評測資源，推動了該領域人工智能研究的深入。
在人工智能浪潮席卷各行各業的今天，電力工程這個關乎國計民生的古老而關鍵的學科，卻顯得有些“安靜”。電力工程專注于電力的生產、傳輸、分配和使用，是支撐現代社會運行的基石。隨著全球能源轉型加速，可再生能源占比不斷提升，對電力系統的規劃、運行和維護提出了更高要求。然而，與生物醫學、法律、金融等領域相比，先進自然語言處理（NLP）技術在電力工程領域的應用相對滯后。盡管已有研究嘗試利用大型語言模型（如ChatGPT、Claude等）輔助電力工程師進行軟件編碼或從應急計劃中提取信息，但此前尚無專門針對電力工程領域文本進行預訓練的模型，也缺乏一套統一、公開的NLP任務基準來評估模型性能。這就像面對一座蘊含豐富知識的礦山，卻沒有趁手的開采工具和統一的礦石質量標準。
為了填補這一空白，來自韓國成均館大學應用人工智能系的研究團隊（Kyubum Hwang, Mirae Kim等）開展了一項開創性的工作。他們認識到，電力工程領域與生物醫學領域具有相似特征：知識密集、專業術語和縮略語眾多，且公開可用的標注數據稀缺。借鑒生物醫學領域通過領域專用預訓練（如BioBERT、PubMedBERT）顯著提升模型性能的成功經驗，研究團隊決定為電力工程領域“量身定制”一套解決方案。他們的核心目標有二：一是構建一個高質量的電力工程領域語料庫，并基于此預訓練一個專門的模型；二是建立該領域首個NLP基準，為未來的研究提供評測標準。這項研究成果最終發表在了《Computers and Electrical Engineering》期刊上。
研究人員開展這項工作，主要運用了以下幾個關鍵技術方法：首先，他們以“電力工程”為關鍵詞，耗時三個月收集了2004年至2023年間約98萬篇開放獲取論文的摘要，構建了包含近2.15億詞匯的領域專用語料庫，并使用t-SNE可視化驗證了其與通用領域文本的分布差異。其次，他們基于RoBERTa的訓練方法而非原始BERT，采用BERT-small架構（約2900萬參數）在A100 GPU上對語料庫進行了100個周期的領域自適應預訓練，得到了PoE BERT模型，并使用偽復雜度（PPPL）指標評估了預訓練效果。最后，他們利用該語料庫，通過人工標注結合GPT-4 Turbo模型半自動生成的方式，構建了包含三個任務的電力工程NLP基準：文檔分類（二元、四類、十四類）、抽取式問答（QA）和命名實體識別（NER），其中NER任務定義了電力網絡、電站設施、設備組件、能源來源等七個實體類別。
研究結果部分如下：
5.1. 文檔分類
在文檔分類任務中，PoE BERT模型在二元分類（區分電力工程與其他領域文檔）、四類分類和十四類分類（按出版主題劃分）中，幾乎在所有評估指標（準確率、精確率、召回率、F1分數）上都優于包括SciBERT、RoBERTa、BERT-base、BERT-small等在內的基線模型。特別是在任務復雜度較高的十四類分類中，相比性能最差的DistilBERT模型，PoE BERT的F1分數提升了約17.82%，表明領域學習在任務復雜時效率更高。盡管在二元分類中，PoE BERT的召回率略低于在大規模通用語料上訓練的RoBERTa，但其在準確率、精確率和F1分數上均表現最佳。
5.2. 問題回答
在抽取式問答任務中，RoBERTa模型在精確匹配（Exact Match）和F1分數上均取得了最高分。PoE BERT模型的F1分數比RoBERTa低約2.81%。研究人員分析認為，這是因為RoBERTa在約160GB的更大規模通用數據集上進行了預訓練，使其能夠處理更多樣化的問答模式。然而，值得注意的是，參數量僅為RoBERTa約四分之一的PoE BERT模型，其性能與RoBERTa差距不大，這表明在領域特定任務中，高質量的領域語料可以在一定程度上彌補預訓練數據規模上的不足。
5.3. 命名實體識別
在命名實體識別任務中，PoE BERT模型在精確率、準確率和F1分數上全面超越了所有基線模型，展現出在識別電力工程專業術語和實體方面的強大優勢。盡管其召回率略低于在科學領域文本上預訓練的SciBERT模型，但PoE BERT的F1分數比使用相同參數量的BERT-small模型高出約25.80%，性能提升最為顯著。這充分說明領域特定預訓練對于提升模型理解和識別專業術語的能力至關重要。
結論與討論
本研究的實驗結果表明，在電力工程領域進行領域自適應預訓練能夠顯著提升NLP模型的性能。盡管PoE BERT模型參數量較�。s2900萬），但在其專門構建的三個基準任務上，平均性能相比同參數量級的BERT-small提升了約13%。尤其是在命名實體識別和復雜文檔分類任務上提升明顯，這凸顯了領域預訓練對于模型掌握專業術語和細粒度領域知識的重要性。本研究的主要貢獻在于：1) 構建了基于近百萬篇論文摘要的電力工程領域語料庫；2) 提出了高效、參數規模適中的領域專用預訓練語言模型PoE BERT；3) 首次建立了一套覆蓋文檔分類、問答和命名實體識別的電力工程NLP基準，為后續研究提供了統一的評測平臺。
當然，研究也存在一些局限性。例如，預訓練語料僅使用了論文摘要，未包含全文中的詳細方法、公式和圖表；基準任務尚未涵蓋故障報告解析、標準規范關聯等更貼近工業實際的應用場景；評估基于單次實驗，未進行多次重復的統計顯著性檢驗等。未來的工作可以擴展至全文、技術報告和工業文檔，納入多模態信息，并在更廣泛的基線模型和預訓練策略下進行系統比較與消融分析。
盡管如此，這項研究為電力工程領域的自然語言處理研究奠定了重要基礎。它證明了經過精心策劃的人工生成文本數據在專業領域AI應用中的巨大價值。通過提供專用的模型和基準，該工作有望加速NLP技術在電力系統自動化、智能運維、知識管理等場景的應用，從而助力全球能源轉型和電力行業的智能化升級。
