《Computers and Geotechnics》：A novel large language model–inspired transformer framework for reconstructing subsurface soil properties at untested locations from sparse cone penetrometer test data
編輯推薦：
自監督學習與Transformer架構結合用于從稀疏CPT數據中三維重建土壤屬性，通過動態掩碼增強數據并改進注意力機制捕捉空間依賴，同時集成異質性模型量化不確定性。實驗表明其性能優于GLasso、ASSD-BCS、GeoWarp和BNN-BO，且計算效率高。
劉倩標|邁克爾·貝爾托拉奇|弗雷澤·布蘭斯比|蒂姆·弗倫奇|菲爾·沃森
西澳大利亞大學地球與海洋學院海洋基礎系統中心，澳大利亞珀斯
摘要 由于土壤空間變異性以及數據集在橫向上的稀疏性，從圓錐貫入試驗（CPT）數據中準確表征地下條件仍然具有挑戰性。盡管具有注意力機制的變換器在捕捉不同領域中的復雜依賴關系方面表現出強大能力，但它們在CPT數據中建模空間依賴關系的應用尚未得到充分探索。受到大型語言模型訓練策略和架構的啟發，我們提出了一種新穎的地質技術自監督學習框架（GSSLF），該框架能夠利用不完整且分布稀疏的CPT數據重建未測試位置的地下土壤特性。GSSLF整合了一種自監督掩碼策略來增強有限的訓練數據，并采用了一種定制的基于變換器的架構（GeoFormer）以及改進的注意力機制來適應性地捕捉空間依賴關系。此外，還結合了一個異方差模型以提供可靠的概率預測并量化相關不確定性。與文獻中的其他最近開發的數據驅動方法（GLasso、ASSD-BCS、GeoWarp和BNN-BO）相比，GSSLF在三個基準數據集上展示了具有競爭力的性能、穩健的準確性和可靠的不確定性估計。它實現了高計算效率，從而能夠高效地進行高分辨率的三維地下建模。此外，研究發現，在CPT數據有限的場景中，引入相對位置編碼對于基于注意力的深度學習更為有利。這些發現突顯了GSSLF作為穩健且高效的地下建模工具的潛力，有助于進行確定性和基于可靠性的地質技術設計和規劃。
引言 大型語言模型（LLMs），如生成預訓練變換器（GPT-4）（Achiam等人，2023年），徹底改變了人工智能領域。這一成功在很大程度上歸功于注意力機制，該機制使模型能夠適應性地關注輸入中最相關的部分，從而有效捕捉全局和長距離依賴關系（Vaswani等人，2017年）。鑒于其在建模空間依賴關系方面的有效性，注意力機制已成為各種空間預測任務的有前景的工具。例如，它已成功應用于交通流量預測（Guo等人，2024年）、降雨預報（Li等人，2023年）以及地質技術領域的滑坡災害概率評估（Huang等人，2025年），使深度學習模型能夠動態捕捉數據集中的復雜空間依賴關系和關系。鑒于其在捕捉此類關系方面的巨大潛力，基于注意力的模型為地質技術場地特征化提供了一種新的方法，尤其是在空間變異性和不確定性構成重大挑戰的情況下。
由于復雜的地質和環境因素導致的土壤空間變異性（Phoon和Kulhawy，1999年），以及場地調查（SI）數據的有限可用性，使得表征土壤特性的空間分布變得特別具有挑戰性（Phoon等人，2022a）。圓錐貫入試驗（CPT）是一種廣泛用于收集原位SI數據的方法，能夠以經濟高效的方式提供土壤特性的詳細垂直剖面（Lunne等人，1997年）。CPT通過逐步將帶儀器的圓錐插入地面并在固定間隔（通常為20毫米）收集關鍵土壤阻力參數（如圓錐尖端阻力qc 和套管摩擦fs ）來操作（ISO，2023年）。這些測量提供了土壤特性的指示。然而，特定項目中進行的CPT次數受到時間和預算限制，導致現場測量在水平面上分布稀疏。這給表征土壤特性的三維（3D）空間分布帶來了困難。
已經開發了基于CPT數據的地質統計技術來插值地下土壤的空間特性（例如，Zou等人（2017年））。通過假設空間自相關性來明確建模空間依賴關系，這些方法可以提供未測試位置的土壤特性估計。克里金法（Kriging）是一種流行的地質統計工具，用于場地特征化，提供基于變異函數的空間插值以及不確定性量化。然而，克里金法通常依賴于一些關鍵假設（例如殘差的穩定性），并且在建模選擇上具有一定程度的主觀性，特別是在指定變異函數模型及其參數時（Xu等人，2021年）。這些因素可能會影響克里金法的估計結果（Nwaila等人，2024年）。鑒于CPT數據在水平面上往往有限且稀疏，克里金法也難以穩健地估計空間結構的關鍵參數（例如波動的水平尺度）（Cami等人，2020年），可能會導致結果中的不確定性增加（Chen等人，2023年）。
最近，數據驅動方法因它們直接從測量的CPT數據估計土壤特性的潛力而受到廣泛關注（Phoon等人，2022a）。最近開發了多種用于地下建模的方法，包括基函數表示模型（如貝葉斯壓縮感知（BCS）和地質技術套索（GLasso）（Lyu等人，2023年；Shuku和Phoon，2021年；Wang和Zhao，2017年）、空間過程模型（如GeoWarp；Bertolacci等人，2024年）以及基于神經網絡的方法（Chen等人，2023年；Liu等人，2025a；Samui和Sitharam，2010年）。在這些方法中，神經網絡（NNs）因其強大的建模復雜非線性關系的能力而顯得特別有前景。例如，帶有貝葉斯優化的貝葉斯神經網絡（BNN-BO）已被用于學習從空間坐標到土壤特性的概率映射，從而實現點預測和不確定性量化（Liu等人，2025a）。然而，現有的NN方法依賴于監督學習框架，其中模型性能主要受限于用于訓練或校準的測量CPT數據的可用性（通常有限）。這種依賴性可能導致泛化（預測）能力不佳，特別是在數據有限且無法提供代表性訓練樣本的情況下，從而給NN方法捕捉土壤特性的空間變異性帶來額外挑戰。
為了解決上述挑戰，本研究借鑒了自監督學習（SSL）的思路，SSL能夠在標記數據有限的情況下有效學習，并通過構建特定的 pretext任務（例如基于掩碼的目標）來提高泛化能力（Devlin等人，2018年；Rani等人，2023年）。SSL的一個優點在于它可以通過隨機掩碼輸入序列中的一部分“標記”，然后訓練模型根據周圍上下文預測這些被掩碼的元素，從而減少對標記數據的依賴。這種掩碼機制為緩解訓練數據不足的問題提供了新的方向（Huang等人，2024年）。SSL也已在空間預測任務中成功應用，例如降雨預報（Li等人，2023年），證明了其在數據有限情況下提高預測性能的潛力。
因此，本文提出了一種新穎的地質技術自監督學習框架（GSSLF），該框架結合了基于變換器的架構（一種配備了注意力機制的先進NN）和SSL，從而能夠從稀疏的CPT數據中有效重建土壤特性的3D空間分布。該框架包括兩個關鍵組成部分：
(a) 一種類似變換器的架構（GeoFormer），其中設計了一種改進的注意力機制來適應性地捕捉復雜的空間依賴關系，并結合了一個異方差模型來生成土壤特性的概率預測并量化相應的不確定性。
(b) 一種SSL策略，該策略采用動態掩碼策略，僅使用有限的CPT數據顯著增強訓練樣本。
第2節提出了GSSLF，第3節和第4節詳細介紹了SSL和GeoFormer的構建方法。第5節詳細說明了實施過程。第6節進行了全面的比較研究以展示GSSLF的性能，第7節和第8節分別提供了討論和結論性意見。
節選 BERT和掩碼語言建模 GSSLF受到了BERT（雙向編碼器表示來自變換器）的啟發，BERT是一種眾所周知的變換器模型，它通過使用掩碼語言建模（MLM）和注意力機制有效捕捉全局和長距離依賴關系（Devlin等人，2018年）。如圖1a所示，BERT采用MLM作為SSL策略，通過隨機掩碼輸入序列中的一部分標記，從而使數據能夠自我監督模型的訓練，而無需
將CPT數據轉換為序列格式并進行自監督訓練 我們假設一個被調查的場地包括M 個觀測到的CPT（現場測量的數據）和K 個感興趣的預測位置（待推斷的未測試數據），每個位置被離散為Nd 個深度層次（即沿深度剖面的測量點）。實際上，由于圓錐在強膠結層中的拒入或其他原因，某些深度的觀測數據可能缺失。在所提出的框架中，
用于3D地下建模的GeoFormer模型 本節描述了一種新的基于注意力的深度學習模型（稱為GeoFormer），該模型專為在CPT數據稀疏的情況下恢復地下地質技術特性而設計。GeoFormer使用前一節中描述的自我監督CPT序列進行訓練。通過這一過程，GeoFormer能夠適應性地學習CPT數據中的上下文信息和空間依賴關系。一旦訓練完成，GeoFormer可以應用于每個深度層次構建的CPT序列，
所提出方法的實施程序 圖7展示了如何在CPT數據稀疏的情況下應用GSSLF來重建地下地質技術特性。實施程序如下。
(1) 數據收集和預處理： 在M N K R
比較研究和結果分析 通過與四種最近開發的用于3D地下建模的數據驅動方法（GLasso（Shuku和Phoon，2021年）、ASSD-BCS（Lyu等人，2023年）、GeoWarp（Bertolacci等人，2024年）和BNN-BO（Liu等人，2025a）進行比較分析，驗證了GSSLF的有效性。所選的基線代表了不同的建模策略，包括基函數表示方法（GLasso、ASSD-BCS）、空間過程模型（GeoWarp）和概率神經網絡方法（BNN-BO）。評估
討論 通過上述比較研究觀察到，GSSLF在地下地面建模中可能具有優勢，表現出強大的整體性能，同時保持高計算效率。本節詳細介紹了該方法的四個關鍵特點/機會。
結論 本研究提出了GSSLF，這是一種新穎的受LLM啟發的自監督學習框架，專為基于不完整和分布稀疏的現場CPT數據重建土壤特性的空間分布而設計。GSSLF通過兩項關鍵創新支持地質技術場地特征化：(i) 一種類似變換器的架構（GeoFormer），具有改進的注意力機制，能夠適應性地捕捉空間依賴關系；(ii) 一種自監督掩碼策略，用于增強
CRediT作者貢獻聲明 劉倩標： 撰寫——原始草稿、方法論、形式分析、數據整理。邁克爾·貝爾托拉奇： 撰寫——審閱與編輯、監督。弗雷澤·布蘭斯比： 撰寫——審閱與編輯、監督、資金獲取、概念化。蒂姆·弗倫奇： 撰寫——審閱與編輯、監督、資金獲取、概念化。菲爾·沃森： 撰寫——審閱與編輯、監督、資金獲取、概念化。
利益沖突聲明 作者聲明他們沒有已知的競爭性財務利益或個人關系可能會影響本文報告的工作。
致謝 本文介紹的項目得到了ARC ITRH的支持，該項目通過數字 工程 （TIDE，http://TIDE.edu.au）來轉變能源基礎設施，該項目由西澳大利亞大學 （UWA）領導，并與伍倫貢大學 以及多個澳大利亞和國際研究合作伙伴共同實施，得到了澳大利亞研究委員會 、INPEX Operations Australia、Shell Australia、Woodside Energy 、Fugro 、Wood Group Kenny Australia、RPS Group、Bureau Veritas 等機構的資助
