《Computer Methods in Applied Mechanics and Engineering》：Latent attention operator network with augmented representation for complex PDE systems in intricate geometries
編輯推薦：
本文提出隱空間注意力操作網絡（LAON），通過物理自適應門控編碼機制與隱空間操作回歸的協同，有效捕捉復雜幾何域中的局部非線性物理動態。實驗表明LAON在多種PDE基準測試和實際工業場景中優于現有模型，相對精度提升超10%。
作者：Lehan Sun、Zhiming Li、Qianchuan Zhao
單位：清華大學自動化系智能與網絡系統研究中心，中國北京
摘要
潛在空間神經替代模型作為一種強大的算子學習方法，具有較高的預測準確性、計算效率和架構靈活性。盡管具有這些優勢，現有方法往往存在潛在物理模式退化以及無法充分捕捉動態物理相互作用的問題，尤其是在幾何結構復雜或物理耦合的領域中。為了解決這些問題，我們提出了潛在注意力算子網絡（LAON），它將門控的物理自適應內在模式編碼機制與潛在空間算子回歸相結合。這種協同作用使得在任意幾何域中對復雜物理場的演變和相互作用進行高保真建模成為可能，顯著提升了捕捉局部非線性動態的能力。我們在一系列偏微分方程（PDE）基準測試和來自現實汽車行業的具有挑戰性的場景中系統地評估了LAON的性能。實驗結果表明，LAON的性能優于主流的基于注意力的神經PDE替代模型，在多個任務中實現了超過10%的相對提升，證明了其在模擬潛在物理特性方面的優越性。
引言
物理過程的建模和仿真是科學研究和工程應用的基礎。它們在流體力學[1]和地球物理學[2]等學科中發揮著關鍵作用，并且在從空氣動力學設計[3]到心血管診斷[4][5]等工業領域中也非常重要。這些物理過程通常由偏微分方程（PDE）及其相關的守恒定律來描述，而其準確高效的數值解仍然是一個核心挑戰。傳統的數值求解方法（如有限元方法和有限體積方法）雖然可以通過網格細化實現高精度，但常常面臨計算成本高、難以對復雜幾何形狀進行網格劃分以及對數值噪聲敏感等限制。這些限制促使人們越來越關注數據驅動的替代模型，以加速物理過程仿真并深入理解其背后的機制。
用于PDE的數據驅動替代模型大致分為兩類：基于投影的降階模型（ROMs）和神經替代模型。基于投影的ROMs[6][7][8][9]采用侵入式或非侵入式策略將解投影到降階基空間，將原始問題重新表述為基函數系數的學習過程。雖然在這些特定情況下有效，但它們的求解性能嚴重依賴于高保真數據的可用性和問題的良好結構化表述，且在處理涉及復雜幾何配置的問題時適應性有限。
深度學習的最新進展推動了基于神經網絡的替代模型的快速發展，這些模型旨在為復雜物理系統構建高效準確的數據驅動替代模型。其中，算子學習方法[10][11]成為了一個有前景的研究方向。與物理信息神經網絡（PINNs）[12][13]不同，后者通過最小化殘差損失來求解單個PDE實例，算子學習直接逼近問題參數到解函數之間的映射。這種基于算子的框架能夠快速推理并在廣泛的輸入條件下進行泛化，包括分布外的情況，因此非常適合許多科學和工程應用。
盡管取得了最新進展，算子學習方法在復雜幾何形狀上準確求解PDE時仍面臨挑戰，尤其是在不規則或非結構化領域中。為了解決這個問題，一些研究探索了使用圖神經網絡（GNNs）作為PDE替代模型[14][15]，利用它們通過局部消息傳遞處理非結構化網格數據的能力。盡管GNN基方法在捕捉局部相互作用方面表現出色，但在模擬長距離依賴性和全局物理結構時往往存在困難，尤其是在大規模或高度耦合的系統中。作為回應，潛在空間神經替代模型受到了越來越多的關注。這些方法旨在將內在物理模式提取到緊湊的潛在表示中，從而提高算子學習在復雜領域中的可擴展性和靈活性。
潛在空間方法通過將高維輸入數據投影到表示內在物理模式的低維流形上來處理PDE的復雜性。然后在這個潛在空間中進行算子學習，以模擬這些模式之間的相互作用并捕捉物理系統的演變[16][17]。然而，大多數現有方法依賴于全局聚合的潛在表示，這限制了它們解析局部物理動態的能力。這種全局編碼通常會導致潛在模式的同質化，使不同的物理模式變得模糊，尤其是在空間變化劇烈或多物理耦合的區域，從而降低模型的保真度[18]。準確識別特定區域的潛在模式并提高模型對局部變化的敏感性對于減輕模式退化和在復雜幾何形狀上改進潛在空間算子學習至關重要。
為了克服現有潛在神經PDE替代模型的局限性，特別是它們在捕捉精細局部物理和潛在物理模式退化方面的不足，我們提出了一種新型模型，稱為潛在注意力算子網絡（LAON）。LAON提出了一個物理自適應的潛在空間學習框架，旨在改善內在物理模式的表示和復雜相互作用的建模。具體來說，我們方法的核心是一個門控的潛在模式編碼機制，該機制能夠動態響應輸入的物理場。通過執行物理特征選擇和空間加權，它在空間到潛在的映射中實現了逐點的自適應稀疏性，從而增強了由物理規律控制的局部特征的提取。在潛在空間學習中，利用潛在物理模式的熵重要性因子來指示代表復雜物理特性的相關模式。這通過熵加權的注意力機制促進了潛在空間中物理動態的更準確建模。我們在一系列PDE基準測試中評估了LAON的性能，包括標準任務和來自汽車行業的大規模3D場景。實驗結果表明，LAON具有競爭力強的準確性，能夠很好地捕捉潛在的物理行為，并且能夠適應復雜的幾何形狀。
總體而言，本研究的主要貢獻如下：
- 1.
我們提出了一種門控的物理自適應編碼機制，使每個局部區域能夠動態關注其最相關的物理特性。這有助于有效的特征解耦，從而產生更具區分性的潛在物理模式表示。
- 2.
為了更好地捕捉潛在物理模式之間的相互作用，我們將熵信息整合到注意力因子中，克服了潛在空間學習中復雜物理動態表示不足的問題。
- 3.
在多種PDE基準測試中的全面實驗表明，LAON的性能優于現有的基于注意力的神經PDE替代模型，在涉及復雜或不規則幾何形狀的場景中實現了超過10%的相對提升。
部分摘錄
算子學習
雖然物理信息神經網絡[13]推動了深度學習在物理系統建模中的應用，但它們在泛化能力、計算效率和適用于具有稀疏或不確定物理信息的復雜系統方面仍存在局限性。作為替代方案，算子學習因其能夠近似兩個無限維函數空間之間的映射而受到越來越多的關注。
方法
為了提高潛在神經PDE替代模型捕捉局部物理動態的能力并減輕模式退化，我們提出了潛在注意力算子網絡（LAON）。LAON的核心是一個算子回歸層，它執行三個步驟的過程：首先對輸入特征進行稀疏編碼，將其映射到潛在物理空間；然后捕捉內在物理模式的全面相互作用；最后進行解碼。
實驗
在本節中，我們對提出的潛在注意力算子網絡（LAON）進行了數值仿真，以驗證其有效性。為了全面評估其在涉及復雜幾何域的各種PDE問題中的實際性能，實驗數據集涵蓋了從2D非結構化網格問題到具有復雜幾何配置和3D工業應用的各種場景：
結論與未來工作
在本文中，我們提出了用于復雜幾何域中PDE問題的潛在注意力算子網絡（LAON）。我們設計了一種門控評分機制，該機制在潛在空間中生成高質量的物理模式表示，確保了物理本質的更準確編碼。此外，在潛在空間學習階段，LAON采用由模態熵加權的注意力機制，系統地增強了模型捕捉物理相互作用的能力。
作者貢獻聲明
Lehan Sun：撰寫 – 審稿與編輯、撰寫 – 原稿、方法論、調查、形式分析、概念化。Zhiming Li：可視化、驗證、軟件、數據管理。Qianchuan Zhao：撰寫 – 審稿與編輯、監督、資源管理、項目協調、概念化。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文所述的工作。
