《Communications in Nonlinear Science and Numerical Simulation》：An adaptive piecewise-weighted loss strategy for improving physics-informed neural networks in solving PDEs
編輯推薦：
本文提出一種基于概率建模的自適應分段加權物理信息神經網絡（APW-PINN），旨在解決傳統物理信息神經網絡（PINN）在多約束訓練中面臨的梯度失衡、收斂不穩及對噪聲敏感等問題。該策略通過Smooth L1損失統一高斯與拉普拉斯分布的負對數似然，構建了一個可隨訓練學習噪聲尺度參數的自適應損失函數。理論分析表明，該方法可在不同誤差尺度下提供自適應且有界的梯度權重，有效平衡多損失項間的梯度，并抑制由高頻結構或噪聲擾動引起的優化振蕩。數值實驗在多種典型偏微分方程（PDE）（包括Boussinesq方程、Helmholtz方程和Klein-Gordon方程）上驗證了其在收斂效率、求解精度和噪聲魯棒性上的顯著優勢。
Probabilistic formulation of PINN loss function (物理信息神經網絡損失函數的概率化表述)
在物理信息神經網絡中，損失函數衡量了神經網絡預測與物理可行解之間的接近程度。不同的損失度量，例如L2（均方誤差）或L1（平均絕對誤差），基于不同的假設并對優化過程產生不同影響。本文的核心是將PINN的優化過程視為對一個概率分布的學習過程。通過這種方式，損失函數的設計可以與殘差的概率模型聯系起來。這種概率視角不僅為不同損失項間的梯度失衡提供了理論解釋，也為開發基于概率建模的自適應加權策略奠定了基礎。例如，高斯（Gaussian）分布和拉普拉斯（Laplace）分布分別對應于均方誤差和平均絕對誤差，這揭示了損失函數類型與噪聲模式之間的內在一致性。
Proposed method (提出的方法)
我們在傳統PINN的基礎上，引入一種自適應分段加權機制，并將其命名為APW-PINN。與現有PINN變體不同，APW-PINN采用了一種分段自適應損失函數，能夠在訓練過程中適應不同的殘差模式。對于每個索引為k的損失分量（例如偏微分方程殘差或初邊值條件），在每次迭代時的殘差向量被定義為 εk(j)。該框架的核心是，將Smooth L1損失（SL1）的結構與高斯分布和拉普拉斯分布的負對數似然相結合，從而構建一個統一的損失函數。這使得模型能夠通過一個可學習的噪聲尺度參數σ，在不同殘差水平下平滑地在二次懲罰和線性懲罰機制之間切換。這種設計使得APW-PINN能夠動態估計殘差的統計特性，并自適應地分配損失權重，從而有效緩解了多項約束之間的梯度競爭，提升了訓練的穩定性和對噪聲的魯棒性。
Numerical experiments (數值實驗)
本章通過數值實驗比較了APW-PINN與傳統PINN方法在求解正向和逆向偏微分方程問題上的表現。我們在三個典型方程的正向問題上系統評估了方法的性能，包括Boussinesq方程、Helmholtz方程和非線性Klein-Gordon方程。此外，還研究了針對Boussinesq方程的逆問題參數辨識任務。為了評估模型的魯棒性，我們在訓練數據集中添加了高斯噪聲，生成帶噪聲的樣本unoisy。實驗結果表明，得益于其可解釋的概率分段加權機制，APW-PINN在多種復雜物理問題的求解中，在收斂穩定性、求解精度以及對噪聲的魯棒性方面均顯著優于傳統PINN及其單一分布變體（PINN-G和PINN-L）。即使在高達10%的噪聲水平下，APW-PINN在Boussinesq方程的參數辨識任務中仍能將參數誤差保持在1%以內，進一步證實了其出色的魯棒性和泛化能力。
