《Automatica》：Two person non-zero-sum linear–quadratic differential game with Markovian jumps in infinite horizon
編輯推薦：
這篇綜述深入探討了無限時域上具有馬爾可夫跳變的非零和線性二次（LQ）微分博弈問題。文章在L2穩定性框架下，通過引入代數Riccati方程（ARE）和倒向隨機微分方程（BSDE）系統，構建了閉環納什均衡點的存在性條件。該研究不僅為隨機控制理論提供了新的數學工具，也為金融、工程等領域的動態決策問題（如資源分配、風險管理）提供了理論支撐，具有重要的理論和應用價值。
亮點 (Highlights)
- •
本文研究了無限時域上具有馬爾可夫鏈切換的非零和線性二次 (LQ) 微分博弈。
- •
在L2穩定性框架下，提出了該問題的可解性條件。
- •
通過耦合的代數Riccati方程 (ARE)和倒向隨機微分方程 (BSDE)系統，表征了閉環納什均衡點。
- •
提供了一個非零和LQ微分博弈的例子，以驗證理論結果。
引言 (Introduction)
在本文中，我們研究了由連續時間馬爾可夫鏈調節的兩人非零和線性二次 (LQ) 微分博弈。所考慮的控制系統由以下線性常微分方程 (ODE) 給出：
?
?
受控系統的狀態空間為 ?n，而兩個參與者的控制輸入分別取值于 ?m1和 ?m2。第k個參與者的成本泛函定義為：
?
?
在本文的其余部分，我們使用以下約定：對于任意給定的D維向量 Θ = [Θ(1), Θ(2), …, Θ(D)]，定義 Θ(αt) ? Σi=1DΘ(i) I(αt=i)，其中 IA是指示函數。對于給定的歐幾里得空間 H，令 LF2,loc(H) 是所有H值、F-漸進可測的過程集合，且對于所有 T > 0，滿足 E∫0T|φ(s)|2ds < ∞。令 LF2(H) （LP2(H)）是所有H值、F-漸進可測（F-可料）的過程集合，且滿足 E∫0∞|φ(s)|2ds < ∞。令 Sn（S+n, S?+n）表示所有 n × n 對稱矩陣（正定矩陣、半正定矩陣）的集合。對于 M, N ∈ Sn，我們記 M ≥ N （M > N）如果 M - N 是半正定（正定）的。
我們考慮一個具有馬爾可夫跳變的兩人非零和LQ微分博弈問題。受控系統由下式給出（為簡潔起見，自變量 t 被省略）：
?
?
兩個參與者的成本泛函定義為：
?
?
在上式中，X ≡ X(·; x, i, u1, u2) 稱為狀態過程，取值于 ?n，uk稱為參與者k的控制過程，取值于 ?mk。我們假設狀態方程和成本泛函中的系數滿足：
b ∈ LF2(?n), qk∈ LF2(?n), ρ1k∈ LF2(?m1), ρ2k∈ LF2(?m2), A(i) ∈ ?n×n, Bk(i) ∈ ?n×mk, Qk(i) ∈ Sn, Rllk(i) ∈ S+ml, Slk(i) ∈ ?ml×n, R12k(i) = R21k(i)?∈ ?m1×m2, Qk(i) ? Skk(i)?Rkkk(i)?1Skk(i) ∈ S?+n, k, l ∈ {1, 2}。
顯然，對于任意初始狀態 (x, i) ∈ ?n× S 和控制對 (u1, u2) ∈ LF2(?m1) × LF2(?m2)，狀態方程 (1) 存在唯一解 X(·; x, i, u1, u2) ∈ LF2,loc(?n)。為確保成本泛函 (2) 定義良好，對于任何給定的初始值 (x, i) ∈ ?n× S，我們引入以下容許控制集：
Uad(x, i) ? {(u1, u2) ∈ LF2(?m1) × LF2(?m2) ∣ X(·; x, i, u1, u2) ∈ LF2(?n)}。
任何元素 (u1, u2) ∈ Uad(x, i) 稱為初始狀態 (x, i) 的容許控制對。然后，LQ微分博弈問題可以定義如下。
問題 (Problem) M-GLQ
對于任何給定的 (x, i) ∈ ?n× S，找到一個 (u1?, u2?) ∈ Uad(x, i)，使得
?
?
任何滿足上述條件的 (u1?, u2?) ∈ Uad(x, i) 稱為初始值 (x, i) 的問題 (M-GLQ) 的開環納什均衡點。此外，如果 b = qk= 0, ρ1k= 0, ρ2k= 0，則相應的問題和成本泛函分別記為問題 (M-GLQ)0和 Jk0(x, i; u1, u2)。
用馬爾可夫鏈為動態系統建模可以更好地描述數學模型的瞬時變化，并已廣泛應用于工程、財務管理和經濟學等各個領域；參見，例如，Ji 和 Chizeck (1990)、Li 和 Zhou (2002)、Sun 等人 (2018)、Wen 等人 (2023) 以及 Zhang 等人 (2010) 及其參考文獻。同時，微分博弈理論在經濟、金融、再保險等領域發揮了重要作用。微分博弈數學理論的一些早期著作包括 (Ba?ar 和 Olsder, 1998, Yeung 等人, 2006)。在非馬爾可夫框架下，Karatzas 和 Zamfirescu (2008) 引入了一種鞅方法來研究控制和停止的連續時間隨機微分博弈。Elliott 和 Davis (1981) 研究了一個兩人零和 Stackelberg 微分博弈，并獲得了該博弈的反饋策略。Fleming 和 Souganidis (1989) 使用動態規劃原理方法和粘度技術研究了一個零和隨機微分博弈的值的存在性。Tang 和 Hou (2007) 通過考慮一個一般的隨機微分系統，推廣了 Fleming 和 Souganidis (1989) 的結果，并制定了相應的切換博弈。關于博弈論在再保險中的應用，我們請感興趣的讀者參考 Bai, Chen 和 Shen, 2019。
值得一提的是，上述大多數文獻只考慮了有限時間范圍內的微分博弈問題。很少有研究考慮無限時域上的微分博弈。Song 等人 (2008) 研究了一個終端時間是停時的體制切換擴散的零和微分博弈。他們使用馬爾可夫鏈逼近技術開發了一種數值方法，并證明了隨機微分博弈的鞍點存在性。然后，Zhu 等人 (2014) 進一步研究了具有馬爾可夫跳變的無限時域齊次LQ隨機納什微分博弈。盡管他們考慮了擴散模型，但控制并沒有進入擴散項�；� Li 等人 (2003) 的現有結果以及配平方法的技術，他們依次獲得了LQ問題和非零和納什博弈的最優控制和具有反饋表示的均衡點。
然而，Li 等人 (2003) 和 Zhu 等人 (2014) 都是在均方穩定意義下研究無限時域LQ問題，其初始工作可以追溯到 Rami 等人 (2000) 和 Rami 和 Zhou (2000)。在這種框架下，很難討論無限時域上的非齊次LQ控制問題，因為構造封閉形式的最優策略需要我們求解一個無限時域上的線性BSDE，其在均方框架下的可解性很難獲得。最近，Huang 等人 (2015) 在L2可穩性框架下制定了一個具有平均場的無限時域LQ問題�；诖丝蚣埽琒un 等人進一步研究了無限時域上的非齊次零和LQ隨機微分博弈。為了構造閉環鞍點，他們研究了一類無限時域上的線性BSDE，并在L2穩定條件下獲得了其可解性。然后，基于這些結果，他們通過一個具有特定穩定條件的代數Riccati方程和一個無限時域上的線性BSDE的解來描述閉環鞍點。
本文考慮了無限時域上具有馬爾可夫跳變的非零和非齊次LQ微分博弈。盡管本文與 Zhu 等人 (2014) 的唯一區別在于添加了非齊次項，但兩篇論文差異很大。首先，我們應該在L2可穩性框架下制定我們的問題，而不是均方穩定意義，因為存在非齊次項。為此，我們需要將 Huang 等人 (2015) 引入的L2可穩性控制系統框架擴展到由馬爾可夫鏈調節的框架。其次，為了構造閉環均衡策略，我們還需要研究一類在L2穩定框架下由馬爾可夫鏈驅動的線性BSDE的可解性。所有這些都使我們的工作與 Zhu 等人 (2014) 的工作有顯著不同，反過來也使我們的工作有意義。
本文的其余部分組織如下。第2節旨在研究具有馬爾可夫跳變的線性系統的L2穩定性，并研究無限時域上由馬爾可夫鏈驅動的一類線性BSDE的可解性。第3節分析了具有馬爾可夫跳變的非齊次LQ最優控制問題，并獲得了相應的閉環最優策略�；谶@些結果，第4節研究了非零和非齊次LQ微分博弈。第5節通過提出兩個具體例子來說明前幾節中得出的結果，從而結束本文。
