編輯推薦：
本刊特邀推薦：卷積神經網絡(CNN)的性能分析常受限于高維結構帶來的計算復雜度。為解決CNN的魯棒性評估難題，研究團隊開創性地提出將其視為二維Lur'e系統進行分析。通過將卷積層實現為二維線性系統的狀態空間形式，并利用魯棒控制理論中的耗散性和積分二次約束(IQC)工具，該工作建立了一套基于二維系統理論估計CNN Lipschitz常數的半定規劃(SDP)框架。此項研究發表于《Automatica》，首次建立了二維系統理論與CNN分析的橋梁，為評估CNN對抗擾動的穩健性提供了比現有方法更具可擴展性的新途徑。
深度學習的巨大成功在很大程度上歸功于神經網絡架構的演進，其中卷積神經網絡(CNN)因其在圖像和音頻處理等領域的卓越表現而成為明星模型。然而，一個日益凸顯的挑戰是評估這些網絡的“魯棒性”——即其對輸入微小擾動的抵抗能力。這在實際應用中至關重要，例如在自動駕駛中，一個經過巧妙修改、人眼難以察覺的“對抗性”圖像可能導致模型做出災難性的錯誤判斷。衡量這種魯棒性的一個關鍵指標是網絡的Lipschitz常數，它量化了網絡輸出相對于輸入變化的敏感程度。但精確計算現代CNN的Lipschitz常數已被證明是NP難問題，而現有的估計方法要么過于保守，要么計算代價高昂，難以擴展到處理高維圖像數據的實際CNN架構。更根本的是，現有方法通常將CNN視為高維的全連接網絡進行處理，未能充分利用其內在的、由卷積操作所定義的移位不變性結構，這導致了分析上的效率瓶頸。為了破解這一困局，一項發表于控制領域頂級期刊《Automatica》的研究提出了一種全新的視角：將卷積神經網絡重新詮釋為“二維動力系統”。該研究由Dennis Gramlich, Patricia Pauli, Carsten W. Scherer和Christian Ebenbauer合作完成。他們發現，通過將卷積層在狀態空間(state-space)中實現，其卷積核可視為線性濾波器的脈沖響應。由此，整個由卷積層和激活函數組成的CNN，可以被視作一個“二維Lur’e系統”——即一個與靜態非線性分量互連的線性動力系統。這一視角的革命性在于，它使得研究者能夠調用成熟而強大的魯棒控制理論工具，特別是耗散性理論和積分二次約束，來高效地估計CNN的Lipschitz常數，從而為評估其對抗對抗性攻擊的穩健性開辟了一條更具可擴展性的新道路。
為了開展這項研究，作者們主要運用了以下幾個關鍵技術方法：首先，他們為卷積層建立了基于Roesser或Fornasini-Marchesini模型的二維線性時不變(LTI)系統狀態空間表示。其次，他們將包含激活函數的整個CNN框架定義為二維Lur’e系統。接著，他們將耗散性理論和積分二次約束(IQC)的分析工具擴展并應用到二維系統設置中。最后，他們基于此框架，構建了一個用于估計CNN的?2-Lipschitz常數的凸優化問題，具體表現為一個半定規劃(SDP)。該方法的優勢在于其固有的可擴展性，因為它直接利用了CNN的二維移位不變結構，而非將其嵌入到維度更高、結構更稀疏的全連接網絡中進行處理。
2. 全卷積神經網絡與二維系統
該研究首先對全卷積神經網絡進行了嚴格的數學定義，將其視為在兩個獨立變量（如圖像的空間維度）上操作的信號算子。通過將卷積核解釋為有限脈沖響應(FIR)濾波器，并利用移位算子，研究者證明了卷積層對應于線性時不變的二維系統。這一部分的關鍵結論是：標準的卷積層操作在數學上等價于一個具有特定結構的二維FIR濾波器。
3. 二維系統的耗散性
為了分析由二維系統表示的CNN，研究者將一維系統的耗散性理論推廣到了二維場景。他們引入了適用于二維Roesser系統的存儲函數和供給率概念，并建立了相應的耗散性定理。這部分的核心結論是：可以通過尋找滿足特定線性矩陣不等式(LMI)條件的存儲函數矩陣，來證明二維系統具有所期望的耗散性性質（如?2增益性能），這為后續的Lipschitz常數分析奠定了理論基礎。
4. 估計Lipschitz常數
這是研究的核心應用部分。研究者將CNN建模為一個反饋互連系統：線性部分（由所有卷積層的二維狀態空間模型串聯而成）與非線性部分（由所有扇區有界、斜率受限的激活函數并聯而成）。通過對此二維Lur’e系統應用積分二次約束，他們將CNN的?2-Lipschitz常數估計問題，轉化為一個尋找合適存儲函數矩陣的凸優化問題，具體表現為一個半定規劃。該SDP的可行性直接給出了Lipschitz常數的一個上界。這部分得出的最重要結論是：提出了一種基于二維系統理論和IQC的、用于估計CNN Lipschitz常數的可計算凸規劃框架。與將CNN展開為大型全連接網絡的傳統方法相比，該方法通過利用卷積結構的時空特性，有望顯著提升計算效率，并能處理任意尺寸的輸入圖像。
研究結論與意義
本研究的核心結論是成功建立了一套利用二維系統理論分析卷積神經網絡的形式化框架。具體而言，研究者證明了：1) 卷積層可以自然地用二維線性系統的狀態空間模型來表示；2) 包含激活函數的整個CNN對應于一個二維Lur’e系統；3) 基于此表示，可以運用魯棒控制中的耗散性理論和積分二次約束工具，通過求解一個半定規劃來高效地估計CNN的Lipschitz常數。
這項工作的意義深遠且是多方面的。從神經網絡研究的角度看，它提供了一種分析CNN魯棒性的新范式，該方法通過尊重而非忽略CNN固有的二維結構，有望比現有方法更具可擴展性，能夠分析更大型的網絡和處理任意尺寸的輸入。從控制系統理論的角度看，這項工作將二維系統理論的應用范圍拓展到了當今機器學習中最核心的架構之一——CNN，為這個經典理論領域注入了新的活力。它揭示了CNN本質上是當前最重要的二維濾波器應用案例。從實際應用的角度看，所提出的SDP框架為實際評估圖像分類、分割等模型中CNN組件的穩健性提供了潛在的工具，有助于構建更可靠、更安全的深度學習系統。此外，文中也指出，這項工作為后續研究開辟了多個方向，例如將框架擴展至包含池化層、批歸一化層等更復雜的CNN架構，以及探索在訓練過程中直接約束Lipschitz常數以提升模型固有魯棒性的可能性。總之，這項研究在控制理論與深度學習之間架起了一座新穎而堅固的橋梁，為解決評估復雜神經網絡魯棒性這一關鍵挑戰提供了強有力的新工具。
