《Pattern Recognition》：AOSNet-Sec: Aperture–Orientation–Spectrum Fusion with Statistical Markov Repair for Trustworthy Super-Resolution
編輯推薦：
本文提出AOSNet和AOSNet-Sec輕量級超分辨率模型，前者通過多尺度感受野、方向選擇性門和頻譜子帶聚合融合圖像特征，后者增加安全分支檢測并修復潛在攻擊影響，實驗表明其在對抗擾動下PSNR和LPIPS損失顯著降低。
鄭楠·尹（Zhengnan Yin）| 肖路偉（Luwei Xiao）| 馮軒（Xuan Feng）| 陳毅偉（Yiwei Chen）| 朱先勛（Xianxun Zhu）| 羅彩（Cai Luo）| 薩姆里·法滕（Faten S. Alamri）| 毛瑞（Rui Mao）| 埃里克·坎布里亞（Erik Cambria）
中國汕頭大學，郵編515063
摘要
超分辨率（SR）在識別流程中被廣泛使用，要求模型具有輕量級特性，并且在輸入擾動和安全威脅下仍能保持較高的可靠性。我們通過兩項互補的貢獻來解決這一需求。首先，我們提出了孔徑方向譜融合網絡（AOSNet）。AOSNet將重建過程視為多場融合：每個AOS模塊包含一個孔徑金字塔混合器（APM），用于多尺度感受野；一個方向選擇性門（OSG），用于方向結構；以及一個譜子帶聚合器（SSA），用于頻率細化。其次，鑒于模式識別系統中對安全可靠超分辨率需求的增加，我們構建了一個增強魯棒性的變體AOSNet-Sec，通過添加一個輕量級的特征空間分支來實現，該分支包含超分辨率統計檢測器（SSD）、安全檢測頭（SDH）和可訓練的超分辨率馬爾可夫修復（SMR）。SSD聚合每個通道和邊緣對比度統計信息以形成僅用于校準的安全先驗；而SMR則根據標準化統計信息迭代更新可疑特征圖。在標準基準測試上的實驗表明，AOSNet-Sec在強白盒擾動下顯著降低了PSNR下降和感知圖像塊相似性（LPIPS）的退化，從而在重建質量和面向安全的魯棒性之間提供了實際的折中。
引言
單圖像超分辨率（SISR）可以從單個低分辨率輸入重建高分辨率圖像[1]。它被廣泛應用于識別流程、監控系統和移動應用中。在這些場景中，模型必須緊湊且快速，并且在各種輸入擾動下仍能保持可靠性。隨著深度學習的發展，卷積神經網絡將SISR重新定義為從低分辨率到高分辨率空間的數據驅動映射問題。早期的基于CNN的方法（如SRCNN [2]和VDSR [3]）展示了端到端學習和深度殘差推理的優勢。后續架構通過擴展殘差塊進一步提高了圖像質量[4]。隨著實時和設備上部署變得越來越重要，研究轉向了在不犧牲太多質量的情況下壓縮特征的低重量設計。代表性工作包括殘差特征蒸餾[5]和適用于移動設備的可重參數化卷積[6]。其他方法探索了藍圖可分離卷積和大核卷積以獲得更好的感受野[7]。還有一些無注意力機制[8]或低秩[9]的細化方法，旨在以較低成本保持準確性。除了這些效率驅動的進步外，最近的研究開始考察SR模型在對抗性或現實世界損壞下的魯棒性[10]。這些工作進一步拓寬了現代SISR研究的領域。
然而，大多數現有的SISR架構主要針對局部細節細化或全局結構建模進行優化，很少利用自然圖像中已存在的互補線索。我們觀察到，單張圖像至少提供了三種有用的重建證據：與孔徑相關的尺度線索、編碼主導方向和紋理的方向線索，以及捕獲頻率特定結構的譜子帶。在許多當前研究中，這些來源通過卷積或自注意力隱式混合，這可能導致冗余計算和表示利用不足，因為模型沒有明確被鼓勵以結構化的方式融合和重用這些信息。同時，現代感知流程中使用的SISR模型，特別是那些嵌入在識別、監控或移動系統中的模型，越來越容易受到低分辨率輸入的分布變化、損壞甚至對抗性擾動的影響[11]。例如，關于灰盒攻擊的最新研究表明，在特定對抗性條件下，潛在擴散模型可能會受到嚴重影響，突顯了生成和恢復過程的脆弱性[12]。即使在干凈數據上重建質量很高，小的結構干擾也會導致PSNR和感知指標大幅下降，從而削弱下游模式識別任務的可靠性和可信度[13]。這種對嚴格評估的需求在最近關于大型語言模型的研究中得到了體現，其中能力和偏見分析被認為是可信AI系統的關鍵組成部分[14]。基于這些觀察，迫切需要既信息感知又對輸入擾動具有魯棒性的SISR框架，同時仍保持足夠的輕量級以便實際部署。
為了應對上述挑戰，我們提出了一個兩階段解決方案。一方面，我們提出了孔徑方向譜融合網絡（AOSNet），它將SISR視為多場融合。每個AOS模塊結合了一個孔徑金字塔混合器（APM），用于聚合多尺度感受野；一個方向選擇性門（OSG），用于強調方向感知通道；以及一個譜子帶聚合器（SSA），用于在小波子帶之間交換信息，然后進行殘差重建和高效上采樣。在我們的實現中，這些組件通過多場融合模塊的卷積路徑、方向通道注意力單元和頻率分割注意力單元來實現，主干網絡還得到了輕量級的跨塊銀行（CBB）和殘差對齊單元（RAU）的支持，以低成本整合跨塊證據。另一方面，為了滿足更廣泛AI安全背景下對可靠和安全意識SISR的需求，我們通過添加一個特征空間安全分支將此主干網絡擴展為增強型AOSNet-Sec。一個無需訓練的超分辨率統計檢測器（SSD）聚合每個通道和邊緣對比度統計信息，并在干凈的特征圖上進行校準以形成安全先驗；而輕量級的安全檢測頭（SDH）將標準化統計信息轉換為異常分數，用于分析和在潛在對抗性攻擊下的可選門控。然后，一個可訓練的超分辨率馬爾可夫修復（SMR）模塊對不可信輸入的潛在特征進行幾次迭代修復更新，然后再進行上采樣。只有在強白盒擾動下才對SMR進行微調，因此基礎AOSNet參數保持不變，推理開銷適中。通過加入安全意識分支，該框架非常適合需要魯棒感知、對抗性魯棒性和可信AI行為的應用。
我們的主要貢獻如下：
•我們提出了AOSNet，這是一個輕量級的SISR主干網絡，通過APM、OSG和SSA的協同設計明確融合了孔徑、方向和譜線索，并由CBB和殘差對齊單元支持，以實現高效的多場證據整合。這種特定于任務的設計適用于實際感知系統中可信賴的重建。
•我們提出了AOSNet-Sec，這是一個安全意識
的擴展版本，它為AOSNet添加了一個無需訓練的SSD和一個輕量級的SDH，用于在潛在對抗性攻擊下進行特征空間異常評分，并配有一個可訓練的SMR模塊，用于修復受損特征，同時保持核心SR主干不變。在干凈和受擾動的輸入標準基準測試上的廣泛實驗驗證表明，AOSNet實現了具有競爭力的重建質量和效率，而AOSNet-Sec在強擾動下顯著降低了PSNR和LPIPS的退化，為安全敏感的應用提供了輕量且可靠的SR解決方案。
部分摘錄
高效且輕量級的SR
輕量級SISR旨在在減少參數和運行時間的同時保持重建質量。RFDN [5]通過殘差蒸餾壓縮特征。ECBSR [6]和LKDN [7]使用可重參數化卷積進行移動設備部署。BSRN [15]通過藍圖可分離卷積提高效率。VapSR [8]通過像素注意力擴大感受野。SPAN [16]用結構化空間先驗替代了可學習的注意力。SRConvNet [17]結合了頻率調制注意力和動態
問題表述與概述
給定一個低分辨率圖像和一個上采樣因子r，我們的目標是預測一個高分辨率圖像
實驗
我們在輕量級SISR設置下評估了所提出的AOSNet，并將其擴展為安全意識變體AOSNet-Sec。我們的目標有四個：在固定的、可復現的協議下驗證典型SR基準測試的準確性；通過參數數量、FLOPs、峰值內存和墻鐘延遲來量化效率；通過廣泛的消融實驗隔離每個架構組件的貢獻；以及評估安全分支在輸入擾動下的魯棒性和檢測能力
結果
本節報告了AOSNet及其安全意識變體AOSNet-Sec的定量準確性、視覺質量、可解釋性、安全分析和消融實驗結果。我們首先將AOSNet與強輕量級基線在×2和×4的倍率下進行比較，然后分析APM、OSG、SSA、跨塊銀行和RAU對性能的貢獻，最后評估在低分辨率擾動下的檢測/修復行為和魯棒性。
結論
本研究通過統一的設計解決了輕量級和可靠的單圖像超分辨率問題，同時強調了重建質量和安全性。我們引入了AOSNet，它通過APM、OSG和SSA結合了孔徑、方向和譜線索，并由跨塊銀行和RAU支持，以實現高效的多場證據整合。在Set5、Set14、B100和Urban100數據集上，AOSNet在參數更少且結構細節更清晰的情況下實現了具有競爭力的準確性。在此基礎上，我們開發了AOSNet-Sec，這是一個安全意識
CRediT作者貢獻聲明
鄭楠·尹：撰寫——原始草案、軟件、方法論、形式分析、數據策劃、概念化。肖路偉：撰寫——審稿與編輯、驗證、監督、方法論、調查、概念化。馮軒：撰寫——審稿與編輯、形式分析、數據策劃。陳毅偉：撰寫——審稿與編輯、可視化、軟件、數據策劃。朱先勛：撰寫——審稿與編輯、資源管理、形式分析。羅彩：撰寫——審稿與編輯、可視化
利益沖突聲明
作者聲明他們沒有已知的競爭性財務利益或個人關系可能影響本文所述的工作。
致謝
本工作得到了中國國家自然科學基金（編號62503415）的資助。作者感謝Princess Nourah bint Abdulrahman大學科研與圖書館部通過訪問研究員計劃VR-2025-003對本工作的支持。
鄭楠·尹于2024年從中國廣東汕頭大學獲得物理學碩士學位。他的研究興趣包括低級計算機視覺、多模態交互和學習。他曾擔任多個著名會議的審稿人或程序委員會成員，包括IJCNN和AAAI。
