《Neurocomputing》：Beyond distribution shifts: Adaptive hyperspectral image classification at test time
編輯推薦：
HSI分類魯棒性研究提出HyperTTA框架，通過構建九類退化基準數據集、設計多尺度SSTC模塊與CELA輕量級TTA策略，有效提升模型在噪聲、模糊等退化條件下的分類性能，在PU和WHLK數據集上均優于現有方法。
Xia Yue|劉安峰|陳寧|黃晨佳|劉慧|黃周|方樂媛
中南大學計算機科學與工程學院，中國長沙，410083
摘要
高光譜圖像（HSI）分類模型對由實際退化因素（如噪聲、模糊、壓縮和大氣效應）引起的分布變化非常敏感。為了解決這一挑戰，我們提出了HyperTTA（用于高光譜退化的測試時自適應Transformer），這是一個能夠在多種退化條件下增強模型魯棒性的統一框架。首先，我們構建了一個多退化高光譜基準測試，系統地模擬了九種典型的退化情況，從而能夠全面評估分類模型的魯棒性。基于這個基準測試，我們開發了一種具有多級感受野機制和標簽平滑正則化的光譜-空間Transformer分類器（SSTC），以捕捉多尺度的空間上下文并提高泛化能力。此外，我們引入了一種輕量級的測試時自適應策略——基于置信度的熵最小化LayerNorm適配器（CELA），該策略通過最小化高置信度未標記目標樣本上的預測熵來動態更新LayerNorm層的仿射參數。這種策略無需訪問源數據或目標標簽即可確保可靠的適應。在兩個基準數據集上的實驗表明，HyperTTA在廣泛的退化場景中優于現有的最佳方法。代碼將在
https://github.com/halfcoder1/HyperTTA處公開。
引言
近年來，高光譜遙感因其能夠為每個像素獲取密集且連續的光譜信息而受到越來越多的關注[1]。這種豐富的光譜特征使得表面材料的精細區分成為可能，并支持了包括環境監測[2]、精準農業[3]、礦產勘探[4]和城市規劃[5]在內的廣泛應用。與傳統多光譜圖像相比，高光譜圖像（HSI）提供了顯著提升的光譜分辨率，能夠更可靠地識別微妙的材料差異。
盡管有這些優勢，高光譜圖像分類仍然是一項具有挑戰性的任務。HSI數據的高維度常常導致眾所周知的維度災難[6]，再加上標記樣本的稀缺性[7]，嚴重限制了模型的泛化能力。此外，強烈的類內變異性和高的類間相似性[8]、[9]、[10]進一步復雜化了學習過程。在現實世界中，光照變化、大氣效應、傳感器噪聲和采集條件[11]、[12]等因素引入了訓練數據和測試數據之間的不可忽視的分布變化，導致在理想條件下訓練的模型性能顯著下降。
為了在不依賴標記目標數據的情況下應對分布變化，測試時自適應（TTA）作為一種有效且靈活的學習范式最近應運而生[13]、[14]。與依賴訓練期間目標域數據的傳統領域適應方法[15]、[16]、[17]不同，TTA僅使用未標記的測試樣本在推理時直接調整預訓練模型。典型的TTA策略包括熵最小化[18]、[19]、歸一化統計適應和自編碼機制。這種范式特別適用于遙感應用，因為測試時的條件高度動態且目標注釋通常不可用。這項工作的初步版本已作為預印本發布[20]。
盡管TTA在自然圖像識別和醫學成像任務中展示了有希望的結果[21]、[22]、[23]、[24]、[25]，但其應用于高光譜圖像分類的研究仍大多處于探索階段。大多數現有的TTA方法是針對低維RGB數據設計的，并假設輸入統計特性相對簡單，這些特性并不直接適用于高維且光譜相關的高光譜圖像[26]。此外，傳統的領域適應方法通常需要多階段的重訓練過程或訪問標記目標數據[27]、[28]，這限制了它們的可擴展性和實用性。目前還缺乏用于系統評估真實高光譜退化場景下TTA方法的基準數據集和標準化評估協議。
受到這些限制的啟發，本文提出了一種新的基于TTA的框架，用于在多種退化條件下實現魯棒的高光譜圖像分類。本研究的主要貢獻總結如下：
•我們構建并發布了第一個系統模擬九種典型實際退化情況的高光譜TTA基準測試，包括霧、條紋噪聲、加性高斯噪聲、零均值高斯噪聲、泊松噪聲、卷積模糊、椒鹽噪聲、JPEG壓縮和截止噪聲。該基準測試能夠標準化地評估模型在多種退化條件下的魯棒性和適應性。
•我們設計了一個SSTC模塊，該模塊結合了多級感受野機制來捕捉不同尺度的空間特征，并采用標簽平滑策略來減輕過擬合問題，從而在噪聲監督下提高魯棒性。
•我們提出了一種基于置信度的TTA策略，稱為CELA模塊，該模塊通過在推理過程中僅更新LayerNorm層的仿射參數來進行無源適應。這種適應是通過在高置信度目標樣本上最小化熵來實現的，從而提高對未見目標分布的泛化能力，而無需依賴源數據或目標標簽。
•通過整合SSTC和CELA模塊，我們開發了一個名為HyperTTA的統一TTA框架，用于在嚴重退化條件下的高光譜圖像分類。在PU和WHLK數據集上的廣泛實驗表明，HyperTTA在準確性、魯棒性和泛化能力方面始終優于現有的分類和TTA基線。
部分摘錄
高光譜圖像分類的深度學習
深度學習方法在高光譜遙感中受到了越來越多的關注，因為它們能夠從原始數據中自動提取具有代表性的光譜-空間特征[29]、[30]。卷積神經網絡（CNN）通過3D-CNN等變體得到了擴展，這些變體能夠同時處理高維輸入，共同建模光譜和空間信息[31]。為了在保持準確性的同時提高效率，Tri-CNN[32]引入了一種多尺度3D-CNN架構
方法
在本節中，我們介紹了
HyperTTA（用于高光譜退化的測試時自適應Transformer），這是我們提出的一個框架，旨在實現在不同且未知的退化條件下的魯棒高光譜圖像分類。如圖1所示，整個框架由三個主要組成部分構成：
•多退化模擬器（MDS）：為了模擬真實的分布變化，我們使用九種典型的退化類型（例如霧、條紋噪聲、高斯噪聲）構建了一個目標域數據集
數據集
為了驗證我們算法的有效性，我們將該算法應用于兩個公共數據集：帕維亞大學數據集（PU）和WHU-Hi-LongKou數據集（WHLK）：
•帕維亞大學數據集如圖3所示，由ROSIS傳感器在2003年拍攝，該數據集包含了帕維亞大學（意大利）周圍的340個像素，空間分辨率為1.3米，具有115個光譜帶（430–860納米）。去除12個噪聲帶后，剩余103個帶。該數據集包含9種土地覆蓋類別。
•結論
在本文中，我們研究了高光譜圖像分類在各種退化條件下的魯棒性，并提出了一種名為HyperTTA（用于高光譜退化的測試時自適應Transformer）的框架，以提高模型對多種退化條件的魯棒性。具體來說，我們首先構建了一個全面的多退化高光譜數據集，模擬了九種典型的退化類型，從而能夠系統地評估模型在挑戰性場景下的性能。
CRediT作者貢獻聲明
夏月：撰寫——審稿與編輯、撰寫——原始草稿、可視化、驗證、軟件、資源、方法論、調查、形式分析、數據整理、概念化。劉安峰：撰寫——審稿與編輯、監督、資源、數據整理、概念化。陳寧：撰寫——審稿與編輯、監督、資源、項目管理、方法論、調查、資金獲取、概念化。黃晨佳：撰寫——審稿與編輯，
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
致謝
本研究部分得到了中國國家自然科學基金（項目編號U2344216、62425109和U22B2014）的支持，以及湖南省科技計劃項目基金（項目編號2022RSC3064）的支持。
夏月于2020年在中國長沙的中南大學獲得計算機科學學士學位。她目前在中南大學計算機科學與工程學院攻讀博士學位。她的研究興趣包括機器學習、遙感和高光譜圖像處理。
