利用G2R框架和SSMamba去除遙感圖像中的云層
《Remote Sensing of Environment》:Cloud removal in remote sensing images using the G2R framework and SSMamba
【字體:
大
中
小
】
時間:2026年03月02日
來源:Remote Sensing of Environment 11.4
編輯推薦:
提出基于自監督框架Generate-to-Remove(G2R)和時空協同網絡Spectral–Spatial Mamba(SSMamba)的多時相云去除方法,通過以云圖自身作為監督目標,結合光譜與空間雙分支網絡建模,有效解決傳統方法依賴跨時相標簽導致的時空不一致問題,實驗表明該方法在細節恢復和泛化能力上優于現有技術。
張成堯|王鳳燕|張旭青|王明昌|陳峰|吳翔
中國吉林大學地球探測科學與技術學院,深部地球探測與成像國家重點實驗室,長春130026
摘要
開發一種實用且穩健的云去除方法一直是遙感領域的重要研究目標。現有的多時相方法通常使用其他采集日期的無云圖像作為訓練樣本。然而,光學觀測固有的時間異質性給這一方法帶來了內在限制。為了解決這些問題,我們提出了一種基于“生成到去除”(Generate-to-Remove,G2R)自監督框架的新型云去除策略。與傳統方法不同,G2R將帶云的圖像本身作為監督目標,從而在重建過程中引入時間約束,實現云覆蓋區域下方原始表面特征的準確恢復。此外,為了解決現有多時相網絡在模擬時空動態和跨維度交互方面的不足,我們設計了光譜-空間Mamba(Spectral–Spatial Mamba,SSMamba)網絡。該網絡基于結構化狀態空間模型,采用針對多時相輸入的雙光譜和空間分支,實現協同表示學習和高效的特征交互。這種設計能夠充分利用不同時間觀測之間的光譜一致性和空間依賴性,從而提高細節恢復能力和泛化能力。在多個真實圖像場景上的實驗結果表明,所提出的框架不僅能夠準確重建云覆蓋區域,而且相比現有最先進方法具有顯著優勢,顯示出其在實際應用中的巨大潛力。
引言
光學遙感作為地球觀測的基本工具,能夠直觀且高精度地獲取地表信息,為環境監測、資源調查和地球系統研究提供重要數據支持(Tian等人,2025;王濤等人,2025a;嚴等人,2025;葉等人,2025)。然而,光學傳感器對大氣條件非常敏感,特別容易受到云層遮擋的影響,這往往導致圖像部分或大面積數據丟失(劉等人,2024)。研究表明,全球超過一半的地表每年都受到不同程度的云層覆蓋影響,這不僅嚴重降低了圖像的可用性,還破壞了觀測記錄的完整性和時間一致性(King等人,2013)。因此,有效的云去除是充分發揮光學遙感潛力的前提。高質量云去除方法不僅提高了圖像的可用性和時間連續性,還為土地利用分類、農業監測、城市擴張分析和災害管理等下游任務提供了可靠的支持(Haider等人,2025;王剛等人,2025c;邢等人,2024;張等人,2025a)。
云對光學遙感圖像的影響非常復雜,因為云的厚度、形態和空間分布具有顯著的時間空間變異性(楊等人,2024;張偉等人,2025b)。薄云通常會導致光譜失真和輻射衰減,而厚云可能會完全遮擋地表信息,使得從單張圖像中恢復底層特征成為一個典型的病態問題(彭等人,2024;王明等人,2025b)。隨著衛星星座和重訪能力的進步,多時相光學數據的獲取變得越來越普遍(王軍等人,2025d)。在時間序列中,即使某張圖像受到嚴重云層污染,其他時間的相應觀測通常包含部分無云或低云覆蓋區域,從而提供了冗余和互補的信息,有助于恢復被遮擋的地表特征(童等人,2025)。此外,地表動態的連續性和規律性進一步增強了時間維度結構化建模的可行性。與依賴異構SAR數據的方法相比,多時相光學圖像本身提供了更豐富的關聯性和上下文約束,使其成為當前云去除研究中最有前景和廣泛應用的方法之一(顧等人,2025)。
盡管多時相觀測提供了寶貴的輔助信息,但目前主流方法在訓練范式和輸出確定性方面存在根本性限制。一種廣泛使用的方法是使用相鄰日期的無云圖像作為訓練標簽,隱含地假設地表目標的時間不變性。然而,這一假設在實踐中經常被違反:植被會經歷物候變化,農田會經歷耕作、播種和收獲周期,水體會季節性結冰或融化。這種時間異質性在將其他日期的圖像視為真實值時引入了系統性的標簽錯誤,導致模型學習到的映射與物理現實偏離。另一個關鍵問題是,這些方法通常使用多張圖像作為輸入,但生成單一的重建輸出,沒有時間約束,產生的結果無法歸屬于任何實際采集時間,本質上是合成或“偽造”的圖像。這種時間不確定或光譜不一致的輸出削弱了它們在需要時間真實性的下游應用(如變化檢測、物候分析和時間序列建模)中的適用性。這些問題共同凸顯了迫切需要一種新的范式,以避免時間標簽不匹配,并在重建中強制時間一致性。
最近的基于深度學習的云去除模型取得了顯著進展。MRF-Net引入了 patch 內/之間的連貫性約束,以在相鄰 patch 之間實現一致的恢復,從而減輕了由 patch 處理引起的塊狀偽影和邊界不連續性(徐等人,2024)。DehazeXL 利用全局建模處理大圖像,并有效結合了全局上下文和局部細節特征,實現了全場景薄云去除,顯著提高了整體恢復的一致性(陳等人,2025)。然而,當前的網絡設計仍面臨幾個關鍵限制。基于 CNN 的架構嚴重依賴局部卷積;雖然能夠有效提取細粒度特征,但在捕捉全局依賴性方面存在局限性。這種限制常常導致重建模糊和結構不一致,尤其是在處理大面積云覆蓋或突然的地表變化時(文等人,2022)。基于 Transformer 的模型利用自注意力,在建模長距離依賴性和整合多尺度特征方面表現出色(劉等人,2023)。然而,它們的二次計算復雜性對高分辨率遙感數據提出了挑戰。更重要的是,有效的云去除不僅需要恢復精細的空間細節和光譜一致性,還需要協調多時相觀測中的時間動態,以準確重建云污染圖像的原始地表特征。
為了克服這些根本限制,我們提出了一個雙視角框架,重新定義了多時相云去除的訓練范式和網絡架構。首先,我們引入了生成到去除(G2R)框架,該框架不同于依賴時間不匹配標簽的傳統范式。相反,G2R 使用目標日期的帶云圖像本身作為監督,并明確對恢復目標施加時間約束。具體來說,G2R 從光學厚云區域估計大氣光,并在目標日期觀測的清晰區域合成云污染;然后訓練模型從合成云污染的輸入映射到云圖像采集時的相應無云表面表示,確保重建與實際觀測時間一致。其次,為了解決現有架構的固有弱點——包括 CNN 的局部性偏差、Transformer 的二次復雜性以及在時間約束下空間和光譜特征的協調不足——我們設計了光譜-空間狀態空間模型 SSMamba。利用結構化狀態空間模型(SSM)的效率和長距離建模能力,該架構為多時相圖像中的光譜和空間輸入構建了雙分支結構。它實現了協同的多維特征建模和跨維度交互,從而充分利用多時相遙感數據中的光譜一致性和空間依賴性,提高細節恢復能力和泛化能力。通過將生成性 G2R 范式與 SSMamba 架構相結合,我們實現了時間一致、光譜真實且紋理清晰的去云重建,如圖 1 所示。
本研究的主要貢獻總結如下:
(1)多時相云去除的范式轉變。為了克服依賴跨時間監督的根本限制,我們提出了 G2R 范式,通過自監督將時間約束引入重建過程,確保在云圖像觀測時間準確恢復地表特征。
(2)我們設計了一個輕量級的云去除網絡 SSMamba,基于狀態空間模型進行空間-光譜協同重建。通過選擇性增強時空特征和空間與光譜信息之間的雙分支交互,SSMamba 能夠精細恢復云污染區域。
(3)在多個真實世界場景上的實驗表明,G2R 和 SSMamba 的結合具有實際價值,生成的時間一致、光譜可靠且紋理清晰的無云結果。
部分內容
云去除
光學遙感中的云去除本質上是一個病態逆問題,旨在從云污染的低質量觀測中重建原始地表反射率,以提高衛星圖像的可用性(寧等人,2025)。傳統方法主要依賴于大氣輻射傳輸和地表光譜特性的物理建模(徐等人,2019)。這些方法通常將云視為對地表反射率的擾動,并嘗試
G2R 云去除框架
盡管多時相觀測提供了有價值的補充信息,現有的深度學習云去除方法仍存在內在限制。大多數方法依賴相鄰日期的無云圖像作為訓練標簽,隱含地假設觀測目標的時間不變性。然而,實際上,地表高度動態,經歷物候變化、農業活動或水文變化,這些都會引入系統性的標簽噪聲
實驗設計
為了全面評估所提出的方法,我們基于 Sentinel-2 Level-2A 圖像設計了兩種實驗設置,研究區域的空間分布如圖 6 所示。第一個實驗旨在驗證所提出的 G2R 自監督框架和 SSMamba 模型在真實世界條件下的有效性。我們在實驗 1 中采用了嚴格的保留瓦片級測試協議,以確保訓練/驗證和測試之間的空間獨立性
土地利用和土地覆蓋類型對云去除性能的影響
為了進一步評估不同方法在不同地表條件下的魯棒性,我們基于土地利用和土地覆蓋(LULC)數據進行了評估(張和李,2022)。研究區域包括七個代表性類別——水體、森林、淹沒植被、農田、建筑區、裸土和草地——涵蓋了與真實世界遙感應用相關的廣泛光譜和結構多樣性。圖 15 總結了
結論
本研究提出了一個雙視角云去除框架,重新定義了學習范式和架構設計,從而克服了現有多時相方法嚴重依賴跨時間監督的根本限制。首先,我們提出了 G2R 自監督云去除框架,該框架利用帶云圖像本身作為訓練目標。通過對重建過程施加時間約束,G2R 能夠準確恢復土地
CRediT 作者貢獻聲明
張成堯:撰寫 – 審稿與編輯,撰寫 – 原始草稿,可視化,方法論,數據管理。王鳳燕:撰寫 – 審稿與編輯,監督,資源獲取,方法論,資金獲取,概念化。張旭青:監督,方法論。王明昌:監督,資金獲取。陳峰:驗證,數據管理。吳翔:可視化,軟件。
利益沖突聲明
作者聲明他們沒有已知的競爭性財務利益或個人關系可能影響本文報告的工作。
致謝
本工作得到了 國家自然科學基金 的支持,項目編號分別為 42330708、42077242 和 42171407。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱:
粵ICP備09063491號