利用多模態遙感數據通過深度學習自動識別活動性滑坡對于災害風險管理至關重要(Liu等人,2021a)。整合來自干涉合成孔徑雷達(InSAR)的表面變形、光學圖像的表面特征和地貌背景以及數字高程模型(DEM)的地形約束等互補信息,是提高檢測精度的一條關鍵途徑(Lu等人,2024)。然而,這種方法面臨著高風險的地理空間應用所固有的兩個關鍵挑戰。首先,這些數據源之間的內在異質性和特征錯位阻礙了有效的跨模態特征融合。其次,深度學習模型經常難以處理模態沖突和數據質量變化,導致過自信但錯誤的決策,從而削弱了它們的可靠性(Guo等人,2017)。
深度學習在已發生和活動性滑坡的檢測方面取得了進展。在單模態設置中,InSAR變形率方法可以學習變形模式來標記活動斜坡,但無法可靠地區分非滑坡變形,從而產生誤報(Cai等人,2023;Chen等人,2024b;Zhang等人,2024b)。從CNN到Transformer和混合架構的光學模型在多尺度融合、遠距離背景和邊界劃定方面表現出色(Li等人,2024b;Wu等人,2024;Fan等人,2025),但它們主要是事后處理,難以檢測到在InSAR中明顯但在表面形態中尚不明顯的微妙滑坡前變形。這些限制,加上專家使用多種來源的做法,促使人們采用多模態方法,優先考慮InSAR并結合光學圖像和DEM來共同檢測、驗證和繪制不同地形中的活動性滑坡。然而,InSAR/光學/DEM在空間分辨率和物理語義上的強烈異質性導致特征分布不匹配和跨模態對齊不完美,使得有效融合變得具有挑戰性。
在視覺和語義分割中,多模態融合分為四種范式(圖1)。早期通道合并(Early Fusion)在輸入層堆疊模態,這種方法簡單但忽略了異質性(Altarez等人,2023;Dabove等人,2024;Li等人,2024a)。它經常傳播噪聲,污染共享表示。特征級合并在并行分支中提取特征,然后在融合層合并它們(Jiang等人,2018;Liang等人,2023)。這捕獲了一些互補性,但缺乏自適應的可靠性加權,因此弱或不確定的線索仍然存在。交換融合強制顯式的跨模態交互,改善了信息流(Wang等人,2020)。然而,它可能導致語義漂移和冗余積累。交互式融合,如像素級交叉注意力(Zhang等人,2023)或分層交互(Fan等人,2024),改善了對齊和融合。然而,這些方法具有二次復雜性,限制了擴展到更多模態的能力。在不對齊的情況下,這些方法可能會過度融合冗余特征。因此,多模態活動性滑坡檢測需要一種能夠有效對齊異質特征、保持單模態區分能力并擴展到額外模態的融合機制。
最近在將深度學習應用于多模態滑坡檢測方面的努力強調了這一需求。在早期通道融合方法中,研究人員探索了使用光學遙感和數字高程模型(DEM)數據(Wang等人,2024b)、合成孔徑雷達(SAR)圖像和光學圖像(Chen等人,2024a)以及SAR圖像和DEM(Dang等人,2024)的組合進行滑坡檢測,通過早期通道融合實現了多模態融合。大多數當前研究采用特征合并融合方法來構建多模態滑坡識別模型。Liu等人(2023)和Wang等人(2024a)通過引入注意力機制增強了多尺度特征融合。Zhang等人(2024a)和Yang等人(2024)設計了雙分支網絡,分別從多模態數據中提取特征并在中間層進行特征融合,在特定場景中取得了改進。隨著InSAR技術在變形監測中的廣泛應用,最近的多模態滑坡檢測研究創新性地引入了來自InSAR的變形信息,通過早期通道融合增強了活動性滑坡的識別能力(Guo等人,2022;Liang等人,2023;Li等人,2024a,2024c)。盡管取得了近期進展,活動性滑坡映射仍然缺乏一個能夠綜合考慮RGB圖像、InSAR變形和DEM衍生地形信息的可靠性感知多模態框架。此外,這三種模態在空間分辨率、數值尺度和物理意義上高度異質,這常常導致跨模態不一致性,并削弱了模型預測的魯棒性和校準。
這一困難凸顯了一個關鍵問題:雖然特征級融合可以在模態完美對齊時聚合互補信號,但在現實世界的滑坡檢測場景中,局部錯位和數據質量不均常常在同一像素產生沖突線索。許多模型使用Softmax分數來估計置信度,這種做法在沖突區域是校準不當和過度自信的,從而產生假陰性和假陽性(Guo等人,2017)。因此,融合特征應伴隨著顯式的不確定性估計和校準,以提高分割精度和可靠性。
最近在證據深度學習(EDL)模型中的工作通過學習證據強度來處理不確定性,并在不同領域顯示出前景(Sensoy等人,2018;Amini等人,2020;Gao等人,2024)。同時,Dempster–Shafer理論(DST)使得證據融合能夠明確表示來源可靠性和來源間沖突,并通過折扣和組合規則穩健地聚合它們(Smets和Kennes,1994;Den?ux,2019;Shafer,2020)。然而,在遙感分割中,研究通常仍然是單模態的,或者只是用證據頭替換Softmax(Huang等人,2022;Zhao等人,2023)。它們很少在融合過程中在像素和類別級別估計和折扣來源可靠性,這阻礙了由于對齊不完美而導致的不可靠特征的有效抑制。
基于這些挑戰,我們提出了HAEFNet,一個將特征級交互與決策級證據融合相結合的分層框架,用于多模態活動性滑坡檢測。在特征階段,空間相干交叉注意力(SCCA)在共享的空間參考下執行像素級的多尺度交互,同時保留單模態分支以減輕錯位。在決策階段,地理空間證據決策模塊(GEDM)首先產生每個模態的預測及其量化的不確定性,然后通過可靠性加權的證據將它們聚合,以產生準確且校準良好的活動性滑坡分割。該設計有效地融合了對齊區域的相關特征,同時保留了單模態信息,并在證據聚合之前對沖突線索進行可靠性加權,從而抑制了過度自信并產生了精確、可信的活動性滑坡地圖。
本研究的主要貢獻總結如下。首先,我們提出了HAEFNet,一個考慮可靠性的活動性滑坡檢測框架,能夠有效融合InSAR、光學和DEM數據。其次,我們設計了空間相干交叉注意力(SCCA)模塊。它執行高效的像素級交互以增強互補特征,同時抑制由空間錯位引起的噪聲。第三,我們基于Dempster-Shafer理論開發了地理空間證據決策模塊(GEDM)。該模塊通過估計不確定性并基于學習到的可靠性融合多源證據來提高決策的魯棒性。第四,我們構建了一個覆蓋中國三個主要滑坡易發地區的大規模多模態數據集,并證明了HAEFNet在精度和泛化能力上優于現有方法。