用于惡劣環境中魯棒對象檢測的空間感知自適應融合技術
《Pattern Recognition Letters》:Spatial-Aware Adaptive Fusion for Robust Object Detection in Adverse Environments
【字體:
大
中
小
】
時間:2026年03月02日
來源:Pattern Recognition Letters 3.3
編輯推薦:
目標檢測在惡劣天氣和多域場景下性能顯著下降,SAF-YOLO通過空間感知自適應特征融合與多尺度語義正則化,在保持源域性能的同時提升多域檢測效果。摘要:提出SAF-YOLO框架,結合多尺度語義正則化抑制環境干擾,采用空間自適應融合動態整合不同域特征,在霧、低光、雨天及多域檢測中實現優于現有方法性能,同時維持源域檢測穩定性。
張云飛|鐘文龍|江樂|吳思
華南理工大學未來技術學院,中國廣東省廣州市510641
摘要
目標檢測方法在正常場景下取得了顯著成果。然而,在惡劣天氣條件下,它們的性能往往會大幅下降。領域自適應目標檢測方法能夠讓模型適應特定的目標環境,但忽略了源領域性能的下降,并且在多領域目標檢測方面存在困難。為了解決這個問題,我們提出了一種基于空間感知自適應融合(SAF-YOLO)的檢測框架。具體來說,我們復制了一個預訓練檢測器的結構和參數來創建一個對語義敏感的適配器,并通過多尺度感知正則化和語義正則化來減少無關環境因素對特征提取的影響。為了完整提取與對象相關的特征,我們引入了空間感知自適應特征融合機制,該機制可以根據空間位置動態調整不同特征在融合過程中的貢獻。實驗結果表明,SAF-YOLO在霧天、低光照和雨天等條件下的表現優于現有方法,同時在源領域也保持了良好的性能,并且在多領域目標檢測中表現出色。
引言
目標檢測旨在識別和定位特定對象,這對于自動駕駛和安全監控等應用至關重要[1]、[2]、[3]、[4]。現有的目標檢測方法已經取得了顯著進展,在標準光照條件下可以實現高識別精度[5]、[6]、[7]、[8]。然而,在低光照、運動模糊或濃霧等具有挑戰性的環境中,測試圖像和訓練圖像之間的領域差異會導致檢測精度下降。此外,在惡劣條件下標注圖像/視頻數據的高成本和難度嚴重阻礙了當前方法的實際應用。
現有的領域自適應方法在提高模型在特定環境中的魯棒性和適應性方面取得了進展[9]、[10]、[11]、[12]、[13]。師生范式使得模型能夠從預訓練的教師模型中學習目標領域的知識,且額外的訓練成本較低[14]。然而,現有方法通常只關注提高特定目標領域的性能,而忽略了源領域的性能,也無法同時在多個領域進行目標檢測。這一限制對于推進目標檢測算法的實際應用至關重要。為了解決這個問題,我們采用多尺度語義正則化來指導適配器提取與對象相關的特征。此外,我們還利用空間感知自適應特征融合來結合來自多個領域的信息,使模型能夠提取領域不變的特征并在不同領域中提高性能,如圖1所示。
我們提出了一種用于惡劣天氣條件下的目標檢測的空間感知自適應融合YOLO(SAF-YOLO)。SAF-YOLO是EIF-YOLO[15]的擴展版本,具有以下關鍵區別:1)SAF-YOLO通過空間感知特征融合整合與對象相關的特征,引導模型優先處理與對象相關的區域,而EIF-YOLO沒有這一機制;2)SAF-YOLO引入了一個新的雨天數據集進行測試,并評估了多領域目標檢測的結果,而EIF-YOLO沒有涉及這一點。具體來說,我們使用主干網絡和適配器從不同領域提取特征。為了確保適配器專注于與對象相關的信息,我們引入了多層感知正則化(MPR)來抑制無關環境因素的影響。此外,我們還加入了多尺度語義正則化(MSR)來引導模型朝向高級語義特征發展。另外,我們引入了空間感知自適應特征融合(SAFF),該機制在跨領域特征融合過程中根據空間位置動態調整融合系數,使模型能夠捕獲全面的對象信息。實驗結果表明,SAF-YOLO在各種惡劣條件下都能實現穩定高效的目標檢測。其貢獻總結如下:
- •
SAF-YOLO不僅關注特定的目標領域,還能提取領域不變的特征,在多種環境中表現出色。
- •
為了確保全面捕獲對象信息,我們通過空間感知自適應融合整合了來自不同領域的特征,從而實現穩定提取與對象相關的特征。
- •
我們引入了多尺度語義正則化,引導模型關注語義敏感的特征,同時抑制與環境相關的信息。
部分內容摘要
目標檢測
近年來,目標檢測模型取得了顯著進展。Faster R-CNN[16]引入了區域提案網絡(RPN)來解決區域提案計算的瓶頸問題。SSD[5]根據特征圖上每個位置的縱橫比和規模將邊界框的輸出空間離散化為一組默認框。在預測過程中,根據每個默認框內存在各個對象類別的可能性計算得分,并據此選擇相應的框。
方法論
在領域自適應目標檢測任務中,給定通過環境擾動獲得的源數據集Xs和目標數據集Xt [10]、[41],現有方法通常只關注單一的具體目標領域,未能考慮模型在多個領域的性能。為了擴展模型以支持多領域目標檢測,我們構建了一個混合數據集
實驗
首先介紹實驗設置的詳細信息,然后探討模型在多領域目標檢測環境中的性能。此外,我們還驗證了模型在單領域目標檢測中的性能,并將其與幾種代表性方法進行了比較。同時,我們分析了SAF-YOLO中不同模塊的有效性。
結論
我們提出了SAF-YOLO,這是一種利用空間感知自適應融合來處理各種惡劣天氣條件下圖像的目標檢測模型。我們保留了預訓練的主干網絡,并通過復制主干網絡的參數構建了一個額外的適配器。為了實現語義敏感的特征提取,我們引入了多尺度語義正則化來協調不同模塊提取的特征。考慮到不同領域的環境可能會干擾模型的性能
CRediT作者貢獻聲明
張云飛:撰寫——原始草稿、方法論、研究。鐘文龍:軟件開發、數據管理。江樂:撰寫——原始草稿、項目協調。吳思:撰寫——審稿與編輯、撰寫——原始草稿、方法論。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
致謝
本工作部分得到了TCL科技創新基金(項目編號20231752)、國家重點研發計劃(項目編號2024YFE0105400)、廣東省科技計劃(項目編號2025A050508003)以及廣東省基礎與應用基礎研究基金(項目編號2024A1515011437)的支持。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱:
粵ICP備09063491號