《Journal of Visual Communication and Image Representation》：DFF-Matcher: Robust cross-source registration with density-fused feature and bidirectional consensus matching
編輯推薦：
跨傳感器點云配準中存在密度差異、傳感器噪聲及部分重疊等挑戰，本文提出DFF-Matcher框架，通過密度融合特征模塊緩解密度不均問題，結合雙向一致性匹配和自注意力機制提升配準精度，在Kinect-LiDAR等數據集上達到25.4%和22.2%的性能提升。
郭榮|曾振軒|吳江|張熙宇|權思文|胡中文|朱宇|楊佳琪
西北工業大學計算機科學學院，中國西安，710129
摘要
跨源點云配準在實現異構傳感器之間的無縫3D感知中起著關鍵作用。然而，由于密度差異顯著、傳感器特有的噪聲以及異構傳感器之間的部分重疊，這項任務仍然具有很高的挑戰性。為了解決這些挑戰，我們提出了DFF-Matcher，這是一個強大的框架，它結合了密度魯棒的特征學習和雙向共識匹配來彌合不同傳感器之間的領域差異。我們的方法引入了一個密度融合特征模塊來處理顯著的點密度變化，并采用自注意力增強的匹配策略來確保可靠的對應關系估計。這一統一框架為跨源配準建立了一個新的范式，在多種傳感器模式下實現了卓越的性能。廣泛的實驗表明，與現有方法相比，在具有挑戰性的Kinect-LiDAR數據集上，我們的方法在特征匹配召回率上提高了25.4%，在配準召回率上提高了22.2%，同時在室內和室外場景中都保持了強大的性能。
引言
跨源點云配準（PCR）[1]是3D視覺中的一個關鍵任務，旨在通過剛性變換將來自不同傳感器（例如LiDAR、RGB-D相機和多視圖立體重建）捕獲的點云對齊到一個統一的坐標系統中。作為多傳感器校準和融合的基石，這項技術增強了環境感知、定位和映射[2]，在自動駕駛、機器人技術和虛擬現實[3]中有廣泛的應用。然而，點云獲取的進步帶來了更多的挑戰（例如，具有顯著密度差異的跨源數據）。
盡管近年來點云配準取得了顯著進展，但大多數方法[4]、[5]、[6]、[7]都集中在同源數據上，并且難以推廣到跨源場景。與同源點云不同，跨源數據由于傳感器特有的機制[8]而表現出顯著的分布差異。這些挑戰體現在兩個方面：(a) 不均勻的密度分布（例如，LiDAR的稀疏線狀點云與RGB-D相機的密集表面分布），這破壞了局部幾何一致性和特征區分性；(b) 持續的噪聲模式和異常值（例如，環境干擾），這進一步降低了匹配的可靠性，如圖1所示。因此，即使是一些具有強泛化能力的方法[9]、[10]在跨源數據中也常常失敗。最近的努力試圖彌合這一差距。Cross-PCR[11]為室內場景提出了一種從寬松到嚴格的匹配流程，而SPEAL[12]引入了一個室外數據集，但在室內場景中表現不佳。基于優化的方法[3]、[13]、[14]、[15]雖然對噪聲具有魯棒性，但效率低下且存在場景特定的限制。缺乏大規模的跨源數據集進一步限制了深度學習方法學習不變特征的能力[8]。
為了解決跨源點云配準的挑戰，我們提出了DFF-Matcher，這是一個旨在處理密度變化同時保持高配準精度的強大框架。我們的方法利用基于密度魯棒特征提取的雙向匹配策略，有效地彌合了不同傳感器之間的領域差異，即使在具有挑戰性的跨源場景中也能實現可靠的配準。首先，為了減輕由于密度變化引起的特征提取中的魯棒性問題，我們引入了一個密度融合特征（DFF）模塊，通過融合原始特征和上采樣的點云特征來豐富表示。其次，為了解決跨源場景中的匹配挑戰，我們設計了一種通用的雙向匹配策略，專門針對超點匹配和局部密集點匹配進行優化，以捕獲更多潛在的正確對應關系。為了提高局部特征的區分性，我們在對齊的超點上使用自注意力機制，增強了幾何上下文意識，從而實現精確的密集匹配。最后，為了確保配準精度，我們開發了一種種子引導的共識優化算法，該算法在迭代驗證幾何一致性的同時過濾異常值對應關系。
我們在兩個數據集上對我們的方法進行了廣泛評估：3DCSR[16]和KITTI-CrossSource。在室內和室外基準測試[12]、[17]上的廣泛實驗證明了我們方法的有效性和魯棒性。總之，我們的主要貢獻如下：
- 我們引入了一個密度融合特征模塊，結合點云上采樣來生成魯棒特征，以減輕跨源數據中的密度變化。
- 我們提出了一種魯棒的匹配范式，通過超點和密集匹配空間中的雙向匹配來克服分布差異。
- 我們的框架是第一個成功彌合跨源領域差異的統一解決方案，并在室內和室外場景中實現了最先進的性能。
部分摘錄
同源點云配準
近年來，點云配準取得了顯著進展。早期的方法主要依賴于迭代最近點（ICP）優化[18]和手工制作的描述符[19]、[20]。然而，這些方法需要有利的初始變換或準確的點對應關系，這限制了它們在復雜場景中的魯棒性。
隨著深度神經網絡的出現，已經開發了各種點云編碼網絡[17]、[21]、[22]、[23]、[24]來建立
概述
在這項工作中，我們專注于剛性跨源點云配準，該任務解決了一個剛性變換，以便將源點云通過旋轉和平移與目標點云R3對齊。該變換可以通過以下方式解決：其中表示和之間的對應關系集，pxi,表示一對對應的點。由于最初是未知的，我們需要建立點云
數據集
我們在兩個跨源數據集上評估了我們的方法：3DCSR [16]和KITTI-CrossSource。我們還在3DMatch [17]及其低重疊子集3DLoMatch [4]上評估了我們的方法，以驗證其泛化能力并進一步驗證其對點云密度變化的魯棒性。3DCSR、3DMatch和3DLoMatch是室內數據集。具體來說，3DCSR包括兩個跨源類別，共202個室內場景，其中Kinect-SfM有37個場景，Kinect-LiDAR有165個場景。3DLoMatch是
結論
在本文中，由于源場景之間的密度變化和分布差異，傳統的特征匹配流程無法建立可靠的對應關系。因此，我們提出了DFF-Matcher，這是一個通過密度魯棒特征學習和對應關系估計從根本上解決跨源點云配準挑戰的新框架。
CRediT作者貢獻聲明
郭榮：撰寫 – 審稿與編輯、方法論、調查、概念化。曾振軒：撰寫 – 審稿與編輯、方法論、調查。吳江：可視化、方法論、數據管理。張熙宇：驗證、方法論、形式分析。權思文：資源管理、方法論、形式分析。胡中文：資源管理、形式分析。朱宇：監督、形式分析。楊佳琪：監督、項目管理、資金獲取。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
致謝
本工作得到了國家自然科學基金（項目編號62372377）和大灣區地理環境監測重點實驗室（GEMLab-2024005）的支持。
