語義分割在大規模室外場景理解中起著至關重要的作用，在自動駕駛中有廣泛的應用[1]、[2]、[3]、[4]。在現有的傳感器中，由于LiDAR具有精確的空間測量能力，它已成為3D點云分割的首選[1]、[5]。然而，LiDAR傳感器的高成本以及在惡劣天氣條件下的性能下降[6]、[7]、[8]限制了它們在現實世界自動駕駛系統中的可擴展性。

相比之下，4D毫米波雷達由于其成本效益和在惡劣天氣條件下的魯棒性而成為了一個有前途的替代方案。4D雷達不僅能夠捕獲物體的距離、方位角和多普勒速度，還能捕獲它們的仰角，從而生成高分辨率的3D空間信息。然而，與LiDAR相比，4D雷達生成的點云仍然本質上是稀疏的[9]，并且存在雷達特有的偽影，如多路徑干擾和部分穿透。這些因素，加上雷達回波相對于圖像平面的深度模糊，使得精確的點對點分割和細粒度的雷達-相機融合特別具有挑戰性。為了緩解這一限制，通過利用來自相機的豐富語義信息[9]、[10]、[11]、[12]、[13]，有效地豐富了點云表示。受此啟發，我們的分割方法結合了多模態信息以提高基于雷達的感知質量。細粒度的4D雷達-相機分割需要高度異構模態之間的魯棒特征融合。一個關鍵挑戰在于在融合時彌合稀疏雷達點云和密集圖像特征之間的模態差距，同時解決深度模糊問題。為了解決上述細粒度雷達-相機融合中的挑戰，我們提出了一個多尺度深度感知融合（MSDAF）模塊。該模塊有效地將雷達和相機特征整合到一個統一且信息豐富的場景表示中，實現了準確和魯棒的語義分割。具體來說，我們引入了一個自適應學習器融合機制來緩解異構傳感器之間的模態差距。此外，我們加入了一個深度先驗，使融合過程具有深度感知能力，有助于減輕由透視投影引起的深度模糊。廣泛的實驗表明，解決這些問題顯著提高了分割性能。

此外，我們觀察到LiDAR特征提供了高級的語義理解和精確的幾何結構。為了進一步縮小雷達和LiDAR之間的性能差距，從LiDAR到雷達網絡的知識蒸餾是一個有前途的策略，且不會增加推理時間開銷[14]。然而，現有的多模態蒸餾方法主要關注物體檢測[14]、[15]或占用預測[16]，通常在鳥瞰圖（BEV）領域操作，這限制了它們在細粒度、點對點語義分割中的應用。考慮到LiDAR和雷達都以點云的形式表示，并且可以在統一的網絡中處理，我們提出了一個稀疏對齊蒸餾（SAD）模塊，以實現有效的細粒度知識轉移。所提出的SAD模塊通過兩階段過程，將來自LiDAR-雷達教師網絡的知識轉移到僅包含雷達的學生網絡中。這有助于在保持雷達傳感固有優勢（如對惡劣天氣的魯棒性、低成本和快速響應）的同時，實現豐富的 semantic 信息轉移。

我們文章的其余部分結構如下。第2節簡要回顧了點云分割、多模態融合和知識蒸餾的最新進展。第3節介紹了我們提出的網絡。第4節介紹了實驗設置、實現細節、與最先進方法的比較以及消融研究分析。最后，第5節總結了我們的工作。

在這項工作中，我們提出了MKFusion，這是一個新穎的4D雷達點云語義分割框架，它在稀疏架構中有效地結合了多模態融合和知識蒸餾。通過利用多尺度深度感知融合整合相機特征，并通過我們的稀疏對齊蒸餾模塊從LiDAR轉移結構知識，MKFusion解決了雷達稀疏性和噪聲的問題。在VoD和TJ4DRadSet數據集上的廣泛實驗表明

楊云婷：撰寫——原始草稿、方法論、調查、形式分析。劉軍：撰寫——審閱與編輯、資源、方法論、資金獲取、概念化。劉洪思：撰寫——審閱與編輯、可視化、驗證、數據管理。蔣光峰：撰寫——審閱與編輯、驗證、調查。

作者聲明他們沒有已知的競爭性財務利益或個人關系可能會影響本文報告的工作。

這項工作部分得到了中國國家自然科學基金（合同編號62471450）和安徽省自然科學基金（資助編號2208085J17）的支持。