S2R-Bench：面向自動駕駛仿真到真實評估的首個多模態傳感器異常基準數據集

《Scientific Data》：S2R-Bench: A Sim-to-Real Evaluation Benchmark for Autonomous Driving

【字體： 大 中 小 】 時間：2025年12月05日 來源：Scientific Data 6.9

　　

在自動駕駛技術飛速發展的今天，安全性和可靠性始終是行業關注的焦點。然而，現有的感知算法在面對真實世界中的極端天氣條件和傳感器異常時，往往表現出明顯的性能下降。雪花遮擋攝像頭鏡頭、濃霧影響激光雷達點云質量、強光導致圖像過曝——這些看似簡單的自然現象，卻可能成為自動駕駛系統的"阿喀琉斯之踵"。更令人擔憂的是，當前用于評估算法性能的基準數據集大多是在理想條件下采集的"干凈"數據，無法真實反映算法在惡劣環境下的實際表現。

傳統的仿真方法試圖通過算法擾動來模擬這些異常情況，但模擬數據與真實數據之間存在的差距，使得基于仿真數據訓練的模型在真實場景中往往表現不佳。這種"仿真到真實"的差距，特別是下雪天傳感器被冰凍水滴或積雪遮擋、車輛被積雪覆蓋等復雜現象，現有仿真方法難以準確還原。正是為了填補這一關鍵空白，由清華大學、北京理工大學等多所高校與企業聯合開展的研究團隊在《Scientific Data》上發表了題為"S2R-Bench: A Sim-to-Real Evaluation Benchmark for Autonomous Driving"的研究，推出了首個專注于傳感器異常魯棒性評估的仿真到真實基準數據集。

為了開展這項研究，研究人員構建了包含高分辨率攝像頭、80線激光雷達和兩種4D雷達的多傳感器平臺，在北京地區進行了為期一個多月的數據采集，覆蓋城市道路、郊區、高速公路、隧道等多種場景，總里程約700公里。數據采集特別關注了不同天氣條件（小雪、中雪、霧天）和光照條件（白天、夜晚、黃昏），確保了數據的多樣性。最終形成的S2R-Bench數據集包含三個部分：清潔數據（S2R-C）、真實傳感器異常數據（S2R-R）和模擬傳感器異常數據（S2R-S），共計151個序列、10,117幀經過精確時間同步的多模態數據。

研究團隊采用了多種技術方法來確保數據質量和使用價值。傳感器時間同步通過精密時間協議（PTP）實現，將各傳感器間的時間偏移控制在20毫秒以內。標定方面，分別進行了相機-激光雷達聯合標定和相機-4D雷達聯合標定，其中激光雷達坐標系被設為多傳感器相對坐標系的原點。數據標注提供了六類對象的3D邊界框和物體標簽（汽車、行人、騎行者、公交車、卡車和其他），每個對象的標注信息包括相對坐標、絕對尺寸和鳥瞰圖視角下的方向角。

研究結果通過多個基準模型的對比測試，揭示了仿真數據與真實數據之間的性能差異。在點云-based的PointPillars模型測試中，激光雷達在霧天場景下的3D檢測精度為37.63%，而模擬數據的最佳結果為31.91%（3D_Corruptions_AD方法）。在圖像-based的SMOKE模型測試中，真實小雪場景下的檢測精度為25.22%，而模擬數據的最佳結果為38.78%（Robo3D方法）。這些差距在某些場景下尤為明顯，例如在空間失準情況下，模擬數據的檢測性能顯著優于真實數據，表明現有仿真方法難以準確還原真實的傳感器異常情況。

多模態融合模型Focals Conv的實驗結果進一步驗證了數據集的實用性。當使用清潔數據（S2R-C）訓練并在真實異常數據（S2R-R）上測試時，激光雷達在中雪條件下的3D檢測精度達到59.64%，而兩種4D雷達（Arbe和Oculii）的精度分別為44.05%和16.94%。這一結果不僅展示了不同傳感器在惡劣條件下的性能差異，也凸顯了4D雷達作為激光雷達補充的潛力。

數據集的組織結構精心設計，便于研究社區使用。S2R-C、S2R-R和S2R-S三個部分分別按照8:1:1、52.3%:25.3%:22.4%、52.1%:29.2%:23.7%的比例劃分為訓練集、驗證集和測試集。S2R-S部分更包含四個子集，分別使用3D_Corruptions_AD、MultiCorrupt、Robo3D和RoboDepth方法生成，為不同仿真方法的比較研究提供了便利。

研究的另一重要貢獻是提出了傳感器異常的模擬方法。針對雪天條件，研究人員使用LiDAR_snow_sim方法模擬激光雷達和4D雷達的點云數據，通過設置0.20、0.73、1.5625、3.125和7.29五個等級的降雪率來控制雪量密度。對于霧天條件，采用Robo3D方法，通過α參數（0.005、0.01、0.02、0.03和0.06）控制霧的濃度。亮度異常則通過添加零均值高斯抖動來模擬強陽光影響，空間失準則通過在外參旋轉和平移上添加高斯噪聲來實現。

通過對數據集的統計分析，研究人員發現數據集中大多數標注物體集中在距離自車80米范圍內，且物體類別以汽車（約53%）、行人（約20%）和騎行者（約19%）為主。這一分布特征反映了實際道路環境的真實情況，保證了數據集的實用價值。時間分布方面，白天、夜晚和黃昏采集的數據分別占真實數據集的51.3%、41.3%和7.4%，確保了不同光照條件的覆蓋。

研究的校準工作為多模態數據融合提供了堅實基礎。通過張正友標定法實現相機內參和外參的精確校準，利用Auto66時間同步盒確保多傳感器數據的時間一致性。投影方法部分詳細介紹了如何通過變換矩陣將激光雷達點云投影到相機坐標系，為后續的多模態融合算法開發提供了技術支撐。

S2R-Bench數據集的發布標志著自動駕駛感知算法評估進入了一個新階段。該數據集不僅提供了大規模、高質量的真實傳感器異常數據，還包含了多種仿真方法生成的對應數據，為"仿真到真實"傳遞的研究提供了獨一無二的平臺。通過系統性的對比實驗，研究揭示了當前仿真方法與真實數據之間的差距，特別是在亮度異常和空間失準等場景下，仿真數據與真實數據之間存在顯著差異。

這項研究的實際意義在于，它為自動駕駛系統在復雜環境下的可靠性評估提供了標準化基準，推動了魯棒感知算法的發展。隨著自動駕駛技術向更廣泛的應用場景擴展，應對極端天氣和傳感器異常的能力將變得越來越重要。S2R-Bench數據集的發布，將助力研究人員開發出更具適應性和魯棒性的感知系統，最終推動自動駕駛技術的安全落地和廣泛應用。

數據集已通過Figshare平臺公開共享，相關代碼已在GitHub開源，為研究社區提供了完整的數據資源和技術支持。這項工作不僅填補了自動駕駛領域在傳感器異常評估方面的空白，也為未來的仿真到真實研究設立了新標準。