作者：Remco Royen、Leon Denis、Adrian Munteanu

所屬機構：布魯塞爾自由大學電子與信息學系，比利時布魯塞爾1050

摘要

引言

3D技術領域因經濟型3D傳感器的普及和深度學習的興起而吸引了大量學術界和工業界的關注。3D場景理解在許多應用領域中都具有重要意義，例如虛擬現實[1]、自動駕駛[2][3]、無人機探索[4]和機器人技術[5]。其中，3D實例分割是一個基礎但具有挑戰性的子領域。雖然語義分割僅嘗試為每個點分配一個語義標簽[6][7][8]，但實例分割需要更高級的場景理解能力，以便區分屬于同一語義類別的對象。

2D實例分割在文獻中已經得到了充分研究[9][10][11][12][13][14][15][16][17][18][19][20][21]。然而，點云實例分割由于點云的非結構化特性、實例大小和輸入坐標尺度的大變化以及可能的輸入點數量眾多而面臨額外的挑戰。

現有的最先進方法[22][23][24][25]采用自下而上的方法，首先計算判別特征、語義標簽和中心偏移向量，然后使用聚類算法篩選出實例候選對象并保留最佳結果。盡管這些方法表現良好，但由于聚類步驟耗時較長，推理速度相對較慢。此外，所需的推理時間變化較大，因為聚類和候選對象選擇過程受到場景的強烈影響，這限制了它們的在線應用。

為了解決這些問題，本文提出了一種無需聚類的新方法，該方法同時學習原型和系數。通過將兩者線性組合，可以使用簡單快速的非最大值抑制（NMS）算法篩選出最佳的實例掩碼候選對象。雖然我們的方法在技術上屬于基于提議的方法，但與傳統方法不同，我們不需要精確的提議預測，而是通過最近點采樣（FPS）來采樣點子集。這樣可以避免誤差累積和耗時的提議預測過程。新穎的膨脹點插入（DPI）模塊可以為每個提議獲取多尺度系數。值得注意的是，提議集是過完備的且數量固定。這種方法使得推理時間對底層場景的依賴性降低，因此更加可預測。我們在室內場景和物體部分上的實驗表明，測試集上的推理時間標準差僅為總時間的1.0%，而現有方法的標準差在10.8%到53.1%之間。此外，我們的方法在S3DIS-blocks（mRec測試中提高了4.9%）和PartNet（mAP測試中平均提高了2.0%）上的表現也優于現有技術。圖1中的箱形圖可視化了與現有方法的性能和速度對比。

總結來說，我們的主要貢獻如下：

相關工作

點云上的深度學習

PointNet[26]是該領域的開創性工作，它是第一個能夠直接處理點云的深度學習網絡。為了應對點云的非結構化特性，PointNet采用了排列不變的運算符。在PointNet++[27]中，這些想法被應用于局部組而不是整個點云。DGCNN[28]和PointWeb[29]首先構建圖結構，然后再應用圖網絡技術。