王志成，余朝暉，衛(wèi) 剛，孫 雨

（同濟(jì)大學(xué)CAD研究中心，上海201804）

點(diǎn)云是一種重要的三維數(shù)據(jù)表示形式，數(shù)據(jù)保存時(shí)每一個(gè)點(diǎn)由坐標(biāo)加上該位置上的值構(gòu)成。因?yàn)辄c(diǎn)云的存儲(chǔ)形式具有不規(guī)則、無序性以及數(shù)據(jù)抽象和難以可視化等特點(diǎn)，因此點(diǎn)云處理面臨著巨大的挑戰(zhàn)。傳統(tǒng)方法在處理點(diǎn)云數(shù)據(jù)時(shí)存在著精度低、算法泛化能力差等問題。隨著深度學(xué)習(xí)在二維圖像任務(wù)如識(shí)別、檢測(cè)以及分割上取得巨大突破，學(xué)者們開始探索將神經(jīng)網(wǎng)絡(luò)運(yùn)用到點(diǎn)云處理上并取得重大的進(jìn)展。

將深度學(xué)習(xí)算法應(yīng)用到點(diǎn)云處理上的最直接方法是先將數(shù)據(jù)轉(zhuǎn)換為體素化模型［1］，也就是三維結(jié)構(gòu)化數(shù)據(jù)，然后直接用三維濾波器來訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，如應(yīng)用于自動(dòng)駕駛的全卷積網(wǎng)絡(luò)模型［2］。然而，該方法使體積數(shù)據(jù)變得龐大，訓(xùn)練數(shù)據(jù)以及卷積核由二維變成三維，這意味著需要大量的計(jì)算，現(xiàn)階段的計(jì)算能力難以達(dá)到要求。還有一些方法采用多視圖數(shù)據(jù)，比較經(jīng)典的就是基于多視角的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)［3］。Charles 等［4］提出了第一個(gè)直接處理點(diǎn)云數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)算法PointNet，將點(diǎn)云數(shù)據(jù)投影到二維平面。該方法不直接處理三維的點(diǎn)云數(shù)據(jù)，而是先將點(diǎn)云投影到某些特定視角。許多研究對(duì)PointNet特征提取方式進(jìn)行改進(jìn)，如PointCNN［5］，通過一種自定義的X?Conv 操作，使常規(guī)的Convolution 也能處理點(diǎn)云。Jiang 等［6］提出了PointSIFT 模型，對(duì)于每一個(gè)點(diǎn)云能端對(duì)端地輸出一個(gè)表征向量，該向量編碼了各個(gè)方向的信息，同時(shí)自適應(yīng)地選擇合適的表征尺度。目前，對(duì)于深度學(xué)習(xí)在點(diǎn)云數(shù)據(jù)實(shí)例分割中的運(yùn)用已經(jīng)有了進(jìn)展，相似度分組網(wǎng)絡(luò)（SGPN）［7］模型是第一個(gè)直接學(xué)習(xí)三維點(diǎn)云特征的實(shí)例分割網(wǎng)絡(luò)框架。使用PointNet提取特征，通過一個(gè)單獨(dú)網(wǎng)絡(luò)去預(yù)測(cè)點(diǎn)組推薦并為各個(gè)推薦組分配相應(yīng)標(biāo)簽；采用深度相似矩陣表征特征空間中每對(duì)點(diǎn)之間的相似性，進(jìn)而產(chǎn)生點(diǎn)分組建議。

現(xiàn)階段點(diǎn)云實(shí)例分割并不能達(dá)到理想的效果，各種算法還有待提升。提出了一種基于超點(diǎn)圖的點(diǎn)云實(shí)例分割（ISPG）方法，旨在提高實(shí)例分割任務(wù)的精度和效率，并且在實(shí)驗(yàn)中驗(yàn)證方法的有效性。

1 基于超點(diǎn)圖的點(diǎn)云實(shí)例分割方法

為了處理無序的、不規(guī)則的點(diǎn)云數(shù)據(jù)，提出將大場(chǎng)景三維點(diǎn)云用一系列相互聯(lián)系的簡(jiǎn)單形狀構(gòu)成超點(diǎn)的表達(dá)方式，這種表達(dá)方式與影像分割中的超像素類似，由一種稱為超點(diǎn)圖（SPG）［8］的屬性有向圖結(jié)構(gòu)描述。超點(diǎn)圖的節(jié)點(diǎn)表示簡(jiǎn)單的結(jié)構(gòu)，而富有邊特征的邊描述了它們的連接關(guān)系。

超點(diǎn)圖的表達(dá)方式有以下幾個(gè)顯著優(yōu)點(diǎn)：

（1）超點(diǎn)圖將目標(biāo)的分割部分作為一個(gè)整體，而不是對(duì)單個(gè)點(diǎn)或者體素進(jìn)行分類，部分點(diǎn)的整體—超點(diǎn)具備比單個(gè)點(diǎn)或者體素更加顯著的特征，有利于后續(xù)的實(shí)例分割。

（2）超點(diǎn)圖可以詳細(xì)描述相鄰目標(biāo)之間的位置關(guān)系，這對(duì)于上下文分類至關(guān)重要，如車輛通常是在道路上、天花板由墻面包圍等。

（3）超點(diǎn)圖的大小由場(chǎng)景中簡(jiǎn)單結(jié)構(gòu)的數(shù)量決定，相比于處理之前的點(diǎn)集或者體素，超點(diǎn)圖在數(shù)據(jù)量上要小得多。因此，可以對(duì)長(zhǎng)距離的交互進(jìn)行建模，而這在沒有強(qiáng)假設(shè)的成對(duì)連接中是很難實(shí)現(xiàn)的。

1.1 超點(diǎn)劃分

算法將點(diǎn)云劃分成幾何上簡(jiǎn)單且有意義的形狀，稱之為超點(diǎn)。算法的目標(biāo)不是檢索單個(gè)對(duì)象，如汽車或椅子，而是將對(duì)象分解為簡(jiǎn)單的幾何部分。對(duì)于聚類的結(jié)果，不僅要求在幾何上是簡(jiǎn)單的，還期望在語義上是同質(zhì)的，也就是每個(gè)幾何形狀不覆蓋不同類的對(duì)象。在超點(diǎn)圖的網(wǎng)絡(luò)中，將整個(gè)點(diǎn)云作為算法的輸入，從點(diǎn)云分區(qū)可以很容易地計(jì)算出超點(diǎn)圖。為了提高效率，這里使用了全局能量模型。

輸入點(diǎn)云C 是n 個(gè)點(diǎn)的集合，每個(gè)點(diǎn)由包含（x，y，z）的位置信息和其他觀察值定義，如顏色和強(qiáng)度等。對(duì)于每個(gè)點(diǎn)，將一組幾何特征ρ 作為局部特征。在本研究中，使用了文獻(xiàn)［9］中提出的三個(gè)特征描述符，包括線性、平面性和反射強(qiáng)度，以及文獻(xiàn)［8］中引入的垂直度特征。特征描述符是由鄰域定義的，對(duì)于每個(gè)點(diǎn)的鄰域，一組點(diǎn)的坐標(biāo)的協(xié)方差矩陣的特征值分別為 λ1、λ2、λ3，規(guī)定 λ1≥λ2≥λ3。特征描述符的計(jì)算式如下所示：

式中：ρl表示線性度；ρp表示平面度；ρs表示散射值。線性度描述了鄰域的連續(xù)程度，平面度評(píng)估了鄰域點(diǎn)對(duì)于平面的擬合程度，散射值反映了各向同性和曲面度。在實(shí)驗(yàn)中，垂直范圍被證明對(duì)區(qū)分道路和墻壁，以及具有相似尺寸的電線和電線桿至關(guān)重要。因此，還使用了垂直范圍分量η這個(gè)描述子。設(shè)u1、u2、u3是分別與λ1、λ2、λ3對(duì)應(yīng)的三個(gè)特征量。將垂直范圍分量定義為特征向量各維度絕對(duì)值的加權(quán)和的近似，權(quán)重為對(duì)應(yīng)的特征向量的值，計(jì)算式如下所示：

式中：uk表示單位化的特征向量。點(diǎn)云的空間結(jié)構(gòu)可以由無向圖Gu=(V，E)表示，其中節(jié)點(diǎn)V代表點(diǎn)云的點(diǎn)，邊E 代表節(jié)點(diǎn)間的鄰接關(guān)系。全局能量模型［9］由距離每個(gè)點(diǎn)最近的n 個(gè)點(diǎn)定義，使用無向圖Gu=(V，Enn)，Enn表示最近的n個(gè)點(diǎn)的平均距離，算法的n取10。該幾何分區(qū)的問題被定義為以下能量泛函的極值問題：

式中：g 表示擬合既定特征；f 表示點(diǎn)的幾何特征，包含四個(gè)維度（ρl，ρp，ρs，η)；μ表示正則化系數(shù)，作用是保證分割的形狀足夠簡(jiǎn)單；σ 為激活函數(shù)。該方法不僅可以達(dá)到有效逼近l0?cut 算法的效果，還具有自適應(yīng)的效果。在幾何形狀變得復(fù)雜時(shí)，超點(diǎn)中包含的點(diǎn)的個(gè)數(shù)將下降，反之將上升。

1.2 超點(diǎn)圖定義

在第1.1 節(jié)中得到超點(diǎn)后，使用有向圖Go=(S，E，ω)表示整個(gè)點(diǎn)云，并命名為超點(diǎn)圖。S是所有超點(diǎn)的集合，S={S1， }S2，S3，… ，其中Si表示一個(gè)超點(diǎn)的點(diǎn)集；E表示超點(diǎn)之間的鄰接關(guān)系，命名為超邊，E={E1， }E2，E3，… ，其中Ei表示超邊；ω表示編碼超點(diǎn)圖邊界的權(quán)重。Ε表示無向圖中所有邊的集合，如果圖上有一條邊將超點(diǎn)連接在一起，則將兩個(gè)超點(diǎn)定義為相鄰，表達(dá)式如下所示：

式中：ωs，t表示（s，t）連接的個(gè)數(shù)。

超邊示意圖如圖1所示。點(diǎn)之間的邊用實(shí)線表示，部分超點(diǎn)分割之間的鄰接用虛線表示。

圖1 超邊Fig.1 Superedge

超邊還可以通過比較相鄰超點(diǎn)的形狀和大小來定義特征。用|S|表示超點(diǎn)S包含的點(diǎn)數(shù)。此外，還定義了長(zhǎng)度L=λ1、表面積A=λ1λ2和體積v=λ1λ2λ3等形狀特征。λ1、λ2、λ3是每個(gè)超點(diǎn)中點(diǎn)的坐標(biāo)的協(xié)方差矩陣的特征值，按遞減順序排序。表1描述了超邊特征，p表示一個(gè)超點(diǎn)。

表1 超邊描述子及定義Tab.1 Superedge descriptors and definitions

1.3 超點(diǎn)嵌入

將超點(diǎn)轉(zhuǎn)化為固定維度的向量表示。每個(gè)超點(diǎn)的轉(zhuǎn)化都是獨(dú)立進(jìn)行的，超點(diǎn)所需要的上下文信息從第1.4節(jié)中獲取。

選取PointNet 作為超點(diǎn)嵌入算法模型。PointNet 網(wǎng)絡(luò)簡(jiǎn)單，并且具有很好的魯棒性和較高的效率，在實(shí)驗(yàn)中表現(xiàn)出不俗的性能，具體流程如圖2所示。在PointNet中，輸入點(diǎn)首先由空間變換網(wǎng)絡(luò)（STN）［10］實(shí)現(xiàn)對(duì)齊，然后由多層感知器（MLP）獨(dú)立處理，最后用最大池化提取到全局特征。圖2 中，np表示每次輸入的節(jié)點(diǎn)數(shù)，dp表示特征維度，dz表示輸出的特征維度。

圖2 超點(diǎn)嵌入Fig.2 Superpoint embedding

在超點(diǎn)的處理中，使用更為簡(jiǎn)潔的PointNet 完成嵌入，一定程度上節(jié)省了在門控循環(huán)單元（GPU）上評(píng)估時(shí)的內(nèi)存占用。具體做法：首先對(duì)超點(diǎn)進(jìn)行采樣，訓(xùn)練時(shí)點(diǎn)的個(gè)數(shù)小于40的超點(diǎn)將影響訓(xùn)練效果，因此對(duì)此類超點(diǎn)的分類將依據(jù)上下文信息進(jìn)行判斷。

為了使PointNet學(xué)習(xí)不同形狀的空間分布，在處理之前需要將每個(gè)超點(diǎn)都重新縮放到單位球面范圍內(nèi)。因此，每個(gè)點(diǎn)由歸一化后的位置信息p′j、觀測(cè)信息oj以及幾何特征fj描述。此外，原始矩陣的縮放尺度將作為一個(gè)額外特征連接到最大池化后得到全局信息。

1.4 上下文語義中的分割

Pipeline 的最后一步是根據(jù)嵌入和超點(diǎn)圖中的局部特征對(duì)超點(diǎn)進(jìn)行分類?；谥敖⒌某c(diǎn)圖模型，采用圖卷積來做最后的處理。

根據(jù)超邊的信息改善超點(diǎn)的嵌入。具體來說，每個(gè)超點(diǎn)si都在GRU 中保留其隱藏狀態(tài)。隱藏狀態(tài)初始化為嵌入，之后保留的是每輪迭代的結(jié)果。在迭代中，一個(gè)GRU 單元（見圖3）將其隱藏狀態(tài)和傳入信息作為輸入，并計(jì)算一個(gè)新的隱藏狀態(tài)。對(duì)超點(diǎn)si，傳入信息是和超點(diǎn)si鄰接的超點(diǎn)的隱藏狀態(tài)的加權(quán)和。

圖3 GRU模塊Fig.3 GRU module

GRU由一系列線性以及非線性計(jì)算組成，GRU的前向傳播過程如下所示：

式中：x(t)i為輸入；h(t)i為輸出；⊙為矩陣點(diǎn)乘運(yùn)算；h?(t)i為隱藏狀態(tài)；σ(?)為sigmoid函數(shù)；z(t)i為重置門輸出矩陣；r(t)i為更新門輸出矩陣；W、U和b為GRU中共享的可訓(xùn)練參數(shù)。式（7）和式（8）中出現(xiàn)了GRU的兩個(gè)組件，即重置門z(t)i和更新門r(t)i。為了提高訓(xùn)練的穩(wěn)定性，對(duì)式（7）和式（8）在線性變換后采用歸一化操作，定是一個(gè)常數(shù)。

GRU 具有基于隱藏狀態(tài)對(duì)輸入進(jìn)行加權(quán)的能力。例如，如果GRU的類別狀態(tài)非常確定，GRU就會(huì)自動(dòng)忽略上下文，或者只關(guān)注特定的特性通道。在輸入之前乘上隱藏狀態(tài)的權(quán)重，通過設(shè)置這些權(quán)重可以控制消息。

邊緣條件卷積在模型中起著至關(guān)重要的作用，通過多層感知機(jī)處理連續(xù)序列的特征Fji動(dòng)態(tài)生成過濾權(quán)重。多層感知機(jī)對(duì)權(quán)重矩陣進(jìn)行回歸，這一操作需要對(duì)每個(gè)邊向量進(jìn)行矩陣向量乘法，帶來大量的額外計(jì)算量，增加了運(yùn)行時(shí)間、訪存以及參數(shù)量。為了減少計(jì)算量，只對(duì)特定于邊緣的權(quán)重向量進(jìn)行回歸，并進(jìn)行逐元素乘法，然后與GRU更新規(guī)則結(jié)合使用，使得通道混合被推遲。通過簡(jiǎn)化，邊緣非特定方式的性能已達(dá)到與邊緣特定方式相似的水平。盡管感知機(jī)沒有明確S型激活函數(shù)，但逐元素乘法可以選擇學(xué)習(xí)來充當(dāng)邊緣條件門。受到DenseNet［11］的啟發(fā)，將所有迭代過程中的隱藏狀態(tài)串聯(lián)起來，并進(jìn)行線性變換，以生成稠密特征yi。多層感知機(jī)在時(shí)間迭代中是共享的，定義為WO，表達(dá)式如下所示：

2 算法流程

ISPG模型如圖4所示。算法分為以下三個(gè)步驟：

（1）按照幾何形狀均勻分區(qū)

將點(diǎn)云劃分為幾何上簡(jiǎn)單且有意義的形狀，稱之為超點(diǎn)。這一步驟完全是無監(jiān)督的，分割出來的簡(jiǎn)單形狀可以是大型的形狀如道路或墻壁，也可以是更小的組件，如汽車或椅子的零件。

圖4 ISPG模型Fig.4 ISPG model

（2）超點(diǎn)的嵌入

超點(diǎn)圖的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)整體點(diǎn)云的一小部分，也就是對(duì)應(yīng)幾何形狀簡(jiǎn)單的基元。假設(shè)超點(diǎn)在語義上是齊次的，將這些超點(diǎn)基元降采樣到最多數(shù)百個(gè)點(diǎn)來表示。小尺寸點(diǎn)云可使用PointNet方法處理。

（3）鄰域點(diǎn)云的分割

超點(diǎn)圖的數(shù)量級(jí)比建立在原始點(diǎn)云上的任何圖都小，基于圖卷積的深度學(xué)習(xí)算法使用超點(diǎn)的邊緣特征對(duì)這些節(jié)點(diǎn)進(jìn)行分割，從而實(shí)現(xiàn)語義的分割。

3 實(shí)驗(yàn)

基于ScanNet［12］數(shù)據(jù)集、斯坦福大型三維（3D）室內(nèi)空間數(shù)據(jù)集（S3DIS）［1］以及KITTI 數(shù)據(jù)集評(píng)估算法。此外，評(píng)估指標(biāo)是基于原始點(diǎn)云計(jì)算的，而不是基于超點(diǎn)。使用tensoflow 神經(jīng)網(wǎng)絡(luò)框架和單個(gè)Nvidia GTX1080 Ti GPU進(jìn)行實(shí)驗(yàn)。

3.1 超點(diǎn)質(zhì)量

從圖5 的可視化結(jié)果可以看出，全局能量模型可以很好地對(duì)稠密特征和稀疏特征的物體進(jìn)行自適應(yīng)分割。幾何形狀比較復(fù)雜的物體，如桌子、書架等（樣本1和樣本3），在較小的尺度內(nèi)被分割成較多超點(diǎn)；墻、地板和天花板等物體（樣本2），在特征空間內(nèi)的距離很近，因此被分割成較為完整的超點(diǎn)。

3.2 對(duì)比實(shí)驗(yàn)設(shè)置

將分割結(jié)果與以下兩種方法進(jìn)行比較：

（1）簇分割（Seg?Cluster）模型

該模型在與SGPN［12］模型相關(guān)的論文中首次提出，采取一種貪婪策略對(duì)點(diǎn)云進(jìn)行簡(jiǎn)單分割。使用PointNet 網(wǎng)絡(luò)執(zhí)行語義分割，然后選擇所有點(diǎn)作為種子。從種子點(diǎn)開始，利用廣度優(yōu)先搜索具有相同標(biāo)簽的鄰居。如果找到的群集超過200 個(gè)點(diǎn)，就將其視為有效群組，然后采用分組合并算法合并有效組群。

（2）SGPN（PointNet）模型

SGPN模型中使用單個(gè)網(wǎng)絡(luò)來預(yù)測(cè)點(diǎn)云的聚類區(qū)域及每個(gè)區(qū)域?qū)?yīng)的語義類別。因此，該方法可以直接提取實(shí)例分割的結(jié)果。

3.3 ScanNet數(shù)據(jù)集測(cè)試結(jié)果

在ScanNet數(shù)據(jù)集上對(duì)18種常見對(duì)象類別進(jìn)行評(píng)估和比較。原始點(diǎn)云作為輸入，目標(biāo)是分割場(chǎng)景中屬于18 個(gè)對(duì)象類別的每個(gè)實(shí)例及其語義標(biāo)簽。IoU（αIoU)閾值為0.5 的平均精度（βAP）用作評(píng)估指標(biāo)，αIoU和βAP的計(jì)算式如下所示：

式中：NTP、NFP、NFN分別表示預(yù)測(cè)正確、預(yù)測(cè)錯(cuò)誤、沒有預(yù)測(cè)到的物體數(shù)目。

圖5 全局能量模型生成超點(diǎn)Fig.5 Superpoints produced by global energy model

如表2 所示，ISPG 模型的平均精度在大多數(shù)對(duì)象類別上的表現(xiàn)都超過了SGPN 模型。由于ISPG模型只需要捕獲相對(duì)簡(jiǎn)單的對(duì)象分布就可以生成非常高質(zhì)量的候選群組，因此可以針對(duì)幾何變化較小的類別獲得很高的精度。對(duì)于在分割過程中需要稠密信息的類別（如門、窗），SGPN模型無法獲得良好的評(píng)分，因?yàn)樗鼈兊南嗨菩远攘繜o法有效地被編碼；ISPG模型在這些類別上獲得了更好的結(jié)果，這表明在生成候選群組時(shí)產(chǎn)生的特征更有利于分類。

圖6 為SGPN 模型與ISPG 模型之間的定性比較。SGPN模型需要在學(xué)習(xí)的相似性度量空間中劃出清晰的邊界來區(qū)分對(duì)象實(shí)例，可以觀察到許多對(duì)象包括一個(gè)對(duì)象的部分或多個(gè)對(duì)象的預(yù)測(cè)。與SGPN模型相比，ISPG模型生成的對(duì)象具有更高的針對(duì)性，從而帶來了更好的細(xì)分質(zhì)量。當(dāng)存在大量背景點(diǎn)時(shí)，SGPN 模型很難學(xué)習(xí)良好的相似性度量標(biāo)準(zhǔn)，因?yàn)槠鋬H專注于前景點(diǎn)的語義和相似性的學(xué)習(xí)，并且在訓(xùn)練過程中忽略了背景點(diǎn)，因此增加了基于背景的假陽性預(yù)測(cè)。

表2 ScanNet測(cè)試集IoU閾值為0.5的平均精度Tab.2 Average accuracy of ScanNet dataset with 0.5 IoU threshold

3.4 斯坦福數(shù)據(jù)集測(cè)試結(jié)果

斯坦福大型三維室內(nèi)空間數(shù)據(jù)集S3DIS［1］包含從6 個(gè)區(qū)域和13 個(gè)對(duì)象掃描得到的270 個(gè)室內(nèi)場(chǎng)景。使用203 個(gè)場(chǎng)景進(jìn)行訓(xùn)練，其余67 個(gè)場(chǎng)景進(jìn)行評(píng)估。對(duì)于斯坦福大型三維室內(nèi)空間數(shù)據(jù)集（S3DIS），將每個(gè)房間分成面積為1 m×1 m的塊，并且將每個(gè)點(diǎn)表示為九維（9D）矢量（XYZ，RGB 和歸一化的空間坐標(biāo)）。在訓(xùn)練過程中為每個(gè)模塊采樣了4 096個(gè)點(diǎn)，所有點(diǎn)都用于測(cè)試。

圖6 ScanNet數(shù)據(jù)集上ISPG與SGPN模型可視化結(jié)果Fig.6 Visualization results of ISPG and SGPN model on ScanNet dataset

圖7 顯示了使用ISPG 模型在S3DIS 上的實(shí)例分割結(jié)果。由于對(duì)象實(shí)例是無序的，因此同一組中點(diǎn)的顏色不一定與真實(shí)情況中對(duì)應(yīng)點(diǎn)的顏色相同。為可視化實(shí)例類，還添加了語義分割結(jié)果。ISPG模型在各種房間類型上均表現(xiàn)出色。ISPG 模型的測(cè)試結(jié)果與SGPN 模型相比，很少出現(xiàn)邊緣分割混亂情況，這說明ISPG 模型的測(cè)試效果有了進(jìn)一步的提升。

計(jì)算每個(gè)預(yù)測(cè)的和真實(shí)的標(biāo)簽之間的點(diǎn)的αIoU。若αIoU大于閾值，則將檢測(cè)到的實(shí)例視為真陽性。進(jìn)一步計(jì)算平均精度以進(jìn)行實(shí)例分割性能評(píng)估，表3為IoU閾值0.5時(shí)每個(gè)類別的平均精度。

3.5 KITTI數(shù)據(jù)集測(cè)試結(jié)果

KITTI 數(shù)據(jù)集［13］包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景，每張圖像中包含豐富的行為和車輛的信息以及一些遮擋。整個(gè)數(shù)據(jù)集由389 對(duì)立體圖像、光流圖39.2 km視覺測(cè)距序列以及超過20萬個(gè)三維標(biāo)注物體的圖像組成，以10 Hz的頻率采樣及同步。

對(duì)于該數(shù)據(jù)集，ISPG模型在小物體類別上獲得了可觀的收益，可以通過分區(qū)算法檢測(cè)。此外，在執(zhí)行空間規(guī)則化時(shí)，小物體通常與道路合并，可成為之后算法的一個(gè)改進(jìn)方向。

KITTI數(shù)據(jù)集上的可視化效果如圖8所示?？梢钥闯觯m然KITTI 數(shù)據(jù)集與前兩個(gè)數(shù)據(jù)集差異巨大，但是ISPG 模型依舊起到了很好的效果，說明模型具有很好的泛化能力。

表3 S3DIS測(cè)試集IoU閾值為0.5的平均精度Tab.3 Average accuracy of S3DIS dataset with 0.5 IoU threshold

圖7 S3DIS數(shù)據(jù)集上SGPN和ISPG模型可視化結(jié)果Fig.7 Visualization results of SGPN and ISPG model on S3DIS dataset

圖8 KITTI數(shù)據(jù)集上ISPG模型可視化結(jié)果Fig.8 Visualization results of ISPG model on KITTI dataset

4 結(jié)語

提出了基于超點(diǎn)圖的點(diǎn)云實(shí)例分割模型。首先將點(diǎn)云分割為超點(diǎn)，然后構(gòu)建超點(diǎn)嵌入與邊特征，最后通過上下文信息對(duì)超點(diǎn)進(jìn)行分類。超點(diǎn)圖的提出使得卷積運(yùn)算不再運(yùn)行在點(diǎn)上，而是運(yùn)行在超點(diǎn)上，并通過豐富的邊特征來表征上下文的信息，在保證分割效果的同時(shí)，加快了運(yùn)行速度。在多個(gè)數(shù)據(jù)集上對(duì)該算法進(jìn)行了全面的驗(yàn)證，取得了不錯(cuò)的實(shí)例分割效果。