陳迎亮， 李大威,b

(東華大學(xué) a.信息科學(xué)與技術(shù)學(xué)院，b.數(shù)字化紡織服裝技術(shù)教育部工程研究中心， 上海 201620)

點(diǎn)云數(shù)據(jù)是描述三維目標(biāo)表面的一系列三維點(diǎn)坐標(biāo)，其以離散的形式保留了原始的物件空間信息，是三維場景建模與理解的首要數(shù)據(jù)形式[1-2]。點(diǎn)級(jí)分割是三維點(diǎn)云數(shù)據(jù)處理中重要的研究方向之一。類似于圖像的像素級(jí)分類任務(wù)，點(diǎn)云的點(diǎn)級(jí)分割可分為語義分割和實(shí)例分割[3]。語義分割是指將點(diǎn)云中的每個(gè)點(diǎn)劃分到其所屬的語義可解釋類別中；實(shí)例分割是在語義分割的基礎(chǔ)上對(duì)語義類別下的所有實(shí)例級(jí)個(gè)體進(jìn)行劃分。在三維物體點(diǎn)云的處理中兼顧語義分割和實(shí)例分割將是一個(gè)很大的挑戰(zhàn)。

深度學(xué)習(xí)[4]簡化了傳統(tǒng)分割方法的調(diào)參復(fù)雜和數(shù)據(jù)普適性問題，能兼顧多分割任務(wù)并且能夠達(dá)到可觀的預(yù)測準(zhǔn)確率，因此在自然語言處理[5]、語音識(shí)別[6]、遙感技術(shù)[7]等方面得到廣泛應(yīng)用。由于三維點(diǎn)云具有無序性、不均勻性和稀疏性[8]，因此深度學(xué)習(xí)中的卷積運(yùn)算無法直接應(yīng)用于點(diǎn)云分割。早期的點(diǎn)云深度學(xué)習(xí)分割方法主張對(duì)點(diǎn)云進(jìn)行體素化[9-11]處理，以增強(qiáng)點(diǎn)云的有序性和規(guī)則性，然后將卷積擴(kuò)展到三維，實(shí)現(xiàn)圖像深度學(xué)習(xí)方法向點(diǎn)云深度學(xué)習(xí)方法的遷移。然而，體素化受分辨率和計(jì)算量限制，很難在現(xiàn)有的GPU硬件訓(xùn)練框架下提升訓(xùn)練效果。部分學(xué)者[12-13]將點(diǎn)云投影到二維平面，先用二維圖像的深度學(xué)習(xí)方法進(jìn)行分割，再投影回點(diǎn)云中使用基于投票決策的方式進(jìn)行三維點(diǎn)云的間接分割。該策略的結(jié)果受點(diǎn)云復(fù)雜度、投影角度和投影圖像分割效果的綜合影響，難以在復(fù)雜點(diǎn)云上取得滿意的效果。

目前，基于體素化與投影的方法都不可避免地?fù)p失了原始點(diǎn)云的部分細(xì)節(jié)，因此，研究人員開始探索直接在點(diǎn)云的單點(diǎn)級(jí)別上進(jìn)行深度學(xué)習(xí)。Qi等[8]提出的PointNet網(wǎng)絡(luò)是首個(gè)實(shí)現(xiàn)端到端分類與分割的點(diǎn)級(jí)別深度學(xué)習(xí)語義分割網(wǎng)絡(luò)，它通過多層感知器(multi-layer perceptron，MLP)對(duì)點(diǎn)的局部特征進(jìn)行提取，通過最大值池化將局部特征聚合為全局特征。后續(xù)的Pointnet++[14]網(wǎng)絡(luò)在PointNet網(wǎng)絡(luò)基礎(chǔ)上引入下采樣和多尺度融合，以增強(qiáng)對(duì)點(diǎn)云局部特征的提取效果。Li等[15]提出PointCNN網(wǎng)絡(luò)，對(duì)輸入點(diǎn)進(jìn)行X-卷積運(yùn)算，得到與順序無關(guān)的特征，能夠較好地解決點(diǎn)云的無序性問題。Wang等[16]提出SGPN(similarity group proposal network)網(wǎng)絡(luò)，通過記錄點(diǎn)對(duì)不同特征的差異形成相似矩陣從而進(jìn)行點(diǎn)的聚合，該網(wǎng)絡(luò)是第一個(gè)直接進(jìn)行點(diǎn)云實(shí)例分割的深度學(xué)習(xí)網(wǎng)絡(luò)。Wang等[17]基于PointNet++的基本框架提出ASIS(associatively segmenting instances and semantics)網(wǎng)絡(luò)，該網(wǎng)絡(luò)用1個(gè)簡單的雙通路框架同時(shí)實(shí)現(xiàn)了對(duì)點(diǎn)云的語義分割與實(shí)例分割。Zhao等[18]在ASIS網(wǎng)絡(luò)的基礎(chǔ)上，使用PointConv模塊改進(jìn)ASIS網(wǎng)絡(luò)中的特征提取部分，并設(shè)計(jì)了復(fù)雜的雙通路融合模塊，提出了JSNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)在一些大型3 D數(shù)據(jù)集上提高了分割的準(zhǔn)確率，取得較好的分割效果。大場景下的點(diǎn)云數(shù)據(jù)一般通過激光雷達(dá)掃描獲得，然后由主流的深度學(xué)習(xí)網(wǎng)絡(luò)將點(diǎn)云數(shù)據(jù)分塊輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而PartNet[19]等物體數(shù)據(jù)集中單一物件點(diǎn)云的點(diǎn)數(shù)較少，通常在降采樣后將整個(gè)物體作為網(wǎng)絡(luò)的輸入。將上述點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)直接應(yīng)用于單一物件時(shí)的分割效果明顯下降。這是因?yàn)?，目前主流的?lián)合分割網(wǎng)絡(luò)難以有效學(xué)習(xí)物件點(diǎn)云的幾何多樣性特征，尤其是無法降低點(diǎn)云曲率較大處、崎嶇細(xì)節(jié)處的分類錯(cuò)誤率。

為解決這些問題，提出物體點(diǎn)云語義和實(shí)例分割網(wǎng)絡(luò)(semantic and instance segmentation network， SISN)，該網(wǎng)絡(luò)由廣義的編解碼過程前端和語義與實(shí)例特征融合后端構(gòu)成，可實(shí)現(xiàn)多類別物件點(diǎn)云的語義與實(shí)例聯(lián)合分割。SISN將動(dòng)態(tài)圖卷積子模塊作為網(wǎng)絡(luò)的基本單元應(yīng)用在網(wǎng)絡(luò)結(jié)構(gòu)的前端編碼器和解碼器中，可實(shí)現(xiàn)感受野的增強(qiáng)和對(duì)幾何多樣性的有效學(xué)習(xí)。在語義與實(shí)例特征的融合子模塊中，搭建兩條帶有全連接一維卷積的單向信息交叉支路，并在支路末端實(shí)現(xiàn)信息融合，可增強(qiáng)語義與實(shí)例分割任務(wù)的內(nèi)在關(guān)聯(lián)，并促進(jìn)特征學(xué)習(xí)。

1 SISN網(wǎng)絡(luò)架構(gòu)

動(dòng)態(tài)圖卷積點(diǎn)云聯(lián)合分割網(wǎng)絡(luò)SISN的架構(gòu)如圖1(a)所示。將含有N個(gè)點(diǎn)、C0維初始特征的點(diǎn)云作為輸入，初始特征包含空間坐標(biāo)(x,y,z)、顏色(r,g,b)、法向量(nx，ny,nz)信息，故C0=9。首先，對(duì)輸入點(diǎn)云進(jìn)行特征編碼。在編碼器過程中共進(jìn)行4次獨(dú)立的特征提取，特征層用灰色表示。每次特征提取分兩步進(jìn)行：一是在特征空間上對(duì)先前的特征點(diǎn)進(jìn)行最遠(yuǎn)點(diǎn)采樣，二是動(dòng)態(tài)圖卷積[20]。動(dòng)態(tài)圖卷積操作主要由兩次邊卷積運(yùn)算和特征拼接操作組成，最后使用一維卷積調(diào)整特征長度，如圖1(b)所示。特征編碼器并不對(duì)語義和實(shí)例特征進(jìn)行區(qū)分，只負(fù)責(zé)完成從小到大的多尺度特征信息提取。其次，對(duì)特征編碼進(jìn)行解碼。分為語義流與實(shí)例流2個(gè)支路，分別進(jìn)行語義特征解碼和實(shí)例特征解碼，得到語義解碼特征Fdesm和實(shí)例解碼特征Fdins。在解碼中同樣分兩步進(jìn)行：一是對(duì)特征圖進(jìn)行基于特征空間插值的上采樣，二是動(dòng)態(tài)圖卷積。然后，將2條支路的解碼特征輸入融合模塊進(jìn)行語義特征和實(shí)例特征的交叉融合，如圖1(c)所示。最后，語義流通過Softmax[21]輸出語義分割標(biāo)簽從而完成語義分割，在實(shí)例流的特征空間上通過均值漂移聚類(mean shift)[22]將聚類后的特征點(diǎn)劃分為不同實(shí)例并對(duì)應(yīng)到原始點(diǎn)云上渲染輸出。

圖1 SISN的網(wǎng)絡(luò)架構(gòu)Fig.1 The network architecture of SISN

1.1 動(dòng)態(tài)圖卷積與邊卷積運(yùn)算

在網(wǎng)絡(luò)的編碼器部分和雙支路解碼器部分，頻繁使用動(dòng)態(tài)圖卷積模塊進(jìn)行點(diǎn)云的深度特征提取與聚合，如圖2所示。

圖2 動(dòng)態(tài)圖卷積操作示意圖Fig.2 A demonstration of the dynamic graph convolution

eij=xi-xij

(1)

(2)

1.2 語義與實(shí)例特征融合模塊

同一實(shí)例類包含的點(diǎn)必定屬于同一語義類，而不同語義類的點(diǎn)必定屬于不同實(shí)例類。由此先驗(yàn)知識(shí)可知：語義分割任務(wù)與實(shí)例分割任務(wù)之間是有內(nèi)在關(guān)聯(lián)的，因此適當(dāng)對(duì)語義流與實(shí)例流的特征進(jìn)行融合有利于提高語義與實(shí)例雙分割網(wǎng)絡(luò)的精度。圖1(c)是網(wǎng)絡(luò)的語義與實(shí)例特征融合模塊的內(nèi)部展示，在特征解碼得到N×128的語義流特征Fdsem和N×128實(shí)例流特征Fdins后，在雙通路結(jié)構(gòu)上搭建兩條帶有全連接一維卷積的單向信息交叉支路，在每條支路末端與主通路的連接處直接通過特征圖相加實(shí)現(xiàn)信息融合。交叉融合后雙通路再各自通過1次獨(dú)立的動(dòng)態(tài)圖卷積得到語義與實(shí)例特征融合模塊的輸出Fdsem與Fdins。式(3)與(4)分別表示語義通路和實(shí)例通路的融合過程，其中D(·)表示一次動(dòng)態(tài)圖卷積運(yùn)算。

Fsem=D(Fdsem+f(Fins))

(3)

Fins=D(Fdins+f(Fdesm))

(4)

語義與實(shí)例特征融合模塊的輸出為更高級(jí)的N×C語義特征信息Fsem與N×5的實(shí)例特征信息Fins，其中C為數(shù)據(jù)集中語義類的個(gè)數(shù)(采用的PartNet數(shù)據(jù)集C=38)。Fsem之后使用Softmax完成點(diǎn)云的點(diǎn)級(jí)別語義分割，F(xiàn)ins之后使用均值漂移聚類算法根據(jù)實(shí)例端的輸出特征對(duì)點(diǎn)云進(jìn)行點(diǎn)級(jí)別的實(shí)例分割。使用不同顏色渲染表示語義分割結(jié)果中不同類別的點(diǎn)，對(duì)于實(shí)例分割結(jié)果，點(diǎn)云中不同的顏色表示不同的實(shí)例。

在SISN的雙通路模塊中，語義流和實(shí)例流的信息交互通過簡單的一維卷積來實(shí)現(xiàn)。這種簡單而有效的機(jī)制，既不同于ASIS網(wǎng)絡(luò)通過對(duì)實(shí)例特征進(jìn)行K近鄰來提取鄰域信息，從而進(jìn)行語義與實(shí)例特征交互的方式，也不同于JSNet網(wǎng)絡(luò)通過注意力模塊和均值模塊來實(shí)現(xiàn)實(shí)例特征與語義特征的融合的機(jī)制。

1.3 損失函數(shù)

在輸入網(wǎng)絡(luò)的所有類別的物件點(diǎn)云中，語義類的總個(gè)數(shù)是確定的，因此語義分割使用經(jīng)典的交叉熵?fù)p失函數(shù)，如式(5)所示，其中，N為總的點(diǎn)數(shù)，C為數(shù)據(jù)集中語義類的個(gè)數(shù)，p(xi=j)為點(diǎn)xi為j類的概率，q(xi=j)為將點(diǎn)xi預(yù)測為j類的概率。而實(shí)例的個(gè)數(shù)是不確定的，因此不同輸入點(diǎn)云的實(shí)例個(gè)數(shù)是不一樣的。實(shí)例分割使用實(shí)例損失監(jiān)督策略，以多個(gè)損失的加權(quán)共同監(jiān)督實(shí)例分割訓(xùn)練，如式(6)所示，其中α,β,γ為損失的權(quán)重參數(shù)。Ls用于使屬于相同實(shí)例個(gè)體的點(diǎn)聚集，以及在高維特征空間內(nèi)使同一實(shí)例的點(diǎn)間距離變小，如式(7)所示，其中，I為本訓(xùn)練批次(Batch)標(biāo)簽中的實(shí)例個(gè)數(shù)，Ni為實(shí)例i中點(diǎn)的個(gè)數(shù)，μi為屬于實(shí)例i的點(diǎn)在高維特征空間中的均值，ej為點(diǎn)j的特征向量，δv為邊界閾值，‖·‖1表示l1范數(shù)計(jì)算，[x]+=max(0,x)。Ld用于使不同實(shí)例個(gè)體的點(diǎn)在特征空間中相互排斥,以實(shí)現(xiàn)更加準(zhǔn)確的實(shí)例分割，如式(8)所示，其中2δd表示兩個(gè)不同實(shí)例個(gè)體的最近距離。Lreg為正則化損失，用于緩解過擬合并使網(wǎng)絡(luò)的分割注意力在點(diǎn)云表面保持平衡，提高泛化能力，如式(9)所示。

(5)

Linstance=αLs+βLd+γLreg

(6)

(7)

(8)

(9)

2 試驗(yàn)部分

2.1 數(shù)據(jù)集與網(wǎng)絡(luò)訓(xùn)練方式

選用PartNet數(shù)據(jù)集中的8種物件(包、椅子、顯示器、耳機(jī)、帽子、刀、剪刀、垃圾桶)，共38個(gè)物件子語義類(如椅背、椅面、椅腿等)進(jìn)行語義與實(shí)例分割性能測試，并與ASIS和JSNet方法進(jìn)行對(duì)比。輸入的物件點(diǎn)云特征信息包括空間坐標(biāo)、顏色信息和法向量。在數(shù)據(jù)集中每個(gè)原始物件有10 000個(gè)點(diǎn)，鑒于點(diǎn)數(shù)太多會(huì)占據(jù)計(jì)算資源，延長訓(xùn)練時(shí)間，對(duì)于提高分割性能的實(shí)際意義不大，因此采用最遠(yuǎn)點(diǎn)采樣的方法將點(diǎn)數(shù)降采樣到4 096再作為輸入。此外，為驗(yàn)證本文方法對(duì)不同類型點(diǎn)云的泛化性能，將本文網(wǎng)絡(luò)與其他兩種網(wǎng)絡(luò)在包含3個(gè)品種共546個(gè)植株單體的植物點(diǎn)云數(shù)據(jù)集上進(jìn)行語義分割與實(shí)例分割性能對(duì)比，其中，語義類劃分為莖稈和葉片兩類共6種，而實(shí)例標(biāo)簽則為葉片語義中的每個(gè)單獨(dú)葉片。

使用NVIDIA GeForce RTX 2080Ti顯卡進(jìn)行網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練過程中，設(shè)置每批次訓(xùn)練數(shù)據(jù)為8，學(xué)習(xí)率為0.001，訓(xùn)練輪次為100；最小化損失的優(yōu)化算法使用Adam優(yōu)化器，實(shí)例損失的權(quán)重參數(shù)設(shè)置為α=β=1以及γ=0.001。PartNet數(shù)據(jù)集中的訓(xùn)練集有6 864個(gè)物件，測試集有1 688個(gè)物件。植物點(diǎn)云數(shù)據(jù)集中的訓(xùn)練集有364個(gè)植株點(diǎn)云，測試集有182個(gè)植株點(diǎn)云。

2.2 定量評(píng)價(jià)指標(biāo)

對(duì)于語義分割任務(wù)，計(jì)算每種物件所包含的語義類的準(zhǔn)確率P、召回率R、分?jǐn)?shù)F1和交并比IIoU(intersection over union, IoU)。準(zhǔn)確率反映分類正確的點(diǎn)數(shù)在網(wǎng)絡(luò)預(yù)測結(jié)果中的占比，如式(10)所示。召回率反映該語義類分類正確的點(diǎn)數(shù)在真實(shí)標(biāo)簽的該類總點(diǎn)數(shù)中的占比，如式(11)所示。交并比反映每個(gè)語義類的預(yù)測區(qū)域與其實(shí)際區(qū)域的重合程度，如式(12)所示。

(10)

(11)

(12)

式中：NTP為網(wǎng)絡(luò)預(yù)測正確的點(diǎn)數(shù);NFP為將其他類的點(diǎn)錯(cuò)預(yù)測為當(dāng)前語義類的點(diǎn)數(shù)；NFN為將當(dāng)前語義類錯(cuò)預(yù)測為其他語義類的點(diǎn)數(shù)。

分?jǐn)?shù)F1為準(zhǔn)確率和召回率的調(diào)和平均數(shù)，如式(13)所示。

(13)

使用CmCov和CmWCov來評(píng)價(jià)實(shí)例分割的結(jié)果，定義如下：

(14)

(15)

(16)

式中：G為屬于某個(gè)語義類的真實(shí)實(shí)例標(biāo)簽的區(qū)域集合；P為網(wǎng)絡(luò)預(yù)測出的所有實(shí)例區(qū)域的集合；Gm為標(biāo)簽中第m個(gè)實(shí)例的點(diǎn)集；Pn為預(yù)測中第n個(gè)實(shí)例的點(diǎn)集。除點(diǎn)級(jí)別評(píng)價(jià)指標(biāo)外，還有實(shí)例級(jí)的評(píng)價(jià)指標(biāo)，如平均準(zhǔn)確率Pmean和平均召回率Rmean，其定義如下：

(17)

(18)

式中：|NTPi|為網(wǎng)絡(luò)預(yù)測出的屬于語義類i且IIoU>50%的實(shí)例個(gè)數(shù)；|Pi|為預(yù)測出的屬于語義類i的實(shí)例個(gè)數(shù)；|Gi|為語義類i的真實(shí)標(biāo)簽中的實(shí)例個(gè)數(shù)。

2.3 定量分割結(jié)果

SISN對(duì)PartNet數(shù)據(jù)集中每種物件的語義分割定量結(jié)果如表1所示，對(duì)每種物件的實(shí)例分割定量結(jié)果如表2所示。由表1和2可知，SISN對(duì)顯示器和剪刀的語義和實(shí)例分割準(zhǔn)確率P較高。主要原因有兩點(diǎn)：(1)不同的顯示器個(gè)體、剪刀個(gè)體的類內(nèi)形狀差異較小，且這兩種物件的語義部件之間的差異明顯，如顯示器分為屏幕和底座兩部分，剪刀柄一般為圓環(huán)狀，剪刀頭一般為長尖狀；(2)顯示器和剪刀物件中包含的實(shí)例個(gè)體偏少，客觀上減少了實(shí)例分割出現(xiàn)誤差的可能。SISN網(wǎng)絡(luò)對(duì)耳機(jī)和包的分割準(zhǔn)確率P和交并比IIoU較低，主要原因有兩點(diǎn)：(1)不同耳機(jī)的形狀差異較大，如有的耳機(jī)沒有麥克風(fēng)；(2)包和耳機(jī)物件中包含的實(shí)例個(gè)數(shù)多于語義類，更易發(fā)生誤分割，比如包有2個(gè)提手、耳機(jī)有2個(gè)耳罩。

表1 SISN對(duì)PartNet物件語義分割的定量結(jié)果Table 1 Quantitative results of semantic segmentation of PartNet objects by SISN %

表2 SISN對(duì)PartNet物件實(shí)例分割的定量結(jié)果Table 2 Quantitative results of instance segmentation of PartNet objects by SISN %

SISN對(duì)植物點(diǎn)云數(shù)據(jù)集的語義分割和實(shí)例分割全類別定量試驗(yàn)結(jié)果分別如表3和4所示。植物數(shù)據(jù)集較為規(guī)整、類別較少，不同類別點(diǎn)集特征區(qū)分相對(duì)明顯，故在植物點(diǎn)云數(shù)據(jù)集上的整體分割效果較好，大部分指標(biāo)在80%以上。

表3 SISN對(duì)植物點(diǎn)云數(shù)據(jù)集語義分割的全類別定量結(jié)果

表4 SISN對(duì)植物點(diǎn)云數(shù)據(jù)集實(shí)例分割的全類別定量結(jié)果

2.4 與其他網(wǎng)絡(luò)的定量與定性對(duì)比

將SISN的結(jié)果與當(dāng)前流行的雙功能分割網(wǎng)絡(luò)ASIS與JSNet分別在PartNet數(shù)據(jù)集和植物點(diǎn)云數(shù)據(jù)集上進(jìn)行對(duì)比。試驗(yàn)時(shí)保持3種網(wǎng)絡(luò)試驗(yàn)條件基本一致，輸入的訓(xùn)練與測試點(diǎn)云完全相同，結(jié)果如表5和6所示。由表5和6可知，SISN在多個(gè)指標(biāo)上取得較好的結(jié)果。

表5 3種網(wǎng)絡(luò)的語義分割平均定量對(duì)比

表6 3種網(wǎng)絡(luò)的實(shí)例分割平均定量對(duì)比

3種網(wǎng)絡(luò)在PartNet數(shù)據(jù)集上的語義定性結(jié)果對(duì)比如圖3所示，圖中紅色實(shí)線框表示語義分割有誤。由圖3可知，ASIS網(wǎng)絡(luò)未能分割出帽飾語義類，將剪刀握柄部分的一些點(diǎn)誤分割為刀面，將顯示器主體的部分點(diǎn)誤分割為底座，對(duì)桶的上表面也分割錯(cuò)誤。JSNet網(wǎng)絡(luò)將帽飾(羽毛)誤分類為帽沿，將剪刀刀柄上的部分點(diǎn)誤分割為刀面，將顯示器底座的部分點(diǎn)誤分割主體，對(duì)桶的上半部分也分割錯(cuò)誤。而SISN在不同語義類的邊界處分割正確。這些結(jié)果說明SISN有效增強(qiáng)了對(duì)語義幾何多樣性特征的學(xué)習(xí)，通過動(dòng)態(tài)圖卷積充分提取了每個(gè)點(diǎn)的局部鄰域的信息，因此能有效學(xué)習(xí)到每個(gè)語義類別下的點(diǎn)深度特征，減少誤分割。

圖3 SISN、ASIS和JSNet網(wǎng)絡(luò)在PartNet數(shù)據(jù)集上的語義分割定性結(jié)果對(duì)比Fig.3 Qualitative semantic comparison among SISN, ASIS and JSNet on the PartNet dataset

3種網(wǎng)絡(luò)在PartNet數(shù)據(jù)集上的實(shí)例定性結(jié)果對(duì)比如圖4所示，圖中紅色實(shí)線框表示實(shí)例分割有誤，虛線框是將對(duì)應(yīng)的紅色實(shí)線框放大顯示。由圖4可知，ASIS網(wǎng)絡(luò)的預(yù)測結(jié)果將包的背帶中間弧度大的區(qū)域預(yù)測為新的實(shí)例類別，將耳機(jī)的左發(fā)聲單元預(yù)測為2個(gè)實(shí)例。JSNet網(wǎng)絡(luò)對(duì)包的背帶與側(cè)片連接處分割錯(cuò)誤，將耳機(jī)的頭梁部分預(yù)測為更多的實(shí)例。在椅子物件中：ASIS網(wǎng)絡(luò)在椅面邊緣的實(shí)例分割上存在分散的錯(cuò)誤(少數(shù)紫色雜點(diǎn))，這些雜點(diǎn)被錯(cuò)誤地分割為新的椅面實(shí)例；JSNet網(wǎng)絡(luò)對(duì)椅背的邊緣存在分割錯(cuò)誤，將部分點(diǎn)識(shí)別成新的實(shí)例(綠色點(diǎn))。SISN則沒有這些誤分割情況, 在物件點(diǎn)云的實(shí)例分割的細(xì)節(jié)方面明顯優(yōu)于ASIS網(wǎng)絡(luò)和JSNet網(wǎng)絡(luò)。這些現(xiàn)象說明SISN可以增強(qiáng)對(duì)點(diǎn)云中局部不平坦區(qū)域細(xì)節(jié)的學(xué)習(xí), 在動(dòng)態(tài)圖卷積中通過局部鄰域圖的構(gòu)建，充分學(xué)習(xí)到了點(diǎn)的局部特征信息，有效增強(qiáng)了對(duì)點(diǎn)云實(shí)例幾何多樣性特征的學(xué)習(xí)。

圖4 SISN、ASIS和JSNet網(wǎng)絡(luò)在PartNet數(shù)據(jù)集上的實(shí)例分割定性結(jié)果對(duì)比Fig.4 Qualitative instance comparison among SISN, ASIS and JSNet on the PartNet dataset

3種網(wǎng)絡(luò)在植物點(diǎn)云數(shù)據(jù)集上的語義定性結(jié)果對(duì)比如圖5所示。由圖5可知，SISN有效增強(qiáng)了對(duì)語義幾何多樣性特征的學(xué)習(xí)，特別是增強(qiáng)了對(duì)植物結(jié)構(gòu)中不平坦細(xì)節(jié)的正確分類。而ASIS網(wǎng)絡(luò)與JSNet網(wǎng)絡(luò)對(duì)細(xì)節(jié)部分存在語義分類錯(cuò)誤，如JSNet網(wǎng)絡(luò)將植物樣本2的主莖稈底部分類為另一種植物的莖稈，ASIS網(wǎng)絡(luò)誤分類了葉片和莖稈尖端的一些點(diǎn)。

圖5 SISN、ASIS和JSNet網(wǎng)絡(luò)在植物點(diǎn)云數(shù)據(jù)集上的語義分割定性結(jié)果對(duì)比Fig.5 Qualitative semantic comparison among SISN, ASIS and JSNet on the plant dataset

3種網(wǎng)絡(luò)在植物點(diǎn)云數(shù)據(jù)集上的實(shí)例定性結(jié)果對(duì)比如圖6所示。由圖6可知，SISN有效增強(qiáng)了對(duì)點(diǎn)云實(shí)例幾何多樣性特征的學(xué)習(xí)，特別是增強(qiáng)了葉片與葉片之間、葉片與莖稈之間連接點(diǎn)的分割準(zhǔn)確性?？傮w而言：ASIS網(wǎng)絡(luò)對(duì)邊緣點(diǎn)的高層次特征學(xué)習(xí)不夠，對(duì)葉片與葉片粘連的邊緣點(diǎn)存在一定的分類難度；JSNet網(wǎng)絡(luò)則對(duì)莖稈的頂端存在分割錯(cuò)誤；而SISN在實(shí)例分割的細(xì)節(jié)上明顯優(yōu)于ASIS網(wǎng)絡(luò)和JSNet網(wǎng)絡(luò)。

圖6 SISN、ASIS和JSNet網(wǎng)絡(luò)在植物點(diǎn)云數(shù)據(jù)集上的實(shí)例分割定性結(jié)果對(duì)比Fig.6 Qualitative instance comparison among SISN,ASIS and JSNet on the plant dataset

2.5 剝離試驗(yàn)

剝離試驗(yàn)是指將網(wǎng)絡(luò)中的某個(gè)模塊去除或替換為其他模塊，以驗(yàn)證該模塊的有效性和優(yōu)越性。通過2組剝離試驗(yàn)分別驗(yàn)證動(dòng)態(tài)圖卷積模塊和語義與實(shí)例特征融合模塊的有效性與合理性。第1組，將圖1(a)標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)中的動(dòng)態(tài)圖卷積全部替換為深度相同的全連接一維卷積，即剝離動(dòng)態(tài)圖卷積模塊；第2組，剝離圖1(c)標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)中的藍(lán)色部分，即去除語義流與實(shí)例流之間通過一維卷積進(jìn)行的信息交流支路。

剝離網(wǎng)絡(luò)與標(biāo)準(zhǔn)網(wǎng)絡(luò)的定量結(jié)果對(duì)比如表7所示。由表7可知：剝離動(dòng)態(tài)圖卷積模塊后，網(wǎng)絡(luò)的性能明顯下降，特別是語義分割的準(zhǔn)確率下降了8.1個(gè)百分點(diǎn)，說明點(diǎn)的局部鄰域圖能更好地提取局部特征信息，可提高深度網(wǎng)絡(luò)對(duì)物件點(diǎn)云的分割效果;剝離語義與實(shí)例特征融合模塊的交叉支路后，網(wǎng)絡(luò)在語義分割后與實(shí)例分割后定量結(jié)果下降2.2～3.5個(gè)百分點(diǎn)。由此說明，語義流和實(shí)例流的信息交互可顯著提高語義分割和實(shí)例分割的結(jié)果。

表7 剝離試驗(yàn)的定量結(jié)果Table 7 Quantitative results for ablation test %

3 結(jié) 語

SISN較好地完成了3D物件點(diǎn)云的語義與實(shí)例聯(lián)合分割任務(wù)。通過動(dòng)態(tài)圖卷積，網(wǎng)絡(luò)可以充分提取3D物件的幾何特征；語義特征與實(shí)例特征的交叉融合，使得網(wǎng)絡(luò)可在這兩個(gè)分割任務(wù)上相互輔助，從而提高分割的精度。PartNet數(shù)據(jù)集和植物點(diǎn)云數(shù)據(jù)集上的定性與定量試驗(yàn)結(jié)果表明，與ASIS網(wǎng)絡(luò)和JSNet網(wǎng)絡(luò)相比，SISN對(duì)物件點(diǎn)云的分割效果更優(yōu)。未來準(zhǔn)備將SISN遷移至更復(fù)雜的物體點(diǎn)云分割任務(wù)，并計(jì)劃引入諸如注意力機(jī)制等更有效的特征提取模塊，使之在所有類型的物體點(diǎn)云上都能進(jìn)行準(zhǔn)確的語義和實(shí)例分割。