梁志強(qiáng),陳春梅,陳妍潔,陳國棟,劉桂華

(西南科技大學(xué)信息工程學(xué)院,四川 綿陽 621000)

1 引 言

深度學(xué)習(xí)技術(shù)已經(jīng)成為計算機(jī)視覺中強(qiáng)大的數(shù)據(jù)處理工具,成為分類、分割和檢測等任務(wù)的首選技術(shù)[1]。點(diǎn)云是三維空間中的點(diǎn)的集合,是激光傳感器中重要的數(shù)據(jù)格式之一。深度學(xué)習(xí)在點(diǎn)云上的應(yīng)用,對VR[2]/AR[3]、自動駕駛[4]和三維場景等研究有重要的意義。然而點(diǎn)云數(shù)據(jù)本身的非結(jié)構(gòu)化特點(diǎn),導(dǎo)致其特征提取的困難,因此對點(diǎn)云數(shù)據(jù)的分類和分割極具挑戰(zhàn)性。

早期的點(diǎn)云深度學(xué)習(xí)方法都是對點(diǎn)云的非直接處理,通過將其轉(zhuǎn)換為體素或多視圖的方式間接處理。Maturana[5]等人提出的VoxNet是將三維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于體素化形狀的先驅(qū),通過將3D點(diǎn)投影到32×32×32的三維網(wǎng)格上,再由三維CNN來處理。VoxNet相較于傳統(tǒng)人工方法精度有了明顯的提高,然而該方法受體素分辨率影響很大,當(dāng)體素分辨率增長時,VoxNet的空間復(fù)雜度和時間復(fù)雜度會隨之呈三次方增長；而當(dāng)體素分辨率過低時,會導(dǎo)致VoxNet識別精度降低。Su[6]等人提出的多視圖卷積神經(jīng)網(wǎng)絡(luò)MVCNN是從點(diǎn)云中采集80個視圖,并將其投影到二維空間,再由二維CNN處理。然而該方法會造成點(diǎn)云數(shù)據(jù)信息的大量丟失。鑒于上述對點(diǎn)云數(shù)據(jù)間接處理存在的問題,對點(diǎn)云數(shù)據(jù)的直接處理逐漸成為點(diǎn)云深度學(xué)習(xí)的研究熱點(diǎn)。

Qi[7]等人提出的點(diǎn)云神經(jīng)網(wǎng)絡(luò)PointNet,開啟了對點(diǎn)云數(shù)據(jù)直接處理的序幕。該網(wǎng)絡(luò)通過學(xué)習(xí)一個空間轉(zhuǎn)換網(wǎng)絡(luò)T-Net,生成一個空間轉(zhuǎn)換矩陣,使點(diǎn)云轉(zhuǎn)換到一個更有利于分類分割的方向,以解決點(diǎn)云的旋轉(zhuǎn)性問題；通過使用最大池化函數(shù),以解決點(diǎn)云的無序性問題,然而PointNet在特征提取過程中僅考慮點(diǎn)云的全局特征,丟失了點(diǎn)云中重要的局部特征。為解決這一問題,Qi[8]等人在PointNet的基礎(chǔ)上提出了PointNet++,該網(wǎng)絡(luò)通過在PointNet特征提取之前劃分局部點(diǎn)云區(qū)域的方法引入局部特征,然而,該方法本質(zhì)上和PointNet一樣,處理的是局部區(qū)域的每一個點(diǎn),依然忽視了點(diǎn)與點(diǎn)之間局部關(guān)系。Li[9]等人提出的SO-Net使用自組織映射(SOM)選擇代表性的點(diǎn),構(gòu)建點(diǎn)云的空間分布,再進(jìn)行分層的特征提取,其底層的特征提取使用的仍然是PointNet,所以依然缺少點(diǎn)云中的局部信息。鑒于圖卷積在二維圖像處理取得的優(yōu)異表現(xiàn),Wang[10]等人提出了動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)DGCNN通過計算每一個點(diǎn)與相鄰點(diǎn)之間的邊緣特征,從而得到點(diǎn)與點(diǎn)之間的局部信息,該網(wǎng)絡(luò)較好的獲取了點(diǎn)云的局部特征,然而DGCNN對于稀疏點(diǎn)云的輸入不能夠有效識別?？紤]到點(diǎn)云數(shù)據(jù)中噪點(diǎn)對網(wǎng)絡(luò)性能的影響,Yan[11]等人提出的PointASNL通過自注意力機(jī)制更新點(diǎn)云的位置和特征信息,以減弱噪點(diǎn)的影響。最近TransFormer在計算機(jī)視覺的應(yīng)用越來越多,Guo[12]等人提出的PCT是在三維點(diǎn)云深度學(xué)習(xí)中TransFormer的應(yīng)用之一,其在點(diǎn)云分類和分割的任務(wù)上取得了較高的精度。

根據(jù)上述分析,為解決現(xiàn)有網(wǎng)絡(luò)不能夠有效地提取點(diǎn)云局部特征,導(dǎo)致點(diǎn)云分類和分割精度較低的問題,本文提出一種高低維雙局部特征融合的點(diǎn)云分類分割網(wǎng)絡(luò)。通過圖卷積與注意力機(jī)制分別提取點(diǎn)云的低維局部特征與高維局部特征,以彌補(bǔ)現(xiàn)有網(wǎng)絡(luò)無法充分提取點(diǎn)云局部特征的缺點(diǎn)；同時使用多特征融合學(xué)習(xí)以提高網(wǎng)絡(luò)的性能。實驗表明,該方法能夠有效提高點(diǎn)云的分類和分割的精度,為后續(xù)自動駕駛等研究提供了堅實的技術(shù)基礎(chǔ)。

2 點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)

本文網(wǎng)絡(luò)主要由圖采樣模塊和注意力模塊組成,圖采樣模塊由圖卷積和采樣兩部分組成,圖拉普拉斯算子是圖卷積部分特征提取的關(guān)鍵；注意力模塊由圖拉普拉斯算子在自注意力機(jī)制上的應(yīng)用——偏移自注意力機(jī)制組成。

2.1 圖拉普拉斯算子

圖拉普拉斯算子,與數(shù)學(xué)分析中拉普拉斯算子起到的作用是一樣的。拉普拉斯算子是N維空間中的一個二階微分算子,其計算可簡單的表示為(以二維空間為例):

(1)

=f(x+1,y)+f(x-1,y)-2f(x,y)+f(x,y+1)+

f(x,y-1)-2f(x,y)

=f(x+1,y)+f(x-1,y)+f(x,y+1)+

f(x,y-1)-4f(x,y)

(2)

公式(1)是拉普拉斯算子在笛卡爾坐標(biāo)系下的表示法,公式(2)是公式(1)中二階偏導(dǎo)數(shù)轉(zhuǎn)化的離散的導(dǎo)數(shù)形式。如圖1所示,當(dāng)f(x,y)受到擾動之后,其可能變?yōu)橄噜彽膄(x+1,y),f(x-1,y),f(x,y+1),f(x,y-1)之一,而拉普拉斯算子得到的是對點(diǎn)f(x,y)進(jìn)行微小擾動后可能獲得的總增益。

圖1 拉普拉斯算子圖形化Fig.1 Graphical Laplace operator

就圖拉普拉斯算子而言,由于圖具有N個節(jié)點(diǎn),因此f=(f1,f2,…,fN)。在二維空間中f(x,y)為函數(shù)f在節(jié)點(diǎn)(x,y)處的值,而在圖空間中,fi為函數(shù)f在圖中節(jié)點(diǎn)i處的值,已知拉普拉斯算子得到的是對點(diǎn)進(jìn)行微小擾動后可能獲得的總增益,在圖空間中就是任意一個節(jié)點(diǎn)i變換到節(jié)點(diǎn)j所帶來的總增益,其中j∈Ni,Ni表示節(jié)點(diǎn)i的鄰域節(jié)點(diǎn)。如公式(3)所示,考慮圖中相鄰節(jié)點(diǎn)之間邊的權(quán)值Wij則有:

=difi-wif

(3)

其中,di是節(jié)點(diǎn)i的加權(quán)度;wi為節(jié)點(diǎn)i與所有鄰域節(jié)點(diǎn)的權(quán)重組成的行向量;f為所有鄰域節(jié)點(diǎn)的值構(gòu)成的列向量。對于所有的N個節(jié)點(diǎn)而言:

=diag(di)f-wf

=(D-W)f

=Lf

(4)

綜上所述,D-W就是拉普拉斯算子在圖空間上的應(yīng)用——圖拉普拉斯算子。

2.2圖采樣模塊

在點(diǎn)云數(shù)據(jù)中,遵循圖拉普拉斯算子的原則,視點(diǎn)云中每一個點(diǎn)為圖中的節(jié)點(diǎn),并為每一個節(jié)點(diǎn)點(diǎn)與其鄰居點(diǎn)生成圖的有向邊。有向圖G由頂點(diǎn)V和邊E組成:G=(V,E),V={1,…,n}?RD,E?V×V。本文采用一種基于空間的圖卷積神經(jīng)網(wǎng)絡(luò),首先利用K近鄰[13](KNN)算法構(gòu)建一個局部有向圖G,如圖2所示。

圖2 局部有向圖GFig.2 Local digraph G

在局部有向圖G中,每一個點(diǎn)Xi都是一個中心節(jié)點(diǎn),計算中心節(jié)點(diǎn)與其K個鄰居點(diǎn)之間的邊ei,即:

(5)

其中,xij為中心節(jié)點(diǎn)Xi的一個鄰居點(diǎn);eij為xij到其中心節(jié)點(diǎn)Xi的有向邊。本文同時考慮點(diǎn)云的全局特征和局部特征,定義邊的特征hθ(xi,eij):xi考慮了點(diǎn)云自身即點(diǎn)云的全局信息；eij=xij-xi考慮了點(diǎn)云中點(diǎn)與點(diǎn)之間的局部信息。其中hθ用來完成RD×RD→RD′的特征學(xué)習(xí),是一個具有一組可學(xué)習(xí)參數(shù)θ的非線性函數(shù)。最后,每一個中心節(jié)點(diǎn)的輸出特征Xi,如公式(6)所示,其中∑為對稱聚合函數(shù),本文采用最大池化函數(shù)作為對稱聚合函數(shù):

(6)

圖采樣模塊主要由圖卷積和采樣兩部分組成,如圖3所示。在PointNet++中,特征提取僅通過li到li+1的多層感知機(jī)MLP實現(xiàn),缺少對點(diǎn)云數(shù)據(jù)局部特征的提取過程,通過在li步驟前添加圖卷積li-1,以實現(xiàn)更加細(xì)粒度的特征提取與融合。具體過程如下:首先通過上述圖卷積網(wǎng)絡(luò)對輸入數(shù)據(jù)中每一個點(diǎn)進(jìn)行特征更新,使每一個點(diǎn)都具備局部信息,為緩解因?qū)Υ罅奎c(diǎn)云數(shù)據(jù)編碼而導(dǎo)致計算量過大,消耗過多GPU資源的問題,通過采用最遠(yuǎn)點(diǎn)采樣(FPS)選擇一組關(guān)鍵點(diǎn),以代表整體輸入信息。由于同一個點(diǎn)xi在不同層之間的特征是不一樣的[14],對FPS采集到的具有局部信息的關(guān)鍵點(diǎn),使用K近鄰(KNN)算法進(jìn)行分組,構(gòu)建局部點(diǎn)云區(qū)域,通過多層感知機(jī)(MLP)對每一個局部點(diǎn)云區(qū)域進(jìn)行特征的再次更新,以實現(xiàn)更加細(xì)粒度的特征提取與融合。

圖3 圖采樣模塊Fig.3 Image sampling module

2.3 注意力模塊

注意力機(jī)制最初被用于機(jī)器翻譯,現(xiàn)在已成為深度學(xué)習(xí)的一個重要概念,是神經(jīng)網(wǎng)絡(luò)的重要組成部分[15]。注意力機(jī)制主要分為:硬注意力機(jī)制、鍵值對注意力機(jī)制、多頭注意力機(jī)制、自注意力機(jī)制。本文以自注意力機(jī)制作為基礎(chǔ)注意力機(jī)制,遵循Attention is all you need[16]原則,輸入Fin∈RN×de經(jīng)過線性變換產(chǎn)生Q,K,V,分別為查詢、鍵和值:

(Q,K,V)=Fin·(Wq,Wk,Wv)

Q,K∈RN×da,V∈RN×de

Wq,Wk∈Rde×da,Wv∈Rde×de

(7)

其中,Wq,Wk和Wv是線性變換層共享學(xué)習(xí)到的;da是查詢和鍵的維度,在本文網(wǎng)絡(luò)中,設(shè)置da為de/4,即輸入數(shù)據(jù)維度的1/4。

首先,通過矩陣點(diǎn)積計算注意力權(quán)重A,即:

(8)

自注意力機(jī)制的輸出Fsa是值向量V和對應(yīng)的注意力權(quán)重A的加權(quán)和:

Fsa=A·V

(9)

由于查詢,鍵和值向量以及輸入特征Fin是相互獨(dú)立的,因此整個網(wǎng)絡(luò)很好的解決了點(diǎn)云無序性這一關(guān)鍵問題。如公式(10)所示,使用自注意力機(jī)制的輸出Fsa和輸入特征Fin組合產(chǎn)生輸出特征Fout。其中LBR是由Linear,BatchNorm和ReLU組成的特征提取層。

Fout=SA(Fin)=LBR(Fsa)+Fin

(10)

鑒于圖拉普拉斯算子在DGCNN中的優(yōu)異性能,本文注意力模塊采用和PCT[12](Point Cloud Transformer)一樣的偏移自注意力,如圖4所示。偏移自注意力機(jī)制相較于自注意力機(jī)制而言,在輸入特征提取層LBR之前,使用輸入特征和自注意力機(jī)制的輸出之差Fin-Fsa替換原始自注意力機(jī)制中的輸入Fsa:

Fout=OA(Fin)=LBR(Fin-Fsa)+Fin

(11)

圖4 偏移自注意力機(jī)制Fig.4 Offset self attention mechanism

通過偏移自注意力機(jī)制,本文網(wǎng)絡(luò)可以有效提取點(diǎn)云之間基于語義信息的高維局部特征。具體如公式(12)所示,其中I-A就是圖拉普拉斯算子在自注意力機(jī)制上的應(yīng)用。

Fin-Fsa=Fin-AV=Fin-AFinWv≈Fin-AFin=(I-A)Fin≈LFin

(12)

2.4 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文網(wǎng)絡(luò)主要由圖采樣模塊和注意力模塊組成,其中圖采樣模塊主要用來提取點(diǎn)云基于位置信息的低維局部特征；自注意力模塊主要用來提取點(diǎn)云基于語義信息的高維局部特征。整體網(wǎng)絡(luò)結(jié)構(gòu),如圖5所示。

圖5 高低維雙局部特征融合的點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)框架Fig.5 Deep learning network framework of point cloud based on double local features fusion of high-dimensional and low-dimensional

輸入點(diǎn)云為P∈RN×3,N為點(diǎn)云的個數(shù),3為每個點(diǎn)的維度。整個網(wǎng)絡(luò)由兩個分支結(jié)構(gòu)組成:分類和分割。分類分支:首先進(jìn)行特征升維,將輸入點(diǎn)云維度從3升至64,通過第一個圖采樣模塊輸出N1×128(N1=512)的特征信息；經(jīng)過第二個圖采樣模塊得到N2×256(N2=256)的特征信息,再將此低維局部特征信息輸入到兩層級聯(lián)的自注意力模塊中,得到高維的局部特征信息N2×512,將得到的低維局部特征信息和高維局部特征信息融合得到雙局部特征信息N2×768,最后經(jīng)過最大池化(MaxPool)和平均池化(AveragePool)輸出1×2048的特征信息,使其既包含低維和高維的局部特征信息又包含全局特征信息,最后使用三個全連接層(512,256,40),得到輸入點(diǎn)云屬于40個類別的得分情況。分割分支:首先經(jīng)過一個可訓(xùn)練的空間轉(zhuǎn)換網(wǎng)絡(luò),使輸入點(diǎn)云的坐標(biāo)對齊,更有利于點(diǎn)云分割。由于點(diǎn)云分割相較于分類任務(wù)對點(diǎn)云特征的要求更高,因此該分支沒有采樣模塊。和大多數(shù)點(diǎn)云分割網(wǎng)絡(luò)一樣,點(diǎn)云部件分割中,需要將每個點(diǎn)的特征信息同池化的特征信息相結(jié)合,同時加入編碼為64維的one-hot編碼,最后使用三個全連接層(512,256,50),得到輸入點(diǎn)云中每一點(diǎn)屬于50個類別的得分。

3 實驗結(jié)論

3.1 實驗設(shè)置

本文網(wǎng)絡(luò)的訓(xùn)練和測試實驗參數(shù)設(shè)置如下:學(xué)習(xí)率為0.001,迭代次數(shù)為250,batchsize為32,且使用Adam優(yōu)化器。配置的GPU型號為GeForce RTX 2070 Super,實驗軟件環(huán)境為Ubuntu系統(tǒng)、python3.7、CUDA10.0,通過python平臺下的Pytorch框架進(jìn)行網(wǎng)絡(luò)的實現(xiàn)。

3.2 目標(biāo)分類

分類實驗在ModelNet40分類數(shù)據(jù)集進(jìn)行,ModelNet40有40個物體類別,共計12311個CAD模型。表1列出了本文網(wǎng)絡(luò)和現(xiàn)有網(wǎng)絡(luò)的總體分類精度和平均分類精度。

表1 ModelNet40數(shù)據(jù)集上的分類實驗結(jié)果Tab.1 Experimental results of classification on ModelNet40 Dataset

從表1可以看出,無論是平均分類精度還是總體分類精度,本文網(wǎng)絡(luò)都達(dá)到了較好的性能:在平均分類精度方面,本文網(wǎng)絡(luò)比PointNet高出4.1 %,比DGCNN高出0.3 %,比PCT高出0.1 %；在總體分類精度方面,本文網(wǎng)絡(luò)比PointNet高出4.2 %,比PointNet++高出2.9 %,比DGCNN高出0.6 %,比PCT高出0.7 %。

圖6和圖7分別給出了DGCNN、PCT和本文網(wǎng)絡(luò)在ModelNet40數(shù)據(jù)集上的損失和精度曲線。從圖中可以看出,當(dāng)?shù)螖?shù)逐漸增加的時候,本文網(wǎng)絡(luò)相較于DGCNN、PCT兩種網(wǎng)絡(luò)而言,損失下降的更快且更加平穩(wěn)；精度上升的更快并且精度更高。

圖6 分類損失曲線Fig.6 Classification loss

圖7 分類精度曲線Fig.7 Classification accuracy curve

3.3 部件分割

相比于目標(biāo)分類,部件分割更加考驗網(wǎng)絡(luò)性能,其目的是能夠給出已知點(diǎn)云模型中每一個點(diǎn)所屬零部件的類別標(biāo)簽得分,如飛機(jī),可以分出機(jī)身、機(jī)翼和機(jī)尾三個部件。部件分割實驗在ShapeNet分割數(shù)據(jù)集進(jìn)行。整個ShapeNet分割數(shù)據(jù)集包含168881個模型,共16個類別,每一個模型由2～5個部件組成,注釋了50個部件標(biāo)簽。部分模型的分割結(jié)果如表2所示。采用分割任務(wù)中常用的評估指標(biāo)mIoU[17],mIoU是特定類別中所有形狀的并集的平均交集即平均交并比。

如表2所示,可以看出,本文網(wǎng)絡(luò)的mIoU高出PointNet 2.5 %,高出PointNet++1.1 %,高出DGCNN 1.0 %,和PCT持平,然而在aero、earphone和guitar等的8個類別上,都具有更高的mIoU。

為了直觀展示本文網(wǎng)絡(luò)在部件分割任務(wù)上,各個類別上的分割效果,以mIoU提高的8個類別為例,如圖8所示,上面一行是實際分割效果(Ground Truth),下面一行是本文網(wǎng)絡(luò)的分割效果。

表2 部件分割精度Tab.2 Component segmentation accuracy

圖8 部分零件分割可視化Fig.8 Visualization of partial part segmentation

根據(jù)表2所列,laptop和rocket分別是現(xiàn)有分割網(wǎng)絡(luò)效果最好和最差的兩個類別,在圖9進(jìn)一步給出了本文網(wǎng)絡(luò)在這兩種類別的分割效果和實際分割效果的對比。從圖中可以看出,laptop分割效果和實際效果已經(jīng)基本無法通過肉眼識別出來；rocket分割效果和實際效果相差比較大,其中方框框出了與實際效果不同的地方,不同的地方主要集中在rocket的機(jī)翼和尾部地方。

圖9 Laptop和rocket分割可視化Fig.9 Visualization of laptop and rocket segmentation

3.4 網(wǎng)絡(luò)設(shè)計分析

3.4.1 K近鄰數(shù)分析

本文網(wǎng)絡(luò)的圖采樣模塊,分為圖卷積和采樣兩部分,兩部分都需要通過K近鄰(KNN)算法構(gòu)建局部領(lǐng)域,選取不同的K值有利于提高點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)的適用性和泛化性。

實驗結(jié)果如表3所示,鑒于DGCNN和PCT在構(gòu)建局部鄰域K值的選擇,對K值進(jìn)行了三組實驗:(K1,K2)={(20,20),(32,32),(20,32)},其中K1,K2分別屬于圖卷積和采樣兩部分局部鄰域的K近鄰數(shù)目。本文以ModelNet40分類實驗進(jìn)行對比實驗,當(dāng)對圖卷積和采樣兩部分采用相同的K值時,對點(diǎn)云的分類任務(wù)不能夠達(dá)到最好的效果,當(dāng)K1=20,K2=32的時候,點(diǎn)云分類的精度最高。從中可以看出,K近鄰數(shù)的選擇影響網(wǎng)絡(luò)的性能。

表3 K近鄰數(shù)分析Tab.3 K-nearest neighbor analysis

3.4.2 魯棒性分析

通常由于激光等傳感器設(shè)備自身的原因,或者是由于待測物體被遮擋等原因,會導(dǎo)致最終輸入網(wǎng)絡(luò)的點(diǎn)云數(shù)據(jù)過于稀疏。

為了測試本文網(wǎng)絡(luò)對于稀疏點(diǎn)云輸入問題的魯棒性,分別選取4種采樣點(diǎn)個數(shù):128、256、512、1024,使用與之前相同的實驗參數(shù)進(jìn)行測試,一共運(yùn)行了80個epoch。如表4結(jié)果所示:即使點(diǎn)云數(shù)據(jù)下降到128,依然能夠達(dá)到近90 %的總體分類精度,87.1 %的平均分類精度。這說明本文所設(shè)計的雙局部特征和全局特征的融合可以使網(wǎng)絡(luò)具有較強(qiáng)的魯棒性。

表4 采樣點(diǎn)數(shù)分析Tab.4 Sampling point analysis

4 結(jié) 語

為有效提高點(diǎn)云分類和分割的精度,本文提出了一種高低維雙局部特征融合的點(diǎn)云分類分割網(wǎng)絡(luò)。本文網(wǎng)絡(luò)在ModelNet40分類數(shù)據(jù)集上達(dá)到了較高的分類與分割精度,在ShapeNet分割數(shù)據(jù)集上也達(dá)到了較高的mIoU。綜上所述,通過使用圖卷積和注意力機(jī)制提取低維和高維的雙局部特征,可以有效提高點(diǎn)云分類與分割精度,為自動駕駛等精度要求高的研究提供了基礎(chǔ)；同時由于本文網(wǎng)絡(luò)對稀疏點(diǎn)云的輸入具有較強(qiáng)的魯棒性,使其適用于環(huán)境復(fù)雜或遮擋嚴(yán)重場景下的三維目標(biāo)識別。