周銳闖,田 瑾,閆豐亭,朱天曉

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620)

1 引 言

目前,三維點(diǎn)云數(shù)據(jù)在多個(gè)實(shí)際應(yīng)用領(lǐng)域中具有重要的應(yīng)用價(jià)值,例如自動(dòng)駕駛[1]、虛擬現(xiàn)實(shí)[2]以及機(jī)器人[3-4]等領(lǐng)域。這是因?yàn)槿S點(diǎn)云數(shù)據(jù)可以較好地保留三維模型的幾何信息,而三維點(diǎn)云的分類則成為以上實(shí)際應(yīng)用中的關(guān)鍵步驟之一。但是,三維點(diǎn)云數(shù)據(jù)具有無序性、稀疏性以及高維性等特點(diǎn),因此采用卷積神經(jīng)網(wǎng)絡(luò)處理點(diǎn)云數(shù)據(jù)是當(dāng)前備受關(guān)注的研究領(lǐng)域,也是一個(gè)具有高難度的挑戰(zhàn)。

近年來,三維成像技術(shù)逐漸成熟,三維點(diǎn)云的數(shù)據(jù)量急劇增加,手工提取點(diǎn)云特征的方式變得難以實(shí)現(xiàn)。目前針對(duì)點(diǎn)云分類任務(wù)的神經(jīng)網(wǎng)絡(luò)方法主要分為三類:基于體素化的方法、基于多視圖的方法和基于點(diǎn)的方法?；隗w素化的方法是將無序的點(diǎn)云分成一系列占用一定空間的體素(Occupancy Voxels)的方法,再利用三維卷積進(jìn)行體素級(jí)別的特征學(xué)習(xí)。第一個(gè)利用體素化方式進(jìn)行點(diǎn)云分類任務(wù)的是Maturana等人[5]提出的VoxNet,通過三維卷積神經(jīng)網(wǎng)絡(luò)提取體素?cái)?shù)據(jù)的空間局部特征信息,但使用三維卷積造成計(jì)算空間和內(nèi)存大量消耗的問題。基于多視圖的方法是將三維對(duì)象按多個(gè)角度投影成二維圖像,MVCNN[6]網(wǎng)絡(luò)模型通過將點(diǎn)云中提取的視圖投影到二維空間,并利用二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。這種方法通過二維卷積降低了內(nèi)存和計(jì)算資源的消耗,但多角度投影只能獲取外部結(jié)構(gòu)信息,從而造成大量三維點(diǎn)云數(shù)據(jù)的丟失?；诙嘁晥D或體素化的方法都是將三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為其他形式,導(dǎo)致有價(jià)值的信息丟失,影響分類任務(wù)的精度。

基于點(diǎn)的方法將三維點(diǎn)云數(shù)據(jù)直接作為模型的輸入,可以充分利用點(diǎn)云數(shù)據(jù)的空間幾何特征,降低數(shù)據(jù)預(yù)處理過程中的信息損失。Qi等人[7]提出了PointNet網(wǎng)絡(luò)框架,首次將原始點(diǎn)云數(shù)據(jù)作為輸入,該模型使用T-Net結(jié)構(gòu)解決點(diǎn)云數(shù)據(jù)的旋轉(zhuǎn)不變性問題,通過共享的多層感知機(jī)(Multilayer Perceptron,MLP)提取每個(gè)點(diǎn)的特征,最后使用最大池化進(jìn)行信息聚合得到全局特征。但是,該方法沒有考慮點(diǎn)與點(diǎn)之間的結(jié)構(gòu)關(guān)系,因此對(duì)局部特征的提取不充分。Qi等人在PointNet基礎(chǔ)上進(jìn)行了改善,提出了PointNet++[8]模型,通過層級(jí)下采樣的方式增強(qiáng)局部幾何信息的捕獲能力,但是仍無法提取到點(diǎn)對(duì)間的特征關(guān)系。梁振華等人[9]在PoinNet網(wǎng)基礎(chǔ)上提出注意力加權(quán)特征聚合模塊,改善了最大池化損失次要特征的問題,對(duì)局部特征信息的捕獲能力仍有不足。Te等人[10]提出了正則化圖卷積神經(jīng)網(wǎng)絡(luò)RGCNN,該網(wǎng)絡(luò)模型利用了譜圖理論,可以進(jìn)一步提高了局部特征的獲取能力。為了能夠更好地獲取點(diǎn)對(duì)的關(guān)系特征,Wang等人[11]提出了一種動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(Dynamic Graph CNN,DGCNN),借鑒了圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用共享參數(shù)的K近鄰算法(K Nearest Neighbors,KNN)和MLP從中心點(diǎn)及中心領(lǐng)域上提取局部特征,將不同層次的特征連接起來,計(jì)算出點(diǎn)對(duì)間的局部特征,但忽略了不同領(lǐng)域間的特征信息。王江安等人[12]提出結(jié)合殘差網(wǎng)絡(luò)[13]思想,通過搭建更深的圖卷積層來進(jìn)行更深層局部特征的學(xué)習(xí)。田晟等人[14]提出結(jié)合注意力機(jī)制與圖卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云分類模型,利用注意力機(jī)制獲取更具代表性的局部特征。梁志強(qiáng)等人[15]提出使用圖卷積和注意力機(jī)制分別提取點(diǎn)云低維和高維特征,通過多個(gè)特征融合的方式來提高點(diǎn)云分類精度。利用圖卷積結(jié)構(gòu)提取局部特征的方法已經(jīng)成主流,然而,使用固定參數(shù)卷積核對(duì)不同語義區(qū)域點(diǎn)對(duì)的特征提取能力有限,此外,目前網(wǎng)絡(luò)都采用一次最大池化聚合特征,這會(huì)丟棄大量由復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)到的特征集合。

針對(duì)以上問題,本文提出了一種基于動(dòng)態(tài)自適應(yīng)圖卷積和多層池化的三維點(diǎn)云分類模型。該模型首先采用KNN算法將輸入的點(diǎn)云組成局部有向圖,然后利用動(dòng)態(tài)自適應(yīng)圖卷積學(xué)習(xí)不同語義區(qū)域點(diǎn)的特征信息,生成多樣的自適應(yīng)卷積核,動(dòng)態(tài)更新點(diǎn)對(duì)間邊的權(quán)重,獲取更精確的局部特征。最后采用多層最大池化聚合特征,利用第一次最大池化丟棄的特征重復(fù)最大池化操作,收集更豐富的高維特征,從而提高點(diǎn)云分類任務(wù)精度。

2 相關(guān)工作

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在處理固定尺寸的二維圖像分類任務(wù)中取得了很好的效果,但無法直接應(yīng)用于無序數(shù)據(jù)的特征提取。Scarselli等人[16]提出圖卷積神經(jīng)網(wǎng)絡(luò),將圖結(jié)構(gòu)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,可以有效處理無序的數(shù)據(jù)。將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于處理無序的點(diǎn)云數(shù)據(jù),利用圖結(jié)構(gòu)學(xué)習(xí)點(diǎn)對(duì)間的依賴關(guān)系,可以提取更豐富的局部結(jié)構(gòu)特征。

利用圖卷積神經(jīng)網(wǎng)絡(luò)處理點(diǎn)云分類任務(wù)是將n個(gè)點(diǎn)F維的點(diǎn)云數(shù)據(jù)直接輸入,表示為X={x1,x2,…,xn}?RF,當(dāng)F=3時(shí),每個(gè)點(diǎn)的空間三維坐標(biāo)表示為:Xi=(xi,yi,zi)。局部特征提取過程如圖1所示,首先利用K近鄰算法構(gòu)建局部有向圖G=(V,E),其中V={pi|i=1,2…,n}和E={ei=(ei1,…,eik)|i=1,2,…,n}表示圖結(jié)構(gòu)中的中心節(jié)點(diǎn)和邊。

圖1 圖卷積局部結(jié)構(gòu)示意圖

然后需要提取邊特征,邊特征的函數(shù)定義為eij=hθ(pi,pij),其中θ為一組可學(xué)習(xí)參數(shù),hθ(·)表示學(xué)習(xí)邊特征的非線性函數(shù)。邊函數(shù)的選擇對(duì)局部特征提取有重要的影響,公式(1)為PointNet模型邊函數(shù)的定義,只提取了每個(gè)獨(dú)立點(diǎn)的特征,沒有考慮點(diǎn)對(duì)間的關(guān)聯(lián);公式(2)中只對(duì)局部信息進(jìn)行編碼,卻沒有考慮原始的全局特征信息;公式(3)是DGCNN網(wǎng)絡(luò)模型中邊函數(shù)的定義,該函數(shù)既考慮到每個(gè)中心點(diǎn)構(gòu)成的全局信息,又考慮了點(diǎn)對(duì)間的局部關(guān)系,提高了獲取的局部特征信息的精度:

eij=hθ(pi)

(1)

eij=hθ(pj-pi)s

(2)

eij=hθ(pi,pj-pi)

(3)

最后使用最大池化函數(shù)聚合每個(gè)圖結(jié)構(gòu)的特征信息,公式定義如(4)所示:

(4)

式中,Bn(Batch Normalization)是數(shù)據(jù)歸一化處理函數(shù);ReLU(Rectified Linear Activation Function)是非線性激活函數(shù),經(jīng)過最大池化函數(shù)后得到局部特征向量li。

2.2 殘差結(jié)構(gòu)

面對(duì)復(fù)雜且數(shù)量龐大的三維點(diǎn)云數(shù)據(jù),構(gòu)建更深層的網(wǎng)絡(luò)結(jié)構(gòu),可以提取不同層次的信息。然而,普通網(wǎng)絡(luò)結(jié)構(gòu)中隨著卷積層數(shù)的增加,會(huì)出現(xiàn)梯度消失或梯度爆炸的問題。傳統(tǒng)的解決方案是采用數(shù)據(jù)出初始化和標(biāo)準(zhǔn)化技術(shù),但這些方法會(huì)導(dǎo)致網(wǎng)絡(luò)性能的退化問題。使用殘差結(jié)構(gòu)搭建深層網(wǎng)絡(luò)可以有效地解決這些問題。

殘差網(wǎng)絡(luò)是由多個(gè)殘差元組成,每個(gè)殘差塊由兩個(gè)卷積層、一個(gè)快捷連接和一個(gè)恒等映射構(gòu)成,如圖2所示。

圖2 殘差結(jié)構(gòu)

快捷連接通過跨越卷積層的直通路徑將輸入直接連接到卷積層的輸出上,這種方式可以使網(wǎng)絡(luò)從淺層的特征直接傳遞到深層,避免深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)梯度過度衰退的問題,從而更好地學(xué)習(xí)到特征。在快捷連接后,使用非常簡(jiǎn)單的恒等函數(shù),將殘差的輸出直接傳遞到下一層的輸入中,不會(huì)改變特征分布,這樣能夠保留輸入信息,稱為恒等映射,這樣使得網(wǎng)絡(luò)可以更深,同時(shí)避免網(wǎng)絡(luò)性能的退化。通過快捷連接和恒等映射的組合,殘差塊可以更靈活的設(shè)計(jì)深層網(wǎng)絡(luò),提高網(wǎng)絡(luò)的表達(dá)能力和性能。

3 算法描述

本文提了一種基于改進(jìn)圖卷積和多層池化的點(diǎn)云分類模型,整體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該模型直接將無序的點(diǎn)云數(shù)據(jù)(N×3)作為輸入,其中N表示輸入的點(diǎn)數(shù),3表示點(diǎn)云的三維坐標(biāo)(x,y,z)。數(shù)據(jù)進(jìn)入局部特征提取模塊中的動(dòng)態(tài)自適應(yīng)調(diào)整卷積層(Dynamics Adaptive Graph Conv,DAGraphConv)后,首先利用KNN算法構(gòu)建以K個(gè)節(jié)點(diǎn)為一組的有向圖結(jié)構(gòu),然后提取圖結(jié)構(gòu)中每個(gè)點(diǎn)的特征,通過殘差結(jié)構(gòu)的深層卷積對(duì)點(diǎn)的特征進(jìn)行學(xué)習(xí),生成可適用不同語義區(qū)域點(diǎn)對(duì)的動(dòng)態(tài)調(diào)整卷積核,并利用根據(jù)點(diǎn)的特征生成的卷積核處理圖結(jié)構(gòu)中對(duì)應(yīng)點(diǎn)對(duì),獲得更精確的特征向量,最后使用最大池化進(jìn)行聚合,得到局部特征向量。本文模型的局部特征提取模塊由2個(gè)DAGraphConv和2個(gè)GraphConv組成,局部特征的維度設(shè)置為(64,64,128,256)。局部特征提取模塊提取到的特征會(huì)被拼接,并通過MLP(1024)對(duì)特征向量進(jìn)行更深層的學(xué)習(xí)。隨后,通過多層最大池化模塊,利用前一次最大池化丟棄的部分再進(jìn)行多層最大池化,更高效的利用特征信息且減少冗余信息的產(chǎn)生,得到全局特征向量。最后,將得到的全局特征向量經(jīng)過全連接層進(jìn)行分類,獲得最終的分類結(jié)果。

圖3 點(diǎn)云分類模型總體架構(gòu)

3.1 動(dòng)態(tài)自適應(yīng)圖卷積

在圖卷積神經(jīng)網(wǎng)絡(luò)中,固定參數(shù)的卷積層僅能提取點(diǎn)云數(shù)據(jù)中片面的幾何信息,無法充分考慮組成圖結(jié)構(gòu)的不同語義區(qū)域點(diǎn)所攜帶的特征信息。因此,使用圖卷積神經(jīng)網(wǎng)絡(luò)提取特征存在一定程度的局限性。為此,本文提出了一種動(dòng)態(tài)自適應(yīng)圖卷積方法,該方法通過學(xué)習(xí)不同點(diǎn)對(duì)之間的獨(dú)特關(guān)系,形成動(dòng)態(tài)自適應(yīng)調(diào)整卷積核,以便精確提取每一點(diǎn)對(duì)的特征信息。過程如圖3所示,步驟描述如下:

首先通過KNN算法將無序的點(diǎn)云構(gòu)成以K個(gè)點(diǎn)為集合的有向圖結(jié)構(gòu)G=(V,E)。然后通過殘差結(jié)構(gòu)的卷積層學(xué)習(xí)圖中點(diǎn)對(duì)特征關(guān)系,生成動(dòng)態(tài)自適應(yīng)調(diào)整卷積核,公式如下:

(5)

式中,(fi,fj)分別表示圖中心點(diǎn)特征及鄰居點(diǎn)特征;g(·)表示特征映射函數(shù),將第一層卷積學(xué)習(xí)到的特征信息結(jié)果歸一化處理,再使用ReLU激活函數(shù)進(jìn)行進(jìn)一步優(yōu)化,最終,通過將第二層卷積后的結(jié)果與初始傳入的特征進(jìn)行拼接,得到動(dòng)態(tài)自適應(yīng)調(diào)整卷積核DAconvk。如圖4所示,通過動(dòng)態(tài)自適應(yīng)調(diào)整卷積核處理圖中點(diǎn)對(duì),更新每對(duì)獨(dú)特點(diǎn)對(duì)間邊的權(quán)重,如式(6)所示:

(6)

圖4 DAGraphConv局部結(jié)構(gòu)示意圖

最后通過最大池化函數(shù)聚合更新后每個(gè)圖的特征信息,得到局部特征,如式(7):

(7)

由于點(diǎn)的特征會(huì)隨著卷積層深度變化,每次提取局部特征后重新使用KNN算法更新圖結(jié)構(gòu),這樣可以讓信息在相似的結(jié)構(gòu)之間更好的傳播,加快局部語義信息的學(xué)習(xí)能力。

3.2 多層池化

目前主流點(diǎn)云分類網(wǎng)絡(luò)模型采用一次最大池化聚合局部特征,以獲得全局特征集合,然后,這種方式存在局部特征利用率低的問題,因?yàn)橹挥猩俨糠志植烤植刻卣鞅挥糜谌痔卣鞯纳?。另一種解決方式是將一次最大池化和平均池化得到的特征向量拼接,但這會(huì)產(chǎn)生冗余信息,影響分類精度。為了解決以上問題,本文提出了多層最大池化(Multi-layer Max Pooling,MMPooing)方法,該方法利用前一次最大池化丟棄的特征集合進(jìn)行多層最大池化,可以更高效地利用經(jīng)過復(fù)雜計(jì)算學(xué)習(xí)到的特征集合,同時(shí)降低了冗余信息的產(chǎn)生,提高點(diǎn)云分類模型的精度。具體步驟如下:

首先將每個(gè)卷積層提取的局部特征進(jìn)行并聯(lián),再經(jīng)過MLP(1024)將特征維度提升到1024維,得到一個(gè)整體的高維特征,公式定義如式(8):

f=MLP1024[l1⊕l2⊕l3⊕l4]

(8)

式中,⊕為特征向量的拼接。然后將拼接的N×M高維特征矩陣作為輸入,分別使用多層的最大池化,第一層最大池化提取1×M維特征后,將剩下的(N-1)×M作為下一層最大池化的輸入,得到的F1,F2,…,Fn表示每層最大池化聚合后的特征矩陣,每層聚合函數(shù)對(duì)應(yīng)的分類損失函數(shù)定義如式(9):

Li=Φ(yi,φ(Fi))

(9)

式中,yi表示真實(shí)標(biāo)簽值;φ(·)表示soft-max激活函數(shù);Φ(·)表示交叉熵?fù)p失函數(shù)。整體的分類損失定義如式(10):

(10)

僅僅將每個(gè)池化層得到的損失串聯(lián)或者相加并不能得到最優(yōu)的實(shí)驗(yàn)結(jié)果,本文引入了修正損失函數(shù),如圖5所示。

圖5 多層最大池化結(jié)構(gòu)圖

通過F2,F3,…,Fn的損失來修正F1,讓L1在其中保持是最小的值,維持網(wǎng)絡(luò)的穩(wěn)定,修正損失函數(shù)定義如式(11):

LCR=|1-e(Li-(βi·γ)L1)|

(11)

(12)

公式(12)中n表示類別數(shù)量。在訓(xùn)練早期,收集到的特征并不是十分可靠,修正損失函數(shù)獲得的收益不大,隨著迭代次數(shù)增加,每一層的預(yù)測(cè)逐漸穩(wěn)定,修正損失函數(shù)發(fā)揮作用,保證Li>L1,第一次池化得到的特征信息保持最佳利用。

最后聯(lián)合修正損失函數(shù)以及分類損失函數(shù),得到整體損失表達(dá)式:

Loss=ρLCR+(1-ρ)LC

(13)

其中ρ表示為可學(xué)習(xí)參數(shù)。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境和參數(shù)

本文算法的實(shí)驗(yàn)硬件環(huán)境為Intel Core i5-12400F、16 GB內(nèi)存,GPU為NVIDIA GE-FORCE RTX 3060;軟件環(huán)境為L(zhǎng)inux Ubuntu 18.04操作系統(tǒng)、CUDA 10.1、Pytorch 1.6、Python 3.7。

訓(xùn)練和測(cè)試的實(shí)驗(yàn)參數(shù)設(shè)置為:訓(xùn)練迭代次數(shù)為250次,Batch Size設(shè)置為32或16,Batch Size的大小會(huì)影響顯存的消耗以及模型訓(xùn)練的收斂速度,本文實(shí)驗(yàn)中Batch Size會(huì)根據(jù)整體參數(shù)進(jìn)行對(duì)應(yīng)的調(diào)整。選擇隨機(jī)梯度下降法[17]作為網(wǎng)絡(luò)的優(yōu)化器,將動(dòng)量設(shè)置為0.9,采用余弦退火法[18]將學(xué)習(xí)率從0.1降低到0.001。每個(gè)全連接層后都加入了dropout層,比例設(shè)置為0.5,使用ReLU激活函數(shù),防止訓(xùn)練過程中出現(xiàn)過擬合。

經(jīng)過訓(xùn)練的模型在測(cè)試集中進(jìn)行測(cè)試得出最終的總體準(zhǔn)確率以及平均準(zhǔn)確率,整體準(zhǔn)確率Aoacc(overall accuracy)和平均準(zhǔn)確率Amacc(mean accuracy)表示如下:

(14)

(15)

其中,TP為真陽性,表示實(shí)際為真,預(yù)測(cè)也為真的樣本數(shù);FP為假陽性,表示實(shí)際為假但預(yù)測(cè)為真的樣本數(shù);TN為真陰性,表示實(shí)際為假預(yù)測(cè)也為假的樣本數(shù);FN為假陰性,表示實(shí)際為真但是卻預(yù)測(cè)為假的樣本數(shù)。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

為了方便文中提出的點(diǎn)云分類模型實(shí)驗(yàn)數(shù)據(jù)與其他主流模型作對(duì)比,本文選擇在ModelNet40數(shù)據(jù)集[18]上進(jìn)行訓(xùn)練和測(cè)試。該數(shù)據(jù)集共有40個(gè)類別,含12311個(gè)CAD模型,其中有9842個(gè)物體用于訓(xùn)練,2469個(gè)物體用于模型測(cè)試,該數(shù)據(jù)集中每個(gè)物體都有2048個(gè)點(diǎn)的三維坐標(biāo)。其中部分實(shí)例展示在圖6中,圖中的飛機(jī)、鋼琴和汽車等三維模型特征明顯,在網(wǎng)絡(luò)模型中較容易被區(qū)分。但長(zhǎng)椅和椅子的模型相似度較高,需要能提取更精確特征信息的網(wǎng)絡(luò)模型才能準(zhǔn)確的區(qū)分。本文實(shí)驗(yàn)僅使用采樣點(diǎn)的(x,y,z)坐標(biāo)作為輸入,采用隨機(jī)旋轉(zhuǎn)、縮放以及逐點(diǎn)抖動(dòng)的方式進(jìn)行數(shù)據(jù)增強(qiáng)。

圖6 三維點(diǎn)云模型可視化

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 分類結(jié)果分析

為了驗(yàn)證本文提出算法的優(yōu)勢(shì),在ModelNet40數(shù)據(jù)集上與目前主流的點(diǎn)云分類模型DGCNN、PoinNet++、PointCNN等進(jìn)行分類精度的對(duì)比,結(jié)果如表1所示。表中不同模型的輸入的數(shù)據(jù)形式不同,其中Voxels表示使用體素作為輸入,View表示使用多視圖作為輸入,Points+Noraml表示使用三維坐標(biāo)和法線向量作為輸入,本文實(shí)驗(yàn)僅使用點(diǎn)的三維坐標(biāo)信息作為輸入。從實(shí)驗(yàn)結(jié)果可以看到,本文提出算法整體的分類精度達(dá)到93.3 %,平均分類精度為90.4 %,相比于其他點(diǎn)云分類模型,本文模型在分類精度上有明顯提升。

表1 不同模型在ModelNet40數(shù)據(jù)集上的分類精度

對(duì)比使用多視圖或體素作為輸入的MVCNN和VoxNet模型,本文提出的方法直接將原始點(diǎn)作為輸入,可以更高效的提取點(diǎn)云特征,減少了將數(shù)據(jù)轉(zhuǎn)化為二維圖像或體素形式造成的信息丟失,使整體準(zhǔn)確率有3.2 %～8.8 %的提升。相比于同樣使用點(diǎn)作為輸入的PointNet++和PointNet模型,本文模型不僅提取了每個(gè)單獨(dú)點(diǎn)的特征信息,還考慮到了點(diǎn)與點(diǎn)之間的關(guān)聯(lián)信息,加強(qiáng)了對(duì)局部特征信息的提取,在總體精度上有1.6 %～3.3 %提升。對(duì)比于DGCNN算法模型,本文模型考慮到不同語義部分點(diǎn)對(duì)差異性,使用固定參數(shù)卷積無法提取到準(zhǔn)確的特征信息,本文中使用根據(jù)點(diǎn)對(duì)特征學(xué)習(xí)獲得的自適應(yīng)卷積進(jìn)行特征提取,進(jìn)一步增強(qiáng)了提取局部特征的能力,使整體精度有0.7 %的提升。對(duì)比于增加了法向量信息作為輸入的SpiderCNN以及融入了注意力機(jī)制的Point Transformer和DTNet模型,本文模型沒有通過增加輸入或采用更復(fù)雜且更耗費(fèi)計(jì)算資源的特征提取方法來提高分類精度,而是采用多層最大池化更高效的利用特征信息,提高分類精度的同時(shí)不會(huì)額外增加模型復(fù)雜度,讓整體精度有0.4 %～0.9 %的提升。通過對(duì)比實(shí)驗(yàn)表明,本文提出的模型與經(jīng)典模型或當(dāng)前主流的點(diǎn)云分類模型比較,都有著突出的表現(xiàn),充分說明本文模型的實(shí)際可行性。

4.3.2 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的動(dòng)態(tài)自適應(yīng)圖卷積及多層最大池化模塊在三維點(diǎn)云分類任務(wù)中的有效性,構(gòu)建了4組模型的自身消融對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證,使用不同模塊的研究結(jié)果如表2所示。

表2 不同模塊的消融實(shí)驗(yàn)

表中“√”表示該方法被采用,“×”表示沒有采用該方法。模型A作為對(duì)比實(shí)驗(yàn)的基礎(chǔ)模型,采用圖卷積提取特征,僅使用一次最大池化聚合特征信息。模型B在模型A的基礎(chǔ)上增加了本文提出的動(dòng)態(tài)自適應(yīng)圖卷積進(jìn)行特征提取。模型C在模型A的基礎(chǔ)上增加了多層最大池化模塊,增加卷積層提取的局部特征的利用率。模型D在模型A的基礎(chǔ)上同時(shí)增加了動(dòng)態(tài)自適應(yīng)圖卷積和多層最大池化模塊。通過對(duì)比實(shí)驗(yàn)可以得到,采用可以提取更精確局部特征的動(dòng)態(tài)自適應(yīng)圖卷積模塊后,模型的整體精度提高了0.3 %,平均精度提高了0.8 %。采用多層最大池化后,將提取的特征更高效的利用,模型整體精度提高了0.4 %。同時(shí)加入動(dòng)態(tài)自適應(yīng)圖卷積及多層最大池化模型,模型的整體精度提高了0.9 %,平均精度提高了2.1 %。實(shí)驗(yàn)結(jié)果表明,本文提出的2個(gè)模塊均可明顯提升模型的分類精度。

4.3.3 池化層數(shù)測(cè)試

為了研究多層最大池化(MMPooling)模塊中使用不同層數(shù)對(duì)模型分類精度的影響,本文在ModelNet40數(shù)據(jù)集上分別使用(1、2、3、4)層最大池化,實(shí)驗(yàn)結(jié)果如表3所示。

表3 最大池化層數(shù)測(cè)試

表中層數(shù)為1表示未使用多層最大池化模塊,僅用一次最大池化聚合特征,僅保留一組特征信息,無法充分利用經(jīng)過復(fù)雜計(jì)算得到的局部結(jié)構(gòu)信息。當(dāng)使用最大池化層數(shù)增到2層,可以用于分類的特征信息增加,模型的整體精度提高了0.2 %。當(dāng)采用3層最大池化聚合特征,進(jìn)一步提高由復(fù)雜卷積計(jì)算得到的特征信息的利用率,對(duì)比僅使用一層最大池化,整體精度提高了0.7 %。但當(dāng)使用的最大池化層數(shù)繼續(xù)增加,會(huì)造成聚合過多冗余信息,從而干擾最后的分類結(jié)果,無法提高模型的分類精度。實(shí)驗(yàn)結(jié)果表明,使用最大池化的層數(shù)不同會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響,合適的層數(shù)可以顯著提高模型性能,實(shí)驗(yàn)中三層效果最佳,因此本文使用三層最大池化。

4.3.4 超參數(shù)實(shí)驗(yàn)

本文使用KNN算法構(gòu)建有向圖結(jié)構(gòu),其中的超參數(shù)K值決定有向圖中節(jié)點(diǎn)個(gè)數(shù),為了研究K大小對(duì)點(diǎn)云分類模型準(zhǔn)確率的影響,本文設(shè)置了在同樣參數(shù)環(huán)境下,選擇不同K值(K為10、15、20、25、30、35)在ModelNet40數(shù)據(jù)集上進(jìn)行測(cè)試,分類精度如圖7所示。由圖中的數(shù)據(jù)可以發(fā)現(xiàn),當(dāng)K值較小時(shí),構(gòu)建的有向圖中節(jié)點(diǎn)個(gè)數(shù)少,導(dǎo)致無法充分提取中心點(diǎn)與其相鄰節(jié)點(diǎn)的特征。但當(dāng)K值過大時(shí),鄰居節(jié)點(diǎn)的數(shù)量過多會(huì)產(chǎn)生大量冗余信息,局部領(lǐng)域的幾何結(jié)構(gòu)被破壞,導(dǎo)致點(diǎn)云模型分類精度下降,同時(shí)還會(huì)增加網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間。當(dāng)K=20時(shí),本文模型的性能達(dá)到最優(yōu),因此一個(gè)合適的K值對(duì)模型的分類精度有至關(guān)重要的影響。

圖7 K值對(duì)分類精度的影響

4.3.5 模型魯棒性實(shí)驗(yàn)

為了驗(yàn)證本文網(wǎng)絡(luò)模型對(duì)稀疏輸入和遮擋問題的魯棒性,在ModelNet40數(shù)據(jù)集上采用隨機(jī)依次減少25 %的采樣點(diǎn)(1024、768、512、256)。稀疏三維點(diǎn)云模型可視化如圖8所示,圖8(a)不減少輸入點(diǎn)數(shù),物體的結(jié)構(gòu)特征可以充分地展現(xiàn)出來,圖中8(b)、(c)、(d)依次減少輸入點(diǎn)數(shù),物體的結(jié)構(gòu)逐漸模糊,因此需要網(wǎng)絡(luò)模型有更強(qiáng)提取特征信息的能力,才能在減少采樣點(diǎn)情況下可以準(zhǔn)確分類。

圖8 稀疏點(diǎn)云可視化

實(shí)驗(yàn)中使用表2中模型D與DGCNN等模型進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如圖9所示。從圖中可以看出,與同樣使用圖卷積的DGCNN模型比較,隨著采樣點(diǎn)數(shù)減少,本文模型的整體精度從93.3 %下降到91.5 %,下降了1.8 %,下降趨勢(shì)較平緩,DGCNN模型從92.6 %下降到47.1 %,下降趨勢(shì)較明顯。對(duì)比針對(duì)單個(gè)點(diǎn)提取特征PointNet和PointNet++網(wǎng)絡(luò)模型,減少采樣點(diǎn)數(shù)對(duì)獲取局部特征影響較小,PointNet++模型整體精度從91.7 %下降到89.9 %,PointNet模型整體精度從90.0 %下降到85.8 %,本文模型整體精度始終高于PoinNet和PointNet++模型,且隨著采樣點(diǎn)減少,分類精度差距逐漸增加。這說明在面對(duì)遮擋和稀疏點(diǎn)輸入問題時(shí),能夠識(shí)別不同語義點(diǎn)信息和高效利用提取的局部特征可以使網(wǎng)絡(luò)具有較強(qiáng)的魯棒性。

圖9 采樣點(diǎn)密度對(duì)分類精度的影響

5 結(jié) 論

為了提高點(diǎn)云分類模型對(duì)不同語義區(qū)域點(diǎn)對(duì)特征的提取能力,本文提出了一種集改進(jìn)圖卷積和多層池化的點(diǎn)云分類模型。該模型通過學(xué)習(xí)不同點(diǎn)的特征,生成可動(dòng)態(tài)調(diào)整點(diǎn)對(duì)關(guān)系的卷積核,以處理圖結(jié)構(gòu)中不同語義區(qū)域的點(diǎn)對(duì),捕獲更精確的局部特征信息。此外,該模型使用多層最大池化來聚合高維特征以得到全局特征,從而更高效地利用局部特征,同時(shí)減少冗余信息的產(chǎn)生,提高模型的分類準(zhǔn)確度。在公共數(shù)據(jù)集ModelNet40上的實(shí)驗(yàn)結(jié)果表明,相較于目前經(jīng)典的點(diǎn)云分類模型,本文模型的分類精度提高了0.7 %～3.3 %。消融實(shí)驗(yàn)、超參數(shù)實(shí)驗(yàn)以及逐漸減少采樣點(diǎn)數(shù)實(shí)驗(yàn)進(jìn)一步驗(yàn)證了本文對(duì)圖卷積和池化層的改進(jìn)可以提高點(diǎn)云分類任務(wù)的精度,并增加模型的魯棒性。然而,更有效的卷積層和池化層會(huì)使網(wǎng)絡(luò)模型更加復(fù)雜,模型的參數(shù)數(shù)量也會(huì)隨之增加。因此,未來的研究將注重于在不降低分類精度的前提下,實(shí)現(xiàn)模型更輕量化的目標(biāo)。