單鉉洋 孫戰(zhàn)里 曾志剛

近年來(lái),隨著自動(dòng)駕駛儀、高精度地圖、智慧城市等新概念的出現(xiàn),許多應(yīng)用場(chǎng)景都需要基于點(diǎn)云的3D 環(huán)境感知和交互.三維掃描技術(shù)和深度攝像機(jī)的快速發(fā)展,使得點(diǎn)云的獲取更加簡(jiǎn)單方便,在三維數(shù)據(jù)深度學(xué)習(xí)領(lǐng)域,點(diǎn)云逐漸成為一種流行的三維數(shù)據(jù)表達(dá)方式[1].但與二維圖像不同,由于采樣不均勻、傳感器精度等因素,點(diǎn)云在空間上是高度稀疏無(wú)序的.因此,如何用深度學(xué)習(xí)的方式處理點(diǎn)云數(shù)據(jù),成為一個(gè)關(guān)鍵的問(wèn)題[2].

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)方法在圖片處理上有著廣泛且成熟的應(yīng)用,而點(diǎn)云并不是像圖片一樣規(guī)則排列的,因此許多工作都是先對(duì)點(diǎn)云進(jìn)行預(yù)處理,將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為規(guī)則的數(shù)據(jù),然后再使用傳統(tǒng)的CNN 方法[3].根據(jù)神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)類(lèi)型的不同,現(xiàn)有的點(diǎn)云分類(lèi)方法可以分為多視圖法、體素法和基于點(diǎn)的方法3 種[4].多視圖法是將三維點(diǎn)云數(shù)據(jù)從不同角度投影到二維平面上,然后再對(duì)二維平面圖做二維卷積[5-7].但由于存在遮擋問(wèn)題,在三維向二維投影的過(guò)程中,會(huì)導(dǎo)致三維點(diǎn)云中固有信息的大量丟失.體素法是通過(guò)將點(diǎn)云轉(zhuǎn)化為規(guī)則的三維網(wǎng)格,在三維網(wǎng)格上使用卷積神經(jīng)網(wǎng)絡(luò)[8-9].但這種方法受到分辨率的限制,低分辨率訓(xùn)練速度快,但會(huì)造成點(diǎn)云信息的大量丟失;高分辨率形狀描述能力強(qiáng),但同時(shí)也會(huì)讓空間復(fù)雜度大幅度提高.

基于點(diǎn)的方法是將直接點(diǎn)云的三維坐標(biāo)(x,y,z)作為輸入,對(duì)坐標(biāo)進(jìn)行卷積.PointNet[3]是這條路線的先驅(qū).為克服點(diǎn)云無(wú)序性而直接處理點(diǎn)云數(shù)據(jù),PointNet 首先對(duì)輸入點(diǎn)云使用多個(gè)共享的多層感知器(Multi-layer perceptron,MLP),從而將低維的坐標(biāo)信息映射為高維特征,然后使用對(duì)稱(chēng)聚合函數(shù)來(lái)提取最終的全局特征,最后使用全連接層(Fully connected layer,FC)進(jìn)行最終分類(lèi)[3].然而在這種設(shè)計(jì)中,每個(gè)點(diǎn)的特征都是獨(dú)立學(xué)習(xí)的,忽略了點(diǎn)與點(diǎn)之間的結(jié)構(gòu)關(guān)系.為此,PointNet++[10]把點(diǎn)云劃分為多個(gè)局部,在每個(gè)局部中使用Point-Net 提取局部特征,然后對(duì)提取到的局部特征進(jìn)行局部劃分并使用PointNet,通過(guò)多次疊加,最終獲取全局特征.PointNet++在一定程度上解決了PointNet 缺少局部特征的問(wèn)題,但這種方法只是簡(jiǎn)單地劃分局部,并沒(méi)有進(jìn)一步說(shuō)明局部點(diǎn)之間的關(guān)系.譜圖卷積(Spectral graph convolution,Spec-GCN)[11]使用遞歸聚類(lèi)和池化策略替換標(biāo)準(zhǔn)的最大池化過(guò)程,用于聚合來(lái)自其譜坐標(biāo)中彼此接近的節(jié)點(diǎn)簇內(nèi)信息,從而產(chǎn)生更豐富的整體特征描述符.但這種方法需要將三維點(diǎn)坐標(biāo)轉(zhuǎn)換到譜坐標(biāo)中,增大了網(wǎng)絡(luò)的復(fù)雜度.動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamic graph convolutional neural network,DGCNN)[12]是一種邊緣卷積方法,通過(guò)與近鄰點(diǎn)構(gòu)建局部圖結(jié)構(gòu),然后使用共享的MLP 層,對(duì)圖的每一個(gè)邊緣進(jìn)行卷積獲取鄰邊特征,最后使用最大池化方式對(duì)每一個(gè)鄰邊特征進(jìn)行聚合,獲取局部特征,并在網(wǎng)絡(luò)的每一層后進(jìn)行動(dòng)態(tài)更新.這種方法增強(qiáng)了局部結(jié)構(gòu)中點(diǎn)與點(diǎn)之間的關(guān)聯(lián),但由于點(diǎn)云并不是均勻分布的,近鄰點(diǎn)對(duì)于中心點(diǎn)的影響也是不同的,而邊緣卷積平等地處理每一個(gè)鄰邊,這種提取方式是不準(zhǔn)確的.RSCNN (Relation-shape convolutional neural network)[13]通過(guò)從三維點(diǎn)云之間的幾何關(guān)系,學(xué)習(xí)隱含的形狀信息,從而構(gòu)建局部.這種利用局部結(jié)構(gòu)三維幾何特征的方法可以方便地提取低維特征,但對(duì)高維特征的提取有局限性.

近年來(lái),注意力網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域已成為一個(gè)重要概念,并在不同領(lǐng)域有著廣泛應(yīng)用.注意力機(jī)制通過(guò)加權(quán)方式來(lái)提高有用信息,抑制無(wú)用信息.在點(diǎn)云分析上注意力網(wǎng)絡(luò)也有了一些應(yīng)用.例如圖注意力卷積網(wǎng)絡(luò)可以根據(jù)動(dòng)態(tài)學(xué)習(xí)的特征,有選擇地關(guān)注其中最相關(guān)部分[14].基于點(diǎn)網(wǎng)絡(luò)的圖卷積[15]通過(guò)學(xué)習(xí)每個(gè)點(diǎn)的注意力特征,然后利用多頭機(jī)制獲取特征,最后利用注意力池化層來(lái)捕捉重要信號(hào).點(diǎn)云變壓器(Point cloud transformer,PCT)[16]網(wǎng)絡(luò)的主要思想是通過(guò)使用Transformer固有的順序不變性避免定義點(diǎn)云數(shù)據(jù)的順序和通過(guò)注意力機(jī)制進(jìn)行特征學(xué)習(xí).但是,相較于卷積神經(jīng)網(wǎng)絡(luò),注意力模塊有更多的參數(shù),大量使用注意力模塊會(huì)使整體網(wǎng)絡(luò)的訓(xùn)練難度增加.

為了更好地應(yīng)對(duì)不規(guī)則點(diǎn)云帶來(lái)的問(wèn)題和現(xiàn)有網(wǎng)絡(luò)存在的問(wèn)題,本文提出基于特征關(guān)系的神經(jīng)網(wǎng)絡(luò)(Network based on relationships between features,RFNet).在構(gòu)建點(diǎn)云局部結(jié)構(gòu)上,RFNet 使用基于特征關(guān)系的卷積(Convolution based on relationships between features,RFConv)方法,來(lái)增強(qiáng)局部結(jié)構(gòu)中近鄰點(diǎn)特征與中心點(diǎn)特征之間的聯(lián)系.首先,通過(guò)描述局部結(jié)構(gòu)中近鄰點(diǎn)與中心點(diǎn)之間的多種關(guān)系學(xué)習(xí)近鄰點(diǎn)權(quán)重;然后,將加權(quán)后的近鄰點(diǎn)與中心點(diǎn)進(jìn)行組合構(gòu)成局部;最后,再對(duì)組合后的局部進(jìn)行學(xué)習(xí)聚合為高維的局部特征.另外,本文針對(duì)對(duì)稱(chēng)函數(shù)和聯(lián)合損失函數(shù)(Joint loss function,JL)提出改進(jìn)方法.在現(xiàn)有的網(wǎng)絡(luò)中,對(duì)稱(chēng)函數(shù)多是使用最大池化和平均池化這樣硬性的聚合高維特征方法,會(huì)導(dǎo)致信息的損失,為此,本文基于注意力思想,提出加權(quán)平均池化(Weighted average pooling,WAP).另外,本文利用交叉熵?fù)p失函數(shù)和中心損失函數(shù)的互補(bǔ)優(yōu)勢(shì),組成聯(lián)合損失函數(shù),在增大類(lèi)間距離的同時(shí),減小類(lèi)內(nèi)距離,從而增強(qiáng)網(wǎng)絡(luò)的分類(lèi)性能[17].本文主要貢獻(xiàn)如下:

1)提出一個(gè)全新的CNN 模塊,可以有效聚合點(diǎn)云局部和全局特征;

2)引入聯(lián)合損失函數(shù),在減小點(diǎn)云類(lèi)內(nèi)距離的同時(shí),增大點(diǎn)云類(lèi)間距離,增強(qiáng)網(wǎng)絡(luò)分類(lèi)性能;

3)在合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文網(wǎng)絡(luò)與現(xiàn)有網(wǎng)絡(luò)相比,有著更為明顯的優(yōu)勢(shì).

1 算法介紹

RFNet 是基于點(diǎn)的方法實(shí)現(xiàn)的.整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示,其中C為物體的類(lèi)別數(shù).經(jīng)典的基于點(diǎn)的方法的網(wǎng)絡(luò)一般以MLP 網(wǎng)絡(luò)和對(duì)稱(chēng)聚合函數(shù)為基礎(chǔ).MLP 網(wǎng)絡(luò)的作用是將低維點(diǎn)特征映射到高維空間中來(lái)提取高維點(diǎn)特征.在此過(guò)程中,MLP網(wǎng)絡(luò)首先對(duì)點(diǎn)特征進(jìn)行1× 1 的卷積,然后進(jìn)行批標(biāo)準(zhǔn)化,最后通過(guò)激活函數(shù)為網(wǎng)絡(luò)增加非線性因素,增強(qiáng)網(wǎng)絡(luò)表達(dá)能力.

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Diagram of overall network structure

式中,σ是激活函數(shù),bn是批標(biāo)準(zhǔn)化,c1×1是1×1的卷積操作.對(duì)稱(chēng)聚合函數(shù)可以保證不論網(wǎng)絡(luò)輸入特征的順序如何改變,都能使整體網(wǎng)絡(luò)得到一個(gè)不變的全局特征,從而應(yīng)對(duì)點(diǎn)云的無(wú)序性:

式中,A為對(duì)稱(chēng)聚合函數(shù),Fo為全局特征,fl為第l層的高維點(diǎn)特征.在現(xiàn)有網(wǎng)絡(luò)中,對(duì)稱(chēng)聚合函數(shù)一般選用最大池化和平均池化.

1.1 基于特征局部結(jié)構(gòu)的卷積操作

現(xiàn)有的網(wǎng)絡(luò)已經(jīng)證明點(diǎn)云局部結(jié)構(gòu)的構(gòu)建對(duì)于點(diǎn)云高維特征的提取是至關(guān)重要的,為此本文提出基于特征關(guān)系的局部構(gòu)建方法.

1)局部結(jié)構(gòu)構(gòu)建.對(duì)于輸入的點(diǎn)云集合有P={Xi|i=1,2,3,···,N}∈RN×d,其中Xi表示第i個(gè)點(diǎn)的特征向量,N為點(diǎn)的個(gè)數(shù),d為Xi的特征維度.對(duì)于第1 層特征向量來(lái)說(shuō),維度d=3 即每個(gè)點(diǎn)的三維坐標(biāo)Xi=(xi,yi,zi),隨著網(wǎng)絡(luò)深度的增加,特征維度d會(huì)不斷增大.中心點(diǎn)和近鄰點(diǎn)的局部結(jié)構(gòu)如圖2 所示.首先,在本文網(wǎng)絡(luò)中,對(duì)于輸入的每一個(gè)點(diǎn)云特征Xi都視為點(diǎn)云的中心點(diǎn);然后,利用K近鄰(K-nearest neighbors,KNN)算法,通過(guò)計(jì)算中心點(diǎn)Xi到其余點(diǎn)之間的歐氏距離,選取距離最近的K個(gè)點(diǎn)作為中心的近鄰點(diǎn),Xij(j=1,2,3,···,K)∈Rd;最后,將中心點(diǎn)與近鄰點(diǎn)組合構(gòu)成一個(gè)局部.由于近鄰點(diǎn)并不是均勻分布在中心點(diǎn)周?chē)?因此對(duì)于不同位置的近鄰點(diǎn),其特征對(duì)中心點(diǎn)特征的影響也是不同的.所以,本文根據(jù)近鄰點(diǎn)與中心點(diǎn)之間的不同特征關(guān)系,對(duì)近鄰點(diǎn)進(jìn)行權(quán)重分配:

圖2 中心點(diǎn)和近鄰點(diǎn)的局部結(jié)構(gòu)圖Fig.2 Diagram of local structure between the central point and its neighbors

式中,θij ∈Rd是通過(guò)特征關(guān)系學(xué)習(xí)到的權(quán)重,⊙為點(diǎn)乘操作.

2)特征關(guān)系描述.本文通過(guò)對(duì)中心點(diǎn)特征與近鄰點(diǎn)特征之間的關(guān)系進(jìn)行描述,對(duì)不同的特征關(guān)系進(jìn)行組合,獲取近鄰點(diǎn)對(duì)于中心點(diǎn)影響的權(quán)重.具體學(xué)習(xí)方法如下:

式中,⊕為并聯(lián)操作,總體并聯(lián)后的維度為Rd+2;eij ∈Rd為中心點(diǎn)與近鄰點(diǎn)之間的向量信息;lij ∈R為中心點(diǎn)特征與近鄰點(diǎn)特征的歐氏距離;sij ∈R為中心點(diǎn)與近鄰點(diǎn)之間的余弦相似度,其中分別表示向量Xi、Xij的均值;θij ∈Rd為近鄰特征的權(quán)重;M為式(1)的MLP 操作,用來(lái)提取權(quán)重信息并將權(quán)重的維度由d+2 調(diào)整為d.

3)局部特征提取.首先將中心點(diǎn)特征Xi分別與加權(quán)后的K個(gè)近鄰點(diǎn)特征并聯(lián)構(gòu)建局部結(jié)構(gòu),然后對(duì)構(gòu)建好的局部結(jié)構(gòu)使用共享的MLP 提取K個(gè)高維的鄰邊特征,最后使用最大池化函數(shù)將提取的K個(gè)鄰邊特征聚合為Xi為中心的局部特征Li:

聚合后的局部特征Li即為下一層的特征輸入,其中d′表示通過(guò)MLP升維后的維度.局部特征提取的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示,其中P={Xi|i=1,2,3,···,N}為 中心點(diǎn)特征Xi的集合,θ={θij|i=1,2,3,···,N,j=1,2,3,···,K}為權(quán)重θij的集合,L={Li|i=1,2,3,···,N}為局部特征Li的集合.

圖3 局部特征提取結(jié)構(gòu)圖Fig.3 Diagram of local feature extraction structure

1.2 聚合函數(shù)

在全局特征的聚合過(guò)程中,現(xiàn)有的網(wǎng)絡(luò)算法大多是以最大池化函數(shù)或平均池化函數(shù)硬性聚合高維特征,這樣可以保持網(wǎng)絡(luò)的對(duì)稱(chēng)性,但并不能準(zhǔn)確地學(xué)習(xí)到有用信息,同時(shí)還造成信息的大量丟失.為了有選擇地聚合高維特征,同時(shí)還要保持整體網(wǎng)絡(luò)的對(duì)稱(chēng)性,本文基于注意力機(jī)制,提出加權(quán)平均池化,通過(guò)使用最大池化、平均池化和加權(quán)平均池化對(duì)特征進(jìn)行聚合.

1)特征輸入.如圖1 所示,經(jīng)過(guò)4 次局部特征提取,將每一層提取到的局部特征Li做并聯(lián)操作,再經(jīng)過(guò)MLP 網(wǎng)絡(luò)提取特征并將維度升級(jí)到1 024維,得到最終的高維特征輸入fi ∈R1024:

2)加權(quán)平均池化.如圖4 所示,對(duì)于N個(gè)高維特征輸入fi,首先經(jīng)過(guò)MLP 學(xué)習(xí)特征分?jǐn)?shù),然后經(jīng)過(guò)softmax 來(lái)將特征分?jǐn)?shù)歸一化:

圖4 加權(quán)平均池化結(jié)構(gòu)圖Fig.4 Diagram of weighted average pooling structure

最后,將學(xué)習(xí)到的特征分?jǐn)?shù)與相對(duì)應(yīng)的特征相乘并聚合,以獲取加權(quán)池化后的全局特征:

式中,fi為第i個(gè)高維特征,其集合為F={fi|i=1,2,3,···,N};si為第i個(gè)高維特征的特征分?jǐn)?shù),其集合為S={si|i=1,2,3,···,N}.

1.3 聯(lián)合損失函數(shù)

現(xiàn)有點(diǎn)云網(wǎng)絡(luò)的損失函數(shù)大多是采用交叉熵?fù)p失函數(shù).交叉熵?fù)p失函數(shù)可以使類(lèi)間距離增大[17],但交叉熵?fù)p失函數(shù)對(duì)類(lèi)內(nèi)距離的影響較小,這樣學(xué)習(xí)到的特征包含較大類(lèi)內(nèi)變化.為此,本文引用中心損失函數(shù),采用交叉熵?fù)p失和中心損失聯(lián)合監(jiān)督的方法,進(jìn)一步減小類(lèi)內(nèi)距離.

1)中心損失函數(shù).中心損失函數(shù)通過(guò)對(duì)每一個(gè)類(lèi)隨機(jī)生成一個(gè)特征中心,然后在訓(xùn)練的過(guò)程中對(duì)每一個(gè)特征中心進(jìn)行更新學(xué)習(xí),使深層特征與其對(duì)應(yīng)的類(lèi)特征中心之間的距離最小化,具體的中心損失函數(shù)為:

式中,cyi表示深度特征yi類(lèi)的特征中心,Fi ∈Rd表示深層次的特征,m表示輸入批次的大小.因此,中心損失就是希望一個(gè)批次中的每個(gè)樣本的特征離特征中心的距離的平方和越小越好,也就是類(lèi)內(nèi)距離越小越好.

2)聯(lián)合損失函數(shù).聯(lián)合損失結(jié)構(gòu)如圖5 所示.通過(guò)將交叉熵?fù)p失與中心損失進(jìn)行聯(lián)合監(jiān)督,在增大類(lèi)間距離的同時(shí),減小類(lèi)內(nèi)距離,使其獲得的特征具有更強(qiáng)識(shí)別能力,具體表達(dá)式如下:

圖5 聯(lián)合損失結(jié)構(gòu)圖Fig.5 Diagram of joint loss structure

式中,LCE為交叉熵?fù)p失函數(shù);n為分類(lèi)的類(lèi)別數(shù);P(yij)代表yi類(lèi)對(duì)應(yīng)的真實(shí)標(biāo)簽,也就是n個(gè)類(lèi)別的預(yù)測(cè)概率;Q(yij)代表yi類(lèi)的預(yù)測(cè)值;LC為中心損失函數(shù);λ參數(shù)用以調(diào)節(jié)兩個(gè)損失的比重,當(dāng)λ=0時(shí),該函數(shù)表示為僅有交叉熵?fù)p失情況.

2 實(shí)驗(yàn)結(jié)果與分析

首先,介紹實(shí)驗(yàn)所使用的數(shù)據(jù)集以及網(wǎng)絡(luò)的基本設(shè)置;然后,將本文網(wǎng)絡(luò)與現(xiàn)有典型網(wǎng)絡(luò)在不同數(shù)據(jù)集上進(jìn)行對(duì)比,并對(duì)實(shí)驗(yàn)結(jié)果做進(jìn)一步的分析;最后,為了說(shuō)明本文網(wǎng)絡(luò)模塊的有效性和網(wǎng)絡(luò)的抗干擾能力,進(jìn)行了消融實(shí)驗(yàn)和魯棒性實(shí)驗(yàn).此外,為了說(shuō)明網(wǎng)絡(luò)的資源占用,還進(jìn)行了復(fù)雜度實(shí)驗(yàn).

2.1 數(shù)據(jù)集介紹

為了評(píng)估本文提出的點(diǎn)云分類(lèi)算法的有效性,選用標(biāo)準(zhǔn)的合成數(shù)據(jù)集ModelNet40[18]、ShapeNet-Core[19]以及由真實(shí)世界對(duì)象點(diǎn)云組成的ScanObjectNN[20]進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比.

1)ModelNet40 數(shù)據(jù)集.作為點(diǎn)云分析中應(yīng)用最廣泛的基準(zhǔn),ModelNet40 因其簡(jiǎn)潔的形狀和構(gòu)造良好等特點(diǎn)而廣受歡迎.該數(shù)據(jù)集共有12 311 個(gè)物體,包括40 個(gè)類(lèi)別,其中9 843 個(gè)模型用作訓(xùn)練數(shù)據(jù)集,其余2 468 個(gè)模型為測(cè)試數(shù)據(jù)集[18].

2)ShapeNetCore 數(shù)據(jù)集是一個(gè)豐富標(biāo)注的大規(guī)模點(diǎn)云數(shù)據(jù)集,相較于ModelNet40,ShapeNet-Core 包含更為豐富的模型,其中包含55 種常見(jiàn)的物品類(lèi)別和513 000 個(gè)三維模型.因此在訓(xùn)練時(shí),也更具挑戰(zhàn)性[19].

3)ScanObjectNN 數(shù)據(jù)集.為了進(jìn)一步說(shuō)明本文分類(lèi)網(wǎng)絡(luò)的有效性和魯棒性,本文還在以真實(shí)世界對(duì)象為模型的數(shù)據(jù)集ScanObjectNN 上進(jìn)行實(shí)驗(yàn).該數(shù)據(jù)集有15 個(gè)類(lèi)別,包含約15 000 個(gè)對(duì)象[20].由于復(fù)雜的背景、缺少的部件和各種變形,使得Scan-ObjectNN 在訓(xùn)練時(shí),有更高的挑戰(zhàn)性.

2.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用的硬件配置和軟件版本如表1所示.

表1 實(shí)驗(yàn)配置Table 1 Experimental configuration

網(wǎng)絡(luò)參數(shù)的設(shè)置.網(wǎng)絡(luò)的優(yōu)化器選擇了隨機(jī)梯度下降法,將動(dòng)量設(shè)置為0.9,并使用了余弦退火法,將學(xué)習(xí)速率從0.1 降低到0.001.訓(xùn)練批次設(shè)置為32,測(cè)試批次設(shè)置為16,并最終進(jìn)行了500 次訓(xùn)練.激活函數(shù)使用負(fù)向斜率為0.2 的Leaky-ReLU 激活函數(shù).在每個(gè)MLP 層后,都加入比例為0.5 的暫退率,以抑制過(guò)擬合.

2.3 分類(lèi)實(shí)驗(yàn)

本文實(shí)驗(yàn)的輸入數(shù)據(jù)為只含有1 024 個(gè)三維坐標(biāo)的點(diǎn)云數(shù)據(jù),在表2 中表示為1 k,2 k 表示輸入的是含有2 048 個(gè)三維坐標(biāo)的點(diǎn)云數(shù)據(jù),5 k 表示輸入的是含有5 120 個(gè)三維坐標(biāo)的點(diǎn)云數(shù)據(jù),nor 表示輸入額外的法向量信息,voting 表示實(shí)驗(yàn)使用了多次投票驗(yàn)證策略.本文使用最常用的整體精度(Overall accuracy,OA)和平均精度(Mean accuracy,mAcc)性能標(biāo)準(zhǔn),進(jìn)行分類(lèi)性能評(píng)價(jià).其中,整體精度代表所有測(cè)試實(shí)例的平均精度,平均精度代表所有類(lèi)別的平均精度.

表2 在ModelNet40 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results on ModelNet40

表2 給出了RFNet 與目前主流網(wǎng)絡(luò)在Model-Net40 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.由表2 實(shí)驗(yàn)結(jié)果可以看出,RFNet 整體精度為93.6%,平均精度為91.2%,在與同樣輸入為1 k的網(wǎng)絡(luò)情況下,取得了最優(yōu)的結(jié)果.RFNet 甚至超過(guò)了一些輸入額外信息的網(wǎng)絡(luò),例如PointNet++和SpiderCNN[21]在輸入了5 k 個(gè)點(diǎn)和法向量信息后,整體精度仍低于本文中的FRNet.另外,RFNet 超越了輸入同樣是1 k 的RSCNN,與使用了10 次投票評(píng)估方法后的RSCNN 網(wǎng)絡(luò)相同.本文在ModelNet40 數(shù)據(jù)集上進(jìn)行輸入為2 k 的實(shí)驗(yàn),最終取得了整體精度94.0%和平均精度91.4%的好成績(jī),超越了所有輸入額外信息的網(wǎng)絡(luò).

此外,本文在ModelNet40 數(shù)據(jù)集上進(jìn)行了真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽的混淆實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6 所示.由圖6 可以看出,網(wǎng)絡(luò)最易混淆的是標(biāo)簽為15的花盆類(lèi),這與數(shù)據(jù)集的標(biāo)定有關(guān).為了進(jìn)一步探究預(yù)測(cè)結(jié)果,進(jìn)行了易錯(cuò)模型的分類(lèi)對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3 所示.由表3 可以看出,RFNet 相較于PointNet 和DGCNN 有著更強(qiáng)的細(xì)節(jié)分辨能力,能較好地區(qū)分易混模型.由表3 也可以看出,ModelNet40 數(shù)據(jù)集中部分花盆類(lèi)的標(biāo)定有較大的歧義.

表3 不同網(wǎng)絡(luò)的易錯(cuò)模型分類(lèi)對(duì)比Table 3 Classification comparison of error-prone models for different networks

圖6 混淆矩陣Fig.6 Confusion matrix

為了驗(yàn)證整體網(wǎng)絡(luò)應(yīng)對(duì)更豐富分類(lèi)數(shù)據(jù)時(shí)的能力,本文在ShapeNetCore 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見(jiàn)表4.在輸入點(diǎn)數(shù)1 k 情況下,RFNet 整體精度為88.3%.可以看出,ShapeNetCore 數(shù)據(jù)集更為豐富的分類(lèi)確實(shí)給網(wǎng)絡(luò)帶來(lái)了不小的挑戰(zhàn).但對(duì)比其他網(wǎng)絡(luò),RFNet 依舊領(lǐng)先,甚至高于輸入額外的法向量信息的SpiderCNN.

表4 在ShapeNetCore 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 4 Experimental results on ShapeNetCore

為了說(shuō)明RFNet 在面對(duì)真實(shí)世界數(shù)據(jù)時(shí)的表現(xiàn),本文在ScanObjectNN 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見(jiàn)表5.實(shí)驗(yàn)的輸入依舊是1 k 點(diǎn)云坐標(biāo),最終取得了整體精度79.6%和平均精度76.3%的成績(jī).與其他網(wǎng)絡(luò)對(duì)比可以看出,RFNet 無(wú)論是在整體精度還是平均精度上,都取得了最優(yōu)異成績(jī);另外,表中還對(duì)ScanObjectNN 數(shù)據(jù)集中的15 個(gè)類(lèi)別(Bag,Bin,Box,···)的分類(lèi)精度進(jìn)行了對(duì)比,其中有6 個(gè)分類(lèi)都取得了最高精度,表明了RFNet的優(yōu)越性.

表5 在ScanObjectNN 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 (%)Table 5 Experimental results on ScanObjectNN (%)

2.4 不同模塊的消融實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)中不同組件的功能和有效性,本文對(duì)RFNet 中的網(wǎng)絡(luò)模塊進(jìn)行了消融實(shí)驗(yàn).實(shí)驗(yàn)在數(shù)據(jù)集ModelNet40 上進(jìn)行.表6 顯示了不同模塊的消融實(shí)驗(yàn)結(jié)果,表中“×”表示不使用對(duì)應(yīng)模塊,“√”表示使用對(duì)應(yīng)模塊.

表6 不同模塊的消融實(shí)驗(yàn) (%)Table 6 Ablation experiment of different modules (%)

網(wǎng)絡(luò)0 表示在只使用普通的動(dòng)態(tài)圖網(wǎng)絡(luò)時(shí)的分類(lèi)結(jié)果.在網(wǎng)絡(luò)1 中,將圖結(jié)構(gòu)模塊換成了RFConv模塊,網(wǎng)絡(luò)的整體分類(lèi)精度也提高到了93.3%.這歸因于RFConv 模塊相較于圖結(jié)構(gòu),可以通過(guò)特征加權(quán)的方式更有效地構(gòu)建局部;同時(shí)可以看出,局部結(jié)構(gòu)的構(gòu)建對(duì)特征提取有著很大的影響.網(wǎng)絡(luò)2在網(wǎng)絡(luò)1 基礎(chǔ)上,增加加權(quán)平均池化模塊,其整體的分類(lèi)精度提高了0.2%.加權(quán)平均池化模塊可以通過(guò)自注意力方式,對(duì)不同層次的輸入特征進(jìn)行特征聚合,并且注意力機(jī)制也可以通過(guò)學(xué)習(xí)特征分?jǐn)?shù),在一定程度上弱化無(wú)效特征,增強(qiáng)有效特征.網(wǎng)絡(luò)3 在網(wǎng)絡(luò)2 基礎(chǔ)上,增加了聯(lián)合損失模塊.聯(lián)合損失模塊可以在增大類(lèi)間距離的基礎(chǔ)上,通過(guò)迫使同類(lèi)向特征中心靠近,將不同類(lèi)進(jìn)一步分離.可以看出,網(wǎng)絡(luò)3 在網(wǎng)絡(luò)2 基礎(chǔ)上進(jìn)一步提高.在網(wǎng)絡(luò)4 中,同時(shí)使用了所有模塊,其整體精度達(dá)到了93.6%,平均精度達(dá)到了91.2%,相較于網(wǎng)絡(luò)0,整體精度提高了0.7%.

2.5 魯棒性實(shí)驗(yàn)

本文在數(shù)據(jù)集ModelNet40 上進(jìn)行了采樣密度的魯棒性實(shí)驗(yàn)和高斯噪聲魯棒性實(shí)驗(yàn).

1)采樣密度魯棒性實(shí)驗(yàn).實(shí)驗(yàn)中,分別將點(diǎn)云的采樣數(shù)設(shè)置為1 024、512、256、128,然后將網(wǎng)絡(luò)PointNet、PointNet++、PCNN、DGCNN 和RSCNN 作為對(duì)比,對(duì)比結(jié)果如圖7 所示.由圖7 可以看出,隨著采樣點(diǎn)數(shù)的降低,RFNet 有著更為穩(wěn)健的結(jié)果.RSCNN 在使用投票機(jī)制后,有著很小的差距,但隨著采樣數(shù)降為128,差距進(jìn)一步拉開(kāi),而RFNet 的準(zhǔn)確率依舊保持在91%以上.表明本文網(wǎng)絡(luò)具有較強(qiáng)的采樣密度魯棒性.

圖7 采樣密度實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 Comparison of experiment results with different sampling densities

2)高斯噪聲魯棒性實(shí)驗(yàn).本文在原始數(shù)據(jù)集上加入了高斯噪聲,噪聲均值設(shè)置為0.02,方差設(shè)置為0.01,可視化模型如圖8 所示,實(shí)驗(yàn)結(jié)果見(jiàn)表7,其中PointNet++和RSCNN 的平均精度數(shù)據(jù)缺失,本文不做對(duì)比.由其余數(shù)據(jù)的對(duì)比結(jié)果可以看出,在加入高斯噪聲后,各種分類(lèi)網(wǎng)絡(luò)的結(jié)果都有明顯下降,但RFNet 影響較低.這是由于在構(gòu)建局部結(jié)構(gòu)時(shí),RFNet 可以通過(guò)對(duì)不同近鄰點(diǎn)分配不同權(quán)重來(lái)降低干擾點(diǎn)的影響,也使得RFNet 在面對(duì)高斯噪聲的影響時(shí),更具有魯棒性.

表7 高斯噪聲魯棒性實(shí)驗(yàn) (%)Table 7 Robustness experiment of Gaussian noise (%)

圖8 添加高斯噪聲前/后點(diǎn)云樣本的對(duì)照?qǐng)DFig.8 Comparison of one sample with and without Gaussian noise

2.6 特征關(guān)系的消融實(shí)驗(yàn)

不同特征關(guān)系組合的選取對(duì)局部結(jié)構(gòu)構(gòu)造有很大影響,過(guò)少的特征關(guān)系無(wú)法準(zhǔn)確描述近鄰點(diǎn)對(duì)中心點(diǎn)的影響;而過(guò)多的特征關(guān)系則會(huì)給網(wǎng)絡(luò)帶來(lái)冗余信息,導(dǎo)致網(wǎng)絡(luò)過(guò)擬合.本節(jié)對(duì)不同組合進(jìn)行探討.除式(5)提到的特征外,還加入了新的特征關(guān)系:

式中,disij ∈Rd為中心點(diǎn)與近鄰點(diǎn)之間的方向信息.最終實(shí)驗(yàn)結(jié)果見(jiàn)表8,表中“×”表示不使用對(duì)應(yīng)特征關(guān)系,“√”表示使用對(duì)應(yīng)特征關(guān)系.

表8 不同特征關(guān)系的消融實(shí)驗(yàn) (%)Table 8 Ablation studies about different relationships between features (%)

由表8 可知,網(wǎng)絡(luò)1 在僅使用向量信息eij時(shí),仍能取得93.3%的整體分類(lèi)精度,可見(jiàn)eij中含有豐富的特征信息.網(wǎng)絡(luò)2 和網(wǎng)絡(luò)3 在網(wǎng)絡(luò)1 的基礎(chǔ)上增加了距離信息lij和余弦相似度信息sij后,整體分類(lèi)精度也都有進(jìn)一步的提高.需要注意的是,雖然eij中內(nèi)在包含了lij,但從分類(lèi)結(jié)果可以看出,一個(gè)準(zhǔn)確的距離關(guān)系信息對(duì)局部特征的提取是很有必要的.網(wǎng)絡(luò)4 在網(wǎng)絡(luò)1 的基礎(chǔ)上增加了方向信息disij,最終的整體分類(lèi)精度卻降低了0.2%,這是因?yàn)槎咴谙嗤木S度d下存在著冗余信息,而且冗余信息會(huì)隨著維度d的增大而不斷增加.這點(diǎn)通過(guò)網(wǎng)絡(luò)3 與網(wǎng)絡(luò)6、網(wǎng)絡(luò)5 與網(wǎng)絡(luò)6 的對(duì)比也可以看出.雖然二者有著相同的維度,但eij中卻內(nèi)在包含了disij,由網(wǎng)絡(luò)3 與網(wǎng)絡(luò)5 的對(duì)比也能看出,使用eij能夠取得更好效果.

2.7 網(wǎng)絡(luò)復(fù)雜度實(shí)驗(yàn)

本節(jié)通過(guò)對(duì)比網(wǎng)絡(luò)的參數(shù)量和浮點(diǎn)運(yùn)算數(shù)來(lái)說(shuō)明網(wǎng)絡(luò)的復(fù)雜度.網(wǎng)絡(luò)的復(fù)雜度對(duì)比見(jiàn)表9.

表9 網(wǎng)絡(luò)的復(fù)雜度對(duì)比Table 9 Comparison of network complexity

對(duì)比DGCNN 可以看出,RFNet 在參數(shù)量和浮點(diǎn)運(yùn)算數(shù)上都有一定提高;同時(shí),在整體精度上也有很大程度的提高.這說(shuō)明,網(wǎng)絡(luò)中增添的模塊對(duì)網(wǎng)絡(luò)精度的提高具有正向意義.對(duì)比其他網(wǎng)絡(luò)也可以看出,網(wǎng)絡(luò)在參數(shù)量和浮點(diǎn)運(yùn)算數(shù)上做了折中方案,但整體精度卻最高.

3 結(jié)束語(yǔ)

本文提出一種用于點(diǎn)云分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò).首先,該網(wǎng)絡(luò)通過(guò)卷積模塊提取近鄰點(diǎn)與中心點(diǎn)之間的局部特征;然后,通過(guò)使用加權(quán)平均池化,從冗余的高維特征中聚合全局特征;最后,使用聯(lián)合損失函數(shù)增強(qiáng)整體網(wǎng)絡(luò)的分類(lèi)能力.從合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以看出,該網(wǎng)絡(luò)比現(xiàn)有網(wǎng)絡(luò)更具優(yōu)勢(shì).同時(shí),本文還進(jìn)行了消融實(shí)驗(yàn)、采樣密度的魯棒性實(shí)驗(yàn)、高斯噪聲魯棒性實(shí)驗(yàn)和網(wǎng)絡(luò)復(fù)雜度實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果驗(yàn)證了本文網(wǎng)絡(luò)模塊的有效性和整體網(wǎng)絡(luò)的穩(wěn)定性.