楊軍,王連甲

(1.蘭州交通大學(xué)電子與信息工程學(xué)院,730070,蘭州; 2.蘭州交通大學(xué)測繪與地理信息學(xué)院,730070,蘭州)

近年來,深度學(xué)習(xí)已經(jīng)在二維圖像處理如圖像分類[1-2]、目標(biāo)檢測[3-4]和語義分割[5-6]等方面取得了顯著的成績。越來越多的研究開始對三維空間進(jìn)行探索。三維點(diǎn)云由于其包含的信息豐富且數(shù)據(jù)結(jié)構(gòu)簡單,成為了三維空間的主要數(shù)據(jù)表達(dá)方式。與此同時(shí),三維(3D)激光掃描技術(shù)的興起使得點(diǎn)云數(shù)據(jù)的獲取成本快速降低,促進(jìn)了許多依賴3D點(diǎn)云數(shù)據(jù)應(yīng)用的發(fā)展,例如自動駕駛[7]、機(jī)器人[8]和三維重建[9]等。三維點(diǎn)云的識別與分割算法作為以上應(yīng)用開發(fā)的技術(shù)基石具有重要研究意義。三維點(diǎn)云識別就是將輸入的三維點(diǎn)云模型進(jìn)行分析并輸出模型所屬類別,而三維點(diǎn)云分割則是將輸入的點(diǎn)云場景中每個(gè)點(diǎn)都預(yù)測其所屬的物體或部件類別。然而,由于點(diǎn)云由三維空間中無序和不規(guī)則的點(diǎn)集組成,不能直接將處理二維圖像的深度學(xué)習(xí)方法直接用于三維點(diǎn)云處理,這使得該領(lǐng)域的研究備受關(guān)注。

早期的研究將三維點(diǎn)云投影至二維平面,再用成熟的二維圖像的卷積神經(jīng)網(wǎng)絡(luò)模型提取特征。但是,多視圖方法會不可避免地丟失某些具有鑒別力的幾何信息,并且投影視角的選擇也需要豐富的先驗(yàn)知識?；隗w素的方法將三維點(diǎn)云規(guī)則化至三維體素塊,然后用三維卷積操作對體素塊進(jìn)行處理。該類方法一定程度上保留了點(diǎn)云的幾何信息,然而將三維點(diǎn)云映射至三維體素的過程會消耗額外的內(nèi)存與計(jì)算空間,并且無法細(xì)分物體邊界的幾何信息。以PointNet[10]為代表的基于點(diǎn)云的方法直接將原始點(diǎn)云輸入深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行處理,這樣能夠利用點(diǎn)云原始信息且不增加額外操作,可以充分獲取點(diǎn)云所有信息,但由于點(diǎn)云具有不規(guī)則、無序等特點(diǎn),當(dāng)前此類方法存在局部特征提取不充分,點(diǎn)云識別與分割精度不足等問題。

針對上述問題,本文提出了基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)(positional relation convolution and deep residual network,PRCDRNet)的三維點(diǎn)云識別與分割算法。位置關(guān)系卷積可以對局部鄰域內(nèi)點(diǎn)的語義特征與幾何位置關(guān)系特征進(jìn)行編碼融合,增強(qiáng)局部特征的上下文信息。深度殘差模塊通過基本殘差單元的堆疊能夠?qū)ξ恢藐P(guān)系卷積得到的融合特征進(jìn)行深層強(qiáng)化,充分提取深度語義信息,在獲得更精細(xì)的點(diǎn)云特征的同時(shí),解決了因網(wǎng)絡(luò)層數(shù)加深而產(chǎn)生的網(wǎng)絡(luò)退化問題。主要貢獻(xiàn)與創(chuàng)新點(diǎn)有兩點(diǎn):一是構(gòu)建位置關(guān)系卷積,充分提取并融合局部鄰域內(nèi)位置關(guān)系特征與幾何結(jié)構(gòu)特征,得到更豐富的局部鄰域特征;二是引入深度殘差模塊,緩解因網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的網(wǎng)絡(luò)退化問題,提升點(diǎn)云識別與分割準(zhǔn)確率。

1 相關(guān)研究

目前,關(guān)于三維點(diǎn)云的分類與分割算法主要分為基于多視圖、基于體素與基于原始點(diǎn)云三類方法。

1.1 基于多視圖的方法

由于點(diǎn)云的不規(guī)則與無序性,早期的許多研究先將三維點(diǎn)云投影至二維平面,再使用現(xiàn)有的二維卷積神經(jīng)網(wǎng)絡(luò)模型分析處理。Su等[11]首先將三維點(diǎn)云按照不同視角投影至二維平面得到二維投影視圖,然后將得到的二維投影視圖分別送入用于二維圖像分類的VGG[12]網(wǎng)絡(luò)進(jìn)行特征提取,最后將提取到的特征進(jìn)行池化操作得到點(diǎn)云的全局特征描述符。馮元力等[13]通過對三維模型進(jìn)行球面深度投影得到球面全景圖,并將每個(gè)模型的球面全景圖從多個(gè)角度展開, 創(chuàng)建多幅平面圖像作為多分支的卷積神經(jīng)網(wǎng)絡(luò)的輸入, 對多幅全景圖進(jìn)行整合分析后可獲得三維點(diǎn)云的識別結(jié)果。Wei等[14]將二維投影視圖看作節(jié)點(diǎn)構(gòu)造有向圖,然后將得到的節(jié)點(diǎn)特征最大池化后形成全局特征描述符,最后通過全連接層得到點(diǎn)云的識別結(jié)果。

基于多視圖的方法可以利用現(xiàn)有成熟有效的二維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)三維點(diǎn)云的識別與分割,但這種方法忽略了三維點(diǎn)云的空間內(nèi)在幾何關(guān)系,且在投影時(shí)三維點(diǎn)云的部分信息會因?yàn)楸徽趽醵鴵p失,從而影響識別精度。

1.2 基于體素的方法

基于體素的方法通常將三維點(diǎn)云映射至三維體素塊,然后使用標(biāo)準(zhǔn)的三維卷積處理。Maturana等[15]提出一種體素占用網(wǎng)絡(luò)VoxNet,把不規(guī)則的點(diǎn)云數(shù)據(jù)規(guī)則化為三維體素網(wǎng)格的形式,然后用三維卷積神經(jīng)網(wǎng)絡(luò)處理三維體素網(wǎng)格獲得特征描述符。Choy等[16]提出一種用于時(shí)空三維點(diǎn)云數(shù)據(jù)的4D稀疏卷積網(wǎng)絡(luò),并創(chuàng)建了稀疏張量自動微分的開源庫。所提出的廣義稀疏卷積能夠有效處理高維數(shù)據(jù),顯著降低傳統(tǒng)3D卷積核計(jì)算成本,且該卷積核對于立方體結(jié)構(gòu)的物體識別能力更強(qiáng)。文獻(xiàn)[17]在模型特征的提取過程中,使用堆疊小卷積核的深度卷積神經(jīng)網(wǎng)絡(luò)以便更加有效地挖掘模型內(nèi)部的隱含信息并提取體素矩陣的深層特征,提高了復(fù)雜3D模型識別準(zhǔn)確率。

基于體素的方法在一定程度上保留了點(diǎn)云的三維幾何結(jié)構(gòu),然而體素化過程中體素塊大小的選擇會影響網(wǎng)絡(luò)性能,體素塊太大會丟失幾何細(xì)節(jié),太小會增加計(jì)算成本與內(nèi)存消耗。設(shè)計(jì)基于體素的點(diǎn)云處理算法需要進(jìn)行計(jì)算效率和體素比例的權(quán)衡。

1.3 基于原始點(diǎn)云的方法

Charles等[10]首次提出了直接使用原始點(diǎn)云作為輸入的網(wǎng)絡(luò)PointNet,充分考慮了直接處理點(diǎn)云所需的置換不變性與平移旋轉(zhuǎn)不變性,利用多層感知機(jī)(multi-layer perceptron, MLP)學(xué)習(xí)每個(gè)獨(dú)立點(diǎn)的高維表征,然后采用最大池化層對所有點(diǎn)的高維特征進(jìn)行聚合得到全局特征描述符。PointNet是直接處理原始點(diǎn)云方法的先驅(qū)工作,但是其只關(guān)注到每個(gè)點(diǎn)對于全局特征的影響,沒有考慮到局部特征。Qi等[18]在PointNet基礎(chǔ)上提出PointNet++網(wǎng)絡(luò),通過劃分局部點(diǎn)云分層提取多尺度特征,將提取到的局部特征與全局特征充分融合得到點(diǎn)云語義特征。周鵬等[19]提出一種基于資源平衡的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法來實(shí)現(xiàn)三維點(diǎn)云模型的識別。Li等[20]利用點(diǎn)的規(guī)范順序,通過X-Conv操作符對輸入點(diǎn)和特征進(jìn)行排列和加權(quán),不同的輸入順序?qū)?yīng)不同的X變換矩陣,并用常規(guī)卷積對重組后的點(diǎn)進(jìn)行處理,解決了點(diǎn)云輸入無序的問題。Dang等[21]提出分層并行組卷積,可以同時(shí)捕捉點(diǎn)云的區(qū)分性獨(dú)立單點(diǎn)特征和局部幾何特征,以較少的冗余信息增強(qiáng)特征的豐富性,提高了網(wǎng)絡(luò)識別復(fù)雜類別的能力。PointWeb不僅考慮了局部鄰域中鄰近點(diǎn)與中心點(diǎn)的關(guān)系,還考慮到鄰近點(diǎn)的結(jié)構(gòu),通過連接局部區(qū)域中的每個(gè)點(diǎn)對,以獲得更具代表性的區(qū)域特征[22]。Wang等[23]提出邊緣卷積EdgeConv來生成描述點(diǎn)與其相鄰點(diǎn)之間關(guān)系的邊特征,將每個(gè)中心點(diǎn)與其k個(gè)最近鄰點(diǎn)連接起來構(gòu)成局部鄰域來聚合本地上下文信息;成對的特征由MLP獨(dú)立編碼構(gòu)成圖結(jié)構(gòu),并且在每層MLP編碼后動態(tài)更新圖結(jié)構(gòu),使得對不同規(guī)模與類型的點(diǎn)云得到更好的識別與分割結(jié)果。文獻(xiàn)[24]提出了一種輕量級的代理點(diǎn)圖卷積,能夠簡化邊緣卷積操作且降低內(nèi)存消耗,獲得深層細(xì)粒度的幾何特征,并對語義特征和局部幾何特征進(jìn)行編碼,增強(qiáng)了特征局部的上下文信息。PointConv通過使用MLP逼近卷積濾波器中的連續(xù)權(quán)重和密度函數(shù),將動態(tài)濾波器擴(kuò)展到新的卷積運(yùn)算[25]。PointASNL使用自注意力機(jī)制構(gòu)建自適應(yīng)采樣(adaptive sampling,AS)模塊與局部-非局部(local-non local,L-NL)模塊提取特征,AS模塊可以自適應(yīng)地調(diào)整最遠(yuǎn)點(diǎn)采樣后的點(diǎn)坐標(biāo)與特征,L-NL模塊用于捕獲采樣點(diǎn)的局部與全局依賴關(guān)系[26]。

基于原始點(diǎn)云的方法不需要將點(diǎn)云投影至二維平面或體素化,節(jié)省了計(jì)算消耗與內(nèi)存空間,但現(xiàn)有的方法沒有充分利用點(diǎn)云最重要的幾何位置特征,缺乏對局部特征的精細(xì)提取。

2 位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)

三維點(diǎn)云可以表示為空間中的一組無序點(diǎn)集。不同點(diǎn)云數(shù)據(jù)集包含的特征通道數(shù)并不統(tǒng)一。一般情況下,點(diǎn)云的輸入特征通道數(shù)等于3,表示每個(gè)點(diǎn)由三維坐標(biāo)表示,不同的點(diǎn)云數(shù)據(jù)可能包含其他額外的特征信息,如顏色、深度或表面法向量等。在各種特征中最具代表性與決定性的特征是點(diǎn)云的位置坐標(biāo)特征,因此本文重點(diǎn)關(guān)注點(diǎn)云的位置信息特征。在位置關(guān)系深度殘差神經(jīng)網(wǎng)絡(luò)中,通過位置關(guān)系卷積(positional relation convolution,PRConv)將局部鄰域內(nèi)當(dāng)前點(diǎn)的語義特征、位置關(guān)系特征與幾何特征充分融合,得到點(diǎn)云局部區(qū)域的高級特征;將融合后的特征送入深度殘差模塊(deep residual block,DRB)進(jìn)行深層語義特征提取,將得到的深層語義特征按順序分層送入位置關(guān)系卷積與深度殘差模塊即可得到包含豐富位置與幾何特征的點(diǎn)云全局特征。

2.1 位置關(guān)系卷積

二維(2D)圖像處理中的卷積操作是卷積神經(jīng)網(wǎng)絡(luò)中的核心步驟,如圖1所示,大小固定的卷積核自左往右,從上而下的掃描整個(gè)圖像,經(jīng)過反向傳播得到學(xué)習(xí)后的權(quán)重共享的核參數(shù)。二維卷積操作可以抽象表示為

圖1 二維圖像上的卷積操作

(1)

式中:Conv(·)表示卷積操作;v表示卷積核大小,例如1×1、3×3、5×5等;W(·)表示權(quán)重函數(shù);Cv表示v范圍像素上的通道特征。

由于點(diǎn)云(point cloud)的無序性與不規(guī)則性,每個(gè)點(diǎn)并不固定在如二維圖像的規(guī)則網(wǎng)格中,因此不能直接使用二維卷積處理點(diǎn)云。當(dāng)前主流處理方法如圖2所示,首先使用最遠(yuǎn)點(diǎn)采樣(farthest point sampling,FPS)算法對輸入點(diǎn)云進(jìn)行下采樣,確定局部區(qū)域的中心點(diǎn),然后用k最近鄰(k-nearest neighbor,k-NN)分類算法確定中心點(diǎn)的k個(gè)鄰域點(diǎn),再對局部區(qū)域內(nèi)處理。點(diǎn)云的卷積操作可以抽象表示為

圖2 三維點(diǎn)云上的卷積操作

F(α+lα,β+lβ,γ+lγ)dlαdlβdlγ

(2)

式中:(α,β,γ)為點(diǎn)云通過FPS下采樣后任意點(diǎn)的坐標(biāo);L表示以(α,β,γ)為中心點(diǎn)以k個(gè)點(diǎn)為鄰域的局部區(qū)域;(lα,lβ,lγ)為局部鄰域中的任意點(diǎn)坐標(biāo);F(α+lα,β+lβ,γ+lγ)表示局部區(qū)域L內(nèi)的通道特征。

現(xiàn)有的基于原始點(diǎn)云三維模型識別與分割方法大多數(shù)都采用如式(2)所示的方式進(jìn)行點(diǎn)云的特征提取,不同的方法區(qū)別在于對權(quán)重函數(shù)W(·)的設(shè)計(jì)不同。如圖3(a)所示,圖中每個(gè)圓表示點(diǎn)云中的一個(gè)點(diǎn),其中紅色表示點(diǎn)云下采樣后的中心點(diǎn),藍(lán)色表示局部鄰域內(nèi)的點(diǎn),點(diǎn)與點(diǎn)間的連線表示點(diǎn)與點(diǎn)的不同關(guān)系,PointNet++首次考慮了局部鄰域內(nèi)中心點(diǎn)與鄰域點(diǎn)各自獨(dú)立的特征,其卷積函數(shù)可表示為

(a)PointNet++

W=M(f(xj)),xj∈L

(3)

式中:M(·)表示權(quán)重共享的多層感知機(jī);f(·)表示點(diǎn)的當(dāng)前特征;xj為局部鄰域內(nèi)任意點(diǎn)。DGCNN通過學(xué)習(xí)高維特征空間中的點(diǎn)關(guān)系來捕捉相似的局部形狀,如圖3(b)所示,其卷積函數(shù)可表示為

W=M[f(xj),f(xj)-f(xi)],xj∈L

(4)

式中:xi為局部鄰域中心點(diǎn)。PointWeb使用自適應(yīng)特征調(diào)整模塊自適應(yīng)地學(xué)習(xí)局部鄰域內(nèi)每個(gè)點(diǎn)對之間的影響指標(biāo),如圖3(c)所示,其卷積函數(shù)可表示為

W=M[f(xj),Frel(xj,xh)],xh,xj∈L

(5)

(6)

式中:xh為局部鄰域內(nèi)的任意點(diǎn);Frel為自適應(yīng)學(xué)習(xí)函數(shù)。

PointNet++考慮了局部鄰域內(nèi)中心點(diǎn)與鄰域點(diǎn)各自獨(dú)立的特征,但是缺乏對鄰域內(nèi)中心點(diǎn)與鄰域點(diǎn)關(guān)系的探索,DGCNN考慮了鄰域內(nèi)中心點(diǎn)與鄰域點(diǎn)之間的關(guān)系,但是鄰域點(diǎn)與中心點(diǎn)的關(guān)系表示為點(diǎn)高維特征之間的運(yùn)算,沒有重點(diǎn)關(guān)注點(diǎn)云最重要的位置與幾何特征,且隨著網(wǎng)絡(luò)層數(shù)加深,特征提取至高維時(shí),網(wǎng)絡(luò)的運(yùn)算量變得很大,計(jì)算效率大大降低。PointWeb不僅考慮了鄰域點(diǎn)與中心點(diǎn)的關(guān)系,還嘗試將鄰域內(nèi)每個(gè)點(diǎn)的特征關(guān)聯(lián)起來,但是這樣會極大增加網(wǎng)絡(luò)的參數(shù),造成特征冗余,增加運(yùn)算成本。為了挖掘點(diǎn)云鄰域內(nèi)的位置關(guān)系與幾何拓?fù)浣Y(jié)構(gòu),更充分地提取點(diǎn)云的高級語義特征,本文提出了位置關(guān)系卷積,其中鄰域內(nèi)點(diǎn)的關(guān)系如圖3(d)所示,可以表示為

W=M[f(xj),xi,(xj-xi),Di,j],xj∈L

(7)

Di,j=‖xj-xi‖2

(8)

式中:Di,j為鄰域中心點(diǎn)xi與鄰域點(diǎn)xj的歐氏距離。式(7)中位置關(guān)系卷積函數(shù)將局部鄰域特征f(xj)、局部鄰域中心點(diǎn)位置特征xi、鄰域內(nèi)點(diǎn)與中心點(diǎn)的相對位置特征xj-xi和鄰域內(nèi)點(diǎn)與中心點(diǎn)的歐氏距離特征拼接后送入MLP進(jìn)行特征融合,融合過程中既保留了當(dāng)前點(diǎn)的高級特征,增強(qiáng)了當(dāng)前鄰域內(nèi)中心點(diǎn)與鄰域點(diǎn)位置關(guān)系特征,又引入歐氏距離強(qiáng)化了局部鄰域內(nèi)的幾何拓?fù)涮卣鳌?/p>

綜上,本文提出的位置關(guān)系卷積(positional relation convolution,PRConv)結(jié)構(gòu)如圖4所示。圖中不同立方體表示位置關(guān)系卷積中產(chǎn)生的不同特征,矩形表示位置關(guān)系卷積中的運(yùn)算操作,主要由兩條分支組成。上路分支通過對原始點(diǎn)云的位置信息進(jìn)行運(yùn)算得到局部鄰域內(nèi)的強(qiáng)化位置特征與幾何特征;下路分支通過FPS、k-NN操作得到當(dāng)前局部鄰域的高維語義特征。然后將兩條分支獲取的特征進(jìn)行拼接后送入權(quán)重共享的MLP進(jìn)行特征融合,最后對融合后的特征采用最大池化操作,輸出表征整個(gè)局部鄰域的高級語義特征。

圖4 位置關(guān)系卷積結(jié)構(gòu)示意圖

2.2 深度殘差模塊

通過位置關(guān)系卷積,得到了整個(gè)局部鄰域的高級語義特征,但是僅通過位置關(guān)系卷積中的MLP不能充分提取局部鄰域中的深層特征。受ResNet[27]的啟發(fā),本文引入殘差結(jié)構(gòu),構(gòu)建了新的深度殘差模塊,在增加網(wǎng)絡(luò)深度,充分提取局部鄰域中深層特征的同時(shí),降低梯度消失,緩解因網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的網(wǎng)絡(luò)退化問題。

神經(jīng)網(wǎng)絡(luò)需要使用MLP來提取三維點(diǎn)云的特征,普通MLP結(jié)構(gòu)對通道特征的處理可以簡單表示為

Cout=f(Cin)

(9)

式中:Cin為輸入特征;Cout為輸出特征;f(·)為映射函數(shù)即MLP操作。MLP通過反向傳播更新網(wǎng)絡(luò)的參數(shù),反向傳播過程中需要對參數(shù)求導(dǎo)數(shù)

(10)

由于當(dāng)前網(wǎng)絡(luò)由多層MLP堆疊組成,當(dāng)MLP層數(shù)過多時(shí),反向傳播時(shí)會產(chǎn)生梯度消失的問題,即f′(Cin)接近于0。這會導(dǎo)致反向傳播過程難以進(jìn)行,最終使MLP無法準(zhǔn)確地提取通道特征。因此,ResNet提出一種殘差結(jié)構(gòu),可以簡單表示為

Cout=f(Cin)+Cin

(11)

此時(shí)對參數(shù)進(jìn)行求導(dǎo)數(shù)可得到

(12)

當(dāng)網(wǎng)絡(luò)包含的MLP層數(shù)過多,在反向傳播時(shí)會出現(xiàn)梯度消失問題,即f′(Cin)接近0時(shí),MLP的梯度將大于等于1,在一定程度上解決了反向傳播中梯度消失問題。據(jù)此,本文設(shè)計(jì)了一個(gè)基本殘差單元(basic residual unit,BRU),如圖5所示,其中立方體表示特征,矩形表示批歸一化、激活函數(shù)等操作,其過程可以表示為

圖5 基本殘差單元結(jié)構(gòu)示意圖

Cout=σ(B(M2(σ(B(M1(Cin)))))+Cin)

(13)

式中:σ(·)為激活函數(shù);B(·)為批歸一化操作;M1(·)與M2(·)均為MLP操作,并且M1(·)與M2(·)輸入與輸出的通道數(shù)均等于Cin的通道數(shù)。

深度殘差模塊可由一個(gè)或多個(gè)基本殘差單元串聯(lián)組成。經(jīng)過消融實(shí)驗(yàn),本文構(gòu)建的深度殘差模塊由兩個(gè)基本殘差單元組成,其結(jié)構(gòu)如圖6所示,其中立方體表示特征,矩形為基本殘差單元(BRU)。

圖6 深度殘差模塊結(jié)構(gòu)示意圖

2.3 基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)的模型架構(gòu)

本文構(gòu)建的基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)的模型架構(gòu)采用編碼器-解碼器結(jié)構(gòu),如圖7所示,其中矩形為位置關(guān)系卷積、插值等操作,不同顏色矩形塊的堆疊表示網(wǎng)絡(luò)各層輸出的特征。在將原始點(diǎn)云輸入編碼器之前,先將原始點(diǎn)云的初始特征映射至高維空間,使編碼器可以更充分地提取原始點(diǎn)云特征。為了充分挖掘點(diǎn)云的細(xì)粒度特征和多尺度上下文信息,編碼器采用4層結(jié)構(gòu)設(shè)計(jì),每一層包含下采樣、位置關(guān)系卷積模塊和深度殘差模塊。在第一層中,首先將原始點(diǎn)云嵌入得到的高維點(diǎn)云特征Fe采用FPS算法下采樣,并通過位置關(guān)系卷積模塊對鄰域內(nèi)高維點(diǎn)云特征、位置關(guān)系特征與幾何結(jié)構(gòu)特征進(jìn)行拼接融合,然后將融合后的特征輸入深度殘差模塊充分提取局部鄰域的深層語義特征,最后輸出第一層結(jié)構(gòu)提取到的淺層局部特征F1。通過相同的方法,可以得到更深層的局部特征F2與F3,直至最后在第四層輸出提取到的最高級局部特征F4。通過最大池化操作得到包含豐富上下文信息的點(diǎn)云全局特征Fg,送入設(shè)計(jì)的全連接層(fully connected layer,FCL)得到點(diǎn)云分類的概率預(yù)測得分1×C,C為點(diǎn)云類別數(shù)目。

圖7 基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)的模型架構(gòu)

解碼器同樣采用分層結(jié)構(gòu)設(shè)計(jì),每一層包含插值操作與MLP,插值操作用來實(shí)現(xiàn)分割所需的上采樣過程,MLP融合深層語義特征與淺層語義特征并對齊插值特征中的通道數(shù)。首先對局部深層特征F3與F4用距離插值方法[18]進(jìn)行合并插值,并將得到的結(jié)果輸入MLP與局部深層特征F3的特征通道數(shù)對齊得到插值特征即解碼器的首層輸出FI4,通過相同的步驟可以分別得到插值特征FI3、FI2、FI1,插值特征FI1為編碼器的最終輸出。最后將全局特征與解碼器的最終輸出拼接后送入MLP得到點(diǎn)云分割的概率預(yù)測結(jié)果N×S,N為原始點(diǎn)云點(diǎn)的數(shù)目,S為每個(gè)點(diǎn)的語義類別數(shù)目。

3 實(shí)驗(yàn)結(jié)果與分析

為了探究本文構(gòu)建的基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)(PRCDRNet)的模型對點(diǎn)云識別與分割的有效性,分別在三維點(diǎn)云分類數(shù)據(jù)集ModelNet40[28]與三維點(diǎn)云部件語義分割數(shù)據(jù)集ShapeNet Part[29]上評估了網(wǎng)絡(luò)模型的識別與分割性能。訓(xùn)練和測試的實(shí)驗(yàn)硬件為英特爾i9 10900k CPU和GeForce RTX3090 GPU(24 GB 顯存)顯卡,實(shí)驗(yàn)環(huán)境與主要參數(shù)如表1所示。

表1 實(shí)驗(yàn)環(huán)境與主要參數(shù)

3.1 三維點(diǎn)云識別實(shí)驗(yàn)

本文選擇在ModelNet40數(shù)據(jù)集上進(jìn)行三維點(diǎn)云識別實(shí)驗(yàn)。ModelNet40數(shù)據(jù)集是由普林斯頓大學(xué)用CAD軟件構(gòu)建的三維模型數(shù)據(jù)集,其包含來自40個(gè)類別的12 311個(gè)三維形狀,如飛機(jī)、汽車、鍵盤等。其中9 843個(gè)模型用于訓(xùn)練,2 468個(gè)模型用于測試。采用總體精度作為識別的性能評估指標(biāo)。

文中選取了基于多視圖、體素與原始點(diǎn)云3種方法中性能突出的網(wǎng)絡(luò)模型進(jìn)行對比實(shí)驗(yàn),其中以基于原始點(diǎn)云輸入方法為主,并對較為經(jīng)典且創(chuàng)新性較強(qiáng)的網(wǎng)絡(luò)模型與本文PRCDRNet模型進(jìn)行了性能對比分析。在ModelNet40數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對比如表2所示?？梢钥闯?本文算法在ModelNet40數(shù)據(jù)集上的總體精度達(dá)到了93.9%,由于本文采用的原始點(diǎn)云輸入的方法不需要將點(diǎn)云轉(zhuǎn)換為二維圖像與體素塊,減少了轉(zhuǎn)換過程中信息的丟失,大幅領(lǐng)先基于體素方法的VoxNet[15]10.9%,相比基于多視圖方法的MVCNN[11],總體精度超出3.8%;與基于原始點(diǎn)云輸入方法對比,比1 000個(gè)點(diǎn)作為輸入的PointNet++[18]的精度提升了3.2%,主要由于PRCDRNet模型中的位置關(guān)系卷積充分提取了局部鄰域內(nèi)的位置關(guān)系特征與局部幾何特征;與網(wǎng)絡(luò)層數(shù)較深、參數(shù)量較大的KPConv[32]模型相比,PRCDRNet模型中的深度殘差模塊在增加網(wǎng)絡(luò)深度的同時(shí)降低梯度消失,緩解因網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的網(wǎng)絡(luò)退化問題,使得總體精度提升了1%。此外,PRCDRNet模型僅采用1 024個(gè)點(diǎn)作為輸入,總體精度超過了以更多點(diǎn)或更多信息作為輸入的網(wǎng)絡(luò)模型,如SpiderCNN[30]、PointWeb[22]等。所以,本文提出的基于位置關(guān)系卷積與深度殘差網(wǎng)絡(luò)的模型具有較強(qiáng)的點(diǎn)云識別能力。

表2 不同網(wǎng)絡(luò)模型在ModelNet40數(shù)據(jù)集上的總體精度對比

PRCDRNet模型在ModelNet40數(shù)據(jù)集上的訓(xùn)練輪次與總體精度的關(guān)系如圖8所示,可以看出訓(xùn)練在50輪內(nèi)快速收斂,在269輪訓(xùn)練時(shí)達(dá)到最高識別精度。

圖8 訓(xùn)練輪次與識別的總體精度

3.2 三維點(diǎn)云分割實(shí)驗(yàn)

本文選擇在ShapeNet Part數(shù)據(jù)集上進(jìn)行三維點(diǎn)云分割實(shí)驗(yàn)。ShapeNet Part數(shù)據(jù)集包含16個(gè)類別的15 881個(gè)CAD模型,每個(gè)類別包含2～6個(gè)不同部件,共有50個(gè)部件語義標(biāo)簽。在ShapeNet Part數(shù)據(jù)集上采用實(shí)例平均交并比MI與類別平均交并比MC作為網(wǎng)絡(luò)分割性能的評價(jià)指標(biāo),公式如下

(14)

(15)

式中:z為類別數(shù);p為每個(gè)類別中點(diǎn)的個(gè)數(shù);TP為預(yù)測結(jié)果是正類,真實(shí)標(biāo)簽也為正類的點(diǎn);FP為預(yù)測結(jié)果是正類,真實(shí)標(biāo)簽為負(fù)類的點(diǎn);TN為預(yù)測結(jié)果是負(fù)類,真實(shí)標(biāo)簽為正類的點(diǎn)。

本文PRCDRNet模型和其他經(jīng)典的網(wǎng)絡(luò)模型在ShapeNet Part數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對比如表3所示。可以看出,本文算法在ShapeNet Part數(shù)據(jù)集上的MC達(dá)到了最高的84.7%,MI達(dá)到了86.0%,高于大多數(shù)主流網(wǎng)絡(luò)模型。與DGCNN[23]模型相比,本文算法的PRConv在EdgeConv的基礎(chǔ)上融合了幾何關(guān)系特征豐富了提取到的語義特征,并且將高維空間中的鄰域空間搜索改為位置坐標(biāo)鄰域搜索,降低了高維特征信息冗余,使得MI與MC分別提升了0.8%與2.4%。雖然MI略遜于PointASNL[26]0.1%,但在手提包、車輛、耳機(jī)、匕首等11個(gè)類別實(shí)現(xiàn)了最近分割性能。實(shí)驗(yàn)結(jié)果充分證明,本文方法在點(diǎn)云語義分割任務(wù)中具有較強(qiáng)的競爭力。

表3 不同網(wǎng)絡(luò)模型在ShapeNet Part數(shù)據(jù)集上的分割結(jié)果對比

PRCDRNet模型在ShapeNet Part數(shù)據(jù)集上的訓(xùn)練輪次與平均交并比的關(guān)系如圖9所示,可以看出訓(xùn)練大概在120輪時(shí)收斂,在205輪時(shí)得到最佳分割結(jié)果。

圖9 訓(xùn)練輪次與平均交并比

PRCDRNet模型在ShapeNet Part數(shù)據(jù)集上的分割結(jié)果可視化如圖10所示,第一行為真實(shí)標(biāo)簽,第二行為PRCDRNet模型分割結(jié)果?？梢钥闯?本文算法分割結(jié)果已接近于真實(shí)標(biāo)簽,可以準(zhǔn)確地提取到點(diǎn)云特征。

圖10 ShapeNet Part數(shù)據(jù)集分割結(jié)果可視化

3.3 消融實(shí)驗(yàn)

3.3.1k近鄰點(diǎn)

本文提出的位置關(guān)系卷積在提取點(diǎn)云局部特征的過程中采用k-NN算法構(gòu)建局部鄰域,鄰域點(diǎn)的數(shù)目k在一定程度上會影響網(wǎng)絡(luò)提取到的局部特征。較小的鄰域點(diǎn)數(shù)目構(gòu)建局部鄰域速度相對較快,網(wǎng)絡(luò)計(jì)算量低,但是構(gòu)建的鄰域范圍過小無法學(xué)習(xí)到全面的幾何特征,導(dǎo)致精度較低,而鄰域點(diǎn)數(shù)目過大會導(dǎo)致局部鄰域范圍重疊,會引入更多的噪聲,影響網(wǎng)絡(luò)對幾何特征的學(xué)習(xí)。當(dāng)前主流網(wǎng)絡(luò)模型根據(jù)實(shí)驗(yàn)將k設(shè)置為16、24、32等數(shù)值。此外,不同的數(shù)據(jù)集點(diǎn)云的規(guī)模大小也不統(tǒng)一,不同近鄰數(shù)目的選擇對不同的數(shù)據(jù)集的影響存在差異。本文分別在ModelNet40數(shù)據(jù)集與ShapeNet Part數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn),測試了不同近鄰數(shù)目k對識別總體精度與分割精度的影響。從表4可以看出,當(dāng)k為16時(shí),網(wǎng)絡(luò)的總體精度與分割精度均較低,網(wǎng)絡(luò)的總體精度在k為24時(shí)達(dá)到最高,當(dāng)k為32時(shí),近鄰點(diǎn)過多反而導(dǎo)致了網(wǎng)絡(luò)在ModelNet40數(shù)據(jù)集上總體精度下降。由于點(diǎn)云分割數(shù)據(jù)集ShapeNet Part的輸入點(diǎn)是點(diǎn)云識別數(shù)據(jù)集ModelNet40的2倍,因此當(dāng)近鄰點(diǎn)較大時(shí),網(wǎng)絡(luò)能更充分地提取較大鄰域內(nèi)的幾何特征,但如果近鄰點(diǎn)數(shù)目過大也會導(dǎo)致不同鄰域內(nèi)的特征信息重疊冗余,影響分割結(jié)果。實(shí)驗(yàn)表明,網(wǎng)絡(luò)的分割性能在k為32時(shí)表現(xiàn)最佳。

表4 近鄰數(shù)目對點(diǎn)云識別與分割結(jié)果的影響對比

3.3.2 基本殘差單元

本文提出了深度殘差模塊旨在加強(qiáng)提取局部鄰域中深層特征,緩解因網(wǎng)絡(luò)層數(shù)加深產(chǎn)生的網(wǎng)絡(luò)退化問題。深度殘差模塊由如圖4所示的一個(gè)或多個(gè)基本殘差單元(BRU)串連堆疊組成。為了驗(yàn)證深度殘差模塊對點(diǎn)云識別與分割精度的影響,分別在Model-Net40數(shù)據(jù)集與ShapeNet Part數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表5所示?？梢钥闯?當(dāng)深度殘差模塊由2個(gè)基本殘差單元串聯(lián)組成時(shí),點(diǎn)云的識別與分割效果最好,相較于沒有深度殘差模塊的網(wǎng)絡(luò),總體精度提高0.5%,分割平均交并比提高0.2%。在一定配置下,深度殘差模塊能夠加強(qiáng)局部鄰域中深層特征的提取,提高點(diǎn)云的識別與分割精度。

表5 基本殘差單元數(shù)目對點(diǎn)云識別與分割精度的影響對比

4 結(jié) 論

本文提出了一種基于位置關(guān)系深度殘差神經(jīng)網(wǎng)絡(luò)的三維點(diǎn)云識別與分割算法。首先,對原始點(diǎn)云做嵌入操作,獲得點(diǎn)云的高維特征表示。其次,通過FPS下采樣并用k-NN算法確定局部鄰域。然后,將局部鄰域分別輸入位置關(guān)系卷積對局部鄰域當(dāng)前點(diǎn)的特征與局部鄰域內(nèi)的幾何特征做融合并強(qiáng)化局部鄰域的中心特征,通過深度殘差模塊強(qiáng)化提取深層局部特征。分層重復(fù)以上步驟可以獲得點(diǎn)云的深層上下文特征,實(shí)現(xiàn)了點(diǎn)云的識別與分割處理。本文算法在ModelNet40點(diǎn)云分類數(shù)據(jù)集和ShapeNet Part點(diǎn)云分割數(shù)據(jù)集分別達(dá)到了93.9%總體精度與86.0%的平均交并比,具有較好的點(diǎn)云識別與分割能力。

本文算法在點(diǎn)云規(guī)模較小的識別任務(wù)取得了較好的成績,然而對于大規(guī)模點(diǎn)云分割任務(wù)的結(jié)果還不是很理想,仍然存在較大的改進(jìn)空間。如何提高算法對大規(guī)模點(diǎn)云的分割能力并提升網(wǎng)絡(luò)的泛化性能,是未來繼續(xù)研究的方向。