孫戰(zhàn)里,張玉欣,陳 霞
1.安徽大學(xué) 人工智能學(xué)院,合肥 230601
2.安徽大學(xué) 多模態(tài)認(rèn)知計算安徽省重點實驗室,合肥 230601
3.安徽大學(xué) 電氣工程與自動化學(xué)院,合肥 230601
4.安徽農(nóng)業(yè)大學(xué) 信息與計算機學(xué)院,合肥 230036
點云配準(zhǔn)是一項通過計算剛性轉(zhuǎn)換參數(shù)將兩個點云進行對齊的研究任務(wù)。在實際應(yīng)用中,由于掃描設(shè)備等一些原因,多數(shù)情況下所獲得的點云并不是完整的,或許會存在殘缺,對于殘缺點云進行配準(zhǔn)的研究是必要的。與完整點云配準(zhǔn)相比,殘缺點云的配準(zhǔn)通過檢測源點云與目標(biāo)點云的稀疏關(guān)鍵點來計算兩個點云的對應(yīng)關(guān)系。殘缺點云配準(zhǔn)作為一項計算機視覺中的重要任務(wù),被廣泛應(yīng)用于許多應(yīng)用中,如自動駕駛汽車[1]、醫(yī)學(xué)圖像[2]和3D圖形表示[3]等。
近年來,點云配準(zhǔn)任務(wù)的算法通過使用視覺、圖形和優(yōu)化機制得到了穩(wěn)步改進。ICP(iterative closest point)[4]作為早期算法,由于其簡單性以及計算復(fù)雜度較低等優(yōu)點,成為配準(zhǔn)任務(wù)當(dāng)中最經(jīng)典的方法。然而,ICP可能會陷入局部最優(yōu),且遇到異常值時其配準(zhǔn)能力會顯著下降。為了緩解這些問題,許多算法對ICP進行了優(yōu)化。文獻[5-6]提出將概率的方法應(yīng)用到ICP當(dāng)中,處理配準(zhǔn)當(dāng)中的不確定性。文獻[7-8]提出全局配準(zhǔn)模型,緩解產(chǎn)生的局部最優(yōu)問題。文獻[9]將Levenberg-Marquardt算法應(yīng)用到ICP目標(biāo)中,提高了模型的魯棒性。文獻[10]將DNT(normal distribution transform)與ICP相結(jié)合對點云位姿進行精確的估計。然而,這些方法通常比經(jīng)典的ICP慢幾個數(shù)量級,并且有些方法具有必須逐個調(diào)整的超參數(shù)。因此,這些傳統(tǒng)算法難以達到效率與效益的平衡,實用性不高。
隨著深度學(xué)習(xí)的火熱與快速發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的配準(zhǔn)算法取得了突破性的進步。這些算法顯示,即使在不同的數(shù)據(jù)集上,基于深度學(xué)習(xí)的配準(zhǔn)算法不論是速度還是魯棒性上都優(yōu)于傳統(tǒng)算法。文獻[11]提出了PointNetLK,該模型將PointNet[12]與Lucas & Kanade算法[13]整合到網(wǎng)絡(luò)中來處理完整的點云,提高了點云的置換不變性。但是由于點云存在無序性等問題,對于點云特征的有效提取成為點云配準(zhǔn)當(dāng)中至關(guān)重要的一步。文獻[14]提出DCP(deep closest point)模型,代替PointNet,該模型采用動態(tài)圖卷積網(wǎng)絡(luò)(dynamic graph convolutional neural network,DGCNN)[15]對點云進行特征提取,這種提取方式將動態(tài)邊緣卷積的思想應(yīng)用到點云中,很大程度緩解了輸入點云無序性的問題。此外,使用奇異值分解[16]來獲取轉(zhuǎn)換參數(shù)。值得注意的是,PointNetLK與DCP只適用于處理完整的點云,并不適用于處理殘缺點云。因此,一些網(wǎng)絡(luò)被提出解決此問題。PRNet[17]在DCP的基礎(chǔ)上,通過使用關(guān)鍵點檢測模塊與Gumbel-Softmax[18]處理點云配準(zhǔn)問題。IDAM(iterative distance-aware similarity matrix convolution network)[19]通過融合幾何特征與點對之間的歐幾里德偏移學(xué)習(xí)匹配點,克服了簡單取特征向量內(nèi)積進行匹配的缺點。此外,F(xiàn)MR(feature-metric registration)[20]利用最小化源點云與目標(biāo)點云之間的對齊誤差(如倒角距離)來學(xué)習(xí)轉(zhuǎn)換參數(shù)進行配準(zhǔn)。文獻[21]將修改后的LPDNet與注意力機制整合到一起解決殘缺點云配準(zhǔn)任務(wù)。然而,現(xiàn)存的基于學(xué)習(xí)的方法提取到的特征并不能細(xì)節(jié)地表示點云,而且離群點對于殘缺點云的影響也沒有被考慮到,這些對于提高點云配準(zhǔn)精度是至關(guān)重要的。
為了解決上述問題,本文設(shè)計了一個基于深度學(xué)習(xí)的殘缺點云配準(zhǔn)網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要包含膨脹圖卷積塊、密集連接與離群點過濾模塊三部分。首先,借鑒膨脹卷積的思想,將其應(yīng)用到圖卷積中構(gòu)成膨脹圖卷積塊。該塊通過逐步增加膨脹率,使得網(wǎng)絡(luò)在不降低分辨率的同時逐漸增加對于點云的感受野,增強網(wǎng)絡(luò)學(xué)習(xí)點云幾何表示的能力。其次,對于膨脹圖卷積塊的輸出,使用密集連接形式對這些輸出執(zhí)行跳層連接,融合不同層輸出的特征,進一步增強特征表示能力。將密集連接與膨脹圖卷積構(gòu)成的模塊稱為密集膨脹圖卷積模塊。最后,構(gòu)造了一個基于深度網(wǎng)絡(luò)與標(biāo)準(zhǔn)化相結(jié)合的離群點過濾模塊。該模塊將點對應(yīng)關(guān)系看作一個分類問題,通過對點對進行標(biāo)準(zhǔn)化進而輸出對應(yīng)的權(quán)重來過濾掉不匹配的點對。此外,對于所獲得的權(quán)重,使用它來對配準(zhǔn)模型進行加權(quán)增強模型的魯棒性。
本文將首先描述關(guān)于點云配準(zhǔn)問題的預(yù)備知識,然后再分別介紹密集膨脹圖卷積模塊、關(guān)鍵點檢測模塊、離群點過濾模塊和奇異值分解模塊,最后介紹網(wǎng)絡(luò)所使用的損失函數(shù)。
記源點云為X={xi∈?3|i=1,2,…,N},目標(biāo)點云為Y={yj∈?3|j=1,2,…,M},其中N與M分別代表X與Y的個數(shù),xi與yj分別代表X與Y中第i與第j個點的特征向量,?3代表原始點云的特征維度為3維。點云配準(zhǔn)的任務(wù)就是通過計算兩個點云之間的最優(yōu)轉(zhuǎn)換參數(shù)(旋轉(zhuǎn)矩陣R∈SO(3)與平移向量t∈?3)配準(zhǔn)兩個點云[17]:
其中,ym(xi)是點xi在目標(biāo)點云Y中對應(yīng)的點。
本文提出的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先,對于X與Y,使用密集膨脹圖卷積模塊提取豐富的細(xì)粒度特征。然后,將X與Y的高維特征與原始三維特征分別輸入到關(guān)鍵點檢測模塊[17]中獲得P個關(guān)鍵點。之后,利用所獲得的X與Y各自的P個關(guān)鍵點,使用離群點過濾模塊計算它們之間的對應(yīng)關(guān)系權(quán)重。最后,將權(quán)重輸入到奇異值分解模塊獲得所需要的轉(zhuǎn)換參數(shù)。至此,完成了一次迭代,獲得最優(yōu)轉(zhuǎn)換參數(shù)需要將圖1所示網(wǎng)絡(luò)進行n次迭代。每次迭代轉(zhuǎn)換參數(shù)之間的關(guān)系可以用下列公式表示:
每經(jīng)過一次迭代,源點云就會進行一次位姿轉(zhuǎn)換:
密集膨脹圖卷積模塊如圖2所示,其由4個膨脹圖卷積塊(dilated graph convolution block,DGCB)組成,并使用密集連接(DenseNet,DN)將DGCB得到的特征進行跳層連接。
1.2.1 膨脹圖卷積塊
DGCB如圖3所示。源點云X與目標(biāo)點云Y都要經(jīng)過DGCB模塊進行特征提取,因此以X為例介紹DGCB流程。對于每一個DGCB,首先對輸入點云利用膨脹KNN[22]構(gòu)建圖G={V,E},其中V表示N個頂點的特征集合,記為V={xi∈?din|i=1,2,…,N},din表示輸入維度,每層DGCB的輸入維度分別為3、64、64、64。E={Ei∈?k×din|i=1,2,…,N}表示邊特征集合,其中Ei={eij∈?din|j=1,2,…,k}代表每個點的邊特征集合,k代表選取的近鄰點的個數(shù)。每個點的第k個邊可以表示為:
其中,xik為點xi利用歐氏距離尋找出的第k個近鄰點。與普通KNN不同,如果要使用頂點與k個近鄰點構(gòu)建圖的話,膨脹KNN要先找尋k×r個近鄰點(xi1,xi2,…,xi(k×r)),r為膨脹率。為了逐漸增加感受野,設(shè)置每層r的值分別為1、2、3、4。尋找k×r個近鄰點后,再每隔r個點選取一個構(gòu)圖所需要的點,選取的點可以表示為(xi1,xi(1+r),…,xi(1+(k-1)×r))。
圖4 可視化了膨脹KNN(r=2)與普通KNN的區(qū)別。經(jīng)過膨脹KNN后,點xi的局部鄰域圖特征ji可以用下列公式表示:
其中Conv(·)代表1×1卷積層,maxpool(·)代表最大池化,gi的輸出維度為dout,每層DGCB的dout均為64。
1.2.2 密集連接
為了加強特征的傳遞,更有效地利用特征,使用了密集連接[23]對膨脹圖卷積的輸出進行融合。l表示點xi經(jīng)過DGCB的層數(shù)(本文設(shè)置層數(shù)l為4),第l+1層的輸出可以表示為:
其中,Gl代表經(jīng)過第l層的特征輸出,dl(·)代表第l層
DGCB。
最終,將每層DGCB的輸出進行級聯(lián)操作并且經(jīng)過1×1卷積得到密集膨脹圖卷積模塊的輸出Gzong:
其中,Gzong的維度為N×512。
為了將不同點數(shù)的兩個點云進行配準(zhǔn),關(guān)鍵點檢測模塊被放置在密集膨脹圖卷積模塊后用于點云稀疏表示的獲得,該模塊通過觀察特征的L2規(guī)范表明一個點是否重要。使用XP與YP表示源點云與目標(biāo)點云通過關(guān)鍵點檢測模塊檢測的P個關(guān)鍵點的集合,表示為:
其中,topP(·)表示選擇給定輸入的P個最大元素的索引,Gxzong與Gyzong表示源點云與目標(biāo)點云經(jīng)過密集膨脹圖卷積模塊的輸出,‖·‖2表示L2規(guī)范。
盡管關(guān)鍵點檢測模塊可以提取源點云X與目標(biāo)點云Y中更利于匹配的關(guān)鍵點,但是在關(guān)鍵點集合XP與YP中仍然存在沒有對應(yīng)關(guān)系的點,這些點稱為離群點。為了防止這些離群點對于配準(zhǔn)的影響,本文使用了基于深度神經(jīng)網(wǎng)絡(luò)的離群點過濾模塊,該模塊是對于2D離群點過濾網(wǎng)絡(luò)的擴展。模塊的輸入是假定的對應(yīng)關(guān)系,該對應(yīng)關(guān)系通過對關(guān)鍵點檢測模塊輸出的三維特征進行級聯(lián)操作得到,記為Z={zi∈?6|i=1,2,…,P}。模塊的輸出為輸入點對所對應(yīng)的權(quán)值,記為w。為了增強配準(zhǔn)模型的魯棒性,將其加入式(1)中來獲得封閉形式的解:
其中,wi的取值范圍為0~1,當(dāng)其值為0時,xi與ym(xi)為離群點,值越大點對匹配度越高。式(10)的求解過程將在奇異值分解模塊中詳細(xì)展開。文獻[24]指出,利用適當(dāng)?shù)臉?biāo)準(zhǔn)化可以有效地過濾掉離群點,因此對現(xiàn)存的標(biāo)準(zhǔn)化[24-25]進行了擴展,使其可以應(yīng)用到處理點云配準(zhǔn)任務(wù)當(dāng)中。所提出的離群點過濾模塊如圖5所示,該模塊由兩個殘差塊1與一個殘差塊2構(gòu)成。
模塊將兩個點上下文標(biāo)準(zhǔn)化模塊(point context normalization,PCN)進行串聯(lián),并執(zhí)行跳層連接融合底層特征來構(gòu)成殘差塊1。其中所使用的單例標(biāo)準(zhǔn)化(instance normalization,Instance Norm)[26]被用來編碼全局上下文信息,使用統(tǒng)計數(shù)據(jù)對每個點對進行處理,并嵌入全局信息,可以很大程度上提高性能。批標(biāo)準(zhǔn)化(batch normalization,Batch Norm)[27]被用來加快網(wǎng)絡(luò)的收斂速度。其次,還使用1×1卷積將特征映射的分布標(biāo)準(zhǔn)化到所有的點對中。殘差塊1的輸出zr1i可以表示為:
其中,PCN2(·)表示兩層PCN。
與殘差塊1類似,殘差塊2由兩個注意力上下文標(biāo)準(zhǔn)化(attentive context normalization,ACN)與一個跳層連接構(gòu)成。對于殘差塊1的輸出zr1i,分別利用局部與全局兩種注意力機制獲取clocali與cglobali:
可以觀察到,式(12)中的局部注意力機制獨立的作用于zr1i,而式(13)中的全局注意力機制將zr1i與其他點云對進行了集合。此外,為了同時考慮到多種注意力,將兩種權(quán)重進行簡單的結(jié)合得到點云對自身的自權(quán)重czongi:
對于所獲得的czongi,使用μc(zr1i)和σc(zr1i)表示zr1i的加權(quán)平均值和標(biāo)準(zhǔn)差,注意力標(biāo)準(zhǔn)化(Attentive Norm)可用以下公式表示:
使用ACN2(·)表示兩層ACN,則殘差塊2的輸出zr2i可以表示為:
對于輸入點云對,對應(yīng)的權(quán)值w可以通過以下公式得到:
其中,tanh(·)表示雙曲正切激活函數(shù),ReLU(·)表示整流線性單元激活函數(shù)。
為了獲得最優(yōu)的旋轉(zhuǎn)參數(shù)與平移參數(shù),本文選擇使用奇異值分解模塊。奇異值分解模塊的輸入為關(guān)鍵點檢測模塊的輸出XP、YP與離群點過濾模塊的輸出w。首先,使用Gumbel-Softmax獲得點云YP中xi的對應(yīng)點ym(xi)。利用w,可以通過下列公式計算xi和ym(xi)的加權(quán)中心:
加權(quán)協(xié)方差矩陣S為:
其中,W=diag(w1,w2,…,wP)。在經(jīng)過奇異值分解后:
可以得出轉(zhuǎn)換參數(shù)R與t,表示為:
本文的損失函數(shù)共包含兩部分:周期一致性損失Lcn與全局特征對齊損失Lng。
使用Rnxy、txn y表示從點云X到點云Y的轉(zhuǎn)換參數(shù),Rnyx、tyn x表示從點云Y到點云X的轉(zhuǎn)換參數(shù),則Lnc表示為:
其中,Ψxn、Ψyn是對Gxzong與Gyzong進行平均池化得到。由此,最終的損失函數(shù)可以表示為:
在訓(xùn)練期間,將源點云與目標(biāo)點云輸入到所提出的配準(zhǔn)網(wǎng)絡(luò)n次,即進行n次迭代。
本文選用三個數(shù)據(jù)集評估本文所提出的DORNet(dilated graph convolution and outlier filtering for partial registration network)模型的性能,這三個數(shù)據(jù)集為ModelNet40[28]、ShapeNetCore[29]與Real Data[30]。首先,采樣含有1 024個點的源點云X。之后,沿著每個軸,使源點云隨機進行剛性變換生成目標(biāo)點云Y,每個軸的旋轉(zhuǎn)范圍為[0,45],平移范圍為[-0.5,0.5]。之后,通過在X與Y中隨機選取一個點并獲取其最近點的768個點來模擬殘缺點云。
本文將DORNet與ICP、Go-ICP、FGR(fast global registration)、PointNetLK、DCP、PRNet、FMR、IDAM與LPD-Pose-Iter進行了比較。實驗所使用的配置如表1所示。
表1 實驗配置Table 1 Experimental configuration
對于ModelNet40數(shù)據(jù)集與ShapeNetCore數(shù)據(jù)集,本文設(shè)置初始學(xué)習(xí)率與epoch分別為0.001和100。在epoch分別為30、60、80時,學(xué)習(xí)率除以10。對于Real Data數(shù)據(jù)集,由于模型較少,將學(xué)習(xí)率與epoch分別設(shè)置為0.000 1和50,學(xué)習(xí)率在epoch為30時除以10。在訓(xùn)練過程中取迭代次數(shù)n為3,即X和Y都會迭代地通過DORNet傳遞3次(X的位姿會更新3次,更新所需要的轉(zhuǎn)換參數(shù)見式(3))。
為了便于比較性能,本文計算了旋轉(zhuǎn)參數(shù)R和平移參數(shù)t的真實值和估計值之間的均方誤差(mean square error,MSE)、均方根誤差(root mean square error,RMSE)、平均絕對誤差(mean absolute error,MAE)和擬合系數(shù)(coefficient of determination,R2)。對于擬合系數(shù)來說,數(shù)值越接近于1,模型擬合度越好。除了擬合系數(shù),其余指標(biāo)數(shù)值越低,代表模型配準(zhǔn)效果越好。
2.2.1針對ModelNet40數(shù)據(jù)集的配準(zhǔn)實驗
ModelNet40數(shù)據(jù)集包含40個類別,共計12 311個計算機輔助設(shè)計(computer aided design,CAD)模型。為了驗證DORNet的有效性、廣泛性以及魯棒性,在ModelNet40數(shù)據(jù)集上分別進行三種不同的實驗:模型類別已知的配準(zhǔn)實驗、模型類別未知的配準(zhǔn)實驗和添加高斯噪聲的配準(zhǔn)實驗。
2.2.1.1 模型類別已知的配準(zhǔn)實驗
模型類別已知是指訓(xùn)練使用的模型類別與測試使用的模型類別一致。在實驗中,將ModelNet40數(shù)據(jù)集中9 843個模型用于訓(xùn)練,剩下的2 468個模型用作測試。實驗結(jié)果如表2所示。指標(biāo)后加R代表使用旋轉(zhuǎn)參數(shù)的估計精度,指標(biāo)后加t代表使用平移參數(shù)的估計精度?!碛嬎闼脭?shù)值越低效果最佳,反之使用↑。為了便于觀察模型的性能,將最佳結(jié)果使用加粗的形式來突出顯示??梢钥闯觯疚牡木W(wǎng)絡(luò)無論是在旋轉(zhuǎn)參數(shù)R還是平移參數(shù)t上的誤差明顯低于其他模型。圖6顯示了經(jīng)過DORNet配準(zhǔn)的殘缺點云示例,紅色點為源點云,藍(lán)色點為目標(biāo)點云。第一行與第二行分別為配準(zhǔn)前與經(jīng)過DORNet配準(zhǔn)后的結(jié)果。可以清楚地看出,經(jīng)過DORNet配準(zhǔn)后的點云,多數(shù)點都可以正確匹配。
2.2.1.2 模型類別未知的配準(zhǔn)實驗
模型類別未知是指訓(xùn)練使用的模型類別與測試使用的模型類別不一致。本文將ModelNet40數(shù)據(jù)劃分為兩部分,取其中的20個類別作為訓(xùn)練,其余的20個類別作為測試。表3列出了DORNet與其他模型比較的結(jié)果。從表3中可以看出,由于訓(xùn)練使用的模型與測試使用的模型屬于不同類別,與模型類型已知的結(jié)果相比,模型配準(zhǔn)性能有所下降。但所提出的算法的精度仍為最優(yōu)異的,這驗證了所提出模型的泛化性。
表2類別已知的殘缺點云配準(zhǔn)實驗結(jié)果Table 2 Experimental results of partial point cloud registration with known categories
表3類別未知的殘缺點云配準(zhǔn)實驗結(jié)果Table 3 Experimental results of partial point cloud registration with unknown categories
2.2.1.3 添加高斯噪聲的配準(zhǔn)實驗
在真實場景中,由于掃描設(shè)備的誤差,對所獲得模型有一定的影響。使用添加高斯噪聲的實驗來模擬這一情況,所添加的高斯噪聲的均值為0,方差為0.01,縮放范圍為[-0.05,0.05]。模型添加高斯噪聲前后的對比如圖7所示。左邊為添加高斯噪聲前的可視化結(jié)果,右邊為添加高斯噪聲后的可視化結(jié)果。實驗結(jié)果如表4所示,可以明顯地看出,各項性能指標(biāo)相比表2,所有模型的性能相較于沒有添加高斯噪聲的實驗性能有所下降,但是本文模型的實驗誤差仍然低于其他模型。這是由于所使用的離群點過濾模塊給予不匹配的點對低權(quán)重,降低它們在配準(zhǔn)過程中的重要性,這使得DORNet在面對添加高斯噪聲的影響時更具有魯棒性。
2.2.2 針對ShapeNetCore數(shù)據(jù)集的配準(zhǔn)實驗
為了進一步驗證模型的配準(zhǔn)能力,本文選擇了數(shù)據(jù)量大于ModelNet40的數(shù)據(jù)集ShapeNetCore來進行實驗。該數(shù)據(jù)集包含來自55個類別的51 127個預(yù)對齊模型。本文使用35 708個模型用于訓(xùn)練,15 419個模型用于測試,將DORNet與在ModelNet40數(shù)據(jù)集上相較于其他模型表現(xiàn)較好的PRNet、IDAM與LPD-Pose-Iter進行比對。表5顯示了配準(zhǔn)結(jié)果,可以明顯地看到,DORNet在每個指標(biāo)上的結(jié)果都優(yōu)于其他三種算法。
表5 ShapeNetCore數(shù)據(jù)集的殘缺點云配準(zhǔn)結(jié)果Table 5 Experimental results of partial point cloud registration on ShapeNetCore dataset
2.2.3 針對Real Data數(shù)據(jù)集的配準(zhǔn)實驗
本文還利用Real Data數(shù)據(jù)集中的Stanford Bunny(斯坦福兔子)對模型進行了測試,該數(shù)據(jù)中僅包含由傳感器掃描得到的10個真實點云數(shù)據(jù)。與ModelNet40數(shù)據(jù)集與ShapeNetCore數(shù)據(jù)集中的點云數(shù)據(jù)相比,該數(shù)據(jù)集中的點云分布并不均勻,因此在Stanford Bunny上的配準(zhǔn)實驗更具有挑戰(zhàn)性。圖8顯示了配準(zhǔn)結(jié)果。左邊為配準(zhǔn)前的點云,右邊為配準(zhǔn)后的點云。此外,值得一提的是,本文并未在Stanford Bunny上進行訓(xùn)練,而是使用在ModelNet40數(shù)據(jù)集模型類別已知配準(zhǔn)實驗中所獲得的模型直接進行測試,這進一步說明了DORNet的泛化能力。
為了驗證模型每個模塊的有效性,在ModelNet40模型類別未知的數(shù)據(jù)集上進行了有關(guān)殘缺點云配準(zhǔn)的消融實驗。本文模型包含三個重要組成部分:膨脹圖卷積塊(DGCB)、密集連接(DN)與離群點過濾模塊(OFM)。將消融實驗分為以下幾個部分:
表4帶有高斯噪聲的殘缺點云配準(zhǔn)實驗結(jié)果Table 4 Experimental results of partial point cloud registration with Gaussian noise
(1)DORNet:網(wǎng)絡(luò)包含上述三個組成部分,即所提出的完整網(wǎng)絡(luò)。
(2)DORNet w/o DN:在密集膨脹圖卷積中,不使用密集連接網(wǎng)絡(luò)來處理DGCB的輸出。使用完整的離群點過濾模塊過濾離群點。
(3)DORNet w/o DN&DGCB:在密集膨脹圖卷積模塊中,使用簡單的KNN生成圖特征,且不使用密集連接。使用完整的離群點過濾模塊過濾離群點。
(4)DORNet w/o DN&DGCB&R1:在密集膨脹圖卷積模塊中,使用簡單的KNN生成圖特征,且不使用密集連接。在離群點過濾模塊中,去除殘差塊1(R1),即僅使用殘差塊2(R2)過濾離群點。
(5)DORNet w/o DN&DGCB&R2:在密集膨脹圖卷積模塊中,使用簡單的KNN生成圖特征,且不使用密集連接。在離群點過濾模塊中,去除殘差塊2(R2),即僅使用殘差塊1(R1)過濾離群點。
(6)DORNet w/o D&DGCB&OFM:在密集膨脹圖卷積模塊中,使用簡單的KNN來生成圖特征,且不使用密集連接。不使用離群點過濾模塊過濾離群點。
表6顯示了消融實驗的結(jié)果。除了在對比實驗中所用的4個指標(biāo),本文增加了一個衡量網(wǎng)絡(luò)效率的指標(biāo)Time??梢钥闯觯S著模塊的減少實驗精度不斷下降,說明每個模塊都可以提高模型的配準(zhǔn)性能。此外,在DORNet w/o DN&DGCB中,即不使用密集膨脹圖卷積模塊時,與完整的DORNet相比,網(wǎng)絡(luò)的配準(zhǔn)性能會大幅度下降。以旋轉(zhuǎn)參數(shù)相關(guān)指標(biāo)舉例,DORNet與DORNet w/o DN&DGCB相比,MSE、RMSE與MAE的誤差分別減小了230%、80%與90%,而速度僅下降了10%。這說明所使用的密集膨脹圖卷積模塊對于網(wǎng)絡(luò)是具有正向意義的。此外,DORNet w/o DN的實驗結(jié)果也表明對膨脹圖卷積的輸出進行密集連接,在一定程度上提高了網(wǎng)絡(luò)配準(zhǔn)殘缺點云的精度。最后,為了驗證離群點過濾模塊的合理性與有效性,提供了DORNet w/o DN&DGCB&R1、DORNet w/o DN&DGCB&R2與DORNet w/o DN&DGCB&OFM的實驗結(jié)果??梢钥闯觯サ魵埐顗K1或者殘差塊2的離群點模塊,相比DORNet w/o DN&DGCB(使用完整的離群點過濾模塊)配準(zhǔn)誤差均有所上升,且誤差均低于DORNet w/o DN&DGCB&OFM(不使用離群點過濾模塊),這驗證了所提出離群點過濾模塊的合理性。其次,也提供了離群點過濾模塊過濾離群點的可視化結(jié)果,如圖9所示,綠色線連接的點對為過濾的離群點。從圖中可以看出,相比于去掉離群點過濾模塊中的殘差塊1(DFM w/o R1)與去掉離群點過濾模塊中的殘差塊2(OFM w/o R2),完整的離群點過濾模塊可以過濾掉更多的離群點,這進一步說明了離群點過濾模塊的有效性。
表6 類別未知的殘缺點云配準(zhǔn)消融實驗結(jié)果Table 6 Ablation experimental results of partial point cloud registration with unknown categories
針對殘缺點云配準(zhǔn),本文提出了DORNet網(wǎng)絡(luò)。一方面,利用密集連接與膨脹圖卷積塊構(gòu)成的密集膨脹圖卷積模塊有效地提取點云的細(xì)粒度特征。另一方面,利用基于深度網(wǎng)絡(luò)與標(biāo)準(zhǔn)化相結(jié)合的離群點過濾模塊,根據(jù)輸出點對不同的對應(yīng)權(quán)重過濾掉不匹配的點對。最后,將點對權(quán)重加入奇異值分解模塊獲得配準(zhǔn)殘缺點云所需要的轉(zhuǎn)換參數(shù)。在ModelNet40、ShapeNetCore以及Real Data數(shù)據(jù)集上進行配準(zhǔn)實驗,結(jié)果表明了所提出的網(wǎng)絡(luò)不僅具有良好的魯棒性,也具有一定的泛化能力。