張文麗，程 蘭，任密蜂，續(xù)欣瑩，閻高偉，張 喆

（太原理工大學(xué) 電氣與動力工程學(xué)院，太原 030024）

0 概述

點(diǎn)云配準(zhǔn)問題是估計最佳剛性變換矩陣的問題，旨在將兩個具有重疊部分的3D 點(diǎn)云對齊到同一坐標(biāo)系。點(diǎn)云配準(zhǔn)任務(wù)是三維重建［1］、自動駕駛［2］以及同時定位與建圖（Simultaneous Localization and Mapping，SLAM）［3］中的重要環(huán)節(jié)，然而在真實(shí)場景中使用點(diǎn)云配準(zhǔn)也存在一定的挑戰(zhàn)，主要因?yàn)椴煌瑘龃螔呙璧狞c(diǎn)云之間存在密度變化、有噪聲、有遮擋的問題，并且點(diǎn)云數(shù)據(jù)是無序、不規(guī)則和稀疏的，所以在真實(shí)數(shù)據(jù)中提高算法配準(zhǔn)精度和魯棒性是非常必要的。

根據(jù)數(shù)據(jù)轉(zhuǎn)換方式的不同，在點(diǎn)云上進(jìn)行學(xué)習(xí)可以分為基于體素、多視圖和原始點(diǎn)云的點(diǎn)云配準(zhǔn)方法。由于基于體素［4］和多視圖［5-7］的點(diǎn)云配準(zhǔn)方法在轉(zhuǎn)換過程中會造成信息丟失，并消耗大量內(nèi)存和計算資源，因此目前基于原始點(diǎn)云的點(diǎn)云配準(zhǔn)方法成為了在點(diǎn)云上進(jìn)行學(xué)習(xí)的主流方法。文獻(xiàn)［8］提出PointNet，直接在原始點(diǎn)云上提取特征，解決了輸入點(diǎn)云的無序性、置換不變性以及旋轉(zhuǎn)不變性問題。之后，研究者將直接對點(diǎn)云進(jìn)行處理的點(diǎn)云配準(zhǔn)方法推廣到基于學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法中，分為端到端方法和基于特征描述的方法［9］。

端到端的點(diǎn)云配準(zhǔn)方法是將一對點(diǎn)云輸入神經(jīng)網(wǎng)絡(luò)，直接輸出兩個點(diǎn)云之間的變換矩陣。文獻(xiàn)［10］提出PointNetLK，一對點(diǎn)云分別利用去除T-Net 的PointNet 獲得每個點(diǎn)的特征，然后通過可微的LK［11］算法優(yōu)化特征之間的差異并估計變換矩陣。文獻(xiàn)［12］提出一種深度最近點(diǎn)（Deep Closest Point，DCP）模型，首先使用動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（Dynamic Graph CNN，DGCNN）［13］對點(diǎn)云進(jìn)行特征提取，接著加入Transformer 模塊考慮兩個點(diǎn)云之間的上下文信息，最后使用奇異值分解（Singular Value Decomposition，SVD）計算旋轉(zhuǎn)和平移矩陣。文獻(xiàn)［14］在DCP 的基礎(chǔ)上提出了PRNet，不同的是PRNet 沒有考慮所有輸入點(diǎn)的對應(yīng)關(guān)系，而是預(yù)測了關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的對應(yīng)關(guān)系，解決了部分到部分的點(diǎn)云配準(zhǔn)問題。盡管PRNet 的精度優(yōu)于PointNetLK 和DCP，但仍僅適用于合成數(shù)據(jù)集，在真實(shí)數(shù)據(jù)上效果不佳。

基于特征描述的方法融合了深度學(xué)習(xí)提取特征和傳統(tǒng)點(diǎn)云配準(zhǔn)方法的思想，首先通過深度網(wǎng)絡(luò)建立關(guān)鍵點(diǎn)之間的對應(yīng)關(guān)系，然后使用隨機(jī)采樣一致性（RANdom SAmpling Consistency，RANSAC）算法［15］進(jìn)行離群值過濾估計剛性變換矩陣，主要側(cè)重于關(guān)鍵點(diǎn)描述。文獻(xiàn)［16］以PointNet 為基本框架，建立對采樣點(diǎn)的局部鄰域計算點(diǎn)對特征的網(wǎng)絡(luò)結(jié)構(gòu)（PPFNet），PPFNet 采集了局部和全局特征，但依然對噪聲和旋轉(zhuǎn)操作敏感。文獻(xiàn)［17］使用完全卷積網(wǎng)絡(luò)［18］提取全局描述符，雖然處理速度很快，但全局描述符對遮擋和背景干擾不具備魯棒性。文獻(xiàn)［19］提出一種局部深度描述符模型（DIP），采用基于局部塊的特征提取方式，首先對每個局部塊建立局部參考坐標(biāo)系（Local Reference Frame，LRF）［20］用于規(guī)范化每個點(diǎn)，使其具有旋轉(zhuǎn)不變性，然后將規(guī)范化后的局部塊作為基于PointNet 網(wǎng)絡(luò)的輸入，生成局部描述符。DIP［19］在真實(shí)數(shù)據(jù)集上匹配精度優(yōu)于文獻(xiàn)［20-21］模型，但采用PointNet 作為特征提取網(wǎng)絡(luò)，沒有考慮點(diǎn)云中局部鄰域的空間信息。自適應(yīng)圖卷積（Adaptive Graph Convolution，AGConv）［22］網(wǎng)絡(luò)不僅使用圖卷積［13］充分考慮了全局形狀信息和局部鄰域信息，而且使用自適應(yīng)核提高了卷積靈活性，并能獲得不同語義部分點(diǎn)間的不同關(guān)系。

本文設(shè)計一種基于AGConv 特征描述符的點(diǎn)云配準(zhǔn)模型。通過預(yù)處理模塊對點(diǎn)云提取局部塊并進(jìn)行LRF 規(guī)范化，將其輸入基于AGConv 的特征提取模塊，利用匹配損失函數(shù)優(yōu)化對應(yīng)關(guān)系，并使用RANSAC 算法過濾離群點(diǎn)并估計變換矩陣。

1 基于AGConv 局部特征描述符的點(diǎn)云配準(zhǔn)

本文提出的基于AGConv 局部特征描述符的點(diǎn)云配準(zhǔn)模型主要由基于局部塊的數(shù)據(jù)預(yù)處理模塊、基于AGConv 的特征提取模塊、基于RANSAC 剛性變換估計的點(diǎn)云配準(zhǔn)模塊等3 個模塊構(gòu)成，如圖1 所示。首先給定兩個具有重疊區(qū)域的點(diǎn)云，通過數(shù)據(jù)預(yù)處理模塊從兩個輸入點(diǎn)云的重疊區(qū)域中分別提取局部塊作為訓(xùn)練數(shù)據(jù)；然后設(shè)計一個基于AGConv的特征提取模塊，將輸入數(shù)據(jù)映射到一個新的特征空間，通過計算損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)以獲得對應(yīng)局部塊的特征描述；最后在得到對應(yīng)點(diǎn)的特征描述符后選擇常用的RANSAC 算法去除誤匹配并估計剛性變換矩陣，最終實(shí)現(xiàn)成對點(diǎn)云配準(zhǔn)。

1.1 數(shù)據(jù)預(yù)處理模塊

一般通過掃描設(shè)備得到的點(diǎn)云包含大量的點(diǎn)，并且比較密集。如果把點(diǎn)云中的所有點(diǎn)都作為輸入，那么會消耗非常大的計算資源，因此通常會通過預(yù)處理對原始點(diǎn)云數(shù)據(jù)進(jìn)行關(guān)鍵點(diǎn)采樣處理。另外，在點(diǎn)云配準(zhǔn)過程中，對應(yīng)點(diǎn)僅存在于兩個點(diǎn)云的重疊區(qū)域，在重疊區(qū)域進(jìn)行特征匹配能夠有效提高配準(zhǔn)精度。

如圖2 所示（彩色效果見《計算機(jī)工程》官網(wǎng)HTML 版），數(shù)據(jù)預(yù)處理模塊沿用了DIP［19］中基于局部塊的思想，從一對重疊區(qū)域大于30%的點(diǎn)云對(P,P')中提取局部塊。在網(wǎng)絡(luò)訓(xùn)練過程中，通過真實(shí)的變換矩陣T?SE(3)找到點(diǎn)云對之間的對應(yīng)點(diǎn)集(O,O')，如果對所有對應(yīng)點(diǎn)求描述符則會增加不必要的計算量，因此采用最遠(yuǎn)點(diǎn)采樣法（Farthest Point Sampling，F(xiàn)PS）［23］提取N=256 個關(guān)鍵點(diǎn)以確保采樣的點(diǎn)均勻分布在重疊區(qū)域。給定點(diǎn)云P中關(guān)鍵點(diǎn)的集合為X?O及其在點(diǎn)云P'中的最近點(diǎn)X'?O'。以點(diǎn)云P為例，首先對于每個關(guān)鍵點(diǎn)xi?X，提取半徑為的局部 塊，并使用局部塊內(nèi)的點(diǎn)計算相應(yīng)的LRF［20］，記為L。與DIP 類似，為了減少計算量對局部塊內(nèi)的點(diǎn)進(jìn)行隨機(jī)采樣n=256 個點(diǎn)以構(gòu)成關(guān)鍵點(diǎn)的局部鄰域。然后重新計算n個點(diǎn)中每個點(diǎn)相對于其局部塊中心xi的坐標(biāo)并進(jìn)行歸一化，歸一化后局部塊中點(diǎn)的集合為最后為了加強(qiáng)描述符的旋轉(zhuǎn)不變性，應(yīng)用計算的L對F(Y)進(jìn)行旋轉(zhuǎn)變換操作，最終點(diǎn)云P的局部塊可以表示為F=L?F(Y)。以同樣的操作得到點(diǎn)云P'的局部塊F'，將數(shù)據(jù)預(yù)處理模塊得到的局部塊F和F'分別作為特征提取模塊的輸入，對關(guān)鍵點(diǎn)的局部鄰域特征進(jìn)行編碼，從而對遮擋和環(huán)境干擾具有較強(qiáng)的魯棒性。因此，基于局部特征的點(diǎn)云配準(zhǔn)模型在真實(shí)數(shù)據(jù)集上更有效穩(wěn)健。

圖2 數(shù)據(jù)預(yù)處理模塊結(jié)構(gòu)Fig.2 Structure of data preprocessing module

1.2 特征提取模塊

1.2.1 特征提取網(wǎng)絡(luò)

基于PointNet 的特征提取網(wǎng)絡(luò)在一些分類和分割任務(wù)中具有較優(yōu)的性能，但是PointNet 只是對所有點(diǎn)云數(shù)據(jù)提取了全局特征，缺少局部信息，因此適用于處理復(fù)雜點(diǎn)云。為了解決該問題，使用AGConv 對局部塊提取逐點(diǎn)特征。與標(biāo)準(zhǔn)的圖卷積不同，AGConv 在卷積操作中根據(jù)每一層學(xué)習(xí)的特征為點(diǎn)生成自適應(yīng)核，而不是使用固定的卷積核，能夠有效地提取不同語義部分的點(diǎn)之間的不同關(guān)系。特征提取模塊結(jié)構(gòu)如圖3 所示。

圖3 特征提取模塊結(jié)構(gòu)Fig.3 Structure of feature extraction module

對于每個輸入點(diǎn)云可以表示為(N,n,3)的形式，其中，N為局部塊的個數(shù)，n為局部塊內(nèi)采樣點(diǎn)的個數(shù)，3 表示每個點(diǎn)為三維坐標(biāo)形式。為了彌補(bǔ)LRF 錯誤估計的問題，輸入(N,n,3)的點(diǎn)云局部塊，經(jīng)過可學(xué)習(xí)的轉(zhuǎn)換網(wǎng)絡(luò)Spatial T-Net 實(shí)現(xiàn)點(diǎn)云的自動對齊，Spatial T-Net 使用了KNN 圖結(jié)構(gòu)［13］以及PointNet 中的T-Net 估計變換矩陣。首先，將對齊后的局部塊輸入到4 層AGConv 層（64，64，128，256）進(jìn)行多級特征提取，并將每一級的輸出特征進(jìn)行連接以聚合多尺度的特征。然后，將聚合后的特征信息通過多層感知器（Multi-Layer Perceptron，MLP）以及最大池化操作輸出每個局部塊的1 024 維表示。最后，由3 層MLP 層（512，256，32）處理，其中最后一層的32 維輸出由一個局部響應(yīng)歸一化層（Local Response Normalization，LRN）進(jìn)行歸一化。

1.2.2 損失函數(shù)

孿生網(wǎng)絡(luò)結(jié)構(gòu)由兩個相同且權(quán)值共享的網(wǎng)絡(luò)組成，用于衡量兩個輸入的相似性。配準(zhǔn)問題的輸入是兩個具有相似數(shù)據(jù)結(jié)構(gòu)的點(diǎn)云集合，因此在圖1中使用孿生網(wǎng)絡(luò)訓(xùn)練用于提取局部塊描述符的特征提取網(wǎng)絡(luò)，訓(xùn)練的目的是使重疊點(diǎn)云對中的兩個對應(yīng)局部塊之間產(chǎn)生盡可能相似的描述符，即使匹配局部塊的描述符間的距離盡可能小，不匹配局部塊描述符的距離盡可能大。在網(wǎng)絡(luò)訓(xùn)練過程中，針對兩個不同的目標(biāo)通過最小化兩個損失的線性組合來學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。因?yàn)樵趯W(xué)習(xí)的仿射變換下需要幾何對齊兩個局部塊，而Chamfer Loss［24］具有使兩個點(diǎn)云在幾何空間上相似的特性可以有效解決仿射變換下幾何對齊的問題。又因?yàn)閮蓚€對應(yīng)局部塊在特征空間也應(yīng)盡可能相似，而Hardest-contrastive Loss［17］能同時 對相似性和不相似性進(jìn)行計算使輸入數(shù)據(jù)在特征空間找到兩個對應(yīng)點(diǎn)。

1）Chamfer Loss

倒角距離（Chamfer Distance，CD）是用來計算離最近特征點(diǎn)的平均距離。對于點(diǎn)云中的每個點(diǎn)，CD都會找到另一個點(diǎn)集中的最近點(diǎn)。因此，在點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)中為了使匹配點(diǎn)間的距離最小，一般會將該距離用作訓(xùn)練該網(wǎng)絡(luò)的損失函數(shù)。首先在變換矩陣A上使用Chamfer Loss［24］以幾何對齊兩個局部塊，訓(xùn)練網(wǎng)絡(luò)的目的是最小化局部塊F中每個點(diǎn)與局部塊F'中其最近鄰點(diǎn)之間的距離，距離越小說明對齊效果越好。Chamfer Loss的計算公式可表示如下：

其中：|.|是集合中點(diǎn)的個數(shù)；A和A'分別為局部塊F和F'通過Spatial T-Net 學(xué)習(xí)到的變換矩陣。

2）Hardest-contrastive Loss

Hardest-contrastive Loss 可以有效衡量孿生神經(jīng)網(wǎng)絡(luò)中兩個輸入數(shù)據(jù)的相似性，而點(diǎn)云配準(zhǔn)問題中訓(xùn)練特征提取網(wǎng)絡(luò)就是為了找到兩個特征相似的對應(yīng)點(diǎn)。因此，使用一種結(jié)合負(fù)樣本挖掘技術(shù)的度量學(xué)習(xí)損失函數(shù)Hardest-contrastive Loss［17］來度量兩個局部塊之間的相似性。給定一對錨點(diǎn)的描述符(f,f')，挖掘最難負(fù)例(f-,f-')，損失函數(shù)可以定義如下：

其中：C+是錨點(diǎn)對的集合，即正樣本集；C-是局部塊中描述符的集合，用于負(fù)例挖掘；fk是距離錨點(diǎn)最近的點(diǎn)；[ ?]+表示取正數(shù)部分；mp和mn分別是正樣本對和負(fù)樣本對的邊界，正樣本對的距離應(yīng)該小于mp，負(fù)樣本對的距離應(yīng)該大于mn，按照一般規(guī)定［17］，設(shè)置mp=0.1、mn=1.4。

該特征提取網(wǎng)絡(luò)總的損失函數(shù)為LC和LH的線性組合L，訓(xùn)練的目標(biāo)是最小化L。

2 實(shí)驗(yàn)結(jié)果與分析

所有實(shí)驗(yàn)選用的設(shè)備配置信息為：GPU GTX 3090，CUDA 11.4，Ubuntu 18.04，PyTorch 1.10.1，Python 3.7。訓(xùn)練模型使用SGD 優(yōu)化器訓(xùn)練10 個epoch，每個epoch 迭代16 602 次，每次迭代都是一對點(diǎn)云。初始學(xué)習(xí)率設(shè)為0.01，學(xué)習(xí)率每學(xué)習(xí)3次降低10%。

2.1 實(shí)驗(yàn)數(shù)據(jù)集及參數(shù)設(shè)置

在大規(guī)模公開數(shù)據(jù)集3DMatch［4］上進(jìn)行實(shí)驗(yàn)。3DMatch 數(shù)據(jù)集包含62 個使用RGB-D 傳感器采集的真實(shí)室內(nèi)場景，按照官方劃分的比例將54 個場景用于訓(xùn)練，8 個場景用于測試。實(shí)驗(yàn)選取3DMatch 數(shù)據(jù)集中重疊率大于30%的點(diǎn)云對訓(xùn)練深度網(wǎng)絡(luò)，使用0.01 m 的體素大小對點(diǎn)云進(jìn)行下采樣。為了測試模型是否具有旋轉(zhuǎn)不變性，對3DMatch 數(shù)據(jù)集中的每個點(diǎn)云通過[0,2π]任意角度旋轉(zhuǎn)，組成3DMatch Rotated 數(shù)據(jù)集。

2.2 評價指標(biāo)

使用特征匹配召回率（Feature Matching Recall，F(xiàn)MR）衡量特征的描述能力，測量了數(shù)據(jù)集中正確匹配的點(diǎn)云數(shù)量。FMR 計算公式可表示如下：

其中：|M|表示重疊率大于30%的匹配點(diǎn)云對的數(shù)量是通過 最近鄰 搜索找 到的一 對預(yù)測對應(yīng)點(diǎn)；Ωs是第s個匹配點(diǎn)云對中找到的對應(yīng)點(diǎn)的集合；Ts是當(dāng)前匹配點(diǎn)云對的真實(shí)變換矩陣；Ind(?)是指示函數(shù)；按照一般規(guī)定設(shè)置內(nèi)點(diǎn)距離閾值τ1=0.1 m，內(nèi)點(diǎn)比率閾值τ2=0.05。

配準(zhǔn)召回率（Registration Recall，RR）是衡量點(diǎn)云配準(zhǔn)實(shí)際任務(wù)性能的主要指標(biāo)，評估了使用RANSAC 估計后的變換矩陣的質(zhì)量，即一組具有真實(shí)變換矩陣的點(diǎn)云對，測量配準(zhǔn)模型可以正確匹配的點(diǎn)云對的占比。RR 計算公式可表示如下：

2.3 對比實(shí)驗(yàn)

表1 為所提模型在3DMatch 和3DMatch Rotated數(shù)據(jù)集中采樣5 000 個點(diǎn)，與基于傳統(tǒng)手工特征描述符的FPFH［25］模型以及近幾年代表性的基于學(xué)習(xí)描述符 的3DMatch［4］、PPFNet［16］、PPF-FoldNet［26］、PerfectMatch［20］、FCGF［17］、DIP［19］、D3Feat［21］模型進(jìn) 行FMR 對比分析。由表1 可以看出，所提模型不僅在3DMatch數(shù)據(jù)集上相較于其他模型具有較高的特征匹配召回率，并且在3DMatch Rotated 數(shù)據(jù)集上依然表現(xiàn)出很好的旋轉(zhuǎn)不變性。

表1 不同模型的特征匹配召回率對比Table 1 Comparison of feature matching recall of different models %

通過改變式（4）中的τ1和τ2驗(yàn)證所提模型的魯棒性，所提模型與對比模型的魯棒性對比結(jié)果如圖4 所示（彩色效果見《計算機(jī)工程》官網(wǎng)HTML 版）。由圖4 可以看出：當(dāng)增大τ1到相同數(shù)值時，所提模型相較于其他模型的FMR 上升趨勢更快；當(dāng)增大τ2時，所提模型的FMR 下降速度最慢。特別是在τ2=0.200 時，所提模型和DIP 差距最明顯，這表明采用AGConv 提取的穩(wěn)健特征進(jìn)一步提高了模型魯棒性。

圖4 不同模型的魯棒性對比Fig.4 Robustness comparison of different models

表2 展示了不同模型在3DMatch 數(shù)據(jù)集的8 個測試場景中的配準(zhǔn)召回率對比結(jié)果。由表2 可以看出，所提模型在8 個場景中均具有較優(yōu)的結(jié)果，其中在Home1 場景中的配準(zhǔn)召回率略低于FCGF，可能的原因?yàn)樵搱鼍爸械狞c(diǎn)云重疊率較低。值得注意的是Lab 場景是由多個平面組成的場景，缺乏結(jié)構(gòu)化信息，所提模型在該場景中依然能得到88%的配準(zhǔn)召回率，這表明所提模型能夠提取出更獨(dú)特的特征。

表2 不同模型的配準(zhǔn)召回率對比Table 2 Comparison of registration recall of different models %

為了進(jìn)一步證明所提模型的優(yōu)越性，將采樣點(diǎn)的數(shù)量從5 000 減少到2 500、1 000、500 甚至250 來評估不同模型的配準(zhǔn)召回率，如表3 所示。由表3可以看出，當(dāng)采樣點(diǎn)從5 000 下降到250 時，即使采樣點(diǎn)數(shù)只有250，所提模型依然能夠保持在80%以上的配準(zhǔn)召回率，而其他模型均以一定的幅度下降。

表3 不同模型在不同采樣點(diǎn)數(shù)下的配準(zhǔn)召回率對比Table 3 Comparison of registration recall of different models under different sampling points %

圖5 為所提模型配準(zhǔn)結(jié)果的可視化展示（彩色效果見《計算機(jī)工程》官網(wǎng)HTML 版）。由圖5 可以看出，所提模型能夠精確地將源點(diǎn)云和目標(biāo)點(diǎn)云對齊。可見，采用AGConv 作為特征提取器在不同的評估度量下都能保持較優(yōu)的結(jié)果。

圖5 配準(zhǔn)結(jié)果可視化Fig.5 Visualization of registration results

3 結(jié)束語

本文提出基于AGConv 局部特征描述符的點(diǎn)云配準(zhǔn)模型。對輸入數(shù)據(jù)進(jìn)行局部塊規(guī)范化，使用基于AGConv 的深度網(wǎng)絡(luò)學(xué)習(xí)旋轉(zhuǎn)不變、魯棒且獨(dú)特的局部特征描述符，提高模型在真實(shí)數(shù)據(jù)集中的配準(zhǔn)精度。在3DMatch 數(shù)據(jù)集重疊率大于30%的點(diǎn)云對上的實(shí)驗(yàn)結(jié)果表明，所提模型取得了92%的配準(zhǔn)召回率。但由于所提模型中的數(shù)據(jù)預(yù)處理模塊、特征提取模塊和點(diǎn)云配準(zhǔn)模塊都是獨(dú)立模塊，運(yùn)行時間較長，因此下一步可將AGConv 描述符擴(kuò)展到端到端配準(zhǔn)，并在低重疊的點(diǎn)云對上進(jìn)一步提高模型運(yùn)行效率。