蘭文昊，李 寧，佟 強(qiáng)

1.北京信息科技大學(xué) 自動(dòng)化學(xué)院，北京 100101

2.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院，北京 100101

近年來(lái)，隨著深度傳感器成本的降低，能夠直接獲取三維數(shù)據(jù)的設(shè)備越來(lái)越普及。三維點(diǎn)云作為三維數(shù)據(jù)簡(jiǎn)單且有效的表現(xiàn)形式，廣泛應(yīng)用于機(jī)器人、自動(dòng)駕駛和虛擬/增強(qiáng)現(xiàn)實(shí)應(yīng)用中。三維點(diǎn)云配準(zhǔn)算法通過(guò)估算待配準(zhǔn)點(diǎn)云間的對(duì)應(yīng)關(guān)系，獲取待配準(zhǔn)點(diǎn)云間的變換矩陣，已成為近幾年領(lǐng)域內(nèi)的研究熱點(diǎn)[1-4]。這些研究主要聚焦在三維點(diǎn)云配準(zhǔn)的精度、時(shí)間效率和魯棒性等方面，提出了許多不同的方法。

Besl等人提出最近點(diǎn)迭代配準(zhǔn)算法ICP，使用最小二乘法和奇異值分解來(lái)估算待配準(zhǔn)兩團(tuán)點(diǎn)云間的變換關(guān)系，并用取得的變換參數(shù)更新點(diǎn)云間的對(duì)應(yīng)關(guān)系，迭代上述步驟直到完成三維點(diǎn)云配準(zhǔn)[5]。ICP因?yàn)槠浜?jiǎn)單易用，成為三維點(diǎn)云配準(zhǔn)領(lǐng)域的經(jīng)典算法，經(jīng)常被用于精細(xì)配準(zhǔn)階段。在此后的研究中，Segal等人融合ICP和point-to-plane ICP，提出Generalized-ICP，改善了點(diǎn)云配準(zhǔn)算法對(duì)噪聲和遮擋的魯棒性[6]；Bouaziz等人使用稀疏誘導(dǎo)范數(shù)重新定義ICP，提升了ICP對(duì)于外點(diǎn)和不完整點(diǎn)云數(shù)據(jù)的魯棒性[7]；Biber等人使用正態(tài)分布變換和牛頓法簡(jiǎn)化了點(diǎn)云間對(duì)應(yīng)關(guān)系的探尋過(guò)程[8]；Agamennoni等人在全概率模型上應(yīng)用統(tǒng)計(jì)推理技術(shù)，提出一種新的概率數(shù)據(jù)關(guān)聯(lián)策略，提升了配準(zhǔn)算法對(duì)外點(diǎn)和噪聲的魯棒性[9]；Yang等人提出TEASER方法，使用截?cái)嘧钚《撕桶攵ㄋ沙趦?yōu)化，剔除了外點(diǎn)的干擾[10]。

然而，ICP及其改進(jìn)算法的解空間中，至少存在兩個(gè)不同的解，使得目標(biāo)函數(shù)取得局部最優(yōu)值，即非凸問(wèn)題。由于非凸問(wèn)題，配準(zhǔn)結(jié)果的精度高度依賴源點(diǎn)云和模板點(diǎn)云的初始相對(duì)位置。如果待配準(zhǔn)點(diǎn)云間的初始相對(duì)偏轉(zhuǎn)角度過(guò)大，ICP就會(huì)陷入局部最優(yōu)，損失配準(zhǔn)精度。為了解決非凸問(wèn)題，找到全局最優(yōu)解，Yang等人提出Go-ICP，使用分支定界的方法搜索三維變換空間SE(3)[11]。雖然Go-ICP能夠得到全局最優(yōu)解，但是算法的時(shí)間復(fù)雜度是ICP及其改進(jìn)算法的數(shù)倍，不能滿足實(shí)時(shí)性需要。在其他關(guān)于點(diǎn)云配準(zhǔn)全局最優(yōu)解的研究中，還包括混合整數(shù)規(guī)劃、黎曼優(yōu)化和凸松弛[12-14]。

傳統(tǒng)三維點(diǎn)云配準(zhǔn)方法除了非凸問(wèn)題，計(jì)算效率也是一大障礙。傳統(tǒng)方法由于需要明確估計(jì)點(diǎn)云間的對(duì)應(yīng)關(guān)系，計(jì)算效率會(huì)隨著待配準(zhǔn)點(diǎn)云中點(diǎn)數(shù)的增加而降低。隨著深度學(xué)習(xí)技術(shù)在三維點(diǎn)云上的發(fā)展，傳統(tǒng)方法中的問(wèn)題，有了新的解決思路[15-17]。

Aoki等人將深度學(xué)習(xí)引入三維點(diǎn)云配準(zhǔn)領(lǐng)域，提出PointNetLK[18]，使用深度神經(jīng)網(wǎng)絡(luò)PointNet[19]和修改過(guò)的LK[20]算法來(lái)完成三維點(diǎn)云配準(zhǔn)任務(wù)，相對(duì)于傳統(tǒng)算法，提升了配準(zhǔn)效率。PCRNet[21]受PointNetLK的啟發(fā)，使用PointNet提取三維點(diǎn)云的特征，并采用孿生架構(gòu)的神經(jīng)網(wǎng)絡(luò)來(lái)級(jí)聯(lián)點(diǎn)云間的特征向量，使用學(xué)習(xí)的方法非迭代地獲得點(diǎn)云變換參數(shù)，一定程度上改善了算法對(duì)于噪聲的抗干擾能力。

還有一部分研究嘗試設(shè)計(jì)局部描述符來(lái)尋找源點(diǎn)云和目標(biāo)點(diǎn)云間的對(duì)應(yīng)關(guān)系，如尺度不變曲率描述符[22]、FPFH[23]。由于手工設(shè)計(jì)特征的局限性，一些學(xué)者開(kāi)始研究用深度學(xué)習(xí)來(lái)提取三維局部描述符。3DMatch[24]從RGBD三維重建數(shù)據(jù)中自監(jiān)督學(xué)習(xí)局部特征描述符。PPFNet[25]結(jié)合點(diǎn)云局部特征和整體特征，訓(xùn)練出具有全局信息的局部描述符。PPF-FoldNet[26]使用無(wú)監(jiān)督學(xué)習(xí)，得到具有旋轉(zhuǎn)不變性局部描述符。但是這些方法，只能適用于特定場(chǎng)景。

基于深度學(xué)習(xí)的PointNetLK使用PointNet對(duì)點(diǎn)云進(jìn)行降維，使算法的時(shí)間復(fù)雜度不再隨著點(diǎn)數(shù)的增加而增高。同時(shí)，能夠推廣至更廣泛的應(yīng)用場(chǎng)景中。PointNetLK把PointNet看作三維點(diǎn)云的“成像”函數(shù)，并使用二維光度追蹤算法LK來(lái)對(duì)齊得到的“像”，雖然避免了傳統(tǒng)三維點(diǎn)云配準(zhǔn)算法的非凸問(wèn)題。但是，由于它所使用的PointNet缺乏卷積結(jié)構(gòu)，所提取到的點(diǎn)云特征缺乏點(diǎn)云表面的局部信息，又會(huì)陷入另一種形式的非凸問(wèn)題，其直接結(jié)果是，當(dāng)兩個(gè)點(diǎn)云的偏差角度過(guò)大時(shí)，會(huì)影響配準(zhǔn)的精度。

本文試圖針對(duì)這個(gè)問(wèn)題，對(duì)PointNetLK算法進(jìn)行改進(jìn)。

1 原始PointNetLK算法

PointNetLK為了降低點(diǎn)云配準(zhǔn)的計(jì)算成本，使用深度學(xué)習(xí)技術(shù)提取點(diǎn)云特征，達(dá)到對(duì)點(diǎn)云降維的目的。這個(gè)過(guò)程可以理解為對(duì)點(diǎn)云進(jìn)行“成像”。得到源點(diǎn)云和目標(biāo)點(diǎn)云的“像”后，PointNetLK使用二維光流追蹤算法LK，去獲得兩“像”之間的變換參數(shù)，從而導(dǎo)出三維點(diǎn)云間的轉(zhuǎn)動(dòng)參數(shù)，進(jìn)而完成配準(zhǔn)。

但是，PointNetLK中用于提取點(diǎn)云特征的深度網(wǎng)絡(luò)PointNet缺乏卷積結(jié)構(gòu)，僅能得到帶有坐標(biāo)信息的點(diǎn)云的宏觀特征，導(dǎo)致PointNet成為一個(gè)多峰“成像”函數(shù)。其結(jié)果就是，PointNetLK陷入非凸優(yōu)化問(wèn)題。

下面用大寫粗斜體字母表示矩陣和三維點(diǎn)集，如P，小寫粗斜體表示列向量和N維點(diǎn)，如t，大寫斜體字母表示常量，如M，小寫斜體表示標(biāo)量，如j。

1.1 三維點(diǎn)云配準(zhǔn)的一般目標(biāo)

其中L=min{M,N}。

旋轉(zhuǎn)矩陣R和平移向量t通常表示為齊次形式，如式（2）所示：

三維點(diǎn)云配準(zhǔn)的預(yù)期效果如圖1所示。傳統(tǒng)配準(zhǔn)算法，需要點(diǎn)云中所有點(diǎn)都參與到配準(zhǔn)過(guò)程中，這使得算法運(yùn)行時(shí)間會(huì)隨著點(diǎn)云規(guī)模擴(kuò)大而增加。借助于深度學(xué)習(xí)技術(shù)，可以從點(diǎn)云中提取適合于配準(zhǔn)目標(biāo)的特征，且特征的維度遠(yuǎn)小于原始點(diǎn)云的規(guī)模，可望降低計(jì)算成本，并解決傳統(tǒng)迭代配準(zhǔn)算法中的多極值優(yōu)化，即非凸問(wèn)題。

圖1 飛機(jī)點(diǎn)云的配準(zhǔn)過(guò)程Fig.1 Registration process of aircraft point cloud

1.2 PointNetLK中點(diǎn)云特征的提取

如1.1節(jié)所述，用矩陣形式表示三維點(diǎn)云P和Q，即P∈?3×N和Q∈?3×M。

把PointNet看作是一個(gè)三維點(diǎn)云的“成像”函數(shù)Ψ:?3×N→?K。函數(shù)Ψ把一個(gè)多層感知機(jī)（MLP）應(yīng)用到三維點(diǎn)云中的每個(gè)點(diǎn)上，使N個(gè)三維點(diǎn)轉(zhuǎn)變?yōu)镹個(gè)K維點(diǎn)，即?3×N→?K×N,接著進(jìn)行最大池化操作從N個(gè)K維點(diǎn)中，選取一個(gè)最顯著的K維點(diǎn)作為三維點(diǎn)云的K維全局特征向量，即?K×N→?K，即三維點(diǎn)云的“像”。

Ψ雖然起到了對(duì)三維點(diǎn)云降維的作用，達(dá)到了降低計(jì)算量的目的，但是，其本身是由MLP構(gòu)成的深度學(xué)習(xí)網(wǎng)絡(luò)，缺乏卷積結(jié)構(gòu)，不具備提取點(diǎn)云表面局部微觀特征的能力。這將導(dǎo)致Ψ(P)和Ψ(Q)僅能反映點(diǎn)云P和Q的宏觀輪廓特征。LK算法無(wú)法捕獲點(diǎn)云P和Q表面細(xì)節(jié)的坐標(biāo)信息差異。其結(jié)果就是，配準(zhǔn)易陷入非凸問(wèn)題，停滯在局部最優(yōu)狀態(tài)。

1.3 光流追蹤與點(diǎn)云變換的紐帶-指數(shù)映射

1.1節(jié)使用旋轉(zhuǎn)矩陣R和平移向量t表示三維空間中的坐標(biāo)變換T。為了方便使用LK[20]算法獲取坐標(biāo)變換矩陣的更新參數(shù)，這里采用指數(shù)映射形式來(lái)表示三維空間中的坐標(biāo)變換，空間坐標(biāo)變換矩陣T表示如下：

其中：

為指數(shù)映射的產(chǎn)生算子，與轉(zhuǎn)動(dòng)參數(shù)δi一一對(duì)應(yīng)。如果把P看成是模板點(diǎn)云，把Q看成是源點(diǎn)云，則三維點(diǎn)云配準(zhǔn)的目標(biāo)可以轉(zhuǎn)化為找到最佳三維空間坐標(biāo)變換T，使得：

其中，·表示對(duì)源點(diǎn)云Q進(jìn)行三維空間中的坐標(biāo)變換。

1.4 配準(zhǔn)目標(biāo)與光流追蹤的結(jié)合

由于配準(zhǔn)過(guò)程中，源點(diǎn)云的坐標(biāo)是動(dòng)態(tài)變化的，借鑒反向組合LK算法，實(shí)現(xiàn)只計(jì)算一次模板點(diǎn)云P對(duì)于無(wú)窮小轉(zhuǎn)動(dòng)參數(shù)δ的三維空間坐標(biāo)變化率就能夠完成算法迭代過(guò)程，從而減小計(jì)算量。根據(jù)上述思想，把三維點(diǎn)云配準(zhǔn)的目標(biāo)的形式變?yōu)椋?/p>

式（5）等號(hào)右邊可以展開(kāi)為：

為了方便計(jì)算，采用有限差分梯度去近似Ψ對(duì)于轉(zhuǎn)動(dòng)參數(shù)δ的梯度。Jacobian矩陣用J表示，則J的第i列Ji的計(jì)算過(guò)程為：

其中，δi取非常小的固定值來(lái)代替無(wú)窮小量。

轉(zhuǎn)動(dòng)參數(shù)δ可以由下面公式計(jì)算出：

其中，J+是J的廣義逆。

在迭代配準(zhǔn)過(guò)程中，每次迭代都會(huì)用轉(zhuǎn)動(dòng)參數(shù)δ更新源點(diǎn)云Q：

PointNetLK階段迭代結(jié)束后，源點(diǎn)云的三維空間坐標(biāo)變換矩陣可以表示為：

PointNetLK的整體流程如圖2所示，其中P為模板點(diǎn)云，Q為源點(diǎn)云，虛線框內(nèi)為算法循環(huán)部分。

雖然PointNetLK跳出了傳統(tǒng)迭代配準(zhǔn)的非凸問(wèn)題，但由于缺乏卷積結(jié)構(gòu)的PointNet僅能提取到含有坐標(biāo)信息的點(diǎn)云的宏觀特征，導(dǎo)致點(diǎn)云偏轉(zhuǎn)角度過(guò)大時(shí)，配準(zhǔn)算法又陷入新型局部最優(yōu)問(wèn)題，直觀配準(zhǔn)結(jié)果如圖3所示。

把PointNet看成是轉(zhuǎn)動(dòng)參數(shù)δ的函數(shù)Ψ(δ)，在源點(diǎn)云和目標(biāo)點(diǎn)云初始偏轉(zhuǎn)角度過(guò)大的情況下，使用LK算法迭代更新δ時(shí)，會(huì)存在至少兩個(gè)不同的轉(zhuǎn)動(dòng)參數(shù)δ1和δ2,Ψ(δ1)=Ψ(δ2)。這時(shí)，式（8）等號(hào)右側(cè)為0，δ停止更新，配準(zhǔn)算法陷入局部最優(yōu)，損失配準(zhǔn)精度，如圖4所示。

圖2 PointNetLK算法流程圖Fig.2 Flow chart of PointNetLK algorithm

圖3 PointNetLK階段對(duì)偏轉(zhuǎn)角度較大點(diǎn)云配準(zhǔn)結(jié)果Fig.3 Registration results of point clouds with larger deflection angle in PointNetLK phase

圖4 PointNetLK陷入局部最優(yōu)Fig.4 PointNetLK falling into local optimum

2 對(duì)PointNetLK算法的改進(jìn)

如圖4分析，PointNetLK在源點(diǎn)云和目標(biāo)點(diǎn)云初始相對(duì)偏轉(zhuǎn)角度過(guò)大的情況下，陷入局部最優(yōu)。本文針對(duì)這個(gè)問(wèn)題，提出了PointNetLK-OBB算法。該算法在PointNetLK的基礎(chǔ)上，利用能夠刻畫點(diǎn)云全局規(guī)整特征的三維幾何工具Oriented Bounding Box[27-28]，在ICP的指引下，避開(kāi)PointNetLK語(yǔ)境下的非凸問(wèn)題，從而提升偏轉(zhuǎn)角度過(guò)大的點(diǎn)云間的配準(zhǔn)精度。

2.1 Oriented Bounding Box的構(gòu)造

Oriented Bounding Box（OBB）是指能夠包圍三維點(diǎn)云的最小體積，通常由一個(gè)中心點(diǎn)，三個(gè)表示方向的正交單位向量和三個(gè)表示長(zhǎng)寬高延展半徑的標(biāo)量{l,w,h}來(lái)表示。

三維點(diǎn)云的Axis Aligned Bounding Box（AABB）和OBB一樣，都是三維空間中的幾何描述工具?？紤]一般點(diǎn)云X∈?3×N的OBB和AABB，分別記為OBBX和AABBX。OBBX可以看成點(diǎn)云X經(jīng)過(guò)某一空間旋轉(zhuǎn)R∈?3×3后得到的X′的軸對(duì)齊包圍框AABBX′，即：

所以O(shè)riented Bounding Box的求解問(wèn)題轉(zhuǎn)變?yōu)椋瑥奶厥庹蝗豪镎业揭粋€(gè)合適的三維旋轉(zhuǎn)R∈SO(3,?)，使得AABBX′的體積最?。?/p>

OBB的求解使用Hybrid Bounding Box Rotation Identification[28]。

2.2 三維點(diǎn)云配準(zhǔn)目標(biāo)與Oriented Bounding Box的結(jié)合

式（10）給出了PointNetLK階段獲取到的能夠?qū)RQ和P主體特征的空間變換TPointNetLK。用TPointNetLK更新后的源點(diǎn)云記為Q′：

分別記Q′和P的OBB為OBBQ′和OBBP，為了利用OBB的規(guī)整性完成三維點(diǎn)云配準(zhǔn)任務(wù)，需要將OBBQ′和OBBP對(duì)齊。為了對(duì)齊OBBQ′和OBBP，使用ICP對(duì)齊OBBQ′和OBBP的頂點(diǎn)。記OBBQ′的頂點(diǎn)為?3×8，OBBP的頂點(diǎn)為POBB∈?3×8。

一般點(diǎn)云X的方向包圍框OBBX的頂點(diǎn)可以看作式（10）中AABBX′的頂點(diǎn)經(jīng)歷了一個(gè)空間旋轉(zhuǎn)R-1，所以O(shè)BBX的八個(gè)頂點(diǎn)為：

因?yàn)辄c(diǎn)云的OBB刻畫點(diǎn)云的主體特征，所以應(yīng)用在OBB的八個(gè)頂點(diǎn)上的空間變換，同樣可以應(yīng)用在點(diǎn)云中的每個(gè)點(diǎn)上。在式（13）的基礎(chǔ)上，繼續(xù)對(duì)PointNetLK階段結(jié)束時(shí)的源點(diǎn)云Q′應(yīng)用空間變換TICP，效果如圖5所示，記更新后的Q′為Q″即：

把經(jīng)過(guò)空間變換TICP更新后的源點(diǎn)云Q″的OBB記為OBBQ″。從圖5（a）可以看出，PointNetLK配準(zhǔn)階段結(jié)束時(shí)，盆栽點(diǎn)云的主體特征已經(jīng)被對(duì)齊，但是不夠規(guī)整，處于非凸優(yōu)化問(wèn)題中局部最優(yōu)狀態(tài)。利用能夠刻畫點(diǎn)云主體特征且規(guī)整的OBB能夠幫助點(diǎn)云配準(zhǔn)算法跳出局部最優(yōu)，提升配準(zhǔn)精度。

圖5 中文盆栽點(diǎn)云OBB的對(duì)齊過(guò)程Fig.5 OBB alignment process of potted plant point cloud

通過(guò)觀察圖5（b），可以發(fā)現(xiàn)對(duì)齊OBBQ″和OBBP后的Q″和P，處于鏡面對(duì)稱狀態(tài)。圖5（b）所展示的處于鏡面對(duì)稱狀態(tài)的源點(diǎn)云Q″和目標(biāo)點(diǎn)云P，它們的對(duì)稱面經(jīng)過(guò)OBB的中心點(diǎn)，且平行于OBB側(cè)面。點(diǎn)云Q″和P想要從鏡面狀態(tài)恢復(fù)到完全擬合狀態(tài)，Q″需要以O(shè)BB的中心c∈?3為中心，以表示OBB方向且平行于OBB長(zhǎng)邊的單位向量為旋轉(zhuǎn)軸，旋轉(zhuǎn)π個(gè)弧度，記此空間變換矩陣為Tmirror，則：

式（18）中之所以是約等于的關(guān)系，是因?yàn)樵肼暫蛡鞲衅髡`差的存在。

至此，可以得到配準(zhǔn)任務(wù)的最終空間旋轉(zhuǎn)變換估計(jì)Tfinal：

在求取Tmirror的過(guò)程中，模板點(diǎn)云和源點(diǎn)云鏡像對(duì)稱的對(duì)稱面可能有三種情況，即分別以表示OBB方向的單位正交向量為法線的平面。所以，Tmirror也有三種計(jì)算結(jié)果，從中挑選最佳Tmirror，使得P和Tmirror·Q″的擬合度最高。改進(jìn)后的總體算法流程圖如圖6所示。

OBB能夠更加規(guī)整地表達(dá)三維點(diǎn)云的宏觀特征，如圖7所示，為三維點(diǎn)云注冊(cè)任務(wù)提供點(diǎn)云的全局信息。PointNetLK-OBB借助OBB避開(kāi)PointNetLK語(yǔ)境下的局部最優(yōu)，加快配準(zhǔn)速度，提升配準(zhǔn)精度。

2.3 PointNetLK-OBB的訓(xùn)練

為了保證PointNet能夠從點(diǎn)云數(shù)據(jù)中提取到特征，需要訓(xùn)練PointNet分類網(wǎng)絡(luò)。但是，僅訓(xùn)練PointNet，網(wǎng)絡(luò)提取到的特征并不適合點(diǎn)云配準(zhǔn)任務(wù)。為了保證PointNet能夠從點(diǎn)云數(shù)據(jù)中提取到適合于配準(zhǔn)任務(wù)的全局特征，為后序的高精度配準(zhǔn)奠定基礎(chǔ)，需要在Point-Net分類網(wǎng)絡(luò)的訓(xùn)練基礎(chǔ)上，訓(xùn)練PointNetLK以達(dá)到微調(diào)PointNet網(wǎng)絡(luò)參數(shù)的目的。

圖6 PointNetLK-OBB算法推理模型Fig.6 Reasoning model of PointNetLK-OBB algorithm

圖7 盆栽點(diǎn)云的方向包圍框Fig.7 Orientation bounding box of potted plant point cloud

PointNetLK之后的算法部分，沒(méi)有使用PointNet“成像”函數(shù)Ψ和Ψ提取到的點(diǎn)云特征，而是直接用點(diǎn)云本身來(lái)完成最后的高精度配準(zhǔn)，所以在訓(xùn)練算法模型時(shí)，只訓(xùn)練PointNetLK部分。

訓(xùn)練PointNetLK所使用的損失函數(shù)為PointNet“成像”函數(shù)Ψ提取到的源點(diǎn)云Q和目標(biāo)點(diǎn)云P的特征差的二范數(shù)，以及由PointNetLK估計(jì)出的變換矩陣和真實(shí)變換矩陣之差的F范數(shù)，即：

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

使用ModelNet40[29]作為實(shí)驗(yàn)數(shù)據(jù)集。ModelNet40是一個(gè)公開(kāi)的數(shù)據(jù)集，共包含40個(gè)類別的CAD模型，每個(gè)類別由訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)組成。因?yàn)镻ointNetLK使用ModelNet40來(lái)測(cè)試和分析算法性能，所以使用該數(shù)據(jù)集，方便與PointNetLK進(jìn)行比較。

3.2 不同初始偏轉(zhuǎn)角度下的配準(zhǔn)誤差

為了驗(yàn)證結(jié)合方向包圍框改進(jìn)的PointNetLK算法PointNetLK-OBB的有效性，將本文方法與PointNetLK算法在ModelNet40上做對(duì)比實(shí)驗(yàn)，直觀對(duì)比效果如圖8所示。本文結(jié)果顯示，結(jié)合方向包圍框改進(jìn)的PointNetLK在待配準(zhǔn)點(diǎn)云偏轉(zhuǎn)角度較大情況下，有效地降低了配準(zhǔn)誤差。

分別用PointNetLK和PointNetLK-OBB在ModelNet40的測(cè)試集上進(jìn)行實(shí)驗(yàn)。為了觀察算法在不同初始狀態(tài)下的配準(zhǔn)表現(xiàn)，在實(shí)驗(yàn)中用到的源點(diǎn)云和模板點(diǎn)云的初始偏轉(zhuǎn)角度以10°為間隔，從0°到180°，均勻分布，位移為[0,0.3]之間的隨機(jī)量。將估算得到的變換矩陣Tfinal和真實(shí)變換矩陣的逆(Tgroundtruth)-1之間的乘積Terror=Tfinal·(Tgroundtruth)-1作為算法評(píng)價(jià)標(biāo)準(zhǔn)。為了驗(yàn)證算法在數(shù)據(jù)集上的整體表現(xiàn)，使用同一偏轉(zhuǎn)角度下的所有測(cè)試數(shù)據(jù)的平均誤差來(lái)表示最終的算法性能。

圖8 PointNetLK和PointNetLK-OBB配準(zhǔn)結(jié)果對(duì)比Fig.8 Comparison of registration results between PointNetLK and PointNetLK-OBB

第一組觀測(cè)數(shù)據(jù)為算法的平均位移誤差。使用Terror中的t（見(jiàn)式（2））的模表示位移誤差，由同一偏轉(zhuǎn)角度下的所有測(cè)試數(shù)據(jù)的位移誤差平均得到最終的位移誤差。不同偏轉(zhuǎn)角度下的最終位移誤差如圖9所示。

圖9 不同初始偏轉(zhuǎn)角度下的平均位移誤差Fig.9 Average displacement error under different initial deflection angles

從圖9可以看出，待配準(zhǔn)點(diǎn)云間的初始偏差角度大于90°時(shí)，PointNetLK的平均位移誤差在繼續(xù)增大，而PointNetLK-OBB能夠保持一個(gè)較低誤差水平。

第二組觀測(cè)數(shù)據(jù)為算法的平均偏轉(zhuǎn)角度誤差。使用δerror代替Terror（見(jiàn)式（3）），由δerror的前三個(gè)分量δ1、δ2、δ3的模表示旋轉(zhuǎn)角度誤差，由同一偏轉(zhuǎn)角度下的所有測(cè)試數(shù)據(jù)旋轉(zhuǎn)角度誤差平均得到最終的角度誤差。不同偏轉(zhuǎn)角度下的最終角度誤差如圖10所示。

從圖10可以看出，待配準(zhǔn)點(diǎn)云間的初始偏差角度大于90°時(shí)，PointNetLK平均旋轉(zhuǎn)角度誤差逐漸增大，而PointNetLK-OBB能夠保持一個(gè)較低的旋轉(zhuǎn)角度誤差水平。

圖10 不同初始偏轉(zhuǎn)角度下的平均旋轉(zhuǎn)角度誤差Fig.10 Average rotation angle error under different initial deflection angles

由于PointNetLK使用全連接網(wǎng)絡(luò)PointNet(Ψ)僅提取到點(diǎn)云宏觀輪廓特征，在待配準(zhǔn)點(diǎn)云初始偏轉(zhuǎn)角度較大情況下，至少存在一種非目標(biāo)姿態(tài)下的點(diǎn)云特征是和目標(biāo)姿態(tài)特征相同，導(dǎo)致LK算法在非目標(biāo)狀態(tài)時(shí)，停止更新轉(zhuǎn)動(dòng)參數(shù)（見(jiàn)式（8）），配準(zhǔn)算法陷入新的局部最優(yōu)，見(jiàn)圖4。所以點(diǎn)云偏轉(zhuǎn)角度越大，這種與目標(biāo)姿態(tài)點(diǎn)云特征相同的非目標(biāo)姿態(tài)越多，導(dǎo)致PointNetLK配準(zhǔn)誤差越大。

結(jié)合方向包圍框改進(jìn)的PointNetLK算法，借助PointNetLK跳出了傳統(tǒng)配準(zhǔn)算法的非凸問(wèn)題，對(duì)齊了點(diǎn)云中的主體成分，利用方向包圍框的規(guī)整性，在ICP算法的引導(dǎo)下，對(duì)齊了方向包圍框，利用鏡面對(duì)稱效應(yīng)，翻轉(zhuǎn)點(diǎn)云，避開(kāi)了由PointNet和式（8）和引起的新型局部最優(yōu)問(wèn)題，進(jìn)而在點(diǎn)云偏轉(zhuǎn)角度過(guò)大時(shí)，有效降低配準(zhǔn)誤差。

3.3 不同初始偏轉(zhuǎn)角度下的配準(zhǔn)時(shí)間性能

為了測(cè)試PointNetLK-OBB算法的時(shí)間性能，將其與原始PointNetLK算法在Intel Xeon 2.1 GHz CPU上進(jìn)行對(duì)比。結(jié)果顯示，本文算法的運(yùn)行時(shí)間并沒(méi)有顯著增加，與原始算法的時(shí)間性能相差無(wú)幾。

分別用PointNetLK和PointNetLK-OBB在ModelNet40的測(cè)試集上進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)中用到的源點(diǎn)云和模板點(diǎn)云的偏轉(zhuǎn)角度從0°到180°，以10°為間隔，均勻分布，位移為[0,0.3]之間的隨機(jī)量。為了測(cè)試算法在數(shù)據(jù)集上的整體時(shí)間性能，使用同一偏轉(zhuǎn)角度下的所有測(cè)試數(shù)據(jù)的平均運(yùn)行時(shí)間來(lái)表示最終的算法時(shí)間性能，如圖11所示。

從圖11可以看出，PointNetLK-OBB和PointNetLK的運(yùn)行時(shí)間隨著初始偏轉(zhuǎn)角度的增大而增加，且沒(méi)有明顯差異。結(jié)合圖9和圖10，可以發(fā)現(xiàn)，在高精度完成配準(zhǔn)任務(wù)的前提下，PointNetLK-OBB運(yùn)行時(shí)間仍然處于一個(gè)可接受的水平。

PointNetLK-OBB之所以能夠保持較低的時(shí)間消耗，是因?yàn)樵袋c(diǎn)云和模板點(diǎn)云方向包圍框的規(guī)整性。PointNetLK-OBB可以快速使用ICP對(duì)齊包圍框的八個(gè)頂點(diǎn)，并在待配準(zhǔn)點(diǎn)云之間產(chǎn)生鏡面對(duì)稱效應(yīng)。處于鏡面對(duì)稱狀態(tài)的待配準(zhǔn)點(diǎn)云，僅需依靠點(diǎn)云自身的旋轉(zhuǎn)，便可完成高精度的點(diǎn)云配準(zhǔn)。提升精度的同時(shí)，降低了算法的時(shí)間消耗。

圖11 不同初始偏差角度下的平均運(yùn)行時(shí)間Fig.11 Average running time under different initial deviation angles

4 結(jié)語(yǔ)

本文針對(duì)PointNetLK在待配準(zhǔn)點(diǎn)云偏差角度過(guò)大時(shí)，陷入局部最優(yōu)，損失精度的問(wèn)題，提出了一種結(jié)合方向包圍框改進(jìn)的點(diǎn)云配準(zhǔn)方法PointNetLK-OBB。該方法利用PointNetLK跳出了傳統(tǒng)點(diǎn)云配準(zhǔn)的非凸問(wèn)題，完成了點(diǎn)云主成分的對(duì)齊，利用三維點(diǎn)云方向包圍框的規(guī)整性，并在ICP的引導(dǎo)下，在點(diǎn)云間產(chǎn)生鏡面對(duì)稱效應(yīng)，配合源點(diǎn)云自身的旋轉(zhuǎn)，避開(kāi)由缺乏卷積結(jié)構(gòu)的PointNet引起的新型局部最優(yōu)問(wèn)題。

改進(jìn)的配準(zhǔn)算法PointNetLK-OBB在公開(kāi)的三維數(shù)據(jù)集ModelNet40上與原始算法PointNetLK進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，PointNetLK-OBB在待配準(zhǔn)點(diǎn)云偏差角度較大的情況下，能夠避開(kāi)PointNetLK語(yǔ)境下的局部最優(yōu)，保證時(shí)間效率的同時(shí)，高精度地完成三維點(diǎn)云配準(zhǔn)。

針對(duì)本文的方法，有讀者可能會(huì)提出用方向包圍框、ICP及其產(chǎn)生的鏡面對(duì)稱效應(yīng)，替代PointNetLK。本文認(rèn)為，單獨(dú)使用方向包圍框、ICP及其產(chǎn)生的鏡面對(duì)稱效應(yīng)，無(wú)法完成點(diǎn)云配準(zhǔn)。方向包圍框系列的方法，需要ICP的支持。而ICP最大的問(wèn)題就是高度依賴待配準(zhǔn)點(diǎn)云的初始位置，很容易陷入傳統(tǒng)非凸問(wèn)題。本文方法很好地解決了這個(gè)問(wèn)題，利用PointNetLK跳出了傳統(tǒng)非凸問(wèn)題，又利用方向包圍框的規(guī)整性避開(kāi)了PointNetLK語(yǔ)境下的局部最優(yōu)問(wèn)題。

經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，目前，PointNetLK-OBB只能對(duì)尺度一致的點(diǎn)云進(jìn)行配準(zhǔn)，未來(lái)的改進(jìn)可以利用方向包圍框的伸縮，來(lái)完成尺度不一致的點(diǎn)云配準(zhǔn)。

本文算法目前可以應(yīng)用于AR醫(yī)療，未來(lái)還可以擴(kuò)展至機(jī)器人路徑規(guī)劃、自動(dòng)駕駛等應(yīng)用和三維重建等領(lǐng)域。因此，本文算法是一項(xiàng)有意義的研究。