陸軍,劉霜,喬鵬飛,魯林超
(哈爾濱工程大學 智能科學與工程學院, 黑龍江, 哈爾濱 150001)
點云配準是一種重要的三維圖像生成技術(shù),是逆向工程、三維重建等工程領(lǐng)域的研究熱點[1-4].三維點云數(shù)據(jù)配準按照點云配準的實現(xiàn)過程可以將其分為兩個部分:初始配準(粗配準)和精確配準.常用的初始配準算法包括兩類,包括CHEN 等[5]提出的數(shù)據(jù)對齊剛性約束窮舉搜索、BUCH 等[6]提出的隨機采樣一致性這類基于RANSAC 的配準算法,以及另外一類基于局部特征的配準算法的點云配準方法,如JOHNSON 等[7-8]設(shè)計的經(jīng)典Spin Image 配準,RUSU 等[9]設(shè)計的點特征直方圖配準,還有RUSU 等優(yōu)化PFH 得到的FPFH[10],降低計算量的同時卻又保障了準確性.由于KINECT 等[11]能夠收集目標顏色以及深度信息的掃描設(shè)備的出現(xiàn),點云配準得到更多的優(yōu)化,不斷出現(xiàn)基于RGB 顏色信息以及深度信息的配準算法.MA 等[12]使用RGB 圖像檢測局部關(guān)鍵點避免了局部迭代的點云配準方法.SHOT 描述符是一種穩(wěn)定而且精度高的配準算法.TOMBARI 等[13]將點云的顏色信息加入SHOT 描述符中,設(shè)計了CSHOT描述符.顏色信息的加入雖然提高算法配準精度,但卻會導致描述符的計算更加復雜、維度增高以及配準的時長變長.
點云的精確配準算法大部分都采取迭代進行點云配準.精配準算法大都采取BESL 等[14]設(shè)計出的迭代最近點算法的原理,基于此的算法大都只利用了點云數(shù)據(jù)空間狀況.伴隨點云掃描器械不斷發(fā)展,融合點云顏色信息的精配準算法開始出現(xiàn).如SERVOS 等[15]提出了multi-channel generalized-ICP 算法;蘇本躍等[16]提出的4 維向量空間的ICP 算法.此算法將彩色點云中每個點的RGB 值轉(zhuǎn)換成灰度值,再將灰度值映射到與其初始對應(yīng)點云坐標數(shù)據(jù)范圍,進一步組合成的4 維向量空間實現(xiàn)的顏色點云精配準.MEN 等[17]將顏色空間RGB 轉(zhuǎn)化到HSL 空間中再組成4 維空間,提出了4D-ICP 彩色點云配準.FAKOOR等[18]在NDT 改進得到的彩色點云CNDT 配準算法.LIU 等[19]從點云的顏色信息中提取HSV 顏色數(shù)據(jù),使切平面的HSV 分布連續(xù),進而實現(xiàn)顏色點云的配準,并使用遺傳算法對點云顏色信息進行一致優(yōu)化進而進行點云配準.
現(xiàn)有的三維點云配準算法主要是對點云進行幾何特征描述,顏色信息為配準提供了新的方式.
本文首先介紹關(guān)鍵點提取方法,利用關(guān)鍵點提取算法提取幾何和顏色關(guān)鍵點,在此基礎(chǔ)上,利用從二維拓展到三維的LGOP 描述符得到本文設(shè)計的三維點云顏色描述符,再在此基礎(chǔ)上融合兩種信息得到混合特征描述符,并用實驗證明了其優(yōu)越性.
關(guān)鍵點可以完整描述集合體表面的信息變化,而且比原始點云的數(shù)目少很多.通過關(guān)鍵點進行點云配準可有效增加配準速度且不影響配準效果.在選取關(guān)鍵點時,既要能反映物體特征,又不能大量提取,使得計算量過大,本節(jié)首先介紹采用的幾何關(guān)鍵點提取算法,再介紹本文提出的顏色關(guān)鍵點提取算法.
現(xiàn)有的眾多幾何關(guān)鍵點的提取方法中基于法向量的關(guān)鍵點提取算法相對簡單而且效果好.其思想為檢測點云中數(shù)據(jù)中點云法向量和鄰域內(nèi)點的法向量夾角,求其平均值,若大于設(shè)定閾值,則為關(guān)鍵點,反之則不是.提取步驟如下:
步驟1:假設(shè)點云中某候選點p=(x,y,z),以其為球心,r為半徑.在此區(qū)域內(nèi)的點為p1,p2,···,pm;
步驟2:根據(jù)式(1)和式(2)計算點p的單位法向量,可得n為其最小的特征值對應(yīng)的特征向量,且一般規(guī)定其指向視點方向.
步驟3:選取適當?shù)拈撝礣.計算該點p與鄰域點法向量的夾角平均值作為特征度,若特征度大于閾值,則為候選關(guān)鍵點,反之不是.
步驟4:非極大值抑制.采用步驟3 步構(gòu)成關(guān)鍵點候選集合.選取領(lǐng)域內(nèi)特征度最大為關(guān)鍵點.
基于像素差異性加速分割測試的特征點提取特征(features from accelerated segment test,F(xiàn)AST)方法是對二維圖片根據(jù)鄰近點像素點差異進行關(guān)鍵點提取,故通過將FAST 方法擴展到三維,可對三位彩色點云進行處理.提取具體步驟如下:
步驟1:三維彩色點云數(shù)據(jù)中一點q,其空間坐標和顏色值分別為(x,y,z) 、(r,g,b),將點的顏色信息采用式(3)轉(zhuǎn)化為灰度值
步驟2:以點q為球心,將點云平均歐式距離r的2.5 倍與3.5 倍形成的球環(huán)中的點{p1,p2,···,pm},按式(4)計算N值,如果N大于設(shè)定T閾值,q納入關(guān)鍵點候選點.
式中:sgn()為符號函數(shù);T為灰度差閾值.
步驟3:非極大值抑制.按照式(5)給每個候選點賦值,以候選關(guān)鍵點為圓心,2r為半徑,判斷是否有多個候選點,如果存在,由式(5)得出每個點的得分值.其中得分最高的即為關(guān)鍵點,以此避免關(guān)鍵點集中.
式中:p為球心;i為在球環(huán)中的點.
特征描述符作為點云配準最重要的基礎(chǔ)之一,其對點云信息的描述程度直接影響點云配準精度.現(xiàn)今而言,大多數(shù)描述符只使用了幾何信息.本文提出一種只描述顏色信息的三維彩色點云的局部灰度序模式(3DLGOP).為了更好地利用點云數(shù)據(jù),將會在下一節(jié)3DLGOP 基礎(chǔ)上結(jié)合FPFH 與CSHOT 描述符提出同時融合了顏色信息與幾何信息的一種新的特征描述符.
在二維領(lǐng)域的配準算法已經(jīng)十分完善,其中基于局部亮度序模式的特征描述符(LIOP)因其計算簡單、魯棒性優(yōu)秀而受到了廣泛關(guān)注.由于彩色三維點云數(shù)據(jù)的一些性質(zhì),如無序性,導致其不能夠直接在此使用.考慮將其進行改變擴展.從二維特征描述符建立可知,應(yīng)當計算出關(guān)鍵點附近的點的LIOP.但是由于點云的無序性,無法對關(guān)鍵點鄰域均勻采樣,因此提出一種新的采樣方法來對點進行選取,如圖1所示.
圖1 關(guān)鍵點鄰域內(nèi)一點的LGOP 構(gòu)造Fig.1 LGOP construction of the neighborhood of a key point
設(shè)點p是點云中的一個關(guān)鍵點,q為p的一個相近點,點q為中心,以2.5 倍與3.5 倍點云分辨率為半徑,形成的球環(huán)中的點集為o(q)={q1,q2,···,qm}.q與關(guān)鍵點p以及球環(huán)中的q1,q2,···,qm分別連接組成向量,并按式(6)計算向量分別與向量的夾角θ1,θ2,···,θm.對θ1,θ2,···,θm從小到大排列,均勻地按照角度進行采樣,因此進行q的LGOP 描述
式中:a=,bi=,ni=(a×bi)/|a×b|,z(a×bi)表示a和bi叉乘運算后的垂直坐標軸的值.
假設(shè)q1,q2,···,qN是上一步后得到的點,q鄰域灰度可以表示為G(q)=(g(q1),g(q2),···,g(qN))(N<m).利用映射函數(shù)把向量G(q)中的N個元素按照非降序排列順序,同時采用映射函數(shù)將下標(i1,i2,···,iN)映射成N!維向量,q的LGOP 描述符此時為
式(7)中Ind()代表索引序號.
再利用此改進三維LIOP 構(gòu)建3DLGOP 描述符,此時該描述符可以對顏色特征進行描述.描述符構(gòu)建步驟具體如下.
步驟1:把關(guān)鍵點的鄰域劃為B個區(qū)域,劃分標準為其灰度順序.假設(shè)p為一個顏色關(guān)鍵點,p為圓心,點云分辨率為半徑形成一個球區(qū)域,在此區(qū)域內(nèi)關(guān)鍵點就是其鄰近點,把所有的鄰近點進行灰度值非降序排列,然后劃分為B個區(qū)間中.
步驟2:利用改進的LGOP,計算三維點云的關(guān)鍵點鄰域內(nèi)點的LGOP 描述符.表1 展示了在此計算過程中N=4 的索引表.
表1 映射表Tab.1 Mapping table
步驟3:累加各個部分的中點的LGOP,然后連接從而得到關(guān)鍵點的3DLGOP 描述,用式(8)、式(9)表示為
式中:di表示第i個部分的全部中點LGOP 的累加,此時關(guān)鍵點的3DLGOP 描述符是一個B×N!維向量.
步驟4:取權(quán)值函數(shù),使用權(quán)值函數(shù)如下
式中Tlp為灰度差的閾值.
關(guān)鍵點p的3DLGOP 描述符可以改為如下
考慮到描述符的建立過程中有著權(quán)值的累加,如果出現(xiàn)權(quán)值過高或者過低的點,而且此時該點如果存在誤差,那么對于描述符的影響會很大,同時考慮到減低其維數(shù),將Ind(π)的兩個最值去掉,進一步簡化同時減低其空間維數(shù).
FPFH 描述符的算法主要是通過計算關(guān)鍵點與鄰近點法向量的夾角來描述鄰域表面的變化情況,構(gòu)建出一個多維的直方圖.實現(xiàn)步驟為:①計算關(guān)鍵點以及關(guān)鍵點鄰域內(nèi)點的法向量;②計算關(guān)鍵點法向量與其他法向量之間的相對偏差即建立(SPFH);③ 計算出領(lǐng)域內(nèi)每點的SPFH;④最后利用求得的鄰近的SPFH 值來取與關(guān)鍵點歐式距離得到的權(quán)重求和進而得到關(guān)鍵點的最終直方圖(稱為FPFH).
CSHOT 描述符算法為在SHOT 算法引入點云顏色信息.其步驟為:①建立局部參考坐標系;②對局部球型鄰域劃分成32 個子塊;③將彩色點云中的顏色信息由RGB 空間轉(zhuǎn)化到Lab 空間中;④特征編碼后進行直方圖統(tǒng)計.CSHOT 描述符的顏色描述是一個992 維直方圖,維度高,計算復雜,配準時間長.
本文提出一種融合顏色和幾何信息的特征描述符,原理為選用FPFH 描述關(guān)鍵點幾何特征,同時采用本文設(shè)計的3DLGOP 描述符以及CSHOT 描述符對三維彩色點云關(guān)鍵點的顏色信息進行描述.為了將這三種描述符進行融合,使得最后的描述符也是直方圖,對 3DLGOP 和CSHOT 描述符中的顏色描述做出變化,具體實現(xiàn)步驟如下.
步驟1:將上節(jié)提出的LGOP 變?yōu)橐痪S即簡單的局部灰階模式(simple local gray order pattern, SLGOP),求出每個關(guān)鍵點的SLGOP.q是關(guān)鍵點p領(lǐng)域內(nèi)的點,利用2.1 節(jié)中的描述,以q為球心,2.5 與3.5 倍點云分辨率為半徑,形成一個球環(huán)區(qū)域,在此區(qū)域選擇5個點,記為q1,q2,···,q5,形成5 維的向量G(q)=(g(q1),g(q2),···,g(q5))用來對q的顏色信息進行描述;之后,利用式(13)映射函數(shù) γ對G(q)=(g(q1),g(q2),···,g(q5))進行映射,使其映射到下標(i1,i2,···,i5);在最后,把(i1,i2,···,i5)與映射表2 相對應(yīng),也就是得到使得q的SLGOP 為表中與其下標(i1,i2,···,i5)對應(yīng)的序號Ind(π).
表2 映射表Tab.2 Mapping table
步驟2:求出關(guān)鍵點灰度序特征直方圖(gray order feature histogram,GOFH).①在關(guān)鍵點p領(lǐng)域內(nèi)得到點q1,q2,···,qn,根據(jù)步驟1 求得q1,q2,···,qn的SLGOP;②劃分區(qū)間,將得到的所有SLGOP 劃分為20 個區(qū)間,從小到大,6 個為一個區(qū)間,例如[1, 6]代表SLGOP 為1~6 的點;③統(tǒng)計各個區(qū)間里面點的數(shù)量,得到一個二維的直方圖,由于FPFH 描述符把關(guān)鍵點領(lǐng)域內(nèi)的點只劃分為11 個區(qū)間,為了平衡點云顏色與幾何特征,把GOFH 中區(qū)間內(nèi)的數(shù)值變?yōu)? 倍.
步驟3:利用式(14)~式(19)計算關(guān)鍵點與其鄰近點的Lab 距離值,然后按照值域劃成13 個區(qū)間,計算各個區(qū)間里面點的數(shù)量.得到一個13 維的二維直方圖.
式中:r、g、b為三通道顏色值,區(qū)間為[0,255];R、G、B為非線性色調(diào)編輯后的顏色值;x、y、z為XYZ空間中坐標值.
式中:L、a、b為Lab 色彩空間中的三通道值;xn=95.047,yn=100.0,zn=108.883.
步驟4:把步驟2、步驟3 中得到的兩個直方圖進行連接,也就形成了一個新的33 維的關(guān)鍵點顏色特征描述直方圖.
與FPFH 描述的33 維幾何特征直方圖連接,得到66 維的融合顏色與幾何信息的特征描述符(FPFH-3DLGOP).
圖2 展示了三維彩色點云數(shù)據(jù)中三個關(guān)鍵點的FPFH-3DLGOP 描述符,其前33 維描述了關(guān)鍵點的幾何特征,后33 維則對顏色信息進行描述,在后33維中的前20 維為3DLGOP 描述符變形而來的,后13 維為CSHOT 描述符中變形而來的.
圖2 FPFH-3DLGOP 特征直方圖Fig.2 FPFH-3DLGOP feature histogram
配準過程如下:①對原始的源點云與目標點云數(shù)據(jù)進行關(guān)鍵點提?。虎诶藐P(guān)鍵點鄰域的彩色與幾何信息對其進行特征描述;③使用最近鄰比值法得到初始位置得到源點云中每個點與目標點云的對應(yīng)關(guān)系,再利用隨機采用一致性去除錯誤對應(yīng)關(guān)系;④最后,使用奇異值分解(SVD)的求解方式利用匹配關(guān)系求解得到三維剛體變換矩陣,進而完成點云配準.
本實驗選用的點云數(shù)據(jù)為利用結(jié)構(gòu)光掃描儀的三組點云,其中胡巴為同時有著顏色和幾何信息的彩色點云數(shù)據(jù),不過其含量有所差別;Bowl 數(shù)據(jù)則是有著豐富的顏色分布的圓柱形點云數(shù)據(jù),且有著彎曲角度大致相同的較大彎曲區(qū)域;Food_bag 則是表面平面、無明顯幾何特征、卻有著大量顏色信息的點云數(shù)據(jù).圖3 為兩個角度下采集的原始數(shù)據(jù)和其初始位置,兩個點云有明顯的位移和旋轉(zhuǎn),需要粗配準拉近兩個點云的位置.
圖3 點云數(shù)據(jù)集及其初始位置Fig.3 Point cloud data set and its initial location
參數(shù)選擇:3DLGOP 特征描述有2 個固定參數(shù),為使描述符維度不至于過高影響點云配準速率,選取N=4、B=6.
圖4(a)、(c)、(e) 是3DLGOP 特征描述得到的特征向量使用最近鄰比值法對應(yīng)后的初始匹配關(guān)系,不難有部分明顯錯誤匹配點對;圖4(b)、(d)、(f)是使隨機采樣一致性算法得到的正確匹配關(guān)系.
圖4 點云配準對應(yīng)關(guān)系示意圖Fig.4 Schematic diagram of point cloud registration correspondence
圖5 是對正確匹配關(guān)系利用SVD 計算出的轉(zhuǎn)換矩陣進行配準后的結(jié)果,可以知道源點云與目標點云的初始配準完成得很好.
圖5 點云配準結(jié)果Fig.5 Point cloud registration results
對于基于3DLGOP 的點云配準結(jié)果,配準精度采用均方根誤差來表示,式(20)給出了其計算公式,這個結(jié)果反應(yīng)了源點云與目標點云的平均距離誤差.此值越小表示配準效果越優(yōu)越.
式中:R為旋轉(zhuǎn)矩陣;t為平移矩陣;pi為源點云坐標;qi為目標點云中距離pi轉(zhuǎn)換后最近點的坐標;N為點云個數(shù).
經(jīng)過計算,三組數(shù)據(jù)的精度分別為5.339×10-4,5.700×10-6,3.812×10-6m;配準時間分別為28.945,11.218,70.100 s.均有擁有極高的配準精度,時間也在可接受區(qū)間,可以看出 3DLGOP 能夠很好地利用點云的顏色信息進行配準,而且對幾何信息無論明顯與否的彩色點云數(shù)據(jù)均有著極好的配準效果.
本實驗基于點云配準精度(RMSE)和匹配率(正確匹配對數(shù)量/匹配對數(shù)量×100%)對本文提出的FPFH-3DLGOP 描述符和3DLGOP、FPFH 描述符的性能進行比較.
利用第一節(jié)中的關(guān)鍵點提取方法分別提取點云的顏色關(guān)鍵點和幾何關(guān)鍵點.并且組合兩種方法提取包含顏色與幾何信息的混合關(guān)鍵點,本組實驗只采用胡巴和Food_bag 這兩個既存在顏色關(guān)鍵點又存在幾何關(guān)鍵點完成不同特征描述符之間的比較.
4.2.1 關(guān)鍵點提取
圖6 展示了三種彩色點云數(shù)據(jù)集關(guān)鍵點,綠色為顏色關(guān)鍵點,大多處在顏色變化區(qū)域,紅色代表著幾何關(guān)鍵點,大多處在曲面的凹凸部位,藍色則是混合關(guān)鍵點,大多處在顏色與幾何關(guān)鍵點的重合區(qū)域.
圖6 點云關(guān)鍵點示意圖Fig.6 Schematic diagram of key points of point cloud
關(guān)鍵點提取實驗結(jié)果如表3 所示.
表3 三種提取關(guān)鍵點方法的實驗結(jié)果Tab.3 Experimental results of three key point extraction methods
4.2.2 不同特征描述子的性能比較
利用這三種不同的關(guān)鍵點驗證FPFH-3DLGOP特征描述子的配準效率和配準精度,并將其與FPFH和3DLGOP 描述符進行對比.圖7~圖12 展示了三維彩色點云數(shù)據(jù)集胡巴與Food_bag 在不同特征描述符、不同關(guān)鍵點下的配準性能對比,對比圖橫坐標表示關(guān)鍵點鄰域描述半徑,設(shè)置的值為點云分辨率的倍數(shù).
圖7 三種描述符基于顏色關(guān)鍵點的匹配率比較圖Fig.7 Matching rate comparison of three descriptors based on color key points
圖8 三種描述符基于顏色關(guān)鍵點的配準精度比較圖Fig.8 Registration accuracy comparison of three descriptors based on color key points
從圖7 能夠容易看出,針對顏色關(guān)鍵點的配準,匹配率最高的為3DLGOP 描述符,顯示出了提取顏色關(guān)鍵點的優(yōu)勢;由于顏色關(guān)鍵點更多的是描述了顏色信息,幾何信息利用較少,因此FPFH 描述符的匹配率是最低的,能夠看出FPFH 的局限性,更適合于幾何信息明顯的點云數(shù)據(jù).從圖9 可以看出,對于幾何關(guān)鍵點,3DLGOP 匹配率也比FPFH 的匹配率高,有著更好的魯棒性與泛用性;對于FPFH-3DLGOP 描述符,因其融合了兩種描述符的信息,其匹配率一直處在兩種描述符匹配率中間,匹配率變化趨勢與兩種描述符匹配率相同.
圖9 三種描述符基于幾何關(guān)鍵點的匹配率比較圖Fig.9 Matching rate comparison of three descriptors based on geometric key points
從圖8 和圖10 中能夠看出FPFH-3DLGOP 描述子配準精度最好,其原因在于相匹配的三維彩色點云點對顏色與幾何信息都相似,有著更高的置信度,由此計算出的轉(zhuǎn)換矩陣與真實轉(zhuǎn)換矩陣更加接近,能夠得到更高的點云配準精度.
圖10 三種描述符基于幾何關(guān)鍵點的配準精度比較圖Fig.10 Registration accuracy comparison of three descriptors based on geometric key points
針對混合關(guān)鍵點的描述,從圖11 能夠看出融合了顏色與幾何信息的FPFH-3DLGOP 描述符匹配率最高,原因在于兩種信息的互補,從圖12 同樣知道此描述符的配準精度最高.
圖11 三種描述符基于混合關(guān)鍵點的匹配率比較圖Fig.11 Matching rate comparison of three descriptors based on mixed key points
圖12 三種描述符基于混合關(guān)鍵點的配準精度比較圖Fig.12 Registration accuracy comparison of three descriptors based on mixed key points
點云數(shù)據(jù)集Bowl 中由于缺少幾何關(guān)鍵點,不同描述符無法進行比較,因此表4 列出了此點云數(shù)據(jù)集的FHFH-3DLGOP 配準實驗結(jié)果,其中描述半徑是5 倍點云分辨.對比bowl 數(shù)據(jù)集在3DLGOP 的配結(jié)果,可以看到FPFH-3DLGOP 描述符的匹配率與3DLGOP 相比有所下降,但精度是提高的.
表4 Bowl 的FHFH-3DLGOP 點云配準實驗結(jié)果Tab.4 Bowl's FHFHFH-3DLGOP point cloud registration experiment results
將本文設(shè)計算法與文獻[20]的3DNPFH 算法進行對比,選用胡巴數(shù)據(jù)集對三種不同節(jié)點進行配準,實驗對比結(jié)果如圖13、圖14 所示.
圖13 基于三種關(guān)鍵點匹配率對比圖Fig.13 Matching rate comparison based on three key points
圖14 基于三種關(guān)鍵點配準精度對比圖Fig.14 Registration accuracy comparison based on three key points
從圖13 的三種關(guān)鍵點匹配率可以看出對于混合關(guān)鍵點與顏色關(guān)鍵點的匹配率,F(xiàn)PFH-3DLGOP 的性能更加優(yōu)越,雖然對于幾何關(guān)鍵點的匹配率低于3DNPFH,但是仍然有著較高的匹配率,有著極高的魯棒性.從圖14 能夠看出,對比3DNPFH,F(xiàn)PFH-3DLGOP 保持極高的配準精度,對于幾何關(guān)鍵點配準,與3DNPFH 精度相差不大,同樣有著極高精度.對于顏色關(guān)鍵點以及混合關(guān)鍵點配準,由于本文設(shè)計描述符有著顏色信息,并且將顏色與幾何信息兩種信息進行融合,此時的配準精度更加優(yōu)越,凸顯了顏色信息在配準中的作用.無論在哪種情況下,F(xiàn)PFH-3DLGOP 均有著較高的匹配率與配準精度.
從以上的實驗結(jié)果不難得出:FPFH-3DLGOP 描述符配準的綜合性能是最優(yōu)的,其綜合了三維彩色點云的幾何與顏色信息進行描述,提高配準精度的同時又有著廣泛的應(yīng)用范圍.
本文提出一種融合顏色信息和幾何特征的FPFH-3DLGO 混合特征描述符來完成點云的配準.該描述符將FPFH 描述符中的幾何特征和本文提出的3DLGOP 中的顏色信息及CSHOT 中的顏色特征進行融合,使幾何與顏色兩種特征在一定程度上互補,提高了點云的粗配準精度.通過實驗很好地驗證了本文提出的融合顏色信息和幾何信息的點云配準算法的優(yōu)越性,當點云的幾何特征或者顏色特征不明顯時,利用另外一種特征進行補充,大大完善了點云配準的結(jié)果.同時當只有一特征時,由于融合了兩種特征,同樣可以很好地完成點云配準.