馮 欣,李 杰,余崇圣,錢基業(yè),何 穎,3

(1.重慶理工大學(xué) 計算機(jī)與工程學(xué)院, 重慶 400054;2.中國科學(xué)院 重慶綠色智能技術(shù)研究院, 重慶 400714;3.重慶知至科技有限公司, 重慶 400025;4.國網(wǎng)重慶市電力公司電力科學(xué)研究院, 重慶 400014)

0 引言

目前,激光雷達(dá)被廣泛應(yīng)用在自動駕駛、目標(biāo)檢測、三維重建等熱門領(lǐng)域[1-7]。其中,激光雷達(dá)按照掃描模式的不同可以分為固態(tài)激光雷達(dá)與機(jī)械激光雷達(dá)。與機(jī)械激光雷達(dá)相比,固態(tài)激光雷達(dá)因非重復(fù)性掃描方式可以獲取稠密點(diǎn)云,并且具備成本低、尺寸小等優(yōu)勢[8],而成為當(dāng)前激光雷達(dá)應(yīng)用的研究熱點(diǎn)。固態(tài)激光雷達(dá)能夠獲取當(dāng)前空間中高精度的三維點(diǎn)云信息,抗干擾性強(qiáng)[9],但不能提供色彩紋理信息;相機(jī)能提供高分辨率的色彩信息[10],但抗干擾性弱。固態(tài)激光雷達(dá)和相機(jī)具有很強(qiáng)的互補(bǔ)性,將兩者的信息進(jìn)行融合,可以獲取更加豐富的信息[11-12]。為了融合兩者的信息,需要通過外參標(biāo)定獲取兩者坐標(biāo)系之間精確的外參。其中,外參由旋轉(zhuǎn)矩陣和平移向量組成。

外參標(biāo)定方法分為無目標(biāo)和基于目標(biāo)2種。其中,無目標(biāo)的方法不需要指定的標(biāo)定物,而是通過獲取自然場景下的幾何特征進(jìn)行外參標(biāo)定。Pandey等[13]通過最大化三維點(diǎn)反射強(qiáng)度與其圖像投影點(diǎn)灰度值之間的互信息建立目標(biāo)函數(shù),使用Barzilai-Borwein算法求解外參。Zhu等[14]通過提取點(diǎn)云的反射強(qiáng)度圖和深度圖中的邊緣,與圖像的灰度圖中邊緣匹配,通過ICP(iterative closest point)求解最佳外參。Gong等[15]利用自然場景下的三面體特征進(jìn)行外參標(biāo)定。Yuan等[16]分析了激光的發(fā)散角對于邊緣特征提取的影響,提出了一種獲取連續(xù)邊緣的方法,通過連續(xù)邊緣特征構(gòu)建約束方程求解外參。由于自然場景差異巨大,平面和邊緣等特征的質(zhì)量難以控制,導(dǎo)致無目標(biāo)的外參標(biāo)定方法的精度難以保證。

基于目標(biāo)的外參標(biāo)定方法是提取一些指定標(biāo)定物的特征進(jìn)行外參標(biāo)定。這些標(biāo)定物往往是制作精度高并且具有明顯幾何特征的物體,例如棋盤格標(biāo)定板、三角板、圓球等。Park等[17]從點(diǎn)云中檢測三角板三維頂點(diǎn),與圖像中手動選取的三角板二維頂點(diǎn)匹配,通過PnP(perspective-n-point)方法求解外參。Zhou等[18]利用平面與邊緣直線的對應(yīng)關(guān)系構(gòu)建約束方程求解外參。Cui等[8]提出一種基于點(diǎn)云反射強(qiáng)度與棋盤格顏色相關(guān)性的棋盤格角點(diǎn)提取算法,通過棋盤格角點(diǎn)構(gòu)建約束方程求解外參。Huang等[19]提出一種通過標(biāo)定板平面點(diǎn)云估計標(biāo)定板頂點(diǎn)的方法,利用標(biāo)定板頂點(diǎn)優(yōu)化求解外參。Beltrán等[20]自制了帶有4個圓洞的標(biāo)定板,通過提取深度不連續(xù)點(diǎn)獲取圓洞點(diǎn)云,然后擬合出點(diǎn)云中4個圓洞的圓心,與圖像中圓心匹配求解外參。Xu等[21]通過RANSAC(random sample consensus)方法擬合三角板平面和邊緣特征,以獲取三角板的角點(diǎn)特征,通過角點(diǎn)優(yōu)化求解外參。由于標(biāo)定板的制作精度高且易于提取特征,因此與無目標(biāo)方法相比,基于目標(biāo)的標(biāo)定方法精度更高。

從上述方法可以看出,從點(diǎn)云中提取準(zhǔn)確特征是外參標(biāo)定的關(guān)鍵步驟。固態(tài)激光雷達(dá)的點(diǎn)云存在噪聲,這種現(xiàn)象在邊緣處尤為明顯。雖然將固態(tài)激光雷達(dá)獲取的多幀點(diǎn)云進(jìn)行疊加可以獲取稠密點(diǎn)云,但也造成了噪聲的疊加。上述問題會影響點(diǎn)云特征的提取,降低外參標(biāo)定結(jié)果的準(zhǔn)確度,因此提出了一種利用雙回波的固態(tài)激光雷達(dá)與相機(jī)外參標(biāo)定方法。首先,通過雙回波去除含噪聲的邊緣點(diǎn)云;然后,從剩余的內(nèi)點(diǎn)云中提取與標(biāo)定板黑格尺寸一致的3D角點(diǎn);最后,從圖像中提取2D角點(diǎn),通過PnP算法優(yōu)化求解外參矩陣。

1 基于雙回波的含噪聲邊緣提取算法

1.1 雙回波的產(chǎn)生

激光雷達(dá)朝周圍物體發(fā)射激光,接收從物體返回的激光,通過激光的往返時間計算物體的距離產(chǎn)生點(diǎn)云。從物體返回的激光稱為回波,如圖1所示。

圖1 固態(tài)激光雷達(dá)通過接收回波產(chǎn)生點(diǎn)云

正常情況下,一根激光只會產(chǎn)生一個回波。但是,若激光在前景邊緣就會產(chǎn)生雙回波。由于激光具有發(fā)散角,因此導(dǎo)致激光打在物體上是一個面,并且激光飛行距離越大,這個面也會越大,如圖2所示。當(dāng)激光打在在前景邊緣時,激光會被邊緣分割為兩個部分,一部分打在前景邊緣,另一部分會繼續(xù)前進(jìn)打在背景上,此時就會出現(xiàn)一根激光產(chǎn)生雙回波的現(xiàn)象。

圖2 雙回波和膨脹點(diǎn)的產(chǎn)生

1.2 邊緣點(diǎn)云噪聲

固態(tài)激光雷達(dá)獲取的點(diǎn)云在邊緣處存在大量邊緣噪聲。文獻(xiàn)[16]指出邊緣噪聲可以分為兩類,分別是連續(xù)噪聲點(diǎn)(B)和膨脹噪聲點(diǎn)(A),如圖3所示。連續(xù)噪聲點(diǎn)是一連串連接前景與背景的連續(xù)點(diǎn),由激光雷達(dá)本身的測量誤差引起。膨脹噪聲點(diǎn)是超出物體真實(shí)范圍的點(diǎn),由激光雷達(dá)對于雙回波的處理方式引起。單回波模式是大多數(shù)激光雷達(dá)默認(rèn)的回波處理模式[22]。單回波模式對于雙回波的處理方式是接收雙回波中反射強(qiáng)度最大的回波。如圖2所示,激光打在前景邊緣產(chǎn)生了雙回波,并且激光的中心線落在背景上。若前景邊緣回波的反射強(qiáng)度大于背景回波的反射強(qiáng)度,則單回波模式會接收前景邊緣回波,丟棄背景回波。由于激光雷達(dá)以激光中心線為基準(zhǔn)產(chǎn)生點(diǎn)云[16],因此在這種情況下前景邊緣回波產(chǎn)生的點(diǎn)并不存在于前景內(nèi),是一個邊緣膨脹點(diǎn)。

圖3 2種邊緣點(diǎn)云噪聲

1.3 基于雙回波的含噪聲邊緣提取算法

邊緣點(diǎn)云噪聲會對點(diǎn)云特征提取造成影響,導(dǎo)致外參標(biāo)定精度的降低,因此必須對邊緣點(diǎn)云噪聲進(jìn)行處理。激光雷達(dá)的單回波模式無法對雙回波進(jìn)行準(zhǔn)確處理,而激光雷達(dá)的雙回波模式可以接收雙回波[22]。如圖4所示,當(dāng)激光束落在前景邊緣產(chǎn)生雙回波時,前景邊緣點(diǎn)一定比背景點(diǎn)距離激光雷達(dá)更近,所以選擇使用雙回波模式接收雙回波,提出一種基于雙回波的含噪聲邊緣提取算法,算法流程如下:

1) 初始化含噪聲的邊緣點(diǎn)云E為空集。

2) 接收雙回波,定義產(chǎn)生的2個三維點(diǎn)為p1和p2,分別來自前景邊緣與背景。

4) 重復(fù)步驟3),直至接收完所有雙回波,最終輸出含噪聲的邊緣點(diǎn)云E。

圖4 基于雙回波的含噪聲邊緣提取算法示意圖

由于產(chǎn)生邊緣噪聲的前提是激光落在邊緣,那么肯定會產(chǎn)生雙回波,因此該算法提取的邊緣點(diǎn)云包含了邊緣噪聲。

2 利用雙回波的外參標(biāo)定方法

為了避免邊緣點(diǎn)云噪聲對外參標(biāo)定的影響,提出一種利用雙回波的固態(tài)激光雷達(dá)與相機(jī)外參標(biāo)定方法,流程如圖5所示。

圖5 利用雙回波的外參標(biāo)定流程圖

2.1 基于內(nèi)點(diǎn)云的角點(diǎn)特征提取方法

2.1.1獲取內(nèi)點(diǎn)云

使用1塊玻璃矩形板作為標(biāo)定板,如圖6(a)所示。在標(biāo)定板上有若干個黑色方格,由于玻璃的透光性,激光雷達(dá)只會接收到黑格點(diǎn)云,如圖6(b)所示。為了獲取稠密的標(biāo)定板點(diǎn)云,需要將多幀點(diǎn)云進(jìn)行疊加。在疊加過程中,邊緣噪聲也會被疊加,如圖6(c)所示。為了避免邊緣噪聲對點(diǎn)云特征提取的影響,利用雙回波提取含噪聲的邊緣點(diǎn)云,如圖6(d)所示,然后將含噪聲的邊緣點(diǎn)云E從標(biāo)定板點(diǎn)云中剔除。定義剩余點(diǎn)云為內(nèi)點(diǎn)云P,結(jié)果如圖6(e)所示。雖然內(nèi)點(diǎn)云P不存在邊緣噪聲,但是由于激光雷達(dá)本身存在測量誤差,導(dǎo)致內(nèi)點(diǎn)云P中的三維點(diǎn)不處在同一平面,如圖6(f)所示。

圖6 利用雙回波提取內(nèi)點(diǎn)云

對內(nèi)點(diǎn)云P使用RANSAC(random sample consensus)方法擬合平面,然后將內(nèi)點(diǎn)云P投影至同一平面,有:

P={[kxp,kyp,kzp]|[xp,yp,zp]∈P}

(1)

其中,(A,B,C,D)是RANSAC方法擬合出的平面,參數(shù)k定義為:

k=-D/(Axp+Byp+Czp)

(2)

2.1.2提取點(diǎn)云中角點(diǎn)特征

如圖7所示,在激光雷達(dá)坐標(biāo)系下構(gòu)建1個與真實(shí)標(biāo)定板尺寸大小一致的虛擬標(biāo)定板S,表示虛擬標(biāo)定板每個黑格的中心點(diǎn)集。S的定義式為:

(3)

(4)

圖7 基于內(nèi)點(diǎn)云的角點(diǎn)提取方法示意圖

(5)

最小化代價函數(shù)C:

(6)

(7)

式中:N為角點(diǎn)個數(shù),取20。

2.2 提取圖像中角點(diǎn)特征

圖8 提取圖像中角點(diǎn)

2.3 外參求解

(8)

(9)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)系統(tǒng)搭建與參數(shù)配置

使用Livox Avia固態(tài)激光雷達(dá)和海康單目相機(jī)(MV-CA013-A0GC)進(jìn)行外參標(biāo)定實(shí)驗(yàn),如圖9(a)所示。傳感器具體參數(shù)如表1和表2所示。采用的標(biāo)定板是1塊矩形玻璃,玻璃上有15個邊長為6 cm的黑色方格,如圖9(b)所示。

圖9 實(shí)驗(yàn)設(shè)置

表1 固態(tài)激光雷達(dá)參數(shù)

表2 相機(jī)參數(shù)

3.2 實(shí)驗(yàn)結(jié)果與分析

將標(biāo)定板放置在當(dāng)前空間中的固定位置,然后移動傳感器獲取7組不同位姿下疊加了100幀的點(diǎn)云與1張圖像數(shù)據(jù)。為了驗(yàn)證雙回波的去噪效果,將7組標(biāo)定板平面點(diǎn)云投影至激光雷達(dá)坐標(biāo)系的yoz平面,統(tǒng)計利用雙回波去除含噪聲前后x軸方向的標(biāo)定板平面點(diǎn)云最大厚度以及標(biāo)準(zhǔn)差,結(jié)果如圖10所示。利用雙回波去除邊緣噪聲后,標(biāo)定板平面點(diǎn)云最大厚度和標(biāo)準(zhǔn)差皆有一定程度的降低,展現(xiàn)了利用雙回波去噪的效果。

為驗(yàn)證不同外參標(biāo)定方法的數(shù)據(jù)融合效果,進(jìn)行以下實(shí)驗(yàn)。首先,從7組不同位姿下的數(shù)據(jù)中選取2～5組數(shù)據(jù),分別使用所提方法與基于標(biāo)定板點(diǎn)云標(biāo)定方法[19]計算外參。然后,使用傳感器錄制1組含標(biāo)定板的點(diǎn)云與圖像作為數(shù)據(jù)融合實(shí)驗(yàn)的驗(yàn)證數(shù)據(jù)。在計算出外參后,將驗(yàn)證數(shù)據(jù)的內(nèi)點(diǎn)云投影至圖像上,結(jié)果如圖11所示。其中紅色點(diǎn)云是所提方法的投影結(jié)果,綠色點(diǎn)云是基于標(biāo)定板點(diǎn)云標(biāo)定方法的投影結(jié)果。可以看出隨著位姿數(shù)的增加,2種方法的數(shù)據(jù)融合效果會越來越好。由于是將內(nèi)點(diǎn)云進(jìn)行投影的,因此最佳投影結(jié)果是內(nèi)點(diǎn)云處于標(biāo)定板黑格的中心部分。另外,所提方法的投影點(diǎn)云比基于標(biāo)定板平面點(diǎn)云標(biāo)定方法的投影點(diǎn)云更接近黑格中心,體現(xiàn)出所提方法具有更好的數(shù)據(jù)融合效果。

角點(diǎn)重投影誤差可以評估外參標(biāo)定精度[19],角點(diǎn)重投影誤差越低,代表外參標(biāo)定精度越高,因此以角點(diǎn)重投影誤差為評估指標(biāo),將所提方法與基于標(biāo)定板點(diǎn)云的標(biāo)定方法[19]進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)方式與文獻(xiàn)[19]相同,采用交叉驗(yàn)證的方式。將7組不同位姿數(shù)據(jù)定義為S1至S7,從S1至S7中選取若干組數(shù)據(jù)進(jìn)行外參標(biāo)定,然后將外參結(jié)果應(yīng)用在全部7組數(shù)據(jù)中計算角點(diǎn)重投影誤差。由于交叉驗(yàn)證的實(shí)驗(yàn)結(jié)果較多,表3僅展示了部分實(shí)驗(yàn)結(jié)果,其中GL表示基于標(biāo)定板點(diǎn)云的標(biāo)定方法。

圖10 去噪實(shí)驗(yàn)結(jié)果

圖11 數(shù)據(jù)融合結(jié)果圖

表3 部分重投影誤差結(jié)果

續(xù)表(表3)

交叉驗(yàn)證的最終結(jié)果如圖12所示。從重投影誤差對比結(jié)果可以看出,在任意位姿數(shù)下,所提方法的重投影誤差低于基于標(biāo)定板點(diǎn)云的標(biāo)定方法。

圖12 重投影誤差最終結(jié)果

為了更直觀地展示所提方法的外參標(biāo)定的效果,進(jìn)行點(diǎn)云投影和點(diǎn)云著色實(shí)驗(yàn),結(jié)果如圖13所示。點(diǎn)云投影是通過所提方法計算出的最佳外參將點(diǎn)云投影至圖像,點(diǎn)云著色則是將圖像投影至點(diǎn)云中。

圖13 數(shù)據(jù)融合結(jié)果

4 結(jié)論

由于固態(tài)激光雷達(dá)的點(diǎn)云誤差較大并且噪聲多,導(dǎo)致固態(tài)激光雷達(dá)與相機(jī)的外參標(biāo)定精度降低,因此提出了一種利用雙回波的固態(tài)激光雷達(dá)與相機(jī)外參標(biāo)定方法。利用雙回波去除邊緣噪聲,通過剩余的內(nèi)點(diǎn)云提取準(zhǔn)確的角點(diǎn)特征,最終由PnP算法求解出最優(yōu)外參。實(shí)驗(yàn)結(jié)果表明,與同類方法相比,所提方法得到的外參具有更好的數(shù)據(jù)融合效果,并且平均重投影誤差更低,外參標(biāo)定結(jié)果精度更高。