黃 強(qiáng)，潘常春，裴 凌，劉海春，李嵐臻，李 揚(yáng)，李澤亞

(1.上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240；2.上海交通大學(xué)北斗導(dǎo)航與位置服務(wù)重點(diǎn)實(shí)驗(yàn)室，上海 200240；3.上海西虹橋?qū)Ш郊夹g(shù)有限公司，上海 201799；4.北京跟蹤與通信技術(shù)研究所，北京 100089)

0 引言

激光雷達(dá)與視覺傳感器在智能化移動(dòng)機(jī)器人與無人駕駛領(lǐng)域具有廣泛應(yīng)用，激光雷達(dá)的優(yōu)點(diǎn)在于其有著較遠(yuǎn)的探測(cè)距離和較高的三維信息獲取能力、受環(huán)境影響較小、魯棒性好，但也存在著價(jià)格高昂、數(shù)據(jù)點(diǎn)稀疏的問題；視覺傳感器的優(yōu)勢(shì)在于其有著非常豐富的直觀視覺信息，以及大量?jī)?yōu)秀的視覺算法，在環(huán)境感知和目標(biāo)檢測(cè)方面具有極大優(yōu)勢(shì)，且成本低廉，但也存在著難以獲取相對(duì)精確的三維信息、魯棒性差、需要大量計(jì)算資源、受環(huán)境光照影響較大的問題。對(duì)兩者進(jìn)行數(shù)據(jù)融合可以發(fā)揮兩個(gè)傳感器各自的優(yōu)勢(shì)，提升整體運(yùn)行中的精度與魯棒性，在多傳感器融合的SLAM和多模態(tài)的環(huán)境感知等多個(gè)領(lǐng)域內(nèi)都是研究的熱點(diǎn)問題。而傳感器間的聯(lián)合標(biāo)定是實(shí)現(xiàn)傳感器融合的重要基礎(chǔ)，其精度直接影響后續(xù)融合算法的精度。

激光雷達(dá)與視覺傳感器的標(biāo)定方法主要分為靜態(tài)離線標(biāo)定與動(dòng)態(tài)在線標(biāo)定兩大類。靜態(tài)離線標(biāo)定主要依賴于標(biāo)定物如棋盤格、Arucomarker[1-2]等構(gòu)成的標(biāo)定板等。Q.Zhang等[3]采用棋盤格標(biāo)定板首先進(jìn)行了單線激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定。通過激光點(diǎn)云識(shí)別出標(biāo)定板是靜態(tài)標(biāo)定中的重要一步，A.Dhall等[4]和L.Zhou等[5]通過檢測(cè)激光雷達(dá)下的標(biāo)定板邊緣點(diǎn)來擬合角點(diǎn)，借此實(shí)現(xiàn)點(diǎn)云配準(zhǔn)。A.Khosravian等[6]將棋盤格提取公式轉(zhuǎn)化為具有明確目標(biāo)函數(shù)的組合優(yōu)化問題，并提出了一種用于優(yōu)化目標(biāo)的分支定界技術(shù)。在激光點(diǎn)云分類上，A.Geiger等[7]利用貪婪的思想去除數(shù)量少的點(diǎn)集以實(shí)現(xiàn)配準(zhǔn)，而康國華等[8]則是利用點(diǎn)云中心粗配準(zhǔn)實(shí)現(xiàn)點(diǎn)云整體精配準(zhǔn)。改進(jìn)標(biāo)定板也是靜態(tài)標(biāo)定中的一種思路。Z.Chen等[9]則設(shè)計(jì)了一種標(biāo)定立方體，通過建立立方體下雷達(dá)點(diǎn)云與圖像之間的方程，并采集標(biāo)定立方體多角度點(diǎn)云來求解標(biāo)定參數(shù)。L.Tao等[10]針對(duì)不同材料的激光雷達(dá)反射強(qiáng)度設(shè)置閾值來獲取激光雷達(dá)點(diǎn)云，并據(jù)此設(shè)計(jì)了一種新標(biāo)定板。ROS下的Autoware工具箱[11]也采用棋盤格與手動(dòng)選擇的方式進(jìn)行多線激光雷達(dá)與視覺傳感器的標(biāo)定。動(dòng)態(tài)在線標(biāo)定主要依賴于環(huán)境特征，一般采用邊緣檢測(cè)等方式得到特征之間的對(duì)應(yīng)關(guān)系，斯坦福大學(xué)人工智能實(shí)驗(yàn)室智能車[12]與百度Apollo平臺(tái)[13]上使用的激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定均采用此方式，其標(biāo)定效果受標(biāo)定環(huán)境和振動(dòng)等問題影響較大，通常容易在豎直方向有較大的標(biāo)定誤差。

靜態(tài)標(biāo)定在精度上優(yōu)于動(dòng)態(tài)標(biāo)定，是當(dāng)前主要研究方向。在上述靜態(tài)標(biāo)定方法中，一部分[5,7-8]針對(duì)傳統(tǒng)標(biāo)定板進(jìn)行標(biāo)定，存在采集幀數(shù)和激光點(diǎn)云較多的問題，并且需要手動(dòng)選取雷達(dá)點(diǎn)云；另一部分[9-10]對(duì)標(biāo)定板進(jìn)行了改進(jìn)，但改進(jìn)過于復(fù)雜，對(duì)具體實(shí)施效率影響較大。針對(duì)上述問題，本文在Tao等[10]的標(biāo)定板上進(jìn)行改進(jìn)，設(shè)計(jì)了一種新的標(biāo)定板，通過分解重構(gòu)提升標(biāo)定板的易用性與適用性，實(shí)現(xiàn)激光雷達(dá)特征點(diǎn)的自動(dòng)識(shí)別，并增加相機(jī)校驗(yàn)機(jī)制以緩解誤差，提升了標(biāo)定結(jié)果的精度與魯棒性，最終分別與雙目相機(jī)的左右目進(jìn)行標(biāo)定實(shí)驗(yàn)，量化地評(píng)估其標(biāo)定結(jié)果的誤差。

1 方法

1.1 概述

本方法通過設(shè)計(jì)可重構(gòu)標(biāo)定板，為激光雷達(dá)marker的自動(dòng)識(shí)別提供基礎(chǔ)。通過算法自動(dòng)識(shí)別標(biāo)定板雷達(dá)點(diǎn)云，并通過相機(jī)識(shí)別校驗(yàn)機(jī)制緩解相機(jī)識(shí)別中存在的誤差。相比于傳統(tǒng)方法，本方法具有以下優(yōu)勢(shì)：

1)不需要復(fù)雜的標(biāo)定板，實(shí)用性高；

2)避免了人為選取雷達(dá)點(diǎn)云，提升了易用性；

3)針對(duì)相機(jī)可能存在的誤差進(jìn)行了處理，提升了魯棒性。

具體涉及的軟件模塊構(gòu)成如圖1所示。

圖1 標(biāo)定軟件模塊構(gòu)成

1.2 可重構(gòu)標(biāo)定板

本文提出了一種可重構(gòu)的標(biāo)定板以實(shí)現(xiàn)多線激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定，該標(biāo)定板為基于Tao等[10]提出的標(biāo)定板進(jìn)行改進(jìn)得到的。前者通過強(qiáng)度進(jìn)行特征點(diǎn)的選取，但需要手動(dòng)選取并且標(biāo)定板的適用范圍非常局限，在實(shí)際操作中需要花費(fèi)大量的時(shí)間去尋找標(biāo)定板所處的合適位置；當(dāng)視覺傳感器與激光雷達(dá)的傳感器相對(duì)位置發(fā)生變化時(shí)，同樣需要花費(fèi)大量的時(shí)間去調(diào)整合適的位置，且位置的調(diào)整是無規(guī)律可循的；同時(shí)，在一些視覺傳感器與激光雷達(dá)的相對(duì)位置下不存在所謂的標(biāo)定板的合適位置，極大地限制了該方法的適用性與易用性。

因此，本文在上述標(biāo)定方法的基礎(chǔ)上對(duì)標(biāo)定板進(jìn)行了改進(jìn)，將標(biāo)定板中視覺marker與激光雷達(dá)marker構(gòu)建成標(biāo)準(zhǔn)化單板。在實(shí)際使用時(shí)，通過觀測(cè)激光雷達(dá)的可視化數(shù)據(jù)，擺放單個(gè)激光雷達(dá)marker標(biāo)準(zhǔn)化單板，以及觀測(cè)視覺傳感器下圖像，調(diào)整視覺marker標(biāo)準(zhǔn)化單板的位置。然后基于兩側(cè)的刻度尺數(shù)值進(jìn)行先驗(yàn)信息的快速重構(gòu)，從而實(shí)現(xiàn)標(biāo)定板的重構(gòu)，大幅提升了其適用性與易用性。具體的可重構(gòu)標(biāo)定板的設(shè)計(jì)圖如圖2所示。

圖2 可重構(gòu)標(biāo)定板設(shè)計(jì)圖

在激光雷達(dá)marker標(biāo)準(zhǔn)化單板中，為了實(shí)現(xiàn)激光雷達(dá)marker的自動(dòng)識(shí)別，借鑒條形碼的思路設(shè)計(jì)了用于識(shí)別的起始符與終止符，中間的黑色方塊即為激光雷達(dá)識(shí)別的marker，如圖3所示。在激光雷達(dá)marker標(biāo)準(zhǔn)化單板中，每個(gè)黑色塊以及中間的白色塊均為既定的寬度。

圖3 激光雷達(dá)marker標(biāo)準(zhǔn)化單板

1.3 激光雷達(dá)marker自動(dòng)識(shí)別方法

激光雷達(dá)marker的自動(dòng)識(shí)別方法借鑒了條形碼識(shí)別方法[14]，首先累積若干幀的數(shù)據(jù)，并采用強(qiáng)度閾值對(duì)ROI區(qū)域進(jìn)行激光雷達(dá)特征點(diǎn)的濾波。但受限于激光雷達(dá)的測(cè)距精度，以及觀測(cè)的激光雷達(dá)標(biāo)準(zhǔn)板通常處于較遠(yuǎn)距離，因此與常規(guī)的條形碼近距離掃描方式存在一定差異。而且所采用的Velodyne 16線激光雷達(dá)的精度為3cm，而本文所使用的標(biāo)準(zhǔn)化單板上的marker方塊尺寸為1cm，這導(dǎo)致了激光雷達(dá)采樣結(jié)果稀疏，同時(shí)依靠三維空間距離的判定會(huì)存在難以識(shí)別的問題。

針對(duì)這種情況，本文采用預(yù)設(shè)投影的方式，通過預(yù)設(shè)的投影矩陣將激光雷達(dá)的三維點(diǎn)投影到像平面，在像平面上對(duì)單線以DBSCAN聚類[15]方法進(jìn)行投影點(diǎn)的聚類，并采用相對(duì)寬松的比例閾值以及對(duì)應(yīng)的實(shí)際物理距離等組合約束進(jìn)行激光雷達(dá)marker的識(shí)別，最終識(shí)別出21(3×7)處。對(duì)識(shí)別出的激光雷達(dá)marker點(diǎn)再做進(jìn)一步的校正。該方法從一定程度上緩解了激光雷達(dá)測(cè)距精度和遠(yuǎn)距離識(shí)別的問題，最后結(jié)合所有幀數(shù)據(jù)信息實(shí)現(xiàn)特征點(diǎn)的對(duì)應(yīng)。其算法流程圖如圖4所示。

1.4 視覺marker校驗(yàn)

在實(shí)際的運(yùn)行中，由于環(huán)境因素、距離遠(yuǎn)近和對(duì)焦問題等影響，會(huì)存在視覺marker識(shí)別不穩(wěn)的情況，引入不必要的誤差。對(duì)于上述問題，本文采用雙視覺marker進(jìn)行校驗(yàn)的方法對(duì)識(shí)別不穩(wěn)的情況進(jìn)行檢測(cè)與剔除，如圖5所示。

(1)

圖5 視覺校驗(yàn)

1.5 外參求解

其優(yōu)化模型可寫作

(2)

在初始外參上通過最小二乘擬合求解上述優(yōu)化問題。

2 實(shí)驗(yàn)

為了驗(yàn)證所提標(biāo)定方法的性能，采用ZED雙目相機(jī)與Velodyne 16線激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，標(biāo)定實(shí)驗(yàn)場(chǎng)景如圖6所示。

圖6 標(biāo)定實(shí)驗(yàn)

(3)

將式(3)得到的左右目外參與相機(jī)出廠時(shí)給定的左右目外參進(jìn)行比較，計(jì)算標(biāo)定的誤差。實(shí)驗(yàn)中，通過改變標(biāo)定板位置進(jìn)行了三組實(shí)驗(yàn)，取均值作為最終評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)數(shù)據(jù)如表1所示，前兩行是雷達(dá)與左右目分別標(biāo)定時(shí)的均方根誤差(Root Mean Squared Error, RMSE)，后六行為標(biāo)定所得左右目外參與出廠外參的誤差。

表1 相機(jī)左右目與雷達(dá)標(biāo)定實(shí)驗(yàn)誤差

相機(jī)左右目標(biāo)定的RMSE分別為0.98cm和1.57cm，取二者的均值1.275cm作為整體標(biāo)定實(shí)驗(yàn)的RMSE。

在上述實(shí)驗(yàn)的基礎(chǔ)上，復(fù)現(xiàn)文獻(xiàn)[4]中Dhall等的實(shí)驗(yàn)，同樣也進(jìn)行雷達(dá)與相機(jī)左右目的標(biāo)定，將實(shí)驗(yàn)結(jié)果與本文實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，如表2所示。

表2 對(duì)比實(shí)驗(yàn)結(jié)果

對(duì)比實(shí)驗(yàn)結(jié)果顯示，本文標(biāo)定效果優(yōu)于文獻(xiàn)[4]中Dhall等的方法。

除了利用數(shù)據(jù)客觀地評(píng)價(jià)標(biāo)定結(jié)果外，也可以采用將激光雷達(dá)點(diǎn)云投影到像平面上的可視化方法進(jìn)行結(jié)果驗(yàn)證。雷達(dá)點(diǎn)云投影到像平面,利用標(biāo)定得到的雷達(dá)與相機(jī)的外參可以實(shí)現(xiàn)。投影得到的可視化圖像如圖7所示。通過對(duì)比可以看出，經(jīng)過本文方法標(biāo)定后的雷達(dá)點(diǎn)云投影到圖像后，與圖像中場(chǎng)景的契合度比較高，優(yōu)于Dhall的方法,直觀地表明了本方法下雷達(dá)與相機(jī)的標(biāo)定精度高。

(a)本文方法

圖8 雙目相機(jī)投影驗(yàn)證可視化結(jié)果

3 總結(jié)

本文主要設(shè)計(jì)了一款可重構(gòu)標(biāo)定板用于雷達(dá)與相機(jī)的聯(lián)合標(biāo)定?；诖藰?biāo)定板提出了一種類條形碼的激光雷達(dá)特征點(diǎn)的自動(dòng)識(shí)別方法，以及一種棋盤格和Aruco marker的相機(jī)校驗(yàn)方法。算法分析與實(shí)驗(yàn)結(jié)果表明：

1)通過將多種標(biāo)定板進(jìn)行合理的重構(gòu)組合，能夠得到優(yōu)于單一標(biāo)定板的標(biāo)定效果，并且重構(gòu)組合后的標(biāo)定板具有一定的靈活性，以及很高的實(shí)用性。

2)雷達(dá)點(diǎn)的自動(dòng)識(shí)別和誤差幀的自動(dòng)剔除減少了標(biāo)定中的誤差。在標(biāo)定過程中，設(shè)計(jì)自動(dòng)處理環(huán)節(jié)能有效地減少誤差，并且使得標(biāo)定更加方便快捷。

3)本文新設(shè)計(jì)的標(biāo)定板以及相應(yīng)改進(jìn)算法，在標(biāo)定實(shí)驗(yàn)中RMSE為1.275cm，重投影后對(duì)應(yīng)效果好，具有較高的實(shí)用性和工程應(yīng)用價(jià)值。

本文實(shí)驗(yàn)中使用的標(biāo)定板沒有經(jīng)過精加工,后續(xù)可以對(duì)標(biāo)定板采取進(jìn)一步標(biāo)準(zhǔn)化、模塊化的工業(yè)化加工，以提升標(biāo)定結(jié)果的精度。