史哲慧，關(guān)志偉，陳 強(qiáng)，許圣潔，朱伯青

（天津職業(yè)技術(shù)師范大學(xué)，天津 300222）

0 引言

隨著現(xiàn)代技術(shù)的不斷發(fā)展，智能汽車(chē)上單一傳感器已無(wú)法單獨(dú)可靠地完成感知車(chē)輛周?chē)h(huán)境信息的任務(wù)，多傳感器的信息融合可以打破單一傳感器的局限性，提高系統(tǒng)的魯棒性，擴(kuò)展時(shí)間和空間的覆蓋率，從而更全面準(zhǔn)確地感知環(huán)境空間[1]。其中，視覺(jué)傳感器主要通過(guò)相機(jī)采集圖像和視頻數(shù)據(jù)，提取重要的可見(jiàn)信息；激光雷達(dá)主要發(fā)射光束獲取反射回波，提取周?chē)h(huán)境的點(diǎn)云信息。激光雷達(dá)與相機(jī)的融合感知能夠同時(shí)獲得物體的深度信息和色彩紋理信息，廣泛用于目標(biāo)檢測(cè)和高精定位等領(lǐng)域[2，3]。

然而，兩者數(shù)據(jù)融合的處理前提是對(duì)它們進(jìn)行了有效且可靠的聯(lián)合標(biāo)定。Ashesh Jain等[4]指出，精確的標(biāo)定對(duì)于進(jìn)一步的處理步驟至關(guān)重要，比如傳感器融合、實(shí)現(xiàn)算法的障礙檢測(cè)、定位以及控制等。Kaiser等[5]將激光雷達(dá)與相機(jī)傳感器之間的剛性位移的估計(jì)問(wèn)題，歸結(jié)為一組平面和線在三維空間中的配準(zhǔn)問(wèn)題，提出了一種新的標(biāo)定算法。俞德崎等[6]利用ArUco標(biāo)簽確定標(biāo)定板與相機(jī)坐標(biāo)系間的關(guān)系，通過(guò)隨機(jī)采樣一致性算法提取紙板角點(diǎn)以建立對(duì)應(yīng)關(guān)系，采用Kabsh算法求解最有配準(zhǔn)參數(shù)。韓正勇等[7]將外參標(biāo)定轉(zhuǎn)為三維空間矩陣旋轉(zhuǎn)縮放問(wèn)題的求解，利用較少幀數(shù)即可獲得高精度外參矩陣。Geiger等[8]提出棋盤(pán)上的圖案很容易被相機(jī)識(shí)別，其本身也很容易被距離傳感器檢測(cè)到，利用棋盤(pán)格作為攝像頭和距離傳感器之間的標(biāo)定任務(wù)的目標(biāo)，取得了良好效果。本文采用傳統(tǒng)棋盤(pán)格聯(lián)合標(biāo)定法，將不同尺寸的棋盤(pán)格作為標(biāo)定板采集數(shù)據(jù)并建立方程，計(jì)算參數(shù)從而獲取標(biāo)定結(jié)果，進(jìn)而對(duì)比分析標(biāo)定板尺寸對(duì)激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定結(jié)果的影響。

1 標(biāo)定原理

不同的傳感器有各自獨(dú)立的坐標(biāo)系和不同的采集頻率，實(shí)現(xiàn)融合的前提是將各自的坐標(biāo)系數(shù)據(jù)轉(zhuǎn)換到同一坐標(biāo)系并配準(zhǔn)時(shí)間。激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定是為了找到同一時(shí)刻激光點(diǎn)云數(shù)據(jù)和圖像中對(duì)應(yīng)的像素點(diǎn)[9]。激光雷達(dá)坐標(biāo)系以激光雷達(dá)幾何中心為原點(diǎn)，表示為[XL，YL，ZL]，視覺(jué)傳感器（以相機(jī)為例）存在3個(gè)坐標(biāo)系：相機(jī)坐標(biāo)系以相機(jī)光心為原點(diǎn)，用來(lái)描述物體與相機(jī)的相對(duì)位置，可表示為[XC，YC，ZC]；圖像坐標(biāo)系以相機(jī)光軸與圖像平面交點(diǎn)為原點(diǎn)，可表示為[X，Y]；像素坐標(biāo)系可表示為[u，v]。聯(lián)合標(biāo)定的本質(zhì)問(wèn)題是表示空間坐標(biāo)旋轉(zhuǎn)的矩陣R和表示空間坐標(biāo)平移的矩陣T的求解問(wèn)題[10]，如圖1所示。

圖1 激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定

空間坐標(biāo)旋轉(zhuǎn)的矩陣R和表示空間坐標(biāo)平移的矩陣T的求解坐標(biāo)變換過(guò)程包括以下3個(gè)步驟：

第1步：從激光雷達(dá)坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，可以用旋轉(zhuǎn)矩陣R和平移矩陣T表示，如式（1）所示。

第2步：相機(jī)坐標(biāo)系轉(zhuǎn)換至圖像坐標(biāo)系，是將三維坐標(biāo)系轉(zhuǎn)換至二維坐標(biāo)系，其中f為相機(jī)焦距，如式（2）所示。

第3步：圖像坐標(biāo)系到像素坐標(biāo)系之間的關(guān)系，如式（3）所示。其中dx，dy為x，y軸的像素轉(zhuǎn)換單位（mm/Pixel），u0，v0為投影屏幕中心相對(duì)于光軸出現(xiàn)的偏移。

將式（1）～（3）整理，得到激光雷達(dá)與相機(jī)的坐標(biāo)轉(zhuǎn)換關(guān)系為式（4）所示。

以棋盤(pán)格標(biāo)定板上的坐標(biāo)點(diǎn)空間坐標(biāo)及相應(yīng)的圖像成像點(diǎn)坐標(biāo)聯(lián)立方程組，即可計(jì)算出空間坐標(biāo)旋轉(zhuǎn)的矩陣R和表示空間坐標(biāo)平移的矩陣T。

2 標(biāo)定結(jié)果的評(píng)價(jià)指標(biāo)

本文評(píng)定標(biāo)定結(jié)果的評(píng)價(jià)指標(biāo)選用重投影誤差。重投影誤差指真實(shí)三維空間點(diǎn)在圖像平面上的投影（真實(shí)的像素點(diǎn)）和重投影（計(jì)算值得到的虛擬像素點(diǎn)）的差值。由于計(jì)算得到的值和實(shí)際情況不完全相同，故需要將差值的和最小化以獲取最優(yōu)的相機(jī)位姿參數(shù)及三維空間點(diǎn)的坐標(biāo)[11]。使用重投影誤差作為評(píng)價(jià)指標(biāo)，可以兼顧矩陣的計(jì)算誤差和圖像點(diǎn)的測(cè)量誤差，有利于提高判斷的精確度。

記P為棋盤(pán)格角點(diǎn)的位置，將m個(gè)棋盤(pán)格角點(diǎn)記為P（jj∈（0，m-1）），假設(shè)所有角點(diǎn)都可被檢測(cè)到。利用標(biāo)定參數(shù)將Pj從第i個(gè)位姿投影至圖像上，得到虛擬的像素點(diǎn)，對(duì)應(yīng)真實(shí)的原始像素點(diǎn)為Pij，記重投影誤差為E，則計(jì)算公式如式（5）所示：

3 標(biāo)定實(shí)驗(yàn)

實(shí)驗(yàn)過(guò)程中，使用USB接口攝像頭和Velodyne16線激光雷達(dá)分別采集相機(jī)圖像數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)，基于ROS（Robot operating system）操作系統(tǒng)在Linux環(huán)境下進(jìn)行。相機(jī)具體參數(shù)見(jiàn)表1，雷達(dá)具體參數(shù)見(jiàn)表2。標(biāo)定實(shí)驗(yàn)所用激光雷達(dá)與相機(jī)的相對(duì)位置保持固定不變，安裝關(guān)系如圖2所示。相機(jī)垂直固定在激光雷達(dá)下側(cè)3 cm處。

圖2 相機(jī)與激光雷達(dá)的安裝位置

表1 相機(jī)主要參數(shù)

表2 激光雷達(dá)主要參數(shù)

實(shí)驗(yàn)過(guò)程中利用Autoware的標(biāo)定工具箱，按照張正友標(biāo)定法對(duì)相機(jī)先進(jìn)行標(biāo)定。Autoware是世界上第一個(gè)用于自動(dòng)駕駛汽車(chē)的“多合一”開(kāi)源軟件，建立在機(jī)器人操作系統(tǒng)（ROS）上。它包括駕駛自動(dòng)駕駛汽車(chē)的所有必要功能，從定位和對(duì)象檢測(cè)到路線規(guī)劃和控制，包括傳感器的校準(zhǔn)和融合。

實(shí)驗(yàn)過(guò)程中，采用12×9棋盤(pán)格標(biāo)定板，如圖3所示。

圖3 棋盤(pán)格標(biāo)定板

3.1 相機(jī)標(biāo)定

在ROS環(huán)境下進(jìn)行相機(jī)的內(nèi)參標(biāo)定，棋盤(pán)格的單個(gè)格子邊長(zhǎng)為20 mm。使用相機(jī)采集了20張棋盤(pán)格在不同方位的圖像進(jìn)行校準(zhǔn)，如圖4所示。

圖4 相機(jī)校準(zhǔn)

相機(jī)內(nèi)參標(biāo)定結(jié)果為：

3.2 聯(lián)合標(biāo)定

實(shí)驗(yàn)中固定了激光雷達(dá)與攝像頭的相對(duì)位置和絕對(duì)位置，手持標(biāo)定板在兩者前方0.8 m和1.5 m處移動(dòng)變換，在左、中、右3個(gè)位置分別做出將標(biāo)定板正對(duì)相機(jī)、左傾斜、右傾斜、上傾斜、下傾斜5個(gè)動(dòng)作，共30個(gè)位姿以供傳感器采集數(shù)據(jù)，如圖5所示。利用Autoware的標(biāo)定工具箱抓取同一時(shí)刻下不同位姿的圖像及對(duì)應(yīng)點(diǎn)云，選取30對(duì)數(shù)據(jù)進(jìn)行聯(lián)合標(biāo)定，通過(guò)對(duì)內(nèi)角點(diǎn)檢測(cè)與標(biāo)定板中心點(diǎn)云進(jìn)行手動(dòng)標(biāo)定，求得標(biāo)定外參及重投影誤差。每種標(biāo)定板做3組實(shí)驗(yàn)，取重投影誤差最小、融合效果最好的一組作為最終實(shí)驗(yàn)結(jié)果。

圖5 不同位姿的圖像采集

小尺寸標(biāo)定板中單個(gè)格子邊長(zhǎng)為20 mm，大尺寸標(biāo)定板單個(gè)格子邊長(zhǎng)為60 mm。小尺寸標(biāo)定板的標(biāo)定結(jié)果如圖6所示，左圖為相機(jī)采集的圖像數(shù)據(jù)，右圖為同一時(shí)刻下激光雷達(dá)采集的點(diǎn)云數(shù)據(jù)，可以看到標(biāo)定的點(diǎn)云投影至在圖像上時(shí)分散至標(biāo)定板外。大尺寸標(biāo)定板的標(biāo)定結(jié)果如圖7所示，點(diǎn)云能夠全部投影至標(biāo)定板上，重投影效果優(yōu)于小尺寸標(biāo)定板的標(biāo)定結(jié)果。

圖6 小尺寸標(biāo)定結(jié)果

圖7 大尺寸標(biāo)定結(jié)果

選用邊長(zhǎng)為20 mm的小尺寸標(biāo)定板和邊長(zhǎng)為60 mm的大尺寸標(biāo)定板時(shí)，3組實(shí)驗(yàn)的重投影誤差見(jiàn)表3，小尺寸標(biāo)定板的重投影誤差平均值為1.195179pixel，大尺寸標(biāo)定板的重投影誤差平均值為0.402618pixel。選用尺寸較大的標(biāo)定板，可有效提高激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的精度。

表3 實(shí)驗(yàn)重投影誤差對(duì)比

激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定后的數(shù)據(jù)融合效果如圖8所示，左邊為小尺寸標(biāo)定板的融合效果，右邊為大尺寸標(biāo)定板的融合效果。從圖8可以看出，左圖的點(diǎn)云在圖像上分布散亂，周?chē)h(huán)境的點(diǎn)云與標(biāo)定板的點(diǎn)云分界不明確；右圖的點(diǎn)云分布均勻，能夠分辨出周?chē)h(huán)境與標(biāo)定板的分界線，能夠?yàn)閭鞲衅魅诤蠈?duì)障礙物的檢測(cè)奠定基礎(chǔ)。

圖8 融合效果

最終小尺寸標(biāo)定板融合效果的點(diǎn)云分散不成形；大尺寸標(biāo)定板融合的點(diǎn)云清晰，最終標(biāo)定的重投影誤差為0.38084，激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的空間坐標(biāo)旋轉(zhuǎn)的矩陣R和表示空間坐標(biāo)平移的矩陣T結(jié)果為：

4 結(jié)語(yǔ)

為探究標(biāo)定板尺寸對(duì)激光雷達(dá)與相機(jī)的外參聯(lián)合標(biāo)定是否存在影響，本文首先對(duì)相機(jī)進(jìn)行了內(nèi)參的校準(zhǔn)，然后通過(guò)對(duì)單格邊長(zhǎng)分別為20 mm和60 mm兩種尺寸的12×9的棋盤(pán)格標(biāo)定板分別進(jìn)行了3組聯(lián)合標(biāo)定實(shí)驗(yàn)，每組實(shí)驗(yàn)選取30對(duì)數(shù)據(jù)，最后，對(duì)比分析了重投影誤差，選用邊長(zhǎng)為20 mm的小尺寸標(biāo)定板和邊長(zhǎng)為60 mm的大尺寸標(biāo)定板時(shí)，重投影誤差平均值分別為1.195179pixel和0.402618pixel。實(shí)驗(yàn)結(jié)果表明，大尺寸的標(biāo)定板比小尺寸標(biāo)定板的標(biāo)定結(jié)果更好，重投影誤差更小，魯棒性更高。