魏克全，時兆峰，李 晗，郝 鵬

(北京自動化控制設(shè)備研究所，北京100074)

?

單目攝像機與三維激光雷達聯(lián)合標定的研究

魏克全，時兆峰，李 晗，郝 鵬

(北京自動化控制設(shè)備研究所，北京100074)

為解決單目攝像機與三維激光雷達組成的傳感系統(tǒng)中數(shù)據(jù)匹配的問題，文章采用基于平面特征的方法實現(xiàn)了兩傳感器的聯(lián)合標定，提出了通過優(yōu)化平面靶標擺放位置來減少樣本數(shù)量并提高樣本質(zhì)量，保證標定精度的方法。通過建立數(shù)學模型和實驗驗證了本文方法及算法的正確性，當靶標位置均勻分布在攝像機視場內(nèi)，并且法向量方向均勻分布在四個象限時，只需4個標定位置即可完成參數(shù)求解，且標定誤差與使用16個位置時相當。

聯(lián)合標定；單目攝像機；三維激光雷達；平面特征；匹配融合

0 引言

激光雷達與攝像機的組合傳感系統(tǒng)作為無人車環(huán)境感知的重要技術(shù)手段，已經(jīng)得到廣泛的研究與應(yīng)用。由于兩傳感器獲得的數(shù)據(jù)是在各自坐標系下的表示，而數(shù)據(jù)融合需將兩者數(shù)據(jù)表示在同一坐標系下，因此需要通過聯(lián)合標定來確定兩坐標系中對應(yīng)點之間的轉(zhuǎn)換關(guān)系，即旋轉(zhuǎn)矩陣和平移向量。

聯(lián)合標定通常是利用標定物的特征在兩傳感器坐標系中的坐標來構(gòu)建參數(shù)求解方程。常用的特征主要有點[2]、直線和平面特征[3]，其中使用平面特征的方法可以避免混合像素現(xiàn)象的影響，因而被廣泛采用。Zhang和Pless等[4]較早提出了一種基于平面標定板的標定方法，指出了標定板平面和激光掃描平面間的夾角會對整個標定精度產(chǎn)生影響。項志宇等[5]也利用傳感器原點到靶標平面的距離對應(yīng)性實現(xiàn)了聯(lián)合標定，其只要求有多個位置的靶標數(shù)據(jù)，并未研究靶標擺放位置對結(jié)果的影響，并給出滿足精度要求時所需的最少位置數(shù)，不利于標定效率的提高和標定的流程化，以及組合傳感系統(tǒng)的產(chǎn)品化。

本文在文獻[5]的基礎(chǔ)上進行了單目攝像機與三維激光雷達聯(lián)合標定的研究，提出了一種重投影誤差的計算方法，并提出了通過優(yōu)化靶標擺放位置來減小位置隨意性對結(jié)果的影響，縮短標定時間，簡化標定流程的方法。

1 聯(lián)合標定數(shù)學模型

聯(lián)合標定中各坐標系關(guān)系如圖1所示。其中，OwXwYwZw為標定板坐標系，OcXcYcZc為攝像機坐標系，OlXlYlZl為激光雷達坐標系，T為兩坐標系之間的平移向量，兩坐標系下標定板的單位法向量為Pci和Pli，兩坐標系原點到標定板坐標系原點的平移向量為tci和tli。

圖1 聯(lián)合標定坐標系關(guān)系Fig.1 Relation of coordinate system in joint calibration

設(shè)兩坐標系之間的轉(zhuǎn)換關(guān)系為

(1)

(2)

其解析解為R′=VUT[6]。其中，USVT=PlPcT為矩陣奇異值分解[7]。

由坐標系關(guān)系可知，兩坐標系原點到標定平面的距離差為

PciT=‖Pcitci‖-‖Plitli‖

(3)

對于n個標定位置，取目標函數(shù)為

(4)

(5)

1.1 攝像機中靶標平面參數(shù)求取

本文首先采用張正友法[8]進行攝像機內(nèi)參數(shù)標定，然后計算出攝像機坐標系中標定物平面的法向量以及平面到坐標系原點的距離。

首先定義圖像像素直角坐標系，原點O定義在圖像平面的左上角，像素坐標(u，v)表示該像素在像素數(shù)組中的列數(shù)和行數(shù)。再建立以長度單位表示的圖像物理坐標系，原點O′定義在主點(即攝像機光軸與圖像平面的交點)，x、y軸分別平行于u、v軸。最后定義攝像機直角坐標系，原點Oc定義在攝像機的光心，Xc、Yc軸分別平行于x、y軸，Zc軸為光軸。攝像機各坐標系關(guān)系如圖2所示。

圖2 攝像機坐標系與圖像像素坐標系及物理坐標系Fig.2 Coordinate system of camera andcoordinate system of pixel and physical image

設(shè)空間某點p的坐標為(xc，yc，zc)，其圖像物理坐標為(x，y)，像素坐標為(u，v)，設(shè)攝像機焦距為f，主點的像素坐標為(u0，v0)，dx、dy分別為x、y軸方向上單位像素間的物理距離，則由小孔成像原理可得圖像像素坐標與攝像機三維坐標之間的關(guān)系為

(6)

其中，矩陣M為攝像機的內(nèi)參數(shù)矩陣。

設(shè)標定板平面直角坐標系為OwXwYwZw，原點定義在標定板的一個頂點，兩條邊分別為Xw、Yw軸，Zw軸垂直于標定板平面，則攝像機坐標系與標定板平面坐標系之間的轉(zhuǎn)換關(guān)系為

(7)

其中，R1為旋轉(zhuǎn)矩陣，t為平移向量。由攝像機標定原理可知，當有至少3個標定位置下的標定板圖像時，即可解得內(nèi)參數(shù)矩陣M，進而解出每個標定位置下的R1和t。取標定板平面直角坐標系下標定板的法向量為(0，0，1)T，則攝像機坐標系下R1第三列即為此標定板的法向量方向，R1*t即為標定板到攝像機坐標系原點的距離。

1.2 激光雷達點云平面擬合

本文采用HDL-64E[9]三維激光雷達，其內(nèi)部含有64個激光器，通過旋轉(zhuǎn)掃描可獲取垂直26.8°、水平360°視場的三維環(huán)境點云圖像。定義激光雷達坐標系，原點Ol在第32與33個激光器之間，Xl軸、Yl軸分別平行于基座的兩邊，Zl軸定義在旋轉(zhuǎn)軸上，如圖3所示。

圖3 激光雷達坐標系Fig.3 Coordinate system of laser radar

1.3 位置影響分析

令Pci=(xiyizi)，‖Pcitci‖-‖Plitli‖=mi，則可得

(xiyizi)·T=mi

(8)

式(8)將參數(shù)求解問題轉(zhuǎn)化為由點(xiyizi)擬合平面t1xi+t2yi+t3zi=mi的問題。理論上3個不共線的點成等邊三角形分布時，平面擬合的抗噪聲效果最好，因此當3個法向量成等夾角分布時，T的求解精度最高。

在實際標定時，標定板成3個位置等夾角擺放較難操作，易引入隨機誤差，因此可以設(shè)置4個標定位置，使標定板均勻分布在攝像機視場內(nèi)且平面法向量均勻分布于四個象限內(nèi)，以便在保證樣本質(zhì)量的情況下減少樣本數(shù)量。

2 標定實驗

本文使用分辨率1024×768像素、水平視場90°的攝像機進行實驗。標定板為1m×1m的平板，畫有9×7個邊長10cm的黑白格。兩者安裝位置為：攝像機鏡頭在雷達中心前方15cm左右，下方20cm左右，左右方向兩者大致重合，系統(tǒng)實物如圖4所示。

圖4 傳感器安裝位置關(guān)系Fig.4 Fix position of sensors

首先采用Matlab標定工具箱完成攝像機標定，攝像機標定得到的內(nèi)參數(shù)(像素單位)為

然后進行聯(lián)合標定，實驗時在傳感器前方2～5m距離內(nèi)，以攝像機光軸為對稱軸，選取了16個擺放位置并按位置數(shù)不同進行了5組實驗，擺放位置示意圖如圖5所示。

圖5 攝像機坐標系下各標定位置示意圖Fig.5 Position of calibrationboard in camera coordinate

圖5 攝像機坐標系下各標定位置示意圖(續(xù))Fig.5 Position of calibrationboard in camera coordinate

本文采用重投影誤差評價標定精度，即計算點云投影后的邊緣與圖像中標定板邊緣的最大偏移像素數(shù)。重投影偏差示意圖如圖6所示，紅線為攝像機圖像的標定板邊緣，綠線為重投影邊緣。分組試驗結(jié)果對比如表1所示。

圖6 一種重投影誤差示意圖Fig.6 Sketch map ofa kind of re-projection error

由實驗結(jié)果看，采用平面靶標會由于位置擺放的不定性造成原始數(shù)據(jù)不充分而影響標定精度，通過考慮標定位置的對稱性可在一定程度上減小此影響，最少只需4個標定位置即可達到使用16個位置時的精度，因此可極大地提高標定效率，有利于組合傳感系統(tǒng)產(chǎn)品標定的流程化。最后本文通過OpenCV及OpenGL程序分別進行了點云投影和場景三維顯示的工作，顯示效果如圖7、圖8所示。

表1 分組試驗結(jié)果對比Tab.1 contrast of grouping experiment

圖7 投影場景Fig.7 Projection scene

圖8 三維顯示場景Fig.8 3D scene

3 結(jié)論

本文利用平面靶標，采用基于平面特征的聯(lián)合標定方法完成了單目攝像機與三維激光雷達的聯(lián)合標定。首先建立數(shù)學模型，然后進行實驗數(shù)據(jù)采集，最后完成參數(shù)求解。經(jīng)多次實驗得出了正確的結(jié)果，兩傳感器數(shù)據(jù)匹配較好。通過優(yōu)化靶標擺放位置，減小了位置隨意性對結(jié)果的影響，僅需采集4個標定位置的數(shù)據(jù)，縮短了標定時間。后續(xù)將進行算法及結(jié)果優(yōu)化，進一步提高標定精度及數(shù)據(jù)處理速度。

[1] 郁肖飛，史朝龍，李新純，李晗.多光束三維成像激光掃描系統(tǒng)校準方法研究[J].戰(zhàn)術(shù)導(dǎo)彈技術(shù)，2013，1：92-98.

[2] 林鴻生，胡春生.三維成像激光雷達圖像與攝像機圖像的融合[J].內(nèi)燃機與動力裝置，2009，6(s)：1-4.

[3] 李琳，張旭，屠大維.二維和三維視覺傳感集成系統(tǒng)聯(lián)合標定方法[J].儀器儀表學報，2012，33(11)：2474-2479.

[4] Zhang Q L，Pless R.Extrinsic calibration of a Camera and laser range finder(improves camera calibration)[C].IEEE International Conference on Intelligent Robots and Systems(IROS)，2004，3：2301-2306.

[5] 項志宇，鄭路.攝像機與3D激光雷達聯(lián)合標定的新方法[J].浙江大學學報(工學版)，2009，43(8)：1401- 1405.

[6] Bauermanni，Steinbach.Joint calibration o f a range and visual sensor for the acquisition of RGBZ concentric Mosaics Erlangen[C].Proceedings of VMV2005.Erlangen：Elsevier，2005：666-672.

[7] Schonem Ann P H.A generalized solution of the orthogonal procrustes problem[J].Psychometrika，1966，31(1)：1-10.

[8] Zhang Zh Y.Flexible camera calibration by viewing a plane from unknown orientations.Microsoft Research，One Microsoft Way，Redmond，WA 98052-6399，USA

[9] HDL 64E-S2 User’s Manual.Velodyne Lidar Inc，345 Digital Drive，Morgan Hill，CA 95037，2011.

[10] Smith L I.A Tutorial on Principal Components Analysis.[EB/OL].2006-05-18.

Research on the Joint Calibration of Monocular Camera and 3D Lidar

WEI Ke-quan，SHI Zhao-feng，LI Han，HAO Peng

(Beijing Automatic Control Equipment Institute，Beijing 100074，China)

To solve the problem of data matching in the sensor system composed of monocular camera and 3D lidar，we accomplish the joint calibration of the two sensors using the method basing on the planar feature and present a method to reduce the amount and improve the quality of samples by optimizing the position of calibration board in this paper.We prove the method and the algorithm by founding the mathematical model and simulation and experiments.The error appears minor when the positions of the board scatter evenly in the camera field of view and just need 4 calibration positions to accomplish the calibration.

Joint calibration；Monocular camera；3D lidar；Plane feature；Match and fusion

2014 - 10 - 30；

2015 - 04 - 30。

魏克全(1989 - )，男，碩士，主要從事激光雷達及圖像的數(shù)據(jù)處理工作。

E-mail：weikequan163@163.com

TP391.41;TN958.98

A

2095-8110(2015)06-0069-06