閆　利，曹　亮，陳長軍，黃　亮

(武漢大學測繪學院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

?

車載全景影像與激光點云數(shù)據(jù)配準方法研究

閆利，曹亮，陳長軍，黃亮

(武漢大學測繪學院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

摘要：全景影像與激光點云的高精度配準是車載移動測量系統(tǒng)中多傳感器數(shù)據(jù)集成處理的關鍵環(huán)節(jié)。本文針對車載多面陣拼接全景影像與激光點云的配準問題，提出了一套高精度的數(shù)據(jù)配準方法。通過高密度的靜態(tài)激光點云解算每個面陣CCD在激光掃描儀坐標系下的外標定參數(shù)，以實現(xiàn)單張CCD影像與激光點云在掃描儀坐標系下的配準，在全景拼接過程中全景影像與單張CCD影像精確的映射關系已知，利用掃描儀坐標系、POS坐標系及WGS-84坐標系間的轉換關系即可獲得全景影像與激光點云在物方坐標系下的動態(tài)、高精度的配準參數(shù)。試驗表明該數(shù)據(jù)配準方法精確可靠、適用性強，能滿足基于全景影像與激光點云數(shù)據(jù)融合的城市道路竣工、部件采集、目標提取、三維重建等高精度量測應用需求。

關鍵詞：車載移動測量；全景；激光掃描儀；配準

一、引言

近年來，高效、高精度的城市信息采集技術的發(fā)展與應用使測繪領域發(fā)生了巨大的變革。車載移動測量系統(tǒng)(mobile mapping system，MMS)結合激光掃描儀、CCD相機、高精度定位定姿系統(tǒng)(position and orientation system，POS)、車程編碼器等多種優(yōu)異的傳感器，是近年來快速發(fā)展的一種新型集成高效的測量系統(tǒng)，廣泛應用于地理空間數(shù)據(jù)采集與更新，并逐漸成為三維城市數(shù)據(jù)獲取的重要方法[1]。車載移動測量系統(tǒng)的最大優(yōu)勢是多傳感器數(shù)據(jù)的集成采集與處理，而多傳感器數(shù)據(jù)的高精度配準是數(shù)據(jù)集成處理的前提。本文重點解決車載移動測量系統(tǒng)中全景影像與激光點云的數(shù)據(jù)配準問題[2]。

國內(nèi)外學者對CCD影像與激光點云數(shù)據(jù)配準問題進行了廣泛的研究。文獻[3]用掃描儀和相機對平面棋盤格標定板進行同步測量，以求解二維激光掃描數(shù)據(jù)與框幅式影像的配準參數(shù)；受文獻[3]方法的啟發(fā)，文獻[4]實現(xiàn)了對三維激光掃描數(shù)據(jù)與框幅式影像的外配準；文獻[5]使用特殊的標定桿對二維激光掃描數(shù)據(jù)與CCD影像進行數(shù)據(jù)配準；文獻[6]同樣使用平面棋盤格來對三維激光掃描數(shù)據(jù)與CCD影像進行數(shù)據(jù)配準；文獻[7]給出了一種配準二維激光掃描數(shù)據(jù)與全向相機影像的方法。以上這幾種影像—點云配準方法均需借助特殊的標定合作目標，而且由于激光掃描數(shù)據(jù)分辨率低且不一致，使激光點云與影像間高精度的點、線特征對應的獲取非常困難[8]，因此在實際應用過程中有一定的局限性。為了克服光學影像與激光點云在成像特性上的差異所帶來的問題，基于統(tǒng)計和信息論的方法在二者的標定問題上得到了應用。文獻[9]使用互信息對影像與點云之間的強度與反射信息進行配準；文獻[10]使用互信息對城市街區(qū)的光學影像與激光點云進行配準。然而，這些基于互信息的影像與激光點云配準方法僅在城市場景中具有非常好的適應性，其在自然場景中的應用有非常大的局限性[11]。

已有的方法大多集中在解決普通框幅式影像與2D/3D激光點云的數(shù)據(jù)配準問題，且局限于解決單測站、靜態(tài)數(shù)據(jù)的配準問題。

本文針對車載移動測量系統(tǒng)中多面陣拼接全景影像與激光點云的數(shù)據(jù)配準問題，提出了一套適應性強、精度高的標定方法。該標定方法在全景拼接過程中獲得全景影像與單張CCD影像精確的映射關系，通過分別對組成全景相機的單個CCD相機進行內(nèi)標定及在激光掃描儀坐標系下的相對外標定，并結合掃描儀坐標系、POS坐標系、WGS-84坐標系間的轉換關系，即可實現(xiàn)全景影像與激光點云在物方坐標系下的高精度配準，為后續(xù)全景影像與激光點云的集成處理奠定基礎。

二、車載移動測量系統(tǒng)集成

車載移動測量系統(tǒng)是一個多傳感器集成的自動化數(shù)據(jù)采集系統(tǒng)，可實時完成載體的GPS定位、姿態(tài)解算、城市三維空間信息的激光掃描數(shù)據(jù)及全景影像數(shù)據(jù)的采集。系統(tǒng)搭載的傳感器主要有兩類：一類是位姿傳感器，包括GPS、慣性測量單元(IMU)及車輪編碼器，用于獲取車載系統(tǒng)的位置和姿態(tài)；另一類是數(shù)據(jù)采集傳感器，包括激光掃描儀和全景相機，其中三維激光掃描儀用于獲取目標的三維幾何信息，而全景相機則用于獲取目標的紋理特征，如圖1所示。

圖1　車載移動測量系統(tǒng)結構圖

本文主要討論車載移動測量系統(tǒng)中全景相機與激光掃描儀的集成標定問題，因此對車載移動測量系統(tǒng)中使用的全景相機和激光掃描儀進行簡單的介紹。

1. 多面陣拼接全景相機

目前國內(nèi)外已經(jīng)有多家廠商推出了成熟的全景相機，如PointGrey、CycloMedia、EyeScan、Fodis等。但現(xiàn)有的全景相機存在分辨率不高、價格昂貴，以及全景映射過程未知，無法自主控制等缺點，因此課題組自主研發(fā)了基于面陣CCD拼接的高分辨率全景相機。該全景相機由8個分辨率為2058像素×2456像素的工業(yè)CCD鏡頭沿水平方向均勻排列而成，如圖2所示。全景影像采集時，由時間同步系統(tǒng)控制8個CCD鏡頭同時曝光，通過全景拼接獲得分辨率為9173像素×2294像素的全景影像。拼接過程中保證像點攝影光束的方向不變，且記錄拼接全景與原始單片的像素對應關系。

2. 激光掃描儀

車載移動測量系統(tǒng)集成了Riegl公司兩種不同型號的激光掃描儀：2D/3D一體化掃描儀VZ-400和路面2D掃描儀LMS-Q120i，其中VZ-400掃描儀安裝在車體的右后側，用于獲取車輛兩側的目標點云信息，LMS-Q120i掃描儀安裝在車體的后部，主要用于獲取地表面點云，從而實現(xiàn)場景三維空間信息和反射強度信息的全方位獲取。

圖2　全景相機內(nèi)部示意圖

三、車載全景影像與激光點云數(shù)據(jù)配準

全景影像與激光點云的數(shù)據(jù)配準是使全景影像能與物方坐標系下同一場景的激光點云進行“套合”，即需要恢復全景影像拍攝瞬間相機在物方坐標系下的位置與姿態(tài)，并使全景影像中每個像素構成的攝影光束與物方點云形成對應。

圖3　全景影像與激光點云數(shù)據(jù)配準法

在全景拼接時，全景影像與單張面陣CCD影像間的映射關系可精確得到；激光掃描儀坐標系與POS坐標系之間的轉換關系可通過建立高精度標定控制場解算獲得，該過程在本文中不作詳細介紹；而POS坐標系與WGS-84坐標系間的轉換關系可由POS數(shù)據(jù)插值獲取。因此，若能得到單張面陣CCD影像與激光點云在激光掃描儀坐標系下的配準參數(shù)，則可實現(xiàn)車載全景影像在物方坐標系下與激光點云的高精度配準。另外，由于全景成像系統(tǒng)的8個CCD鏡頭為非量測工業(yè)鏡頭，成像畸變大，內(nèi)方位元素未知，故需要首先對CCD鏡頭進行內(nèi)標定。車載移動測量系統(tǒng)中的主要傳感器——激光掃描儀、全景相機、POS系統(tǒng)被固定在剛性平臺，其相對位姿關系穩(wěn)定不變，本文全景影像與激光點云數(shù)據(jù)配準方法描述如圖3所示。

1. 單片影像與點云的相對配準

依據(jù)本文車載全景影像與激光點云的數(shù)據(jù)配準方法，其核心步驟在于將8個CCD鏡頭與激光點云在激光掃描儀坐標系下進行配準，即獲取CCD鏡頭在掃描儀坐標系下的外方位元素。由于課題組車載系統(tǒng)所采用的VZ-400掃描儀能夠支持在同一掃描坐標系下的移動二維線掃描及靜態(tài)三維全景掃描兩種工作模式，因此可利用VZ-400掃描儀在車載系統(tǒng)保持靜止狀態(tài)下的三維全景高密度掃描數(shù)據(jù)為CCD鏡頭的標定提供控制點。

在合適的標定場景中布設靶標，靶標需分布均勻，且要在深度方向上有豐富的變化。調(diào)整車載系統(tǒng)至合適位置及方向，并在車載系統(tǒng)靜止條件下依次利用8個CCD鏡頭獲取標定場景影像，且使用VZ-400掃描儀獲得標定場景的激光點云數(shù)據(jù)。標定數(shù)據(jù)獲取后，在每張影像和其對應的激光點云數(shù)據(jù)中選取4個以上的靶標控制點，得到其對應的圖像坐標(x,y)及激光掃描坐標系下的激光點坐標(X,Y,Z)，結合內(nèi)標定所獲取的相機內(nèi)方位元素(x0,y0,f)和畸變參數(shù)，得出共線方程

(1)

式中，dx、dy分別為像點在x、y方向的畸變改正量；XS、YS、ZS分別為CCD相機在掃描儀坐標系下的位置TCL的3個分量；而ai、bi、ci(i=1,2,3)則構成旋轉矩陣RCL的9個元素。

由共線方程列出對應的誤差方程并迭代優(yōu)化，即可求得CCD鏡頭與激光點云的在掃描儀坐標系下的相對配準參數(shù)。

2. 全景影像與點云的絕對配準

設某物方點P在全景影像上成像并同時獲得其激光點數(shù)據(jù)，將全景影像與點云在物方坐標系下的配準即是求得全景成像坐標系與物方坐標系下點P的轉換關系，其中涉及全景成像坐標系、單片坐標系、掃描儀坐標系、POS坐標系和物方WGS-84坐標系，其轉換關系描述如圖4所示。

由全景與單片的映射關系，可以獲取該點在對應單片影像的像空間坐標系下的坐標(XC，YC，ZC)。利用上節(jié)中求得的8個CCD鏡頭在激光掃描儀坐標系下的外方位元素TCL、RCL，則該點在單片像空間坐標系與激光掃描儀坐標系的轉換關系描述為

圖4　坐標系統(tǒng)關系轉換示意圖

(2)

式中，(XL，YL，ZL)為該點在掃描儀坐標系下的坐標。通過系統(tǒng)標定，掃描儀坐標系與POS坐標系的轉換關系TLP、RLP已知，若記POS坐標系下點的坐標為(XP，YP，ZP)，則由掃描儀坐標系到POS坐標系轉換關系為

(3)

(4)

式(2)—式(4)分別描述了掃描儀坐標系、POS坐標系、WGS-84坐標系之間的轉換關系。將全景影像與激光點云進行配準就是要獲得二者在WGS-84坐標系下的轉換關系。若設單片的像空間坐標系與WGS-84坐標系的轉換矩陣為RCW、TCW，則兩坐標系下的點滿足

(5)

根據(jù)矩陣推導可求得

(6)

TCW=TLW+RLWTCL

(7)

其中

(8)

(9)

將式(8)、式(9)代入式(6)、式(7)，即可計算出RCW和TCW。

四、試驗與分析

1. 全景影像與點云數(shù)據(jù)融合精度

由上述車載影像與點云數(shù)據(jù)配準方法可知，全景影像與激光點云在WGS-84坐標系下的配準其最核心的環(huán)節(jié)是求得單個CCD鏡頭在掃描儀坐標系下的相對配準參數(shù)。以某會展中心的選定建筑區(qū)域作為標定場景，采用上一節(jié)中描述的方法獲取標定數(shù)據(jù)。以3號相機為例，在影像和激光點云中提取了對應的10個靶標點，其中7個靶標點作為控制點平差解算標定參數(shù)，另外3個靶標點作為檢核點檢驗標定精度，坐標殘差統(tǒng)計見表1。

表1　影像與激光點云相對配準殘差　像素

由表1可知，平差解算后控制點的點位均方差為1.48像素，檢核點的點位殘差也在1.6個像素以內(nèi)，標定精度滿足相關應用的要求。

獲得每個CCD相機在掃描儀坐標系下的標定參數(shù)后，在已知全景影像與單片的映射關系及掃描儀坐標系與POS坐標系轉換關系的情況下，經(jīng)過POS數(shù)據(jù)插值，即可實現(xiàn)全景影像與激光點云在WGS-84坐標系的配準，配準效果如圖5所示。通過實地布設地物標志點對本文的數(shù)據(jù)配準精度進行驗證，測得在平均距離為30 m時影像的量測精度為9.907 cm。

圖5　車載全景影像與激光點云配準效果圖

2. 全景影像與點云數(shù)據(jù)融合效果

獲得車載全景影像與激光點云在物方坐標系下的配準參數(shù)后，通過數(shù)據(jù)融合的方式可以得到賦有地表真實顏色信息的彩色點云數(shù)據(jù)，如圖6所示。另外，將激光點云數(shù)據(jù)反投影到對應的全景影像上(如圖7所示)，也能進一步反映出點云與全景影像實現(xiàn)了很好的吻合。由以上融合效果可以看出影像數(shù)據(jù)與點云數(shù)據(jù)形成了較為精確的套合，也進一步驗證了本文車載全景影像與激光點云的數(shù)據(jù)配準精度。

圖6　融合后的激光點云

圖7　點云反投影到全景影像上的效果圖

五、結束語

本文給出了一種車載移動測量系統(tǒng)中精確可靠、適用性強的全景影像與激光點云數(shù)據(jù)配準方法，該方法通過對全景相機的各個CCD鏡頭進行內(nèi)標定及在激光掃描儀坐標系下的相對標定，使單個CCD影像與激光點云在掃描儀局部坐標系下得到配準。結合全景拼接過程中全景影像與各個單片之間的映射關系及掃描儀與POS系統(tǒng)之間的標定參數(shù)，即可實現(xiàn)車載全景影像與激光點云動態(tài)、高精度的配準。通過實測數(shù)據(jù)驗證，本文的標定方法能滿足城市測量中多傳感器數(shù)據(jù)集成與處理的需求。

參考文獻：

[1]陳允芳，葉澤田.基于多傳感器融合的車載移動測圖系統(tǒng)研究[J].測繪通報,2007(1)：5-7.

[2]張帆，黃先鋒，李德仁.激光掃描與光學影像數(shù)據(jù)配準的研究進展[J].測繪通報,2008(2)：7-10.

[3]ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]∥Intelligent Robots and Systems.New York: IEEE, 2004.

[4]UNNIKRISHNANN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[R].[S.l.]：Carnegie Mellon University,2005.

[5]WASIELEWSKI S, STRAUSS O. Calibration of a Multi-sensor System Laser Rangefinder/Camera[C]∥ Intelligent Vehicles’ 95 Symposium. New York: IEEE, 1995.

[6]GAURAV P.Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[C]∥7th IFAC Symposium on Intelligent Autonomous Vehicles. Lecce: International Federation of Automatic Control, 2010.

[7]MEI C, RIVES P. Calibration between a Central Catadioptric Camera and a Laser Range Finder for Robotic Applications[C]∥Proceedings 2006 IEEE International Conference on. New York:IEEE, 2006.

[8]GONG X J, LIN Y, LIU J. 3D LiDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron[J]. Sensors,2013,13(2):1902-1918.

[9]GAURAV P. Automatic Targetless Extrinsic Calibration of a 3D LiDAR and Camera by Maximizing Mutual Information[C]∥Proceedings of the AAAI National Conference on Artificial Intelligence. Toronto:AAAI,2012.

[10]MASTIN A, KEPNER J, FISHER J. Automatic Registration of LiDAR and Optical Images of Urban Scenes[C]∥Computer Vision and Pattern Recognition. New York: IEEE, 2009.

[11]MISHRA R, ZHANG Y. A Review of Optical Imagery and Airborne LiDAR Data Registration Methods[J]. The Open Remote Sensing Journal，2012,5(1):54-63.

引文格式： 閆利，曹亮，陳長軍，等. 車載全景影像與激光點云數(shù)據(jù)配準方法研究[J].測繪通報，2015(3)：32-36.DOI:10.13474/j.cnki.11-2246.2015.0069

通信作者：曹亮

作者簡介：閆利(1966—)，男，教授，研究方向為攝影測量、遙感圖像處理和車載移動測量技術。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-01-15

中圖分類號：P234.5

文獻標識碼：B

文章編號：0494-0911(2015)03-0032-05