石麗梅，趙紅蕊，李明海，付 罡，李 聰

1.清華大學(xué)土木工程系地球空間信息研究所，北京100084；2.北京數(shù)字政通科技股份有限公司，北京100082

1 引 言

全景相機(jī)是一種用于拍攝空間360°×180°視場角的相機(jī)，能夠無遺漏拍攝場景的全貌，從而獲得對空間各個方向有沉浸感的全景影像。早在2004年，Google將全景相機(jī)應(yīng)用于街景拍攝并于2007年推出地圖街景。2005年，亞馬遜旗下搜索引擎A9.com在本地搜索服務(wù)中提供街景查看功能。騰訊和百度分別于2011年和2013年先后推出SOSO地圖街景服務(wù)和百度全景地圖。隨著移動測量技術(shù)的發(fā)展，全景相機(jī)逐漸被用來構(gòu)建車載移動測圖系統(tǒng)。移動測圖系統(tǒng)［1］通常集成3類傳感器，導(dǎo)航傳感器（如GPS、IMU）、相機(jī)（如立體相機(jī)、全景相機(jī)）以及測距傳感器（如2D／3DLiDAR）。標(biāo)定是保證車載移動測圖系統(tǒng)獲取精確數(shù)據(jù)的重要前提，主要包括傳感器部件自身的標(biāo)定（又稱內(nèi)方位元素的標(biāo)定）和傳感器之間空間關(guān)系的配準(zhǔn)（又稱外方位元素的標(biāo)定）［2］。傳感器部件的自身標(biāo)定一般由生產(chǎn)廠家在實驗室內(nèi)完成，這里不作討論。傳統(tǒng)立體相機(jī)（多采用CCD相機(jī)）外方位元素的標(biāo)定，方法相對成熟。通常采用攝影測量方法［3］，即首先在實際場景中建立高精度的已知控制點，然后直接在左右圖像上確定控制點，應(yīng)用空間交會方法解算相機(jī)外方位元素。與CCD相機(jī)相比，由于成像機(jī)理差異，全景相機(jī)是非量測相機(jī)，其成像是大于半球視場的球面成像，有別于傳統(tǒng)的透視投影成像且360°大場景全是曲面鏡反射得到，所得全景影像分辨率會有所下降且分布不均勻［4－5］，傳統(tǒng)可量測立體相機(jī)常采用攝影測量方法進(jìn)行標(biāo)定的方法已經(jīng)不適合全景相機(jī)。

目前針對由全景相機(jī)和POS集成的車載移動測圖系統(tǒng)外方位元素的標(biāo)定研究相對較少，方法也不成熟。文獻(xiàn)［6］提出基于標(biāo)定板的標(biāo)定方法，并將其應(yīng)用于2DLiDAR和透視相機(jī)外方位元素的標(biāo)定；文獻(xiàn)［7—8］相繼發(fā)展了文獻(xiàn)［6］的方法，分別將其應(yīng)用于3DLiDAR和全景相機(jī)外方位元素標(biāo)定以及內(nèi)外方位元素的同時標(biāo)定；文獻(xiàn)［9—10］在標(biāo)定中不使用任何標(biāo)定板，通過構(gòu)建實際場景中線或面的相關(guān)性來進(jìn)行標(biāo)定。文獻(xiàn)［11—12］則采用不使用場景先驗知識和標(biāo)定板，僅僅利用多視圖場景下點的相關(guān)來進(jìn)行標(biāo)定的自標(biāo)定方法。文獻(xiàn)［13—14］提出利用實際場景中任意的3個相互正交或非正交面來進(jìn)行全景相機(jī)和3DLiDAR外方位元素標(biāo)定的方法。上述標(biāo)定方法多是直接求解相機(jī)相對掃描儀的旋轉(zhuǎn)和平移參數(shù)，試驗的系統(tǒng)中沒有集成POS，未利用絕對定位技術(shù)，而絕對定位技術(shù)是移動測量的核心［15］。為此，針對由全景相機(jī)和POS集成的車載移動測圖系統(tǒng)，提出一種外方位元素標(biāo)定的方法，即通過構(gòu)建全景球面模型，將全景影像反投影到該球面上，從球面上選擇控制點而不是直接在存在扭曲的全景影像上選擇控制點，進(jìn)而獲得控制點在全景影像的球面坐標(biāo)，建立點的相關(guān)性，從而求解出全景相機(jī)相對GPS／IMU的平移與旋轉(zhuǎn)參數(shù)并進(jìn)行實際場景精度驗證。

2 車載全景相機(jī)Ladybug3結(jié)構(gòu)

本文研究是基于北京數(shù)字政通科技股份有限公司研制的移動測圖系統(tǒng)進(jìn)行的，見圖1。系統(tǒng)由POS、3DLiDAR、全景相機(jī)（Ladybug3）、集成同步控制器以及工業(yè)計算機(jī)組成。POS主要包括慣性測量單元IMU和GPS，用于獲取系統(tǒng)時間、系統(tǒng)平臺位置和姿態(tài)；三維激光掃描儀用于獲取目標(biāo)地物的空間三維坐標(biāo)數(shù)據(jù)；全景相機(jī)用于采集360°全景影像。本文的研究主要涉及該系統(tǒng)中由全景相機(jī)和POS集成的移動測圖系統(tǒng)外方位元素的標(biāo)定問題。系統(tǒng)中使用的POS由測量型的雙頻GPS、捷聯(lián)慣導(dǎo)、旋轉(zhuǎn)編碼器式里程計這3種設(shè)備組合構(gòu)成。組合方法是以捷聯(lián)慣導(dǎo)和里程計推測定位為主，定期用差分GPS信息進(jìn)行校正。系統(tǒng)中使用的全景相機(jī)為Ladybug3（見圖2），該全景相機(jī)由6臺數(shù)字相機(jī)（采用魚眼鏡頭）拼接組成，5臺分布在側(cè)面，1臺在頂部，可覆蓋整個全景360°球面圖像的75%以上。軟件包Ladybug Cap能夠?qū)崟r完成圖像采集、處理、拼接和校正等工作，將多臺相機(jī)采集的實景圖像組合成一幅球面全景影像，其像元尺寸為4.4 μm，有效視場角為360°×135°，鏡頭焦距為3.3 mm，全景影像大小為5120像素×2560像素。

圖1 移動測圖系統(tǒng)Fig.1 Mobile mapping system

圖2 全景相機(jī)Ladybug3及拼接后全景影像Fig.2 Ladybug3body and the merged 360°panoramic image

3 標(biāo)定方法

基于全景相機(jī)和POS集成的車載移動測圖系統(tǒng)，其外方位元素標(biāo)定的目的是確定全景相機(jī)與POS之間的相對位置姿態(tài)關(guān)系。為了更好地描述標(biāo)定方法，將標(biāo)定中涉及的主要坐標(biāo)系介紹如下。

（1）全景球面模型坐標(biāo)系（PC）：Ladybug3的6個魚眼相機(jī)在幾何上共享一個投影中心［16］，以該中心為坐標(biāo)原點，半徑為1m，X軸指向東，Y軸指向北，Z軸指向天。全景影像上的控制點反投影到該球面模型坐標(biāo)系中，得到其球面坐標(biāo)，參與標(biāo)定運算。

（2）POS坐標(biāo)系（POS）：該坐標(biāo)系由GPS天線位置和IMU的軸向來確定。原點位于GPS天線中心，X軸、Y軸和Z軸方向由IMU的3軸方向確定。

（3）大地坐標(biāo)系（W）：采用 WGS－84高斯－克呂格3°帶投影坐標(biāo)系。用于標(biāo)定處理后的全景影像點坐標(biāo)和全站儀測量的控制點坐標(biāo)均在該坐標(biāo)系表示。

3.1 基本原理

如圖3所示，對于任意全景影像上的點在全景球面模型坐標(biāo)系中的坐標(biāo)向量Tp，其對應(yīng)地面控制點在大地坐標(biāo)系中的坐標(biāo)向量為Tw，則

式（1）即為車載移動測圖系統(tǒng)絕對定位方程。其中表示POS系統(tǒng)相對大地坐標(biāo)系的平移和旋轉(zhuǎn)參數(shù)，是已知量，利用軟件Inercial Explorer對GPS／IMU數(shù)據(jù)聯(lián)合處理后可獲得POS相對大地坐標(biāo)系的姿態(tài)向量而可由姿態(tài)向量的3個分量來表達(dá)

式中，rwpos為載體的滾動角；pwpos為載體的俯仰角；hwpos為載體的偏航角。此3個角元素為歐拉角。Twpos可以通過室外量測獲得。Tpospc、Rpospc表示全景相機(jī)相對POS系統(tǒng)的平移和和旋轉(zhuǎn)參數(shù)，是未知待求量。

圖3 車載移動測圖系統(tǒng)外方位元素標(biāo)定原理示意圖Fig.3 Principles of extrinsic calibration for vehiclebased MMS

由于獲得的全景影像分辨率不一致，存在扭曲現(xiàn)象，無法直接在全景影像上選擇控制點，參與標(biāo)定計算。為此，構(gòu)建全景球面模型（見圖3），將全景影像通過球面投影反變換投影到該球面模型上，從球面模型上直接點選獲取控制點在全景影像上的球面坐標(biāo)，參與標(biāo)定運算。

如圖3，設(shè)地物點P在球面全景影像上坐標(biāo)為P（x，y），則利用反投影公式（2）［17－18］，可將其轉(zhuǎn)換為球面空間視線為（ɑ，β）的全景影像拼接前的實景影像上的一點P′（x′，y′）

式中，α表示俯仰；β表示水平；f表示焦距。

利用式（3），將（x′，y′）轉(zhuǎn)化為世界坐標(biāo)系下的坐標(biāo)Ts＝ ［xsyszs］T

按照透視投影方法，利用式（4）將Ts＝［xsyszs］T轉(zhuǎn)換為全景球面模型坐標(biāo)系中的一點Tp＝ ［xpypzp］T

3.2 標(biāo)定參數(shù)的求解

選擇一定數(shù)量的控制點，利用控制點在大地坐標(biāo)系的已知坐標(biāo)和全景球面模型坐標(biāo)系下的觀測值坐標(biāo)，結(jié)合矩陣形式，利用旋轉(zhuǎn)矩陣的正交性確定Tpospc、Rposp。

（1）求解旋轉(zhuǎn)矩陣Rposp

將式（1）的向量形式表達(dá)為矩陣形式如下

對標(biāo)定點的坐標(biāo)進(jìn)行零均值化處理，設(shè)一個拍攝位置J有n個控制點，其在大地坐標(biāo)系和全景球面模型坐標(biāo)系中的質(zhì)心坐標(biāo)為Tgw＝則Tgw＝記Tw、Tp經(jīng)過均值化處理 后 的 坐 標(biāo) 為T′w＝ ［X′wY′wZ′w］T，T′p＝［X′pY′pZ′p］T，則T′w＝Tw－Tgw，T′p＝Tp－Tgp。

將均值化處理后的坐標(biāo)T′w、T′p代入式（1），可以將絕對定位方程簡化，并得到式（6）

將Rwp＝RwposRposp代入式（6），則

由于旋轉(zhuǎn)矩陣正交性對矩陣元素來說是非線性約束，給求解帶來困難，借鑒文獻(xiàn)［19—20］中提到的羅德里格矩陣，將旋轉(zhuǎn)矩陣Rwp表示為

式中，I表示單位矩陣；S表示反對稱矩陣，其表達(dá)式如下

將式（8）、式（9）代入式（7）得到

考慮到T′w＝ ［X′wY′wZ′w］T，T′p＝［X′pY′pZ′p］T均有誤差，列出第J拍攝位置的誤差方程Vj＝BjX－Lj其中，｛Vj，j＝1，2，…，n｝表示零均值向量、協(xié)方差陣相同的誤差向量序列

則n個拍攝位置的誤差方程為V＝BX－L

式中，B＝（B1T，B2T，…，BnT）T；L＝（L1T，L2T，…，LnT）T；V＝（V1T，V2T，…，VnT）T。

計算可得X＝（BTB）－1BTL，羅德里格參數(shù)求出后，利用Rpw＝RpwosRppos可以反算出Rppos。

（2）求平移量Tppcos

將Rpw代入方程（1），類似的，可建立偏移量的誤差方程V′＝B′Tppcos－L′并求得Tppocs＝（B′TB′）－1B′TL′。

4 試驗及結(jié)果分析

遵循標(biāo)定場地設(shè)計的一般原則［21］，選擇航天城作為標(biāo)定場，該地區(qū)地勢開闊，GPS信號良好，檢校場有大量人工建筑設(shè)施（如建筑物、燈桿）且建筑物樓高合理、分布合理，便于從多個方位觀察控制點。現(xiàn)場布設(shè)約100個控制點，采用安置于高精度已知點的全站儀測量得到，用于安置全站儀的已知點采用GPS靜態(tài)測量得到，所用GPS及全站儀所測坐標(biāo)測量精度達(dá)毫米級。這些控制點，分別用于全景相機(jī)的標(biāo)定、激光掃描儀的標(biāo)定、系統(tǒng)精度的檢核。用于全景相機(jī)外方位元素標(biāo)定的控制點分布如圖4所示。標(biāo)定試驗中選取24個控制點進(jìn)行解算，10個控制點用于檢核。控制點在大地坐標(biāo)系下的坐標(biāo)見表1，控制點在全景球面模型坐標(biāo)系下的坐標(biāo)見表1。

表1 控制點測量數(shù)據(jù)Tab.1 Measurements of control points m

將表1中前24個控制點測量數(shù)據(jù)，應(yīng)用3.2節(jié)中的標(biāo)定參數(shù)求解方法，可以得到標(biāo)定結(jié)果（見表2）。

表2 參數(shù)標(biāo)定結(jié)果Tab.2 Result of calibration

圖4 控制點分布圖Fig.4 Control points distribution

在得到標(biāo)定參數(shù)后，將全景影像上10個用于檢核的控制點在全景球面模型坐標(biāo)系下的坐標(biāo)，應(yīng)用標(biāo)定參數(shù)，計算出這些用于檢核的控制點對應(yīng)的大地坐標(biāo)系中的坐標(biāo)，從而計算出殘差并繪制其殘差圖（見圖5）。

從圖5中可知，檢查控制點X方向最小及最大殘差分別為0.377mm、8.746mm；Y方向最小及最大殘差分別為0.508mm、2.574mm；Z方向最小及最大殘差分別為0.170mm、－4.091mm；根據(jù)誤差理論，計算的檢驗精度為：X、Y、Z的3個方向?qū)嶋H中誤差分別為3.509mm、1.601 mm、2.042mm。

圖5 檢查點殘差圖Fig.5 Residual error plot for checking points

為驗證標(biāo)定結(jié)果的可靠性，在標(biāo)定場選取約3km的路段，選擇分布均勻、特征明顯的70個控制點。一方面，利用標(biāo)定后的帶有地理參考的全景影像序列，基于三角測量的原理［22］，解算出控制點的大地坐標(biāo)，并與實測結(jié)果對比，結(jié)果表明，在GPS信號良好的標(biāo)定場，點的絕對定位中誤差為平面10.3cm、高程16.5cm，距離量測的相對誤差最大為4cm左右。另一方面，將實測控制點坐標(biāo)反算到全景球面模型上，并將其法線與全景影像上的控制點的法線方向進(jìn)行對比。圖6為路邊的街燈反算到不同測站序列全景影像上的效果圖。從圖6中可以看出，實測控制點反算到球面全景模型上的控制點法線方向與全景影像上控制點的法線方向基本重合。

圖6 街燈頂點反算到全景球面模型在不同測站全景影像上法線重合的效果圖Fig.6 Reverse calculation for the top of the lamp－post in different geo－referenced panoramic images at different mobile surveying spots

此外，在天津濱海新區(qū)全景影像采集的實際項目中也進(jìn)行了精度驗證。選擇GPS信號質(zhì)量不同的實際道路，利用標(biāo)定后的全景影像序列對道路兩邊的廣告牌進(jìn)行三角量測，并與實測結(jié)果對比，結(jié)果表明，在GPS信號不好的地區(qū)，點的絕對定位中誤差約為平面35.4cm、高程54.8cm，點的相對量測誤差最大為5cm。在較短的距離范圍內(nèi)（＜3km），GPS信號質(zhì)量對相對量測結(jié)果沒有明顯影響。

為進(jìn)一步驗證標(biāo)定結(jié)果的可靠性，將全景影像和同一時刻的激光點云進(jìn)行配準(zhǔn)融合（如圖7），從圖7中可以清楚地看到，房屋、燈桿等地物點云和全景融合較好，可以滿足基于多傳感器融合的應(yīng)用。

圖7 全景影像和激光點云配準(zhǔn)融合效果圖Fig.7 Registration fusion for panorama and laser－point clouds

5 結(jié) 論

本文針對由全景相機(jī)和POS組成的車載移動測圖系統(tǒng)外方位元素的標(biāo)定進(jìn)行了研究和試驗。根據(jù)多相機(jī)拼接式的Ladybug3全景相機(jī)采用魚眼鏡頭球面成像且所得全景影像分辨率不一致的特點，提出構(gòu)建全景球面模型，將全景影像反投影到全景球面模型中，實現(xiàn)從該球面模型上的直接點選獲取控制點，進(jìn)行外方位元素標(biāo)定的方法。試驗結(jié)果表明，實際采集環(huán)境中，GPS信號良好時，點的絕對定位中誤差為平面10.3cm、高程16.5cm，點的相對量測誤差最大為4cm。GPS信號不好時，點的絕對定位中誤差約為平面35.4cm、高程54.8cm，點的相對量測誤差最大為5cm。并通過實地場景試驗，得出在較短的距離范圍內(nèi)（＜3km），GPS信號質(zhì)量對相對量測的結(jié)果沒有明顯影響的結(jié)論。多傳感器融合的三維真實場景的重建及災(zāi)害應(yīng)急管理應(yīng)用是下一步研究方向。

［1］ CHEN T，YAMAMOTO K，CHHATKULI S，et al.Panoramic Epipolar Image Generation for Mobile Mapping System［C］∥International Archives of the Photogrammetry，Remote Sensing and Spatial Information Science.Melbourne：［s.n.］，2012.

［2］ YE Zetian，YANG Yong，ZHAO Wenji，et al.Dynamic Calibration of Exterior Orientations for Vehicle GPS／IMU／LS Laser Imaging System［J］.Acta Geodaetica et Cartographica Sinica，2011，40（3）：345－350.（葉澤田，楊勇，趙文吉，等.車載GPS／IMU／LS激光成像系統(tǒng)外方位元素的動態(tài)標(biāo)定［J］.測繪學(xué)報，2011，40（3）：345－350）.

［3］ ZHENG Shunyi，HUANG Rongyong，GUO Baoyun，et al.Stereo－camera Calibration with Restrictive Constraints［J］.Acta Geodaetica et Cartographica Sinica，2012，41（6）：877－885.（鄭順義，黃榮永，郭寶云，等.附約束條件的立體相機(jī)標(biāo)定方法［J］.測繪學(xué)報，2012，41（6）：877－885）.

［4］ THIBAULT S，PARENT J，ZHANG H，et al.Developments in Modern Panoramic Lenses：Lens Design，Controlled Distortion and Characterization［C］∥Proceedings of the International Society for Optical Engineering.Beijing：［s.n.］，2011.

［5］ SHUNPING J，YUN S，ZHONG C S.Bundle Adjustment with Vehicle－based Panoramic Imagery［C］∥Proceedings of Second International Workshop on Earth Observation and Remote Sensing Applications.［S.l.］：IEEE，2012：106－110.

［6］ ZHANG Q，PLESS R.Extrinsic Calibration of a Camera and Laser Range Finder（Improves Camera Calibration）［C］∥Proceedings of IEEE／RSJ International Conference on Intelligent Robots and Systems.［S.l.］：IEEE，2004，3：2301－2306.

［7］ PANDEY G，MCBRIDE J，SAVARESE S，et al.Extrinsic Calibration of a 3DLaser Scanner and an Omnidirectional Camera［C］.Proceedings of the 7th IFAC Symposium on Intelligent Autonomous Vehicles. Michigan： ［s.n.］，2010.

［8］ MIRZAEI F M，KOTTAS D G，ROUMELIOTIS S I.3D LiDAR－camera Intrinsic and Extrinsic Calibration：Identifiability and Analytical Least－squares－based Initialization［J］.The International Journal of Robotics Research，2012，31（4）：452－467.

［9］ LI G，LIU Y，DONG L，et al.An Algorithm for Extrinsic Parameters Calibration of a Camera and a Laser Range Finder Using Line Features［C］∥Proceedings of IEEE／RSJ International Conference on Intelligent Robots and Systems.［S.l.］：IEEE，2007：3854－3859.

［10］ RODRIGUEZ F，F(xiàn)REMONT V，BONNIFAIT P.Extrinsic Calibration between a Multi－layer LiDAR and a Camera［C］∥Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems［S.l.］：IEEE，2008：214－219.

［11］ AMIRI PARIAN J，GRUEN A.Sensor Modeling，Selfcalibration and Accuracy Testing of Panoramic Cameras and Laser Scanners［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2010，65（1）：60－76.

［12］ AHOUANDJINOU A S R M，EZIN E C，MOTAMED C，et al.An Approach to Correcting Image Distortion by Self Calibration Stereoscopic Scene from Multiple Views［C］∥Proceedings of Eighth International Conference on Signal Image Technology and Internet Based Systems.［S.l.］：IEEE，2012：389－394.

［13］ GONG X，LIN Y，LIU J.Extrinsic Calibration of a 3DLiDAR and a Camera Using a Trihedron［J］.Optics and Lasers in Engineering，2012，51（4）：394－401.

［14］ GONG X，LIN Y，LIU J.3DLiDAR－Camera Extrinsic Calibration Using an Arbitrary Trihedron［J］.Sensors，2013，13（2）：1902－1918.

［15］ GREJNER－BRZEZINSKA D A，LI R，HAALA N，et al.From Mobile Mapping to Telegeoinformatics：Paradigm Shift in Geospatial Data Acquisition，Processing，and Management［J］.Photogrammetric Engineering and Remote Sensing，2004，70（2）：197－210.

［16］ GREY.P.Ladybug3Technical Reference Manual［EB／OL］.［2013－08－12］.http：∥ww2.ptgrey.com／products／ladybug3／.

［17］ FENG Haibo.The Realization of the Panoramic－image Maker of Virtual Panoramic Space System［D］.Chengdu：University of Electronic Science and Technology of China，2007.（馮海波.虛擬全景空間生成技術(shù)研究與實現(xiàn)［D］.成都：電子科技大學(xué)，2007.）

［18］ HRENEK D，KUSST J.MIKSA N，et al.Tiled 360deg Panoramic Projection System［C］∥Proceedings of the 35th International Convention on Information and Communication Technology，Electronics and Microelectronics.Opatija：［s.n.］，2012：1793－1797.

［19］ ZHANG Ka，SHENG Yehua，YE Chun，et al.Absolute Calibration and Precision Analysis for Vehicle－borne 3D Data Acquiring System Integrated with GPS，INS and CCD－camera［J］.Geomatics and Information Science of Wuhan University，2008，33（1）：55－59.（張卡，盛業(yè)華，葉春，等.車載三維數(shù)據(jù)采集系統(tǒng)的絕對標(biāo)定及精度分析［J］.武漢大學(xué)學(xué)報：信息科學(xué)版，2008，33（1）：55－59.）

［20］ ZHANG Jun，LIU Jian，LIU Xiaomao.Three Dimensional Absolute Orientation Model Using the Roderick Matrix［J］.Infrared and Laser Engineering，1998，27（4）：30－32.（張鈞，柳健，劉小茂.利用羅德里格矩陣確定三維表面重建中的絕對定向模型［J］.紅外與激光工程，1998，27（4）：30－32.）

［21］ ZOU Xiaoliang，ZHANG Yongsheng.Digital Camera’s Boresight Angle Calibration Method of Mobile Mapping System for Land Vehicles［J］.International Workshop on Terrestrial LiDAR Static to Mobile，2010：99－104.

［22］ FENG Wenhao.Close－range Photogrametry［M］.Wuhan：Wuhan University Press，2002.（馮文灝.近景攝影測量學(xué)［M］.武漢：武漢大學(xué)出版社，2002.）