孔筱芳， 陳錢， 顧國華， 錢惟賢， 任侃， 王佳節(jié)

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院， 江蘇 南京 210094)

基于全球定位系統(tǒng)的相機標(biāo)定方法研究

孔筱芳， 陳錢， 顧國華， 錢惟賢， 任侃， 王佳節(jié)

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院， 江蘇 南京 210094)

采用標(biāo)定模板進行相機標(biāo)定是目前廣泛應(yīng)用的方法。由于標(biāo)定模板的限制，該方法在大視場、遠(yuǎn)距離工作時不能覆蓋所需畫面的全部，不能實現(xiàn)對相機的準(zhǔn)確標(biāo)定。結(jié)合全球定位系統(tǒng)實時動態(tài)(GPS RTK)定位工作模式的高精度全方位坐標(biāo)信息獲取技術(shù)，提出一種基于GPS的相機標(biāo)定方法。該方法基于GPS RTK工作模式獲取GPS質(zhì)心在WGS-84坐標(biāo)系中的坐標(biāo)信息，通過坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)系中的坐標(biāo)位置；用被標(biāo)相機拍攝GPS在不同位置的圖像，采用Harris角點檢測算法獲得GPS質(zhì)心的圖像坐標(biāo)，根據(jù)成像模型及相機投影矩陣，實現(xiàn)相機標(biāo)定。實驗證明，該方法可有效獲取全方位的空間坐標(biāo)信息，與傳統(tǒng)相機標(biāo)定方法相比，圖像像素標(biāo)定均方誤差僅為0.125 36，是一種行之有效可取代標(biāo)定模板的相機標(biāo)定方法。

光學(xué)工程； 計算機視覺； 相機標(biāo)定； 全球定位系統(tǒng)導(dǎo)航坐標(biāo)系； 坐標(biāo)系轉(zhuǎn)換

0 引言

相機成像模型決定了物體三維空間與二維圖像的位置關(guān)系，該模型中各參數(shù)即相機參數(shù)(焦距、主點、旋轉(zhuǎn)、平移向量等)，獲取相機參數(shù)的過程為相機標(biāo)定[1]。相機標(biāo)定的穩(wěn)定性和高精度是三維物體識別、空間物體姿態(tài)重建等技術(shù)[2]的基礎(chǔ)。

全球定位系統(tǒng)(GPS)利用衛(wèi)星測距測時實現(xiàn)導(dǎo)航和定位。隨著高精度實時動態(tài)(RTK)定位技術(shù)的發(fā)展，GPS已能夠?qū)崟r提供觀測站點在任意坐標(biāo)系中的三維數(shù)據(jù)，在系統(tǒng)精度保證范圍10 km內(nèi)可達(dá)到厘米量級的高精度[3-6]，且具有全方位、全天候等特點。作為快速采集數(shù)據(jù)與定位的高效工具，GPS及其RTK模式得到了廣泛的應(yīng)用。

傳統(tǒng)相機標(biāo)定方法標(biāo)定模板制作不夠精密，大視場遠(yuǎn)距離拍攝時標(biāo)定模板無法覆蓋所要求畫面的全部，不能實現(xiàn)高精度相機標(biāo)定。結(jié)合GPS RTK工作模式高精度全方位坐標(biāo)信息獲取技術(shù)，本文提出了一種基于GPS的相機標(biāo)定方法。該方法與傳統(tǒng)標(biāo)定方法相比，用GPS代替標(biāo)定模板獲取空間位置信息，經(jīng)坐標(biāo)系轉(zhuǎn)換得到世界坐標(biāo)系中的坐標(biāo)位置，進行相機標(biāo)定。該方法避免了由于標(biāo)定模板精度不高、拍攝時擺放位置不全面導(dǎo)致的標(biāo)定誤差，通過GPS獲取精確到厘米量級的世界坐標(biāo)，提高了遠(yuǎn)距離、大視場相機標(biāo)定的準(zhǔn)確性和精度。

1 傳統(tǒng)相機標(biāo)定及GPS坐標(biāo)轉(zhuǎn)換

目前，相機標(biāo)定方法主要有傳統(tǒng)標(biāo)定方法、自標(biāo)定方法和基于主動視覺的標(biāo)定方法。傳統(tǒng)標(biāo)定方法[7]利用最優(yōu)化算法確定相機內(nèi)外參數(shù)，實現(xiàn)相機標(biāo)定。這類方法具有較高的標(biāo)定精度，但標(biāo)定過程需要使用高精度標(biāo)定模板，標(biāo)定過程相對復(fù)雜；自標(biāo)定方法依靠相機對同一目標(biāo)不同角度的圖片信息采集，通過確定多幅圖像之間的對應(yīng)關(guān)系實現(xiàn)標(biāo)定[8-10]。該標(biāo)定過程僅需建立圖像之間的對應(yīng)關(guān)系，靈活性強、應(yīng)用范圍廣，但標(biāo)定魯棒性不高；基于主動視覺的標(biāo)定方法[11-12]利用相機的運動信息實現(xiàn)相機標(biāo)定，一定程度上解決了相機自標(biāo)定魯棒性差的問題，但不能對無法控制運動狀態(tài)的相機進行標(biāo)定。

1.1 傳統(tǒng)相機標(biāo)定

圖1 相機成像模型及相機坐標(biāo)系與世界坐標(biāo)系的變換Fig.1 Pin-hole camera model and transformation between camera coordinates and world coordinates

根據(jù)圖1理想相機成像模型——針孔相機模型[13]和相機坐標(biāo)系與世界坐標(biāo)系之間的變換，空間點P(X,Y,Z)被映射到圖像平面Π上的一點p(u,v)，點p是連接點P與相機光心C的直線與圖像平面的交點。相機光心C到圖像平面的垂線為相機的主軸，而主軸與圖像平面的交點為主點c(x0,y0)，相機光心C與主點c(x0,y0)之間的距離為相機焦距f. 圖像坐標(biāo)系(u,v)與世界坐標(biāo)(X,Y,Z)之間的關(guān)系為

(1)

式中：s為比例因子；(Xc,Yc,Zc)為相機坐標(biāo)系坐標(biāo)；

M=A[R|t]=

為相機投影矩陣，

1.2 GPS坐標(biāo)轉(zhuǎn)換

RTK工作模式下，GPS主站通過數(shù)據(jù)鏈—調(diào)制解調(diào)器，將觀測值及主站坐標(biāo)信息發(fā)送給從站。從站接收來自主站的數(shù)據(jù)，同時采集GPS衛(wèi)星信號觀測數(shù)據(jù)，并在系統(tǒng)內(nèi)組成差分觀測值進行實時處理，求解載波相位整周模糊度，得到主站和從站之間的坐標(biāo)差值，瞬時給出相對于主站的從站坐標(biāo)[3]。

工作在RTK模式下的GPS，以WGS-84坐標(biāo)系為導(dǎo)航坐標(biāo)系[14]。該坐標(biāo)系以緯度B，經(jīng)度L，高度H表示，其內(nèi)容包含在GPS導(dǎo)航電文中，輸出形式為ASCII碼。

將地球表面任意一點P的GPS導(dǎo)航坐標(biāo)PG(B,L,H)轉(zhuǎn)換為地球直角坐標(biāo)PE(XE,YE,ZE)：

(2)

式中：N為橢球曲率半徑；E為橢球第一偏心率。設(shè)地球長半徑、短半徑分別為

則有

(3)

將地球直角坐標(biāo)系轉(zhuǎn)換到以GPS主站為坐標(biāo)原點的世界坐標(biāo)系P(X,Y,Z)。設(shè)GPS主站O在地球直角坐標(biāo)系中為PE0(XE0,YE0,ZE0)，GPS從站A在地球直角坐標(biāo)系中為PE(XE,YE,ZE)，則從站A相對于主站O的坐標(biāo)為

(4)

GPS實時精密定位的關(guān)鍵技術(shù)是確定整周未知數(shù)[15]。RTK整周未知數(shù)搜索技術(shù)根據(jù)最小二乘原理序貫遞推算法處理每一個歷元的觀測值，關(guān)鍵在于實時搜索并唯一判定相位觀測值的初始整周未知數(shù)[3]。GPS RTK技術(shù)采用求差法降低了載波相位測量改正后的殘余誤差、接收機時鐘誤差、衛(wèi)星改正后的殘余誤差等因素的影響，只要能保持4顆以上衛(wèi)星相位觀測值的連續(xù)鎖定和它們具有必要的幾何圖形強度，測程在10 km以內(nèi)的從站可隨時給出精度為厘米量級的點位結(jié)果[3]。

2 基于GPS的相機標(biāo)定

2.1 標(biāo)定原理

將相機成像模型(1)式表示成如下形式：

(5)

式中：si為比例因子；(Xi,Yi,Zi,1)T為GPS在世界坐標(biāo)系中某一點i的齊次坐標(biāo)；(ui,vi,1)T為點i對應(yīng)的齊次圖像坐標(biāo)；mij為相機投影矩陣M第i行、第j列元素。

對n個已知的世界坐標(biāo)(Xi,Yi,Zi,1)T及對應(yīng)圖像坐標(biāo)(ui,vi,1)T，采用直接線性變換(DLT)方法[16]可解出相機投影矩陣M中的每個元素，即

(6)

令(6)式中m34=1，得到關(guān)于相機投影矩陣M中m11～m33元素的2n個線性方程。令

(7)

(6)式可改寫為

Km=U，

(8)

采用最小二乘法[17-18]可解出m，即

m=(KTK)-1KTU.

(9)

2.2 內(nèi)外參數(shù)求解

由(5)式可得相機投影矩陣M與相機內(nèi)外參數(shù)的關(guān)系為

(10)

由(10)式可得

(11)

(12)

由空間中6個以上已知點及對應(yīng)圖像坐標(biāo)，即可求出相機投影矩陣M，根據(jù)(12)式求出相機的內(nèi)外參數(shù)，即可完成相機的標(biāo)定。

3 實驗與分析

實驗采用北斗星通GPS，被標(biāo)相機型號為Basler acA640-90gc，其電荷耦合元件尺寸為4.88 mm×3.66 mm，分辨率為658×492，鏡頭標(biāo)注焦距F為12 mm. 實驗裝置如圖2所示，其中1為GPS天線，2為GPS接收器，3為電臺。

圖2 實驗裝置示意圖Fig.2 Schematic diagram of experimental device

3.1 實驗結(jié)果

實驗中，放置RTK工作模式下的GPS主站O與從站A，連接好電臺、GPS與電腦，記錄GPS主站O的經(jīng)度、緯度、高度信息PG0(B0,L0,H0)。移動GPS從站A至不同位置，移動范圍覆蓋視場全部，用被標(biāo)相機采集GPS從站A圖像Ii(i=1,2,…,n)，

表1 部分實驗坐標(biāo)Tab.1 Part of experimental coordinates

并記錄對應(yīng)的經(jīng)度、緯度、高度信息PGAi(BAi,LAi,HAi)(i=1,2,…,n). 將經(jīng)度、緯度、高度坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)Pi(Xi,Yi,Zi)(i=1,2,…,n)，并用Harris角點檢測方法提取GPS質(zhì)心圖像坐標(biāo)(xi,yi)(i=1,2,…,n)(見表1)。根據(jù)(9)式、(12)式求解相機投影矩陣和相機內(nèi)外參數(shù)。求出的相機投影矩陣M、相機內(nèi)參(fx,fy,cx,cy)和其中一幅圖像的相機外參矩陣[R|t]分別為

3.2 實驗分析

采用基于GPS的相機標(biāo)定方法進行實驗，從標(biāo)定模板、標(biāo)定圖像幀數(shù)、標(biāo)定點個數(shù)、標(biāo)定點位置選取、系統(tǒng)誤差等方面驗證其可行性，并與傳統(tǒng)的張正友標(biāo)定方法[16]進行比較。定義標(biāo)定誤差RMS為

(13)

3.2.1 傳統(tǒng)標(biāo)定模板與GPS標(biāo)定方法比較

分別采用GPS和棋盤格在同一場景下對同一相機進行標(biāo)定，標(biāo)定圖像幀數(shù)同為20幀，并計算標(biāo)定誤差RMS. 由表2可知，基于GPS的相機標(biāo)定方法標(biāo)定誤差小于傳統(tǒng)的標(biāo)定方法。

表2 GPS標(biāo)定方法與傳統(tǒng)標(biāo)定模板標(biāo)定結(jié)果及誤差Tab.2 Calibrated results and RMS of GPS and checkerboard calibration method

3.2.2 標(biāo)定圖像幀數(shù)對標(biāo)定結(jié)果的影響

在標(biāo)定過程中，標(biāo)定圖像幀數(shù)對標(biāo)定結(jié)果有一定的影響[19]。在能夠求出相機投影矩陣M的基礎(chǔ)上，分別選用8、12、15、18、20張圖像進行標(biāo)定。標(biāo)定誤差RMS見表3，圖3為相機焦距、主點標(biāo)定結(jié)果與使用圖像幀數(shù)的關(guān)系。采用基于GPS的相機標(biāo)定方法，在標(biāo)定時采用的圖像幀數(shù)越多，標(biāo)定結(jié)果精確度越高，標(biāo)定誤差越小。

表3 不同幀數(shù)圖像的標(biāo)定結(jié)果及標(biāo)定誤差Tab.3 Calibrated results and RMS of images with different frame numbers

圖3 標(biāo)定結(jié)果與使用圖像幀數(shù)關(guān)系Fig.3 Curves of calibrated results and image frames

3.2.3 標(biāo)定點對標(biāo)定結(jié)果的影響

在標(biāo)定過程中，標(biāo)定點的位置選取也是影響標(biāo)定精度的一個重要因素。采用GPS進行兩組標(biāo)定實驗，實驗1中GPS放置時盡量遍布視場的整個范圍，實驗2中GPS只集中放置在視場中間的一小塊區(qū)域。由表4可知，當(dāng)GPS放置范圍遍布整個視場時，標(biāo)定結(jié)果精確度較高，其標(biāo)定誤差RMS遠(yuǎn)小于GPS位置只限于視場中一塊區(qū)域。

表4 GPS不同位置的標(biāo)定結(jié)果及誤差Tab.4 Calibrated results and RMS of GPS at various positions

4 結(jié)論

基于GPS的相機標(biāo)定方法，采用GPS代替?zhèn)鹘y(tǒng)標(biāo)定模板獲取空間坐標(biāo)信息，實現(xiàn)相機標(biāo)定。該方法能克服標(biāo)定模板制作不夠精密、無法覆蓋畫面的全部等問題，提高相機標(biāo)定的準(zhǔn)確性和精度，且標(biāo)定設(shè)備操作簡單、便于移動，能夠應(yīng)用于大視場遠(yuǎn)距離場景的全天候相機標(biāo)定。然而，衛(wèi)星可見度問題、外界環(huán)境(如地形、地物)干擾等問題會對GPS測量結(jié)果造成一定影響，在后續(xù)研究中仍需對GPS相機標(biāo)定方法進行改進，提高該方法的穩(wěn)定性和標(biāo)定精度。

References)

[1] 邱茂林, 馬頌德,李毅. 計算機視覺中相機定標(biāo)綜述[J]. 自動化學(xué)報, 2000, 26(1): 43-55. QIU Mao-lin, MA Song-de, LI Yi.Overview of camera calibration for computer vision [J]. Acta Automatica Sinica, 2000, 26(1): 43-55. (in Chinese)

[2] 張勤, 賈慶軒. 基于激光與單目視覺的室內(nèi)場景三維重建[J]. 系統(tǒng)仿真學(xué)報, 2014, 26(2): 357-362. ZHANG Qin, JIA Qing-xuan.3D indoor reconstruction based on laser scanner and monocular camera [J]. Journal of System Simulation, 2014, 26(2): 357-362. (in Chinese)

[3] 閆志剛, 張兆龍, 趙曉虎. GPS RTK作業(yè)模式原理及其實用技術(shù)[J]. 四川測繪, 2001, 24(2):66-69. YAN Zhi-gang, ZHANG Zhao-long, ZHAO Xiao-hui. The principle of GPS RTK pattern and the practical technology in its application [J]. Surveying and Mapping of Sichuan, 2001, 24(2): 66-69. (in Chinese)

[4] 許婭婭. GPS RTK的發(fā)展及其在公路測量中的應(yīng)用[J]. 測繪通報, 2007(2): 18-20. XU Ya-ya. Development and application of the GPS RTK in the highway construction [J]. Bulletin of Surveying and Mapping, 2007(2):18-20. (in Chinese)

[5] 楊春生, 袁中凡, 王華. 基于RTK-GPS的汽車行駛記錄儀檢測系統(tǒng)[J]. 汽車技術(shù), 2007(10): 46-49. YANG Chun-sheng, YUAN Zhong-fan, WANG Hua. Calibration system for vehicle traveling data recorder based on RTK-GPS [J]. Automobile Technology, 2007(10):46-49. (in Chinese)

[6] 張鮮妮, 王磊. 一種改善RTK測量精度的新方法[J]. 大地測量與地球動力學(xué), 2011, 31(5): 128-131. ZHANG Xian-ni, WANG Lei. A new method for improving RTK measurement accuracy [J]. Journal of Geodesy and Geodynamics, 2011, 31(5):128-131. (in Chinese)

[7] Faig W. Calibration of close-range photogrammetry systems: mathematical formulation [J]. Photogrammetric Engineering and Remote Sensing, 1975, 41(12): 1479-1486.

[8] Hartley R I. Kruppa's equations derived from the fundamental matrix [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(2):133-135.

[9] Triggs B. Autocalibration and the absolute quadric[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Puerto Rico: IEEE Computer Society, 1997.

[10] Pollefeys M, Van Gool L, Oosterlinck A. The modulus Cconstraint: a new constraint for self-calibration [C]∥13th International Conference on Pattern Recognition. Vienna, Austria: IEEE Computer Society , 1996.

[11] Ma S D. A self-calibration technique for active vision systems [J]. IEEE Transactions on Robotics and Automation, 1996, 12(1): 114-120.

[12] 胡占義, 吳福朝. 基于主動視覺攝像機標(biāo)定方法[J]. 計算機學(xué)報, 2002, 25(11): 1149-1156. HU Zhan-yi, WU Fu-zhao. A review on some active vision based camera calibration techniques [J]. Chinese Journal of Computers, 2002, 25(11): 1149-1156. (in Chinese)

[13] Hartley R, Zisserman A. Multiple view geometry in computer vision [M].UK: Cambridge University Press, 2003.

[14] 李志遠(yuǎn). GPS在目標(biāo)跟蹤坐標(biāo)轉(zhuǎn)換的應(yīng)用研究[J]. 電腦編程技巧與維護, 2012(19): 7-8. LI Zhi-yuan.The application of GPS in coordinate transformation in target tracking [J]. Computer Programming Skills & Maintenance, 2012(12): 7-8. (in Chinese)

[15] 祁振海. GPS RTK技術(shù)原理及精度分析[C]∥廣東省測繪學(xué)會第九次會員代表大會暨學(xué)術(shù)交流會. 廣東惠州：廣東省測繪學(xué)會, 2010. QI Zhen-hai. GPS RTK principle and accuracy analysis [C]∥The 9th Congress and Academic Symposium of Guangdong Institute of Surveying and Mapping. Huizhou, Guangdong: Guangdong Institute of Surveying and Mapping, 2010. (in Chinese)

[16] 葛寶臻, 李曉潔, 邱實. 基于共面點直接線性變換的攝像機畸變校正[J]. 中國激光, 2010， 37(2): 488-494. GE Bao-zhen, LI Xiao-jie, QIU Shi. Camera lens distortion correction based on coplanar point direct liner transformation [J]. Chinese Journal of Lasers, 2010,37(2): 488-494. (in Chinese)

[17] 賈小勇, 徐傳勝, 白欣. 最小二乘法的創(chuàng)立及其思想方法[J]. 西北大學(xué)學(xué)報:自然科學(xué)版, 2006, 36(3): 507-511. JIA Xiao-yong, XU Chuan-sheng, BAI Xin. The invention and way of thinking on least squares [J]. Journal of Northwest University：Natural Science Edition, 2006, 36(3): 507-511. (in Chinese)

[18] 熊文卓, 孫明超. 采用最小二乘法提高變焦距鏡頭的焦距值輸出精度[J]. 儀器儀表學(xué)報, 2014，35(6)：151-154. XIONG Wen-zhuo, SUN Ming-chao. Improving focal output accuracy of zoom lens through least square method [J]. Chinese Journal of Scientific Instrument, 2014，35(6)：151-154. (in Chinese)

[19] Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientations[C]∥The Seventh IEEE International Conference on Computer Vision. Corfu, Greece: IEEE, 1999.

A GPS-based Camera Calibration Method

KONG Xiao-fang, CHEN Qian, GU Guo-hua, QIAN Wei-xian, REN Kan, WANG Jia-jie

(School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China)

The calibration templates have been widely used for camera calibration. The calibration templates could not cover a large field of view at a long distance due to its limitation. The method could not realize precise calibration. Combining the high-precision coordinate information access technology with GPS RTK mode, a GPS-based camera calibration method is proposed. In the proposed method, the coordinate information of GPS centroid in WGS-84 coordinates is obtained under the GPS RTK mode. The coordinate system transformation method is used to transform WGS-84 coordinates to system world coordinates. The images of GPS at different positions are taken by the camera under calibration, and Harris corner detection algorithm is used to get the corresponding image coordinates. The projection matrix is calculated according to the camera model, and the camera calibration is realized. Experimental results show that the proposed method can be used to obtain omnidirectional spatial coordinate information with high precision. Compared with traditional camera calibration methods, the calibrated RMS error of the proposed method is only 0.125 36.

optical engineering; computer vision; camera calibration; GPS navigation coordinate system; coordinate system transformation

2016-04-18

江蘇省自然科學(xué)基金青年基金項目(BK20130769)

孔筱芳(1990—), 女, 博士研究生。E-mail: xiaofangkong@163.com； 陳錢(1964—)，男，教授，博士生導(dǎo)師。E-mail: chenq@njust.edu.cn

TP391.41

A

1000-1093(2016)12-2301-07

10.3969/j.issn.1000-1093.2016.12.016