引文格式：LIU Yingzhen, JIA Fenli, WAN Gang, et al.Geo-registration of Unprofessional and Weakly-related Image and Precision Evaluation[J]. Acta Geodaetica et Cartographica Sinica,2015,44(9):1014-1021.(劉穎真，賈奮勵(lì)，萬(wàn)剛，等.非專業(yè)弱關(guān)聯(lián)影像的地理配準(zhǔn)及其精度評(píng)估[J].測(cè)繪學(xué)報(bào)，2015,44(9)：1014-1021.) DOI:10.11947/j.AGCS.2015.20140394

非專業(yè)弱關(guān)聯(lián)影像的地理配準(zhǔn)及其精度評(píng)估

劉穎真1,2,3，賈奮勵(lì)4，萬(wàn)剛4，諸云強(qiáng)2，霍超5

1. 總參謀部測(cè)繪信息中心, 北京 100088; 2. 中國(guó)科學(xué)院地理科學(xué)與資源研究所資源與環(huán)境信息系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100101; 3. 中國(guó)科學(xué)院大學(xué)，北京 100049; 4. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450052; 5. 西安測(cè)繪總站，陜西 西安 710054

Geo-registration of Unprofessional and Weakly-related Image and Precision Evaluation

LIU Yingzhen1, 2, 3,JIA Fenli4,WAN Gang4,ZHU Yunqiang2,HUO Chao5

1. General Staff Information Center of Surveying and Mapping, Beijing 100088, China； 2. State Key Laboratory of Resources and Environmental Information System, Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Geospatial Information Institute, Information Engineering University, Zhengzhou 450052, China; 5. Technical Division of Surveying and Mapping, Xi’an 710054, China

Abstract：The 3D geo-spatial model built by unprofessional and weakly-related image is a significant source of geo-spatial information. The unprofessional and weakly-related image cannot be useful geo-spatial information until be geo-registered with accurate geo-spatial orientation and location. In this paper, we present an automatic geo-registration using the coordination acquired by real-time GPS module. We calculate 2D and 3D spatial transformation parameters based on the spatial similarity between the image location in the geo-spatial coordination system and in the 3D reconstruction coordination system. Because of the poor precision of GPS information and especially the unstability of elevation measurement, we use RANSAC algorithm to get rid of outliers. In the experiment, we compare the geo-registered image positions to their differential GPS coordinates. The errors of translation, rotation and scaling are evaluated quantitively and the causes of bad result are analyzed. The experiment demonstrates that this geo-registration method can get a precise result with enough images.

Key words： 2D geo-registration; 3D geo-registration; GPS information of image; parameter solution of geo-registration; quantitive evaluation of geo-registration precision

Foundation support： The National Natural Science Foundation of China (Nos.40971239;41371381;41101437; 41371383; 41201390)；The Specific Foundation of Fundamental Scientific Research of China (No.2013FY110900)；The National Foundation of Major Scientific Equipment Development of China (No.2012YQ06002704)；The Science and Technology Plan Projects of Yunnan Province (No.2012CA021)

摘要：由非專業(yè)弱關(guān)聯(lián)影像自動(dòng)化構(gòu)建的三維地理空間模型是地理空間信息的重要來(lái)源。非專業(yè)弱關(guān)聯(lián)影像在三維重建后必須經(jīng)過(guò)地理配準(zhǔn)，具有了絕對(duì)地理空間坐標(biāo)系的位置信息及其準(zhǔn)確的空間精度信息后，才有可能成為有效的地理空間信息。本文提出了一種以相機(jī)GPS模塊獲取的地理空間坐標(biāo)為依據(jù)的理配準(zhǔn)方法，依據(jù)影像的地理空間坐標(biāo)和其三維重建后得到圖像空間坐標(biāo)的空間相似性，考慮GPS實(shí)時(shí)測(cè)量坐標(biāo)精度較差和高程測(cè)量值不穩(wěn)定的特點(diǎn)，采用RANSAC方法求解二維和三維兩種空間變換參數(shù)及地理配準(zhǔn)結(jié)果。利用差分GPS測(cè)量的影像位置數(shù)據(jù)對(duì)地理配準(zhǔn)的精度進(jìn)行了分析，給出了位移、旋轉(zhuǎn)和縮放等誤差的定量評(píng)估結(jié)果，分析了產(chǎn)生錯(cuò)誤結(jié)果的原因。這種地理配準(zhǔn)方法對(duì)數(shù)據(jù)采集設(shè)備要求低，過(guò)程無(wú)須人工參與。試驗(yàn)證明，在參與地理配準(zhǔn)運(yùn)算的照片數(shù)量較多時(shí)，配準(zhǔn)結(jié)果正確、空間精度較高。

關(guān)鍵詞：二維地理配準(zhǔn);三維地理配準(zhǔn);影像GPS信息;地理配準(zhǔn)參數(shù)求解;地理配準(zhǔn)精度定量評(píng)估

中圖分類號(hào)：P208

基金項(xiàng)目：國(guó)家自然科學(xué)基金(40971239；41371381；41101437；41371383；41201390)；科技基礎(chǔ)性工作專項(xiàng)(2013FY110900)；國(guó)家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)(2012YQ06002704)；云南省科技計(jì)劃(2012CA021)

收稿日期：2014-07-23

作者簡(jiǎn)介：第一 劉穎真(1981—)，女，博士，研究方向?yàn)槿S地理信息構(gòu)建與人機(jī)交互。

1引言

非專業(yè)弱關(guān)聯(lián)影像(unprofessional and weakly-correlated image)是指由非專業(yè)人員采用普通方式拍攝獲取的、相互間存在弱空間關(guān)聯(lián)關(guān)系的照片或序列影像[1]。隨著消費(fèi)級(jí)數(shù)碼相機(jī)和帶有高清拍攝功能手機(jī)的日漸普及，普通民眾已經(jīng)可以隨時(shí)隨地采集感興趣對(duì)象的照片。針對(duì)同一對(duì)象重疊度較高的拍攝即可獲得非專業(yè)弱關(guān)聯(lián)影像，這讓非專業(yè)弱關(guān)聯(lián)影像的采集變得極為方便、快捷。同時(shí)，得益于計(jì)算機(jī)視覺的發(fā)展，利用非專業(yè)弱關(guān)聯(lián)影像重建三維場(chǎng)景的技術(shù)已經(jīng)日趨成熟，具有對(duì)處理設(shè)備要求不高、處理方法自動(dòng)化程度高、處理過(guò)程耗時(shí)短等特點(diǎn)。將非專業(yè)弱關(guān)聯(lián)影像作為地理空間信息獲取的來(lái)源，具有重要的研究意義和廣闊的應(yīng)用前景。

非專業(yè)弱關(guān)聯(lián)影像通過(guò)計(jì)算機(jī)視覺技術(shù)恢復(fù)的三維影像和點(diǎn)云是在一個(gè)完全由圖像信息恢復(fù)出來(lái)的相對(duì)三維空間(下文簡(jiǎn)稱為像空間)坐標(biāo)系中，既沒有絕對(duì)的地理位置，也沒有絕對(duì)的空間度量標(biāo)準(zhǔn)，不能成為有效的地理空間信息來(lái)源。因此必須借助額外的地理空間位置信息，通過(guò)地理配準(zhǔn)使其具備地理空間坐標(biāo)系的絕對(duì)坐標(biāo)。地理配準(zhǔn)后數(shù)據(jù)還需要經(jīng)過(guò)空間精度評(píng)估，才能確定其適用領(lǐng)域。地理配準(zhǔn)的精度主要由配準(zhǔn)使用的地理空間位置信息和配準(zhǔn)方法決定，而對(duì)這個(gè)精度的評(píng)估，需要有更高精度的地理空間數(shù)據(jù)作支持。

目前關(guān)于三維重建照片和點(diǎn)云的地理配準(zhǔn)的研究很多，原理總結(jié)如圖1所示。地理配準(zhǔn)采用的基準(zhǔn)地理信息包括用戶指定的照片位置信息[2-3]、地圖[4]、具有位置信息且經(jīng)過(guò)訓(xùn)練的正射高清遙感影像[2]、樓層內(nèi)部結(jié)構(gòu)圖[2]、LiDAR點(diǎn)云[5-7]、有位置信息的三維重建點(diǎn)云[8]、DSM模型和相機(jī)GPS模塊獲取的位置信息[9-12]、飛行器的GPS數(shù)據(jù)[7, 13]、Google全景圖[14]、Google街景地圖和Google地球三維模型[3]，等。地理配準(zhǔn)的方式主要分為全自動(dòng)計(jì)算[3, 9-12, 14-15]和需要人工參與的半自動(dòng)計(jì)算兩種方式，其中人工參與的工作包括指定位置[2]、比例尺[2]、基準(zhǔn)地理信息和待地理配準(zhǔn)數(shù)據(jù)的對(duì)應(yīng)點(diǎn)[5-6]等。地理配準(zhǔn)的方法主要分為兩類，一類是基于圖像特征相似度的，如提取衛(wèi)星影像、地圖、樓層結(jié)構(gòu)圖等二維圖像中墻面的圖像特征作為配準(zhǔn)基準(zhǔn)，利用投影處理后的點(diǎn)云及其與相機(jī)之間的可視化關(guān)系推算出墻面的空間位置，然后進(jìn)行配準(zhǔn)[2]；另一類是基于空間位置一致性的，如把三維點(diǎn)云與Google地球三維模型[3]SM模型[9]配準(zhǔn)，利用人工指定圖像與LiDAR點(diǎn)云的對(duì)應(yīng)特征點(diǎn)后用最小二乘的方法計(jì)算配準(zhǔn)的幾何變換參數(shù)[5-7]，利用已有照片集中照片的地理位置，配準(zhǔn)新加入重建計(jì)算的照片等[8, 11]。

圖1　三維重建照片和點(diǎn)云的地理配準(zhǔn)方法原理 [1] Fig.1　Geo-registration methodology of 3D reconstruction [1]

對(duì)于地理配準(zhǔn)結(jié)果的精度，只有一部分研究給出了定量的評(píng)估結(jié)果，且其中一部分沒有給出定量結(jié)果的計(jì)算方法。文獻(xiàn)[3]給出了多組數(shù)據(jù)的拍攝位置平均誤差，范圍在1.86～595.20m，其中拍攝位置的真值一部分是靠手工配準(zhǔn)三維點(diǎn)云到Google地圖中的衛(wèi)星影像，一部分來(lái)自照片所帶的精確差分GPS坐標(biāo)。文獻(xiàn)[6]給出了拍攝位置的平均角度誤差約為0.1°，僅用LiDAR點(diǎn)云和照片疊加的方法說(shuō)明地理配準(zhǔn)精度較高，但是沒有給出精度評(píng)估的方法。文獻(xiàn)[10]以10個(gè)固定拍攝點(diǎn)的差分GPS坐標(biāo)為真值定量評(píng)估了地理配準(zhǔn)結(jié)果，這10個(gè)拍攝點(diǎn)在二維地平面上的平均偏移為0.31±0.04m。文獻(xiàn)[13]給出了標(biāo)示點(diǎn)的地理注冊(cè)坐標(biāo)和測(cè)量坐標(biāo)之間的3個(gè)方向的距離誤差，其中一個(gè)方向的最大誤差達(dá)到15m。文獻(xiàn)[7]僅給出了地理配準(zhǔn)后的影像和Google地圖相差2.5m的結(jié)果。

非專業(yè)弱關(guān)聯(lián)影像的優(yōu)勢(shì)在于數(shù)據(jù)獲取方法簡(jiǎn)單快捷、處理過(guò)程無(wú)須人工參與，因此針對(duì)該類影像的地理配準(zhǔn)方法應(yīng)盡量簡(jiǎn)化對(duì)采集設(shè)備和基準(zhǔn)地理數(shù)據(jù)的要求。本文研究的地理配準(zhǔn)算法僅需要相機(jī)配備GPS模塊(當(dāng)前的很多智能手機(jī)都自帶GPS模塊)，以其自動(dòng)實(shí)時(shí)獲取的地理坐標(biāo)為基準(zhǔn)地理信息，配準(zhǔn)的對(duì)象為非專業(yè)弱關(guān)聯(lián)影像重建得到的影像拍攝位置和三維點(diǎn)云位置，配準(zhǔn)過(guò)程為全自動(dòng)處理。地理配準(zhǔn)結(jié)果的精度評(píng)估以部分相機(jī)的差分GPS坐標(biāo)為真值，評(píng)估指標(biāo)包括了每組重建結(jié)果中拍攝位置在二維地平面和三維空間中的位移、旋轉(zhuǎn)角度和縮放比例等。

2利用影像GPS信息的地理配準(zhǔn)方法

相機(jī)內(nèi)置或加配的GPS定位模塊雖然操作簡(jiǎn)單，易于快速地實(shí)現(xiàn)實(shí)時(shí)定位，但是由于定位過(guò)程中受到衛(wèi)星星歷誤差、鐘差及信號(hào)傳播誤差等諸多因素的影響定位精度不高，一般為10～50m[16]，高程測(cè)量值較水平坐標(biāo)的穩(wěn)定性更差。因此，本文設(shè)計(jì)了兩種地理配準(zhǔn)參數(shù)求解方法，一種是使用GPS測(cè)量的水平經(jīng)緯度坐標(biāo)和高程坐標(biāo)的三維地理配準(zhǔn)方法，另一種是僅使用水平經(jīng)緯度坐標(biāo)的二維地理配準(zhǔn)方法?？紤]到GPS測(cè)量的精度較差，采用隨機(jī)抽樣一致性(random sample consensus，RANSAC)算法選取部分影像的GPS坐標(biāo)求解最優(yōu)配準(zhǔn)參數(shù)，結(jié)合第3部分試驗(yàn)中精度評(píng)估結(jié)果，經(jīng)過(guò)反復(fù)試驗(yàn)后確定了算法中各種參數(shù)和外點(diǎn)的判斷標(biāo)準(zhǔn)。

2.1　三維地理配準(zhǔn)參數(shù)求解方法

如圖2所示，基于三維攝影變換關(guān)系的地理配準(zhǔn)方法運(yùn)算過(guò)程相對(duì)簡(jiǎn)單，主要原理是根據(jù)每張影像重建得到像空間三維坐標(biāo)pI和拍攝時(shí)由GPS模塊獲取的地理空間三維坐標(biāo)pG，運(yùn)用機(jī)器視覺中含有比例因子的絕對(duì)定位方法[17]，求解像空間和地理空間這兩個(gè)三維空間之間的坐標(biāo)變換關(guān)系，得到每張影像的地理配準(zhǔn)坐標(biāo)pA。其中地理空間的三維坐標(biāo)pG是由影像的GPS坐標(biāo)(WGS-84坐標(biāo)系)轉(zhuǎn)換到大地直角坐標(biāo)系得到的。

圖2　基于三維攝影變換關(guān)系的地理配準(zhǔn)方法流程圖 Fig.2　Flow diagram of geo-registration using 3D space transformation

設(shè)同一幅影像的像空間三維點(diǎn)為pI=[xIyIzI]T、地理配準(zhǔn)后得到的地理空間大地直角坐標(biāo)系點(diǎn)為pA=[xAyAzA]T，從像空間到地理空間的坐標(biāo)系變換公式為

pA=sRpI+p0

(1)

式中，s是比例因子，R是旋轉(zhuǎn)矩陣，p0是平移矢量。待求解的地理配準(zhǔn)參數(shù)共有7個(gè)：3個(gè)旋轉(zhuǎn)參數(shù)，3個(gè)平移參數(shù)，1個(gè)比例因子。已知的是點(diǎn)群pI和點(diǎn)群pG。

(2)

(3)

將每個(gè)點(diǎn)群變換為有關(guān)矩中心的一個(gè)矢量簇rI,i和rG,i

(4)

(5)

計(jì)算矢量簇平均長(zhǎng)度，即可確定比例因子s

(6)

計(jì)算兩個(gè)點(diǎn)群中的射線坐標(biāo)標(biāo)量積之和，得到矩陣M

(7)

為求解旋轉(zhuǎn)矩陣R，并保證R是規(guī)范化正交矩陣，設(shè)矩陣Q為

Q=MTM

(8)

設(shè)矩陣S為

S=Q1/2

(9)

計(jì)算Q的特征值λ1、λ2、λ3和特征矢量v1、v2、v3，將矩陣的分解表示為

(10)

可求解矩陣S的逆矩陣

(11)

則旋轉(zhuǎn)矩陣R為

R=MS-1

(12)

根據(jù)求解得到的s、R，即可根據(jù)公式

(13)

求解得到平移矢量p0。

根據(jù)求解得到的s、R和p0，即可根據(jù)式(1)求解得到像空間內(nèi)每個(gè)拍攝位置的地理配準(zhǔn)坐標(biāo)pA和點(diǎn)云中每個(gè)點(diǎn)對(duì)應(yīng)的地理空間三維坐標(biāo)。

這種基于三維攝影關(guān)系的地理配準(zhǔn)方法原理簡(jiǎn)單、適用范圍廣，既可以用于非專業(yè)弱關(guān)聯(lián)影像，又適用于有GPS航跡信息的無(wú)人機(jī)影像。但需要注意的是，普通GPS接收單元采集的高程信息精度較差，造成配準(zhǔn)結(jié)果精度低于二維地理配準(zhǔn)方法(參見后面的試驗(yàn)結(jié)果)。

2.2　二維地理配準(zhǔn)參數(shù)求解方法

如圖3所示，基于二維投影變換關(guān)系的地理配準(zhǔn)方法與基于三維的地理配準(zhǔn)方法流程相同，不同點(diǎn)是在兩種空間下的影像拍攝位置坐標(biāo)都是經(jīng)過(guò)了投影處理后得到的二維坐標(biāo)，最終的地理配準(zhǔn)結(jié)果也是二維平面上的地理空間坐標(biāo)而沒有高程信息。二維地理配準(zhǔn)運(yùn)算的重點(diǎn)是如何對(duì)像空間中的影像拍攝位置進(jìn)行降維度投影處理。本文采用高斯投影變換將地理空間中的影像GPS位置轉(zhuǎn)換為二維投影坐標(biāo)；采用Szeliski的方法[18]求解所有影像的向上矢量，然后以該矢量方向?yàn)榈仄矫娴姆ㄏ蛄浚纯捎?jì)算影像的二維投影位置。

Szeliski的方法是根據(jù)普通用戶拍攝影像通常為水平手持拍攝的特點(diǎn)，假設(shè)影像的橫邊和地面平行，推算出地平面的法向量，把影像的拍攝位置和點(diǎn)云等所有相對(duì)坐標(biāo)系下的三維點(diǎn)p簡(jiǎn)化為仍處于相對(duì)坐標(biāo)系下的二維地面投影點(diǎn)p′。

在算法上，就是求解一個(gè)3×3的旋轉(zhuǎn)矩陣Rg，使得

p′=Rgp

(14)

式中，p′所在的坐標(biāo)系滿足y軸垂直于地面。設(shè)

(15)

分步求解每一行rg0、rg1和rg2。

首先求解rg1。rg1是每幅影像的旋轉(zhuǎn)矩陣Rk中x向量rk0的矩量矩陣的最小特征向量，即

(16)

式中，rk0=[100]Rk，即旋轉(zhuǎn)矩陣的第1行。

接下來(lái)，求解rg0和rg2

(17)

rg2=rg0×rg1

(18)

式中，rk2=[001]Rk，即旋轉(zhuǎn)矩陣的第3行。

假設(shè)像空間中影像點(diǎn)p=[xyz]，投影的地面點(diǎn)p′=[x′y′]，則

(19)

接下來(lái)二維空間坐標(biāo)系的地理配準(zhǔn)參數(shù)求解方法與2.1節(jié)中的三維地理配準(zhǔn)參數(shù)求解方法相同，不再贅述。

圖3　基于二維投影變換關(guān)系的地理配準(zhǔn)方法流程圖 Fig.3　Flow diagram of geo-registration using 2D space transformation

2.3　用 RANSAC的方法求解最優(yōu)地理配準(zhǔn)參數(shù)

由于GPS實(shí)時(shí)測(cè)量的坐標(biāo)誤穩(wěn)定性差，存在一些誤差較大的錯(cuò)誤點(diǎn)。如果使用所有影像拍攝位置的GPS坐標(biāo)計(jì)算地理配準(zhǔn)參數(shù)，會(huì)受到這些誤差較大點(diǎn)的影響，得到并非最優(yōu)的配準(zhǔn)方案，因此需要一種容錯(cuò)能力強(qiáng)的算法。本文設(shè)計(jì)了一種RANSAC算法[19]，經(jīng)過(guò)反復(fù)試驗(yàn)確定了算法中的各種參數(shù)和外點(diǎn)判斷標(biāo)準(zhǔn)。

2.3.1　算法步驟

(1) 設(shè)置置信概率P、數(shù)據(jù)錯(cuò)誤率ε、最小抽樣數(shù)m，根據(jù)

1-(1-(1-ε)m)M=P

(20)

計(jì)算需要的抽樣數(shù)量M。

(2) 隨機(jī)抽取m個(gè)影像拍攝點(diǎn)，按照2.1節(jié)或者2.2節(jié)的方法用其GPS測(cè)量坐標(biāo)pG和像空間坐標(biāo)pI計(jì)算對(duì)應(yīng)的一組地理配準(zhǔn)參數(shù)。

(3) 根據(jù)步驟(2)中得到的地理配準(zhǔn)參數(shù)，用所有影像拍攝點(diǎn)的像空間坐標(biāo)pI計(jì)算對(duì)應(yīng)的配準(zhǔn)地理坐標(biāo)pA，計(jì)算pG到pA的距離DisGA，根據(jù)DisGA與閾值的關(guān)系判斷每一個(gè)點(diǎn)是否為內(nèi)點(diǎn)，獲得這組配準(zhǔn)參數(shù)的內(nèi)點(diǎn)數(shù)量。

(4) 重復(fù)步驟(2)和步驟(3)，直到完成M次抽樣的處理。

(5) 根據(jù)內(nèi)點(diǎn)數(shù)量選擇最優(yōu)的地理配準(zhǔn)參數(shù)。

(6) 找出最優(yōu)的地理配準(zhǔn)參數(shù)對(duì)應(yīng)的所有內(nèi)點(diǎn)，用這些內(nèi)點(diǎn)計(jì)算最終的配準(zhǔn)參數(shù)。

2.3.2　算法參數(shù)設(shè)置

在這個(gè)RANSAC算法中，需要設(shè)置的參數(shù)包括置信概率P、數(shù)據(jù)錯(cuò)誤率ε、最小抽樣數(shù)m和判斷外點(diǎn)需要的pG到pA的三維距離DisGA和二維距離DisGA2d的閾值。本文統(tǒng)計(jì)分析了精度評(píng)估試驗(yàn)(詳見3.3節(jié))中獲取的相機(jī)位置差分GPS坐標(biāo)pD到pG之間的二維地面投影距離DisGD2d、高差HeitGD以及三維距離DisGD，以此確定算法中的上述參數(shù)。

圖4按照精度評(píng)估試驗(yàn)中測(cè)量的4個(gè)建筑物分布繪制了DisGD2d、HeitGD和DisGD的箱型圖。由圖4可見，pG和pD之間二維距離DisGD2d(填充色為白色)的內(nèi)距(inter-quartile range，IQR)為10～15m。因此，將二維地理配準(zhǔn)中DisGD2d的閾值設(shè)置為15m，置信概率P=0.95，數(shù)據(jù)錯(cuò)誤率ε=0.65。三維距離DisGD(填充色為深灰色)的高程分量HeitGD(填充色為淺灰色)的誤差較DisGD2d普遍偏大，是造成DisGD穩(wěn)定性差的主要原因。盡管如此，可以看出，DisGD的第二分位數(shù)都在25m以內(nèi)，因此三維地理配準(zhǔn)中設(shè)置DisGD的閾值為25m，P=0.95，ε節(jié)=0.5，二維和三維地理配準(zhǔn)中的最小抽樣數(shù)m分別設(shè)為7和9。

圖4　實(shí)時(shí)GPS測(cè)量坐標(biāo)p G和差分GPS測(cè)量坐標(biāo)p D之間二維距離、高差和三維距離的箱型統(tǒng)計(jì)圖 Fig.4　Box chart of the 2D distance, height difference and 3D distance between GPS coordinate p G and differential GPS coordinate p D

3利用差分GPS信息的地理配準(zhǔn)試驗(yàn)

3.1　試驗(yàn)數(shù)據(jù)

為了驗(yàn)證地理配準(zhǔn)算法的正確性并評(píng)估配準(zhǔn)結(jié)果的精度，選取位于河南省鄭州市的4個(gè)建筑物，由6個(gè)人手持多臺(tái)配備GPS定位模塊的數(shù)碼相機(jī)和自身帶有拍攝功能和GPS定位功能的智能手機(jī)，分兩次拍攝了920余張帶有實(shí)時(shí)GPS測(cè)量坐標(biāo)的建筑物立面照片。在第2次拍攝中，用差分GPS設(shè)備測(cè)量了305張照片拍攝點(diǎn)的精確坐標(biāo)。選取的拍攝對(duì)象既有輪廓相對(duì)簡(jiǎn)單、紋理相對(duì)重復(fù)的建筑物，也有輪廓和紋理都較為復(fù)雜的建筑物。圖5為建筑物1三維重建得到的點(diǎn)云和參與配準(zhǔn)試驗(yàn)的原始照片。

圖5　建筑物1的三維重建點(diǎn)云和參與配準(zhǔn)運(yùn)算的照片 Fig.5　3D reconstruction point cloud and original photos for geo-registrationof No.1 building

3.2　試驗(yàn)設(shè)備

拍攝設(shè)備：尼康D5100相機(jī)，焦距18～105mm，分辨率3696像素×2448像素；尼康D90相機(jī)，焦距18～105mm，分辨率4288像素×2848像素；蘋果iPhone 4S手機(jī)自帶相機(jī)，焦距4mm，分辨率3264像素×2488像素；蘋果iPhone 3GS手機(jī)自帶相機(jī)，焦距4mm，分辨率1536像素×2048像素。

GPS接收器：尼康GP-1(數(shù)碼相機(jī)配備)，水平精度為10m RMS[20]；手機(jī)使用自帶GPS模塊。

差分GPS設(shè)備：南方S82T，水平精度1cm+1×10-6D，垂直精度2cm+1×10-6D[21]。

3.3　地理配準(zhǔn)試驗(yàn)結(jié)果及分析

對(duì)各個(gè)建筑物按照每個(gè)單一時(shí)段和多時(shí)段集合的方式分別進(jìn)行了三維重建和地理配準(zhǔn)運(yùn)算。分析結(jié)果表明，在參與地理配準(zhǔn)運(yùn)算的照片數(shù)量較多時(shí)，地理配準(zhǔn)算法結(jié)果正確，配準(zhǔn)精度令人滿意。地理配準(zhǔn)結(jié)果的誤差或錯(cuò)誤主要出現(xiàn)在平移、旋轉(zhuǎn)、縮放等方面。

3.3.1　結(jié)果誤差的定量評(píng)估

為了定量評(píng)估地理配準(zhǔn)中照片拍攝位置的平移、旋轉(zhuǎn)和縮放的精度，本文把每組照片的配準(zhǔn)坐標(biāo)和其差分GPS坐標(biāo)進(jìn)行了各種統(tǒng)計(jì)和解算。將拍攝點(diǎn)的地理配準(zhǔn)坐標(biāo)pA與差分GPS坐標(biāo)pD的距離DisDA進(jìn)行統(tǒng)計(jì)分析，得到平移誤差的均值和標(biāo)準(zhǔn)差；采用2.2節(jié)中的二維地理配準(zhǔn)參數(shù)求解方法，計(jì)算了pA與pD之間的空間關(guān)系變換參數(shù)，即比例因子和旋轉(zhuǎn)矩陣，由此計(jì)算旋轉(zhuǎn)角度誤差和縮放比例誤差。為便于對(duì)二維和三維兩種地理配準(zhǔn)方法的誤差作比較，三維地理配準(zhǔn)結(jié)果的旋轉(zhuǎn)角度誤差和縮放比例誤差是用pA與pD的二維高斯投影坐標(biāo)計(jì)算的，同時(shí)也計(jì)算了平移誤差的二維數(shù)值。表1詳細(xì)給出了每個(gè)地理配準(zhǔn)結(jié)果的誤差計(jì)算值(黑體部分為錯(cuò)誤結(jié)果)。由表1可以看出，在照片較多時(shí)，地理配準(zhǔn)結(jié)果的誤差都較小，表明配準(zhǔn)結(jié)果正確。

表1　地理配準(zhǔn)結(jié)果詳細(xì)誤差表

在正確的地理配準(zhǔn)結(jié)果中，普遍存在平移誤差(圖6為典型示例)，二維地理配準(zhǔn)結(jié)果的平移誤差均值為3.31～7.68m、標(biāo)準(zhǔn)差為0.24～1.65m，三維地理配準(zhǔn)結(jié)果的平移誤差均值為5.92～9.58m、標(biāo)準(zhǔn)差為1.33～2.62m，其地面投影的二維平移誤差均值為2.72～7.48m，標(biāo)準(zhǔn)差為0.90～2.78m。二維地理配準(zhǔn)的平移誤差均值略大于三維配準(zhǔn)，但是標(biāo)準(zhǔn)差較小。旋轉(zhuǎn)誤差普遍較小，角度都在±5.6°以內(nèi)，二維地理配準(zhǔn)的旋轉(zhuǎn)誤差和三維配準(zhǔn)相差不大?？s放誤差也普遍較小，縮放比例為0.99～1.13之間，二維地理配準(zhǔn)的縮放誤差小于三維配準(zhǔn)。在三維地理配準(zhǔn)結(jié)果中，高程誤差的標(biāo)準(zhǔn)差普遍大于地面投影的二維平移誤差標(biāo)準(zhǔn)差，是造成三維平移誤差大的主要因素。二維和三維兩種地理配準(zhǔn)方法相較而言，二維方法穩(wěn)定性更高，平移誤差的標(biāo)準(zhǔn)差和縮放誤差較小。但是由于照片的GPS坐標(biāo)穩(wěn)定性差，可能出現(xiàn)照片增多時(shí)GPS坐標(biāo)誤差更大的情況(如表1中的建筑物3)，因此在照片達(dá)到一定數(shù)量之后，地理配準(zhǔn)的精度并沒有隨著照片數(shù)量的增加而明顯改善，甚至?xí)谝恍┲笜?biāo)上出現(xiàn)下降。對(duì)于本文的試驗(yàn)結(jié)果，在照片多于80張時(shí)，得到的結(jié)果都是正確結(jié)果。

文獻(xiàn)[3]中給出了7個(gè)建筑物利用照片的GPS信息(一部分是相機(jī)內(nèi)置的GPS模塊實(shí)時(shí)獲取，一部分是人工指定的，人工指定的GPS信息誤差較大)和照片中線段的滅點(diǎn)信息計(jì)算的二維地理配準(zhǔn)結(jié)果誤差，照片位置的平移誤差均值分別為3.41m、9.42m、13.69m、14.03m、20.05m、34.55m、245.49m和595.20m。與本文試驗(yàn)結(jié)果中二維地理配準(zhǔn)結(jié)果的平移誤差均值為3.31～21.52m(包括錯(cuò)誤的配準(zhǔn)結(jié)果)相比，本文的方法在精度上表現(xiàn)較好。

圖6　建筑物4多時(shí)段照片的地理配準(zhǔn)結(jié)果(145張照片參與地理配準(zhǔn)運(yùn)算，圖中僅顯示有差分GPS坐標(biāo)的照片位置) Fig.6　Geo-registration result of No.4 building using multi-period photos (145 photos involved in calculation, only the ones with differential GPS coordinates are displayed)

3.3.2　錯(cuò)誤地理配準(zhǔn)結(jié)果的分析

如表1中黑體部分所示，有3個(gè)建筑物在參與地理配準(zhǔn)運(yùn)算的照片較少(都少于60張)時(shí)，出現(xiàn)了誤差較大的錯(cuò)誤結(jié)果。錯(cuò)誤的表現(xiàn)有旋轉(zhuǎn)角度過(guò)大(圖7(a)為典型示例)、整體縮小或放大的比例過(guò)大(圖8(a)為典型示例)等現(xiàn)象(詳細(xì)的錯(cuò)誤數(shù)值參見表1中加下劃線的數(shù)值)。比較pG和pD的空間分布發(fā)現(xiàn)，各個(gè)錯(cuò)誤結(jié)果中從pD到pG的矢量vDG存在方向上的聚集性(見圖7(b)和圖8(b))，即GPS模塊實(shí)時(shí)測(cè)量的坐標(biāo)與真值相比，普遍偏向一個(gè)方向。那么運(yùn)算出的地理配準(zhǔn)結(jié)果pA的分布也會(huì)朝向這個(gè)方向。這表明，當(dāng)參與地理配準(zhǔn)運(yùn)算的照片數(shù)量較少時(shí)，如果實(shí)時(shí)GPS的測(cè)量誤差在空間分布上存在方向的非均勻性，會(huì)引起地理配準(zhǔn)結(jié)果出現(xiàn)方向相同的錯(cuò)誤。而照片數(shù)量越多，測(cè)量誤差出現(xiàn)這種方向上非均勻性情況的概率越低。

4結(jié)論

本文提出了一種利用相機(jī)配備的GPS模塊在拍攝時(shí)實(shí)時(shí)測(cè)量的地理空間坐標(biāo)對(duì)非專業(yè)弱關(guān)聯(lián)影像的三維重建結(jié)果進(jìn)行地理配準(zhǔn)的全自動(dòng)化方法?？紤]到GPS實(shí)時(shí)測(cè)量坐標(biāo)精度較差和高程測(cè)量不穩(wěn)定的特點(diǎn)，采用RANSAC方法求解二維和三維兩種空間變換參數(shù)及配準(zhǔn)結(jié)果。利用差分GPS測(cè)量的影像位置數(shù)據(jù)對(duì)地理配準(zhǔn)結(jié)果的精度進(jìn)行了多指標(biāo)的定量評(píng)估，對(duì)錯(cuò)誤結(jié)果進(jìn)行了分析。該地理配準(zhǔn)方法適用于手持拍攝的室外地物照片，僅要求照片數(shù)量足夠多、相機(jī)配備GPS模塊即可。該方法的特點(diǎn)是對(duì)數(shù)據(jù)采集設(shè)備要求低，過(guò)程無(wú)須人工參與，且對(duì)照片的初始定位數(shù)據(jù)測(cè)量精度要求不高。地理配準(zhǔn)試驗(yàn)的精度評(píng)估結(jié)果表明，該方法在參與運(yùn)算的照片數(shù)量在80張以上時(shí)，二維和三維兩種地理配準(zhǔn)方法的結(jié)果均正確，空間精度較高。

圖7　利用建筑物1某單一時(shí)段照片得到的錯(cuò)誤的地理配準(zhǔn)結(jié)果(30個(gè)拍攝點(diǎn)參與地理配準(zhǔn)運(yùn)算) Fig.7　Wrong geo-registration result of No.1 building using single-period photos (30 photos involved in calculation)

圖8　利用建筑物2某一時(shí)段照片得到的錯(cuò)誤的地理配準(zhǔn)結(jié)果(28個(gè)拍攝點(diǎn)參與地理配準(zhǔn)運(yùn)算) Fig.8　Wrong geo-registration result of No.2 building using single-period photos (28 photos involved in calculation)

參考文獻(xiàn)：

[1]LIU Yingzhen, JIA Fenli, WAN Gang, et al. Construction and Application of 3D GIS Based on Unprofessionaland Weakly-Correlated Image[J]. Journal of Geomatics Science and Technology, 2014, 31(1): 73-78. (劉穎真, 賈奮勵(lì), 萬(wàn)剛, 等. 非專業(yè)弱關(guān)聯(lián)影像構(gòu)建三維GIS研究[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2014, 31(1): 73-78.)

[2]KAMINSKY R S, SNAVELY N, SEITZ S M, et al. Alignment of 3D Point Clouds to Overhead Images[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Miami: IEEE, 2009:63-70.

[3]WANG Chunpo, WILSON K, SNAVELY N. Accurate Georegistration of Point Clouds Using Geographic Data[C]∥2013 International Conference on 3D Vision. Seattle: IEEE, 2013:33-40.

[4]ROBERTSON D P, CIPOLLA R. Building Architectural Models from Many Views Using Map Constraints[C]∥HEYDEN A,SPARR G,NIELSEN M, et al.The European Conference on Computer Vision 2002. Copenhagen: Springer, 2002: 155-169.

[5]CHO P. 3D Organization of 2D Urban Imagery[C]∥Applied Imagery Pattern Recognition Workshop. Washington: IEEE, 2007:3-8.

[6]CHO P, SNAVELY N. Enhancing Large Urban Photo Collections with 3D LiDAR and GIS Data[J]. International Journal of Remote Sensing Applications, 2013, 3(1): 1-10.

[7]CHO P, SNAVELY N. 3D Exploitation of 2D Ground-level& Aerial Imagery[C]∥IEEE Applied Imagery Pattern Recognition Workshop. Washington, DC: IEEE, 2011:1-8.

[8]NI K, SUN Z, BLISS N. 3D Image Geo-Registration Using Vision-based Modeling[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. Prague: IEEE, 2011:1573-1576.

[9]WENDEL A, IRSCHARA A, BISCHOF H. Automatic Alignment of 3D Reconstructions Using a Digital Surface Model[C]∥IEEE Computer Society Computer Vision and Pattern Recognition Workshops. Colorado Springs: IEEE, 2011:29-36.

[10]WENDEL A, BISCHOF H.Visual Localization for Micro Aerial Vehicles in Urban Outdoor Environments[M]∥FARINELLA G M, BATTIATO S,CIPOLLA R. Advanced Topics in Computer Vision. London: Springer, 2013: 181-214.

[11]WENDEL A, MAURER M, BISCHOF H. Visual Landmark-based Localization for MAVs Using Incremental Feature Updates[C]∥2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission. Zurich: IEEE, 2012:278-285.

[12]WENDEL A, IRSCHARA A, BISCHOF H. Natural Landmark-based Monocular Localization for MAVs[C]∥2011 IEEE International Conference on Robotics and Automation. Shanghai: IEEE, 2011:5792-5799.

[13]SHEN Yonglin, LIU Jun, WU Lixin, et al. Reconstruction of Disaster Scene from UAV Images and Flight-control Data[J]. Geography and Geo-Information Science, 2011, 27(6): 13-17. (沈永林, 劉軍, 吳立新, 等. 基于無(wú)人機(jī)影像和飛控?cái)?shù)據(jù)的災(zāi)場(chǎng)重建方法研究[J]. 地理與地理信息科學(xué), 2011, 27(6): 13-17.)

[14]FRAHM J M, HEINLY J, ZHENG Enliang, et al. Geo-Registered 3D Models from Crowdsourced Image Collections[J]. Geo-spatial Information Science, 2013, 16(1): 55-60.

[15]ZHANG Liang, MA Hongchao, GAO Guang, et al. Automatic Registration of Urban Aerial Images with Airborne LiDAR Points Based on Line-point Similarity Invariants[J].Acta Geodaetica et Cartographica Sinica, 2014, 43(4): 372-379. (張良, 馬洪超, 高廣, 等. 點(diǎn)、線相似不變性的城區(qū)航空影像與機(jī)載激光雷達(dá)點(diǎn)云自動(dòng)配準(zhǔn)[J]. 測(cè)繪學(xué)報(bào), 2014, 43(4): 372-379.)

[16]LI Tianwen. Theory and Application of GPS[M]. Beijing: Science Press, 2003:92-93. (李天文. GPS原理及應(yīng)用[M]. 北京: 科學(xué)出版社, 2003:92-93.)

[17]JIA Yunde. Machine Vision[M]. Beijing: Science Press, 2000:191-192. (賈云得. 機(jī)器視覺[M]. 北京: 科學(xué)出版社, 2000:191-192.)

[18]SZELISKI R. Image Alignment and Stitching: A Tutorial[J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104.

[19]FISCHLER M A, BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[20]NIKON. GPS Unit GP-1[EB/OL].[2014-06-28]. http:∥imaging.nikon.com/lineup/accessory/camera/gp-1/spec.htm.

[21]SOUTH GROUP. RTK Surveying System >>S82T[EB/OL].[2014-07-08]. http:∥www.southsurvey.com/public/xianxi.php?id=301. (南方測(cè)繪. RTK測(cè)量系統(tǒng)>>S82T[EB/OL].[2014]. http:∥www.southsurvey.com/public/xianxi.php?id=301.)

(責(zé)任編輯：宋啟凡)

修回日期： 2015-05-21

First author： LIU Yingzhen (1981—), female, PhD, majors in the construction of 3D geographic information and human-computer interaction.

E-mail： liuyz@lreis.ac.cn

通信作者： 諸云強(qiáng)

Corresponding author： ZHU Yunqiang

E-mail： zhuyq@igsnrr.ac.cn