張晶晶，吳良才，艾海濱，許 彪，趙棟梁

(1. 東華理工大學(xué)，江西 南昌 330013； 2. 中國(guó)測(cè)繪科學(xué)研究院，北京 100830； 3. 國(guó)家測(cè)繪地理信息局第三地形測(cè)量隊(duì)，黑龍江 哈爾濱 150025)

恢復(fù)影像的外方位元素是攝影測(cè)量技術(shù)中尤為關(guān)鍵的一步[1]，進(jìn)行經(jīng)典的連續(xù)像對(duì)相對(duì)定向時(shí)，需明確影像的航帶信息及影像基線方向(通常為影像列方向)，并給定定向元素的初始值(通常為0)，根據(jù)共面條件利用最小二乘原理迭代求解未知數(shù)[1-2]。國(guó)外的Helava系統(tǒng)、Image Station系統(tǒng)和Inpho系統(tǒng)，國(guó)內(nèi)的PixelGrid系統(tǒng)、VirtuoZo系統(tǒng)、JX-4系統(tǒng)等，都是采用傳統(tǒng)攝影測(cè)量理論的空三加密軟件。近些年，因無(wú)人機(jī)機(jī)動(dòng)性高、數(shù)據(jù)采集便捷和容易轉(zhuǎn)場(chǎng)等優(yōu)點(diǎn)，無(wú)人機(jī)攝影測(cè)量已成為當(dāng)前攝影測(cè)量的重要方式之一[3]，但由于無(wú)人機(jī)質(zhì)量輕、體積小、攜帶非量測(cè)數(shù)碼相機(jī)，相機(jī)鏡頭的安置方式發(fā)生變換，導(dǎo)致航空影像姿態(tài)角度大、基線方向不再是影像列方向，傳統(tǒng)的連續(xù)像對(duì)相對(duì)定向不再滿(mǎn)足這類(lèi)影像的處理要求。近些年興起的計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)，引起了攝影測(cè)量領(lǐng)域諸多學(xué)者的廣泛關(guān)注[4-5]，與傳統(tǒng)攝影測(cè)量方法不同，計(jì)算機(jī)視覺(jué)方法只需影像間的匹配點(diǎn)對(duì)就可恢復(fù)單像對(duì)的相對(duì)運(yùn)動(dòng)，進(jìn)而恢復(fù)多張影像的位姿，如當(dāng)前廣泛使用的Agisoft PhotoScan、Pix4Dmapper、Smart3DCapture等軟件就是利用計(jì)算機(jī)視覺(jué)技術(shù)恢復(fù)互聯(lián)網(wǎng)圖片、手機(jī)照片及無(wú)POS數(shù)據(jù)的航空影像位姿的方法進(jìn)行三維重建的。但計(jì)算機(jī)視覺(jué)方法仍存在一些缺陷，尤其是漸進(jìn)式重建算法(incremental structure from motion)[6-8]，對(duì)初始像對(duì)的選取要求高，最佳的添加影像難以確定，計(jì)算復(fù)雜度大，當(dāng)相機(jī)軌跡過(guò)長(zhǎng)時(shí)會(huì)由于誤差累積導(dǎo)致重建幾何變形。但傳統(tǒng)攝影測(cè)量方法不存在該問(wèn)題，因此本文將計(jì)算機(jī)視覺(jué)中的本質(zhì)矩陣與經(jīng)典的連續(xù)像對(duì)相對(duì)定向相結(jié)合來(lái)處理低空無(wú)人機(jī)影像。該方法在避免計(jì)算機(jī)視覺(jué)方法缺陷的同時(shí)，能夠快速確定基線方向，并且恢復(fù)影像外方位元素。

1 基于本質(zhì)矩陣的無(wú)人機(jī)影像位姿恢復(fù)

1.1 本質(zhì)矩陣恢復(fù)相機(jī)位姿

對(duì)極幾何(epipolar geometry)反映了三維空間中同一物體兩幅不同影像間內(nèi)在的射影關(guān)系，獨(dú)立于景物場(chǎng)景結(jié)構(gòu)，只依賴(lài)于相機(jī)的內(nèi)參數(shù)和相對(duì)運(yùn)動(dòng)[9-11]。如圖1所示，影像A和B分別表示以O(shè)和O′為攝影中心的空間中三維點(diǎn)M的兩幅圖像，x和x′為投影點(diǎn)。左片投影點(diǎn)x反向投影在空間中形成一條射線，由攝影中心O和點(diǎn)x確定，投影到x的空間點(diǎn)M必然落在該射線上，其在B中被映射成一條直線l′，因此M在B上的投影點(diǎn)x′必然落在l′上。

圖1 對(duì)極幾何

本質(zhì)矩陣E是對(duì)極幾何的表達(dá)形式，假設(shè)R為左相機(jī)到右相機(jī)的旋轉(zhuǎn)矩陣，t為兩個(gè)相機(jī)間的平移量，根據(jù)共面條件，可推出本質(zhì)矩陣E的表達(dá)式為

E=[t×]R

(1)

式中，[t×]為反對(duì)稱(chēng)矩陣。E可由5對(duì)歸一化圖像坐標(biāo)直接計(jì)算[12-13]，但影像對(duì)的匹配點(diǎn)中通常含有誤匹配，因此估計(jì)E時(shí)需采用RANSAC算法[14-16]逐步剔除粗差點(diǎn)，取得最優(yōu)模型。估計(jì)到E后，對(duì)其進(jìn)行奇異值分解，并且通過(guò)空間點(diǎn)同時(shí)在兩個(gè)相機(jī)前方交會(huì)的方法消除模糊解，就可以恢復(fù)兩幅影像的相對(duì)運(yùn)動(dòng)(相差一個(gè)尺度因子)。

1.2 基于本質(zhì)矩陣的連續(xù)像對(duì)相對(duì)定向

相對(duì)定向的目的是恢復(fù)攝影時(shí)相鄰兩個(gè)攝影中心的相對(duì)位置關(guān)系[1]。本文以本質(zhì)矩陣恢復(fù)單像對(duì)相對(duì)位姿為基礎(chǔ)，結(jié)合傳統(tǒng)攝影測(cè)量方法恢復(fù)低空無(wú)人機(jī)影像的外方位元素，具體步驟如下：

(1) 相對(duì)定向。用本質(zhì)矩陣恢復(fù)兩幅影像旋轉(zhuǎn)矩陣Rcv和平移量tcv。計(jì)算機(jī)視覺(jué)與攝影測(cè)量采用的坐標(biāo)系分別為左右手坐標(biāo)系，兩個(gè)坐標(biāo)系中平移量的關(guān)系為

(2)

(3)

給影像基線分量By賦定值，其余分量Bx、Bz按照比值賦值為

(4)

將以上平移量的值作為經(jīng)典連續(xù)像對(duì)相對(duì)定向線元素的初始值，角元素(φ,ω,κ)初始值均設(shè)為0，根據(jù)共面方程利用最小二乘原理趨近求解定向元素。

(2) 構(gòu)建自由區(qū)域網(wǎng)。每一像對(duì)進(jìn)行相對(duì)定向后，各模型間相差一個(gè)縮放因子，故需用公共點(diǎn)在相鄰模型間的點(diǎn)位，同樣計(jì)算后一模型相對(duì)于前一模型的比例因子，進(jìn)行模型連接，并且通過(guò)空間前方交會(huì)計(jì)算同名點(diǎn)的三維坐標(biāo)，完成自由比例尺單航帶網(wǎng)的構(gòu)建。單航帶網(wǎng)構(gòu)建完成后，每個(gè)航帶的坐標(biāo)系是獨(dú)立的，要構(gòu)建區(qū)域網(wǎng)需統(tǒng)一各航帶模型[17]。相鄰航帶的公共點(diǎn)滿(mǎn)足如下關(guān)系

(5)

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)

為驗(yàn)證本文定向方法的有效性，采用以下兩組影像數(shù)據(jù)集進(jìn)行試驗(yàn)。影像集一為嫩江影像，該影像由Sony ILCE-7R(相機(jī)參數(shù)可見(jiàn)表1)于2013年3月24日采集，取其中74張影像作試驗(yàn)，影像航向重疊度約為85%，旁向重疊度約為90%，飛行高度約為220 m。影像集二為四川影像數(shù)據(jù)(相機(jī)參數(shù)見(jiàn)表1)，該影像共有52張影像，航向重疊度約為75%，旁向重疊度約為40%。部分影像如圖2所示。

圖2 影像數(shù)據(jù)集

試驗(yàn)區(qū)域影像數(shù)/幅像幅尺寸/像素像主點(diǎn)/mmwhx0y0相機(jī)焦距/mm像元尺寸/mm嫩江區(qū)域74736049120.01710.104655.36250.00488四川區(qū)域52374456160035.48810.0064

為驗(yàn)證結(jié)果精度，本文使用物方點(diǎn)在影像上的重投影點(diǎn)與量測(cè)點(diǎn)之間的距離平方和評(píng)判算法的結(jié)果精度，并將本文算法得到的精度與用計(jì)算機(jī)視覺(jué)技術(shù)中的Sfm算法精度進(jìn)行比較。重投影誤差計(jì)算公式為

(6)

2.2 結(jié)果與分析

嫩江影像集與四川影像集中部分影像的相對(duì)外方位元素分別見(jiàn)表2和表3，包括用本質(zhì)矩陣恢復(fù)的相對(duì)平移量和用本文定向算法恢復(fù)的外方位元素。從表2中本質(zhì)矩陣恢復(fù)的單像對(duì)相對(duì)運(yùn)動(dòng)結(jié)果得到嫩江影像的基線方向?yàn)閥方向，x方向和z方向分量與基線的比值分別約為0.425和0.083；同樣從表3中得到四川影像的基線方向?yàn)閤方向，y方向和z方向分量與基線的比值分別約為0.032 8和0.082；將上述數(shù)據(jù)按照1.2節(jié)所述進(jìn)行處理可成功定向并得到自由區(qū)域網(wǎng)，證明從相對(duì)平移量確定的影像基線是正確的。因?yàn)閺谋举|(zhì)矩陣分解得到的單像對(duì)的相對(duì)運(yùn)動(dòng)，在相差一個(gè)尺度因子的情況下，平移量的3個(gè)分量可表示右相機(jī)相對(duì)于左相機(jī)在3個(gè)坐標(biāo)軸上的平移，故可從平移量的分量值快速確定影像基線方向。

表2 嫩江影像數(shù)據(jù)集中部分影像位姿

試驗(yàn)結(jié)果精度見(jiàn)表4，從中可以看出，用本文所提方法恢復(fù)兩個(gè)影像集的外方位元素得到的重投影誤差分別為0.432和0.205 7個(gè)像素，都在1個(gè)像素以?xún)?nèi)。而用Sfm算法得到的精度都在3個(gè)像素以上。經(jīng)典的連續(xù)像對(duì)相對(duì)定向是一個(gè)在給定定向元素初始值的基礎(chǔ)上逐步趨近求解的過(guò)程，有較好的初始值，就會(huì)快速收斂于正確值。本文根據(jù)本質(zhì)矩陣得到像對(duì)的相對(duì)平移量分量之間的關(guān)系給定連續(xù)相對(duì)定向線元素的初始值，初始值較接近于最終值，故可得到較好的精度。而且本文方法的后續(xù)處理類(lèi)似于傳統(tǒng)攝影測(cè)量將非線性等式化為線性等式，利用最小二乘原理求解，可得到精確穩(wěn)定的結(jié)果。Sfm算法是基于非線性等式，采用RANSAC方法選取適當(dāng)?shù)拇鷥r(jià)函數(shù)，進(jìn)行矩陣分解，結(jié)果依賴(lài)于初始特征點(diǎn)分布及其匹配的質(zhì)量，并且試驗(yàn)中Sfm算法所用的相機(jī)參數(shù)是從影像的EXIF信息中提取的概略值，故本文方法的精度高于Sfm算法的精度。

表3 四川影像數(shù)據(jù)集中部分影像位姿

表4 試驗(yàn)結(jié)果精度

圖3為空間前方交會(huì)得到的稀疏三維點(diǎn)云。

圖3 影像重建結(jié)果

3 結(jié) 語(yǔ)

為了能夠快速確定影像的基線方向，恢復(fù)低空無(wú)人機(jī)影像的外方位元素，本文以計(jì)算機(jī)視覺(jué)中的相對(duì)定向?yàn)榛A(chǔ)，與經(jīng)典的攝影測(cè)量結(jié)合恢復(fù)影像位姿。試驗(yàn)證明，該方法能夠快速確定影像的基線方向，恢復(fù)影像的外方位元素，得到三維點(diǎn)云，而且在精度上，重投影誤差在1個(gè)像素以?xún)?nèi)。本文算法初步嘗試將計(jì)算機(jī)視覺(jué)技術(shù)與傳統(tǒng)攝影測(cè)量技術(shù)相結(jié)合，顧及航空影像的有序性和結(jié)構(gòu)性特點(diǎn)，結(jié)合計(jì)算機(jī)視覺(jué)中定向算法的通用性，能夠利用上述算法較好地估計(jì)影像的位姿參數(shù)。但是對(duì)于各類(lèi)型影像的穩(wěn)健性還有待提高，大規(guī)模影像數(shù)據(jù)的定向試驗(yàn)有待進(jìn)一步研究。

參考文獻(xiàn)：

[1] 張祖勛.數(shù)字?jǐn)z影測(cè)量與計(jì)算機(jī)視覺(jué)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2004，29(12):1035-1039.

[2] 張力,艾海濱,許彪,等.基于多視影像匹配模型的傾斜航空影像自動(dòng)連接點(diǎn)提取及區(qū)域網(wǎng)平差方法[J].測(cè)繪學(xué)報(bào)，2017，46(5):554-564.

[3] 王湘文，于啟升，王雅鵬.無(wú)人機(jī)低空攝影測(cè)量系統(tǒng)在大比例尺地形圖中的應(yīng)用[J].地礦測(cè)繪，2013，29(1):34-36.

[4] 孫敏.多視幾何與傳統(tǒng)攝影測(cè)量理論[J].北京大學(xué)學(xué)報(bào)(自然科學(xué)版)，2007，43(4):453-459.

[5] 張祖勛.數(shù)字?jǐn)z影測(cè)量與計(jì)算機(jī)視覺(jué)[C]∥全國(guó)數(shù)字近景攝影測(cè)量學(xué)術(shù)研討會(huì).[S.l.]：武漢，2004.

[6] SCHONBERGER J L，F(xiàn)RAHM J M.Structure-from-motion Revisited[C]∥Proceedings of the CVPR.[S.l.]:CVPR，2016.

[7] SCONBERGER J L,FRAUNDORFER F,FRAHM J M.Structure-from-motion for MAV Image Sequence Analysis with Photogrammetric Applications[J].International Archives of the Photogrammetry Remote Sensing & S，2014，XL-3(3):305-312.

[8] WU C.Towards Linear-time Incremental Structure from Motion[C]∥International Conference on 3dtv-Conference.[S.l.]：IEEE，2013:127-134.

[9] ZISSERMAN A.Multiple View Geometry in Computer Vision[J].Kybernetes，2003，30(910):1865-1872.

[10] FO W，WROBEL B P.Photogrammetric Computer Vision[M].[S.l.]：Springer International Publishing，2016.

[11] 陳登,林卉,蘇天路,等.多視幾何理論輔助的無(wú)人機(jī)低空攝影測(cè)量空三加密[J].測(cè)繪通報(bào)，2017(6):26-30.

[12] DAVID R.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2004，26(6):756-770.

[13] 王文斌，劉桂華，劉先勇,等.本質(zhì)矩陣五點(diǎn)算法偽解的兩種剔除策略[J].光電工程，2010，37(8):46-52.

[14] MOISAN L，MOULON P，MONASSE P.Fundamental Matrix of a Stereo Pair，with a Contrario Elimination of Outliers[J].Image Processing on Line，2016，6(6):89-113.

[15] 甄艷，劉學(xué)軍，王美珍.一種改進(jìn)RANSAC的基礎(chǔ)矩陣方法[J].測(cè)繪通報(bào)，2014(4):39-43.

[16] MOISAN L，MOULON P，MONASSE P.Automatic Homographic Registration of a Pair of Images，with a Contrario Elimination of Outliers[J].Image Processing on Line，2012，2(5):56-73.

[17] 王解先.七參數(shù)轉(zhuǎn)換中參數(shù)之間的相關(guān)性[J].大地測(cè)量與地球動(dòng)力學(xué)，2007，27(2):43-46.