閆　利，費(fèi)　亮，葉志云，夏　旺

武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢430079

?

大范圍傾斜多視影像連接點(diǎn)自動(dòng)提取的區(qū)域網(wǎng)平差法

閆利，費(fèi)亮，葉志云，夏旺

武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢430079

Foundation support： The National Key Technology Research and Development Program of the Ministry of Science and Technology of China (No. 2012BAJ23B00); The Fundamental Research Funds for the Central Universities(No.2015214020201)

摘要：提出了一種大范圍傾斜多視影像自動(dòng)連接點(diǎn)提取和光束法區(qū)域網(wǎng)平差算法。首先利用POS數(shù)據(jù)對(duì)傾斜影像進(jìn)行矯正并預(yù)測(cè)候選像對(duì)，使用SIFT特征進(jìn)行影像匹配；然后利用并查集數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)多視影像間連接點(diǎn)對(duì)應(yīng)關(guān)系的快速確定；最后將POS數(shù)據(jù)和控制點(diǎn)數(shù)據(jù)作為帶權(quán)觀測(cè)值進(jìn)行平差解算。選取3種典型的傾斜相機(jī)系統(tǒng)(組裝輕量級(jí)傾斜相機(jī)、國(guó)產(chǎn)SWDC-5相機(jī)、微軟UltraCam相機(jī))進(jìn)行了試驗(yàn)，結(jié)果表明，本文算法能夠適應(yīng)國(guó)內(nèi)外流行的傾斜攝影系統(tǒng)，且一次性可處理的影像數(shù)目超過2000張；在相同條件下傾斜影像光束法區(qū)域網(wǎng)平差的整體精度優(yōu)于傳統(tǒng)垂直攝影情形，實(shí)際精度可以達(dá)到水平方向0.75 GSD，高程方向2.0 GSD。

關(guān)鍵詞：傾斜影像；自動(dòng)空三; 光束法區(qū)域網(wǎng)平差；連接點(diǎn)提?。?/p>

隨著機(jī)載傾斜多相機(jī)系統(tǒng)的發(fā)展，傾斜影像已經(jīng)成為地圖、城市三維重建等應(yīng)用的主要數(shù)據(jù)源，其中涉及的公司包括Blomoblique、IGI、Leica、Midas、Pictometry、Vexcel/Microsoft、VisionMap等。通過在同一飛行平臺(tái)上搭載多臺(tái)傳感器，傾斜攝影技術(shù)可以同時(shí)從多個(gè)角度采集影像，克服了正射影像只能從垂直角度拍攝的局限，可以獲得近地高分辨率的建筑物立面信息，使得目前高昂的三維建模成本大大降低，但是傾斜攝影數(shù)據(jù)后處理目前仍然是國(guó)內(nèi)外研究的一個(gè)熱點(diǎn)和難點(diǎn)問題。常見的傾斜多相機(jī)系統(tǒng)普遍采用Maltese-cross相機(jī)配置[1]如圖1所示，即1個(gè)下視相機(jī)和4(或6)個(gè)斜視相機(jī)組合方式(下文中的傾斜影像指下視與斜視影像的總和)，斜視相機(jī)傾斜角一般在45°左右，根據(jù)相機(jī)設(shè)計(jì)的不同，同測(cè)站的下視與斜視相機(jī)可能有重疊或無重疊。

圖1　Maltese-cross 1+4傾斜多相機(jī)系統(tǒng)示意圖Fig.1　The maltese-cross multi-camera configuration diagram

傾斜影像空三作為傾斜影像數(shù)據(jù)產(chǎn)品生產(chǎn)的關(guān)鍵步驟之一[2-5]，主要涉及連接點(diǎn)提取和光束法區(qū)域網(wǎng)平差兩個(gè)環(huán)節(jié)。由于區(qū)域網(wǎng)平差的相關(guān)理論和算法都已經(jīng)比較成熟，因此傾斜影像空三的難點(diǎn)在于多視影像間的連接點(diǎn)自動(dòng)提取。大部分傳統(tǒng)的攝影測(cè)量商業(yè)軟件在進(jìn)行連接點(diǎn)提取時(shí)都使用標(biāo)準(zhǔn)的影像匹配技術(shù)，如歸一化相關(guān)系數(shù)匹配(NCC)和最小二乘匹配(LSM)，但這些方法僅適用于影像尺度一致的垂直攝影情形[1，6]。由于傾斜影像具備多角度、大傾角的特點(diǎn)，傳統(tǒng)匹配方法無法解決立體匹配中的遮擋、幾何變形、幾何斷裂、影像大幅旋轉(zhuǎn)等瓶頸問題，同時(shí)斜軸透視的場(chǎng)景深度變化帶來基高比劇烈變化，都使得傾斜影像間的轉(zhuǎn)點(diǎn)變得更加困難。部分近景攝影測(cè)量匹配技術(shù)能夠處理仿射變形影像匹配(如ASIFT、MSER等)[7-12]，但算法效率較低，無法適用于高分辨率傾斜影像匹配問題。另一方面，由于傾斜多視影像數(shù)量龐大，且影像間的重疊關(guān)系復(fù)雜，如何快速地確定序列影像間的公共連接點(diǎn)也是一個(gè)問題。文獻(xiàn)[13]提出了一種快速、簡(jiǎn)單的無序影像間的特征追蹤算法，有效地將立體像對(duì)間的對(duì)應(yīng)關(guān)系擴(kuò)展到多視影像，使用并查集算法來解決對(duì)應(yīng)關(guān)系的融合問題，與其他算法相比具有更低的復(fù)雜度并可以獲取更多的連接點(diǎn)。

國(guó)內(nèi)對(duì)于傾斜影像空三的研究尚處于起步階段，國(guó)外對(duì)該問題研究已經(jīng)取得了一定成果。文獻(xiàn)[1，14]提出了一種影像串聯(lián)算法，通過GNSS/IMU給定的外方位初值約束相關(guān)影像間的特征提取，在相對(duì)定向過程中引導(dǎo)影像的串聯(lián)，由于使用Apero軟件進(jìn)行區(qū)域網(wǎng)平差，文中算法連接點(diǎn)提取采用的是一種增量式重建思路，并未充分利用POS的先驗(yàn)信息，增加了算法的處理時(shí)間，且采用無控制點(diǎn)區(qū)域網(wǎng)平差，沒有利用檢查點(diǎn)對(duì)結(jié)果進(jìn)行精度評(píng)定；文獻(xiàn)[15]提出在區(qū)域網(wǎng)平差過程中添加場(chǎng)景約束信息(如水平、垂直、直角條件)，可以有效減少地面控制點(diǎn)的數(shù)目同時(shí)提高平差和相機(jī)自檢校的可靠性，但文中算法需要人工提取場(chǎng)景中的約束信息，不利于傾斜影像全自動(dòng)空三的實(shí)現(xiàn)。文獻(xiàn)[16—17]指出充分利用POS的先驗(yàn)信息能夠有效提高連接點(diǎn)的匹配成功率和效率，但文中算法主要針對(duì)傳統(tǒng)垂直攝影航帶間的轉(zhuǎn)點(diǎn)問題，無法直接用于傾斜多視影像間的連接點(diǎn)自動(dòng)提取。

本文提出了一種自動(dòng)連接點(diǎn)提取算法：首先利用POS信息進(jìn)行影像匹配像對(duì)預(yù)測(cè)，并對(duì)傾斜影像糾正消除因大傾角引起的仿射變形，通過SIFT匹配和特征追蹤自動(dòng)獲取匹配連接點(diǎn)；給出了傾斜多視影像空三的兩種平差模型；最后利用3種典型的傾斜相機(jī)數(shù)據(jù)進(jìn)行了空三試驗(yàn)。

1自動(dòng)連接點(diǎn)提取

SIFT算法[18-20]以其尺度、旋轉(zhuǎn)不變性并能克服一定程度仿射變形和光照變化在影像匹配領(lǐng)域得到廣泛應(yīng)用。同方向傾斜立體像對(duì)由于拍攝角度一致，仿射變形小，因此SIFT算法能夠成功匹配，但無法適用于不同方向傾斜像對(duì)間的匹配問題。ASIFT算法具有完全的仿射不變性，通過在經(jīng)度和緯度方向進(jìn)行視角變化采樣，模擬各個(gè)仿射變化下的影像，進(jìn)而利用SIFT算法進(jìn)行特征提取和匹配，但由于使用窮舉匹配策略，在實(shí)際應(yīng)用中受到很大限制。目前的傾斜攝影系統(tǒng)(Pictometry、UltraCam、SWDC-5等)都配備了GPS/IMU設(shè)備，在獲取影像數(shù)據(jù)的同時(shí)能夠得到高精度的POS數(shù)據(jù)。借鑒ASIFT仿射不變特征算法思想，首先利用POS信息進(jìn)行斜視影像糾正，消除因大傾角與旋轉(zhuǎn)角引起的影像幾何變形；接著利用文獻(xiàn)[20]中的SIFT算法對(duì)糾正后影像進(jìn)行特征提取并歸算至原始影像，進(jìn)而利用SIFT描述符完成特征匹配；最后，利用文獻(xiàn)[13]中的特征追蹤算法實(shí)現(xiàn)傾斜多視影像間連接點(diǎn)對(duì)應(yīng)關(guān)系的快速確定。

1.1斜視影像糾正

給定影像的外方位元素初值和設(shè)計(jì)航高，根據(jù)共線條件方程能夠得到影像在地面上的投影四邊形“軌跡”

(1)

(2)

式中，(x,y)、(x′,y′)分別表示原始影像像點(diǎn)和糾正后影像對(duì)應(yīng)點(diǎn)的坐標(biāo)。利用數(shù)字微分糾正即可獲取糾正后的影像，斜視影像糾正效果如圖2所示。從糾正結(jié)果可以看出，影像間由于大傾角和大旋轉(zhuǎn)角引起的變形已經(jīng)基本消除，只剩下由于地形起伏引起的像點(diǎn)位移。由于傾斜多視影像間公共的連接點(diǎn)一般都位于平坦地區(qū)，建筑物上的連接點(diǎn)較少(少數(shù)點(diǎn)位于建筑物頂部)，而這些區(qū)域在經(jīng)過上述斜視糾正后基本消除了仿射變形影響，因此能夠利用SIFT算法匹配到公共特征點(diǎn)。

圖2　斜視影像糾正結(jié)果Fig.2　The Rectification result of oblique image

1.2特征提取與匹配

由于大范圍傾斜影像空三處理涉及的影像數(shù)目龐大，且傾斜影像間重疊關(guān)系復(fù)雜，傾斜影像的匹配策略對(duì)算法效率影響顯著，本文首先根據(jù)初始POS數(shù)據(jù)及傾斜相機(jī)配置信息確定滿足條件的候選匹配像對(duì)，主要依據(jù)如下：

(1) 重疊率：根據(jù)POS信息計(jì)算每張影像在地面的投影多邊形軌跡，依據(jù)軌跡間的重疊率來判斷，剔除小于指定閾值THRoverlap(默認(rèn)取0.30)的匹配像對(duì)；兩多邊形的重疊率計(jì)算公式為

THRoverlap=Soverlap/min(S1,S2)

式中，S1、S2分別代表兩多邊形的面積，Soverlap代表兩多邊形的重疊面積。

(2) 相機(jī)配置：對(duì)于同測(cè)站下視與斜視有重疊度的傾斜相機(jī)系統(tǒng)，不考慮重疊率大小，保留下視與斜視匹配像對(duì)。

獲取滿足條件的候選匹配像對(duì)后，首先利用SIFT特征進(jìn)行初始匹配，由于傾斜影像分辨率較高，在特征提取時(shí)對(duì)糾正后的斜視影像進(jìn)行分塊(如1600×1600)特征提取，并利用式(2)將特征點(diǎn)坐標(biāo)歸算至原始影像；接著基于核線約束和單應(yīng)約束采用隨機(jī)一致性估計(jì)算法(RANSAC)[21]對(duì)匹配特征進(jìn)行粗差剔除。

1.3特征追蹤

特征追蹤是指在序列影像中跟蹤同一物方點(diǎn)的位置。利用圖論的思想，將每個(gè)影像上的特征點(diǎn)作為獨(dú)立節(jié)點(diǎn)，同名像點(diǎn)對(duì)應(yīng)關(guān)系作為邊，由此序列影像間的多視對(duì)應(yīng)關(guān)系搜索可以轉(zhuǎn)換為整個(gè)圖中有幾條連通分支的問題，利用并查集數(shù)據(jù)結(jié)構(gòu)可以有效處理。

下面以一個(gè)有效特征追蹤a1-b1-c1-d1為例來闡述特征追蹤原理，如圖3所示。

(1) 遍歷所有影像上的特征點(diǎn)，在圖中創(chuàng)建對(duì)應(yīng)的節(jié)點(diǎn)，即a1、a2、a3、…、d3。

(2) 遍歷所有的同名像點(diǎn)匹配列表，首先執(zhí)行影像a-b同名像對(duì)時(shí)，連接a1和b1節(jié)點(diǎn)，取a1作為根節(jié)點(diǎn)；添加影像b-c同名像對(duì)，連接c1和b1節(jié)點(diǎn)，執(zhí)行并查集算法的Find操作，判斷兩者的根節(jié)點(diǎn)是否屬于同一節(jié)點(diǎn)。如果不是，則執(zhí)行并查集算法中的Join操作，將c1節(jié)點(diǎn)的根節(jié)點(diǎn)修改為b1節(jié)點(diǎn)的根節(jié)點(diǎn)；否則，直接跳過；類似地繼續(xù)添加影像b-d同名像對(duì)，連接d1和b1節(jié)點(diǎn)，判斷二者的根節(jié)點(diǎn)是否相同，如果不是，修改d1節(jié)點(diǎn)的根節(jié)點(diǎn)為b1節(jié)點(diǎn)的根節(jié)點(diǎn)。

(3) 執(zhí)行完畢，即可得到一個(gè)有效的特征追蹤a1-b1-c1-d1。

圖3　并查集算法實(shí)現(xiàn)特征追蹤原理Fig.3　The feature tracking theory using union-find algorithm

經(jīng)過上述過程，可以獲取初始的特征追蹤結(jié)果。設(shè)定每張影像上有效的連接點(diǎn)數(shù)目閾值THRNtrPerImg(默認(rèn)取20)及每個(gè)連接點(diǎn)的重疊度閾值THRNipPerTr(默認(rèn)取3)，剔除不滿足上述閾值的影像及連接點(diǎn)。當(dāng)POS初始精度較差時(shí)，可以通過提高重疊度閾值來剔除誤匹配點(diǎn)，獲取一個(gè)較高精度外定向結(jié)果后，再降低閾值獲取更多的連接點(diǎn)數(shù)目。

1.4多片前方交會(huì)

多片前方交會(huì)有兩方面的作用：一方面為區(qū)域網(wǎng)平差提供一個(gè)良好的物方點(diǎn)初值；另一方面，由于傾斜影像空三物方連接點(diǎn)對(duì)應(yīng)的可見影像數(shù)目遠(yuǎn)高于傳統(tǒng)垂直攝影情形，最高可達(dá)幾十度重疊，因此可以利用觀測(cè)值的一致性檢驗(yàn)來進(jìn)一步剔除殘留的粗差點(diǎn)。

由文獻(xiàn)[14]可知，當(dāng)傾斜影像空三的連接點(diǎn)中含有大量的粗差點(diǎn)時(shí)，平差的收斂性會(huì)受到極大影響，甚至無法收斂。多片前方交會(huì)過程中的粗差剔除分為兩個(gè)階段：

1.4.1前方交會(huì)

1.4.2高程濾波

2區(qū)域網(wǎng)平差

2.1最小二乘平差

與傳統(tǒng)攝影測(cè)量區(qū)域網(wǎng)平差相比，傾斜影像空三在數(shù)學(xué)模型上基本一致，主要不同點(diǎn)在于像點(diǎn)觀測(cè)值數(shù)目遠(yuǎn)遠(yuǎn)多于傳統(tǒng)垂直攝影情形，本文采用帶附加參數(shù)的自檢校區(qū)域網(wǎng)平差[22]，將自檢校參數(shù)、控制點(diǎn)坐標(biāo)及外方位元素視為帶權(quán)觀測(cè)值，平差的基本誤差方程為

(3)

式中，X1為外方位元素和加密點(diǎn)坐標(biāo)的改正數(shù)向量；L1為像點(diǎn)觀測(cè)值向量；P1為像點(diǎn)觀測(cè)值的權(quán)；X2為控制點(diǎn)坐標(biāo)的改正數(shù)向量；P2為控制點(diǎn)坐標(biāo)觀測(cè)值的權(quán)；X3為外方位元素改正數(shù)向量；P3為外方位元素觀測(cè)值的權(quán)；X4為自檢校參數(shù)向量；P4為自檢校參數(shù)觀測(cè)值的權(quán)；A1、A2、A3、A4為對(duì)應(yīng)誤差方程式的系數(shù)矩陣；E2、E3、E4為單位陣。式(3)可簡(jiǎn)化為

V=AX-L,P

(4)

法方程為

(ATPA)X=ATPL

(5)

2.2傾斜影像區(qū)域網(wǎng)平差模型

在傾斜多視影像區(qū)域網(wǎng)平差中，可以采用以下兩種模型：

2.2.1附加約束參數(shù)模型

假設(shè)整個(gè)傾斜成像系統(tǒng)滿足剛性不變條件，考慮同一測(cè)站下視與斜視相機(jī)間的約束關(guān)系，采用6個(gè)偏心參數(shù)來描述兩者之間的變換。同一測(cè)站下視和斜視相機(jī)的外方位線元素分別記為CN、CO，旋轉(zhuǎn)矩陣記為RN、RO，斜視相機(jī)相對(duì)于下視相機(jī)的相對(duì)定向元素記為ΔTNO、ΔRNO，則有

(6)

2.2.2獨(dú)立模型

同一測(cè)站下視與斜視影像間的外方位元素相互獨(dú)立，基于共線條件方程整體求解所有影像的內(nèi)外方位元素

(7)

在附加參數(shù)模型中，整個(gè)航飛過程中同測(cè)站下視與斜視相機(jī)間的偏心參數(shù)保持不變，以1+4型相機(jī)配置為例：假設(shè)有N個(gè)測(cè)站，則外方位元素未知參數(shù)的個(gè)數(shù)為6N+6×5個(gè)，而采用獨(dú)立模型的外方位元素未知參數(shù)的個(gè)數(shù)為6N×5個(gè)。當(dāng)測(cè)站數(shù)目龐大時(shí)，采用附加參數(shù)模型可以有效減少影像外方位元素未知參數(shù)數(shù)目，但同時(shí)由于忽略了傾斜相機(jī)間的非剛性變形和相機(jī)曝光的不同步性，會(huì)引入一定的系統(tǒng)誤差。在POS精度較差時(shí)，可先對(duì)下視影像進(jìn)行空三并利用偏心參數(shù)獲取斜視相機(jī)優(yōu)化的外方位元素初值。獨(dú)立模型雖然增加了未知參數(shù)的數(shù)目，平差解算的系統(tǒng)內(nèi)存占用更高，但是由于采用最嚴(yán)格的數(shù)學(xué)模型，可以獲得最高的精度，本文采用獨(dú)立模型進(jìn)行區(qū)域網(wǎng)平差解算。

3試驗(yàn)與分析

3.1試驗(yàn)數(shù)據(jù)

試驗(yàn)選取典型的3種傾斜相機(jī)數(shù)據(jù)：組裝輕量級(jí)傾斜相機(jī)、SWDC-5相機(jī)、UltraCam相機(jī)數(shù)據(jù)進(jìn)行了試驗(yàn)，數(shù)據(jù)的相關(guān)描述見表1。其中，第1組數(shù)據(jù)含有地面控制點(diǎn)，用于進(jìn)行傾斜空三與傳統(tǒng)空三對(duì)比試驗(yàn)及其傾斜空三的實(shí)際精度評(píng)定，如果單獨(dú)采用下視影像，與傳統(tǒng)空三沒有區(qū)別；第2、3組數(shù)據(jù)無地面控制點(diǎn)，用于測(cè)試本文算法對(duì)國(guó)內(nèi)外流行的傾斜攝影系統(tǒng)和大數(shù)據(jù)量的適應(yīng)性?；赪in7 64位系統(tǒng)采用VC++2010、CUDA 6.0開發(fā)了傾斜影像自動(dòng)空三軟件Mogas-AT，硬件平臺(tái)為Dell Precision工作站，處理器為英特爾酷睿i7-4910MQ、主頻2.90 GHz，內(nèi)存16 GB，顯卡為4 GB英偉達(dá)Quadro K3100M。

表1　試驗(yàn)傾斜影像數(shù)據(jù)描述

3.2組裝輕量型傾斜相機(jī)試驗(yàn)

試驗(yàn)組裝傾斜成像系統(tǒng)采用1+4相機(jī)配置方式，相機(jī)型號(hào)為Cannon EOS 5D，同一測(cè)站下視相機(jī)與斜視相機(jī)有重疊，測(cè)區(qū)范圍為2.2 km×1.4 km，共飛行5條航帶，測(cè)區(qū)中均勻分布有14個(gè)控制點(diǎn)，其中下視與傾斜影像(包括下視)的重疊關(guān)系及控制點(diǎn)分布如圖4所示。

分別對(duì)僅用下視影像和傾斜影像采用獨(dú)立模型進(jìn)行不同控制點(diǎn)數(shù)目的區(qū)域網(wǎng)平差試驗(yàn)，其中控制點(diǎn)數(shù)目為0代表無控制點(diǎn)區(qū)域網(wǎng)平差。連接點(diǎn)提取耗時(shí)包括特征提取、特征匹配、特征追蹤3部分耗時(shí)，利用像點(diǎn)的平均反投影誤差σr與檢查點(diǎn)的實(shí)際精度兩項(xiàng)指標(biāo)進(jìn)行精度評(píng)定，其結(jié)果如表2、圖5、圖6所示。

由上述結(jié)果得到以下結(jié)論：

(1) 傾斜影像空三精度優(yōu)于傳統(tǒng)下視影像空三精度。在各種控制方案下，傾斜影像空三的水平和垂直精度都要高于下視影像空三，且精度提高約為2～3倍。分析可知，這是因?yàn)樵趦A斜影像空三過程中引入了斜視影像上的像點(diǎn)觀測(cè)值，增加了多余觀測(cè)值數(shù)目，提高了匹配的可靠性：一方面，可以解決諸如相似紋理、遮擋等困難區(qū)域匹配的多義性和誤匹配問題；另一方面，較大的匹配冗余有利于匹配粗差的自動(dòng)定位和剔除。由表2中結(jié)果可以看出，傾斜影像空三的連接點(diǎn)數(shù)目約為下視影像空三連接點(diǎn)數(shù)目的6倍，像點(diǎn)觀測(cè)值數(shù)目約為9倍。傾斜影像空三可以達(dá)到水平方向0.75 GSD，高程方向2.0 GSD。

表2　不同控制點(diǎn)數(shù)目和平差模型的區(qū)域網(wǎng)平差結(jié)果

(2) 無控制點(diǎn)情況下，將POS獲取的外方位元素作為帶權(quán)觀測(cè)值參與平差不能有效提高區(qū)域網(wǎng)平差的精度。圖6是無控制點(diǎn)區(qū)域網(wǎng)平差殘差分布圖，可以看出檢查點(diǎn)定位結(jié)果存在明顯的系統(tǒng)誤差，說明POS數(shù)據(jù)含有一定的系統(tǒng)誤差。當(dāng)含有一個(gè)中心點(diǎn)時(shí)，傾斜空三的精度能夠得到顯著提高。因此，在傾斜影像空三處理時(shí)，要發(fā)揮POS精度的潛力依然需要少量的外業(yè)控制點(diǎn)。

(3) 控制點(diǎn)數(shù)目對(duì)傾斜影像空三的精度影響與傳統(tǒng)下視影像空三相一致。當(dāng)使用3個(gè)角點(diǎn)的控制方案時(shí)，區(qū)域網(wǎng)平差的精度已經(jīng)達(dá)到一個(gè)較好的水平，再增加控制點(diǎn)數(shù)目對(duì)精度的提高十分有限。因此，在實(shí)際的傾斜影像外業(yè)控制點(diǎn)布設(shè)時(shí)，一般只需3個(gè)角點(diǎn)。傾斜影像空三的高程精度低于平面精度，當(dāng)采用1個(gè)中心點(diǎn)時(shí)，傾斜影像空三的高程精度與平面精度相當(dāng)，增加控制點(diǎn)數(shù)目時(shí)，水平精度仍可得到進(jìn)一步的提高，高程精度提升不明顯。

(4) 控制點(diǎn)的引入不影響區(qū)域網(wǎng)平差的像點(diǎn)平均反投影誤差精度，這是因?yàn)槠骄赐队罢`差反映的是像點(diǎn)殘差的內(nèi)符合精度，控制點(diǎn)的引入不會(huì)影響平差收斂程度，只是相當(dāng)于對(duì)連接點(diǎn)物方坐標(biāo)進(jìn)行絕對(duì)定向，將其納入到控制點(diǎn)所在的坐標(biāo)系統(tǒng)下。

下視影像空三與傾斜影像空三試驗(yàn)結(jié)果如圖7和圖8所示。

3.3大范圍傾斜影像空三試驗(yàn)

為了驗(yàn)證本文算法對(duì)各類傾斜攝影系統(tǒng)和大數(shù)據(jù)量的支持，分別對(duì)UltraCam和SWDC-5傾斜影像數(shù)據(jù)進(jìn)行了試驗(yàn),由于上述兩個(gè)試驗(yàn)數(shù)據(jù)均無地面控制點(diǎn)，僅以像點(diǎn)的平均反投影誤差進(jìn)行精度評(píng)定。為了減少連接點(diǎn)提取耗時(shí)，下述試驗(yàn)中SIFT特征提取初始層級(jí)取2(即對(duì)原始影像進(jìn)行2次降采樣)，結(jié)果如圖9和圖10所示。

表3　大范圍傾斜影像空三試驗(yàn)結(jié)果

圖4　組1試驗(yàn)測(cè)區(qū)影像重疊關(guān)系及控制點(diǎn)分布圖Fig.4　Images overlap relationship and control points distribution

圖5　下視與傾斜影像空三精度對(duì)比Fig.5　The triangulation precision comparison between nadir and oblique images

圖6　無控制點(diǎn)平差的殘差分布圖Fig.6　The triangulation residuals without ground control points

圖7　下視影像與傾斜影像空三結(jié)果視圖Fig.7　The triangulation result view of nadir and oblique image

圖8　下視影像與斜視影像空三外方位元素放大圖Fig.8　The enlarged view of EO after bundle adjustment

圖9　微軟UltraCam傾斜影像數(shù)據(jù)空三處理結(jié)果Fig.9　The triangulation results of microsoft UltraCam oblique images

圖10　SWDC-5傾斜影像空三處理結(jié)果Fig.10　The triangulation results of SWDC-5 oblique images

上述試驗(yàn)結(jié)果表明：

(1) 本文算法對(duì)當(dāng)前國(guó)內(nèi)外常見的傾斜攝影系統(tǒng)UltraCam、SWDC-5等能夠很好地支持，由于算法均采用CUDA GPU進(jìn)行并行加速，處理效率遠(yuǎn)高于傳統(tǒng)空三軟件，主要處理耗時(shí)集中在特征提取和匹配階段。無控制點(diǎn)情況下，SWDC-5傾斜數(shù)據(jù)空三的像點(diǎn)平均反投影誤差在1.34像素，UltraCam傾斜數(shù)據(jù)的像點(diǎn)平均反投影誤差可以達(dá)到0.56像素。

(2) 本文算法能夠適應(yīng)大范圍傾斜影像數(shù)據(jù)處理，試驗(yàn)的兩個(gè)數(shù)據(jù)集影像數(shù)目都在2000張以上，一次性處理影像數(shù)目的上限與算法無關(guān)，主要由系統(tǒng)存儲(chǔ)容量決定。所有空三處理過程均為全自動(dòng)，因此，能夠有效提高作業(yè)效率，節(jié)約測(cè)圖成本。

4結(jié)論和展望

本文對(duì)傾斜多視影像的自動(dòng)連接點(diǎn)提取和空三進(jìn)行了研究，試驗(yàn)選取了3款國(guó)內(nèi)外流行的傾斜攝影系統(tǒng)，結(jié)果表明：本文的方法能夠適應(yīng)各種傾斜攝影系統(tǒng)，所有空三過程均為全自動(dòng)處理，可適用于大范圍傾斜影像空三處理，能有效提高作業(yè)效率；相同條件下傾斜影像空三的整體精度優(yōu)于傳統(tǒng)垂直攝影空三，實(shí)際精度可以達(dá)到水平方向0.75 GSD，高程方向2.0 GSD。后續(xù)將進(jìn)一步研究?jī)A斜影像空三適合的加權(quán)模型，以及如何進(jìn)一步提高連接點(diǎn)提取的效率。

參考文獻(xiàn)：

[1]RUPNIK E, NEX F, REMONDINO F. Oblique Multi-camera Systems-orientation and Dense Matching Issues[C]∥International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-3/W1, EuroCOW 2014, the European Calibration and Orientation Workshop. Castelldefels: ISPRS,2014: 107-114.

[2]FDIETER D, RDIETER M. Oblique Image Data Processing： Potential, Experiences and Recommendations[EB/OL].(2013-06-08)[2014-01-30]. http:∥www.ifp.uni-stuttgart.de/publications/phowo13/090Fritsch.pdf

[3]KARB? N, SCHROTH R. Oblique Aerial Photography: A Status Review[EB/OL].(2009-10-03)[2014-01-30]. http:∥www.ifp.uni-stuttgart.de/publications/phowo09/140Karbo.pdf

[4]WANG Yandong, SCHULTZ S, GIUFFRIDA F. Pictometry’s Proprietary Airborne Digital Imaging System and Its Application in 3D City Modelling[C]∥International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences: XXXVII(B1). Beijing: ISPRS,2008: 1065-1069.

[5]GRUBER M, PONTICELLI M, WIECHERT A. UltraCam, A Brand for Continuous Devlopments[EB/OL].(2011-11-25)[2014-01-30]. http：∥www.ifp.uni-stuttgart.de/publications/phowo11/110Gruber.pdf

[6]SHRAGAI Z, EVEN-PAZ A, KLEIN I. Automatic Tie-point Extraction Using Advanced Approaches[C]∥Proceedings of the ASPRS 2011 Annual Conference.Milwaukee,Wisconsin:[s.n.],2011.

[7]CODREANU V, DONG Feng, LIU Baoquan, et al. Gpu-Asift: A Fast Fully Affine-invariant Feature Extraction Algorithm[C]∥Proceedings of 2013 International Conference on High Performance Computing and Simulation. Helsinki:IEEE, 2013: 474-481.

[8]MOREL J M, YU Guoshen. Asift: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[9]YU Guoshen, MOREL J M. A Fully Affine Invariant Image Comparison Method[C]∥Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing.Taipei:IEEE, 2009: 1597-1600.

[10]MIKOLAJCZYK K, SCHMID C. Scale & Affine Invariant Interest Point Detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86.

[11]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2): 43-72.

[12]YANG Huachao,ZHANG Shubi,WANG Yongbo.Robust and Precise Registration of Oblique Images Based on Scale-invariant Feature Transformation Algorithm[J]. IEEE Geoscience and Remote Sensing Letters,2012, 9(4): 783-787.

[13]MOULON P, MONASSE P. Unordered Feature Tracking Made Fast and Easy[C]∥Proceedings of the 9th European Conference on Visual Media Production. London:CVMP,2012.

[14]RUPNIK E, NEX F, REMONDINO F. Automatic Orientation of Large Blocks of Oblique Images[C]∥International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-1/W1, ISPRS Hannover Workshop 2013.Hannover: ISPRS,2013: 299-304.

[15]GERKE M, NYARUHUMA A. Incorporating Scene Constraints into the Triangulation of Airborne Oblique Images[C]∥ISPRS Conference: High-resolution Earth Imaging for Geospatial Information: ISPRS XXXVIII 1-4-7/WS. Hannover: ISPRS, 2009: 4-7.

[16]袁修孝. POS輔助光束法區(qū)域網(wǎng)平差[J]. 測(cè)繪學(xué)報(bào), 2008, 37(3): 342-348.

YUAN Xiuxiao. POS-supported Bundle Block Adjustment[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(3): 342-348.

[17]袁修孝, 明洋. POS輔助航帶間航攝影像的自動(dòng)轉(zhuǎn)點(diǎn)[J]. 測(cè)繪學(xué)報(bào), 2010, 39(2): 156-161.

YUAN Xiuxiao, MING Yang. POS-supported Matching Method for Aerial Images between Neighboring Strips[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(2): 156-161.

[18]LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[19]SUN Yanbiao, ZHAO Liang, HUANG Shoudong, et al. L2-SIFT: SIFT Feature Extraction and Matching for Large Images in Large-scale Aerial Photogrammetry[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 91: 1-16.

[20]WU Changchang. Siftgpu: A Gpu Implementation of Scale Invariant Feature Transform (SIFT) [EB/OL].(2009-10-03)[2014-01-30]. http:∥www.cs.unc.edu/～ccwu/siftgpu/

[21]FISCHLER M A, BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[22]李德仁, 袁修孝. 誤差處理與可靠性理論[M]. 武漢: 武漢大學(xué)出版社, 2002.

LI Deren, YUAN Xiuxiao. Error Processing and Reliability Theory[M]. Wuhan:Wuhan University Press, 2002.

(責(zé)任編輯：張艷玲)

Automatic Tie-points Extraction for Triangulation of Large-scale Oblique Multi-view Images

YAN Li，F(xiàn)EI Liang，YE Zhiyun，XIA Wang

School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China

Abstract：A new tie-points extraction and bundle block adjustment method for large-scale multi-view oblique images is presented. Firstly, exterior orientation data gained by POS are used to rectify oblique images and predict image correspondences, which can be matched using SIFT algorithm. Secondly, an unordered feature tracking method relies on union-find algorithm are adapted to detect the multi-view correspondences. After tie-points extracted, bundle adjustment are done with POS and control points data treated as weighted measurement. In the experiment part, three kinds of oblique images, taken by assembled lightweight oblique system, UltraCam and SWDC-5, are used to test the algorithm above. The results show that our method can adapt the popular oblique systems at home and abroad, which can process over 2000 images at a time. And the precision of oblique triangulation is better than the traditional vertical triangulation, with an accuracy of 0.75 GSD in horizontal direction, 2.0 GSD in elevation direction.

Key words：oblique images；automatic triangulation；bundle block adjustment；tie-points extraction

基金項(xiàng)目：國(guó)家科技支撐計(jì)劃(2012BAJ23B00)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(2015214020201)

中圖分類號(hào)：P231

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-1595(2016)03-0310-08

Corresponding author：FEI Liang

通信作者：費(fèi)亮

作者簡(jiǎn)介：第一 閆利(1966—)，男，博士，教授，研究方向?yàn)閿z影測(cè)量與遙感。

收稿日期：2014-12-22

引文格式：閆利，費(fèi)亮，葉志云，等.大范圍傾斜多視影像連接點(diǎn)自動(dòng)提取的區(qū)域網(wǎng)平差法[J].測(cè)繪學(xué)報(bào)，2016,45(3)：310-317. DOI:10.11947/j.AGCS.2016.20140673.

YAN Li，F(xiàn)EI Liang，YE Zhiyun，et al.Automatic Tie-points Extraction for Triangulation of Large-scale Oblique Multi-view Images[J]. Acta Geodaetica et Cartographica Sinica,2016,45(3):310-317. DOI:10.11947/j.AGCS.2016.20140673.

修回日期： 2015-07-30

First author： YAN Li(1966—)，male，PhD，professor，majors in photogrammetry and remote sensing.

E-mail： lyan@sgg.whu.edu.cn.

E-mail： lfei@whu.edu.cn