常 越，鄧 非，2，李天爍

(1.武漢大學(xué) 測(cè)繪學(xué)院，湖北 武漢 430079； 2.國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079)

DEM輔助下的傾斜航攝影像匹配方法

常 越1，鄧 非1，2，李天爍1

(1.武漢大學(xué) 測(cè)繪學(xué)院，湖北 武漢 430079； 2.國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079)

在傾斜航空攝影測(cè)量中，傾斜影像間由于視角差異較大，具有較大幾何變形，而具備仿射尺度不變性的ASIFT算法存在效率較低的問(wèn)題，提出一種DEM輔助下的傾斜航攝影像匹配方法。該方法通過(guò)利用影像的粗略外方位元素和測(cè)區(qū)的DEM數(shù)據(jù)，首先對(duì)傾斜影像進(jìn)行仿射變換來(lái)減弱幾何變形；然后通過(guò)SIFT特征匹配算法來(lái)獲取同名點(diǎn)對(duì)，并使用RANSAC剔除誤匹配；最后將同名點(diǎn)對(duì)根據(jù)單應(yīng)矩陣反算回原影像，以基礎(chǔ)矩陣估計(jì)法剔除誤匹配，獲得最終匹配點(diǎn)對(duì)。通過(guò)對(duì)多組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該算法的計(jì)算效率較高，獲得的匹配點(diǎn)對(duì)在數(shù)量和分布情況上也更為理想。

傾斜影像匹配；DEM；仿射變換；尺度不變特征變換算法；誤匹配剔除

傾斜航空攝影測(cè)量突破了傳統(tǒng)攝影測(cè)量垂直拍攝獲取影像的作業(yè)模式，憑借其多視角的攝影方式，可獲得豐富的建筑物立面信息，且成果滿足三維數(shù)字城市建設(shè)的需要，因而在近年來(lái)得到了廣泛地推廣和應(yīng)用，成為當(dāng)前城市自動(dòng)三維建模的熱點(diǎn)技術(shù)[1-7]。但與此同時(shí)，通過(guò)該方法獲得的傾斜影像，存在局部幾何變形大、影像間具有較大仿射畸變、地物遮擋及影像分辨率不一致等問(wèn)題，這些問(wèn)題對(duì)影像之間的匹配造成困難。因此，如何從傾斜影像中快速、準(zhǔn)確地獲取可靠的同名點(diǎn)對(duì)，是傾斜航空攝影測(cè)量技術(shù)的關(guān)鍵問(wèn)題之一，也是制約著傾斜航空攝影測(cè)量技術(shù)發(fā)展的重要原因[8]。

根據(jù)傾斜航空攝影測(cè)量成像的特點(diǎn)，傾斜影像的匹配方法應(yīng)該具備仿射不變[9]、旋轉(zhuǎn)不變以及尺度不變的特性。目前，主流的匹配方法有Harris-Affine特征匹配、Hessian-Affine特征匹配以及MSER(最穩(wěn)定極值區(qū)域)算法等對(duì)原始的傾斜影像進(jìn)行仿射不變性區(qū)域提取，再進(jìn)行描述匹配的方法[10]。其中，Harris-Affine特征匹配[11]在匹配前要先進(jìn)行Harris角點(diǎn)檢測(cè)，然后通過(guò)迭代求出仿射不變區(qū)域，并剔除不穩(wěn)定點(diǎn)對(duì)，得到具有仿射不變性的Harris特征點(diǎn)。Hessian-Affine特征匹配[12]也類似于此，不同之處在于使用了Hessian算子檢測(cè)，更傾向于斑點(diǎn)特征。而MSER算法則是通過(guò)對(duì)比極大穩(wěn)定區(qū)域(仿射不變區(qū)域)描述符來(lái)獲取同名點(diǎn)對(duì)。這三種方法效率較高，但匹配得到的點(diǎn)對(duì)數(shù)量偏少，在處理視角變化較大的影像時(shí)，匹配效果并不理想，甚至無(wú)正確匹配點(diǎn)對(duì)。此外，Affine Scale Invariant Feature transform (ASIFT)特征匹配是通過(guò)垂直和水平方向上的旋轉(zhuǎn)模擬現(xiàn)實(shí)的仿射變換，生成系列模擬影像后再進(jìn)行SIFT特征點(diǎn)的提取和描述。該方法規(guī)范化了六個(gè)仿射變換參數(shù)，對(duì)于影像的旋轉(zhuǎn)、縮放、光照的變化有較強(qiáng)的魯棒性[13]，對(duì)傾斜影像的匹配效果較好，但是由于針對(duì)序列模擬影像的匹配非常耗時(shí)，效率較低，因此難以直接應(yīng)用到實(shí)際項(xiàng)目中去。

對(duì)于ASIFT算法復(fù)雜度高，效率低的問(wèn)題，可以考慮引入影像粗略外方位元素，生成少量模擬影像，以提高影像匹配效率。傾斜影像與垂直影像或傾斜影像間因拍攝角度的差異，存在著較大的幾何畸變、尺度差異以及旋轉(zhuǎn)變化，因此，本文提出了一種DEM輔助下的傾斜航攝影像匹配方法，該方法利用了傾斜影像粗略的外方位元素以及航攝區(qū)域的DEM數(shù)據(jù)(本文采用免費(fèi)的低分辨率DEM數(shù)據(jù))，首先通過(guò)將傾斜影像投影到攝區(qū)的DEM上，對(duì)傾斜影像進(jìn)行仿射糾正，然后再進(jìn)行SIFT(scale invariant feature transform)特征匹配[14]，并對(duì)匹配點(diǎn)對(duì)中的誤匹配進(jìn)行剔除。

此外，本文在進(jìn)行仿射糾正前，首先通過(guò)求解地面投影線框間的重疊度，自動(dòng)挑選出重疊度超過(guò)閾值的影像進(jìn)行匹配，從而建立影像間的相互關(guān)聯(lián)性，為批量影像間的匹配提高效率。同時(shí)，本文仿射糾正獲得的影像也是根據(jù)計(jì)算重疊線框獲取的重疊區(qū)域的影像(重疊區(qū)域含有緩沖區(qū))，這對(duì)后面的SIFT匹配過(guò)程也起到了提高效率的作用。

1 算 法

算法的實(shí)現(xiàn)過(guò)程如圖1所示，主要分為三個(gè)階段：①DEM輔助下的傾斜航攝影像仿射糾正，獲取原始影像重疊區(qū)域糾正后的影像；②對(duì)糾正后的影像進(jìn)行SIFT特征匹配和RANSAC法剔除錯(cuò)誤點(diǎn)對(duì)，得到同名點(diǎn)對(duì)；③將同名點(diǎn)對(duì)根據(jù)單應(yīng)矩陣反算回原影像，以基礎(chǔ)矩陣估計(jì)法剔除誤匹配，獲得最終結(jié)果。

圖1 匹配算法流程

1.1 DEM輔助下的傾斜航攝影像仿射糾正

傾斜航攝影像的突出特點(diǎn)就是由多角度拍攝而得，不同拍攝角度得到的影像間具有較大仿射畸變。因此DEM輔助的傾斜影像仿射糾正就是為了減弱這種變形，提高匹配的可靠性與效率。需要的初始數(shù)據(jù)包括：待匹配的左右影像、影像的粗略外方位元素、以及低分辨率的測(cè)區(qū)DEM(可通過(guò)免費(fèi)數(shù)據(jù)源獲取，其坐標(biāo)系應(yīng)與外方位元素坐標(biāo)系相同)。

1)首先根據(jù)影像的粗略外方位元素，分別將左、右影像投影到測(cè)區(qū)的DEM上，即求解攝影光束與DEM的交點(diǎn)(如圖2所示)，得到左、右影像上的點(diǎn)對(duì)應(yīng)的物方坐標(biāo)(Xi,Yi,Zi)。

圖2 攝影光束與DEM相交示意圖

2)根據(jù)求得的影像物方坐標(biāo)的平面坐標(biāo)值Xi，Yi，可得到左、右影像的地面投影線框，從而求得左、右影像的重疊區(qū)域，得到重疊區(qū)域的AABB包圍盒，并給予一定的緩沖區(qū)，形成糾正后影像的覆蓋區(qū)域S。

3)保持該區(qū)域(含緩沖區(qū))地面投影線框的幾何特征，根據(jù)垂直影像的分辨率，將其按比例縮放至影像，此時(shí)，糾正后影像的四個(gè)頂點(diǎn)對(duì)應(yīng)于原影像的四點(diǎn)(xi,yi)，可通過(guò)物方點(diǎn)坐標(biāo)(Xi,Yi,Zi)利用共線方程反算求得(四個(gè)頂點(diǎn)的物方點(diǎn)即為糾正后影像的覆蓋區(qū)域S的四個(gè)角點(diǎn))：

(1)

式中:Xs,Ys,Zs為外方位線元素;a1,a2,a3,b1,b2,b3,c1,c2,c3可由外方位角元素求得。然后根據(jù)這四點(diǎn)在原影像和糾正后影像的坐標(biāo)關(guān)系，分別計(jì)算出左、右影像仿射變換矩陣H左,H右。

4)進(jìn)行仿射變換，得到左、右影像變換后的影像。并對(duì)影像中的無(wú)效點(diǎn)(變換時(shí)未進(jìn)行賦值的像元)，進(jìn)行判斷并插值計(jì)算。

以如圖3所示的傾斜影像(a)和下視影像(b)為例進(jìn)行試驗(yàn)，從糾正后的影像圖(c)、(d)可以看出：通過(guò)該方法，可以有效地減弱幾何和尺度上的變形，便于后面的影像匹配。此外，本文方法得到變換后的影像僅為重疊區(qū)域，這對(duì)后續(xù)的匹配無(wú)論在準(zhǔn)確度上還是在效率上都能起到良好的作用。

圖3 DEM輔助下的傾斜影像仿射糾正示例

1.2 SIFT特征匹配

在完成仿射糾正變換后，本文采用對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化都具備較強(qiáng)抵抗性的SIFT特征匹配算法對(duì)兩張糾正后的影像進(jìn)行匹配。匹配的過(guò)程包含兩個(gè)階段：SIFT特征向量的提取和SIFT特征向量的匹配[15]。

特征的提取可以概括為以下4個(gè)步驟：

第一步，通過(guò)高斯濾波函數(shù)來(lái)構(gòu)建尺度空間L(x,y,σ)，并通過(guò)計(jì)算高斯差分(DOG)尺度空間來(lái)檢測(cè)潛在的極值點(diǎn)。其中高斯差分算子式為

(2)

第二步，通過(guò)對(duì)尺度空間函數(shù)的泰勒展開(kāi)來(lái)精確極值點(diǎn)在尺度空間的位置，在該步驟中，低對(duì)比度點(diǎn)將被過(guò)濾且關(guān)鍵點(diǎn)的邊緣響應(yīng)將被消除，以提高穩(wěn)定性。

第三步，進(jìn)行方向的分配。按照高斯加權(quán)的方法統(tǒng)計(jì)特征點(diǎn)區(qū)鄰域像素的梯度方向直方圖，該直方圖的峰值就是特征點(diǎn)的主方向。對(duì)此，特征點(diǎn)的描述時(shí)就可以主方向?yàn)橐罁?jù)，以確保旋轉(zhuǎn)的不變性。

第四步，生成SIFT特征向量，實(shí)質(zhì)上生成一個(gè)128維的代表著高斯加權(quán)的鄰域劃分區(qū)塊梯度方向和大小的向量。

SIFT特征向量的匹配以特征向量間的歐氏距離為相似性度量，通過(guò)將距離最小點(diǎn)與距離第二小點(diǎn)間的比值與閾值進(jìn)行對(duì)比來(lái)判斷是否為正確的匹配。

傳統(tǒng)的SIFT特征匹配算法是由CPU串行實(shí)現(xiàn)，本文為提高匹配的效率，選用了GPU進(jìn)行并行加速，與CPU混合實(shí)現(xiàn)整個(gè)算法過(guò)程[16]，加快算法的運(yùn)行。

1.3 誤匹配剔除

盡管SIFT特征匹配具有一定的穩(wěn)定性，其匹配的結(jié)果中仍存在一些誤匹配點(diǎn)對(duì)，需要進(jìn)行剔除。本文首先采用隨機(jī)抽樣一致性(RANSAC)算法，對(duì)糾正后影像的誤匹配點(diǎn)對(duì)進(jìn)行初始剔除。然后將經(jīng)過(guò)初步去除誤匹配的同名點(diǎn)對(duì)根據(jù)本文1.1節(jié)的逆步驟，將同名點(diǎn)對(duì)分別反算回原始影像，得到其在原始影像上的點(diǎn)坐標(biāo)值。再利用基礎(chǔ)矩陣(fundamental matrix)估計(jì)法對(duì)同名點(diǎn)對(duì)進(jìn)行篩選，得到最終結(jié)果。

2 實(shí)驗(yàn)與效果分析

2.1 實(shí)驗(yàn)準(zhǔn)備

為證明上述方法的有效性，本文使用VS2010實(shí)現(xiàn)了該算法，并選取了一套貴州省六盤水市的傾斜航攝影像進(jìn)行了測(cè)試。這套數(shù)據(jù)由航空攝影測(cè)量?jī)x獲取，分為下視影像和多組傾斜影像，影像大小為6 000像素×4 000像素。在這里，列舉了3張具有代表性的城區(qū)范圍的影像，如圖4所示。其中，影像(a)和(b)為視角不同的兩張傾斜影像，傾斜影像1為后視影像，傾斜影像2為左視影像，影像(c)為下視影像。程序的運(yùn)行環(huán)境為：Windows 7、GTX960、16G、i7-CPU。

圖4 實(shí)驗(yàn)數(shù)據(jù)縮略圖

對(duì)于傾斜影像間的匹配，大致可以分為三類：不同視角的傾斜影像與傾斜影像的匹配、傾斜影像與下視影像的匹配以及下視影像與下視影像的匹配。而下視影像間仿射畸變小、匹配效果較好，不作為本文考慮內(nèi)容。因此，根據(jù)上面列舉的3張影像，本文的實(shí)驗(yàn)可分成以下兩組進(jìn)行：①下傾斜影像1和下視影像；②傾斜影像1和傾斜影像2。并對(duì)這兩組數(shù)據(jù)分別利用SIFT算法、ASIFT算法以及本文算法所得到的匹配結(jié)果進(jìn)行對(duì)比分析。對(duì)匹配結(jié)果進(jìn)行評(píng)價(jià)時(shí)，既要考慮匹配的效果，又要考慮匹配的效率，因此匹配的標(biāo)準(zhǔn)包括以下三個(gè)部分：匹配點(diǎn)對(duì)的數(shù)量與分布、匹配點(diǎn)對(duì)的正確率以及匹配過(guò)程的耗時(shí)。其中匹配點(diǎn)對(duì)是否正確需要在ENVI 軟件中逐對(duì)的人工目視檢查和判斷(城區(qū)影像具有多平面場(chǎng)景，因而不能簡(jiǎn)單地通過(guò)計(jì)算出均方根誤差來(lái)判斷匹配點(diǎn)對(duì)的正確性)。

2.2 實(shí)驗(yàn)結(jié)果與分析

通過(guò)三種方法得到的匹配結(jié)果如圖5所示，將匹配相關(guān)結(jié)果進(jìn)行統(tǒng)計(jì)可得到表1，從圖5和表1的結(jié)果可以發(fā)現(xiàn)：①采用本方法得到的正確點(diǎn)對(duì)數(shù)分別是SIFT算法和及ASIFT算法的約7倍和5倍左右，且從匹配點(diǎn)對(duì)的分布情況來(lái)看，采用本文方法所得到同名點(diǎn)對(duì)分布更加均勻。②ASIFT算法針對(duì)傾斜影像的匹配正確率較高，本文算法略優(yōu)于ASIFT算法，而SIFT算法對(duì)不同傾角的傾斜影像匹配效果較差，這也是說(shuō)明了其并不具備仿射不變性。③從匹配效率來(lái)看，SIFT算法的效率最高；而ASIFT算法由于匹配算法復(fù)雜度較高，匹配過(guò)程耗時(shí)非常大，效率非常低；相比而言，采用本文的方法，效率較高。

圖5 三種方法分別對(duì)兩組數(shù)據(jù)的匹配效果

表1 三種方法分別對(duì)兩組數(shù)據(jù)的匹配結(jié)果

通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，本文提出的方法要優(yōu)于SIFT算法和ASIFT算法。由于通過(guò)利用攝區(qū)低分辨率DEM和影像初始外方位元素對(duì)影像進(jìn)行了仿射變換，減弱了傾斜影像間的幾何變形，使算法具有仿射不變性，可獲得更為準(zhǔn)確的匹配結(jié)果，與此同時(shí)，算法在復(fù)雜度上要比ASIFT算法簡(jiǎn)單的多，所以在效率上得到很明顯地提高。

3 結(jié)束語(yǔ)

本文針對(duì)傾斜影像間幾何變形較大的問(wèn)題，提出了一種DEM輔助下的傾斜航攝影像匹配方法。該方法首先通過(guò)將影像投影到攝區(qū)的DEM上實(shí)現(xiàn)對(duì)傾斜影像的仿射糾正以削弱幾何上的變形，然后將經(jīng)過(guò)SIFT特征匹配和RANSAC誤匹配剔除后的匹配點(diǎn)對(duì)反算回原始影像，再利用基礎(chǔ)矩陣估計(jì)法剔除誤匹配，得到最終的同名點(diǎn)對(duì)。經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法匹配的效率遠(yuǎn)高于ASIFT匹配算法，且從匹配得到的點(diǎn)對(duì)數(shù)量、分布及正確率來(lái)看，匹配效果較好。下一步可針對(duì)SIFT算法內(nèi)部進(jìn)行優(yōu)化，如采用具有視點(diǎn)不變性的Harris角點(diǎn)來(lái)建立SIFT描述符等方法，以達(dá)到更好的匹配效果；也可嘗試?yán)脭?shù)字表面模型(DSM)數(shù)據(jù)對(duì)影像進(jìn)行仿射變換，對(duì)比匹配效果。

[1] RUPNIK E, NEX F, REMONDINO F. Oblique Multi-Camera Systems-Orientation and Dense Matching Issues[J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-3/W1(3):107-114.

[2] 王偉, 黃雯雯, 鎮(zhèn)姣. Pictometry傾斜攝影技術(shù)及其在三維城市建模中的應(yīng)用[J]. 測(cè)繪與空間地理信息, 2011, 34(3):181-183.

[3] 楊國(guó)東, 王民水.傾斜攝影測(cè)量技術(shù)應(yīng)用及展望[J].測(cè)繪與空間地理信息,2016,39(1):13-15,18.

[4] H?HLE J. Oblique Aerial Images and Their Use in Cultural Heritage Documentation[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, xl-5/w2(XL-5/W2).

[5] 李鎮(zhèn)洲, 張學(xué)之. 基于傾斜攝影測(cè)量技術(shù)快速建立城市三維模型研究[J]. 測(cè)繪與空間地理信息, 2012, 35(4).

[6] 王卿, 郭增長(zhǎng), 李豪,等. 多角度傾斜攝影系統(tǒng)三維量測(cè)方法研究[J]. 測(cè)繪工程, 2014, 23(3):10-14.

[7] 楊國(guó)東, 王民水. 傾斜攝影測(cè)量技術(shù)應(yīng)用及展望[J]. 測(cè)繪與空間地理信息, 2016, 39(1):13-15.

[8] WIEDEMANN A, MORé J. Orientation Strategies for Aerial Oblique Images[J]. 2012, XXXIX-B1(1):1-33.

[9] MIKOLAJCZYK K，CORDELIA S. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10)：1 615-1 630

[10] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2):43-72.

[11] MIKOLAJCZYK K，CORDELIA S. Scale and Affine Invariant Interest Point Detectors[J]. International Journalof Computer Vision，2004，60(1)：63_86

[12] MIKOLAJCZYK K，SCHMID C. An Affine Invariant Interest Point Detector[J]. Lecture Notes in Computer Science，2002，2 350：128_142

[13] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. Siam Journal on Imaging Sciences, 2009, 2(2):438-469.

[14] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(60):91-110.

[15] 王佩軍. 攝影測(cè)量學(xué):測(cè)繪工程專業(yè)[M]. 武漢：武漢大學(xué)出版社, 2005.

[16] 王瑞, 梁華, 蔡宣平. 基于GPU的SIFT特征提取算法研究[J]. 現(xiàn)代電子技術(shù), 2010, 33(15):41-43.

[責(zé)任編輯：李銘娜]

Matching method for oblique aerial image assisted by DEM

CHANG Yue1, DENG Fei1，2, LI Tianshuo1

(1.School of Geodesy & Geomatics,Wuhan University,Wuhan 430079,China； 2.Collaborative Innoation Center for Territorial Sovereignty and Maritime Rights,Wuhan University,Wuhan 430079,China)

In the oblique aerial photogrammetry, the oblique images have large geometric deformation due to the great differences of the viewing angles. However, the algorithm with affine scaling invariance like ASIFT algorithm is less efficient. Therefore, this paper presents a DEM-assisted oblique aerial image matching method. Firstly, the geometrical deformation is weakened by affine transformation of the oblique image by making full use of the rough Exterior Orientation (EO) elements and DEM data. Secondly, Scale Invariant Feature Transform ( SIFT) algorithm is used to match the corrected images to get the corresponding points, and then the false matches in them are eliminated by using the RANdom SAmple Consensus (RANSAC) algorithm．Finally, the homography matrix is used to calculate the corresponding point coordinates on the original image, and the mismatches are eliminated with Fundamental Matrix Estimation method in order to obtain the final corresponding points. Experiments conducted on many sets of oblique images demonstrate that the corresponding points obtained by the proposed algorithm are significantly improved in the computation efficiency, quantity and distribution.

oblique image matching；DEM；affine transformation；scale invariant feature transform(SIFT)；mismatching elimination

著錄：常越，鄧非，李天爍，等.DEM輔助下的傾斜航攝影像匹配方法[J].測(cè)繪工程，2017，26(11)：18-22.

10.19349/j.cnki.issn1006-7949.2017.11.004

2016-10-18

國(guó)家自然科學(xué)基金資助項(xiàng)目(41271431，41401536)；國(guó)家科技支撐計(jì)劃課題(2012BAJ23B03).

常 越(1993-)，女，碩士研究生.

鄧 非(1976-)，男，教授，博士.

TP75

A

1006-7949(2017)11-0018-05