鄭美艷,陳俊,葛小青,張紅,2

(1 中國科學院空天信息創(chuàng)新研究院, 北京 100094; 2 中國科學院大學電子電氣與通信工程學院, 北京 100049;3 中國科學院計算機網(wǎng)絡(luò)信息中心, 北京 100083; 4 中國科學院大學計算機科學與技術(shù)學院, 北京 100049) (2022年1月13日收稿; 2022年3月16日收修改稿)

遙感影像匹配是指在2幅具有重疊區(qū)域的遙感影像之間尋找同名點,是各類遙感應(yīng)用的一項基本而關(guān)鍵的任務(wù)[1],廣泛應(yīng)用于圖像融合、變化檢測、圖像拼接和地圖更新等領(lǐng)域[2-3]。隨著對地觀測技術(shù)的發(fā)展,遙感影像的空間分辨率越來越高。與中低分辨率遙感影像相比,高分辨率遙感影像由地形起伏造成的局部幾何畸變現(xiàn)象更加嚴重,導(dǎo)致簡單的空間變換模型,如剛性或仿射變換模型等無法滿足高精度的高分辨率影像匹配。此外,惡劣的匹配條件,如低重疊、弱紋理、遮擋等導(dǎo)致的高外點率也嚴重影響高分辨率圖像的配準精度。因此,高分辨率遙感影像配準仍然是一項具有挑戰(zhàn)性的任務(wù)。

目前的圖像匹配方法大致可分為2類：基于區(qū)域的和基于特征的方法[2]。基于區(qū)域的方法利用圖像的灰度值設(shè)計相似性度量函數(shù)進行匹配[4-6],計算復(fù)雜度往往較高且容易受到光照的影響,魯棒性較差。基于特征的方法首先通過像素的灰度值差異提取重要結(jié)構(gòu),如點、線和輪廓;然后構(gòu)造描述符來描述上述結(jié)構(gòu),即得到特征向量;最后根據(jù)特征向量之間的相似度尋找正確的對應(yīng)關(guān)系[7-9]。然而,由于描述符的局限性,利用特征向量相似度尋找到的對應(yīng)關(guān)系通常包含大量誤匹配。因此,特征匹配之后往往需要進行誤匹配剔除,以得到高精度的圖像匹配結(jié)果[1]。基于特征的匹配方法具有良好的可重復(fù)性與運行效率,是當前圖像匹配的主要研究內(nèi)容。特征匹配與誤匹配剔除構(gòu)成當前的魯棒特征匹配框架[10-15],其中誤匹配剔除方法按照是否需要預(yù)定義轉(zhuǎn)換模型的標準可分為參數(shù)化方法和非參數(shù)化方法2類。

誤匹配剔除的參數(shù)化方法根據(jù)估計方法的不同,可分為直接參數(shù)估計方法、基于假設(shè)驗證思想的方法和基于霍夫投票思想的方法。直接參數(shù)估計類方法將誤匹配剔除問題視為穩(wěn)健回歸問題。早期的直接參數(shù)估計方法[16-17]具有非常高的效率,但具有固定崩潰值,只能處理外點率小于50%的數(shù)據(jù)。最近,一些方法通過改進估計器[11,18]、結(jié)合幾何約束[19-21]等提高了直接參數(shù)估計方法對高外點比例數(shù)據(jù)的魯棒性[22]。與直接參數(shù)估計方法不同,Fischler和Bolles[23]基于假設(shè)生成和模型驗證思想提出隨機抽樣一致性(random sample consensus,RANSAC)算法。RANSAC及其變體[24-28]因易于實現(xiàn)和健壯性而被廣泛使用。另一種廣泛使用的參數(shù)估計方法是基于霍夫投票(Hough voting,HV)思想的方法[29-30]。HV由霍夫變換[31]算法提出,其核心思想是選用一個合適的數(shù)學模型來表示待匹配圖像中的對應(yīng)特征點之間的變換關(guān)系,根據(jù)所選用模型的參數(shù)方程,在參數(shù)空間上建立一個直方圖,找出在參數(shù)空間中曲面相交次數(shù)最多的點為變換模型的參數(shù)[32]。上述3類參數(shù)化方法都需要預(yù)定義一個轉(zhuǎn)換模型,如仿射變換和投影變換模型等。但是,非剛性形變圖像間的轉(zhuǎn)換模型十分復(fù)雜,仿射變換和投影變換等簡單參數(shù)模型無法得到2幅非剛性形變圖像精準的匹配結(jié)果。因此,參數(shù)化方法不適用于非剛性形變圖像的匹配任務(wù)。

近年來,非參數(shù)化方法由于不需要預(yù)定義變換模型,在非剛性形變圖像匹配中應(yīng)用較為廣泛。非參數(shù)化方法基本都依賴于圖像形變緩慢而平滑這一假設(shè),主要包括圖匹配方法、非參數(shù)插值方法和局部幾何約束方法。圖匹配方法[33-34]通常使用特征描述子的相似性和特征分布的空間幾何一致性來定義代價函數(shù),然后最小化2個圖的結(jié)構(gòu)差異[35-36],通過全局優(yōu)化剔除假匹配,該類方法為轉(zhuǎn)換模型提供了相當大的靈活性。非參數(shù)插值方法[13,15]基于先驗條件插值或回歸學習非參數(shù)函數(shù)。該類方法將一幅圖像中的特征映射到另一幅圖像,然后檢查假定匹配集中的每個匹配是否與估計的對應(yīng)函數(shù)一致,消除不一致的假定匹配來消除誤匹配。局部幾何約束方法假設(shè)非剛性形變圖像中局部區(qū)域特征間的幾何結(jié)構(gòu)保持不變。基于這一假設(shè),局部幾何約束類方法設(shè)計特定的局部幾何結(jié)構(gòu)描述符來消除誤匹配[37-40]。由于非參數(shù)化方法沒有使用參數(shù)化幾何模型作為嚴格約束,當假設(shè)的匹配集中包含大量異常值時,這些方法往往難以將真匹配與假匹配分離,算法的魯棒性往往較差。

針對高分辨率遙感影像,尤其是高外點比率的數(shù)據(jù),提出一種結(jié)合局部和半全局幾何約束的魯棒特征匹配方法。本文方法的主要貢獻包括以下兩點：1)提出一種改進的非參數(shù)方法精確匹配發(fā)生了非剛性形變的高分辨率遙感影像。利用Delaunay三角網(wǎng)增加局部幾何約束、利用鄰接信息進行預(yù)濾波和多尺度的策略擴大局部信息范圍,實現(xiàn)算法的高魯棒性。2)提出一種基于三角形相似性的半全局幾何約束方法恢復(fù)真實匹配。與全局約束方法不同,半全局約束方法更適合于局部幾何失真的圖像。本文提出的方法充分利用局部和全局信息平衡了準確率和召回率。實驗結(jié)果表明,在幾種典型的困難場景造成高外點率的匹配條件下,所提方法顯著提高了圖像的匹配精度和召回率。

1 方法

本文提出一種結(jié)合局部和半全局幾何保持的非參數(shù)化方法以獲得精確的高分辨率遙感影像匹配結(jié)果。所提算法遵循魯棒特征匹配框架,包括2個步驟：1)生成假定的特征匹配對集合;2)剔除錯誤的匹配對。在第1步中,首先利用尺度不變特征轉(zhuǎn)換(scale invariant feature transform,SIFT)算法[41]進行特征提取與描述。接著根據(jù)描述符的相似性,利用最近鄰距離比(nearest neighbor distance ratio,NNDR)算法生成假定的匹配對集合。在第2步中,首先使用 Delaunay 三角剖分算法分別為上一步所生成的假定匹配的2個點集構(gòu)造穩(wěn)定且均勻分布的局部鄰接關(guān)系,并施加局部幾何約束;然后基于鄰接關(guān)系信息對假定的特征匹配進行預(yù)過濾,以提高內(nèi)點率;接著,采用多尺度的策略擴大局部信息范圍;最后利用所構(gòu)建的半全局三角形相似度函數(shù)恢復(fù)真匹配。算法的具體流程如圖1所示。

圖1 匹配算法流程Fig.1 Flow chart of matching algorithm

1.1 局部幾何保持約束

雖然2幅影像對之間存在著非剛性形變,但是影像的幾何特征在局部范圍內(nèi)是保持不變的,這意味著2個同名特征點在局部區(qū)域的鄰接關(guān)系會得到保持。如圖2所示,數(shù)字代表假定匹配的索引,藍線表示真匹配,紅線表示假匹配,虛線表示局部鄰接關(guān)系,黃色點表示觀測點,綠色和棕色點表示觀測點的鄰接點,棕色點是在2幅圖中與觀測點都具有鄰接關(guān)系的點。

圖2 局部鄰接關(guān)系保持示意圖Fig.2 Schematic of local adjacency maintenance

1.1.1 鄰接關(guān)系一致約束模型

λ(N-|I|).

(1)

其中：nsi,nti分別為以xi和yi為中心的2個鄰域內(nèi)具有匹配關(guān)系的點集;ksi,kti分別為以xi和yi為中心的鄰域內(nèi)的特征點集;|·|為集合的基數(shù)。等式右邊的第1項為針對匹配點的鄰域中不能保持匹配關(guān)系一致的點對的懲罰項,第2項通過λ控制強度使內(nèi)點數(shù)量最大化。

1.1.2 鄰接關(guān)系構(gòu)建與局部幾何約束施加

上述鄰接關(guān)系一致性模型需考慮2個問題：一是如何構(gòu)建鄰域;二是僅依靠鄰接關(guān)系的約束較弱,無法處理高外點比率數(shù)據(jù)。假定匹配點集的分布在空間上是不均勻的,如何定義鄰域是鄰域鄰接關(guān)系一致約束模型的關(guān)鍵。使用K最近鄰或者固定距離閾值的方法構(gòu)建的鄰接關(guān)系往往分布不均勻,如圖3所示。圖3(a)、3(c)中很多相近的特征點之間并沒有建立連接;圖3(b)、 3(d)有大量的特征點構(gòu)建了過多的鄰接關(guān)系,但是一部分特征點成為孤立的點,或僅與少量的點建立連接。

圖3 K近鄰與歐氏距離閾值構(gòu)建的局部連接結(jié)構(gòu)示意圖Fig.3 Schematic diagram of the local connection structures constructed based on KNN and Euclidean distances threshold

Delaunay三角剖分具有空外接圓準則、最大化最小角準則和最短距離和準則,構(gòu)建的Delaunay三角網(wǎng)具有最優(yōu)性、區(qū)域性和唯一性的優(yōu)異特性。以最短距離和為準則構(gòu)建的三角網(wǎng)具有三點最近性,保證了局部節(jié)點會連接到距離最近的幾個節(jié)點?？胀饨訄A準則與最大化最小角準則保證了Delaunay三角網(wǎng)中的每一個三角形都盡可能地趨向正三角形,減少了狹窄三角形的出現(xiàn),可以保證局部節(jié)點連接關(guān)系分布的均勻性。區(qū)域性即在局部區(qū)域內(nèi)新增、刪除或移動某一個頂點時只會影響近鄰的三角形,當存在外點時對內(nèi)點三角形的影響較小,區(qū)域性與唯一性共同保證了三角網(wǎng)的穩(wěn)定性。為構(gòu)建均勻且穩(wěn)健的鄰接關(guān)系,本文使用Delaunay三角剖分算法對假定匹配集中的兩點集分別進行局部連接,同時利用Delaunay三角網(wǎng)的幾何特性在點集中施加局部幾何約束,得到點集x、y的鄰域內(nèi)點集ks、kt,如圖4所示。

圖4 Delaunay三角網(wǎng)示意圖Fig.4 Schematic diagram of Delaunay triangulation

1.1.3 預(yù)過濾

根據(jù)描述子相似度得到的假定匹配集中仍保留著大量的錯誤匹配,給精確匹配造成困難。本文基于|nsi|和|nti|越大,觀察點越有可能是內(nèi)點的假設(shè),首先剔除|nsi|和|nti|小于2的觀察點,預(yù)過濾掉部分異常值,以提升算法處理高外點比例數(shù)據(jù)的能力。因此,損失函數(shù)C改寫為以下形式

(2)

其中,pi是一個二值函數(shù),表達式如下

(3)

1.1.4 多尺度鄰接關(guān)系構(gòu)建

當外點比例過高時,內(nèi)點被外點包圍,會造成錯誤的高成本,如圖5(a)所示。圖5中藍色點代表觀測點,紅色點表示在2幅圖中不保持鄰接關(guān)系的點,綠點表示在2幅圖中保持鄰接關(guān)系的點,紅色虛線連接觀測點與直接鄰接節(jié)點,黃色虛線連接直接鄰接節(jié)點與次級鄰接節(jié)點;圖5(b)將鄰域的范圍擴大到次級鄰接節(jié)點,有效地降低了內(nèi)點被外點包圍時導(dǎo)致的錯誤高成本。采用多尺度策略的損失函數(shù)C可以重寫為

圖5 多尺度鄰接關(guān)系示意圖Fig.5 Schematic diagram of multi-scale adjacency relationship

(4)

(5)

I0={i|ci≤λ=0.7,i=1,…,N}.

(6)

1.2 基于半全局幾何保持恢復(fù)正確匹配

當內(nèi)點不滿足局部鄰接一致約束模型的條件時,基于局部約束的誤匹配剔除模型必定會漏提正確的匹配點對。本文基于遙感影像的同名特征點之間構(gòu)成的幾何結(jié)構(gòu)在半全局范圍內(nèi)具有強相似性的觀察,提出一種基于半全局幾何保持的方法以恢復(fù)漏提的正確匹配。該方法以1.1節(jié)中得到的初始外點為三角形的頂點,1.1節(jié)中得到的初始內(nèi)點為三角形的另2個端點,在原圖像的特征點集和配準圖像的特征點集中構(gòu)建三角形,以2個三角形的相似度來描述特征點的匹配度,進而恢復(fù)漏提的正確匹配。匹配恢復(fù)原理如圖6所示,圓形表示外點,正方形表示1.1節(jié)中得到的內(nèi)點,三角形表示1.1節(jié)中漏提的正確對應(yīng)。

圖6 基于三角形相似度約束的匹配恢復(fù)原理Fig.6 Schematic diagram of matching restoration principle based on triangle similarity constraint

(7)

相似,即A1和A2越相似。為更好地適應(yīng)非剛性變形場景,本文在3條邊對應(yīng)成比例的約束條件上增加了角度相似性度量

simAngle=|cos(∠B1A1C1)-cos(∠B2A2C2)|.

(8)

當SimEdge小于0.8且simAngle小于0.5時,判定2個三角形相似,恢復(fù)A1,A2為正確匹配?；謴?fù)的內(nèi)點集Ir的表達式如下

Ir={simEdge≤0.8 and simAngle≤0.5,

i∈{1,…,N} andi?I0}.

(9)

最終內(nèi)點集I的表達式如下

I=I0∪Ir.

(10)

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

本文利用3組實驗數(shù)據(jù)驗證算法的有效性與先進性。第1組數(shù)據(jù)來自Erdas精校準后的樣例數(shù)據(jù),包含11個重疊區(qū)域很窄的影像對,影像分辨率為0.5 m,每個影像的大小在1 391×1 374～1 459×1 380,影像對之間滿足剛體變換,如圖7(a)所示。

圖7 實驗數(shù)據(jù)示例Fig.7 Example of experimental data

第2組數(shù)據(jù)來自2020年1月13日與2020年7月7日在北京城區(qū)上空拍攝的Pleiades衛(wèi)星影像,影像的空間分辨率為0.5 m。該組數(shù)據(jù)包含9個1 666×1 666大小影像對,影像對之間存在光照變化、視角變化以及輻射畸變,屬于非剛體變換,且圖像對之間具有較低的重疊率,如圖7(b)所示。

第3組數(shù)據(jù)來自2016年5月1日與2021年4月25日在烏魯木齊古爾班通古特沙漠上空拍攝的Spot-7衛(wèi)星全色影像,影像的分辨率為1.5 m,影像對之間同樣存在非剛性形變。該組數(shù)據(jù)包含9個1 666×1 666大小影像對,影像對之間的重疊區(qū)域較窄,影像的紋理信息較少,如圖7(c)所示。

以上3組數(shù)據(jù)的平均外點率分別為89%、94%和87%,分別代表3種經(jīng)典的高外點率的匹配場景,用來檢驗本文算法進行高分辨率圖像匹配的魯棒性。利用VLFEAT開源工具箱[42]的SIFT算法對影像進行特征點提取與描述,使用NNDR算法得到假定匹配集,在假定匹配集上進行人工目視檢查建立匹配真值。利用匹配真值,使用準確率(precision)、召回率(recall)、F1值(F1score)及時間對算法的性能進行評估,準確率、召回率、F1值的公式如下所示：

(11)

(12)

(13)

其中：TP(true positive)是數(shù)據(jù)集中被分類為真匹配并且屬于真匹配的匹配數(shù)量;FP(false positive)是數(shù)據(jù)集中被錯誤分類為真匹配的假匹配的數(shù)量;FN(false negative) 是數(shù)據(jù)集中被錯誤分類為假匹配的真匹配的數(shù)量;F1值是準確率和召回率的調(diào)和平均值。本文算法使用Matlab語言實現(xiàn),所有實驗在配置為2.8 GHz Intel Core i7-7700處理器、2 GB GeoForce GTX 1050圖形顯卡的Windows操作系統(tǒng)上完成。

2.2 結(jié)果與分析

為驗證本文算法的性能,將本文算法6種最常用的誤匹配剔除算法LPM(locality preserving matching)[37]、LLT(locally linear transforming)[19]、VFC(vector field consensus)[13]、CSM(coherent spatial mapping)[22]、GTM(graph transformation matching)[36]、 RANSAC[23]和一種Delaunay三角網(wǎng)約束方法[40]進行了對比分析,基于準確率、召回率、F1值與運行時間4個指標進行定量評估。

圖8～圖10顯示了3組數(shù)據(jù)的示例實驗結(jié)果,圖中紅色線表示假匹配、藍色線表示真匹配、綠色線表示漏提的真匹配。

圖8 實驗數(shù)據(jù)1中一對剛體變換影像對的匹配結(jié)果Fig.8 Matching results of a pair of rigid body transformation image pairs in experiment data 1

圖8中,數(shù)據(jù)的外點率為86.09%。由于外點率很高且重疊率極低,VFC和Delaunay三角網(wǎng)約束方法在該影像對的匹配任務(wù)上失敗,沒有找到任何正確匹配;GTM 以丟失大量真匹配為代價消除了所有假匹配,召回率僅有39.68%;由于大量的假匹配與真匹配的位移方向相似,LPM、LLT與CSM的匹配結(jié)果中保留了大量假匹配;RANSA比本文算法保留了更多假匹配,且丟失了一些真匹配。即使在滿足仿射變換的剛性形變場景中,本文算法取得了比RANSAC更好的結(jié)果。本文算法的匹配精度達到96.92%,只保留了2個與正匹配非常相似的假匹配,召回率為100%。

圖9中,數(shù)據(jù)的外點率高達95.46%。LPM、VFC、CSM和RANSAC的準確率急劇下降,分別為37.66%、41.02%、4.76%和58.33%,LPM、VFC和CSM仍舊保留了大量與真匹配位移方向相似的假匹配。LLT、GTM和Delaunay三角網(wǎng)約束方法未能完成此圖像對的匹配任務(wù)。本文算法只保留了1個與真實匹配極其相似的假匹配,準確率達到92.31%,并找到大部分真實匹配。

圖9 實驗數(shù)據(jù)2中一對非剛體變換影像對的匹配結(jié)果Fig.9 Matching results of a pair of non-rigid body transformation image pairs in experiment data 2

圖10中,數(shù)據(jù)的外點率為90.86%。GTM 和Delaunay三角網(wǎng)約束方法未能完成該影像對的匹配任務(wù)。LLT和RANSAC在保留一些假匹配的同時漏提許多真匹配,準確率分別為80%和83.33%、召回率分別為50%和35.71%。VFC和CSM比 LLT和RANSAC提取更多的真實匹配,但仍然保留了大量的錯誤匹配,準確率分別為89.65%和70.17%。LPM以保留大量錯誤匹配為代價找到了所有真匹配,準確率為76.71%。與圖8、圖9相同,LPM、LLT、VFC 和 CSM 在與真匹配類似的偏移方向上保留了大量假匹配。本文算法檢測到所有真實匹配,只保留少數(shù)不匹配,準確率為96.55%,在7種方法的結(jié)果中具有明顯優(yōu)勢。

圖10 實驗數(shù)據(jù)3中一對非剛體變換影像對的匹配結(jié)果Fig.10 Matching results of a pair of non-rigid body transformation image pairs in experiment data 3

每組數(shù)據(jù)的平均外點率、匹配結(jié)果的準確率、召回率、F1值、和運行時間的統(tǒng)計結(jié)果如表1所示。實驗結(jié)果表明：1)對于3組高外點比例數(shù)據(jù),本文算法的準確率和F1值最高,Delaunay三角網(wǎng)約束方法最低。本文方法最好地平衡了精準度和召回率,匹配效果顯著優(yōu)于其他算法,在外點比率高于0.9時本文算法的優(yōu)勢尤為明顯。2)本文算法對外點比率增加的敏感性弱于LPM、LLT、VFC、CSM、RANSAC、GTM和Delaunay三角網(wǎng)約束方法。隨外點比例增高,LLT的匹配效果和成功率都急劇下降,其他方法的誤匹配剔除效果也存在著不同程度的顯著下降。3)本文算法在低重疊區(qū)域的情況下,依然保持了很好的誤匹配剔除性能。這是由于算法采用的領(lǐng)域一致性原則是基于局部的,使得算法關(guān)注周圍的特征點而對距離較遠的特征點不敏感,提高了算法處理由窄重疊導(dǎo)致的高外點數(shù)據(jù)的能力。VFC在窄重疊情況下的匹配效果不好,主要由于非重疊區(qū)域產(chǎn)生了許多與正確匹配向量方向相似的錯誤匹配,降低了VFC算法建立向量場模型的準確性。4)與本文方法原理相近的LPM,也使用了局部保持的方法,在第1組與第3組的召回率較高,但是匹配精度不高。主要原因是LPM對具有與正確匹配位移向量方向相似的錯誤匹配識別能力差,錯誤地將假匹配識別為真匹配,導(dǎo)致了較高的召回率和較低的正確率。此外,LPM使用KNN構(gòu)建局部連接,導(dǎo)致局部連接的自適應(yīng)性和穩(wěn)定性較差,相比之下顯示出了Delaunay算法構(gòu)造特征點連接關(guān)系的優(yōu)越性。5)在運行效率方面,LPM最優(yōu),本文算法居中。CSM、GTM、RANSAC、Delaunay三角網(wǎng)約束方法的平均運行時間是本文算法的4.94、3.41、15.51、43.34倍,而本文算法的平均運行時間分別是LLT和VFC的 2.57和4.33倍,LPM比其他算法的運行效率提高了2～3個數(shù)量級。

表1 3組數(shù)據(jù)的實驗結(jié)果Table 1 Experimental results of three datasets

3 結(jié)束語

本文針對高分辨率遙感影像匹配提出一個簡單但十分有效的魯棒特征匹配方法。在Delaunay三角網(wǎng)的幾何約束下,結(jié)合局部與半全局幾何保持約束,實現(xiàn)了高離群值、非剛性形變圖像對的穩(wěn)健誤匹配剔除。提出的方法,在難以找到可靠匹配點對的高分辨率遙感影像匹配上具有很強的適用性,如低重疊情況下的弱紋理、復(fù)雜紋理和拍攝視角發(fā)生了變換的圖像對等。本文算法的運算效率較CSM、GTM、RANSAC和Delaunay三角網(wǎng)約束方法有明顯提升,但是該方法花費的時間隨著特征點數(shù)量的增加而增加,仍舊不能滿足特征點數(shù)量過大和實時的應(yīng)用場景。為實現(xiàn)更高效的特征匹配性能,計劃在未來通過應(yīng)用并行框架來減少算法的時間成本。