陳 敏，朱 慶，何海清，嚴(yán)少華，趙怡濤

1. 西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756； 2. 東華理工大學(xué)測(cè)繪工程學(xué)院，江西 南昌 330013

影像匹配是遙感影像處理與應(yīng)用的關(guān)鍵步驟之一。經(jīng)過(guò)數(shù)十年的發(fā)展，研究人員提出了許多適用于不同類型影像的匹配方法[1-5]。現(xiàn)有影像匹配方法大體上可分為兩類：基于灰度的匹配方法和基于特征的匹配方法[6-7]。基于灰度的匹配方法能夠獲得亞像素級(jí)精度，但對(duì)影像灰度變化和幾何變形比較敏感[8]。相對(duì)而言，基于特征的匹配方法能夠較好地克服基于灰度的匹配方法對(duì)影像灰度變化和幾何變形穩(wěn)健性不足的問(wèn)題。隨著SIFT(scale invariant feature transform)算法[9]的成功，基于特征的匹配方法受到了越來(lái)越多的關(guān)注[10-11]。

針對(duì)影像視角變化，研究人員通過(guò)模擬影像仿射或投影空間，并在模擬空間進(jìn)行特征匹配，獲得了較好的匹配結(jié)果[12]。但這類方法時(shí)間效率較低，在實(shí)際應(yīng)用中受到限制。在攝影測(cè)量領(lǐng)域，高精度POS(position and orientation system)數(shù)據(jù)通常被用來(lái)輔助大視角變化影像(如傾斜影像)的匹配，即利用POS信息對(duì)影像進(jìn)行粗糾正，整體上降低影像幾何變形的影響，再采用傳統(tǒng)方法進(jìn)行特征點(diǎn)匹配[13-17]。這類方法能夠在一定程度上改善影像匹配的效果，但全局變換難以準(zhǔn)確描述影像之間的局部幾何變形。針對(duì)這個(gè)問(wèn)題，將整幅影像分成多個(gè)子區(qū)域，分別對(duì)子區(qū)域進(jìn)行特征點(diǎn)檢測(cè)和匹配，可以克服全局影像幾何糾正的不足，增加匹配點(diǎn)的數(shù)量[18-19]。對(duì)于無(wú)高精度POS數(shù)據(jù)的情況，可通過(guò)初匹配獲取一定數(shù)量的匹配點(diǎn)來(lái)估計(jì)立體像對(duì)之間的幾何變換模型，進(jìn)而對(duì)影像進(jìn)行粗糾正[19-21]?；谟跋翊旨m正的方法雖然能夠改善影像匹配效果，但仍然存在以下問(wèn)題：①影像糾正只能在一定程度上緩解平面場(chǎng)景的幾何變形，城區(qū)影像由于存在顯著的遮擋問(wèn)題，對(duì)于位于視差不連續(xù)處的特征點(diǎn)(如建筑物角點(diǎn)或邊緣附近的特征點(diǎn))，無(wú)論經(jīng)過(guò)影像全局幾何糾正還是分區(qū)域處理，都難以在同名點(diǎn)之間獲得影像內(nèi)容一致的特征區(qū)域，進(jìn)而產(chǎn)生錯(cuò)誤匹配；②通過(guò)影像初匹配進(jìn)行幾何糾正的方法依賴于初始匹配結(jié)果，對(duì)于存在大視角變化的城區(qū)寬基線影像，現(xiàn)有方法難以獲得可靠的初匹配結(jié)果，導(dǎo)致最終匹配結(jié)果不可靠。

為此，本文面向無(wú)高精度POS信息的城區(qū)寬基線影像，針對(duì)傳統(tǒng)方法為同名點(diǎn)計(jì)算的特征區(qū)域影像內(nèi)容不一致，導(dǎo)致同名點(diǎn)特征描述符相似度低、匹配失敗的問(wèn)題，充分挖掘特征點(diǎn)鄰域幾何結(jié)構(gòu)信息，提出結(jié)構(gòu)自適應(yīng)的特征區(qū)域計(jì)算方法，在不同視角情況下獲得影像內(nèi)容一致性的同名特征區(qū)域和相似特征描述符，并設(shè)計(jì)可靠的特征點(diǎn)匹配算法，提高正確匹配點(diǎn)對(duì)的數(shù)量和匹配正確率。

1 本文方法

城區(qū)影像場(chǎng)景多為人工建筑物，能夠提取大量的點(diǎn)特征和直線特征。本文方法通過(guò)挖掘點(diǎn)特征與直線特征之間的幾何關(guān)系來(lái)實(shí)現(xiàn)城區(qū)寬基線影像特征點(diǎn)匹配：首先，對(duì)立體像對(duì)提取點(diǎn)特征和直線特征，利用特征點(diǎn)鄰域內(nèi)的直線特征表達(dá)特征點(diǎn)的幾何結(jié)構(gòu)方向信息，為特征點(diǎn)計(jì)算結(jié)構(gòu)自適應(yīng)的不變特征區(qū)域和特征描述符，通過(guò)雙向匹配策略獲取可靠的初匹配點(diǎn)，并估計(jì)立體像對(duì)核線幾何關(guān)系；其次，針對(duì)部分特征點(diǎn)難以僅利用幾何結(jié)構(gòu)方向信息構(gòu)建視角不變特征區(qū)域的問(wèn)題，聯(lián)合特征點(diǎn)幾何結(jié)構(gòu)方向信息和核線幾何約束，構(gòu)建視角不變特征區(qū)域進(jìn)行特征匹配；最后，設(shè)計(jì)特征匹配擴(kuò)展算法增加匹配點(diǎn)數(shù)量，提高特征匹配率，并通過(guò)RANSAC(random sample consensus)算法[22]剔除錯(cuò)誤匹配。本文方法的整體流程如圖1所示，其中斜體標(biāo)記步驟為本文方法的關(guān)鍵步驟。

圖1 本文方法整體流程Fig.1 Flow chart of the proposed method

1.1 結(jié)構(gòu)自適應(yīng)特征點(diǎn)雙向匹配

結(jié)構(gòu)自適應(yīng)的特征點(diǎn)雙向匹配是本文方法的初匹配步驟，目的是獲取一定數(shù)量的匹配點(diǎn)并估計(jì)立體像對(duì)核線幾何關(guān)系，其算法流程如圖2所示。

圖2 結(jié)構(gòu)自適應(yīng)特征點(diǎn)雙向匹配流程Fig.2 Flow chart of the structure adaptive bidirectional feature point matching method

具體匹配方法如下：

(1) 利用直線特征表達(dá)特征點(diǎn)的幾何結(jié)構(gòu)方向信息。如圖3所示，以特征點(diǎn)pi為中心，確定大小為m×m的局部鄰域Ri，提取與Ri相交的非平行直線特征。以特征點(diǎn)為原點(diǎn)，以與直線特征平行的方向向量表示該特征點(diǎn)的幾何結(jié)構(gòu)方向。在每個(gè)方向上，以鄰域內(nèi)與該方向一致且最長(zhǎng)的直線特征的長(zhǎng)度，作為該幾何結(jié)構(gòu)方向的向量長(zhǎng)度。

(2) 挖掘幾何結(jié)構(gòu)方向信息構(gòu)建特征點(diǎn)支撐區(qū)域。根據(jù)幾何結(jié)構(gòu)方向數(shù)量差異，將特征點(diǎn)分以下3種情況進(jìn)行處理：

1) 如果特征點(diǎn)具有3個(gè)及以上幾何結(jié)構(gòu)方向，對(duì)其中任意兩個(gè)滿足夾角α∈[θ,π-θ]的幾何結(jié)構(gòu)方向，分別在對(duì)應(yīng)的幾何結(jié)構(gòu)方向上尋找顯著點(diǎn)。其中，在每個(gè)方向上尋找顯著點(diǎn)的方法如圖4所示[23]。圖4中，pi為特征點(diǎn)，Oi表示pi的一個(gè)幾何結(jié)構(gòu)方向，為Oi確定一個(gè)長(zhǎng)度為|Oi|+S，寬度為2S的向量支撐區(qū)域(其中，|Oi|表示向量Oi的模，參數(shù)S用于控制向量支撐區(qū)域的尺寸)。如果向量支撐區(qū)域內(nèi)存在直線特征且與該幾何結(jié)構(gòu)方向的交點(diǎn)也位于向量支撐區(qū)域內(nèi)，則認(rèn)為該交點(diǎn)是該幾何結(jié)構(gòu)方向上的一個(gè)顯著點(diǎn)。由兩個(gè)方向上的顯著點(diǎn)與特征點(diǎn)構(gòu)成平行四邊形區(qū)域，即為特征點(diǎn)支撐區(qū)域(圖5(a))。如果在一個(gè)幾何結(jié)構(gòu)方向上存在多個(gè)顯著點(diǎn)，則每個(gè)顯著點(diǎn)分別用于構(gòu)建特征點(diǎn)支撐區(qū)域，得到多個(gè)支撐區(qū)域。

2) 如果特征點(diǎn)具有兩個(gè)幾何結(jié)構(gòu)方向，首先沿各個(gè)方向?qū)ふ绎@著點(diǎn)，然后以特征點(diǎn)為中心，在幾何結(jié)構(gòu)方向的反方向確定對(duì)稱點(diǎn)作為虛擬顯著點(diǎn)，最后分別由顯著點(diǎn)、虛擬顯著點(diǎn)和特征點(diǎn)確定支撐區(qū)域(圖5(b))。

3) 如果特征點(diǎn)少于兩個(gè)幾何結(jié)構(gòu)方向，則無(wú)法利用上述方法構(gòu)建視角不變支撐區(qū)域。后續(xù)1.3節(jié)的特征點(diǎn)匹配擴(kuò)展步驟將對(duì)這類特征點(diǎn)進(jìn)行處理。

圖4 幾何結(jié)構(gòu)方向顯著點(diǎn)的確定Fig.4 Stable point determination on astructure orientation

圖5所示為構(gòu)建特征點(diǎn)支撐區(qū)域示意圖。圖5(a)所示為特征點(diǎn)具有3個(gè)幾何結(jié)構(gòu)方向的情況，由于O1的向量支撐區(qū)域內(nèi)沒(méi)有直線特征，即該方向上沒(méi)有顯著點(diǎn)，因此無(wú)法與其他幾何結(jié)構(gòu)方向一起構(gòu)建特征點(diǎn)支撐區(qū)域。O2和O3的向量支撐區(qū)域內(nèi)分別存在直線特征且交點(diǎn)也位于向量支撐區(qū)域內(nèi)，因此可以在O2和O3所夾范圍內(nèi)確定一個(gè)特征點(diǎn)支撐區(qū)域(藍(lán)色虛線標(biāo)記區(qū)域)。圖5(b)所示為特征點(diǎn)具有兩個(gè)幾何結(jié)構(gòu)方向的情況，獲得顯著點(diǎn)p1和p2以后，分別在幾何結(jié)構(gòu)方向的反方向確定對(duì)稱點(diǎn)q1和q2作為虛擬顯著點(diǎn)，形成兩個(gè)特征點(diǎn)支撐區(qū)域(橙色和藍(lán)色虛線標(biāo)記區(qū)域)。分別由顯著點(diǎn)和虛擬顯著點(diǎn)確定特征點(diǎn)支撐區(qū)域可以保證當(dāng)特征點(diǎn)位于視差不連續(xù)區(qū)域時(shí)至少有一個(gè)支撐區(qū)域具備視角不變性。在圖5(b)所示情況中，顯著點(diǎn)確定的支撐區(qū)域(橙色虛線標(biāo)記區(qū)域)的影像內(nèi)容不具備視角不變性，而虛擬顯著點(diǎn)確定的支撐區(qū)域(藍(lán)色虛線標(biāo)記區(qū)域)的影像內(nèi)容具備視角不變性。

圖3 特征點(diǎn)幾何結(jié)構(gòu)方向的表達(dá)Fig.3 Interest point structure orientation

圖5 特征點(diǎn)支撐區(qū)域Fig.5 Interest point support region

(3) 基于特征點(diǎn)支撐區(qū)域計(jì)算特征區(qū)域和特征描述符。如果一個(gè)特征點(diǎn)存在多個(gè)支撐區(qū)域，將該特征點(diǎn)視作多個(gè)不同的特征點(diǎn)分別分配一個(gè)支撐區(qū)域。將平行四邊形支撐區(qū)域歸一化得到正方形特征區(qū)域。在支撐區(qū)域歸一化時(shí)，為所有特征點(diǎn)設(shè)置相同的特征區(qū)域尺寸Tr×Tr，并分別將支撐區(qū)域中特征點(diǎn)及其對(duì)角線頂點(diǎn)映射到正方形特征區(qū)域的左下角和右上角頂點(diǎn)。由支撐區(qū)域與特征區(qū)域4個(gè)頂點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算單應(yīng)性矩陣進(jìn)行特征區(qū)域歸一化。將特征區(qū)域劃分為16個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖，得到128維特征描述符。最后，對(duì)特征描述符進(jìn)行歸一化處理，提高特征描述符對(duì)影像光照變化的穩(wěn)健性[9]。

通過(guò)本文提出的特征區(qū)域歸一化處理，一方面可以避免建筑物同一頂(側(cè))面上不同位置的角點(diǎn)因?yàn)閷?duì)應(yīng)于同一個(gè)支撐區(qū)域而產(chǎn)生錯(cuò)誤匹配，另一方面能夠消除影像旋轉(zhuǎn)變化的影響。如圖6所示，特征點(diǎn)p1和p2雖然支撐區(qū)域相同，但是經(jīng)過(guò)本文方法得到的特征區(qū)域和特征描述符具有較強(qiáng)的可區(qū)分性，能夠避免錯(cuò)誤匹配。雖然特征點(diǎn)p1和p3所在的影像存在旋轉(zhuǎn)變化，但是本文提出的特征區(qū)域歸一化方法能夠消除影像旋轉(zhuǎn)變化，得到相似的特征區(qū)域和特征描述符，提高特征匹配率。

圖6 特征區(qū)域和特征描述符計(jì)算過(guò)程Fig.6 Feature region and descriptor computation

(4) 利用雙向的NNDR(nearest neighbor distance ratio)匹配策略[24]進(jìn)行特征點(diǎn)匹配，并結(jié)合RANSAC算法剔除錯(cuò)誤匹配，得到初匹配集合MSet1和基礎(chǔ)矩陣F。

雖然初匹配能夠正確匹配部分特征點(diǎn)，但是該方法只對(duì)滿足以下條件的特征點(diǎn)有效：特征點(diǎn)具有至少兩個(gè)滿足夾角約束條件并且能夠獲得顯著點(diǎn)(圖4所示方法)的幾何結(jié)構(gòu)方向。該條件導(dǎo)致初匹配步驟獲得的匹配點(diǎn)數(shù)量有限。為了提高匹配點(diǎn)數(shù)量，本文方法在初匹配之后分別設(shè)計(jì)雙重核線約束的結(jié)構(gòu)自適應(yīng)特征點(diǎn)匹配(1.2節(jié))和特征點(diǎn)匹配擴(kuò)展(1.3節(jié))算法。前者用于處理具有兩個(gè)及兩個(gè)以上幾何結(jié)構(gòu)方向的未匹配特征點(diǎn)；后者用于處理經(jīng)過(guò)前面兩個(gè)匹配步驟仍然未匹配成功的特征點(diǎn)。

1.2 雙重核線約束的結(jié)構(gòu)自適應(yīng)特征點(diǎn)匹配

(1)

圖7 核線約束的特征點(diǎn)支撐區(qū)域Fig.7 Feature support region computation based on epipolar geometric constraint

獲得參考影像特征點(diǎn)及其候選同名特征點(diǎn)的支撐區(qū)域以后，采用1.1節(jié)提出的方法計(jì)算特征區(qū)域和特征描述符，并基于NNDR匹配策略[25]得到特征點(diǎn)匹配集合MSet2。

1.3 特征點(diǎn)匹配擴(kuò)展

根據(jù)特征點(diǎn)是否位于某個(gè)已匹配的特征點(diǎn)支撐區(qū)域內(nèi)，將未匹配的特征點(diǎn)分成兩類(第1類：是；第2類：否)，并分別進(jìn)行匹配：

1.3.1 結(jié)合幾何約束和特征描述符相似性匹配第1類特征點(diǎn)

在幾何約束方面，如圖8所示，假設(shè)(pi,qi)為一對(duì)已匹配的特征點(diǎn)，圖中實(shí)線平行四邊形區(qū)域?yàn)槠渲螀^(qū)域。X為參考影像上位于點(diǎn)pi支撐區(qū)域內(nèi)的一個(gè)未匹配特征點(diǎn)，由搜索影像上所有位于特征點(diǎn)qi支撐區(qū)域內(nèi)的未匹配特征點(diǎn)構(gòu)成X的候選匹配點(diǎn)集合CX。由于特征點(diǎn)支撐區(qū)域是基于直線特征確定的局部區(qū)域，可以近似為平面區(qū)域。由仿射幾何可知，如果特征點(diǎn)X與特征點(diǎn)Y∈CX為一對(duì)同名點(diǎn)，則|XA|/|XB|=|YE|/|YF|，且|XC|/|XD|=|YG|/|YH|。其中，點(diǎn)A、B、C、D分別為過(guò)特征點(diǎn)X且與點(diǎn)pi的支撐區(qū)域的邊平行的直線與點(diǎn)pi的支撐區(qū)域的交點(diǎn)；點(diǎn)E、F、G、H分別為過(guò)特征點(diǎn)Y且與點(diǎn)qi的支撐區(qū)域的邊平行的直線與點(diǎn)qi的支撐區(qū)域的交點(diǎn)。

圖8 第1類未匹配特征點(diǎn)匹配擴(kuò)展Fig.8 The matching expansion for the unmatched point in the first class

計(jì)算特征描述符時(shí)，首先，根據(jù)X在pi的支撐區(qū)域中的位置確定X的支撐區(qū)域：如果|XA|≤|XB|，則點(diǎn)B被視作一個(gè)顯著點(diǎn)，否則點(diǎn)A被視作顯著點(diǎn)；如果|XC|≤|XD|，則點(diǎn)D被視作第2個(gè)顯著點(diǎn)，否則點(diǎn)C被視作第2個(gè)顯著點(diǎn)。由點(diǎn)X與兩個(gè)顯著點(diǎn)共同確定特征點(diǎn)X的支撐區(qū)域；然后，根據(jù)顯著點(diǎn)的對(duì)應(yīng)關(guān)系(A→E、B→F、C→G和D→H)，確定候選匹配點(diǎn)對(duì)應(yīng)的顯著點(diǎn)及支撐區(qū)域；最后，采用1.1節(jié)所述方法計(jì)算特征點(diǎn)X及其候選匹配點(diǎn)的特征區(qū)域和特征描述符。

按式(2)計(jì)算參考影像特征點(diǎn)與所有候選同名特征點(diǎn)的相似性度量值sim(X,Y)，并尋找最相似的候選匹配點(diǎn)，如果其相似性度量值大于閾值Tsim，則認(rèn)為該特征點(diǎn)與參考特征點(diǎn)為一對(duì)匹配點(diǎn)。完成第1類特征點(diǎn)匹配以后，得到匹配集合MSet3。

sim(X,Y)=

(2)

式中，τ為仿射不變量閾值；DescX和DescY分別為特征點(diǎn)X及其候選匹配點(diǎn)Y的特征描述符。

1.3.2 基于單應(yīng)變換匹配第2類特征點(diǎn)

首先，基于前面所有匹配結(jié)果{MSeti,i=1,2,3}估計(jì)影像之間的單應(yīng)矩陣H；然后，為參考影像上所有第2類未匹配特征點(diǎn)確定以特征點(diǎn)為中心的正方形特征區(qū)域，基于單應(yīng)變換為搜索影像上所有第2類未匹配特征點(diǎn)確定以特征點(diǎn)為中心的四邊形特征區(qū)域，并將四邊形特征區(qū)域歸一化為正方形區(qū)域；最后，計(jì)算所有未匹配特征點(diǎn)的特征描述符，并在核線約束下通過(guò)NNDR匹配策略得到匹配集合MSet4。利用RANSAC算法對(duì)所有匹配結(jié)果{MSeti,i=1,…,4}剔除錯(cuò)誤匹配，得到最終匹配結(jié)果。

2 試驗(yàn)及結(jié)果分析

2.1 試驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文算法的有效性，分別采用6對(duì)典型的局部影像塊、一組原始大小的三視航空傾斜影像和一組原始大小的三視無(wú)人機(jī)影像進(jìn)行特征點(diǎn)匹配試驗(yàn)。如圖9所示：(a)和(b)所示分別為平房和廣場(chǎng)區(qū)域傾斜像對(duì)，其中參考影像為下視影像，搜索影像為斜視影像；(c)所示為無(wú)人機(jī)影像對(duì)；(d)—(f)所示均為傾斜影像，其中(d)和(e)中參考影像為下視影像，搜索影像為斜視影像，(f)中參考影像和搜索影像均為斜視影像；(g)所示為三視航空傾斜影像；(h)所示為三視無(wú)人機(jī)影像。試驗(yàn)數(shù)據(jù)詳細(xì)信息見(jiàn)表1。

表1 試驗(yàn)數(shù)據(jù)詳細(xì)信息

2.2 參數(shù)設(shè)置

本文方法相關(guān)參數(shù)設(shè)置為：構(gòu)建特征點(diǎn)鄰域幾何結(jié)構(gòu)方向向量時(shí)，特征點(diǎn)鄰域大小m×m=11×11像素；鄰域幾何結(jié)構(gòu)方向向量支撐區(qū)域參數(shù)s=20像素；鄰域幾何結(jié)構(gòu)方向向量夾角閾值θ=10°；歸一化特征區(qū)域尺寸Tr×Tr=65×65像素；點(diǎn)到核線的距離閾值Te=20像素；特征匹配擴(kuò)展算法中，仿射不變量閾值τ=0.3，特征描述符相似性閾值Tsim=0.65。在本文試驗(yàn)中，Harris算子[27]和LSD算子[28]分別被用于提取點(diǎn)特征和直線特征。本文試驗(yàn)中所有對(duì)比方法的參數(shù)均按原文獻(xiàn)作者推薦的參數(shù)值進(jìn)行設(shè)置。本文所有試驗(yàn)均在相同平臺(tái)環(huán)境(Windows 10，Intel Core i7 3.6 GHz，RAM 32 GB)下完成。

2.3 試驗(yàn)結(jié)果分析

2.3.1 局部影像像對(duì)匹配結(jié)果分析

本文試驗(yàn)首先基于局部影像對(duì)(圖9(a)—(f))進(jìn)行兩兩匹配，將本文方法與多種匹配算法進(jìn)行對(duì)比分析以驗(yàn)證本文方法對(duì)典型影像區(qū)域的有效性。對(duì)比方法包括：分別將Harris-Affine算子[25]、Hessian-Affine算子[25]、MSER算子[26]和DoG算子[9]與SIFT特征描述符和NNDR匹配策略組合而成的4種特征匹配算法(HarAff、HesAff、MSER和SIFT算法)、ASIFT算法[12]，以及基于影像粗糾正的ISIFT算法[19-20]。

在這部分試驗(yàn)中，以正確匹配特征對(duì)數(shù)和匹配正確率(正確匹配特征對(duì)數(shù)/總匹配對(duì)數(shù))為評(píng)價(jià)指標(biāo)，統(tǒng)計(jì)結(jié)果如圖10所示。其中，通過(guò)人工檢查的方式來(lái)統(tǒng)計(jì)正確匹配特征對(duì)數(shù)。

從圖10(a)所示的正確匹配對(duì)數(shù)可以看出，HarAff、HesAff、MSER和SIFT 4種方法在所有像對(duì)上都只能獲得少量的匹配對(duì)，表明這4種方法難以適用于視角變化較大且存在遮擋問(wèn)題的城區(qū)寬基線影像。相對(duì)于上述4種方法，ASIFT和ISIFT算法通過(guò)改進(jìn)匹配策略來(lái)提高算法的穩(wěn)健性。其中，ASIFT算法通過(guò)模擬影像仿射空間來(lái)消除影像之間的幾何變形，獲得了更好的匹配效果。影像對(duì)2中場(chǎng)景深度變化不顯著，ASIFT算法模擬的仿射空間能夠較好地?cái)M合影像局部區(qū)域，因此ASIFT算法在影像對(duì)2上獲得了最多的匹配對(duì)。但是ASIFT方法中模擬的仿射空間不連續(xù)，在影像視角變化和場(chǎng)景深度變化較大的影像對(duì)4、5和6上，許多局部區(qū)域沒(méi)有被模擬的仿射空間所覆蓋，即難以通過(guò)模擬仿射空間來(lái)消除這些局部區(qū)域的幾何變形，因此ASIFT方法在這3對(duì)影像上獲得的特征對(duì)數(shù)較少。此外，ASIFT算法為特征點(diǎn)分配規(guī)則特征區(qū)域的方法難以適用于地物遮擋和視差不連續(xù)的情況。ISIFT算法也是基于影像模擬和粗糾正的思想，但是ISIFT算法只對(duì)整幅影像進(jìn)行一次模擬，當(dāng)參考影像與待匹配影像視角變化大且影像場(chǎng)景深度變化較大時(shí)，整幅影像之間不服從同一個(gè)全局變換模型，ISIFT方法獲得的幾何變換模型只能糾正影像中的部分區(qū)域。因此ISIFT方法雖然能夠改善SIFT方法的匹配結(jié)果，但是其改善程度有限。此外，ISIFT算法依賴于初匹配的結(jié)果。如圖中所示影像對(duì)5的匹配結(jié)果，ISIFT算法因?yàn)槌跗ヅ浣Y(jié)果難以準(zhǔn)確估計(jì)影像之間的幾何變換模型，最終匹配失敗。

相對(duì)于以上方法，本文方法在除影像對(duì)2以外的所有5對(duì)影像上都得到了最多的正確匹配。這主要得益于本文方法能夠根據(jù)特征點(diǎn)鄰域結(jié)構(gòu)自適應(yīng)地獲取影像內(nèi)容一致的特征區(qū)域。無(wú)論特征點(diǎn)位于平面區(qū)域或是視差不連續(xù)區(qū)域，本文方法得到的同名特征區(qū)域之間都具有較高的相似度，更容易在特征匹配過(guò)程中被正確識(shí)別出來(lái)。此外，本文方法中的特征匹配擴(kuò)展算法有助于獲得更多的匹配對(duì)。

從圖10(b)所示的匹配正確率可以看出，本文方法和ASIFT算法的匹配正確率優(yōu)于其他方法。當(dāng)影像初匹配能夠獲得一定數(shù)量的正確匹配用于估計(jì)影像幾何變換模型時(shí)，ISIFT算法也能獲得較高的匹配正確率，但是當(dāng)影像視角變化導(dǎo)致無(wú)法通過(guò)初匹配來(lái)估計(jì)影像幾何變換模型時(shí)，ISIFT算法將匹配失敗。

2.3.2 完整三視影像匹配結(jié)果分析

除了采用局部影像像對(duì)進(jìn)行算法驗(yàn)證以外，本文試驗(yàn)還利用兩組三視影像測(cè)試本文方法的匹配性能。鑒于SIFT算法的廣泛應(yīng)用以及ASIFT算法對(duì)影像視角變化的穩(wěn)健性，這部分試驗(yàn)將本文方法與SIFT算法和ASIFT算法進(jìn)行對(duì)比分析。在具體實(shí)施時(shí)，考慮到原始SIFT算法和ASIFT算法在處理較大尺寸影像時(shí)計(jì)算內(nèi)存開(kāi)銷非常大，且算法時(shí)間效率極低，本文采用更加高效的GPU版本的SIFT算法(SIFTGPU[29])以及下采樣模式的ASIFT算法(先將原始影像下采樣為800×600像素大小的影像進(jìn)行匹配，再將匹配結(jié)果反算回原始影像[30])。此部分試驗(yàn)以三度重疊匹配數(shù)量和匹配效率為評(píng)價(jià)指標(biāo)。3種方法在兩組三視影像上匹配的統(tǒng)計(jì)結(jié)果如下表2所示，三度重疊匹配如圖11和圖12所示。由于ASIFT方法的三度重疊匹配數(shù)量為0，因此圖11中只列出SIFTGPU方法和本文方法的結(jié)果。

表2 三視影像匹配統(tǒng)計(jì)結(jié)果

圖11 三視影像1的三度重疊匹配結(jié)果Fig.11 Three-time overlapped matches on three-view image dataset 1

圖12 三視影像2的三度重疊匹配結(jié)果Fig.12 Three-time overlapped matches on three-view image dataset 2

從表2統(tǒng)計(jì)結(jié)果可以看出，在三度重疊匹配數(shù)量方面，本文方法在兩組數(shù)據(jù)上獲得的三度重疊匹配數(shù)量都遠(yuǎn)超SIFTGPU和ASIFT算法。尤其在三視影像1上，影像之間視角變化大，且影像場(chǎng)景為密集建筑區(qū)域，大量特征點(diǎn)位于視差不連續(xù)的邊緣附近，SIFTGPU和ASIFT算法幾乎匹配失敗，而本文方法仍然能夠獲得463個(gè)三度重疊匹配；在算法時(shí)間效率方面，SIFTGPU算法的時(shí)間效率最高。本文方法在分步匹配中利用初匹配估計(jì)同名核線來(lái)約束后續(xù)匹配過(guò)程，時(shí)間效率優(yōu)于ASIFT算法，但相對(duì)于SIFTGPU而言，運(yùn)算效率仍然較低。

此外，表2統(tǒng)計(jì)結(jié)果顯示ASIFT方法獲得的三度重疊匹配少于SIFTGPU方法，尤其在三視影像1上的三度重疊匹配數(shù)量為0。對(duì)ASIFT方法在該數(shù)據(jù)集上的匹配結(jié)果進(jìn)行仔細(xì)檢查發(fā)現(xiàn)：ASIFT方法在三視影像集1中三對(duì)立體像對(duì)之間獲得的兩兩匹配數(shù)量分別為108對(duì)、33對(duì)和222對(duì)，如圖13所示。其中，影像1和影像3由于視角差異太大(圖13(b))，ASIFT方法獲得的匹配點(diǎn)數(shù)量非常少，直接影響了三度重疊匹配的數(shù)量。

圖13 ASIFT方法(下采樣模式)在三視影像1上的兩兩匹配結(jié)果Fig.13 Matches of ASIFT (down-sampling mode) on image pairs in three-view image dataset 1

為了進(jìn)一步驗(yàn)證ASIFT算法在三視影像1上的匹配效果，使用普通模式(直接在原始影像上進(jìn)行匹配)的ASIFT方法對(duì)三視影像1進(jìn)行匹配試驗(yàn)。具體實(shí)施時(shí)，采用OpenCV中的ASIFT算子，分別在三視影像1中的3幅影像上提取了2 523 709、3 746 247和3 402 273個(gè)特征點(diǎn)。數(shù)百萬(wàn)個(gè)特征點(diǎn)進(jìn)行盲匹配和窮舉搜索帶來(lái)了巨大的時(shí)間開(kāi)銷(約67個(gè)小時(shí))，然而三度重疊匹配數(shù)量仍然是0。3幅影像兩兩匹配的結(jié)果如圖14所示。從圖14(b)可以看出，對(duì)于視角變化非常大的影像1和影像3，ASIFT算法獲得的匹配點(diǎn)非常少，與圖13(b)的結(jié)果一致。此外，從圖14(a)和圖14(c)所示匹配結(jié)果可以看出，雖然ASIFT方法在兩兩影像之間能夠獲得一些匹配點(diǎn)，但是匹配點(diǎn)在多視影像上的重復(fù)率非常低。

圖14 ASIFT方法(普通模式)在三視影像1上的兩兩匹配結(jié)果Fig.14 Matches of ASIFT (general mode) on image pairs in three-view image dataset 1

綜上所述，本文方法在匹配效果方面優(yōu)于SIFTGPU方法和ASIFT方法，在匹配時(shí)間效率方面優(yōu)于ASIFT方法，但低于SIFTGPU方法。筆者將在后續(xù)研究中通過(guò)算法和程序優(yōu)化提高本文方法的時(shí)間效率。

3 結(jié) 論

本文針對(duì)城區(qū)寬基線影像視角變化導(dǎo)致傳統(tǒng)方法難以為同名點(diǎn)計(jì)算影像內(nèi)容一致的特征區(qū)域和相似特征描述符，進(jìn)而導(dǎo)致匹配失敗的問(wèn)題，提出了一種結(jié)構(gòu)自適應(yīng)的特征點(diǎn)匹配方法。本文方法的創(chuàng)新之處在于利用城區(qū)影像點(diǎn)特征與直線特征的幾何關(guān)系定義了特征點(diǎn)幾何結(jié)構(gòu)方向信息，構(gòu)建了結(jié)構(gòu)自適應(yīng)的特征區(qū)域和特征描述符，在此基礎(chǔ)上設(shè)計(jì)特征匹配和擴(kuò)展算法，實(shí)現(xiàn)了城區(qū)寬基線影像的可靠匹配。以上改進(jìn)使得本文方法能夠較好地處理因影像視角變化導(dǎo)致的幾何變形和遮擋問(wèn)題，對(duì)于大視角變化的城區(qū)寬基線影像能夠獲得較好的匹配結(jié)果。但是，由于本文方法在特征匹配時(shí)利用了粗略的核線約束，因此匹配結(jié)果中的誤匹配都滿足該約束條件。在后續(xù)剔除誤匹配時(shí)，部分誤匹配難以通過(guò)(基于基礎(chǔ)矩陣的)RANSAC算法來(lái)剔除。此外，本文方法的運(yùn)算效率仍需進(jìn)一步提高。后續(xù)工作將研究如何有效剔除錯(cuò)誤匹配，并通過(guò)算法和程序優(yōu)化提高本文方法的運(yùn)算效率。