王曉華，李 克，鄧喀中，楊化超

?

基于增強MSER和Harris-Laplace 互補不變特征的遙感圖像配準

王曉華1，李 克1，鄧喀中2，楊化超2

（1.河南理工大學，河南 焦作 454000；2.中國礦業(yè)大學江蘇省資源環(huán)境信息工程重點實驗室，江蘇 徐州 221116）

針對具有傾斜的遙感圖像的自動配準問題，提出一種增強自動配準方法。該方法首先應用最大極值穩(wěn)定區(qū)域（Maximally Stable Extremal Regions，MESR）特征的仿射不變性結合匹配能力較強的SIFT（Scale Invariant Feature Transformation，SIFT）描述子進行粗匹配，初步校正傾斜圖像的空間變換；然后利用Harris-Laplace（H-L）在圖像旋轉、光照變化條件下能最穩(wěn)定的提取2維平面特征點和在3維尺度空間中能最穩(wěn)定高效地提取特征點的特性結合隨機一致性檢驗（Random Sample Consensus，RANSAC）方法進行精匹配。通過實驗分析證明，與SIFT配準方法相比該方法能夠對傾斜的遙感圖像實現(xiàn)更精確的自動配準。

特征配準；最大極值穩(wěn)定區(qū)域；尺度不變特征變換；Harris-Laplace特征

0 引言

圖像配準不僅是遙感圖像處理的一項關鍵技術之一，而且在醫(yī)學影像[1]、計算機視覺[2]及模式識別[3]等領域中也是一個核心問題。目前，快速、高精度自動圖像配準技術[4]是圖像配準領域研究的重點，也是難點。

基于特征的圖像配準的關鍵步驟是特征提取和匹配，這也是配準領域的兩大難點。在多尺度條件下檢測到的特征具有仿射不變性或具有尺度不變性，這為圖像特征提取和匹配提供了非常有利的條件。文獻[5]對Harris-Affine[6]、Hessian-Affine[7]、MSER[8]等具有仿射不變性的區(qū)域檢測子進行比較，指出目前具有最佳仿射不變性的區(qū)域特征提取算子是Matas提出的MSER特征[8]區(qū)域提取算子，而且該算子還具有最優(yōu)的對抗光照、視角和模糊等變化方面的性能，目前已被成功應用于特征匹配中。H-L特征提取算子由Mikolajczyk等[6]提出，并證明應用該算子提取的H-L特征在位置重復度、定位誤差、尺度不變性等方面的性能均優(yōu)于其他特征檢測算子。SIFT特征提取算法[9]由Lowe提出后即被成功應用于特征匹配中，并在短短的幾年內(nèi)獲得廣泛應用，該算法已被證明具有穩(wěn)定的尺度不變性和旋轉不變性，文獻[10]對Harris 描述算子[11]、DoG（Difference of Gaussian）描述算子[12]、SIFT描述算子[9]等進行實驗比較，指出目前性能最佳的描述算子是SIFT描述算子。由于遙感圖像間存在變形大，數(shù)據(jù)量大的特點，如果采用單一特征進行配準，則獲得的配準精度很不理想。因此，本文應用MSER特征提取算子提取具有最佳仿射不變性的特征區(qū)域，而根據(jù)SIFT特征描述子具有尺度、旋轉、平移等不變性對MSER特征區(qū)域進行描述，以產(chǎn)生特征矢量，然后利用歐氏距離進行圖像的粗匹配，以初步校正圖像的空間幾何變形。再應用H-L特征具有的尺度不變性結合SIFT描述子具有的旋轉不變性，并利用隨即一致性（RANSAC）檢測算法[13]去除錯配點進行圖像的精匹配。通過實驗并與SIFT配準方法比較，得出本文方法不僅在特征匹配正確率方面比SIFT方法高，而且在仿射不變性方面也優(yōu)于SIFT方法。

1 基于MSER和H-L不變特征檢測與描述

特征選擇和提取是圖像配準中的關鍵步驟。但在圖像間存在大失配的情況時，若使用單一特征進行匹配精度較低，且成功率也不高。由于MSER特征具有仿射不變性，對不同精細程度的區(qū)域均可以檢測到。而H-L特征具有尺度不變性，包含大量圖像結構信息的特征點都能夠被檢測到。因此，若有效增強這兩類互補不變特征進行圖像配準，將會增強匹配效果，提高配準精度。

1.1 特征檢測

MSER局部不變特征提取算子是基于灰度圖像，這與其他特征提取算子是一樣的。該提取算子是首先通過預先設定的一系列閾值，得到一組二值影像，該二值影像是基于設定的閾值分割的影像。然后對相鄰閾值影像間的連通區(qū)域進行分析，最后獲得MSER特征區(qū)域。這樣得到的MSER特征區(qū)域分為2種區(qū)域，一種是MSER＋區(qū)域，對應圖像的黑色區(qū)域，另一種是MSER－區(qū)域，對應圖像的白色區(qū)域[14]，如圖1所示。但是這樣的區(qū)域是不規(guī)則的，為方便后期描述，還要進一步使用橢圓擬合算法進行規(guī)則化，即把不規(guī)則的MSER區(qū)域擬合成規(guī)則的橢圓區(qū)域。

獲得MSER橢圓擬合區(qū)域后，對該區(qū)域進行歸一化處理。這樣即獲得一系列具有仿射不變性，且對大失配遙感圖像匹配具有良好魯棒性的局部不變區(qū)域。MSER橢圓擬合歸一化方程表示為：

(－)2＋2(－)(－)＋(－)2＝1 (1)

由(1)式可知，每個MSER特征區(qū)域都有2個信息，分別是橢圓中心坐標(,)和橢圓參數(shù)(,,)。

傳統(tǒng)的Harris算子提取到的特征在大尺度縮放下穩(wěn)定性能較差，因此Schaffalitzky[15]結合Harris算子[16]與歸一化Laplace算子[17]的優(yōu)點，提出Harris-laplace (H-L)算子。這樣H-L算子在一定程度上克服了傳統(tǒng)Harris算子的缺點，并且對旋轉、噪聲及壓縮等變換也具有較好的魯棒性。H-L特征檢測時，首先計算多尺度的Harris特征點，然后在多尺度下選擇具有局部最大值的點，此時會得到一組不隨尺度、旋轉、平移等變化而變化的點。這些特征點由于是在多尺度下提取的，其位置和尺度有時會有偏差，在實際應用中，會導致嚴重誤匹配。因此還要通過迭代算法精確修改這些點的位置、尺度及每個點的鄰域。

1.2 特征描述

對檢測到的MSER特征區(qū)域和H-L特征點還需要采用合適的描述子進行描述，然后形成特征矢量，進而實現(xiàn)特征匹配。對檢測到的H-L特征點采用SIFT描述子[9]進行描述，使每個H-L特征點具有3個信息：位置(,)、所處尺度和方向。

圖1 MSER＋和MSER－提取結果

對MSER區(qū)域描述時，本文參考SIFT描述子構造方法，對檢測到的橢圓MSER特征區(qū)域構造SIFT特征向量。與正方形SIFT特征構造不同在于橢圓區(qū)域劃分和高斯加權函數(shù)。為保證每個子區(qū)域計算特征的梯度方向數(shù)相同，因此本文將每個橢圓區(qū)域按等面積劃分成8個子區(qū)域，劃分結果如圖2所示。

圖2 橢圓區(qū)域劃分

劃分過程：首先根據(jù)提取的橢圓MSER區(qū)域確定該橢圓的外接矩形，然后分別連接矩形的2對角線和對邊中點，這樣橢圓就被劃分成8個面積相等的區(qū)域。在高斯加權函數(shù)選取方面與正方形SIFT描述子不同，橢圓SIFT高斯加權函數(shù)選取是分別計算出橢圓區(qū)域的長軸值、短軸值和短軸的方向,,，令1＝/2、2＝/2作為二維高斯函數(shù)的方差，這樣橢圓SIFT即具有2個不相等的方差，運用二維高斯函數(shù)對每個區(qū)域進行加權，這樣即可使每個區(qū)域具有相同的加權值，然后將高斯函數(shù)旋轉到與短軸方向一致。在用高斯函數(shù)加權時，離中心點越遠其函數(shù)值就越小，這個特點突出了區(qū)域中心的作用，能夠起到抑制或削弱區(qū)域邊緣的作用，這樣可以使提取的特征向量具有一定程度的尺度不變性。

對提取的MSER橢圓區(qū)域進行等面積劃分，并確定高斯加權函數(shù)后，就可以利用Lowe方法構造特征向量，其構造過程主要分2步進行。第一步，在各個子區(qū)域內(nèi)將每個點的梯度方向均與橢圓短軸方向相減，以保證特征量的旋轉不變性，這是因為在圖像發(fā)生旋轉變換時，橢圓短軸旋轉的角度與圖像旋轉變換的角度相同。第二步，對第一步差值結果進行8個等級量化，并且對每個點的梯度方向進行直方圖統(tǒng)計，然后用高斯函數(shù)與梯度幅度的乘積進行加權計算直方圖。這樣對每個子區(qū)域都以梯度方向直方圖作為特征向量產(chǎn)生一個8維的特征向量，由于每個橢圓區(qū)域的特征向量由8個子區(qū)域組成，因此形成一個8×8＝64維的特征向量。

2 增強特征匹配

為建立參考圖像與待配準圖像之間特征點的對應關系，需進行特征匹配，且要求較高的匹配精度。如果利用單一特征進行匹配，則單一特征自身的局限性會導致很難一次性達到特征點的高精度匹配。本文結合MSER特征與H-L特征的互補不變性，采用MSER特征粗匹配，然后采用H-L特征結合隨機一致性（RANSAC）檢測算法去除誤匹配的方法進行精確配準。

2.1 MSER特征粗匹配

粗匹配目的[18]是獲得配準圖像間的旋轉角度及縮放尺度，初步校正待配準圖像的空間幾何變換。匹配過程是，首先對提取的MSER特征區(qū)域采用橢圓SIFT描述子描述，形成特征向量；然后采用歐氏距離的最近鄰距離與次近鄰距離的比值用以確定初始匹配點對的匹配策略，這是因為正確匹配點對總是比錯誤匹配點對存在明顯的最近鄰距離，而且該步以犧牲正確匹配點數(shù)，來提高匹配精度，因此運用該策略可以獲得穩(wěn)定的初始匹配點對。

配準圖像間的變換關系采用仿射變換模型式(2)表示：

式中：(x,y)是匹配點對在待配準圖像中的坐標；相應的在參考圖像中的坐標是(x,y)；(11,12,21,22)是由圖像間旋轉角度和縮放尺度決定的變換模型參數(shù)；(t,t)是圖像間的平移參數(shù)。這6個參數(shù)至少需要3對正確的匹配特征點確定。因此，在粗匹配點對中任選3對匹配點即可求取模型的變換參數(shù)。

2.2 H-L特征精匹配

對經(jīng)過粗匹配校正后的圖像，為了能夠實現(xiàn)圖像間的高精度配準，在精匹配階段運用H-L特征的歐氏距離進行匹配。但是受背景噪聲和計算精度等影響，經(jīng)歐氏距離匹配后，仍會存在大量的錯誤匹配，因此，在此選用RANSAC剔除錯誤的匹配點對，以此達到圖像的高精度配準，其具體步驟是：

1）應用H-L特征的歐氏距離的最近鄰與次近鄰距離比值確定候選匹配點對，在候選匹配點對中任選3對匹配點對確定模型式(2)的參數(shù)。

2）在余下的匹配點對中，若任選第對候選匹配點(x,y)和點(x,y)，將點(x,y)通過模型式(2)變換得到在待匹配圖像中坐標為(x,y)，如果|x－x|＜，且|y－y|＜，則認為該點對在誤差范圍內(nèi)滿足模型式(2)的變換參數(shù)，如果滿足這個條件，則匹配點計數(shù)cP（control Point）就增加1，繼續(xù)重復該步驟，當余下的點都被取完時即進行下步操作。

3）當cP＞（閾值）時，則此時的變換參數(shù)即作為最終仿射變換參數(shù)，此時結束運算，否則返回步驟1）。

4）在計算所有任意3點對組合后，結束運算，取cP達到最大值時的變換參數(shù)作為模型式(2)的最終仿射變換參數(shù)，并把滿足最終參數(shù)的變換點對作為正確匹配點對。

在實驗中，取誤差＝2，如候選匹配數(shù)為，則閾值可取/4。由于錯誤匹配點對總是少于正確匹配點對，因此，RANSAC收斂速度比較快，不需要計算所有候選匹配點的組合。

3 實驗分析

本實驗采用10幅具有代表性無人機影像，限于篇幅本文僅提供一組實驗數(shù)據(jù)及分析過程。本文采用的實驗圖像大小分別為417×566像素和387×566像素，圖像間存在旋轉（約25°）、尺度（約1.6）和平移（約(270m, 150m)）及光照變化。應用本文方法進行配準實驗。圖3(a)顯示匹配圖像對提取的MSER特征區(qū)域，數(shù)目分別為146和130；圖3(b)為提取的H-L特征點，數(shù)目分別為232和246。采用SIFT描述的MSER區(qū)域進行距離粗匹配，為提高匹配正確率，因此最近距離與次近距離的比值取0.3作為閾值，獲得5對正確匹配點對，如圖3(c)。從這5對匹配點對中任選3對為一組求解模型式(2)的變換參數(shù)，初步校正匹配圖像的空間幾何變換。經(jīng)過初步校正后再對匹配圖像采用SIFT描述的H-L特征點進行匹配，并運用RANSAC進行錯誤匹配的剔除，最終獲得精確匹配點對28對，結果如圖3(d)。最后對正確的匹配點對進行最小二乘估計，獲得精確的仿射變換參數(shù)，其配準結果如圖3(e)。不同配準算法的各項參數(shù)指標如表1所示。

表1 配準算法的參數(shù)指標比較

表1中MSER＋H-L項的總特征點數(shù)是指MSER特征數(shù)與H-L特征點數(shù)之和。由表1可知，雖然MSER＋H-L在特征提取時耗時要比SIFT算法耗時稍多，但是在匹配耗時要比SIFT少近1/3，因此匹配過程總耗時方面MSER＋H-L算法還是少于SIFT算法。盡管MSER＋H-L提取的特征點數(shù)要比SIFT點數(shù)少將近1/5，但是正確匹配率卻比SIFT高7%。

由于SIFT僅僅通過高斯加權提高特征點附近的梯度幅值的權重，因此利用SIFT提取的特征點在仿射不變性方面不可能比本文提出的算法優(yōu)越。

4 結論

本文采用具有仿射不變性的MSER算子提取圖像區(qū)域，進行圖像的粗匹配，從而初步校正傾斜圖像空間幾何畸變。然后采用具有尺度不變性的H-L算子提取圖像特征點，通過距離匹配和RANSAC方法獲得無錯誤的特征匹配。并通過與SIFT配準方法比較得出，本文方法具有匹配速度快，精度高的優(yōu)點。其主要原因是MSER特征良好的仿射不變性與H-L特征的尺度不變性的有機增強，使算法有更強的抗噪性。實驗證明本文提出的算法具有較強的仿射不變性，且在配準效率方面要比應用單一特征配準的高。

[1] 楊安榮, 林財興, 李紅強. 用于醫(yī)學影像配準的快速框架[J]. 計算機應用, 2010, 30(3): 632-634.

[2] 余宏生, 金偉. 視頻圖像的SIFT特征點自適應提取算法[J]. 紅外技術, 2013, 35(12): 768-772.

[3] 胡正平, 王玲麗. 基于L1范數(shù)凸包數(shù)據(jù)描述的多觀測樣本分類算法[J]. 電子與信息學報, 2012, 34(1): 194-199.

[4] 李偉生, 王衛(wèi)星, 羅代建. 用Harris-Laplace特征進行遙感圖像配準[J].四川大學學報: 工程科學版, 2011, 43(4): 89-94.

[5] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A comparison of affine region detectors[J]., 2005, 65(1): 43-72.

[6] Mikolajczyk K, Schmid C. A scale and affine invariant interest point detectors[J]., 2004, 60(1):63-86.

[7] Mikolajczyk K, Schmid C. An affine invariant interest point detector[C]//Proceedings of the 7 European Conference on Computer Vision. Copenhagen, Denmark, 2002.

[8] Matas J, Chum O, Urban M, et al .Robust wide-baseline stereo from maximally stable extremalregions[J]., 2004, 22(10): 761-767.

[9] Lowe D G. Distance image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[10] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]., 2005, 27(10):31-47.

[11] Harris C. Stephens M. A combined corner and edge detector[C] //. 1988: 147-152.

[12] Lowe D. Object recognition from local scale invariant features[C] //, 1999:1150-1157.

[13] 季順平, 袁修孝. 基于RFM的高分辨率衛(wèi)星遙感影像自動匹配研究 [J]. 測繪學報, 2010, 39(6): 593-598.

[14] 廉藺, 李國輝, 等.基于MSER的紅外與可見光圖像關聯(lián)特征提取算法[J]. 電子與信息學報, 2011, 33(7): 1625-1631.

[15] F. Schaffalitzky, A. Zisserman. Multi-view matching for unordered image sets, or “How do I organize my holiday snaps?”[J]., 2002.

[16] 王明富, 楊世洪, 吳欽章. 基于角點檢測的遙感圖像幾何質量評價方法[J]. 測繪學報, 2011: 40(2): 175-179.

[17] Mikolajczyk K, Cordelia Schmid. Indexing based on scale invariant interest points[C]//Proceedings of the 8 International Conference on Computer Vision. Vancouver, Canada, 2001:525-531.

[18] 孫輝, 李志強, 孫麗娜, 等. 一種空域和頻域相結合的運動圖像亞像素配準技術[J]. 中國光學, 2011,4(2): 154-160.

Remote Sensing Image Registration Based on Strengthened MSER and Harris-Laplace Local Invariant Features

WANG Xiao-Hua1，LI Ke1，DENG Ka-zhong2，YANG Hua-chao2

(1.,454000,;2.,,221116,)

A strengthened local invariant feature automatic registration method is proposed for registration of remote sensing images with tilt. The image space transform is corrected by coarse matching with the affine invariant of the MSER features and SIFT descriptor. Then the images are precisely matched by using H-L that can be stable and efficient to extract feature points in 2D and 3D scale space on image rotation and illumination changes condition. Experiment shows that this method can achieve more accurate registration and correct matching rate than SIFT matching method with respect to tilt remote sensing images.

feature registration，MSER，SIFT，Harris-Laplace feature

TN911.73

A

1001-8891(2015)01-0020-05

2014-09-04；

2014-12-01.

王曉華（1981-），女，河南永城人，博士后，主要研究方向為數(shù)字攝影測量與遙感圖像處理。E-mail:hxwwh@126.com。

河南理工大學2014年度博士基金資助項目，編號：B2014-07；測繪地理信息公益性行業(yè)科研專項項目，編號：201412020；校內(nèi)青年基金，編號：Q2014-02A。