張　巖，李建增，李德良，周子棟，杜玉龍

(軍械工程學(xué)院，河北 石家莊 050003)

?

基于特征的遙感圖像匹配技術(shù)研究

張巖，李建增，李德良，周子棟，杜玉龍

(軍械工程學(xué)院，河北 石家莊 050003)

摘要針對(duì)目前圖像匹配問題，分析對(duì)比了近些年來較為經(jīng)典的基于點(diǎn)特征的圖像匹配算法。歸納了2種較為實(shí)用的圖像預(yù)處理方法：Wallis濾波與灰度均勻化。為提高搜索效率引入了近年來熱門的k-dimensional(KD)樹與Best Bin First(BBF)結(jié)合的匹配方法?？偨Y(jié)了除外點(diǎn)的2種前沿方法：雙向匹配與Progressive Sample Consensus(PROSAC)。為基于特征點(diǎn)的圖像匹配提供了整體思路。

關(guān)鍵詞圖像匹配；特征點(diǎn)；KAZE；FAST

Research of Remote Sensing Image Matching Based on Key Points

ZHANG Yan,LI Jian-zeng,LI De-liang,ZHOU Zi-dong,DU Yu-long

(OrdnanceEngineeringCollege,ShijiazhuangHebei050003,China)

AbstractFor the issue of image matching,some recent classical image matching algorithms based on key points are analyzed and compared.Two practical image preprocessing methods,Wallis filter and gray uniformity,are concluded.A popular matching method combining k-dimensional(KD) tree and Best Bin First(BBF) is introduced to improve the search efficiency.Two leading algorithms,bilateral matching and Progressive Sample Consensus(PROSAC),are summarized.As a result,an integrated idea for image matching based on key points is provided.

Key wordsimage matching;key point;KAZE;FAST

0引言

對(duì)同一物體，用不同傳感器或不同時(shí)刻或不同角度獲取時(shí)，這些圖像在空間分辨率、時(shí)間分辨率、幾何特性和光譜特性等方面就會(huì)存在一些比較明顯的差異性或局限性。所以僅用一種圖像來描述物體是不能滿足實(shí)際需要的，為此，就需要圖像匹配來解決這種問題[1]。

圖像匹配主要解決噪聲影響、光照變化、運(yùn)動(dòng)模糊、尺度變換以及相對(duì)旋轉(zhuǎn)等問題，總體分為基于圖像灰度信息與基于圖像特征信息2大類，而基于圖像特征信息又可分為基于邊緣特征、基于輪廓特征、基于區(qū)域特征及基于特征點(diǎn)[2]。而基于特征點(diǎn)的匹配方法相對(duì)于利用全部圖像的像素點(diǎn)來說，減少運(yùn)算點(diǎn)的個(gè)數(shù)，從而大大減少了匹配的計(jì)算量；同時(shí)其匹配亮度對(duì)位置變化比較敏感，從而提高了匹配精度；其提取過程減少了噪聲、灰度、圖像變形及遮擋的影響；并且匹配后的特征點(diǎn)坐標(biāo)可以直接用來估計(jì)圖像之間的空間變換關(guān)系。由于以上的優(yōu)勢(shì)，所以特征點(diǎn)匹配算法近些年來被廣泛使用與研究[3]。

1基于特征點(diǎn)匹配算法

1988年，Harris等人提出了Moravec算子的改進(jìn)方法HARRIS，實(shí)驗(yàn)表明該方法能夠相對(duì)穩(wěn)定地處理小幅度旋轉(zhuǎn)與光照變化問題[4]，但對(duì)噪聲、尺度變換與運(yùn)動(dòng)模糊極為敏感。1994年，Jinabo等人提出了HARRIS算法的改良算法Shi-Tomasi[5]，該算法增強(qiáng)了對(duì)運(yùn)動(dòng)模糊的魯棒性。1997年，Smith和Brady對(duì)HARRIS算法進(jìn)行了改進(jìn)，提出SUSAN算法，其避免了大量的局部梯度運(yùn)算，運(yùn)算速度大幅提高[5]，但魯棒性小幅下降。Lowe[6]于 1999年提出了經(jīng)典的 SIFT 算法，并于2004年完善該算法，該算法在使用 DOG尺度空間中檢測(cè)極值點(diǎn)，并通過擬合函數(shù)精確定位關(guān)鍵點(diǎn)所在位置及尺度，剔除了對(duì)比度低、不穩(wěn)定的關(guān)鍵點(diǎn)。同時(shí)建立梯度方向分布直方圖，生成 128 維描述符，該算法具有尺度和旋轉(zhuǎn)不變性，同時(shí)對(duì)噪聲、光照等影響魯棒性強(qiáng)，但實(shí)時(shí)性不高。Bay[7]等人于2006年提出了SURF算法，該算法基于 SIFT 算法的思想進(jìn)行了改進(jìn)，在尺度空間中使用近似的 Hessian 矩陣檢測(cè)關(guān)鍵點(diǎn)，通過使用盒子濾波器和積分圖像提高了算法效率，利用關(guān)鍵點(diǎn)鄰域的Harr小波響應(yīng)分布生成 64 維描述符，使得匹配速度大幅提升，但大角度旋轉(zhuǎn)與噪聲等影響敏感，并且無法滿足實(shí)時(shí)要求。Agrawal等人于2008年提出了SURF的改良算子CenSurE[8]，該算子利用簡(jiǎn)單的雙層濾波器來近似高斯拉普拉斯，獲得了很高的計(jì)算效率，計(jì)算速度比SURF提高了3倍以上，且性能也超過SURF，逼近SIFT算子，但尺度采樣是線性的，濾波器響應(yīng)信號(hào)很稀疏，檢測(cè)的特征重復(fù)率不高。Rosten等人于2006年在SUSAN算法的基礎(chǔ)上提出使用機(jī)器學(xué)習(xí)的方法快速檢測(cè)角點(diǎn)的FAST算法[9]，與傳統(tǒng)的角點(diǎn)檢測(cè)算法相比，在速度上具有明顯優(yōu)勢(shì)；Mair[10]于 2010 年提出改進(jìn)的FAST算法，進(jìn)一步提高了檢測(cè)速度，但這2種FAST都沒有解決尺度與旋轉(zhuǎn)問題。Calonder等人[11]于2010年提出了BRIEF算法，該算法通過對(duì)關(guān)鍵點(diǎn)附近隨機(jī)點(diǎn)對(duì)灰度值大小的比較生成二進(jìn)制特征向量，使得對(duì)特征點(diǎn)的描述速度大幅提高，完全滿足實(shí)時(shí)性需求，但對(duì)于各種問題的魯棒性下降很多。Rublee等人[12]于 2011 年提出了Oriented FAST算法使得 FAST 具有了小幅度旋轉(zhuǎn)的不變性，但沒有解決尺度問題。Rublee等人于 2011 年提出 ORB 算法，基于FAST與BRIEF生成具有旋轉(zhuǎn)不變性的特征向量，但還是沒有解決尺度問題。Leutenegger[13]于2011年改良了ORB提出了 BRISK 算法，該算法在尺度空間中檢測(cè) AGAST 角點(diǎn)并將角點(diǎn)位置精確到亞像素，并在關(guān)鍵點(diǎn)周圍采用固定的采樣模式生成二進(jìn)制描述符，該算法不僅具有尺度、旋轉(zhuǎn)、光照及噪聲等不變性，而且處理速度完全滿足實(shí)時(shí)性要求，是視頻處理的良好算子，但處理非同源大比例尺航攝影像相比SIFT、SURF精度不足。2011年，Alahi等人提出一種基于人眼視網(wǎng)膜的描述子FREAK[14]，本質(zhì)也是二進(jìn)制描述符，利用掃視匹配搜索，對(duì)于各種變換比BRISK描述符具有更好的魯棒性，處理速度稍有下降，但完全滿足實(shí)時(shí)處理需求，只是精度還是達(dá)不到非同源匹配要求。2012年，Pablo等人提出一種比SIFT更穩(wěn)定的特征檢測(cè)算法KAZE[15]，采用加性算子分裂算法來進(jìn)行非線性擴(kuò)散濾波，可以采用任意步長(zhǎng)來構(gòu)造穩(wěn)定的非線性尺度空間。描述子與檢測(cè)子是對(duì)SURF的改進(jìn)，加入了尺度層數(shù)參數(shù)與子區(qū)域重疊帶，使得對(duì)于各種變換KAZE比SIFT更加穩(wěn)健，但速度大幅下降。2013年，Pablo等人又提出一種快速的AKAZA算法[16]，該算法利用Fast Explicit Diffusion(FED)數(shù)學(xué)框架，動(dòng)態(tài)加速了非線性尺度空間的計(jì)算，同時(shí)提出一種新的描述符二進(jìn)制描述符Modified-Local Difference Binary(M-LDB)，大大提高了算法的速度，與SIFT、SURF等網(wǎng)格描繪器相比二值特征描繪器的描繪力較弱[17]，且經(jīng)本文測(cè)試，二進(jìn)制描述符不適用于景物變化大的非同源匹配，匹配精度較低。

2圖像預(yù)處理

匹配算子選定后，為準(zhǔn)確匹配需要提高對(duì)比度，同時(shí)壓制噪聲，綜合多種濾波器對(duì)比，要對(duì)圖像進(jìn)行預(yù)處理，本文選用Wallis濾波與灰度均勻化。

2.1Wallis濾波

Wallis濾波器是一種比較特殊的濾波器，它可以增強(qiáng)原始影像的反差，同時(shí)壓制噪聲，其目的是將局部影像的灰度均值和方差映射到給定的灰度均值和方差值。它實(shí)際上是一種局部影像變換，大大增強(qiáng)了影像中不同尺度的影像紋理模式，所以在提取影像中的特征點(diǎn)時(shí)可提高特征點(diǎn)的數(shù)量和精度，從而提高匹配結(jié)果的可靠性與精度[18]。

Wallis濾波器可以表示為：

(1)

式中，g(x,y)為原影像的灰度值；f(x,y)為結(jié)果影像的灰度值；mg為原影像的局部灰度均值；sg為原影像的局部灰度標(biāo)準(zhǔn)差；mf為結(jié)果影像局部灰度均值的目標(biāo)值；sf為結(jié)果影像的局部灰度標(biāo)準(zhǔn)偏差的目標(biāo)值；c為影像方差的擴(kuò)展常熟；b為影像的亮度系數(shù)[19]。

本文所使用典型的Wallis濾波器中c=1，b=1，此時(shí)Wallis濾波公式變?yōu)椋?/p>

(2)

此時(shí)r1=sf/sg，r0=mf-r1mg。

2.2灰度均勻化

圖像匹配往往會(huì)受到場(chǎng)景光線強(qiáng)度和曝光時(shí)間等因素的影響不同，而這會(huì)使匹配的正確性降低，而灰度均勻化技術(shù)可以大大削減以上因素對(duì)正確性的影響?；叶染鶆蚧幕舅枷胧菍⑤斎雸D像的灰度直方圖映射到一個(gè)更寬，更均勻的灰度直方圖，這樣輸出的圖像將具有較大的動(dòng)態(tài)范圍和對(duì)比度[20]。

在離散圖像中，灰度級(jí)k出現(xiàn)的概率為：

(3)

式中，m代表在圖像中出現(xiàn)的像素總和；mk代表第k級(jí)灰度像素的個(gè)數(shù)；N代表圖像中出現(xiàn)的灰度級(jí)個(gè)數(shù)。

(4)

式中，Vk代表原圖像第k級(jí)值變換后對(duì)應(yīng)的灰度值?；叶染鶆蚧昂蟮男Ч麍D如圖1所示。

圖1　灰度均勻化效果

3基于KD樹的BBF快速匹配

特征點(diǎn)匹配可以歸結(jié)為一個(gè)通過距離函數(shù)在高維空間上的相似性檢索問題，窮盡搜索雖能搜索到正確的匹配點(diǎn)，但耗時(shí)大;普通的KD樹算法對(duì)于高維數(shù)據(jù)，搜索效率會(huì)下降，可能導(dǎo)致大部分節(jié)點(diǎn)被訪問和比較而接近于窮盡搜索法。針對(duì)上述生成的特征描述向量，考慮到匹配時(shí)的時(shí)間代價(jià)，用基于KD樹索引的Best-bin-first(BBF)最近鄰搜索方法，進(jìn)行特征匹配。

首先計(jì)算特征向量間的相似性距離，最常用的方法就是采用歸一化歐氏距離準(zhǔn)則，根據(jù)相似性距離建立KD樹索引，然后采用BBF算法來進(jìn)行匹配點(diǎn)對(duì)的查找，即利用優(yōu)先級(jí)隊(duì)列，針對(duì)某查詢點(diǎn)，搜索整個(gè)KD樹隊(duì)列中記錄的都是KD樹根節(jié)點(diǎn)和樹節(jié)點(diǎn)，它們的優(yōu)先級(jí)取決于離查詢點(diǎn)的距離，然后再從隊(duì)列中提取優(yōu)先級(jí)最高的節(jié)點(diǎn)，從根節(jié)點(diǎn)開始掃描到葉子節(jié)點(diǎn)，重復(fù)以上步驟直到隊(duì)列為空或超出時(shí)間限制，BBF通過優(yōu)先隊(duì)列可以隨時(shí)中斷查詢機(jī)制，總能返回最好結(jié)果作為近似的最近鄰，從而將KD樹擴(kuò)展到高維空間上[21]。

4去除錯(cuò)誤匹配點(diǎn)

4.1雙向匹配算法的原理

基于KD樹的BBF快速匹配方法容易產(chǎn)生誤匹配，但其中的大部分是正確的，并且匹配方向和匹配閾值對(duì)匹配特征向量對(duì)的數(shù)量及正誤起到了關(guān)鍵的作用，故提出利用特征向量匹配對(duì)的唯一性約束，進(jìn)一步提高匹配正確率[22]。

雙向匹配算法的基本思想是根據(jù)交集思想，由原方法中的第1次匹配的結(jié)果，得到第1個(gè)特征點(diǎn)集在第2個(gè)特征點(diǎn)集中的匹配點(diǎn)，反過來再次求第2個(gè)特征點(diǎn)集中已被匹配的關(guān)鍵點(diǎn)在第1個(gè)特征點(diǎn)集中的匹配點(diǎn)，即求已被匹配的關(guān)鍵點(diǎn)在第1個(gè)特征點(diǎn)集中的最鄰近與次鄰近的距離比率α，α小于某個(gè)閾值的匹配點(diǎn)才認(rèn)為是正確匹配。從而增強(qiáng)算法的約束條件來獲得更可靠的匹配點(diǎn)對(duì)。

則雙向匹配算法可表示為：

若滿足式(1)，則認(rèn)為pi與qj是特征匹配點(diǎn)對(duì)。從上面定義的條件可以看出，雙向匹配算法的約束條件都比原算法的約束條件更強(qiáng)。隨著約束條件的增強(qiáng)，一方面，在初始匹配階段，更多的外點(diǎn)在初始匹配階段被檢測(cè)出來，得到的初始錯(cuò)誤匹配點(diǎn)對(duì)數(shù)減少，另一方面，在剔除外點(diǎn)階段，這些錯(cuò)誤匹配對(duì)RANSAC等算法的影響減弱，導(dǎo)致最后的總的匹配點(diǎn)對(duì)數(shù)和正確的匹配點(diǎn)對(duì)數(shù)增加，從而提高了特征點(diǎn)匹配的性能[23]。

4.2用PROSAC算法估算變換模型

采用的PROSAC算法流程圖如圖2所示。

圖2　PROSAC算法流程

PROSAC算法是RANSAC算法的改進(jìn)，而且魯棒性和計(jì)算效率比RANSAC更高，RANSAC算法是隨機(jī)采樣，并沒有考慮到樣本之間的差異，但實(shí)際情況下樣本之間存在好壞差異[24]。PROSAC不是像RANSAC算法從所有的數(shù)據(jù)中采樣，而是優(yōu)先選取匹配度較高的匹配點(diǎn)擬合模型，經(jīng)過若干次的假設(shè)與驗(yàn)證后，得到最優(yōu)解。這樣有利于快速收斂擬合的過程，在誤匹配率較高時(shí)同樣適用[25]。

5結(jié)束語

本文提供了一種圖像匹配的整體思路，總結(jié)了近些年來經(jīng)典的基于特征點(diǎn)的圖像匹配算法，具體工作如下：歸納總結(jié)了圖像匹配的整體思路:圖像預(yù)處理，特征檢測(cè)，特征描述和特征匹配，去除錯(cuò)誤點(diǎn)。并于每一步給出了較為前沿的方法，方便特征點(diǎn)匹配順利進(jìn)行；分析對(duì)比了近年來里程碑式的特征匹配算子，列出了算子對(duì)前人的發(fā)展與劣勢(shì)，給出了算子的適用范圍與條件，較為詳盡的總結(jié)了基于特征點(diǎn)匹配算子的發(fā)展。

本文算法還存在不足：綜述不夠詳盡，部分算子未列入文中，會(huì)在今后的研究中加以改善。后續(xù)會(huì)引入數(shù)據(jù)對(duì)比，增強(qiáng)說服力。

參考文獻(xiàn)

[1]樊曼曼.多源衛(wèi)星遙感影像配準(zhǔn)技術(shù)研究[D].秦皇島：燕山大學(xué)，2011.

[2]宋芳,李勇,陳勇.多源遙感圖像中的圖像配準(zhǔn)方法[J].激光雜志,2008,29(3):26-27.

[3]廖斌.基于特征點(diǎn)的配準(zhǔn)圖像研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)研究生院，2008.

[4]HARRIS C,STEPHENS M.A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference,1988.

[5]SMITH S M,BRADY J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of ComputerVision,1997,23(1):45-78.

[6]LOWE D G.Distinctive Image Features from Scale-invariant Key-points[J].International Journal of Computer Vision,2004,60(2):91-110.

[7]BAY H,TUYTELAARS T,VAN G L.SURF:Speeded up Robust Features[C]∥Computer Vision-ECCV 2006，Springer Berlin Heidelberg,2006,404-417.

[8]AGRAWAL M,KONOLIGE K.CenSurE:Center Surround Extremas for Realtime Feature Detection and Matching[C]∥Proceedings of 10th European Conference on Computer Vision.Berlin:Springer,2008:102-115.

[9]ROSTEN E,DRUMMOND T.Machine Learning for High-speed Corner Detection[C]∥Computer Vision-ECCV 2006,Springer Berlin Heidelberg,2006:430-443.

[10]MAIR E,HAGER G D,BURSCHKA D,et al.Adaptive and Generic Corner Detection based on the Accelerated Segment Test[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:183-196.

[11]CALONDER M,LEPETIT V,STRECHA C,et al.Brief:Binary Robust Independent Elementary Features[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:778-792.

[12]RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:An Efficient Alternative to SIFT or SURF[C]∥Computer Vision (ICCV),2011 IEEE International Conference on IEEE,2011:2 564-2 571.

[13]LEUTENEGGER S,CHLI M,SIEGWART R Y.BRISK:Binary Robust Invariant Scalable Keypoints[C]∥Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011:2 548-2 555.

[14]ALAHI A,ORTIZ R,VANDERGHEYNST P.FREAK:Fast Retina Keypoint[C]∥Computer Version and Pattern Recognition,2011:510-517.

[15]PABLO F,ADRIEN B,ANDREW J.KAZE Features[C]∥European Conference on Computer Vision (ECCV),2012:2 374-2 378.

[16]Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥In British Machine Vision Conference (BMVC),2013:2 157-2 163.

[17]王飛宇,邸男,賈平.結(jié)合尺度空間FAST角點(diǎn)檢測(cè)器和SURF描繪器的圖像特征[J].液晶與顯示,2014,29(4):598-604.

[18]張力,張祖勛,張劍清.Wallis濾波在影像匹配中的應(yīng)用[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào),1999,24(1):24-27.

[19]朱巧云,答星.基于Wallis濾波器的異源遙感影像勻光方法[J].測(cè)繪與空間地理信息,2012,35(10):130-132.

[20]楊世沛,陳杰,周莉，等.一種基于SIFT的圖像特征匹配方法[J].電子測(cè)量技術(shù),2014,37(6):50-53.

[21]張開玉,梁鳳梅.基于改進(jìn)SURF的圖像配準(zhǔn)關(guān)鍵算法研究[J].科學(xué)技術(shù)與工程,2013,13(10):2 875-2 878.

[22]劉煥敏,王華,段慧芬.一種改進(jìn)的SIFT雙向匹配算法[J].兵工自動(dòng)化,2009,28(6):89-91.

[23]張建花,白仲斐,惠廣裕.基于SIFT算法的異源遙感影像自動(dòng)配準(zhǔn)研究[J].電子設(shè)計(jì)工程,2011,19(13):176-179.

[24]李小紅,謝成明,賈易臻,等.基于ORB特征的快速目標(biāo)檢測(cè)算法[J].電子測(cè)量與儀器學(xué)報(bào),2013,27(5):455-460.

[25]尚明姝.一種基于改進(jìn)SURF的圖像配準(zhǔn)方法[J].微電子學(xué)與計(jì)算機(jī),2014,31(2):125-128.

張巖男，(1991—)，碩士研究生。主要研究方向：無人機(jī)信息傳輸與處理技術(shù)。

李建增男，(1966—)，副教授，碩士生導(dǎo)師。主要研究方向：控制科學(xué)與工程、無人機(jī)信息傳輸與處理技術(shù)。

作者簡(jiǎn)介

中圖分類號(hào)TN957.52

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1003-3106(2016)02-0061-04

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(51307183)。

收稿日期：2015-11-16

doi:10.3969/j.issn.1003-3106.2016.02.15

引用格式：張巖，李建增，李德良，等.基于特征的遙感圖像匹配技術(shù)研究[J].無線電工程，2016，46(2)：61-64.