李玉峰，王竹筠

(沈陽航空航天大學 電子信息工程學院，遼寧 沈陽110136)

如今，圖像配準成為在圖像處理過程中很重要的一個環(huán)節(jié)，它是在不同的傳感器、不同的時間段或者不同的視角下獲取幾幅圖像進行匹配的一個過程。它的應用領域非常廣泛，包括對醫(yī)學圖像、遙感圖像的分析，以及在圖像拼接、圖像融合、目標識別，變化檢測等圖像處理過程中的應用［1－2］。目前，基于變換域、灰度信息和特征的匹配方法是最常用的方法［3－4］。其中，基于圖像的特征是最為廣泛應用的方法，它是尋找參考圖像和配準圖像之間共有的相似之處，通過兩者在空間的位置關系來確定圖像配準中的參數。首先對參考圖像提取如拐角、點、線、邊緣等具有不變特性的特征，然后在待配準圖像中提取相似的特征來進行匹配?；谔卣髌ヅ浞椒ㄋ俣瓤?、精度高，在光照、變形、噪聲等影響下，還是擁有良好的魯棒性［5］。

基于特征的匹配方法是在兩幅圖像中尋找相同的特征，然后提取出來進行匹配，但要求這些特征具有穩(wěn)定性。而基于特征點匹配的方法受到越來越廣泛的重視［6］。目前廣泛應用的點特征提取方法有:Harris 算子［7］、SIFT 算子［8］、PCASIFT［9］、ICA－SIFT［10］、SURF［11］算子等。SIFT(Scale－Invariant Feature Transform)算子是一種在尺度空間尋找特征的匹配算法，由David G.Lowe 在2004 年總結完善，它在不同尺度、光照發(fā)生變化、目標被遮擋及圖像發(fā)生平移旋轉時都仍具有較強的魯棒性，因此在廣泛應用于圖像配準和目標識別等領域［8］。但由于SIFT 算法由于維數過大，提取特征點時間長，匹配存在錯誤等問題的存在，因此本文針對基于圖像特征點匹配過程中，匹配精度不高、實時性不強的缺點，提出了通過結合Harris 和SIFT 算子對圖像特征點進行提取與描述實現圖像的高速和高精度的匹配算法。

1 圖像特征點的提取與配準

圖像配準一般分為4 個步驟:特征提取;特征匹配;變換模型參數估算;坐標變換與重采樣。

1.1 特征點的提取

1)Harris 算子

Harris 算子是一種提取圖像角點的算子它是在圖像中，沿各個方向移動一個特定的小窗口，當這個窗口內的圖像灰度發(fā)生明顯變化時，那么就將窗口的中心像素點提取為角點。Harris 算子提取特征點的時間短、數量多，對于旋轉圖像，亮度、視角發(fā)生變化的圖像都仍保持很好的魯棒性［7］。

Harris 特征點檢測數學形式為

式中:E(u，v)表示在一個窗口中的平均偏移量函數;［I(x+u，y+v)－I(x，y)］2為圖像灰度的梯度值;w(x，y)為加權函數。位移量(u，v)可用檢測公式表示為

2×2 對稱矩陣為

設λ1、λ2是矩陣M 的兩個特征值，其中det(M)=λ1λ2，trace(M)=λ1+λ2。根據文獻［7］所述，Harris 算子需要計算一個角點響應值R 來判斷角點，R 計算如下

2)SIFT 算子特征描述

SIFT 是一種局部特征描述算子，在圖像發(fā)生旋轉、縮放以及尺度變化時都具有不變性，并且對目標遮擋、仿射變換和投影變換也有一定的魯棒性。其基本思想是構建一個尺度空間，然后在此空間內尋找極值點，對極值點進行插值，從而找出穩(wěn)定的特征點，為特征點建立一個描述符，通過描述符來對特征點進行描述［8］。

SIFT 算法對每個特征點都賦予了一個規(guī)范方向，先確定它們所在的局部位置，然后給它們賦予一個主方向。每個待確認的特征點可能會被賦予多個方向，但是最終只有一個主方向，當以特征點為中心，特征向量轉為特征點主方向時，就具有了旋轉不變性。計算公式為

式(5)是方向模值，式(6)是方向角大小。以特征點為中心，使用直方圖統(tǒng)計其鄰域內像素的梯度和方向。如圖1 所示，圖1b 為8 個主方向的梯度直方圖，特征點的主方向由直方圖的峰值來表示。此時已找到主方向的關鍵點就已經具有大小、尺度、方向信息。

圖1 繪制梯度直方圖

接下來再對關鍵點進行描述，用一組向量將這個關鍵點描述出來，關鍵點以及其周圍可以幫助描述關鍵點的像素點都是描述子，它會成為之后目標匹配的依據。對關鍵點周圍的圖像分成幾個不同的區(qū)域，然后計算區(qū)域中每塊的梯度直方圖，從而生成在該區(qū)域中具有抽象性、唯一性的向量。Lowe實驗結果表明，描述子采用以關鍵點為中心的鄰域內4×4 的窗口，把360°分為8 個方向，通過繪制8 個方向的梯度直方圖形成一個種子點，4 個種子點的信息來描述一個特征點。因此，當描述子采用128 維特征向量來描述特征點時，算法的整體效果可以達到最優(yōu)［8］。如圖2 所示。

圖2 特征描述子生成

1.2 特征向量匹配

特征匹配是通過特征描述算子及相似性度量來建立所提取的特征之間的對應關系。具有128 維的關鍵點描述子的相似性度量采用最近鄰特征點距離與次近鄰特征點距離之比進行匹配［12］。當參考圖像中的每個關鍵點在配準圖像中的最近距離與次近距離的比值在某一閾值內時，則認為是匹配點對［13］。

1.3 參數變換及重采樣

在圖像配準中，通常采用仿射變換來作為空間變換模型［14］。當在2 幅配準圖像中確定了3 對以上的匹配點對之后，通過空間變換模型來求解參數，在確定了變換參數之后，需要對待配準圖像進行重采樣，以便把參考圖像和帶配準圖像放在同一坐標系［15］。

2 改進后的圖像配準算法

為實現圖像的高精確與高效的配準，本文提出了一種基于Harris 檢測算子和SIFT 描述子相結合的算法提取特征點，再利用歐氏距離和仿射變換模型來實現圖像間的自動配準。實驗結果表明，利用Harris 算子提取初始特征點可以節(jié)省SIFT 尋找極值點的時間，SIFT 算子也彌補了Harris 不具備的尺度不變性，兩者相結合也增強了圖像旋轉、平移和仿射變換的魯棒性，本算法不僅能實現圖像特征點高精度的配準，還能減少提取特征點的時間，實現高效、高精度配準。算法流程圖如圖3 所示。

圖3 改進算法流程圖

首先，利用Harris 算法對圖像提取出很多感興趣的角點作為初始特征點，然后在提取出的初始角點基礎上，本文利用SIFT 算法對這些初始角點進行特征描述從而得到新的特征點，經過篩選后的特征點即為本文所需要的最終特征點，它們將用在后面的圖像特征點匹配中。在常用的SIFT 特征向量主方向的計算方法中，當特征點非常多的時候將會做大量的運算，工作效率較低。不同于SIFT 特征向量主方向的計算，本文特征向量的主方向選取為特征點在8 鄰域灰度變化最大的方向。在圖像中選取一個3×3 大小的模板，沿特征點的8鄰域方向平移，分別記錄每個方向下平移后模板內部灰度值的總和，再與該特征點處3×3 鄰域內灰度值總和進行比較，找出差別最大時對應的方向，同時沿著這個方向，對圖像進行旋轉，使旋轉后該方向與x 軸平行。當兩幅具有重疊部分時，若圖像進行剛性旋轉，此方法均能保證旋轉后圖像保持一致，也就能保證特征向量的旋轉不變性。與SIFT 描述子的主方向相比，本方法運算量大大減小，且同時能確保算法的準確性。找到主方向后，對兩幅圖像的特征點求其關鍵點的描述符，即特征向量，這里選擇類似SIFT 描述符的生成方法。

圖4 是以特征點為中心，取17×17 像素大小的鄰域，在特征點的四個鄰域方向外，我們可以把這些區(qū)域劃分為16 個子區(qū)域，利用式(5)和式(6)計算每個區(qū)域的梯度方向直方圖，在各個區(qū)域內描述出8 個方向，這樣用來描述特征點的128 維特征向量就生成了。

圖4 128 維特征向量

當對兩幅圖像中的特征點進行匹配時，本文采用歐氏距離。通過計算待配準圖像每個特征點到參考圖像中的最近與次近的比值，當小于設定的閾值時，則認為這兩個點為匹配點［12］。

3 實驗結果與分析

本文為檢測特征點的匹配精確度進行了100 對圖像的匹配，下面選定四組圖像進行實驗。實驗環(huán)境為Intel(R)2.6 GHz，內存為4.0 Gbyte，操作系統(tǒng)為Windows7，仿真平臺為MATLAB R2008a。在Harris 算子提取角點的基礎上，再利用改進的SIFT 算法對這些角點進行特征向量的描述，減少了經典SIFT 提取極值點的時間，最后求出滿足設定閾值的點為匹配點。(本實驗中，歐氏距離的閾值取0.6，Harris 算法參數k=0.04。)

3.1 圖像配準實驗

1)實驗一

為了驗證本文算法的可實行性和準確性，本文對圖5、圖6 兩組大小為256×256 的參考圖像進行旋轉和平移，結果表明改進后的算法對旋轉、平移均具有很好的魯棒性。

圖5 第一組實驗圖片

圖6 第二組實驗圖片

2)實驗二

實驗圖片選取為某海岸，圖7a 圖為參考圖像;圖7b 圖為待配準的圖像;圖7c 圖為Harris 算子提取的初始特征點圖像;圖7d 圖是改進的SIFT 算法對圖c 圖這些初始特征點進行特征向量的描述，提取出新的特征點;圖7e 為匹配圖像;圖7f 為根據仿射變換參數配準后的圖像。

圖7 第三組實驗圖片

圖8 為另一組測試圖片，實驗圖片選取在某湖泊。圖8a、圖8b 為參考和待配準的圖像;圖8c 圖為改進算法匹配圖像，圖8d 圖為根據仿射變換參數配準后的圖像。

3.2 數據分析

1)特征點匹配情況分析

根據上述幾例的結果圖，統(tǒng)計匹配點是否正確匹配的情況如表1 所示。

圖8 第四組實驗圖片

表1 圖像匹配結果

由表1 可知，4 組圖像沒有誤匹配點對。為驗證本算法匹配的精確度，本文在200 幅圖像的特征點匹配實驗中，有5幅圖像出現了特征點誤匹配或沒有可匹配特征點的情況，匹配率可達95%。大量實驗證明，本文改進的算法具有高精確度的匹配性能。

2)算法時間效率的統(tǒng)計

為檢測本文改進后的算法具有更好的實時性，本文對經典的SIFT 算法和改進的算法進行了對比，表2 列出幾組數據供參考。

表2 本文算法與經典算法對比時間 s

由于篇幅原因，本文只列出4 組圖像的數據，在對200 幅圖像進行算法驗證時，通過數據統(tǒng)計，經過改進后的SITT 算法同經典SIFT 算法相比，計算時間整體提高了47.51%。

從該結果圖可以看出，由該河流的局部區(qū)域最終拼接出了該河流很大視野范圍內的圖像，兩幅圖片的邊緣拼接處幾乎沒有縫隙，配準后的圖片基本上實現了無縫融合，完全能滿足觀察和科學研究等需求。

4 小結

在本文中，作者詳細描述了圖像配準的具體流程以及配準中常用的三種方法，著重講解了現在最為廣泛應用的通過提取特征點來進行圖像匹配的SIFT 算法。在此基礎上，本文提出了一種對傳統(tǒng)SIFT 算法改進的圖像配準算法，它結合Harris 算法與SIFT 算法，在保留各自優(yōu)點礎上也互補了各自的不足點，本文對SIFT 算法求取主方向的復雜過程進行了合理的改進，不僅縮短了算法運行時間的，而且在圖像配準的精度上也得到了提高。

［1］張銳娟.基于SURF 的圖像配準方法研究［J］.紅外與激光工程，2009，38(1):160－165.

［2］LIU Xiaojun，YANG Jie，SUN Jianwei，et al. Image registration approach based on SIFT［J］.Infrared and Laser Engineering，2008，37(1):156－160.

［3］曲天偉，安波.改進的RANSAC 算法在圖像配準中的應用［J］.計算機應用，2010，30(7):1849－1852.

［4］王宏力，賈萬波.圖像匹配算法研究綜［J］.計算機技術與應用，2008(6):17－19.

［5］CAO Jian，LI Kan. Application of local features in aerial image mosaic［J］.Journal of University of Electronic Science and Technology of China，2013，42(1):125－129.

［6］WANG Guicai，YU Junwei.An image registration algorithm based on features point and cluster［C］//Proc.International Congress on Image and Signal Processing(CISP 2012).［S.l.］:IEEE Press，2012:836－840.

［7］HARRIS C，STEPHENS M. A combined corner and edge detector［C］//Proc. Alvey Vision Conference 1988.［S.l.］:IEEE Press，1988:52－59.

［8］LOWE D G. Distinctive imgage features from scale－invariantkey point［J］.Interation Journal of Computer Vision，2004，60(2):91－110.

［9］KE Y，SUKTHANKA R.PCA－SIFT:AM or distinctive representation for local image descriptors［C］//Proc.International Conference Pattern Recognition.Washington，USA:［s.n.］，2004:36－39.

［10］DUAN C，MENG X.How to make local image features more efficient and distinctive［J］. IET Computer Vision，2008(2):178－189.

［11］BAY H，ESS A. Speeded－up Robust Features(SURF)［J］.Computer Vision and Image Understanding，2008(110):346－359.

［12］MIKOLAJCZYK K，SCHMID C. A perfomance evaluation of local descriptors［J］.IEEE Trans.Pattern AnaIysis and Machine IntelIigence，2005，27(10):1615－1630.

［13］劉輝，申海龍.一種基于改進SIFT 算法的圖像配準方法［J］.微電子學與計算機，2014，31(1):38－42.

［14］LI Han，NIU Jizhen，GUO He. Automatic seamless image mosaic method based on feature points［J］.Computer Engineering and Design，2007，28(9):2083－2085.

［15］翟優(yōu)，曾巒，王少軒.自適應對比度閾SIFT 算法研究［J］.計算機測量與控制，2011，19(11):2798－2806.