胡亨伍

（廣東醫(yī)科大學(xué)信息工程學(xué)院，廣東東莞　523808）

基于SIFT算法改進(jìn)的圖像匹配算法研究與設(shè)計(jì)

胡亨伍

（廣東醫(yī)科大學(xué)信息工程學(xué)院，廣東東莞523808）

圖像匹配是指將2個(gè)不同場景的目標(biāo)或者背景進(jìn)行匹配的一個(gè)過程，是實(shí)現(xiàn)復(fù)雜的智能圖像處理的基礎(chǔ)，圖像匹配算法的準(zhǔn)確性及效率直接關(guān)系到整個(gè)圖像處理系統(tǒng)的性能。特征點(diǎn)提取作為圖像匹配的一個(gè)關(guān)鍵，是實(shí)現(xiàn)圖像精準(zhǔn)快速匹配的前提，本文以目前應(yīng)用最為廣泛的，魯棒性最好的SIFT特征點(diǎn)提取算法為基礎(chǔ)，對其進(jìn)行了改進(jìn)，結(jié)合Harris算法有效地降低了圖像匹配過程中的特征點(diǎn)提取時(shí)間，通過實(shí)驗(yàn)驗(yàn)證，該方法可以有效地提升圖像匹配的準(zhǔn)確性和效率。

SIFT；圖像匹配；特征點(diǎn)提??；圖像處理

0　引 言

圖像匹配作為實(shí)現(xiàn)復(fù)雜的圖像處理和視頻處理的前提，是未來機(jī)器視覺處理技術(shù)發(fā)展的基礎(chǔ)，在智能視頻監(jiān)控、機(jī)器人視覺、醫(yī)療手術(shù)、遙感測繪等領(lǐng)域有著非常廣泛的應(yīng)用，如何提高圖像匹配速度和準(zhǔn)確性將直接關(guān)系到整個(gè)機(jī)器視覺處理系統(tǒng)的效率和性能［1-3］。

目前，常用的圖像匹配算法可以分為基于區(qū)域的圖像匹配算法和基于特征點(diǎn)的圖像匹配算法，其中基于區(qū)域的圖像匹配算法由于計(jì)算復(fù)雜、效率低，往往不具備實(shí)用性［4］。而相對于區(qū)域匹配算法，基于特征點(diǎn)的圖像匹配算法在處理過程中只需要對圖像中的特征點(diǎn)進(jìn)行處理和分析，因此極大地降低了圖像匹配過程中的處理時(shí)間，計(jì)算時(shí)間復(fù)雜度極低，并且具有較高的匹配精度和可靠性，成為了目前應(yīng)用最為廣泛的圖像匹配算法［5］。在基于特征點(diǎn)的圖像匹配處理過程中，通常包括特征點(diǎn)檢測、特征匹配、變換模型估計(jì)和圖像重采樣及變換等功能操作。具體地，特征點(diǎn)檢測和匹配即是整個(gè)基于特征點(diǎn)的圖像匹配的關(guān)鍵，而且又是圖像匹配技術(shù)的應(yīng)用前提，同時(shí)也已然成為當(dāng)今圖像處理技術(shù)領(lǐng)域的研究熱點(diǎn)之一［6］。SIFT算法作為目前公認(rèn)的最為理想的、普適性特征點(diǎn)提取算法，由其檢測的特征點(diǎn)具有旋轉(zhuǎn)、尺度、反射和光照等不變性，而且表現(xiàn)出極強(qiáng)的魯棒性。但是該算法的時(shí)間復(fù)雜度卻頗高，隨著對智能視頻處理速度的顯著提升，使得強(qiáng)化完善SIFT算法的實(shí)時(shí)性和精準(zhǔn)性，即已成為未來SIFT算法在復(fù)雜的圖像處理系統(tǒng)中進(jìn)一步拓展應(yīng)用的研究攻關(guān)重點(diǎn)［7］。雖然目前國內(nèi)外相關(guān)專家和機(jī)構(gòu)都已根據(jù)自己的需求針對SIFT算法實(shí)施了一定的改進(jìn)，如哈佛大學(xué)Ke等人提出的一種PCA-Sift算法通過降維技術(shù)有效地降低了SIFT算法的時(shí)間復(fù)雜度，但是同時(shí)也降低了角點(diǎn)檢測精度，李曉明等人提出的改進(jìn)的SIFT算法，主要根據(jù)遙感圖像的處理特點(diǎn)進(jìn)行提速，只是在遙感圖像處理方面取得了較好的效果，但不適合其他圖像處理，并且又降低了算法魯棒性［8］。劉佳等人［3］用32維特征點(diǎn)描述向量，再運(yùn)用歐式距離確定匹配點(diǎn)剔除誤匹配點(diǎn)，提高了匹配正確率。劉輝等人［9］用Canny算子去除邊緣點(diǎn)的影響，并配合以RANSAC方法消除誤匹配，改進(jìn)SIFT算法。馮政壽等人［10］用Harris算子結(jié)合張春美等人［11］的改進(jìn)算法，以降低算法復(fù)雜度。綜上可知，從目前圖像處理技術(shù)相關(guān)應(yīng)用領(lǐng)域?qū)D像匹配處理的需求，以及已有的SIFT算法研究來看，在保證SIFT算法精度、魯棒性的同時(shí)、優(yōu)化提升基于SIFT算法的圖像匹配速度則是今后圖像匹配處理中亟需解決的核心焦點(diǎn)課題之一［12-13］。

結(jié)合這一背景需求，本文以SIFT特征點(diǎn)提取算法為基礎(chǔ)，對其加入了合理改進(jìn)，并基于Harris算法［14］提出了一種改進(jìn)的SIFT算法以在確保sift算法魯棒性和精度的同時(shí)提升其處理效率，對獲得可觀圖像處理系統(tǒng)性能具有非常重要的現(xiàn)實(shí)意義。

1　相關(guān)理論基礎(chǔ)

1.1Harris算子

Harris算子是基于Morave算法的演化推理而來，其在圖像匹配過程中的角點(diǎn)特征提取方面具有優(yōu)秀強(qiáng)大的效率優(yōu)勢［15］。該算法中，角點(diǎn)檢測的計(jì)算數(shù)學(xué)模型如式（1）所示：

式中，w（x，y）為高斯平滑因子，E表示在像素點(diǎn)（x，y）的地方移動(dòng)一個(gè)（u，v）的窗口的亮度變化值，也就是與此像素點(diǎn)對應(yīng)的一個(gè)梯度值，究其實(shí)質(zhì)就是利用了圖像二維信號的自相關(guān)的特點(diǎn)［16］，并根據(jù)式（1）的原理，采用泰勒公式對其進(jìn)行展開，同時(shí)忽略展開后的高階項(xiàng)，就可以得到如下簡化后的處理模型：

式中，Ix和Iy分別代表像素點(diǎn)（x，y）在水平方向和豎直方向的求導(dǎo)結(jié)果，根據(jù)泰勒公式展開后的簡化模型可以看出，在該模型中每個(gè)像素點(diǎn)都有一個(gè)與之相對應(yīng)的四元矩陣M，通過該矩陣就可以計(jì)算得到該像素點(diǎn)的相關(guān)的梯度信息。

基于上述簡化后的數(shù)學(xué)模型，定義M的特征值為λ1和λ2，那么根據(jù)這2個(gè)特征值就可以得到相關(guān)的像素點(diǎn)的變化量，同時(shí)再通過定義相關(guān)的閾值，就可以根據(jù)特征值的大小對像素點(diǎn)進(jìn)行分區(qū)，如果λ1和λ2都較小則判定其為平坦區(qū)域，一個(gè)較大、一個(gè)較小即確定其為邊緣區(qū)域的像素點(diǎn)，否則可斷定該點(diǎn)為角點(diǎn)，基于這一原理，就可以從圖像中快速提取出相應(yīng)的角點(diǎn)，具體計(jì)算模型如下：

式中，det表示矩陣M的行列式，trace為矩陣M的跡，k為系數(shù)，其取值通常設(shè)置在0.04～0.2之間，綜上就是Harris算子提取角點(diǎn)特征的基本原理。相對于SIFT算子，Harris算子對角點(diǎn)的檢測效率極高、檢測的角點(diǎn)特征分布均勻，并且可以實(shí)現(xiàn)對角點(diǎn)特征的定量提取，但是抗噪能力卻會(huì)略差，而且也容易受到干擾。

1.2SIFT算子

SIFT算法作為目前圖像處理領(lǐng)域公推的一種性能較好的算法，其檢測精度和魯棒性極強(qiáng)?；赟IFT算法的特征點(diǎn)檢測是建立在多尺度分析理論基礎(chǔ)之上，在應(yīng)用SIFT進(jìn)行特征點(diǎn)檢測過程中，首先需要根據(jù)圖像生成相應(yīng)的參考圖像和待匹配的圖像的多尺度空間，在多尺度空間生成之后，再將不同尺度下的圖像被檢測出的局部極值點(diǎn)設(shè)置為后續(xù)進(jìn)一步檢測的候選特征點(diǎn)，同時(shí)通過提出低對比度和邊緣相應(yīng)點(diǎn)對該候選集合施行進(jìn)一步的優(yōu)化，其中在對特征點(diǎn)進(jìn)行描述的過程中主要是計(jì)算出每個(gè)角點(diǎn)的主方向，而后就以角點(diǎn)為中心的圓形鄰域?yàn)榛A(chǔ)進(jìn)行直方圖統(tǒng)計(jì)，并根據(jù)直方圖統(tǒng)計(jì)結(jié)果生成相應(yīng)的特征描述因子，此后計(jì)算特征描述因子的距離，與預(yù)先設(shè)置的閾值進(jìn)行比較，再次對候選集合加以進(jìn)一步優(yōu)化，最終確定候選匹配點(diǎn)，從而建立整合有匹配圖像和參考圖像的空間映射。

該過程中，多尺度空間的建立原理主要是構(gòu)建一個(gè)高斯金字塔和高斯差分金字塔模型，具體如圖1所示。

圖1　圖像的多尺度空間Fig.1 Multi scale space of image

在尺度空間上進(jìn)行局部極值點(diǎn)檢測，將其加入到候選特征點(diǎn)點(diǎn)集合中，研究實(shí)現(xiàn)示意圖如圖2所示。

圖2　尺度空間的極值檢測示意圖Fig.2 The sketch map of the extreme value detection of scale space

在SIFT算子中的特征描述重點(diǎn)是通過計(jì)算像素點(diǎn)（x，y）的梯度模值以及指示方向來提供定義的，其數(shù)學(xué)模型如下：

式中，L（x，y）為像素點(diǎn)（x，y）的尺度函數(shù)，m（x，y）為梯度模值，θ（x，y）為方向。

基于上述模型，在匹配的過程中就可以通過計(jì)算以特征點(diǎn)為中心的鄰域的直方圖，得到梯度方向的直方圖，并且利用一個(gè)標(biāo)準(zhǔn)差σ為1.5L（x，y）的高斯噪聲對梯度方向的直方圖進(jìn)行加權(quán)，如此處理后的像素點(diǎn)即已賦予了位置、尺度和方向3個(gè)信息；利用這些特征信息構(gòu)建一個(gè)特征描述符，從而最大程度地保證其在光照變化、旋轉(zhuǎn)幅度和比例縮放過程中能夠保持不變性，最終實(shí)現(xiàn)具有極強(qiáng)魯棒性的圖像匹配。

論述至此，給出了就是基于SIFT算子進(jìn)行圖像精準(zhǔn)匹配的完整過程，分析研究該過程發(fā)現(xiàn)，由于在SIFT算子中，設(shè)定特征是通過一個(gè)二維方向直方圖來進(jìn)行描述，獲得了突出的刻畫效果，但是處理過程也將趨于復(fù)雜，時(shí)間復(fù)雜度較高。

2　基于改進(jìn)SIFT算法的圖像匹配算法

2.1圖像匹配算法基本原理

綜合上述對SIFT算法基本原理的展開分析，可以得到利用SIFT算法進(jìn)行圖像匹配的基本流程如圖3所示。由圖3可知，整個(gè)圖像匹配包括特征點(diǎn)提取、特征點(diǎn)匹配、變換模型估計(jì)和圖像重采樣與變換4個(gè)過程。具體地，在特征點(diǎn)提取的過程中主要是建立多尺度空間（即高斯金字塔和高斯差分金字塔）和進(jìn)行尺度空間的極值點(diǎn)檢測；特征點(diǎn)匹配主要是利用BBF算法進(jìn)行像素點(diǎn)搜索，同時(shí)構(gòu)建出特征點(diǎn)之間的歐式距離關(guān)系模型，再通過設(shè)置閾值來判定參照比較而確定候選匹配特征點(diǎn)集合，并利用Opencv提供的RANSAC算法對特征點(diǎn)集合完成進(jìn)一步優(yōu)化，得到精確的特征點(diǎn)集合，實(shí)現(xiàn)精準(zhǔn)匹配；變換模型的估計(jì)過程主要是利用變換模型來描述匹配圖像和待匹配圖像之間的變換關(guān)系，并且計(jì)算出相關(guān)的模型參數(shù)；圖像重采樣與變換主要是采用插值算法對變換后的圖形進(jìn)行插值，最終完成2個(gè)圖像的精準(zhǔn)匹配。

圖3　圖像匹配算法基本原理Fig.3 The basic principle of image matching algorith

2.2SIFT算法的改進(jìn)

結(jié)合前文對Harris算法的原理分析，其在角點(diǎn)特征檢測上相對于SIFT算法具有明顯優(yōu)勢，在算法結(jié)果上表現(xiàn)出更好的實(shí)時(shí)性和更高的算法效率。因此在改進(jìn)SIFT算法中，本文采用Harris算法進(jìn)行角點(diǎn)提取，也就是將SIFT算法的角點(diǎn)提取使用Harris算法實(shí)現(xiàn)。同時(shí)，為了有效提升SIFT算法的效率，本文重點(diǎn)采用了主成分分析方法對其進(jìn)行數(shù)學(xué)降維處理，就是在SIFT處理過程中找出一些綜合變量來替代原來的復(fù)雜變量，限制前提是保持彼此之間的數(shù)學(xué)關(guān)系和變換關(guān)系恒定不變；處理過程中主要是利用仿射變換模型來近似地建立了SIFT匹配過程中的圖像變換表示，同時(shí)利用RANSAC算法進(jìn)行誤匹配點(diǎn)檢測和提取，深度提升其匹配精度，使得改進(jìn)后的SIFT算法可以在獲得較高匹配精度的同時(shí)，又極大地提高算法的效率。改進(jìn)后的SIFT算法的實(shí)現(xiàn)流程如圖4所示。

圖4　改進(jìn)后的SIFT算法的流程圖Fig.4 The flow chart of the improved SIFT algorithm

3　實(shí)驗(yàn)結(jié)果及分析

基于前文改進(jìn)的SIFT算法和未改進(jìn)的SIFT算法的原理，研究中采用opecv2.0開發(fā)庫構(gòu)建圖像匹配系統(tǒng)，對本文設(shè)計(jì)提出的算法進(jìn)行測試，測試結(jié)果如圖5所示。通過圖5可以看出，改進(jìn)后的SIFT匹配算法得到的結(jié)果與原算法結(jié)果保持一致。同時(shí)仿真結(jié)果指出，改進(jìn)后的算法得到的匹配特征點(diǎn)為218個(gè)，而原算法為421個(gè)，匹配的特征點(diǎn)雖然減少，但是匹配的特征點(diǎn)卻更加均勻精確，如此即使得匹配時(shí)間大大降低：改進(jìn)后的算法匹配時(shí)間提升了42 ms，只需要12 ms就能快速地實(shí)現(xiàn)匹配。

圖5　改進(jìn)后算法匹配與原算法匹配實(shí)驗(yàn)結(jié)果對比Fig.5 The comparison of the experimental results of the algorithm matching

為了完善研究結(jié)論，文中繼而設(shè)計(jì)給出了基于改進(jìn)后算法而獲得的圖像拼接效果，如圖6所示?？梢钥闯?，改進(jìn)后的算法在提高效率的同時(shí)，也可以保持較高的匹配精度和準(zhǔn)確性。

圖6　基于改進(jìn)后的SIFT算法實(shí)現(xiàn)的圖像拼接效果Fig.6 The effect of image stitching based on the improved SIFT algorithm

4　結(jié)束語

本文針對目前常用的SIFT圖像匹配算法中時(shí)間復(fù)雜度較高，處理效率較低的問題，對其提出了實(shí)用性改進(jìn)，通過在SIFT算法的角點(diǎn)檢測過程中采用Harris算法來替代傳統(tǒng)的SIFT算法角點(diǎn)檢測提高其處理效率，同時(shí)在匹配過程中利用RANSAC算法進(jìn)行誤匹配點(diǎn)檢測和提取，進(jìn)一步提升其匹配精度，使得改進(jìn)后的SIFT算法可以在保持較高匹配精度的同時(shí)，又極大地提升了算法的效率。研究最后通過實(shí)驗(yàn)仿真驗(yàn)證了本文提出改進(jìn)SIFT算法的可行性。本文研究成果對推動(dòng)圖像匹配技術(shù)的優(yōu)勢發(fā)展和應(yīng)用具備重大的現(xiàn)實(shí)意義及價(jià)值。

［1］王民，劉偉光.基于改進(jìn)SIFT特征的雙目圖像匹配算法［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49（2）：203-206.

［2］胡海青，譚建龍，朱亞濤，等.改進(jìn)SIFT算法在文字圖像匹配中的應(yīng)用［J］.計(jì)算機(jī)工程，2013，39（1）：239-243.

［3］劉佳，傅衛(wèi)平，王雯，等.基于改進(jìn)SIFT算法的圖像匹配［J］.儀器儀表學(xué)報(bào)，2013，34（5）：1107-1112.

［4］趙博毅，張科.一種基于改進(jìn)SIFT算法的SAR圖像匹配方法研究［J］.計(jì)算機(jī)與現(xiàn)代化，2013（6）：108-112，115.

［5］丁雄飛，張春燕.基于Moravec算子和改進(jìn)的SIFT算法的圖像匹配［J］.合肥學(xué)院學(xué)報(bào)（自然科學(xué)版），2013，23（3）：40-42.

［6］汪松.基于SIFT算法的圖像匹配方法研究［D］.西安：西安電子科技大學(xué)，2013.

［7］李耀云.基于SIFT算法的雙目立體視覺定位研究［D］.太原：太原理工大學(xué)，2013.

［8］沈元.基于改進(jìn)的SIFT算法圖像匹配的研究［D］.天津：河北工業(yè)大學(xué)，2014.

［9］劉輝，申海龍.一種基于改進(jìn)SIFT算法的圖像配準(zhǔn)方法［J］.微電子學(xué)與計(jì)算機(jī)，2014，31（1）：38-42.

［10］馮政壽，王美清.基于Harris與改進(jìn)SIFT算法的圖像匹配算法［J］.福州大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，40（2）：176-180.

［11］張春美，龔志輝，孫雷.改進(jìn)SIFT特征在圖像匹配中的應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（2）：95-97.

［12］潘子昂.基于SIFT算法的圖像匹配研究［D］.西安：西安電子科技大學(xué)，2012.

［13］戴金波.基于視覺信息的圖像特征提取算法研究［D］.長春：吉林大學(xué)，2013.

［14］HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proceedings of the 4thAlvey Vision Conference.Manchester：Organising Committee AVC，1988：147-151.

［15］禹鐵夫.基于局部圖像內(nèi)容的特征匹配算法研究與改進(jìn)［D］.沈陽：沈陽工業(yè)大學(xué)，2015.

［16］隋文秀.改進(jìn)的SIFT算法在圖像檢索方面的應(yīng)用［D］.吉林：東北電力大學(xué)，2015.

Research and design of the improved image matching algorithm based on SIFT algorithm

HU Hengwu
（School of Information Engineering，Guangdong Medical University，Dongguan Guangdong 523808，China）

The image matching refers to two different scenarios targets or the process to match the background，which is the basis of realizing intelligent and complex image processing.Its accuracy and efficiency of image matching algorithm are directly related to the performance of the entire image processing system.As the key of image matching，feature point extraction is the precondition to achieve fast and accurate image matching.So far，SIFT feature extraction algorithm has the most extensive application and the best robustness. Based on this SIFT algorithm，this paper combines with Harris，and effectively reduces the feature point extraction time of the image matching process.Experiment results demonstrate that the method can effectively improve the accuracy and efficiency of image matching.

SIFT；image matching；feature point extraction；image processing

TP391

A

2095-2163（2016）03-0113-04

2016-04-26

胡亨伍（1982-），男，碩士，實(shí)驗(yàn)師，主要研究方向：圖像處理、信息技術(shù)、實(shí)驗(yàn)管理技術(shù)。