欒廣宇，黃操軍，陳爭光，曹洪軍

針對(duì)SIFT及其變體的圖像匹配性能比較

欒廣宇，黃操軍，陳爭光，曹洪軍

（黑龍江八一農(nóng)墾大學(xué)信息技術(shù)學(xué)院，大慶 163319）

由于尺度不變特征變換算法（SIFT）及其變體（PCA-SIFT、GCSIFT、SURF、ASIFT）在圖像匹配應(yīng)用的廣泛性，總結(jié)各自特點(diǎn)及比較它們性能具有實(shí)際的意義。首先系統(tǒng)地分析了SIFT及其變體，然后在尺度和旋轉(zhuǎn)變化、光照變化、模糊變化、仿射變化四種圖像情況評(píng)估了它們的性能。實(shí)驗(yàn)結(jié)果表明在尺度和旋轉(zhuǎn)變化上SIFT執(zhí)行最好；在光照和模糊變化上GCSIFT執(zhí)行最好；在仿射變化上ASIFT表現(xiàn)最好；在所有情況下PCA-SIFT性能總是第二和SURF性能最差。

特征匹配；SIFT；PCA-SIFT；GCSIFT；SURF；ASIFT

圖像匹配的目的是尋求同一場景的兩幅圖像特征之間的對(duì)應(yīng)關(guān)系。在實(shí)際應(yīng)用中，兩幅圖像之間存在著平移、尺度、旋轉(zhuǎn)、亮暗、視角等差異，這給圖像匹配算法帶來了挑戰(zhàn)性。許多國內(nèi)外研究人員都在專注圖像匹配的性能改善，并提出了各種算法[1-3]。基于特征的圖像匹配算法可分為全局特征的匹配算法和局部特征的匹配算法，并廣泛地被應(yīng)用于許多領(lǐng)域，如農(nóng)業(yè)機(jī)器人采摘、運(yùn)動(dòng)跟蹤、對(duì)象識(shí)別等。相對(duì)于全局特征匹配算法，局部特征匹配算法具有更好的穩(wěn)定性。局部特征匹配算法包括特征的檢測和描述兩部分。特征檢測應(yīng)具備高重復(fù)率特征和快速檢測，而特征描述應(yīng)具備低維數(shù)描述。1999年David G.Lowe在尺度空間理論基礎(chǔ)上提出了局部特征描述算法 SIFT （Scale invariant feature transform）[4-5]。SIFT算法主要包括關(guān)鍵點(diǎn)檢測、描述符建立、特征匹配三步驟。該算法具有良好的穩(wěn)定性和不變性，并且其局部關(guān)鍵點(diǎn)包含大量的信息。由于它的獨(dú)特優(yōu)勢，許多研究人員主要改善描述符建立和關(guān)鍵點(diǎn)檢測來提高其性能。從描述符建立角度，SIFT使用了128維向量來描述每個(gè)關(guān)鍵點(diǎn)，而這種高維度會(huì)使特征匹配速度很慢。2004年Y.Ke[6]采用主成分分析法代替SIFT中的直方圖方法。這種改進(jìn)的方法被稱為PCASIFT（Principal component analysis SIFT），該算法減少了描述關(guān)鍵點(diǎn)的維數(shù)。另外，SIFT僅考慮局部信息而忽略了全局信息。2005年E.N.Mortensen[7]提出了帶全局紋理的SIFT描述符，即GCSIFT（Global contextSIFT）。從關(guān)鍵點(diǎn)檢測角度，2006年H.Bay[8]提出了SURF（Speeded up robust features），其非常相似 SIFT但它的每步采用不同的方法，即SIFT的增強(qiáng)版。2009 年 J.M.Morel[9]提出了 ASIFT（Affine SIFT），其采用仿射變換參數(shù)。對(duì)SIFT及其最為關(guān)注的四個(gè)變體進(jìn)行了較為深入地分析。為了評(píng)估它們的性能，我們在不同的情況下進(jìn)行實(shí)驗(yàn)，比較其匹配正確率。最后我們討論了它們各自優(yōu)缺點(diǎn)。

1 SIFT及其變體

1.1 SIFT算法

對(duì)于圖像匹配，SIFT算法所提取的特征點(diǎn)具有尺度和旋轉(zhuǎn)不變性。為了實(shí)現(xiàn)尺度不變性，SIFT利用高斯差分函數(shù)作卷積，這樣就得到了不同尺度圖像：

式中 I（x，y）表示輸入圖像，G（x，y，σ）是尺度可變高斯函數(shù)，σ為尺度因子。然后，同一分辨率下相鄰圖像相減得到高斯差分金字塔。高斯差分函數(shù)是一種對(duì)高斯拉普拉斯算法的改進(jìn)：

其中k表示同一組相鄰兩層尺度值的比例系數(shù)。每個(gè)點(diǎn)與其鄰近的26個(gè)像素進(jìn)行比較，該26個(gè)像素包括同層的8個(gè)相鄰像素和上下相鄰層的9個(gè)像素。如果點(diǎn)是最小值或最大值，則該點(diǎn)的位置和尺度被保留下來。這樣，就可以得到高斯差分尺度空間的所有極值點(diǎn)及其位置。然后去掉低對(duì)比度和不穩(wěn)定的邊緣點(diǎn)，在每個(gè)局部極值點(diǎn)的尺度下，SIFT計(jì)算其鄰域的梯度模和方向：

SIFT利用梯度方向直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度信息，并將0°～360°的鄰域梯度直方圖劃分成36柱。關(guān)鍵點(diǎn)的主方向被定義為直方圖的峰值。然后，SIFT以關(guān)鍵點(diǎn)為中心選擇一個(gè)16×16區(qū)域。將這個(gè)區(qū)域劃分為4×4的子區(qū)域并求和每個(gè)子區(qū)域的梯度強(qiáng)度。SIFT利用每個(gè)子區(qū)域的8個(gè)方向產(chǎn)生一個(gè)8維向量。因此，SIFT從這16個(gè)子區(qū)域得到一個(gè)128維特征。

1.2 PCA-SIFT算法

主成分分析（PCA）是一種有效地和廣泛地被使用的數(shù)據(jù)降維技術(shù)。它利用正交變換將原始相關(guān)的隨機(jī)矢量轉(zhuǎn)化為一個(gè)不相關(guān)的新隨機(jī)矢量。PCASIFT利用PCA替代SIFT的梯度直方圖方法。它的描述過程被分為投影矩陣產(chǎn)生和描述符建立兩個(gè)子步驟。在降維的過程中，一個(gè)輸入矢量在關(guān)鍵點(diǎn)為中心的41×41鄰域里有水平和垂直兩個(gè)方向的梯度映射，可生成一個(gè)2×39×39=3 042維向量。在投影矩陣產(chǎn)生后，計(jì)算PCA-SIFT的描述符。這樣就產(chǎn)生一個(gè)新的矢量，其比SIFT的矢量小很多。

1.3 GCSIFT算法

GCSIFT將全局紋理信息引入SIFT，這樣可獲得大范圍曲率形狀信息的描述器。對(duì)于每個(gè)被檢測的關(guān)鍵點(diǎn)，建立一個(gè)向量。該向量由局部特征的SIFT描述器和全局紋理向量兩部分組成。其關(guān)鍵點(diǎn)描述子通常地為188維。該全局紋理向量用于區(qū)分相似局部特征。GCSIFT的向量數(shù)學(xué)表達(dá)式：

其中L是SIFT的128維向量，G是60維全局向量，ω是相對(duì)權(quán)重系數(shù)。相似于SIFT局部描述器的產(chǎn)生，全局紋理也由直方圖產(chǎn)生。GCSIFT需要計(jì)算每個(gè)像素的最大曲率，該最大曲率被定義為海森矩陣的最大絕對(duì)特征值。GCSIFT建立每個(gè)關(guān)鍵點(diǎn)的對(duì)數(shù)極坐標(biāo)并將一個(gè)以圖像對(duì)角線的長度為直徑的圓分成多個(gè)區(qū)域，再計(jì)算每個(gè)關(guān)鍵點(diǎn)的角度和徑向距離的離散值。這樣，就計(jì)算出一個(gè)曲率圖像。

1.4 SURF算法

SURF的基本思路類似SIFT，但SURF使用不同的方法來定位檢測和描述符生成。由于圖像數(shù)據(jù)庫中存在大量的數(shù)據(jù)，并且SIFT耗時(shí)很高，Bay提出SURF來提高極值點(diǎn)的檢測和描述效率。其使用Hessian矩陣進(jìn)行檢測，可具有一定的速度和精度的優(yōu)勢。Hessian矩陣判別局部極大值：

式中Lxx（x，σ）、Lxy（x，σ）和Lyy（x，σ）表示特征點(diǎn)在x點(diǎn)和y點(diǎn)處二階高斯偏導(dǎo)數(shù)。同時(shí)，采用一種積分圖像算法代替SIFT高斯金字塔的構(gòu)造。在描述階段SURF將每個(gè)極值點(diǎn)的鄰域劃分為多個(gè)4×4子區(qū)域，再計(jì)算每個(gè)子區(qū)域的Haar小波響應(yīng)。每個(gè)響應(yīng)都有一個(gè)4維向量。這樣，所有子區(qū)域的64維特征描述每個(gè)關(guān)鍵點(diǎn)。

1.5 ASIFT算法

SIFT對(duì)于仿射變化圖像不能執(zhí)行很好。為了改善這種情況的性能，ASIFT模擬攝像機(jī)光軸旋轉(zhuǎn)，并根據(jù)視點(diǎn)變化采用一個(gè)圖像仿射變換模型，其表達(dá)式為：

在上述的仿射模型中，假設(shè)相機(jī)是遠(yuǎn)離被測對(duì)象。從另一方面，相機(jī)的運(yùn)動(dòng)可能會(huì)導(dǎo)致被測對(duì)象的成像變形。經(jīng)度角產(chǎn)生于被測對(duì)象的法平面和相機(jī)光軸的映射平面。ASIFT增加旋轉(zhuǎn)變換的圖像，再根據(jù) x 方面上傾斜變換操作 u（x，y）→u（tx，y）得到一系列仿射圖像。通過改變一定范圍的經(jīng)度角和緯度角，可實(shí)現(xiàn)旋轉(zhuǎn)變換和傾斜變換。然后，ASIFT檢測關(guān)鍵點(diǎn)，并建立仿射圖像描述。在匹配階段，對(duì)比SIFT，ASIFT不僅檢測更多的特征點(diǎn)而且也有相對(duì)較少的誤匹配點(diǎn)。

2 實(shí)驗(yàn)結(jié)果與分析

為了測試 SIFT、PCA-SIFT、GCSIFT、SURF、ASIFT五種算法的性能，針對(duì)尺度和旋轉(zhuǎn)變化、光照變化、模糊變化、仿射變化四種圖像情況，采用Mikolajczyk數(shù)據(jù)庫（http：//www.robots.ox.ac.uk/～vgg/data/data-aff.html）。

2.1 尺度和旋轉(zhuǎn)不變性的比較

第一組實(shí)驗(yàn)對(duì)象是“Boat”的6幅圖像，該組圖像給出6幅不同尺度和旋轉(zhuǎn)的圖像。圖1（a）、（b）給出了“Boat”的第1幅和第6幅圖像。實(shí)驗(yàn)進(jìn)行第1幅圖像與其他各幅圖像匹配。圖1（c）給出了第1幅與其他5幅之間五種算法的匹配正確率。從圖1（c）可知，PCA-SIFT、SIFT在第 2、3幅上具有相同的性能，PCA-SIFT在第6幅上執(zhí)行最好，SIFT保持基本一致。而GCSIFT和ASIFT具有較低的匹配率，ASIFT的匹配正確率對(duì)于第6幅是最低的。SURF的匹配結(jié)果基本上是最差的。

圖1 尺度和旋轉(zhuǎn)“Boat”數(shù)據(jù)的匹配對(duì)比實(shí)驗(yàn)（a）第1幅圖像（b）第6幅圖像（c）第1幅與其他5幅之間五種算法的匹配正確率Fig.1 Matching experiment of“Boat” data under scale and rotation variance（a） the first image（b） the sixth image（c）the matching correct rate of the five algorithms between the first image and the other five images respectively

2.2 光照不變性的比較

第二組實(shí)驗(yàn)對(duì)象是“Leuven”的圖像，Mikolajczyk數(shù)據(jù)庫的“Leuven”圖像是以第3幅圖像為原始圖像，并用該幅圖像通過增加和減少亮度產(chǎn)生8幅不同的亮度圖像。 圖 2（a）、（b）給出了“Leuven”原始圖像的亮度增加圖像（+50）和亮度減少圖像（-50）。 圖 2（c）給出了原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率。從圖2（c）可知，這五種算法的結(jié)果在無亮度變化時(shí)是最好的，并且他們的結(jié)果隨著亮度增加和減少呈下降趨勢。GCSIFT、PCA-SIFT、SIFT的匹配結(jié)果很相似。ASIFT和SURF執(zhí)行得都不好。

2.3 模糊不變性的比較

第三組實(shí)驗(yàn)對(duì)象是“Bike”的圖像，Mikolajczyk數(shù)據(jù)庫的“Bike”圖像是以第1幅圖像為原始圖像，并用該幅圖像通過模糊半徑產(chǎn)生8幅不同的模糊圖像。圖 3（a）、（b）給出了“Bike”的原始圖像和第 8 幅模糊圖像。實(shí)驗(yàn)進(jìn)行原始圖像與其產(chǎn)生的8幅圖像匹配。圖3（c）給出了原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率。從圖3（c）可知，這五種算法的結(jié)果基本上都呈現(xiàn)下降趨勢。GCSIFT、PCA-SIFT具有相當(dāng)?shù)男阅堋URF的匹配率始終是最差的。

圖2 光照“Leuven”數(shù)據(jù)的匹配對(duì)比實(shí)驗(yàn)（a）原始圖像的亮度增加圖像（+50）（b）原始圖像的亮度減少圖像（-50）（c）原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率Fig.2 Matching experiment of“Leuven” data under illumination variance（a） the illumination image increasing 50 brightness intensity from the original image（b） the illumination image decreasing 50 brightness intensity from the original image（c）the matching correct rate of the five algorithms between the original image and the 8 generated images respectively

圖3 模糊“Bike”數(shù)據(jù)的匹配對(duì)比實(shí)驗(yàn)（a）原始圖像（b）第8幅模糊圖像（c）原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率Fig.3 Matching experiment of“Bike” data under blur variance（a） the original image（b） the eighth generated blur image（c）the matching correct rate of the five algorithms between the original image and the 8 generated images respectively

2.4 仿射不變性的比較

第四組實(shí)驗(yàn)對(duì)象是“Graffiti”的圖像，該組圖像給出 6 幅不同仿射的圖像。 圖 4（a）、（b）給出了“Graffiti”的第1幅圖像和第6幅圖像。圖4（c）給出了第1幅與其他5幅之間每種算法的匹配正確率。從圖4（c）可知，ASIFT的匹配正確率在各個(gè)角度都是最好的， 接著是 PCA-SIFT和 SIFT。SIFT、PCA-SIFT、GCSIFT、ASIFT對(duì)于小于30度的視點(diǎn)角度變化都能執(zhí)行很好，而且隨著角度變化的增大，它們的性能開始下降。對(duì)于小于40度的視點(diǎn)角度變化SURF是最差的，而對(duì)于大于50度的視點(diǎn)角度變化SURF比SIFT、PCA-SIFT、GCSIFT 都好。

圖4 仿射“Graffiti”數(shù)據(jù)的匹配對(duì)比實(shí)驗(yàn)（a）第1幅圖像（b）第6幅圖像（c）第1幅與其他5幅之間每種算法的匹配正確率Fig.4 Matching experiment of“Graffiti”data under affine variance（a） the first image（b） the sixth image（c）the matching correct rate of the five algorithms between the first image and the other five images respectively

3 結(jié)論

系統(tǒng)地分析了基于尺度空間的圖像局部特征五種算法：SIFT、PCA-SIFT、GCSIFT、SURF、ASIFT。在不同的實(shí)驗(yàn)情況下評(píng)估了它們的性能：SIFT在尺度和旋轉(zhuǎn)變化上表現(xiàn)最好，GCSIFT在光照和模糊變化上表現(xiàn)最好，ASIFT在仿射變化上表現(xiàn)最好，PCA-SIFT在所有情況下性能總是第二和SURF在所有情況下性能最差，從而可用于選擇不同情況的最佳算法。

［1］ 白廷柱，侯喜報(bào).基于SITF算子的圖像匹配算法研究［J］.北京理工大學(xué)學(xué)報(bào)，2013，33（6）：622-627.

［2］ 袁修孝，陳時(shí)雨，張勇.利用PCA-SIFT進(jìn)行特殊紋理航攝影像匹配［J］.武漢大學(xué)學(xué)報(bào)，2016，41（9）：1137-1144.

［3］ 朱煥，馬文靜，盛永生，等.多尺度各向異性小波收縮圖像分割算法在玉米病斑特征提取時(shí)的應(yīng)用［J］.黑龍江八一農(nóng)墾大學(xué)學(xué)報(bào)，2016，28（2）：136-140.

［4］ Lowe DG.Object recognition from local scale invariant features［C］//In Proceedings of the 7th IEEE International Conference on Computer Vision，1999，IEEE，2：1150-1157.

［5］ Lowe DG.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［6］ Ke Y，Sukthankar R.PCA-SIFT：A more distinctive representation for local image descriptors［C］//In Computer Vision and Pattern Recognition（CVPR 2004），2004，IEEE，2：506-513.

［7］ Mortensen EN，Deng H，Shapiro L.A SIFT descriptor with global context ［C］//In ComputerVision and Pattern Recognition（CVPR 2005），2005，IEEE，1：184-190.

［8］ Bay H，Tuytelaars T，Gool LV.SURF：Speeded up robust features［C］//In Computer Vision-ECCV 2006：9th European Conference on Computer Vision，2006，Springer，Part II：404-417.

［9］ Morel J M，Yu G.ASIFT：A new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2015（2）：438-469.

Performance Comparison of SIFT and its Variants for Image Matching

Luan Guangyu，Huang Caojun，Chen Zhengguang，Cao Hongjun
（Heilongjiang Bayi Agricultural University，Daqing 163319）

Due to strong ability of SIFT and its variants （PCA-SIFT，GCSIFT，SURF and ASIFT） for image matching，that summarizing their characteristics and comparing their performance is meaningful.This paper first systematically analyzes SIFT and its variants.Then，it evaluates their performance of the five algorithms in different situations that are scale and rotation change，illumination change，blur change and affine change.The experimental results show SIFT performs the best under scale and rotation change，GCSIFT performs the best under illumination change and blur change，ASIFT performs the best under affine change，PCASIFT is always the second and SURF performs the worst in different situations.

feature matching;SIFT;PCA-SIFT;GCSIFT;SURF;ASIFT

TP391

A

1002-2090（2017）05-0106-05

10.3969/j.issn.1002-2090.2017.05.025

2016-11-26

黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目（12541584）。

欒廣宇（1978-），女，講師，哈爾濱工業(yè)大學(xué)畢業(yè)，現(xiàn)主要從事電氣工程、圖像處理、自動(dòng)化檢測等方面的教學(xué)與研究工作。