白亞茜,劉著平,凌建國
?
基于紋理特征的SIFT算法改進
白亞茜1,3,劉著平2,凌建國1
(1.北京遙感設備研究所,北京 100854;2.中國航天科工集團,北京 100048;3.中國航天科工集團第二研究院,北京 100854)
針對SIFT(Scale Invariant Feature Transform)算法中使用固定對比度閾值提出了改進方法。當紅外圖像紋理特征不明顯時,算法所能提取的特征點數(shù)量會大量減少,影響后續(xù)利用特征點進行如圖像匹配、目標識別等處理。而人工改變對比度閾值具有局限性,不適用于很多場合。因此提出了一種基于紋理特征的自適應對比度閾值的SIFT算法。所使用的紋理特征提取方法是灰度共生矩陣,鑒于灰度共生矩陣并不能直接應用的特點,因此提取了特征參數(shù)。在圖像紋理的特征參數(shù)如角二階矩較大時,調(diào)低對比度閾值,使得特征點數(shù)量得以提高。此算法經(jīng)驗證表明能夠在圖像紋理特征不明顯的情況下依然提取出大量的SIFT特征點。
紋理特征;SIFT;自適應對比度閾值;灰度共生矩陣
SIFT算法自從1999年由Lowe提出,并于2004年進行完善總結(jié)后,一直受到廣泛的關(guān)注。相對于其他圖像特征算法,SIFT算法具有很多的優(yōu)點[1-3]。經(jīng)由SIFT特征提取法得到的特征點具有良好的旋轉(zhuǎn)不變性、尺度不變性、對光照和視角變化具有較好的魯棒性。但其缺點也較為明顯,由于其固定對比度閾值的設置,并不適合于所有的紅外圖像。在實際應用中,取得的圖像會因?qū)嶋H環(huán)境的影響而具有不同的特點。對于背景變化不明顯的環(huán)境,其所得圖像的紋理特征必然不明顯,即圖像灰度變化不明顯,圖像對比度低。此時,如果繼續(xù)使用固定對比度閾值,那么所得到的SIFT特征點將是非常有限的。如果對圖像進行增強,也可以提取到相應的SIFT特征點,但是這樣會損壞圖像的細節(jié)信息。本文提出了一種基于紋理特征的SIFT算法,該算法可以根據(jù)圖像的具體紋理特征來改變對比度閾值,使得圖像灰度變化不明顯時仍能有效提取SIFT特征點。
SIFT特征提取算法[4-5]主要分為4個步驟:
1)構(gòu)建尺度空間
高斯差分尺度空間(,,)是兩個尺度因子成比例變化的尺度空間相減構(gòu)成的,Lowe提出高斯差分尺度空間的概念是為了能在尺度空間里檢測出有效的極值點:
(,,)=[(,,)-(,,)]×(,)
=(,,)-(,,) (1)
原始圖像與高斯函數(shù)進行卷積計算,得到高斯尺度空間,共計O階(octave),每一階有+3層(scale)。每一階的高斯尺度空間相減即得到高斯差分尺度空間,共計O階,每一階有+2層。這樣,就能在高斯差分尺度空間的層上檢測候選特征點。這些高斯函數(shù)的尺度因子以倍遞增。至此,尺度空間構(gòu)建完成。
2)檢測極值點
極值點的確定需要通過比較高斯差分尺度空間的層中每個采樣點與它同尺度的8個相鄰點與上下相鄰尺度對應的9×2個點共計26個點即可得到。但這些點只能稱為候選特征點,其中的低對比度以及處于邊緣的點都屬于不穩(wěn)定的點,極易受到噪聲的影響,需要剔除。因此設定了對比度閾值以及曲率閾值,分別濾除低對比度的點以及邊緣點。
3)確定關(guān)鍵點的方向
關(guān)鍵點描述子轉(zhuǎn)為由方向來描述,因此保證了圖像的旋轉(zhuǎn)不變性。對于每一個關(guān)鍵點(,)的梯度模值和方向的計算公式如下:
采用直方圖統(tǒng)計法統(tǒng)計關(guān)鍵點鄰域的梯度值,鄰域點對梯度的貢獻度隨著與關(guān)鍵點的距離增加成高斯函數(shù)遞減,直方圖的峰值即為關(guān)鍵點的主方向。至此,關(guān)鍵點方向確定完成。
4)生成特征點描述子
取特征點周圍16×16個像素的窗口,將此窗口均勻分為16個4×4的子區(qū)域。計算每個子區(qū)域8個方向的梯度直方圖,即可得到4×4×8共128維的特征向量,再對特征向量進行歸一化,即得到特征點描述子。
紋理是圖像的一個重要特征,而且不同物體的紋理特征區(qū)分較明顯,是圖像分析的一種常用工具。分析圖像紋理有很多種方法,其中的統(tǒng)計分析方法是基礎。而灰度共生矩陣分析法是其中應用較為廣泛的一種方法。
灰度共生矩陣并不能直接用于描述圖像的紋理特征,需要用一些特征參數(shù)來顯示它所反映的紋理特征[8-9]。在灰度共生矩陣歸一化的基礎上,一般常采用角二階矩(能量)、熵、對比度、相關(guān)性等4個特征參數(shù)來提取圖像的紋理特征。
本文目的在于增加紅外圖像所能夠提取的SIFT特征點數(shù)量,因此選取了某紅外傳感器所采集的3種不同背景下的紅外圖像數(shù)據(jù)來進行分析,其中包括農(nóng)田背景,灘涂背景,樹木背景。計算了3種圖像序列的灰度共生矩陣及其4種特征參數(shù),每一種都計算了4個方向。然后將這些參數(shù)與圖像所提取到的特征點進行了研究。經(jīng)分析發(fā)現(xiàn),這些特征參數(shù)與特征點關(guān)系密切,或為正相關(guān)或為負相關(guān)。其中呈現(xiàn)最佳線形關(guān)系的是角二階矩。
角二階矩(angular second moment)的計算公式為:
角二階矩是灰度共生矩陣各元素的平方和,也稱為能量。反映的是圖像灰度分布的均勻性,微紋理的角二階矩較小,宏紋理的角二階矩較大。
SIFT特征提取算法使用的是固定的對比度閾值,利用尺度空間函數(shù)的泰勒展開式:
所以當要處理的圖像背景紋理特征不清晰時,意味著圖像的對比度也低,剔除掉的點將非常多,將難以提取到足夠數(shù)量的特征點。因此需要根據(jù)圖像具體的紋理特征來改變對比度閾值。
而經(jīng)驗表明一個分辨率為256×256的圖像所能提取到的特征點大約為1000個,此時的角二階矩范圍約為[0.016 0.022]。不同方向不同圖像的角二階矩值均不相同,但大體類似。
圖1說明的是由圖像的4個不同方向的灰度共生矩陣統(tǒng)計得到的角二階矩與圖像特征點數(shù)量的關(guān)系圖。為了使圖像的特征點數(shù)量能夠在不犧牲圖像質(zhì)量的前提下增加,需要改變SIFT算法的對比度閾值CONth:
此處的ASM使用的是4個方向的平均值。至此,基于紋理特征的自適應對比度閾值SIFT算法完成。
為了檢驗算法的可行性與適應性,本文在Windows XP系統(tǒng)上,采用MATLAB 7.0軟件平臺對農(nóng)田背景、灘涂背景、樹木背景的紅外圖像進行了仿真驗證。農(nóng)田背景的紅外圖像中各田地塊中間的界限較為明顯,但是田地內(nèi)部的紋理信息很少。灘涂背景的紅外圖像中灘涂里的紋理信息時而多時而少,具有隨機性,樹木背景的紅外圖像中樹葉以及草坪的紋理信息較為豐富,因此選用這3種比較有代表性的紅外圖像作為實驗數(shù)據(jù)。由于紅外圖像灰度細節(jié)不明顯、對比度低,傳統(tǒng)的SIFT算法往往提取的特征點比較少,但采用本算法特征點數(shù)量大量提高,算法改進效果顯著。實驗圖像效果如圖2所示。
圖2中選圖為3種類型里的典型圖像,圖中帶標記的點(綠色)為圖像提取到的特征點。由圖可知,特征點數(shù)量均有所提高。表1列出了3種背景的紅外圖像所提取到的特征點數(shù)量對比圖。選用3種類型的紅外圖像各100幀,計算出平均特征點個數(shù)。
由表1可知,利用改進算法可以提取到的特征點個數(shù)增加效果顯著。并且可以看出,由于圖像類型不同,特征點數(shù)量增加也有所不同。這是由于,若原SIFT算法已經(jīng)提取到了較多的特征點,說明可被挖掘的特征點比較少;若在原SIFT算法所能提取的特征點數(shù)量較少時,說明有很多變化較弱的紋理特征被忽略了,本文算法能夠很好地挖掘出來這些特征點。
圖2 算法改進前后特征點數(shù)量變化圖
注: 彩色圖片可查閱本刊網(wǎng)站稿件電子版本
表1 本文算法與SIFT算法特征點對比表
本文在深入研究SIFT算法原理以及紋理特征的基礎上,提出了基于紋理特征的自適應對比閾值的SIFT算法改進。在圖像紋理特征較弱,圖像對比度低時調(diào)整對比度閾值。相比于原算法,在不用改變圖像質(zhì)量的前提下,改進了對比度閾值的設定,提高了算法的適應性。此外,本文主要著眼于提高算法提取特征點的豐富度,并未對算法速度進行改進。
[1] 孟德劍. 基于SIFT算法的激光雷達圖像拼接算法研究[D]. 哈爾濱:哈爾濱工業(yè)大學, 2014.
MENG Dejian. Research on algorithm of laser Lidar image mosaic based on SIFT[D]. Harbin : Harbin Institute of Technology, 2014.
[2] 趙愛罡, 王宏力, 楊小岡, 等. 融合幾何特征的壓縮感知SIFT描述子[J]. 紅外與激光工程, 2015, 44(3): 1085-1091.
ZHAO Aigang, WANG Hongli, YANG Xiaogang, et al. Compressed sense SIFT descriptor mixed with geometrical feature[J]., 2015, 44(3): 1085-1091.
[3] 許佳佳. 結(jié)合Harris與SIFT算子的圖像快速配準算法[J]. 中國光學, 2015, 8(4): 574-581.
XU Jiajia. Fast image registration method based on Harris and SIFT algorithm[J]., 2015, 8(4): 574-581.
[4] David G Lowe. Object recognition from local scale-invariant features[C]//, 1999(9): 1150-1157.
[5] David G Lowe. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.
[6] 宋新, 羅軍, 王魯平. 等. 一種基于小波紋理特征的目標檢測方法[J]. 紅外技術(shù), 2006, 28(9): 545-548.
SONG Xin, LUO Jun, WANG Lu-ping. A target detection approach based on wavelet texture characterization[J]., 2006, 28(9): 545-548.
[7] 宋衛(wèi)華, 張青. 灰度共生矩陣算法研究[J].黃山學院學報, 2014, 16(3): 34-37.
SONG Weihua, ZHANG Qing. A research on the algorithm of gray level co-occurrence matrix[J]., 2014, 16(3): 34-37.
[8] 梅浪奇, 郭建明, 劉清. 基于多特征的紋理特征提取方法研究與應用[J]. 交通信息與安全, 2015, 33(2): 31-38.
MEI Langqi, GUO Jianming, LIU Qing. Research and application of texture feature extraction based on multi-features[J]., 2015, 33(2): 31-38.
[9] 任國貞, 江濤. 基于灰度共生矩陣的紋理提取方法研究[J]. 計算機應用與軟件, 2014, 31(11): 190-192.
REN Guozhen, JIANG Tao. Study on GLCM-based texture extraction methods[J]., 2014, 31(11): 190-192.
Improved SIFT Algorithm Based on Texture Features
BAI Yaxi1,3,LIU Zhuping2,LING Jianguo1
(1.,100854,;2..,100048,;3..,100854,)
An improved method used for changing the fixed threshold in Scale Invariant Feature Transform algorithm is proposed. If the texture features of the infrared image is not obvious, the feature points will be significantly reduced, so it will influence the subsequent procedure such as image registration, object recognition and etc. Modifying the contrast threshold artificially is not adapt to many occasions because of its limitation. Therefore, an adaptive contrast threshold SIFT algorithm based on texture features is necessary. Gray level co-occurrence matrix is one of the methods to represent the texture features. Owing to its feature that it could not analyze the image directly, the characteristic parameter must be extracted. The contrast threshold is modified lower only when the characteristic parameter of texture such as angular second moment becomes larger, so that the characters can be much more. The results indicate that even when the texture features of an image is not clear, large numbers of Scale Invariant Feature Transform characteristics can still be extracted.
texture features,SIFT,adaptive contrast threshold,gray level co-occurrence matrix
TP391
A
1001-8891(2016)08-0705-04
2015-12-13;
2016-02-29.
白亞茜(1991-),女,河北省邢臺市人,碩士研究生,主要研究方向為紅外圖像處理,目標識別。E-mail:baiyaxi17@163.com。