周文理, 金施群

(合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院,合肥 230009)

基于 SIFT算法的可見光圖像與紅外圖像配準(zhǔn)

周文理, 金施群

(合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院,合肥 230009)

為實現(xiàn)可見光圖像與紅外圖像的有效配準(zhǔn),結(jié)合兩類圖像的特點,提出基于特征的SIFT算法,并進(jìn)行道路和人臉的可見光圖像與紅外圖像配準(zhǔn)實驗。結(jié)果表明,SIFT算法對紋理結(jié)構(gòu)簡單、光滑圖像提取的特征點較少;隨著閾值提高,可見光圖像與紅外圖像的匹配點數(shù)目增加,匹配穩(wěn)定性降低。該算法可用于可見光圖像與紅外圖像配準(zhǔn)。

圖像配準(zhǔn);SIFT;紅外;可見光

圖像配準(zhǔn)即對以不同方式成像的同一目標(biāo)的圖像進(jìn)行空間上對準(zhǔn),它是進(jìn)行圖像融合和變化檢測的前提條件,在遙感、軍事、醫(yī)學(xué)、計算機(jī)視覺等眾多領(lǐng)域都有廣泛應(yīng)用[1]。隨著圖像配準(zhǔn)應(yīng)用領(lǐng)域的擴(kuò)展,單一探測系統(tǒng)所獲取的圖像信息已不能滿足應(yīng)用需求,單波段的圖像也因區(qū)域、溫度等條件的變化而減少。因此,多種探測系統(tǒng)所獲圖像及多波段圖像的配準(zhǔn)方法成為研究熱點。2004年,Lowe基于不變量技術(shù)的特征檢測方法提出了尺度不變特征變換 (Scale Invariant Feature Transfor m,SIFT)算法[2]。該算法對圖像的旋轉(zhuǎn)、縮放、光強(qiáng)具有很好的穩(wěn)定性,因此廣泛應(yīng)用于圖像配準(zhǔn)中。

可見光圖像與紅外圖像具有不同的灰度特征,這些特征信息互為補(bǔ)充,可以融合在一起用于目標(biāo)識別[3]。筆者運(yùn)用 SIFT算法進(jìn)行可見光圖像與紅外圖像配準(zhǔn)實驗,以探索可見光圖像與紅外圖像有效配準(zhǔn)方法。

1 圖像配準(zhǔn)方法的選擇

常見的圖像配準(zhǔn)方法大致可分為基于圖像灰度的配準(zhǔn)方法和基于圖像特征的配準(zhǔn)方法兩類?；诨叶鹊膱D像配準(zhǔn)方法一般利用整幅圖像的灰度信息,建立圖像間的相似性度量,然后采用適當(dāng)?shù)乃阉鞣椒?尋找使相似性度量值最大或最小的變換模型的參數(shù)值?；谔卣鞯膱D像配準(zhǔn)方法一般先提取圖像的不變特征,再對這些特征進(jìn)行匹配以得到最終的圖像配準(zhǔn)。該方法所提取的特征包括全局特征和局部特征兩種。全局特征對圖像的表達(dá)過于簡單,局部特征是局部提取的有用特征描述子,具有較強(qiáng)的魯棒性[4]。

基于特征的配準(zhǔn)方法較適合于圖像結(jié)構(gòu)信息豐富,圖像中物體易于區(qū)分和檢測的情況,但其缺點在于,特征提取結(jié)果與圖像的內(nèi)容和質(zhì)量密切相關(guān)[5]。邊緣、輪廓及紋理等是圖像的本質(zhì)特征,不同波段的同一物體總是具有相似的特征,所以特征總是高度相關(guān)的?；谔卣鞯呐錅?zhǔn)方法可以提取圖像中對旋轉(zhuǎn)、平移、光照等保持不變的特征,這些特征可分為點特征、線特征和區(qū)域特征等類型。

可見光圖像與紅外圖像的成像機(jī)理不同,可見光反應(yīng)的是景物的反射信息,而紅外光反應(yīng)的是景物的輻射信息。因此,可見光圖像與紅外圖像配準(zhǔn)除考慮旋轉(zhuǎn)變化、尺度變化和仿射變形之外,還要考慮因成像機(jī)理不同而產(chǎn)生的其他問題,如灰度差異,難以提取相似的幾何特征,對溫度、濕度的反應(yīng)不同等?？梢姽鈭D像與紅外圖像處于不同的波段,其配準(zhǔn)屬于多模態(tài)圖像配準(zhǔn)[3]。兩類圖像灰度差異很大,且像素灰度之間不具有相關(guān)性,不宜使用基于圖像灰度的配準(zhǔn)方法。因此,文中選用基于特征的圖像配準(zhǔn)方法。

2 圖像配準(zhǔn)算法

2.1 圖像多尺度表示

尺度空間理論最早用于模擬圖像數(shù)據(jù)的多尺度特征,高斯卷積核是實現(xiàn)尺度變換的唯一線性核[2]。圖像的尺度空間定義為函數(shù)L(x,y,σ),可由一個變尺度高斯函數(shù)G(x,y,σ)和一幅輸入圖像I(x,y)的卷積操作得到,即

其中,(x,y)為像素坐標(biāo),σ為尺度空間因子。

在圖像二維平面空間和 DoG(Difference of Gaussian)尺度空間中同時檢測局部極值并作為特征點,以使特征具備良好的獨(dú)特性與穩(wěn)定性[6]。DoG算子定義為兩個不同尺度的高斯核的差分,即

其中,k為兩層相近尺度之間的比例。

2.2 SIFT特征匹配算法

SIFT算法首先在尺度空間進(jìn)行特征檢測,確定關(guān)鍵點的位置及其所處尺度,然后將關(guān)鍵點鄰域的主方向作為該點的方向特征,具體步驟如下:

(1)尺度空間極值點檢測

利用DoG算子處理不同尺度大小的原始圖像,得到DoG圖像。如圖 1所示,在檢測尺度空間極值時,圖中標(biāo)記為叉號的像素要比包括同一尺度的鄰近8個像素以及相鄰的上下兩個尺度對應(yīng)位置的9×2個像素的值都大或都小[7],以確保在尺度空間和二維圖像空間都檢測到局部極值。將滿足上述條件的點作為一個局部極值點,并記下其位置和對應(yīng)尺度。

圖1 DoG尺度空間局部極值檢測Fig.1 Detecting local extremum in DoG scale space

(2)計算關(guān)鍵點主方向

利用關(guān)鍵點像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性[8]。

式(1)、(2)分別為(x,y)處梯度的模值和方向公式,L所用的尺度即各關(guān)鍵點所在尺度。在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣,計算得到鄰域像素的梯度直方圖,直方圖的峰值代表該關(guān)鍵點鄰域梯度的主方向,將該方向作為該關(guān)鍵點的方向。圖 2為利用梯度直方圖確定關(guān)鍵點主方向的示例。

至此,圖像的關(guān)鍵點已檢測完畢,每個關(guān)鍵點有三個信息,即所處位置、尺度和方向。

圖2 由梯度方向直方圖確定的主方向Fig.2 Determ ined ma in orientation by gradient orientations histogram

(3)生成特征點描述子

圖 3左側(cè)的中央黑點為當(dāng)前關(guān)鍵點位置,每個小格代表關(guān)鍵點鄰域所在尺度空間的一個像素,箭頭方向代表該像素的梯度方向,箭頭長度代表梯度模值。在每個 4＊4的小塊上計算 8個方向的梯度方向直方圖,繪制每個梯度方向的累加值,即可形成一個種子點。如圖 3右側(cè)所示,一個關(guān)鍵點由 2×2共 4個種子點組成,每個種子點有 8個方向向量信息[8]。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法的抗噪聲能力,同時為含有定位誤差的特征匹配提供了較好的容錯性。

圖3 SIFT描述子Fig.3 SIFT representive

為增強(qiáng)匹配的穩(wěn)定性,實際計算過程中對每個關(guān)鍵點使用 4×4個種子點來描述,這樣每個特征點用 128維的向量表征。將特征向量的長度歸一化,則可去除光照變化的影響。

2.3 SIFT特征點匹配

當(dāng)生成兩幅圖像的 SIFT特征向量后,將關(guān)鍵點特征向量的歐式距離作為兩幅圖像中關(guān)鍵點的相似性判定度量。根據(jù)最近鄰和第二近鄰特征點的歐式距離之比,選擇可靠性較高的匹配點,將其作為兩幅圖像轉(zhuǎn)換參數(shù)的候選點。取圖像 1中的某個關(guān)鍵點,并找出其與圖像 2中歐式距離最近的前兩個關(guān)鍵點,在這兩個關(guān)鍵點中,如果最近的距離除以次近的距離小于設(shè)定的某個比例閾值,則接受這一對匹配點。降低這個比例閾值,SIFT匹配點數(shù)目會減少,但更加穩(wěn)定[9]。

3 實 驗

采用低照度黑白 CCD攝像機(jī)、紅外光源和濾光片采集道路和人臉的可見光圖像與紅外圖像。將比例閾值設(shè)為 0.6,采用 SIFT算法分別對道路和人臉圖像進(jìn)行配準(zhǔn)實驗,結(jié)果如圖 4所示。

圖 4a左側(cè)為室外環(huán)境濕度較大、自然光條件下采集的道路圖像,圖像成像清晰;右側(cè)為增加了 760 nm截止波長的紅外濾光片后采集的圖像,由于濾掉了強(qiáng)光的干擾,其亮度有所下降,但仍保持了細(xì)節(jié),成像比較清晰。該圖中共檢測到 23對匹配點,匹配點質(zhì)量很高。

圖 4b為實驗室內(nèi)自然光下和在紅外光照條件下增加了 850 nm截止波長的紅外濾光片后的人臉圖像。該圖中未檢測到匹配點。

圖4 閾值為0.6時 SIFT對應(yīng)點匹配Fig.4 SIFT match points when threshold is 0.6

比例閾值提高至 0.8的實驗結(jié)果如圖 5所示。

圖 5 閾值為 0.8時 SIFT對應(yīng)點匹配Fig.5 SIFT match points when threshold is 0.8

圖 5a中共檢測到 75對匹配點,匹配正確率為80%;圖5b中檢測到10對匹配點,匹配正確率為40%。比較圖 4、5可知,隨著閾值提高,匹配點數(shù)目增加,但匹配的穩(wěn)定性降低?？梢?SIFT算法對不同情況下圖像的配準(zhǔn)效果不同,對紋理結(jié)構(gòu)簡單、光滑的圖像其提取的特征點較少。

4 結(jié)束語

筆者提出了一種基于 SIFT特征的可見光圖像與紅外圖像配準(zhǔn)方法。道路和人臉的可見光圖像與紅外圖像配準(zhǔn)實驗表明,SIFT算法可用于可見光圖像與紅外圖像配準(zhǔn),但針對不同成像條件下的圖像對,其配準(zhǔn)效果不同;對紋理結(jié)構(gòu)簡單、光滑的圖像往往提取不到足夠的特征點。這說明該算法有其局限性,在實際的可見光圖像與紅外圖像配準(zhǔn)中需針對實際目標(biāo)選擇相應(yīng)的配準(zhǔn)算法,或綜合使用不同的配準(zhǔn)算法以獲得更好的配準(zhǔn)結(jié)果。

[1] ZITOVA B,FLUSSER J.I mage registration methods:a survey [J]. Image andVision Computing,2003,21(11):977-1 000.

[2] LOWE D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60 (2):91-110.

[3] 苑津莎,趙振兵,高 強(qiáng),等.紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望[J].激光與紅外,2009,39(7):693-699.

[4] 周 曉,潘潔珠.典型相關(guān)分析與多伯努利相關(guān)模型的圖像標(biāo)注[J].合肥工業(yè)大學(xué)學(xué)報,2010,33(6):841-846.

[5] 王鯤鵬,徐一丹,于起峰.紅外與可見光圖像配準(zhǔn)方法分類及現(xiàn)狀[J].紅外技術(shù),2009,31(5):270-274.

[6] 趙 彬,陳 輝,董 穎.一種基于壓縮域的視頻拼接算法[J].計算機(jī)應(yīng)用,2007(11):2 781-2 785.

[7] 李生紅,張愛新,鄭燕雙,等.基于 SIFT的圖像復(fù)制遮蓋篡改檢測技術(shù)[J].解放軍理工大學(xué)學(xué)報:自然科學(xué)版,2009 (4):339-343.

[8] 邱雪娜,劉 斐,劉士榮,等.基于雙目視覺的移動機(jī)器人動態(tài)目標(biāo)識別與定位[J].華東理工大學(xué)學(xué)報:自然科學(xué)版, 2010(1):103-112.

[9] 王 彥,傅衛(wèi)來,朱 虹,等.一種基于 SIFT特征匹配的工件識別方法[J].西安理工大學(xué)學(xué)報,2009(2):202-206.

[10] 郎利影,張曉芳,楊志勇,等.相位相關(guān)算法在條形碼識別中的應(yīng)用[J].河北工程大學(xué)學(xué)報:自然科學(xué)版,2008(4): 89-91.

Visible/infrared image registration based on S IFT

ZHOU W enli,JIN Shiqun
(School of Instrument Science&Opto-electronic Engineering,HefeiUniversity of Technology,Hefei 230009,China)

Aimed at an effective registration of visible/infrared image,this paper proposes featuresbased SIFT algorithm,combined with the characteristics of two types of image,and describes an experiment focused on registration of road and face visible/infrared image.The result indicates that SIFT algorithm allows fewer features to be extracted from simple texture structure and smooth image.The increasing threshold means a greater numberof the imagematches and a lowermatching stability.This algorithm can apply to visible/infrared image registration.

image registration;SIFT;infrared;visible

TP391.41

A

1671-0118(2011)02-0121-03

2011-01-26

周文理(1987-),男,安徽省淮北人,碩士,研究方向:光電工程與機(jī)器視覺,E-mail:wenli8710@126.com。

(編輯荀海鑫)