咸艷霞, 胡修兵, 鄭 莉

(1.武漢科技大學(xué) 理學(xué)院, 武漢 430081; 2.武漢大學(xué) 測繪學(xué)院, 武漢 430079)

?

咸艷霞1*, 胡修兵2, 鄭 莉2

(1.武漢科技大學(xué) 理學(xué)院, 武漢 430081; 2.武漢大學(xué) 測繪學(xué)院, 武漢 430079)

多模態(tài)圖像匹配是各領(lǐng)域圖像匹配研究中的一個熱點和難點問題,特征的可重現(xiàn)探測和非線性優(yōu)化搜索,分別是基于特征和基于區(qū)域的多模態(tài)圖像匹配的瓶頸問題.將灰度圖像轉(zhuǎn)換為復(fù)數(shù)域的梯度圖像,提出以復(fù)數(shù)平方圖像實現(xiàn)的2倍梯度差角余弦作為相似性測度,提出FFT梯度相關(guān)算法,實現(xiàn)了多模態(tài)圖像局部匹域的快速匹配,通過紅外與可見光圖像的匹配實驗,驗證了算法的有效性.

多模態(tài)圖像匹配; 梯度相關(guān); 快速傅立葉變換; 共軛復(fù)數(shù); 紅外圖像

圖像匹配主要分為基于特征和基于區(qū)域的兩類方法.基于特征的方法,通過特征描述[1]或利用特征之間的空間距離[2]或分布關(guān)系[3]進(jìn)行匹配.特征匹配的優(yōu)勢是可以不依賴匹配初值,允許圖像之間存在一定程度的幾何變形,而且速度較快、穩(wěn)健性較好.但對于多模態(tài)圖像,特征匹配卻面臨很大挑戰(zhàn).雖然出現(xiàn)了許多針對多模態(tài)圖像的改進(jìn)算法,但這些方法一般將研究重點放在特征相似性測度的模態(tài)不變性問題上,另一個更關(guān)鍵的問題往往被忽略了,那就是特征的可重現(xiàn)探測問題[4].如果在兩幅圖像上探測到的特征的重現(xiàn)率非常低,那么特征匹配可靠性的前提就難以保證了.在基于區(qū)域的多模態(tài)圖像匹配方法中,一般采用互信息[5]、梯度[6]、自相似性[7]等作為相似性測度.這些方法在醫(yī)學(xué)、計算機視覺和遙感等領(lǐng)域都有成功的應(yīng)用,但計算量大和局部極值等問題還很難克服.

本文提出結(jié)合FFT(快速傅立葉變換)的梯度相關(guān)算法,屬于區(qū)域匹配的類型,所以不必受限于特征提取的效果.區(qū)域匹配的主要限制是對圖像幾何變形的適應(yīng)性較差,好在許多應(yīng)用場合圖像之間的攝影姿態(tài)關(guān)系是已知的,因此整體的圖像變形是可以糾正的.糾正以后匹配的搜索空間是二維平移變換,通過將FFT與改進(jìn)的梯度相關(guān)算法結(jié)合,速度顯著提高,因此可以采用窮盡搜索,從而無需采用非線性優(yōu)化算法而不受局部極值的影響.必要時還可以在局部匹配的基礎(chǔ)上,對圖像進(jìn)行更高精度的幾何糾正,再進(jìn)行匹配以獲取更高的匹配精度.

1 基于梯度差角余弦的匹配測度

由于多模態(tài)圖像灰度特性的非線性改變,灰度相關(guān)已不能適用,利用梯度信息是多模態(tài)圖像匹配的重要方法之一.梯度的幅值會因灰度特性差異而發(fā)生改變,而梯度的方向則有較好的穩(wěn)定性.

匹配測度可以看作概率估計問題.在某種基于梯度的匹配測度下,如果匹配區(qū)域的梯度全部為0(無任何結(jié)構(gòu)信息)時的測度值為0,則兩塊無關(guān)區(qū)域(結(jié)構(gòu)無關(guān))的匹配測度值的概率期望值也應(yīng)該為0,這樣的估計才是無偏的.兩個單位向量的內(nèi)積即等于差角的余弦,文獻(xiàn)[6]以歸一化梯度的內(nèi)積平方和最小作為匹配測度,避免了煩瑣的三角函數(shù)計算,但余弦函數(shù)平方的概率估計為1/2,其估計是有偏的.文獻(xiàn)[8]采用了內(nèi)積與外積的絕對值之差作為改進(jìn)的匹配測度,是一種無偏估計,但這兩種方法都無法結(jié)合FFT快速算法.由于梯度信息主要分布在邊緣附近,因此梯度匹配的拉入范圍較其它區(qū)域匹配方法的拉入范圍更窄,因此要求有較好的匹配初值并依賴非線性全局優(yōu)化算法.所以其匹配效率與常用的互信息方法相比并沒有明顯優(yōu)勢.文獻(xiàn)[9]將梯度角度當(dāng)作灰度來構(gòu)造圖像,借用FFT灰度相關(guān)算法實現(xiàn)多模態(tài)圖像的快速匹配,但由于角度是周期性的,盡管采用了“準(zhǔn)梯度”來修正其影響,但是在模型上依然是不嚴(yán)謹(jǐn)?shù)?

對于單模態(tài)圖像,余弦函數(shù)是利用梯度方向評價匹配相似性的一種理想測度.如圖1所示,其中θ′是對應(yīng)點梯度方向角之差,余弦函數(shù)是偶對稱的,且概率期望值為0,這些性質(zhì)很適于評價梯度方向的差異程度.

圖1 單模態(tài)圖像的梯度方向余弦測度Fig.1 Cosine measure of monomode image gradient

多模態(tài)圖像之間的對比度反轉(zhuǎn)是不確定的(例如圖5可見光與紅外圖像的灰度對比關(guān)系).所以梯度方向相同和方向相反的情況,對匹配測度評價都應(yīng)該是正貢獻(xiàn)的[8].

圖像的梯度可以用復(fù)數(shù)表示,通過求取垂直和水平兩個方向的梯度再組合而成,復(fù)數(shù)還可以表示成幅度(模)和角度的形式,分別表示梯度的強度和方向:

c=x+yi=reiθ=rcosθ+i·rsinθ.

(1)

本文提出的方法是先求取復(fù)梯度平方圖像,因為單位復(fù)數(shù)的平方的結(jié)果即為方向角加倍,即

c1·c2=r1eiθ1·r2eiθ2=(r1·r2)·ei(θ1+θ2).

(2)

角度加倍后,余弦函數(shù)的周期減半,以其作為匹配測度在模型上更貼近多模態(tài)圖像匹配的特點(如圖2).

圖2 多模態(tài)圖像的梯度方向余弦測度Fig.2 Cosine measure of multimode image gradient

2倍角余弦的概率期望值也為0,以其作為多模態(tài)圖像匹配測度估計具有無偏性.通過復(fù)數(shù)平方運算方便地實現(xiàn)了2倍角余弦計算,結(jié)合FFT頻域處理技術(shù),可以快速實現(xiàn)多模態(tài)圖像的局部區(qū)域匹配.

2 結(jié)合FFT的梯度相關(guān)算法

空間域復(fù)雜的相關(guān)或卷積運算,可以轉(zhuǎn)換為頻率域的簡單乘法運算,而空間域與頻率域的轉(zhuǎn)換又可以用FFT快速實現(xiàn),利用頻域變換處理圖像區(qū)域匹配可以實現(xiàn)數(shù)量級意義上的效率提升[9-10].

兩個復(fù)數(shù)共軛相乘的結(jié)果即為幅度相乘、角度相減,而復(fù)數(shù)的實部和虛部分別為復(fù)向量的余弦分量和正弦分量.所以復(fù)數(shù)共軛乘積的實部即為:

(3)

3 圖像的投影糾正處理

將圖像糾正處理為與基準(zhǔn)圖像相同的拍攝角度,一方面增強圖像區(qū)域之間的可匹配性,另一方面可以降低匹配搜索的維度,便于結(jié)合頻域處理算法,以提高匹配效率.

如圖3所示,目標(biāo)場景和攝影中心不變,僅轉(zhuǎn)動相機的攝影方向.由于在物方空間坐標(biāo)系下,糾正前后的像點位置、攝影中心、和目標(biāo)點4點是共線的,投影糾正處理就相當(dāng)于對原影像點(x,y,-f)T重新拍攝成像.設(shè)旋轉(zhuǎn)矩陣為:

圖3 投影糾正處理中的像點坐標(biāo)變換關(guān)系Fig.3 Image coordinate transformation of perspective correction processing

由共線方程[11]就可以得到攝影糾正的坐標(biāo)轉(zhuǎn)換公式:

(4)

其中,F是基準(zhǔn)圖像的焦距,因此糾正后圖像與基準(zhǔn)圖像有相同的縮放比例.

綜上所述,本文提出的FFT梯度相關(guān)算法的流程如圖4所示.

圖4 多模態(tài)圖像匹配的FFT梯度相關(guān)算法Fig.4 The FFT gradient correlation algorithm for multimodal image matching

4 實驗與分析

實驗圖像是從同一地點拍攝的可見光和紅外圖像(圖5),大小分別為2400×3200和512×640像素,攝影方向基本一致,無需做投影糾正處理,幾何關(guān)系近似為相似變換.

4.1 整體匹配實驗

由攝影焦距和像素大小,可以估算出兩幅圖像的縮放比例約為0.45,經(jīng)過縮放調(diào)整再匹配應(yīng)該能找到紅外圖像對應(yīng)于可見光圖像中的位置.

圖5 同一地點拍攝的紅外與可見光圖像Fig.5 Visible and IR images acquired from the same position

利用Matlab實現(xiàn)本文提出的FFT梯度相關(guān)算法,解得位移參數(shù),兩幅圖像套合的效果如圖6左所示.由于拍攝時圖像之間有微小旋轉(zhuǎn),并且縮放比例估計得也不夠精確,所以套合的效果還不夠理想.

圖6 圖像糾正前、后匹配套合的效果圖Fig.6 Renderings of nested images before and after the rectifications respectively

將紅外圖像等分成4塊,分別與可見光圖像匹配,得到4塊子圖像的位移參數(shù).由任意兩塊子圖像的位移量就可以解算出相似變換參數(shù),分別采用兩個對角方向的兩對子圖像解算,再取平均值,得到更精確的旋轉(zhuǎn)角0.755度和縮放比0.442,對可見光圖像糾正后,再匹配的套合效果如圖6右所示.

圖7為圖像糾正前、后的梯度相關(guān)測度值的分布圖,峰值分別為0.081和0.178,從圖中還可以看出糾正以后匹配峰值的顯著性更好.經(jīng)過測試,本文方法對圖像旋轉(zhuǎn)的適應(yīng)能力達(dá)3度以上,如果未糾正的圖像旋轉(zhuǎn)角度較大,可以以5度為步長對模板進(jìn)行旋轉(zhuǎn)重采樣,仍次進(jìn)行快速匹配,取匹配測度的最大值即可,僅需要匹配兩對同名點,就可以較精確地糾正圖像的旋轉(zhuǎn)變形.

圖7 圖像糾正前、后匹配測度值的分布圖Fig.7 Renderings of similarity measures before and after the rectifications respectively

4.2 局部匹配性能實驗

由于采用了FFT快速算法,上述整幅圖像的匹配時間在Matlab平臺上僅需要0.7s,否則匹配時間則需要十幾到幾十min.對于局部匹配,由于圖像之間存在大量的相似結(jié)構(gòu),匹配窗口過小時,非匹配位置也可能出現(xiàn)較大的測度值,給匹配搜索帶來困難.實驗采用不同大小的局部匹配窗口,比較FFT梯度相關(guān)與互信息方法[5]的匹配性能.為了減少實驗計算量,將匹配搜索的范圍限定在理想匹配位置周圍50像素的移動范圍內(nèi)(事實上采用FFT算法時,搜索范圍對計算量沒有任何影響,完全可以對整幅圖像窮盡搜索).

如圖8所示,窗口大小為60×60時,采用互信息測度無法找到正確的匹配位置,而梯度相關(guān)的匹配峰值雖然也不太明顯,但匹配位置的測度值仍然是全局最大值,是能夠確定的.

如圖9所示,當(dāng)窗口大小增加到90×90時,兩種匹配測度都是有效的,顯然梯度相關(guān)測度的顯著性更好.

圖8 窗口60×60,互信息與梯度相關(guān)的匹配測度值Fig.8 Similarity measures of MI and gradient correlation respectively with 60×60 window size

圖9 窗口90×90,互信息與梯度相關(guān)的匹配測度值Fig.9 Similarity measures of MI and gradient correlation respectively with 60×60 window Size

表1列出了采用互信息方法以及本文提出的梯度相關(guān)和FFT梯度相關(guān)算法的局部匹配耗時情況,顯然本文算法的計算效率有明顯的優(yōu)勢.

表1 不同方法的局部匹配耗時

5 結(jié)論與展望

將實數(shù)域灰度圖像轉(zhuǎn)換為復(fù)數(shù)域的梯度圖像,以復(fù)數(shù)平方運算實現(xiàn)的2倍角余弦作為多模態(tài)圖像匹配測度的無偏估計,由灰度相關(guān)頻域快速算法發(fā)展到多模態(tài)圖像的梯度相關(guān)頻域快速算法.實驗證明本文提出的FFT梯度相關(guān)算法在精度、速度和可靠性等方面較傳統(tǒng)方法都有顯著提升.下一步可能研究的方向是梯度場的穩(wěn)健估計和子像素級精度多模態(tài)圖像匹配的快速算法.

[1]MIKOLAJCAYKK,SCHMIDC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2005, 27(10):1615-1630.

[2]SHAPIROLS,MICHAELBJ.Feature-basedcorrespondence:aneigenvectorapproach[J].ImageandVisionComputing, 1992, 10(5):283-288.

[3]MYRONENKOA,SONGX.Pointsetregistration:Coherentpointdrift[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2010, 32(12):2262-2275.

[4]KELMANA,SOFKAM,STEWARTCV.Keypointdescriptorsformatchingacrossmultipleimagemodalitiesandnon-linearintensityvariations[C]//ComputerVisionandPatternRecognition,IEEEConferenceon, 2007:1-7.

[5]MAESF.Multimodalityimageregistrationbymaximizationofmutualinformation[J].MedicalImaging,IEEETransactionson, 1997, 16(2):187-198.

[6]HABERE,MODERSITZKIJ.Intensitygradientbasedregistrationandfusionofmulti-modalimages[J].MethodsofInformationinMedicine, 2007, 46(3):292-299.

[7]HEINRICHMP.MIND:Modalityindependentneighbourhooddescriptorformulti-modaldeformableregistration[J].MedicalImageAnalysis, 2012, 16(7):1423-1435.

[8] 閆 利. 胡修兵,陳長軍,等.多模態(tài)圖像配準(zhǔn)的梯度一致性算子[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版), 2013, 38(8):969-972.

[9]WONGA,BISHOPW,ORCHARDJ.Efficientmulti-modalleast-squaresalignmentofmedicalimagesusingquasi-orientationmaps[C].IPCV, 2006:74-86.

[10]REDDYBS,CHATTERJIBN.AnFFT-basedtechniquefortranslation,rotation,andscale-invariantimageregistration[J].ImageProcessing,IEEETransactionson, 1996, 5(8):1266-1271.

[11] 張劍清, 潘 勵, 王樹根. 攝影測量學(xué)[M]. 武漢:武漢大學(xué)出版社,2009.

An FFT gradient correlation algorithm for multimodal image matching

XIAN Yanxia1, HU Xiubing2, ZHENG Li2

(1.School of Science, Wuhan University of Science and Technology, Wuhan 430081;2.School of Geodesy and Geomatics, Wuhan University, Wuhan 430079)

Multimodal image matching is a hot and difficult issue in various image matching research fields. The reproducible detection of features and nonlinear optimization are bottlenecks of the feature-based and area-based image matching methods, respectively. The images are converted from grayscale to gradient domain in complex field, and the similarity measure of Double-angled cosine is desinged base on the squared gradient orientation image. Thus, the FFT gradient correlation algorithm is proposed to match multimodal images rapidly.

multimodal image matching; gradient correlation; FFT; conjugate complex; infrared image

2015-03-20.

國家自然科學(xué)基金項目(41001309).

1000-1190(2015)06-0838-05

TP391.41

A

*E-mail: whu2014@qq.com.