李傲梅 姜萬里

(解放軍陸軍軍官學(xué)院 合肥 230000)

基于圖像特征的傅里葉梅林變換在圖像配準(zhǔn)中的應(yīng)用*

李傲梅 姜萬里

(解放軍陸軍軍官學(xué)院 合肥 230000)

針對(duì)相位相關(guān)法配準(zhǔn)平移旋轉(zhuǎn)的圖像具有明顯誤差的問題,論文中提出了一種基于圖像特征進(jìn)行傅里葉梅林變換,實(shí)現(xiàn)對(duì)存在平移旋轉(zhuǎn)的圖像進(jìn)行配準(zhǔn)的方法。首先對(duì)待配準(zhǔn)圖像和模板圖像進(jìn)行梯度信息提取、二值化、腐蝕、膨脹等運(yùn)算;然后,將圖像的形態(tài)學(xué)中心平移到視場(chǎng)中心,并對(duì)其進(jìn)行極坐標(biāo)變換;最后,根據(jù)傅里葉梅林變換特性,得到圖像的旋轉(zhuǎn)角度。實(shí)驗(yàn)結(jié)果表明,該方法對(duì)存在平移旋轉(zhuǎn)的圖像具有很好的配準(zhǔn)特性。

相位相關(guān)法; 極坐標(biāo)變換; 條形碼; 傅里葉梅林變換

1 引言

圖像配準(zhǔn)技術(shù)一般分為兩大類:基于灰度的方法和基于特征的方法。基于灰度的方法大都采用互相關(guān)技術(shù)和傅里葉變換技術(shù)來實(shí)現(xiàn)。直接相位相關(guān)配準(zhǔn)法是基于灰度的一種常用方法,即采用傅里葉變換技術(shù)來實(shí)現(xiàn),主要針對(duì)存在平移的圖像進(jìn)行配準(zhǔn);結(jié)合對(duì)數(shù)極坐標(biāo)變換的相位相關(guān)法是另外一種常用方法,主要針對(duì)存在縮放和旋轉(zhuǎn)的圖像進(jìn)行配準(zhǔn),而對(duì)存在平移和縮放或平移和旋轉(zhuǎn)的圖像的配準(zhǔn)具有明顯的誤差[1]?；谔卣鞯姆椒?則通過提取圖像特征進(jìn)行匹配,該方法更適合對(duì)不同波段和不同傳感器得到的圖像進(jìn)行配準(zhǔn)?；谔卣鞯姆椒ㄖ饕幸韵虏襟E:圖像特征提取、圖像特征匹配、選取合適的變換模型、求解模型參數(shù)、插值等,其中圖像特征提取和圖像特征配準(zhǔn)是基于特征的方法的兩個(gè)難點(diǎn)[1～3]。

在對(duì)產(chǎn)品進(jìn)行檢測(cè)時(shí),獲取的圖像總會(huì)存在著平移和旋轉(zhuǎn),單純采用基于灰度的配準(zhǔn)方法,會(huì)產(chǎn)生很大的檢測(cè)誤差,所以本文以條形碼圖像為例,提出了基于圖像特征的傅里葉梅林變換,可以有效解決圖像存在平移和旋轉(zhuǎn)的配準(zhǔn)問題。

2 算法分析

2.1 梅林變換原理

梅林變換具有的一個(gè)重要性質(zhì)就是尺度變換不變性[4],即函數(shù)f(t)和尺度變換后的f(at)經(jīng)過梅林變換后保持不變,連續(xù)信號(hào)f(t)的梅林變換為

(1)

令t=Tex,則

(2)

對(duì)于f(kt)，則

(3)

令y=x+lnk,則

(4)

可知當(dāng)a=0,即z取虛數(shù)時(shí),則|M(z)|=|M′(z)|,證明了梅林變換的尺度不變性。

定義圖像f(x,y)的梅林變換為

(5)

可知,梅林變換的一個(gè)典型的例子是,將笛卡爾坐標(biāo)變換到極坐標(biāo),再進(jìn)行傅里葉變換,也就具有了梅林變換的尺度不變性[5]。

2.2 圖像特征

一方面,工業(yè)拍攝得到的空間圖像存在旋轉(zhuǎn)，對(duì)目標(biāo)圖像的配準(zhǔn)具有一定影響;另一方面,在頻域中,由于圖像存在平移,對(duì)選擇圖像的配準(zhǔn)中心位置造成很大影響。而對(duì)于條形碼圖像,將其所在區(qū)域的像素值賦值為1,其余位置為0(理想狀態(tài)),然后求出其形態(tài)學(xué)中心,再對(duì)中心點(diǎn)位置進(jìn)行平移到視場(chǎng)中心(該視場(chǎng)是將模板圖像和待測(cè)圖像變換為相同尺寸后的圖像視場(chǎng)),就可以很有效地消除圖像平移對(duì)配準(zhǔn)的影響。然后將待測(cè)圖像和模板圖像在頻域進(jìn)行比較,進(jìn)而得出其旋轉(zhuǎn)系數(shù)。其具體判斷條形碼所在區(qū)域步驟如下:

1) 從磁盤載入圖像,并將其變化為灰度圖f(i,j);

2) 構(gòu)造灰度圖f(i,j)在水平和豎直方向上的梯度幅值表示;

3) 將x-gradient的平方值加上y-gradient的平方值,然后開平方賦值給灰度圖f(i,j);

4) 使用9×9的均值濾波,對(duì)得到的灰度圖f(i,j)進(jìn)行平均模糊,進(jìn)而平滑梯度表征的圖像中的高頻噪聲；

5) 對(duì)模糊化后的圖像進(jìn)行二值化,梯度圖f(i,j)中任何小于225的像素設(shè)為0(黑色),其余的設(shè)為255(白色);

6) 選擇一個(gè)正方形的形態(tài)學(xué)結(jié)構(gòu)元,對(duì)其進(jìn)行多次腐蝕和膨脹運(yùn)算。圖1是對(duì)上述步驟演示結(jié)果。

圖1 條形碼處理過程圖

2.3 基于極坐標(biāo)的傅里葉梅林變換

2.3.1 極坐標(biāo)變換

圖2 經(jīng)過移中處理后的極坐標(biāo)變換

2.3.2 相位相關(guān)法

設(shè)兩幅圖像f1(x,y)和f2(x,y)之間只存在平移關(guān)系,即f2(x,y)=f1(x+x0,y+y0)，則根據(jù)傅里葉變換的特性,它們之間存在如下關(guān)系:

F2(u,v)=ejux0ejvy0F1(u,v)

(6)

則它們的互功率譜為

(7)

對(duì)式(7)進(jìn)行傅里葉反變換,則得到δ(x-x0,y-y0)，可知反變換得到圖像內(nèi)的最大值點(diǎn)的橫坐標(biāo)是x方向上的平移標(biāo)量,縱坐標(biāo)是y方向的平移量。相位相關(guān)法就是利用上述的變換關(guān)系來確定平移參數(shù)的?？梢钥闯龇醋儞Q的結(jié)果是一個(gè)δ函數(shù),即存在一個(gè)尖銳峰值的函數(shù),所以能實(shí)現(xiàn)圖像間的精確配準(zhǔn)。當(dāng)兩幅圖像存在相關(guān)關(guān)系時(shí),則不會(huì)出現(xiàn)明顯的峰值,而當(dāng)兩幅相關(guān)圖像存在灰度差或者僅有灰度反轉(zhuǎn)時(shí),這種差別在檢測(cè)結(jié)果中也只表現(xiàn)為在δ函數(shù)加一恒量,并不影響檢測(cè)結(jié)果。

設(shè)定笛卡爾坐標(biāo)下的圖像f(x,y)變換到極坐標(biāo)下的圖像原點(diǎn)為(x0,y0),則得到下式

(8)

(9)

ρ代表極坐標(biāo)系的極徑,θ表示極角,(x0,y0)是變換中心。則圖像f(x,y)在極坐標(biāo)下表示為f(ρ,θ),所以當(dāng)其僅存在旋轉(zhuǎn)時(shí),f2(ρ,θ)=f1(ρ,θ+θ0)?？梢钥闯鲎儞Q到極坐標(biāo)后,再利用相位相關(guān)法就可以求出旋轉(zhuǎn)角度[6～8]。

基于極坐標(biāo)的相位相關(guān)法流程圖如圖3所示。

圖3 相位相關(guān)法流程圖

3 實(shí)驗(yàn)結(jié)果及分析

3.1 基于霍夫變換的圖像配準(zhǔn)

由圖1可知,經(jīng)過預(yù)處理之后可以很方便地找到最長(zhǎng)的直線,然后通過直線斜率的對(duì)比,可得到圖像的旋轉(zhuǎn)系數(shù),而不用考慮圖像的平移參數(shù)。本文選擇以霍夫直線變換對(duì)經(jīng)過2.2節(jié)預(yù)處理后的圖像進(jìn)行配準(zhǔn),然后和本文提出的基于圖像特征的傅里葉梅林變換方法進(jìn)行對(duì)比?；舴蜃儞Q在模式識(shí)別領(lǐng)域中,是對(duì)二值圖像進(jìn)行直線檢測(cè)的最有效的方法[8～10],如圖4所示的圖像空間的直線可表示為:

d=xcosθ+ysinθ,d≥0,0≤θ<π

(10)

式中d是直線相對(duì)于原點(diǎn)的距離,θ是直線與橫軸的夾角,所以根據(jù)上式,就可以把圖像空間的一條直線經(jīng)過霍夫變換就可以得到一簇相交于一點(diǎn)的正弦曲線,顯然經(jīng)過尋找局部最大值就實(shí)現(xiàn)了最長(zhǎng)直線的檢測(cè)。

圖4 霍夫直線檢測(cè)

圖5 霍夫變換預(yù)處理

圖5中,第一列是參考圖和待測(cè)圖的原圖,第二列是參考圖和待測(cè)圖經(jīng)過2.2節(jié)中的處理過程得到的結(jié)果,第三列中的綠色的線是參考圖和待測(cè)圖經(jīng)過霍夫變換尋找出的最長(zhǎng)直線,從圖中可以看出最長(zhǎng)的直線和預(yù)測(cè)的最長(zhǎng)直線一致。

圖6 霍夫變換配難結(jié)果

圖6是經(jīng)過霍夫變換配準(zhǔn)后的圖像,(a)是參考圖像,(b)是待測(cè)圖像,(c)是配準(zhǔn)后的圖像,(d)是將配準(zhǔn)結(jié)果與參考圖拼接以后的圖像。從圖5中可以觀測(cè)到,對(duì)于不同的旋轉(zhuǎn)角度,得到的最長(zhǎng)的直線具有不確定性,這就很難求出圖像的旋轉(zhuǎn)系數(shù)。對(duì)于條形碼,霍夫變換可以很好地求出圖像的旋轉(zhuǎn)角度,但是當(dāng)2.2節(jié)得到的預(yù)處理圖像的邊緣有很大畸變時(shí),該方法就不具有矯正能力了。而本文提出的基于圖像特征的傅里葉梅林變換方法可以很好地處理這一問題,具有很好的魯棒性。

3.2 本文算法的圖像配準(zhǔn)

圖7所示是經(jīng)過基于圖像特征的傅里葉梅林變換方法處理后得到的圖像,(a)是參考圖,(b)是待測(cè)圖,(c)是對(duì)待測(cè)圖配準(zhǔn)以后的結(jié)果,(d)是將配準(zhǔn)結(jié)果與參考圖拼接以后的圖像。

表1 實(shí)驗(yàn)數(shù)據(jù)

從表1和圖8(白色是霍夫變換,黑色是基于圖像特征的傅里葉梅林變換法)中可以看出,當(dāng)圖像的旋轉(zhuǎn)角度在-25°～25°時(shí),霍夫變換和基于極坐標(biāo)點(diǎn)相位相關(guān)法可以很好地配準(zhǔn)圖像旋轉(zhuǎn)角度,但當(dāng)圖像在這個(gè)區(qū)間之外,就會(huì)產(chǎn)生一定的配準(zhǔn)誤差(其中霍夫變換會(huì)出現(xiàn)3.1節(jié)中提出的誤差),這與2.2節(jié)中采用的圖像梯度選取的方向有關(guān),本文選取的角度只是在橫坐標(biāo)和縱坐標(biāo)求取,所以對(duì)于在-25°～25°之外的旋轉(zhuǎn)角度,會(huì)存在較大的誤差。另外,本文對(duì)于具有尺度變換的圖像會(huì)產(chǎn)生很大的誤差,這個(gè)產(chǎn)生的原因是對(duì)于不同尺度變換的圖像,它的前期處理方法也不同,對(duì)于此類情況還需進(jìn)一步改善。

圖7 實(shí)驗(yàn)結(jié)果

圖8 實(shí)驗(yàn)數(shù)據(jù)折線圖

4 結(jié)語(yǔ)

當(dāng)待檢測(cè)圖像存在平移旋轉(zhuǎn)時(shí),相位相關(guān)法不能進(jìn)行有效的圖像配準(zhǔn),而基于圖像特征的傅里葉梅林變換法,可以很好地解決存在平移旋轉(zhuǎn)圖像的配準(zhǔn)問題。實(shí)驗(yàn)表明本文提出的基于圖像特征的傅里葉梅林變換法能夠很好地配準(zhǔn)具有旋轉(zhuǎn)和平移的圖像,并能檢測(cè)出旋轉(zhuǎn)角度,對(duì)于平移參數(shù),則需要進(jìn)行統(tǒng)一調(diào)整。該配準(zhǔn)方法在圖像旋轉(zhuǎn)角度較大時(shí),會(huì)產(chǎn)生一定的誤差,這和條形碼梯度的求取方法有很大關(guān)系,需要對(duì)算法做進(jìn)一步的改進(jìn),使其具有更好的應(yīng)用性。

[1] Kuglin C D. C.: The phase correlation image alignment method[C]// Proc.intl Conf.cybernetics & Society,2014:163-165.

[2] Chen Hua. A survey of the feature based image registration methods [J]. digital users, 2014: 263-272.

[3] Xu Y P, Tan J, Li H P, et al. Image Matching Based on Analysis of Reliability in Log-Polar Field[J]. Advanced Materials Research,2012,532-533:1131-1135.

[4] Lv Zhanwei, Deng Fourier transform (FMT) in the distortion invariant image recognition in the application of[J]. Applied optics,2009,30(5):783-786.

[5] Chen Fangmin, Li Xin Chi, Fu Ming, et al. Realization of image mosaic of Fourier transform algorithm based on MATLAB[J]. Journal of Capital Normal University(Natural Science Edition),2009(S1):48-51.

[6] Kuglin C D. C.: The phase correlation image alignment method[C]// Proc.intl Conf.cybernetics & Society,2014:163-165.

[7] Ya Li Gan, Tu Dan, Li Guohui. Based on phase gradient related to the automatic image registration method[J]. Microelectronics and computer,2007,24(7):1-3.

[8] Li Zhongke, Wu Lenan. An image registration method based on Hof transform and phase correlation[J]. Signal processing,2004,20(2):166-169.

[9] Mukhopadhyay P, Chaudhuri B B. A survey of Hough Transform[J]. Pattern Recognition,2014,48(3):993-1010.

[10] Sun Fengrong, Liu Jiren. Fast Hof transform algorithm[J]. Journal of computers,2001,24(10):1102-1109.

Application of Fourier-Merlin Transformation Based on Image Feature in Image Registration

LI Aomei JIANG Wanli

(Officer Academy of PLA, Hefei 230000)

Aiming at the problem that phase correlation registration translation and rotation of the image have obvious error, this paper presents a method based on image feature of Fourier-Mellin transform to correct the existence of translation and rotation of the image. Firstly, gradient information extraction、 binarization、 corrosion、 expansion and other operations are carried out to the image to be registered and the template image. Then, the morphological center of the image is translated to the center of the field of view, and the polar coordinate transformation is carried out. Finally, according to the characteristics of Fourier-Mellin transform, the rotation angle of the image is obtained. Experimental results show that the proposed method has good registration of property for the image with translation and rotation.

phase correlation, polar coordinate transformation, bar code, Fourier-Mellin transformation Class Number TP391.41

2016年10月5日,

2016年11月23日

李傲梅,女，博士，教授，研究方向：模式識(shí)別、圖像處理與計(jì)算機(jī)視覺。姜萬里，男，碩士研究生，研究方向：圖像處理與計(jì)算機(jī)視覺。

TP391.41

10.3969/j.issn.1672-9722.2017.04.030