趙德利，朱尤攀,2，李 燕，曾邦澤，潘 超，羅 琳，吳 誠

?

一種基于點(diǎn)特征與Freeman鏈碼的紅外與微光圖像配準(zhǔn)算法研究

趙德利1，朱尤攀1,2，李 燕1，曾邦澤1，潘 超1，羅 琳1，吳 誠1

（1.昆明物理研究所，云南 昆明 650223；2.微光夜視技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710068）

由于紅外與微光圖像成像原理的不同，成像特征的巨大差異，研究提出了一種基于點(diǎn)特征與Freeman鏈碼的紅外與微光圖像配準(zhǔn)算法。目的是解決紅外與微光圖像配準(zhǔn)中特征點(diǎn)提取較復(fù)雜、特征匹配難的問題；采用優(yōu)化的Harris角點(diǎn)檢測算法進(jìn)行特征點(diǎn)提取，結(jié)合環(huán)形灰度區(qū)域、RSTC不變矩和Freeman鏈碼對紅外與微光圖像進(jìn)行特征點(diǎn)匹配。實(shí)驗(yàn)結(jié)果表明該算法能夠提取出有效的匹配點(diǎn)，能夠有效地解決紅外與微光圖像配準(zhǔn)中遇到的視場不統(tǒng)一、旋轉(zhuǎn)、平移問題。

紅外/微光圖像；Harris角點(diǎn)檢測；RSTC不變矩；特征多邊形；Freeman鏈碼

0 引言

圖像配準(zhǔn)是圖像處理領(lǐng)域的一項(xiàng)重要課題，在軍用夜視儀、遙感圖像處理、計(jì)算機(jī)視覺、運(yùn)動(dòng)估計(jì)、醫(yī)學(xué)圖像分析等領(lǐng)域有著廣泛的應(yīng)用，是圖像融合技術(shù)中首先解決的問題。由于不同傳感器、不同成像模式或不同時(shí)間得到的同一個(gè)對象的數(shù)據(jù)之間存在相對的平移、旋轉(zhuǎn)、不同比例的縮放關(guān)系，對具有這些關(guān)系的圖像進(jìn)行綜合分析和利用時(shí)，首先要解決圖像間的配準(zhǔn)問題[1]。

紅外技術(shù)是一種利用紅外探測器將不可見的紅外輻射轉(zhuǎn)換成可見圖像，而不需要任何光源照明的被動(dòng)成像技術(shù)；微光技術(shù)的成像主要是微光攝像機(jī)對景物進(jìn)行成像，再通過傳輸設(shè)備在接收顯示裝置上獲取景物圖像。紅外圖像、微光圖像的成像原理不一樣，成像特征具有明顯的差異，傳統(tǒng)的基于灰度或者是聯(lián)合灰度的配準(zhǔn)方法將會很難完成紅外與微光的圖像配準(zhǔn)[2-4]。

本文在傳統(tǒng)的Harris角點(diǎn)檢測算法基礎(chǔ)上，提出了一種基于點(diǎn)特征與Freeman鏈碼的紅外與微光圖像配準(zhǔn)算法。該算法針對紅外與微光圖像的不同特征，前期分別對2幅紅外圖像、微光圖像進(jìn)行特征點(diǎn)提取、優(yōu)化、并分別采用基于環(huán)形灰度區(qū)域和基于RSTC不變矩的方法對紅外圖像、微光圖像進(jìn)行特征點(diǎn)預(yù)匹配，保留紅外圖像與微光圖像的預(yù)匹配點(diǎn)，根據(jù)預(yù)匹配點(diǎn)分別可以構(gòu)建紅外與微光圖像的特征多邊形；對每個(gè)特征點(diǎn)的特征多邊形進(jìn)行Freeman編碼，根據(jù)Freeman鏈碼的相似程度來決定紅外與微光圖像的匹配點(diǎn)對；最后根據(jù)得到的紅外與微光圖像匹配點(diǎn)對來決定縮放、平移、旋轉(zhuǎn)參數(shù)。

1 算法分析與流程

1.1 Harris特征點(diǎn)提取

角點(diǎn)是指像素點(diǎn)在其領(lǐng)域內(nèi)的、方向上灰度變化足夠大的點(diǎn)，它包含了豐富的二維結(jié)構(gòu)信息，常常被稱作“興趣點(diǎn)”。目前，Harris角點(diǎn)檢測法是最常用的角點(diǎn)檢測方法。Harris角點(diǎn)檢測算法提出與圖像的自相關(guān)函數(shù)相聯(lián)系的矩陣，通過計(jì)算的特征值，即自相關(guān)函數(shù)的一階曲率來判定該點(diǎn)為角點(diǎn)[5-8]。定義為：

式中：I代表圖像在方向上的梯度；I表示圖像在方向上的梯度；￠￠()代表高斯模板；〈〉代表高斯模板與函數(shù)的卷積，－＞代表進(jìn)行對角化處理，即：

〈I2〉＝￠￠()?I2

〈II〉＝￠￠()?II

〈I2〉＝￠￠()?I2

其角點(diǎn)響應(yīng)函數(shù)CRF為：

CRF＝det－×(trace)2

式中：det為矩陣的行列式；trace為矩陣的跡；為經(jīng)驗(yàn)常數(shù)。CRF中每一點(diǎn)的元素值對應(yīng)于原圖像點(diǎn)的興趣值，則CRF的局部極大值所在點(diǎn)就是角點(diǎn)，如圖1所示。

1.2 特征點(diǎn)優(yōu)化

針對Harris角點(diǎn)檢測方法提取的特征點(diǎn)存在數(shù)量過多、不精確問題，本文提出了一種特征點(diǎn)優(yōu)化算法，在一次角點(diǎn)的基礎(chǔ)上，將CRF值進(jìn)行降序排列并進(jìn)行分段處理，提取每一段的中值，根據(jù)圖像配準(zhǔn)需求選取不同的分段處理并選取合適的特征點(diǎn)，對一次角點(diǎn)進(jìn)行了3次分段處理，根據(jù)紅外、微光圖像的特征，主要選取了每一段中CRF值偏大的特征點(diǎn)。通過該算法能夠在保留關(guān)鍵點(diǎn)的同時(shí)縮減特征點(diǎn)的個(gè)數(shù)，提高圖像匹配過程的準(zhǔn)確性[9]。

(a) 紅外圖像Harris特征點(diǎn)

(b) 微光圖像Harris特征點(diǎn)

圖1 特征點(diǎn)提取

Fig.1 Harris feature points

1.3 特征點(diǎn)預(yù)匹配

1.3.1 同源紅外圖像預(yù)匹配

本文采用準(zhǔn)確性和穩(wěn)定性較好的特征點(diǎn)區(qū)域環(huán)形灰度均值算法進(jìn)行同源紅外圖像角點(diǎn)匹配。首先分別以優(yōu)化角點(diǎn)為中心取大小不同4個(gè)圓環(huán)，分別計(jì)算參考圖像和待配準(zhǔn)圖像每個(gè)特征點(diǎn)對應(yīng)的4個(gè)圓環(huán)灰度值之和的均值，并設(shè)置單一閾值大小Ave0_subs，再分別計(jì)算4個(gè)圓環(huán)灰度均值，設(shè)置灰度均值閾值A(chǔ)ve1_subs，Ave2_subs，Ave3_subs，Ave4_subs；以參考圖像的特征點(diǎn)為參考點(diǎn)，計(jì)算參考點(diǎn)與每個(gè)待配準(zhǔn)特征點(diǎn)之間4個(gè)圓環(huán)灰度值之和的均值差，將不在閾值A(chǔ)ve0_subs之內(nèi)的特征點(diǎn)剔除，在此基礎(chǔ)上再分別計(jì)算保留的對應(yīng)特征點(diǎn)4個(gè)環(huán)形灰度值均值之差，如果都在閾值A(chǔ)ve1_subs，Ave2_subs，Ave3_subs，Ave4_subs范圍內(nèi)，則可以得到匹配的特征點(diǎn)對[9-10]。

1.3.2 同源微光圖像預(yù)匹配

文獻(xiàn)[11]給出了RSTC不變矩的定義：

2＝2/12

3＝3/13

4＝4/13

5＝5/16

6＝6/14

7＝7/16

式中：

1＝20＋02；

2＝(20－02)2＋4112；

3＝(30－312)2＋(03－321)2；

4＝(30＋12)2＋(21＋03)2；

5＝(30＋312)(30＋12)[(30＋12)2－3(21＋03)2]＋(321＋03)(21＋03)[3(30＋12)2－(21＋03)2]；

6＝(20－02)[(30＋12)2－(21＋03)2]＋411(30＋12)(21＋03)；

7＝(321－03)(30＋12)[(30＋12)2－3(21＋03)2]＋(321－03)(21＋03)[3(30＋12)2－(21＋03)2]。

文獻(xiàn)[11]已經(jīng)證明了在離散情況下RSTC不變矩2～7同時(shí)具有了平移、旋轉(zhuǎn)、尺度縮放及對比度變化不變，針對微光圖像的特征，本文采用RSTC不變矩來對同源微光圖像進(jìn)行特征點(diǎn)匹配[12-15]，如圖2，匹配過程為：

Step1：分別計(jì)算源圖像和待配準(zhǔn)圖像的RSTC不變矩；

Step2：RSTC不變矩2～7求均值，得到Y(jié)_AVE；

Step3：分別計(jì)算源圖像每個(gè)特征點(diǎn)與所有待配準(zhǔn)圖像特征點(diǎn)的Y_AVE差值；

Step4：將源圖像每個(gè)特征點(diǎn)與所有待配準(zhǔn)圖像特征點(diǎn)求得的Y_AVE差值進(jìn)行升序排列；

Step5：根據(jù)Y_AVE的最小值設(shè)定閾值YZ_1，YZ_1的值設(shè)置為0.00232。

1.4 紅外與微光圖像特征點(diǎn)匹配

1.4.1 特征多邊形構(gòu)建

多邊形構(gòu)建主要處理方式一般分為：設(shè)定誤差閾值，獲得滿足此閾值的最小頂點(diǎn)的多邊形，設(shè)定頂點(diǎn)個(gè)數(shù)上限，獲得滿足上限的最小多邊形。多邊形構(gòu)建算法常用的主要有Douglas-Peucker（DP）算法和Rosenfeld-Johnson、The-Chin算法。本文對以上方法進(jìn)行分析，主要采用的方法步驟有：分別經(jīng)過紅外圖像、微光圖像的預(yù)匹配之后，得到預(yù)匹配點(diǎn)，選取較為中心的點(diǎn)A，分別計(jì)算點(diǎn)A與其他點(diǎn)之間的相對距離，確定最小距離B點(diǎn)，最遠(yuǎn)距離C點(diǎn)，得到多邊形的兩條邊；再分別以B點(diǎn)、C點(diǎn)為初始點(diǎn)，計(jì)算與其余點(diǎn)之間的最短距離，剔除重復(fù)點(diǎn)可依次確定多邊形的各條邊，如圖3所示。

圖2 微光圖像角點(diǎn)匹配

圖3 紅外、微光圖像特征多邊形

1.4.2 Freeman鏈碼

Freeman鏈碼的定義描述[16]：任選一個(gè)像素點(diǎn)（通常對已細(xì)化的圖像進(jìn)行）作為參考點(diǎn)，與其相鄰的像素分別在8個(gè)不同的位置上，給他們賦予方向0～7（如圖4），稱為0～7位鏈碼方向值，一個(gè)線條可以用Freeman鏈碼的碼值串來表示稱為該線條圖形的鏈碼，如圖5，給出了一個(gè)9×9的點(diǎn)陣圖，其中一條線段，S為起始點(diǎn)，E為終點(diǎn)，此線段可以表示為＝43322100000066。

321 4P0 567

1111111 11 1E 1 1 1S1 1 1

1.5 控制點(diǎn)配準(zhǔn)

本文算法是對提取的預(yù)匹配特征點(diǎn)進(jìn)行多邊形逼近，用多邊形來進(jìn)行最終特征點(diǎn)的匹配。Freeman鏈碼對于多邊形分析具有強(qiáng)大的作用，對于多邊形的頂點(diǎn)和邊的描述很方便，可以減少計(jì)算量，對構(gòu)建的多邊形進(jìn)行Freeman編碼，由于提取出的預(yù)匹配點(diǎn)不完全相同，作者在判定的時(shí)候，如果Freeman鏈碼的重復(fù)度大于50%則認(rèn)定為該點(diǎn)對為匹配點(diǎn)對，根據(jù)匹配點(diǎn)對則可以計(jì)算出平移、旋轉(zhuǎn)、縮放參數(shù)，圖6為實(shí)現(xiàn)步驟。

本文中兩次使用了特征多邊形，第一次構(gòu)建多邊形是在預(yù)匹配點(diǎn)的基礎(chǔ)上得到的，目的是提取最終我們希望的特征點(diǎn)對；第二次構(gòu)建特征多邊形其目的是計(jì)算旋轉(zhuǎn)、縮放參數(shù)，在得到紅外與微光圖像匹配點(diǎn)對之后，分別構(gòu)建出紅外微光圖像特征點(diǎn)多邊形，計(jì)算對應(yīng)各邊在水平、垂直的比例均值和各邊與水平方向、垂直方向的夾角，計(jì)算出兩幅圖像的縮放比例和旋轉(zhuǎn)參數(shù)。

圖6 配準(zhǔn)過程

1.6 算法流程

本文算法重點(diǎn)引入基準(zhǔn)紅外圖像和基準(zhǔn)微光圖像來進(jìn)行預(yù)匹配特征點(diǎn)提取，將初匹配過程轉(zhuǎn)化為同源圖像的處理過程，此方法不但能夠滿足實(shí)驗(yàn)要求，而且還減少了算法的復(fù)雜度，有利于紅外與微光圖像的特征點(diǎn)對提取，算法流程如圖7，重點(diǎn)解決的問題有：

1）同源圖像特征點(diǎn)優(yōu)化過程；

2）同源圖像特征點(diǎn)匹配；

3）特征點(diǎn)多邊形的構(gòu)建；

4）引入Freeman鏈碼作為匹配相似度的度量；

5）解決紅外與微光圖像配準(zhǔn)中出現(xiàn)的平移、旋轉(zhuǎn)、縮放問題。

2 實(shí)驗(yàn)仿真結(jié)果

算法仿真結(jié)果基于MATLAB R2010b平臺，圖8為本文算法的紅外與微光圖像配準(zhǔn)結(jié)果。從圖像明顯特征可以看出，配準(zhǔn)效果較好，圖像信息如表1所示。

表1中平移、旋轉(zhuǎn)、縮放參數(shù)是以紅外圖像作為基準(zhǔn)圖像得到的。

和參考文獻(xiàn)[17]相比，本文算法能夠提取出更加精確的特征點(diǎn)，減少算法的后期運(yùn)算量，從表2中還能看出，算法的匹配準(zhǔn)確率更高。

圖7 算法流程

圖8 配準(zhǔn)結(jié)果

表1 圖像信息

表2 匹配對比 Table 2 Matching comparison

3 結(jié)論

本文提出了一種基于點(diǎn)特征與Freeman鏈碼的紅外與微光圖像配準(zhǔn)算法，通過前期引入基準(zhǔn)紅外圖像和微光圖像進(jìn)行預(yù)匹配，得到預(yù)匹配點(diǎn)，對預(yù)匹配點(diǎn)進(jìn)行多邊形逼近，分析兩幅圖像中的對應(yīng)多邊形，對多邊形進(jìn)行Freeman編碼，得到最終的紅外、微光圖像匹配點(diǎn)對。這種算法具有特征點(diǎn)配準(zhǔn)的穩(wěn)定性與準(zhǔn)確性，可以針對許多方法失效的復(fù)雜的紅外與微光圖像進(jìn)行配準(zhǔn)，比傳統(tǒng)的角點(diǎn)特征配準(zhǔn)算法具有更高的精確度和可操作性。本文算法解決了紅外與微光圖像配準(zhǔn)中出現(xiàn)的旋轉(zhuǎn)、平移、縮放（視場不統(tǒng)一）問題。

[1] Manjusha Deshmukh, Udhav Bhosle. A survey of image registration[J].:(), 2011, 5: 246-269.

[2] Zitova B, Flusser J. Image registration methods: a survey[J]., 2003, 21: 977-l000.

[3] Waxman A M. Solid-state color night vision: fusion of lowlight visible and thermal infrared Imagery[J]., 1999, 11: 41-60.

[4] 陳健, 高慧斌, 王偉國, 等. 超分辨率復(fù)原方法相關(guān)原理研究[J]. 中國光學(xué), 2014, 7(6): 897-910.

[5] 趙輝. 基于點(diǎn)特征的圖像配準(zhǔn)算法研究[D]. 濟(jì)南: 山東大學(xué), 2003.

[6] 戴璐. 基于改進(jìn)SIFT電子穩(wěn)像[D]. 北京: 北京理工大學(xué), 2013.

[7] 謝萍. 基于Harris角點(diǎn)與SIFT特征的近景影像匹配[D]. 長沙: 中南大學(xué), 2011.

[8] 焦繼超. 基于多特征聯(lián)合的多源圖像配準(zhǔn)技術(shù)研究[D]. 北京: 北京理工大學(xué), 2013.

[9] 趙德利, 朱尤攀, 吳誠, 等. 一種改進(jìn)的聯(lián)合點(diǎn)特征與灰度特征的紅外圖像配準(zhǔn)算法研究[J]. 紅外技術(shù), 2014, 36(10): 820-826.

[10] 邵澤名, 朱劍英. RSTC不變矩圖像特征點(diǎn)匹配新方法[J]. 華南理工大學(xué)學(xué)報(bào), 2008, 36(8): 37-40.

[11] 王連亮，陳懷新. 圖像識別的RSTC不變矩[J]. 數(shù)據(jù)采集與處理, 2006, 21(2): 225-229.

[12] 李鵬, 朱宏輝. 一種改進(jìn)的不變矩方法在圖像El標(biāo)識別中的應(yīng)用[J]. 交通與計(jì)算機(jī), 2004, 22(2): 88-90.

[13] 杜亞娟, 潘泉, 張洪才. 一種新的不變矩特征在圖像識別中的應(yīng)用[J]. 系統(tǒng)工程與電子技術(shù), 1999, 21( 10): 71-85.

[14] 丁明躍, 常金玲, 彭嘉雄. 不變矩算法研究[J]. 數(shù)據(jù)采集與處理, 1992, 7(1): 1-9.

[15] 錢忠良, 王文軍. 不變矩目標(biāo)特征描述誤差分析和基于上層建筑不變矩的艦船識別[J]. 電子測量與儀器學(xué)報(bào), 1994, 8(3): 23-31.

[16] 吳東東, 周東翔, 關(guān)濤, 等. 一種基于輪廓多邊形逼近的可見光與紅外圖像配準(zhǔn)方法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2012, 29(10): 28-31.

[17] 欒瑩瑩. 微光與紅外圖像配準(zhǔn)技術(shù)研究[D].南京: 南京理工大學(xué), 2010.

Investigation on Infrared and Low Light Level Image Registration Algorithm Based on Point Feature and Freeman Chain Code

ZHAO De-li1，ZHU You-pan1,2，LI Yan1，ZENG Bang-ze1，PAN Chao1，LUO Lin1，WU Cheng1

（1.，650223，；2.，710068，）

The paper puts forward a registration algorithm of infrared and LLL image based on the point feature and the Freeman chain code, as a result of different principle and features of infrared and low light level images. This algorithm has been designed to solve the problem of complex feature point extraction and difficult feature matching of infrared and low light level image registration. This algorithm extracts feature points by optimizing the Harris corner detection algorithm and matches feature points combining with the annular gray region, RSTC moment in variants and Freeman chain code. Experimental results show that such algorithm can extract the matching point effectively, meet the effective solution in the field that is not uniform, rotation, translation of infrared and low light level image registration problems.

infrared and low light level image，Harris corner detection，RSTC invariant moments，polygon of feature points，freeman chain code

TP391

A

1001-8891(2015)06-0467-05

2014-11-19；

2014-12-19.

趙德利（1989-），男，碩士研究生，研究方向?yàn)榧t外光電系統(tǒng)。

朱尤攀（1978-），男，碩士生導(dǎo)師，研究方向?yàn)榧t外光電系統(tǒng)。

國防預(yù)研項(xiàng)目。