何國(guó)棟， 石建平， 馮友宏， 謝小娟， 楊凌云

(安徽師范大學(xué) 物理與電子信息學(xué)院，安徽 蕪湖 241000)

一種新的紅外與可見光圖像融合算法*

何國(guó)棟， 石建平， 馮友宏， 謝小娟， 楊凌云

(安徽師范大學(xué) 物理與電子信息學(xué)院，安徽 蕪湖 241000)

提出了一種新的紅外與可見光圖像融合算法，首先應(yīng)用非抽樣Contourlet變換(NSCT)對(duì)圖像進(jìn)行多尺度、多方向變換，對(duì)變換的低頻子帶采用改進(jìn)的能量加權(quán)法融合，帶通子帶融合采用最大系數(shù)與區(qū)域方差加權(quán)相結(jié)合方法，然后對(duì)融合的2個(gè)子帶系數(shù)進(jìn)行NSCT反變換，得到融合圖像。對(duì)不同算法的融合實(shí)驗(yàn)結(jié)果進(jìn)行比較，通過主觀和客觀評(píng)價(jià)，該算法融合效果較好。

圖像融合; 非抽樣Contourlet變換; 紅外圖像; 可見光圖像

0 引 言

圖像融合是一門建立在傳感器、信號(hào)處理、圖像處理和人工智能等理論基礎(chǔ)上的新興研究領(lǐng)域。圖像融合提取多幅圖像的重要信息，并將其融合為一幅圖像，通過一幅圖像表達(dá)多幅圖像所包含的信息，得到一個(gè)準(zhǔn)確、全面和立體的場(chǎng)景描述，實(shí)現(xiàn)以較少的資源表達(dá)最大的信息量。紅外圖像根據(jù)物體的熱紅外輻射特性成像，紅外線能穿透一般的掩體，它常應(yīng)用在夜晚或檢測(cè)隱藏目標(biāo)?？梢姽鈭D像應(yīng)用物體表面可見光反射特性成像，設(shè)備簡(jiǎn)單且應(yīng)用較廣，但是它受氣候和能見度等環(huán)境因素影響較大。紅外與可見光融合后的圖像既能描述場(chǎng)景的環(huán)境信息，又能檢測(cè)場(chǎng)景可能存在的隱藏信息，可以廣泛應(yīng)用于軍事偵查和海關(guān)檢測(cè)等領(lǐng)域，目前已經(jīng)成為圖像領(lǐng)域的研究熱點(diǎn)[1]。

小波變換具有較好的時(shí)頻特性，廣泛應(yīng)用于信號(hào)處理和圖像處理等相關(guān)領(lǐng)域[2]。Contourlet變換是一種新的小波變換，它由Do M N和Vetterli M在2002年提出[3]，它比傳統(tǒng)的小波變換具有更好的各向異性和更多的方向性，能夠準(zhǔn)確地表達(dá)圖像的邊緣細(xì)節(jié)信息，更好地稀疏表達(dá)圖像[4]。由于Contourlet變換中存在上采樣和下采樣，會(huì)引入偽Gibbs效應(yīng)[5]，導(dǎo)致圖像的邊緣較為模糊。2006年,Cunha A L，Do M N等人提出了非抽樣Contourlet變換，它去除了上、下采樣過程，它所具有的平移不變性有效地克服了偽Gibbs效應(yīng)[6,7]，與Contourlet變換比較，它能更加清晰地表達(dá)圖像。文獻(xiàn)[8]將非抽樣Contourlet變換與圖像融合相結(jié)合，得到了較好的融合效果。

本文提出了一種新的紅外與可見光圖像融合算法，應(yīng)用非抽樣Contourlet變換對(duì)兩類圖像進(jìn)行變換，得到低頻和帶通系數(shù)，對(duì)變換得到的系數(shù)分別采用不同的融合算子進(jìn)行融合。仿真結(jié)果顯示：與其他算法相比，本文提出的算法能更好地提取紅外與可見光圖像的重要信息，并進(jìn)行融合，得到了較好的效果。

1 紅外與可見光圖像融合算子

非抽樣Contourlet變換具有較好的圖像表達(dá)特性，是圖像處理領(lǐng)域重要的變換方法，本文對(duì)變換的高頻和低頻子帶系數(shù)分別使用不同的融合算子。

1.1 低頻融合算子

圖像非抽樣Contourlet變換得到的低頻分量是源圖像的概貌信息，紅外圖像和可見光圖像在重要信息點(diǎn)往往表現(xiàn)互斥特性(隱藏在樹葉后的人和樹葉)，簡(jiǎn)單的加權(quán)平均可能會(huì)弱化重要的目標(biāo)信息。文獻(xiàn)[8，9]采用一種基于能量加權(quán)的低頻信息融合規(guī)則，計(jì)算得到的區(qū)域能量即為融合的權(quán)值，獲得了較好的效果，但該方法沒有考慮目標(biāo)信息的重要性，為突出目標(biāo)信息，本文提出了低頻融合算子。

首先對(duì)低頻分量進(jìn)行分塊(N×N，N=3,5,7,…)，計(jì)算其能量值，然后根據(jù)公式(1)對(duì)低頻系數(shù)進(jìn)行融合

(1)

(2)

式中EI,i和EV,i分別為紅外和可見光圖像低頻分量第i個(gè)子塊的能量I，V分別表示紅外圖像和可見光圖像。

1.2 高頻融合算子

(3)

(4)

2 紅外圖像與可見光圖像融合算法

本文提出了一種新的應(yīng)用非抽樣Contourlet變換的紅外與可見光圖像融合算法，具體融合實(shí)現(xiàn)步驟如下：

1)對(duì)待融合的圖像進(jìn)行非抽樣Contourlet變換，得到k層、m方向的分解系數(shù)；

2)對(duì)分解的低頻和高頻系數(shù)應(yīng)用本文提出的融合算法進(jìn)行融合；

3)將上一步融合得到的融合系數(shù)進(jìn)行非抽樣Contourlet反變換，獲得融合圖像。

3 融合圖像的評(píng)價(jià)

圖像處理的評(píng)價(jià)主要有客觀數(shù)值和主觀肉眼觀測(cè)2種，客觀評(píng)價(jià)主要依靠具體的評(píng)價(jià)標(biāo)準(zhǔn)，主觀評(píng)價(jià)則主要觀測(cè)圖像是否清晰等。本文采用偏差、均值和信息熵3個(gè)衡量標(biāo)準(zhǔn)對(duì)圖像進(jìn)行客觀定量評(píng)價(jià)。

1)均值：均值反映的是一幅圖像的平均灰度，均值過大或過小都將影響圖像的視覺效果，圖像融合提取了源圖像的特征，一般融合后的圖像均值會(huì)增大，其計(jì)算公式為

(5)

其中,F(i,j)為融合后圖像的灰度值，M,N為圖像的大小。

2)偏差：主要是計(jì)算融合后的圖像與源圖像之間的偏離程度，偏差越小，融合圖像即更加接近源圖像，較好地保留了源圖像信息，偏差計(jì)算公式為

(6)

式中F表示融合圖像，X(=I,V)表示源圖像，M,N為圖像的大小，最終的融合偏差是融合圖像與兩幅源圖像偏差值的平均。

3)信息熵：為了描述信號(hào)包含信息量的大小，香農(nóng)提出信息熵的概念，香農(nóng)公式已經(jīng)應(yīng)用到圖像領(lǐng)域中，用來分析圖像包含的信息量大小，其計(jì)算公式如下

(7)

式中L為一幅圖像總的灰度等級(jí)，Pi為灰度值為i的像素出現(xiàn)概率，信息熵越大說明圖像包含的信息量越豐富

4 實(shí)驗(yàn)與算法效果分析

為了驗(yàn)證算法的有效性，本文選擇3組紅外與可見光圖像進(jìn)行實(shí)驗(yàn)，選擇2種算法：1)Contourlet+本文算法(簡(jiǎn)稱CT算法)；2)參考文獻(xiàn)[9]提出的算法(簡(jiǎn)稱R[9]算法)。對(duì)這3種算法的融合效果進(jìn)行比較，圖像如圖1，融合的性能指標(biāo)如表1。

源圖像和3種算法得到的融合圖像如圖1所示，對(duì)同一組圖像，對(duì)比不同的融合算法可以看出：1)本文提出的算法融合圖像場(chǎng)景較清晰，從第一組圖中可以看出，場(chǎng)景小樹和小山丘較清晰；2)融合圖像邊緣保留較好，第二組圖中輪廓分明的海岸線較前2種算法都清晰；3)從第三組圖可以看出，紅外圖像中的目標(biāo)信息相比其他2種算法保留較好，圖中的紅外目標(biāo)(人)明顯比其他算法清晰且突出。本文算法更好地提取了紅外和可見光圖像的重要目標(biāo)信息，并進(jìn)行融合，主觀評(píng)價(jià)本文算法融合效果優(yōu)于其他算法。

圖1 源圖像和融合圖像Fig 1 Source images and fused images

第一組均值偏差信息熵 第二組均值偏差信息熵 第三組均值偏差信息熵紅外97.4342-4.6656 97.9709-4.8429 80.2624-4.6828可見光84.0499-4.9258 114.1118-4.0990 21.6197-3.5501CT算法95.187221.64574.4372 117.081135.64064.1807 68.977032.51924.5609R[9]算法97.417021.40724.4384 119.815735.65394.0776 71.906932.52104.5690本文算法97.429821.88524.5662 119.843135.70524.1896 71.877832.78494.6780

5 結(jié)束語(yǔ)

利用非抽樣Contourlet變換優(yōu)越的圖像描述性能，針對(duì)紅外與可見光圖像，本文提出了一種新的融合算法。根據(jù)兩類圖像的特點(diǎn)，分別對(duì)變換得到的低頻子帶系數(shù)和帶通子帶系數(shù)采用改進(jìn)的基于能量和方差的加權(quán)融合規(guī)則，較好地保留了圖像低頻差異信息和高頻邊緣細(xì)節(jié)。對(duì)比不同算法的實(shí)驗(yàn)結(jié)果，本文提出的算法更好地提取了紅外與可見光圖像的重要特征信息，融合的圖像清晰，目標(biāo)特征明確，融合效果較好。

[1] 敬忠良,肖 剛,李振華.圖像融合:理論與應(yīng)用[M].北京：高等教育出版社,2007.

[2] 張明源,王宏力,陳國(guó)棟.基于小波分析的多源圖像融合去云技術(shù)研究[J].傳感器與微系統(tǒng),2007,26(11):19-21.

[3] Do M N,Vetterli M.The contourlet transform:An efficient directional multi-resolution image representation[J]．IEEE Trans on Image Proc,2005,14(12):2091-2106.

[4] 焦李成,譚 山.圖像的多尺度幾何分析:回顧和展望[J].電子學(xué)報(bào),2003,31(12A):1975-1981.

[5] Coifman R R,Donoho D L.Translation-invariant de-noising[M].New York:Springer Verlag,1995:125-150.

[6] Cunha Arthur L,Zhou Jianping,Do M N.The nonsubsampled con-tourlet transform:Theory,design,and applications [J].IEEE Trans on Image Processing,2006,15(10):3089-3101.

[7] Shensa M J.The discrete wavelet transform:Wedding the à trous and Mallat algorithms [J].IEEE Trans on Signal Processing,1992,40(10):2464-2482.

[8] 何國(guó)棟,于 梅,殷 兵,等.基于非抽樣Contourlet 變換的醫(yī)學(xué)圖像融合算法[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(26):186-187.

[9] 何國(guó)棟,梁 棟,姚 紅,等.基于非抽樣Contourlet 變換的紅外圖像和可見光圖像融合算法[J].微電子學(xué)與計(jì)算機(jī),2009,26(2):8-11.

A novel image fusion algorithm for infrared and visible light*

HE Guo-dong, SHI Jian-ping, FENG You-hong, XIE Xiao-juan, YANG Ling-yun

(College of Physics and Electronic Information,Anhui Normal University,Wuhu 241000,China)

A image novel fusion algorithm for infrared and visible is proposed,firstly,the images are transformed at multi-scales and multi-directions using nonsubsampled contourlet transform(NSCT),and the transformed low frequency subband is fused by improved energy weighting method,and the bandpass subband coefficients is fused by method combined the maximum coefficients with regional variance weighting,then the fused two subband coefficients is reconstructed by inverse NSCT to get fused image.The fused experimental result of different algorithms are compared,it shows that this algorithm has better fusion effect than other fusion algorithms.

image fusion; nonsubsampled contourlet transform(NSCT); infrared image; visible light image

2014—01—15

中科院光電技術(shù)研究所微細(xì)加工光學(xué)技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(KFS4)；安徽省高校省級(jí)自然科學(xué)基金資助項(xiàng)目(KJ2011Z138)；安徽師范大學(xué)校青年基金資助項(xiàng)目(2009XQN64)

TP 391

A

1000—9787(2014)04—0139—03

何國(guó)棟(1980-)，男，博士研究生，現(xiàn)主要從事信號(hào)處理、圖像處理的研究。