孫新德，薄樹奎

(鄭州航空工業(yè)管理學(xué)院計(jì)算機(jī)科學(xué)與應(yīng)用系，河南鄭州450015)

1 引言

圖像融合就是綜合利用各成像傳感器得到的不同圖像的互補(bǔ)信息和冗余信息，獲得對(duì)該場(chǎng)景更為全面、準(zhǔn)確的圖像描述［1］。圖像融合技術(shù)已經(jīng)應(yīng)用在軍事、遙感、醫(yī)學(xué)圖像處理、自動(dòng)目標(biāo)識(shí)別以及計(jì)算機(jī)視覺等領(lǐng)域。

近年來(lái)，有不少學(xué)者提出了各種圖像融合方法，特別是基于多尺度分析的方法被廣泛應(yīng)用［2］。一幅圖像經(jīng)過(guò)多尺度分解后可以得到多個(gè)子帶。各個(gè)子帶反映圖像特征的側(cè)重點(diǎn)不同。通常低頻子帶集中了圖像的大部分能量，決定圖像的輪廓;高頻子帶含有豐富的邊緣和細(xì)節(jié)信息。因此，在基于多尺度分解的圖像融合中，應(yīng)該根據(jù)低頻子帶和高頻子帶的特點(diǎn)采用不同的方法進(jìn)行融合。因此本文在對(duì)系數(shù)鄰域統(tǒng)計(jì)分析的基礎(chǔ)上，提出了針對(duì)不同子帶采用不同融合策略的紅外與可見光圖像融合方法。低頻子帶采用基于目標(biāo)參數(shù)和場(chǎng)景參數(shù)的自適應(yīng)加權(quán)融合規(guī)則;高頻子帶采用受鄰域統(tǒng)計(jì)信息調(diào)制的系數(shù)比較取大融合規(guī)則。本文把這種融合規(guī)則用于紅外與可見光圖像融合實(shí)驗(yàn)，得到了具有更好視覺效果和更優(yōu)量化指標(biāo)的融合圖像。

2 圖像融合算法分析

一幅圖像經(jīng)過(guò)多尺度分解后可以得到多個(gè)子帶。各個(gè)子帶反映圖像特征的側(cè)重點(diǎn)不同。通常低頻子帶集中了圖像的大部分能量，決定圖像的輪廓;高頻子帶含有豐富的邊緣和細(xì)節(jié)信息。因此，在基于多尺度分解的圖像融合中，需要根據(jù)低頻子帶和高頻子帶的特點(diǎn)采用不通用的方法進(jìn)行融合。

2.1 低頻子帶系數(shù)融合

圖像的低頻子帶決定了圖像的輪廓，因此低頻子帶系數(shù)的融合必定是基于能量的融合。最常見的方法是加權(quán)平均，見式(1):

式中，C1(m，n)為第一幅圖像的低頻子帶系數(shù);w1為第一幅圖像的低頻子帶的融合權(quán)重系數(shù)，C2(m，n)為第二幅圖像的低頻子帶系數(shù);w2為第二幅圖像的低頻子帶的融合權(quán)重系數(shù)。w1和w2為非負(fù)小數(shù)，且w1+w2=1。

可見光成像傳感器與紅外成像傳感器是根據(jù)不同的機(jī)理成像的。前者主要是根據(jù)物體的光譜反射特性成像，而后者主要是根據(jù)物體的熱輻射特性成像。因而，通?？梢姽鈭D像很好地描述了場(chǎng)景信息，而紅外圖像很好地給出了目標(biāo)的存在特性［3］。因此，我們把權(quán)重系數(shù)w1和w2分別與紅外圖像和可見光圖像的物理特征相聯(lián)系，制定了基于圖像物理特征的低頻子帶系數(shù)融合策略。

在紅外圖像應(yīng)用中，目標(biāo)往往是一些高亮度的連續(xù)斑塊，融合時(shí)應(yīng)該給以高權(quán)重。這些斑塊通常具有特征:局部區(qū)域均值高于整體均值，并且局部區(qū)域方差小。因此可以定義目標(biāo)特征參數(shù)為:

式中，EL(m，n)為局域均值;E為低頻子帶均值;σL(m，n)為局域方差;α和β為調(diào)節(jié)系數(shù)且0＜α，β≤1;局域取點(diǎn)(m，n)的鄰域。在融合過(guò)程中調(diào)整α和β的值可以微調(diào)融合圖像的質(zhì)量。

可見光圖像含有較豐富的場(chǎng)景信息。一幅圖像中，場(chǎng)景信息豐富的區(qū)域方差會(huì)比較大，融合時(shí)也應(yīng)該給以高權(quán)重。因此可定義場(chǎng)景特征參數(shù):

所以可以把加權(quán)平均融合的權(quán)重系數(shù)w1和w2分別定義為:

顯然，w1和w2是圖像像素位置坐標(biāo)(m，n)的函數(shù)。因此，在根據(jù)公式(1)進(jìn)行紅外與可見光圖像低頻子帶系數(shù)融合過(guò)程中，w1和w2隨(m，n)鄰域統(tǒng)計(jì)特性變化而變化，即隨像素坐標(biāo)(m，n)變化自適應(yīng)地調(diào)整。

2.2 高頻子帶系數(shù)融合

圖像經(jīng)過(guò)多尺度分解后得到的高頻子帶系數(shù)含有豐富的邊緣和細(xì)節(jié)信息。子帶系數(shù)攜帶圖像信息量與系數(shù)大小相關(guān)，一些人在進(jìn)行融合時(shí)采用了系數(shù)比較取大策略［4－5］。實(shí)際上，圖像信息量除與子帶系數(shù)大小有關(guān)，還與子帶系數(shù)鄰域的系數(shù)空間分布有關(guān)［2］。本文制定了綜合考慮子帶系數(shù)大小和鄰域系數(shù)分布的高頻子帶系數(shù)融合規(guī)則。

高頻子帶中，某系數(shù)鄰域的系數(shù)分布越雜亂，其攜帶圖像信息量就會(huì)越大。某系數(shù)的鄰域系數(shù)分布雜亂程度可以用該系數(shù)與其鄰域系數(shù)符號(hào)相同的概率來(lái)描述。設(shè)P(m，n)為高頻子帶系數(shù)C(m，n)與其鄰域內(nèi)系數(shù)具有相同符號(hào)的概率，其定義為:

即P(m，n)等于鄰域內(nèi)與C(m，n)符號(hào)相同的系數(shù)個(gè)數(shù)除以鄰域內(nèi)總的系數(shù)個(gè)數(shù)。顯然，當(dāng)C(m，n)與其鄰域內(nèi)系數(shù)符號(hào)均相同時(shí)P(m，n)=1;當(dāng)C(m，n)與其鄰域內(nèi)系數(shù)符號(hào)均不相同時(shí)P(m，n)=0。這兩種極端情況對(duì)應(yīng)著鄰域系數(shù)分布雜亂度最低，因此鄰域系數(shù)分布雜亂度高低與P(m，n)×(1－P(m，n))的大小對(duì)應(yīng)。所以，定義高頻子帶系數(shù)融合參數(shù)為:

T(m，n)包含了系數(shù)自身大小信息和鄰域系數(shù)分布信息。如果系數(shù)C(m，n)的T較大，則其攜帶信息量就大，那么其對(duì)融合的貢獻(xiàn)就應(yīng)該多。于是，受鄰域統(tǒng)計(jì)信息調(diào)制的系數(shù)比較取大的圖像融合規(guī)則為:

式中，CF(m，n)為融合圖像高頻系數(shù);Ci(m，n)為紅外圖像高頻系數(shù);Ti(m，n)為紅外圖像高頻子帶系數(shù)融合參數(shù);Cv(m，n)為可見光圖像高頻系數(shù);Tv(m，n)為可見光圖像高頻子帶系數(shù)融合參數(shù)。

3 圖像融合算法流程

根據(jù)上面的分析，可總結(jié)出紅外與可見光圖像融合算法流程如下:

1)分別對(duì)已經(jīng)配準(zhǔn)的紅外與可見光圖像多尺度分解。

2)根據(jù)式(4)計(jì)算紅外圖像低頻子帶融合權(quán)重系數(shù)w1(m，n)和可見光圖像低頻子帶融合權(quán)重系數(shù)w2(m，n);根據(jù)式(1)進(jìn)行低頻子帶系數(shù)融合。

3)根據(jù)式(6)分別計(jì)算紅外圖像和可見光圖像高頻子帶系數(shù)融合參數(shù)Ti(m，n)和Tv(m，n);根據(jù)式(7)進(jìn)行高頻子帶系數(shù)融合。

4)利用融合的低頻和高頻系數(shù)重構(gòu)融合圖像。

4 融合效果仿真實(shí)驗(yàn)與性能評(píng)價(jià)

為了檢驗(yàn)本文算法的有效性，以來(lái)自www.imagefusion.org的UNcamp和 Trees圖像為例，在Matlab R2006平臺(tái)上進(jìn)行了測(cè)試。

圖1 UN Camp圖像測(cè)試結(jié)果

圖1 和圖2分別為基于為UN Camp和Trees圖像的測(cè)試結(jié)果。其中，(a)是待融合的紅外圖像，(b)是待融合的可見光圖像，(c)是低頻簡(jiǎn)單平均高頻取大的融合圖像，(d)是低頻簡(jiǎn)單平均高頻進(jìn)行鄰域統(tǒng)計(jì)的融合圖像，(e)是根據(jù)文獻(xiàn)［6］算法的融合圖像，(f)是根據(jù)本文算法的融合圖像。實(shí)驗(yàn)中，圖像多尺度分解采用的是單層二維離散小波分解，小波為db2;本文算法中的調(diào)節(jié)系數(shù)α和β的取值:α =0.5，β =1(UN Camp)，α =0.5，β =0.9(Trees);像素鄰域大小為4鄰域。從測(cè)試結(jié)果可以看出，幾種算法都很好地保留了可見光圖像的背景信息和紅外圖像的目標(biāo)信息。但仔細(xì)比較可以看出，本文方法得到的融合圖像能夠在目標(biāo)和場(chǎng)景細(xì)節(jié)表現(xiàn)上達(dá)到更好的平衡。比如圖2中雖然本文算法融合圖像的目標(biāo)不是最清晰(并不影響識(shí)別)，但是像樹林、山霧等場(chǎng)景信息最接近原來(lái)的可見光圖像。

圖2 Trees圖像測(cè)試結(jié)果

采用了四種客觀評(píng)價(jià)指標(biāo)對(duì)融合圖像的質(zhì)量進(jìn)行客觀評(píng)價(jià)。四種評(píng)價(jià)指標(biāo)分別是平均梯度(AG)、信息熵(IE)、平均互信息(MMI)以及平均結(jié)構(gòu)相似度(MSSIM)［7］。平均梯度(AG)可以敏感地反映圖像的微小細(xì)節(jié)，還可以反映圖像的紋理變換特征，常用來(lái)評(píng)價(jià)圖像的清晰度，平均梯度越大表示圖像越清晰。IE反映融合圖像包含信息的豐富程度。MMI則是融合圖像分別與兩幅原始圖像互信息(MI)的平均值，反映從原始圖像繼承信息的多少。MSSIM是融合圖像分別與兩幅原始圖像SSIM的平均值，用來(lái)衡量融合圖像的信息保留程度。

表1 融合圖像性能評(píng)價(jià)

表1是融合圖像客觀評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果。從表1數(shù)據(jù)可以看出，采用本文方法的融合圖像(圖1(f)和圖2(f))的評(píng)價(jià)參數(shù)均為最好，得到的融合圖像最清晰，細(xì)節(jié)最豐富，包含的信息量最大。

5 結(jié)論

紅外圖像與可見光圖像融合技術(shù)應(yīng)用非常廣泛。本文在圖像多尺度分解的基礎(chǔ)上，分析了紅外和可見光圖像的成像特點(diǎn)，定義了反映圖像物理特性的目標(biāo)特征參數(shù)和場(chǎng)景特征參數(shù)以及鄰域系數(shù)分布特征參數(shù)，提出了一種基于鄰域統(tǒng)計(jì)信息的高低頻子帶規(guī)則不同的圖像融合算法。實(shí)驗(yàn)結(jié)果表明本文所提算法能夠?qū)⒓t外圖像與可見光圖像中的重要信息提取并注入到融合圖像中，而且融合圖像質(zhì)量量化指標(biāo)優(yōu)于其他一些算法。

［1］ Han Chongzhao，Zhu Hongyan，Duan Zhansheng，et al.Multisource information fusion［M］.Beijing:Tsinghua U-niversity Publishing Company，2006.(in Chinese)韓崇昭，朱洪艷，段戰(zhàn)勝，等.多源信息融合［M］.北京:清華大學(xué)出版社，2006.

［2］ Ma Donghui，Xue Qun，Chai Qi，et al.Infrared and visible images fusion method based on image information［J］.Infrared and Laser Engineering，2011，40(6):1168 －1171.(in Chinese)馬東輝，薛群，柴奇，等.基于圖像信息的紅外與可見光圖像融合方法研究［J］.紅外與激光工程，2011，40(6):1168－1171.

［3］ Zhang Qiang，Guo Baolong.Fusing of infrared and visible light images based on nonsubsampled Contourlet transform［J］.Journal of Infrared and Millimeter Waves，2007，26(6):476 －480.(in Chinese)張強(qiáng)，郭寶龍.一種基于非采樣Contourlet變換紅外圖像與可見光圖像融合算法［J］.紅外與毫米波學(xué)報(bào)，2007，26(6):476 －480.

［4］ Zou Rong，Li Lingling，Li Cuihua.Multi－ focus image fusion algorithm based on nonsubsampled Contourlet transform［J］.Journal of Xiamen University:Natural Science，2009，48(6):812 －817.(in Chinese)鄒蓉，李玲玲，李翠華.基于非子采樣Contourlet變換的多聚焦圖像融合方法［J］.廈門大學(xué)學(xué)報(bào):自然科學(xué)版，2009，48(6):812 －817.

［5］ Yang Yuetao，Zhu Ming，He Baigen，et al.Fusion algorithm for infrared and visible light images based on region segmentation and NSCT［J］.Laser ＆ Infraed，2010，40(11):1250 －1257.(in Chinese)楊粵濤，朱明，賀柏根，等.基于區(qū)域分割和非采樣Contourlet變換的紅外和可見光圖像融合［J］.激光與紅外，2010，40(11):1250 －1257.

［6］ Zhang Ying，Li Yanjun，Zhang Ke，et al.Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］.Computer Engineering and Applications，2011，47(3):196 －198.(in Chinese)張瑩，李言俊，張科，等.基于NSCT的紅外與可見光圖像融合［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47(3):196－198.

［7］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.on Image Processing，2004，13(4):600－612.