趙飛翔，陶忠祥

（空軍航空大學(xué) 作戰(zhàn)指揮系，吉林 長(zhǎng)春 130022）

圖像融合是指將兩個(gè)或兩個(gè)以上傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或圖像序列信息進(jìn)行綜合，以生成新的關(guān)于此場(chǎng)景解釋的信息處理過(guò)程[1]。它通過(guò)提取各輸入圖像的信息，形成統(tǒng)一的圖像或數(shù)據(jù)來(lái)控制其他系統(tǒng)或指導(dǎo)決策，可使信息具有高度集成性，便于存儲(chǔ)傳輸和后續(xù)機(jī)器處理。圖像融合在計(jì)算機(jī)視覺(jué)、遙感、機(jī)器人、醫(yī)學(xué)圖像處理及軍事領(lǐng)域等都有著廣泛的應(yīng)用前景[2]。目前，圖像融合方法研究已取得很大進(jìn)步，不少學(xué)者提出如主成分分析法、金字塔分解方法、小波變換方法、Contourlet變換方法及NSCT變換法等[3-6]，但圖像融合的質(zhì)量評(píng)價(jià)問(wèn)題卻沒(méi)有得到很好的解決，因此圖像融合質(zhì)量評(píng)價(jià)問(wèn)題的研究是圖像融合中一項(xiàng)重要而且急需解決的工作。

由于在圖像融合中，同一融合算法，對(duì)不同類型的圖像，其融合效果不同；同一融合算法，對(duì)同一圖像，觀察者感興趣的對(duì)象不同，則認(rèn)為效果不同；不同的應(yīng)用方面，對(duì)圖像各項(xiàng)參數(shù)的要求不同，使選取的融合方法不同。這就使對(duì)融合圖像進(jìn)行客觀、定量評(píng)價(jià)變得困難和復(fù)雜，尤其針對(duì)多源不同質(zhì)傳感器圖像的融合算法，人們很難定義一個(gè)通用的評(píng)價(jià)標(biāo)準(zhǔn)。目前，圖像融合的質(zhì)量評(píng)價(jià)方法分為兩類：主觀評(píng)價(jià)法和客觀評(píng)價(jià)法。主觀評(píng)價(jià)法指觀察者憑自己的觀察對(duì)圖像的質(zhì)量提出相對(duì)嚴(yán)格的判斷，其不足之處是整個(gè)過(guò)程非常繁瑣，另外評(píng)價(jià)結(jié)果易受環(huán)境及人的心理因素的影響；而現(xiàn)在常用的客觀評(píng)價(jià)方法最大的問(wèn)題在于沒(méi)有充分考慮到人眼的視覺(jué)特性，這對(duì)于以人眼為最終信宿的圖像而言是不合理的。因此綜合考慮人眼的視覺(jué)系統(tǒng)特點(diǎn)進(jìn)行圖像融合質(zhì)量評(píng)價(jià)就顯得尤為重要。本文將主觀和客觀結(jié)合起來(lái)，以反應(yīng)人眼視覺(jué)系統(tǒng)特點(diǎn)的結(jié)構(gòu)相似度為依據(jù)，同時(shí)考慮源圖像和融合圖像的邊緣信息，提出一種基于交互信息加權(quán)的改進(jìn)結(jié)構(gòu)相似度和邊緣信息保留值的圖像融合質(zhì)量評(píng)價(jià)指標(biāo)，并對(duì)紅外與可見(jiàn)光圖像采用不同融合算法進(jìn)行的質(zhì)量評(píng)價(jià)結(jié)果分析表明，評(píng)價(jià)結(jié)果與人眼主觀相一致，是一種有效的圖像融合質(zhì)量評(píng)價(jià)方法。

1 基于交互信息加權(quán)的改進(jìn)結(jié)構(gòu)相似度和邊緣信息保留值的評(píng)價(jià)方法

當(dāng)前的客觀評(píng)價(jià)多是通過(guò)熵、交叉熵、方差、均值、平均梯度等指標(biāo)對(duì)圖像進(jìn)行評(píng)價(jià)[7-8]，這些方法或基于像素點(diǎn)間的誤差，或根據(jù)融合圖像與源圖像間關(guān)系，但都沒(méi)充分考慮到人眼的視覺(jué)特性。人眼視覺(jué)的主要功能就是提取圖像中的結(jié)構(gòu)信息，因此對(duì)圖像結(jié)構(gòu)性失真的度量是圖像感知質(zhì)量的最好近似。而在紅外與可見(jiàn)光圖像的融合中，對(duì)于紅外圖像最重要的視覺(jué)信息就是其輪廓信息。因此，將圖像結(jié)構(gòu)信息和邊緣信息結(jié)合起來(lái)進(jìn)行圖像質(zhì)量評(píng)價(jià)就顯得重要而有效。狄紅衛(wèi)[9]，許少凡[10]，劉明晶[11]等在充分考慮了圖像結(jié)構(gòu)信息和人眼視覺(jué)系統(tǒng)特性基礎(chǔ)上提出基于結(jié)構(gòu)相似度的圖像融合評(píng)價(jià)方法，可為不同場(chǎng)合下選擇不同的算法提供依據(jù)；張勇[12]在分析圖像結(jié)構(gòu)相似度算法基礎(chǔ)上提出基于結(jié)構(gòu)相似度和感興趣區(qū)域的融合評(píng)價(jià)方法，根據(jù)人眼對(duì)劃分的圖像感興趣區(qū)域和剩余區(qū)域的重視程度，分別賦予不同的加權(quán)因子，它較其他評(píng)價(jià)方法能夠更突出圖像重要特征在評(píng)價(jià)中的影響；蘇伍各[13]等以反映人眼視覺(jué)特性的結(jié)構(gòu)相似度為依據(jù)，同時(shí)考慮源圖像和融合圖像間的邊緣信息，提出一種評(píng)價(jià)方法。但他們都沒(méi)有充分考慮到融合圖像和源圖像之間的信息量問(wèn)題。因此，本文將主觀和客觀結(jié)合起來(lái)，提出一種基于交互信息加權(quán)的改進(jìn)結(jié)構(gòu)相似度和邊緣信息保留值的圖像融合質(zhì)量評(píng)價(jià)新方法。

1.1 交互信息加權(quán)的改進(jìn)結(jié)構(gòu)相似度

1.2 源圖像到融合圖像的邊緣信息保留值

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提評(píng)價(jià)指標(biāo)的有效性，本文采用不同融合算法，對(duì)多組紅外與可見(jiàn)光圖像進(jìn)行了評(píng)價(jià)。本文采用的融合算法及融合規(guī)則如表1所示。

表1 融合算法及融合規(guī)則Tab.1 Fusion rules used in the fusion experiment

圖1中（a）、（b）為嚴(yán)格配準(zhǔn)的紅外與可見(jiàn)光圖像。對(duì)兩幅圖像分別采用表1中所列融合方法進(jìn)行融合，其中1~4采用基于小波變換的融合方法，小波采用“sym4”，5~8采用基于NSCT的融合方法，多尺度分解均為3層。圖中（c）~（j）分別為采用融合規(guī)則1~8獲得的融合圖像。同時(shí)，為更好地對(duì)融合結(jié)果進(jìn)行分析比較，文中還采用了均值、方差、信息熵與QMISM（X，Y，F(xiàn)）指標(biāo)等客觀評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析。

圖1 基于邊緣-結(jié)構(gòu)相似度的客觀評(píng)價(jià)實(shí)驗(yàn)Fig.1 Objective evaluation based on edge information and structure similarity

由融合圖像與源紅外圖像和可見(jiàn)光圖像進(jìn)行比較可以發(fā)現(xiàn)，融合圖像基本上都從不同方面改善了源圖像的質(zhì)量。具體來(lái)說(shuō)，采用基于區(qū)域能量加權(quán)和區(qū)域方差取大的融合方法獲得的融合效果要強(qiáng)于簡(jiǎn)單平均和像素絕對(duì)值選大的融合方法，其中融合效果最好的是（g）圖，該融合圖像的紅外目標(biāo)較明顯，而且能夠較清晰地刻畫(huà)出背景信息。圖（i）雖然也較好，但背景信息不如圖（g）清晰。客觀評(píng)價(jià)指標(biāo)如表2所示。

表2 紅外與可見(jiàn)光圖像融合質(zhì)量評(píng)價(jià)Tab.2 The quality measure for infrared and visible image fusion

從表2中可以看到，圖（g）的灰度比較適中，而且標(biāo)準(zhǔn)差較其他幾個(gè)融合圖像要大，同時(shí)，信息熵也比較大，圖像比較清晰。而本文提出的QMISM（X，Y，F(xiàn)）指標(biāo)也能較好的反映出該圖像要優(yōu)于其他融合圖像，評(píng)價(jià)結(jié)果與主觀觀察保持一致。

3 結(jié) 論

建立科學(xué)合理的圖像融合質(zhì)量評(píng)價(jià)方法是研究圖像融合的一項(xiàng)重要而有意義的工作。結(jié)合主觀和客觀的評(píng)價(jià)方法進(jìn)行融合評(píng)價(jià)是未來(lái)的研究重點(diǎn)。本文以反映人眼視覺(jué)特性的結(jié)構(gòu)相似度為依據(jù)，考慮源圖像到融合圖像的邊緣信息，同時(shí)結(jié)合融合圖像和源圖像之間的信息量問(wèn)題，提出一種基于交互信息加權(quán)的改進(jìn)結(jié)構(gòu)相似度和邊緣信息的評(píng)價(jià)指標(biāo)，該指標(biāo)充分考慮了融合圖像從源圖像中繼承的邊緣和結(jié)構(gòu)信息，并且與人眼視覺(jué)觀察結(jié)果相一致。實(shí)驗(yàn)證明了該指標(biāo)在紅外與可見(jiàn)光圖像融合的質(zhì)量評(píng)價(jià)中的有效性和實(shí)用性。

[1]敬忠良，肖剛，李振華.圖像融合——理論與應(yīng)用[M].高等教育出版社，2007.

[2]李俊山，楊威，張雄美.紅外圖像處理、分析與融合[M]北京：科學(xué)出版社，2009.

[3]GONZALO Pajares，JESUS Manuel de la Cruz.A Wavelet based image fusion tutorial[J].Pattern Recognition，2004，37（9）：185521872.

[4]DO M N，VETTERL IM.The Contourlet transform：An efficient directional multiresolution image representation[J].IEEE Transaction on Image Processing，2005，14（12）：2091－2106.

[5]柴奇，楊華，楊偉.基于非采樣Contourlet變換的紅外與可見(jiàn)光圖像融合方法[J].激光與紅外，2009，39（1）：92－96.CHAI Qi，YANG Hua，YANG Wei.Infrared and visible image fusion method based on nonsubsampled contourlet transform[J].Laser&Infrared，2009，39（1）：92－96.

[6]Fangfang Lu，Qunfei Zhao，Genke Yang.Nonsubsampled contourlet transform-based algorithm for no-reference image quality assessment[J].Optical Engineering，2011，50（6）：067010.

[7]胡良梅，高雋，何柯峰.圖像融合質(zhì)量評(píng)價(jià)方法的研究[J].電子學(xué)報(bào)，2004，32（12A）：218－221.HU Liang-mei，GAO Jun，HE Ke-feng.Research on quality measures for image fusion[J].Acta Electronica Sinica，2004，32（12A）：218－221.

[8]Zhou Wang，Alan C.Bovik.A universal image quality index[J].IEEE Signal Processing，2002，9（3）：81－84.

[9]狄紅衛(wèi)，劉顯峰.基于結(jié)構(gòu)相似度的圖像融合質(zhì)量評(píng)價(jià)[J].光子學(xué)報(bào)，2006，35（5）：766－770.DI Hong-wei，LIU Xian-feng.Image fusion quality assessment based on structural similarity[J].Acta Photonica Sinica，2006，35（5）：766－770.

[10]許少凡，劉顯峰，狄紅衛(wèi).基于加權(quán)結(jié)構(gòu)相似度的圖像融合質(zhì)量評(píng)價(jià)[J].暨南大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，28（5）：470－473.XU Shao-fan，LIU Xian-feng，DI Hong-wei.An image fusion quality assessment based on structral similarity[J].Journal of Jinan University：Natural Science，2007，28（5）：470－473.

[11]劉明晶，劉國(guó)棟，李澄清，等.一種基于視覺(jué)感知的圖像質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2005，26（2）：470－473.LIU Ming-jing，LIU Guo-dong，LI Cheng-qing.Method to evaluate image quality based on visional perception[J].Computer Engineering and Design，2005，26（2）：470－473.

[12]張勇，金偉其.基于結(jié)構(gòu)相似度與感興趣區(qū)域的圖像融合評(píng)價(jià)方法[J].光子學(xué)報(bào)，2011，40（2）：311－315.ZHANG Yong，JIN Wei-qi.Image fusion assessment method based on structural similarity and region of interest[J].Acta Photonica Sinica，2011，40（2）：311－315.

[13]蘇伍各，陶忠祥，董博.邊緣信息的紅外與可見(jiàn)光圖像融合評(píng)價(jià)[J].火力與指揮控制，2012，37（1）：194－197.SU Wu-ge，TAO Zhong-xiang，DONG Bo.The quality measure for infrared and visible image fusion based on the verge information[J].Fire Control&Command Control，2012，37（1）：194－197.

[14]Xydeas C S，petrovic V.Objective image fusion performance measure[J].Electronic Letters，2000，36（4）：308－309.