張 雷，李 婧，李根全，楊興強(qiáng)，仲志國，王肖霞

(1.南陽師范學(xué)院，河南南陽473061;2.中北大學(xué)，山西太原030051)

1 引言

隨著傳感器技術(shù)的發(fā)展和成熟，傳感器在各個(gè)領(lǐng)域得到廣泛地應(yīng)用，對同一目標(biāo)可以獲得來自多個(gè)不同傳感器傳回的數(shù)據(jù)，圖像融合作為綜合處理多傳感器圖像數(shù)據(jù)的有效技術(shù)途徑日益得到重視［1］，圖像融合是指綜合和提取兩個(gè)或多個(gè)多源圖像信息，獲得對同一場景或者目標(biāo)更為準(zhǔn)確、全面和可靠的圖像，使之更加適合于人眼感知或計(jì)算機(jī)后續(xù)處理。目前圖像融合技術(shù)被廣泛的應(yīng)用于計(jì)算機(jī)視覺、自動(dòng)目標(biāo)識(shí)別等領(lǐng)域［2］。

圖像融合通?？梢苑譃橄袼丶壢诤稀⑻卣骷壢诤虾蜎Q策級融合［3］，融合算法也很多，主要有像素加權(quán)平均算法、PCA算法、金字塔算法［4］、小波變換算法［5］、曲波變換算法等，每種融合算法都是先對來自不同傳感器的圖像進(jìn)行各種變換，對變換后的圖像采用不同的融合規(guī)則進(jìn)行融合，一般在融合過程中很少對待融合圖像做進(jìn)一步處理，一般的處理主要是圖像增強(qiáng)技術(shù)，主要包括［6］:擴(kuò)展對比度、增強(qiáng)圖像中對象的邊緣、消除或者抑制噪聲或者保留圖像中感興趣的某些特征，在增強(qiáng)某些信息的同時(shí)會(huì)造成圖像中一些信息的缺失，忽略了融合算法本身就是通過對多幅圖像間互補(bǔ)信息的處理來提高圖像的清晰度，更全面地反應(yīng)目標(biāo)信息的特點(diǎn)?；谝陨蠁栴}，本文提出一種新的融合算法，在圖像預(yù)處理過程中，除了對待融合圖像增強(qiáng)外，將圖像融合算法引入圖像增強(qiáng)中，將增強(qiáng)后的圖像與源圖像進(jìn)行融合，不僅可以保留圖像完整的信息，同時(shí)對圖像進(jìn)行了二次增強(qiáng)，最后在對二次增強(qiáng)后的圖像再進(jìn)行融合，使圖像更加清晰符合人類視覺。

2 圖像增強(qiáng)

CSSN(on-Center off-Surround Shunting Network)是根據(jù)人眼的幾種視覺能力提出的動(dòng)態(tài)方程，首先是能提取邊緣的拮抗特性，二是即使人眼面對刺激強(qiáng)度范圍很大的光照，均能自動(dòng)適應(yīng)的壓縮動(dòng)態(tài)范圍特性，因此能夠增強(qiáng)圖像對比度、突出邊緣和壓縮動(dòng)態(tài)范圍，復(fù)合人的視覺特性［7］，因此本文首先采用視覺中心－環(huán)繞對抗受域神經(jīng)網(wǎng)絡(luò)模型增強(qiáng)圖像的對比度，其公式如下:

式中，C1和C2為高斯核;常數(shù)A是向零值衰減的速率;I1和I2為輸入圖像;Ei，j為處理后的圖像。對于單一圖像來講I1=I2。圖1為源圖像，圖2為增強(qiáng)對比度的圖像。

圖2與圖1相比較圖像邊緣信息和對比度得到增強(qiáng)，但是細(xì)節(jié)信息有所損失，為了使圖像在增強(qiáng)對比度的同時(shí)不損失細(xì)節(jié)信息，將源圖像與處理后的圖像進(jìn)行融合，從式(1)可以推斷出 Ei，j＜1，因此可以采用頻率調(diào)制的方法將源圖像和增強(qiáng)后的圖像進(jìn)行融合，公式如下 :

式(2)中，h(i，j)為融合后的圖像;f(i，j)為歸一化后的源圖像;g(i，j)為增強(qiáng)后的圖像，圖像歸一化的公式為:

式(3)中，I(i，j)為源圖像;Imin為源圖像最小灰度值;Imax為源圖像最大灰度值。圖3為融合后的圖像。

圖3 融合后的增強(qiáng)圖像

從視覺效果上看，圖1整體較暗，視覺效果較差，圖3獲得了較為清晰的圖像，更適應(yīng)人的視覺特性。為了更好地說明增強(qiáng)后的圖像效果，采用標(biāo)準(zhǔn)差、平均梯度、熵對圖像進(jìn)行評價(jià)，標(biāo)準(zhǔn)差越大，則灰度級越分散，平均梯度越大，圖像越清晰，熵反映了圖像的平均信息量［9］。公式分別如下:

表1 圖像評價(jià)指標(biāo)

從表1可以看出融合增強(qiáng)后的圖像在清晰度和信息量上都比源圖像高。

3 圖像融合

多分辨率分析融合算法能夠很好的保留圖像的細(xì)節(jié)信息取得了比較好的效果，多分辨率分析算法主要有金字塔、小波分析、Contourlet變換、非采樣Contourlet變換，非采樣Contourlet變換克服了小波變換方向性和各向異性差的缺點(diǎn)，不僅具有多尺度性、良好的空域和頻域局部特性和方向特性，還具有了平移不變性，同時(shí)克服Contourlet變換中頻率混疊的缺點(diǎn)［10］，因此本文采用非采樣 Contourlet變換對在增強(qiáng)后的圖像進(jìn)行融合。圖4為非采樣Contourlet變換的實(shí)現(xiàn)框圖。

圖4 非采樣Contourlet變換的實(shí)現(xiàn)

4 融合規(guī)則

圖像融合規(guī)則的選取一般要求能夠最大限度地保留圖像的重要信息，減少虛假信息，同時(shí)還要保證算法的可靠性和穩(wěn)定性，低頻系數(shù)主要反應(yīng)圖像的整體信息，其差異遠(yuǎn)小于高頻分量的小波系數(shù)的差異，所以采用平均的方法能夠有效地融合圖像［11］，高頻系數(shù)保留圖像的細(xì)節(jié)信息，因此高頻系數(shù)采用選取最大值的方法進(jìn)行融合。公式如下:

式中，Cak(i，j)和 Cak(i，j)分別為非采樣 Contourlet變換的低頻系數(shù);Hak(i，j)和Hbk(i，j)分別為非采樣Contourlet變換的高頻系數(shù)。

5 融合結(jié)果及分析

為了驗(yàn)證本文算法的有效性，采用非采樣Contourlet變換直接融合和本文算法對多聚焦圖像進(jìn)行融合，圖5為前視圖像，圖6為后視圖像，圖7為直接融合圖像，圖8為本文算法融合圖像。

圖5 前視圖像

從視覺效果上看，本文融合算法與源圖像和直接融合融合圖像相比較整體更加清晰，且具有適合人眼特性的對比度優(yōu)點(diǎn)。

表2 圖像評價(jià)指標(biāo)

從表2上看，本文融合算法比源圖像和直接融合圖像標(biāo)準(zhǔn)差、平均梯度、熵更高，說明采用本文融合算法圖像的動(dòng)態(tài)范圍、清晰程度、細(xì)節(jié)信息以及所含信息量更高。

5 結(jié)論

本文在分析一般融合算法在單一圖像預(yù)處理上存在的不足，將圖像融合算法引入圖像預(yù)處理中，對需要融合的圖像采用融合的方法進(jìn)行增強(qiáng)，在增強(qiáng)圖像邊緣以及對比度的同時(shí)，不損失其他細(xì)節(jié)信息，達(dá)到既增強(qiáng)圖像特征又不損失圖像信息的效果，為最后融合奠定更好的基礎(chǔ)，實(shí)驗(yàn)結(jié)果表明，本文算法的融合結(jié)果在標(biāo)準(zhǔn)差、平均梯度、熵等方面都優(yōu)于直接對圖像進(jìn)行融合的算法得到的融合結(jié)果，達(dá)到了預(yù)期效果。

［1］ Xue Qin，F(xiàn)an Yong，Li Huizhuo，et al．Infrared and visible images fusion algorithm based on curvelet transform［J］，Computer Engineering，2011，37(3):224 －226．(in Chinese)薛琴，范勇，李繪卓，等．基于曲波變換的紅外與可見光圖像融合算法［J］．計(jì)算機(jī)工程，2011，37(3):224－226．

［2］ Chen Hao，Liu Yanying．An infrared image fusion algorithm based on lifting wavelet transform［J］．Laser＆ Infrared，2009，39(1):97 －100．(in Chinese)陳浩，劉艷瀅．基于提升小波變換的紅外圖像融合算法研究［J］．激光與紅外，2009，39(1):97 －100．

［3］ Li Yufeng，F(xiàn)eng Xiaoyun，F(xiàn)an Yong，et al．A fast multisensor image mutual modulation fusion algorithm［J］．Opto-Electronic Engineering，2011，38(8):117 － 123．(in Chinese)李郁峰，馮曉云，范勇，等．多傳感器圖像互調(diào)制快速融合［J］．光電工程，2011，38(8):117 －123．

［4］ Tote A.Image fusion by ratio of low － pass pyramid［J］．Patter Recognition Letter，1989，9(4):245 －253．

［5］ Mallat SATheory for multi-resolution signal decomposition:the wavelet representation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence 1989，11(7):674－693．

［6］ Zhang Hong．Digital image processing and analysis［M］．Beijing:China machine press，2007，4．(in Chinese)張弘．?dāng)?shù)字圖像處理與分析［M］．北京:機(jī)械工業(yè)出版社，2007，4．

［7］ Wang Xueling，Jin Qinwei，Shi Junsheng，et al．Research on fusion schemes of MULTI－BAND color night vision images based on － opponent vision property［J］．Journal of Infrared and Millimeter Waves，2006，25(6):455 － 459．(in Chinese)王嶺雪，金偉其，石俊生，等．基于拮抗視覺特性的多波段彩色夜視融合方法研究［J］．紅外與毫米波學(xué)報(bào)，2006，25(6):455 －459．

［8］ Fan Changxin，et al．Principle of communication［M］．Beijing:National Defense Industry Press，2001，5．(in Chinese)樊昌信，等．通信原理［M］．北京:國防工業(yè)出版社，2001．5．

［9］ Wang Xuewei，Wang Shili．Novel method of image fusion［M］．Laser＆ Infrared．2012，42(9):1055 －1057．(in Chinese)王學(xué)偉，王世立．一種圖像融合的新方法［J］．激光與紅外，2012，42(9):1055 －1057．

［10］ Chen Musheng．Image fusion based on contourlet transform and fuzzy theory［J］．Laser ＆ Infrared，2012，42(6):695 －698．(in Chinese)陳木生．基于Contourlet變換和模糊理論的圖像融合算法［J］．激光與紅外，2012，42(6):695 －698．

［11］ Wang Xiaojun，He Tongdi．Multisensor image fusion using wavelet based on contourlet transform［J］．Laser＆ Optoelectronics Progress，2009，9:68 －72．(in Chinese)王小軍，何同弟．基于小波－Contourlet變換的多傳感器圖像融合［J］．激光與光電子學(xué)進(jìn)展，2009，9:68－72．