張 雷,李 婧,李根全,楊興強(qiáng),仲志國,王肖霞
(1.南陽師范學(xué)院,河南南陽473061;2.中北大學(xué),山西太原030051)
隨著傳感器技術(shù)的發(fā)展和成熟,傳感器在各個(gè)領(lǐng)域得到廣泛地應(yīng)用,對同一目標(biāo)可以獲得來自多個(gè)不同傳感器傳回的數(shù)據(jù),圖像融合作為綜合處理多傳感器圖像數(shù)據(jù)的有效技術(shù)途徑日益得到重視[1],圖像融合是指綜合和提取兩個(gè)或多個(gè)多源圖像信息,獲得對同一場景或者目標(biāo)更為準(zhǔn)確、全面和可靠的圖像,使之更加適合于人眼感知或計(jì)算機(jī)后續(xù)處理。目前圖像融合技術(shù)被廣泛的應(yīng)用于計(jì)算機(jī)視覺、自動(dòng)目標(biāo)識(shí)別等領(lǐng)域[2]。
圖像融合通??梢苑譃橄袼丶壢诤稀⑻卣骷壢诤虾蜎Q策級融合[3],融合算法也很多,主要有像素加權(quán)平均算法、PCA算法、金字塔算法[4]、小波變換算法[5]、曲波變換算法等,每種融合算法都是先對來自不同傳感器的圖像進(jìn)行各種變換,對變換后的圖像采用不同的融合規(guī)則進(jìn)行融合,一般在融合過程中很少對待融合圖像做進(jìn)一步處理,一般的處理主要是圖像增強(qiáng)技術(shù),主要包括[6]:擴(kuò)展對比度、增強(qiáng)圖像中對象的邊緣、消除或者抑制噪聲或者保留圖像中感興趣的某些特征,在增強(qiáng)某些信息的同時(shí)會(huì)造成圖像中一些信息的缺失,忽略了融合算法本身就是通過對多幅圖像間互補(bǔ)信息的處理來提高圖像的清晰度,更全面地反應(yīng)目標(biāo)信息的特點(diǎn)?;谝陨蠁栴},本文提出一種新的融合算法,在圖像預(yù)處理過程中,除了對待融合圖像增強(qiáng)外,將圖像融合算法引入圖像增強(qiáng)中,將增強(qiáng)后的圖像與源圖像進(jìn)行融合,不僅可以保留圖像完整的信息,同時(shí)對圖像進(jìn)行了二次增強(qiáng),最后在對二次增強(qiáng)后的圖像再進(jìn)行融合,使圖像更加清晰符合人類視覺。
CSSN(on-Center off-Surround Shunting Network)是根據(jù)人眼的幾種視覺能力提出的動(dòng)態(tài)方程,首先是能提取邊緣的拮抗特性,二是即使人眼面對刺激強(qiáng)度范圍很大的光照,均能自動(dòng)適應(yīng)的壓縮動(dòng)態(tài)范圍特性,因此能夠增強(qiáng)圖像對比度、突出邊緣和壓縮動(dòng)態(tài)范圍,復(fù)合人的視覺特性[7],因此本文首先采用視覺中心-環(huán)繞對抗受域神經(jīng)網(wǎng)絡(luò)模型增強(qiáng)圖像的對比度,其公式如下:
式中,C1和C2為高斯核;常數(shù)A是向零值衰減的速率;I1和I2為輸入圖像;Ei,j為處理后的圖像。對于單一圖像來講I1=I2。圖1為源圖像,圖2為增強(qiáng)對比度的圖像。
圖2與圖1相比較圖像邊緣信息和對比度得到增強(qiáng),但是細(xì)節(jié)信息有所損失,為了使圖像在增強(qiáng)對比度的同時(shí)不損失細(xì)節(jié)信息,將源圖像與處理后的圖像進(jìn)行融合,從式(1)可以推斷出 Ei,j<1,因此可以采用頻率調(diào)制的方法將源圖像和增強(qiáng)后的圖像進(jìn)行融合,公式如下 :
式(2)中,h(i,j)為融合后的圖像;f(i,j)為歸一化后的源圖像;g(i,j)為增強(qiáng)后的圖像,圖像歸一化的公式為:
式(3)中,I(i,j)為源圖像;Imin為源圖像最小灰度值;Imax為源圖像最大灰度值。圖3為融合后的圖像。
圖3 融合后的增強(qiáng)圖像
從視覺效果上看,圖1整體較暗,視覺效果較差,圖3獲得了較為清晰的圖像,更適應(yīng)人的視覺特性。為了更好地說明增強(qiáng)后的圖像效果,采用標(biāo)準(zhǔn)差、平均梯度、熵對圖像進(jìn)行評價(jià),標(biāo)準(zhǔn)差越大,則灰度級越分散,平均梯度越大,圖像越清晰,熵反映了圖像的平均信息量[9]。公式分別如下:
表1 圖像評價(jià)指標(biāo)
從表1可以看出融合增強(qiáng)后的圖像在清晰度和信息量上都比源圖像高。
多分辨率分析融合算法能夠很好的保留圖像的細(xì)節(jié)信息取得了比較好的效果,多分辨率分析算法主要有金字塔、小波分析、Contourlet變換、非采樣Contourlet變換,非采樣Contourlet變換克服了小波變換方向性和各向異性差的缺點(diǎn),不僅具有多尺度性、良好的空域和頻域局部特性和方向特性,還具有了平移不變性,同時(shí)克服Contourlet變換中頻率混疊的缺點(diǎn)[10],因此本文采用非采樣 Contourlet變換對在增強(qiáng)后的圖像進(jìn)行融合。圖4為非采樣Contourlet變換的實(shí)現(xiàn)框圖。
圖4 非采樣Contourlet變換的實(shí)現(xiàn)
圖像融合規(guī)則的選取一般要求能夠最大限度地保留圖像的重要信息,減少虛假信息,同時(shí)還要保證算法的可靠性和穩(wěn)定性,低頻系數(shù)主要反應(yīng)圖像的整體信息,其差異遠(yuǎn)小于高頻分量的小波系數(shù)的差異,所以采用平均的方法能夠有效地融合圖像[11],高頻系數(shù)保留圖像的細(xì)節(jié)信息,因此高頻系數(shù)采用選取最大值的方法進(jìn)行融合。公式如下:
式中,Cak(i,j)和 Cak(i,j)分別為非采樣 Contourlet變換的低頻系數(shù);Hak(i,j)和Hbk(i,j)分別為非采樣Contourlet變換的高頻系數(shù)。
為了驗(yàn)證本文算法的有效性,采用非采樣Contourlet變換直接融合和本文算法對多聚焦圖像進(jìn)行融合,圖5為前視圖像,圖6為后視圖像,圖7為直接融合圖像,圖8為本文算法融合圖像。
圖5 前視圖像
從視覺效果上看,本文融合算法與源圖像和直接融合融合圖像相比較整體更加清晰,且具有適合人眼特性的對比度優(yōu)點(diǎn)。
表2 圖像評價(jià)指標(biāo)
從表2上看,本文融合算法比源圖像和直接融合圖像標(biāo)準(zhǔn)差、平均梯度、熵更高,說明采用本文融合算法圖像的動(dòng)態(tài)范圍、清晰程度、細(xì)節(jié)信息以及所含信息量更高。
本文在分析一般融合算法在單一圖像預(yù)處理上存在的不足,將圖像融合算法引入圖像預(yù)處理中,對需要融合的圖像采用融合的方法進(jìn)行增強(qiáng),在增強(qiáng)圖像邊緣以及對比度的同時(shí),不損失其他細(xì)節(jié)信息,達(dá)到既增強(qiáng)圖像特征又不損失圖像信息的效果,為最后融合奠定更好的基礎(chǔ),實(shí)驗(yàn)結(jié)果表明,本文算法的融合結(jié)果在標(biāo)準(zhǔn)差、平均梯度、熵等方面都優(yōu)于直接對圖像進(jìn)行融合的算法得到的融合結(jié)果,達(dá)到了預(yù)期效果。
[1] Xue Qin,F(xiàn)an Yong,Li Huizhuo,et al.Infrared and visible images fusion algorithm based on curvelet transform[J],Computer Engineering,2011,37(3):224 -226.(in Chinese)薛琴,范勇,李繪卓,等.基于曲波變換的紅外與可見光圖像融合算法[J].計(jì)算機(jī)工程,2011,37(3):224-226.
[2] Chen Hao,Liu Yanying.An infrared image fusion algorithm based on lifting wavelet transform[J].Laser& Infrared,2009,39(1):97 -100.(in Chinese)陳浩,劉艷瀅.基于提升小波變換的紅外圖像融合算法研究[J].激光與紅外,2009,39(1):97 -100.
[3] Li Yufeng,F(xiàn)eng Xiaoyun,F(xiàn)an Yong,et al.A fast multisensor image mutual modulation fusion algorithm[J].Opto-Electronic Engineering,2011,38(8):117 - 123.(in Chinese)李郁峰,馮曉云,范勇,等.多傳感器圖像互調(diào)制快速融合[J].光電工程,2011,38(8):117 -123.
[4] Tote A.Image fusion by ratio of low - pass pyramid[J].Patter Recognition Letter,1989,9(4):245 -253.
[5] Mallat SATheory for multi-resolution signal decomposition:the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence 1989,11(7):674-693.
[6] Zhang Hong.Digital image processing and analysis[M].Beijing:China machine press,2007,4.(in Chinese)張弘.?dāng)?shù)字圖像處理與分析[M].北京:機(jī)械工業(yè)出版社,2007,4.
[7] Wang Xueling,Jin Qinwei,Shi Junsheng,et al.Research on fusion schemes of MULTI-BAND color night vision images based on - opponent vision property[J].Journal of Infrared and Millimeter Waves,2006,25(6):455 - 459.(in Chinese)王嶺雪,金偉其,石俊生,等.基于拮抗視覺特性的多波段彩色夜視融合方法研究[J].紅外與毫米波學(xué)報(bào),2006,25(6):455 -459.
[8] Fan Changxin,et al.Principle of communication[M].Beijing:National Defense Industry Press,2001,5.(in Chinese)樊昌信,等.通信原理[M].北京:國防工業(yè)出版社,2001.5.
[9] Wang Xuewei,Wang Shili.Novel method of image fusion[M].Laser& Infrared.2012,42(9):1055 -1057.(in Chinese)王學(xué)偉,王世立.一種圖像融合的新方法[J].激光與紅外,2012,42(9):1055 -1057.
[10] Chen Musheng.Image fusion based on contourlet transform and fuzzy theory[J].Laser & Infrared,2012,42(6):695 -698.(in Chinese)陳木生.基于Contourlet變換和模糊理論的圖像融合算法[J].激光與紅外,2012,42(6):695 -698.
[11] Wang Xiaojun,He Tongdi.Multisensor image fusion using wavelet based on contourlet transform[J].Laser& Optoelectronics Progress,2009,9:68 -72.(in Chinese)王小軍,何同弟.基于小波-Contourlet變換的多傳感器圖像融合[J].激光與光電子學(xué)進(jìn)展,2009,9:68-72.