熊承義,張夢杰， 高志榮， 龔忠毅

(1中南民族大學(xué) 電子信息工程學(xué)院，武漢 430074；2 中南民族大學(xué) 計算機(jī)科學(xué)學(xué)院，武漢 430074)

圖像融合旨在將同種或不同種傳感器獲取同一場景的多幅源圖像合成為一幅新圖像[1]，以提供比其中任何一幅源圖像更多的有用信息[2].紅外傳感圖像通過紅外傳感器探測場景中目標(biāo)向外輻射或反射出來的熱輻射生成，能較好獲取弱光照條件下的重要目標(biāo)信息[3]，但是存在對比度低，背景模糊，細(xì)節(jié)表現(xiàn)能力差等不足.將紅外圖像和可見光圖像融合，綜合利用兩種圖像的特征信息，可獲得場景中紅外目標(biāo)與背景信息的完整描述，有利于進(jìn)一步的觀測和處理.

主流融合紅外與可見光圖像的方法是在變換域，以多尺度變換為代表，例如，金字塔變換[4]、離散小波變換[5]、雙樹復(fù)小波變換[6]以及輪廓波變換等，但這些變換方式不具有平移不變性從而導(dǎo)致融合圖像邊緣細(xì)節(jié)模糊.因此去掉分解過程中的下采樣得到非下采樣輪廓波變換(NSCT)[7]具備了平移不變性能獲得較好的融合效果.除了變換方式，在多尺度變換的方案中融合規(guī)則對融合質(zhì)量影響同樣重要.通常，低通系數(shù)選用較簡單的融合方法：基于單像素取其最大或是鄰域窗取平均[8].由于可見光圖像中若在灰度變化不大會集中在低通部分，這樣的融合方式會導(dǎo)致融合圖像背景不清晰且整體對比度低.為此，閆利[9]等在NSCT域中，提出邊緣特征的低頻融合方法，改善了融合圖像質(zhì)量.文獻(xiàn)[10]提出了基于多尺度變換和稀疏表示[11]的圖像融合方案，通過對低通系數(shù)的稀疏表示融合，有效提高了融合圖像的性能，但在融合圖像中卻存在空間不連續(xù)的現(xiàn)象.圖像經(jīng)過NSCT分解得到的與原圖像尺寸相同的低通部分，可看作是原圖像經(jīng)濾波器之后的平滑圖像.圖像的梯度信息可以很好的反映一幅圖像的紋理和細(xì)節(jié)特征信息.近年提出的梯度域圖像融合[12]具有直觀簡潔，計算效率高的特點(diǎn).文獻(xiàn)[12]提出的顯著性結(jié)構(gòu)量可以在模糊圖像中提取圖像特征.

考慮NSCT域融合與梯度域融合方法各自存在的優(yōu)勢，本文提出一種NSCT域多尺度梯度加權(quán)的紅外與可見光圖像融合方法.通過對多尺度變換的低通系數(shù)引入梯度加權(quán)融合，以充分保留各源圖像的有用信息，從而更好地改善融合性能.

1 相關(guān)工作

1.1 非下采樣輪廓波變換

2006年Cunha、Zhou J P提出了非下采樣輪廓波變換理論[13].非下采樣輪廓波變換的結(jié)構(gòu)圖如圖1所示，由非采樣金字塔濾波器組(NSPFB)和非采樣方向濾波器組(NSDFB)兩部分所組成，并借鑒了à trous算法應(yīng)用在分解和重構(gòu)的過程中.

非采樣金字塔濾波器組由雙通道非采樣塔型濾波器組多級迭代而成，圖像與雙通道非采樣濾波器組做卷積后，可得到圖像的低通部分和高通部分.之后每一級分解都是將上一級中使用的濾波器進(jìn)行上2采樣得到，然后使用插值后的濾波器對圖像的低通部分進(jìn)行上采樣低通濾波器的濾波處理，得到下一級的低通部分；使用上采樣高通濾波器處理得到下一級的高通部分.如此循環(huán)，經(jīng)過J級分解后，得到一個低通部分和J個帶通部分完成對圖像的多尺度分解.之后利用非采樣方向濾波器對得到的各尺度部分進(jìn)行多方向分解得到圖像的帶通方向部分.值得注意的是，非下采樣輪廓波變換中去除了對輸入圖像下采樣的過程，而是在分解和重構(gòu)過程中對相應(yīng)的濾波器進(jìn)行上采樣，使得非下采樣輪廓波變換具有平移不變性.正是因為具有多尺度、多方向、各向異性等特征，NSCT可以更好的提取表示源圖像的幾何特征，為融合圖像提供更多的信息.

圖1 NSCT結(jié)構(gòu)示意圖Fig.1 Structure of NSCT

1.2 梯度域融合

圖像梯度域融合的關(guān)鍵問題是獲取不同圖像的幾何特征并將其融入融合圖像中[13].在多圖像結(jié)合結(jié)構(gòu)張量的梯度融合中，源圖像Ik(m,n),k為源圖像數(shù)目.源圖像的一階梯度信息由式(1)求得：

(1)

dI的平方范數(shù)表示為：

(2)

其中矩陣G為結(jié)構(gòu)張量，將其轉(zhuǎn)化到梯度場的表示為：

(3)

將結(jié)構(gòu)張量特征根分解可表示為：

(4)

局部圖像結(jié)構(gòu)可以由s1和s2反映出來，可以將局部圖像顯著性信息量定義為[12]：

(5)

α取值會影響Q值，當(dāng)α<1時，角點(diǎn)結(jié)構(gòu)會取得高Q值；當(dāng)α>1時，邊緣結(jié)構(gòu)會取得相對較高的Q值.對于輸入圖像Ik的點(diǎn)(m,n)將通過計算相鄰點(diǎn)的顯著值Qk然后經(jīng)過歸一化處理得到wk，因此加權(quán)的結(jié)構(gòu)張量為：

(6)

2 提出的融合方案

2.1 總體框架

由于非下采樣輪廓波變換具有多尺度、多方向、各向異性等特征，可以更好的提取表示源圖像的幾何特征，為融合圖像提供更多的信息.本文提出一種基于NSCT變換的梯度域紅外和可見光圖像融合方法，特別對多源圖像NSCT變換的低通成分進(jìn)行梯度域融合，以更好地改善融合圖像的質(zhì)量.本文提出的融合方案框架如圖2所示，具體步驟簡要描述如下.

(2)對于得到的低通系數(shù)，利用多尺度加權(quán)梯度的方式進(jìn)行梯度域融合，得到圖像低通分量的融合系數(shù)DF,L(m,n).

(4)最后對融合系數(shù)進(jìn)行NSCT反變換，得到融合圖像F.

圖2 提出的圖像融合方案總體框架Fig.2 The schematic diagram of the fusion framework

2.2 融合規(guī)則

對于經(jīng)過NSCT變換獲得低通的部分DI,L(m,n)和DV,L(m,n)，利用多尺度梯度方式融合，利用大尺度結(jié)構(gòu)大致確定低通部分中各圖像顯著信息位置，同時設(shè)定邊緣區(qū)域.利用小尺度結(jié)構(gòu)確定邊緣區(qū)域權(quán)值.將高斯濾波Gσ多尺度變換與梯度協(xié)方差相結(jié)合，則局部的梯度協(xié)方差矩陣為:

(7)

其中‘*’代表的是卷積運(yùn)算，σ是Gσ的標(biāo)準(zhǔn)差，也稱尺度因子.根據(jù)公式(8)利用Cσ得出多尺度結(jié)構(gòu)的結(jié)構(gòu)顯著量Qσ.σ1為大尺度因子，通過對比在大尺度下每個像素的的Qσ1值，大致確定顯著信息區(qū)域：

(8)

為了能確定邊緣區(qū)域的權(quán)值，需對邊緣區(qū)域中像素所屬區(qū)域進(jìn)行判斷.若使用相同的思想將大Qσ2值的像素點(diǎn)判定為顯著信息如式(12)：

(9)

(10)

(11)

之后對于輸入圖像的低通系數(shù)利用加權(quán)梯度的融合方式進(jìn)行融合，得到低通系數(shù)的融合系數(shù)DF,L(m,n).

(12)

3 實驗結(jié)果與分析

為驗證本文提出算法的有效性，本文采用MATLAB7.11進(jìn)行仿真實驗，選取九組紅外與可見光圖像(如圖3)作為實驗圖像進(jìn)行圖像融合實驗.利用客觀的圖像融合評判標(biāo)準(zhǔn)選標(biāo)準(zhǔn)差(SD)、信息熵(EN)、互信息(MI)[14]、功能互信息(FMI)[15]邊緣保持度(QAB/F)[16].各個指標(biāo)的值均是值越大，表明融合效果越好.

從左往右依次為Forest, Field, Flower, Street, Sailing, Dune, QueenRoad, UNcamp, Fieldcamp圖3 實驗用可見光與紅外實驗圖像.Fig.3 The visible and infrared images for test

在NSCT的融合方案，NSCT的分解層數(shù)對融合結(jié)果影響較大，圖4展示的是本文算法(WGN)在不同分解層數(shù)下的融合結(jié)果，WGN-1表示分解層數(shù)為1.從融合結(jié)果來看，WGN融合方法都能較好保留紅外圖像的目標(biāo)信息和可見光圖像中的場景信息.從融合圖像視覺效果看表現(xiàn)出：分解層數(shù)較低時場景信息被更多的保留，分解層數(shù)較高時能更好突出目標(biāo)信息.

將本文算法與目前常用的小波(DWT)融合方法[5]、DTCWT融合方法[6]、NSCT融合方法[17]、及NSCT與稀疏表示結(jié)合的融合方法(NSCT-SR)[10]進(jìn)行比較.不同融合方法的融合性能比較結(jié)果如表1所示，表中數(shù)據(jù)為九組實驗圖像的平均值.圖5給出了 “UNcamp”圖像融合視覺效果比較.

a)可見光圖像;b)紅外圖像;c) WGN-1;d) WGN-2;e) WGN-3; f) WGN-4圖4 Fieldcamp圖像融合視覺質(zhì)量比較Fig.4 Comparison of fused image visual quality for FieldCamp

評價結(jié)果DWTDTCWTNSCTNSCT-SRWGN-1WGN-2WGN-3 WGN-4SD34.777833.099733.829442.001443.281844.673644.194143.9729EN6.65856.58476.61827.06826.85717.00226.96656.9348MI2.44892.39342.6677.063204.37634.05663.96954.0265FMI0.46140.47470.48850. 348090.51390.50000.50480.5166QAB/F0.59370.6140.63640.61310.65320.64170.644530.6677

a)可見光圖像;b)紅外圖像;c) DWT;d) DCWT;e)NSCT;f)NSCT-SR;g)WGN-1;h)WGN-2;i) WGN-3;j)WGN-4圖5 “UNcamp”圖像融合視覺效果比較Fig.5 Comparison of fused image visual quality for UNCamp

由各組實驗的融合圖像客觀評價結(jié)果可以看出，各組實驗中標(biāo)準(zhǔn)差均為本文算法最大，說明融合圖像灰度分布離散程度最大，圖像對比度大,目視效果好.此外，互信息、功能互信息和QAB/F的值也為本文算法最大，說明融合圖像從源圖像中獲取的信息量以及梯度信息量較多，融合圖像對源圖像的信息保留較好，更多的細(xì)節(jié)信息被保留下來.DWT方法因為變換不具有平移不變性，會導(dǎo)致偽吉布斯現(xiàn)象存在和塊效應(yīng)，視覺效果差.NSCT變換融合算法的融合圖像對比度高，目標(biāo)更為突出，細(xì)節(jié)表達(dá)能力好.NSCT-SR方法的各個客觀評價指標(biāo)表現(xiàn)較好，但融合圖像中出現(xiàn)不連續(xù)現(xiàn)象，造成圖像污染，視覺效果較差.

為了比較本文算法的復(fù)雜度，將各組實驗分別重復(fù)5次，計算得出的平均時間消耗如表2給出.結(jié)果表明本文算法的計算復(fù)雜度相較于NSCT-SR有較大程度地減少.

表2 不同融合算法的時間消耗

4 結(jié)語

針對紅外圖像與可見光圖像的融合，提出一種NSCT域內(nèi)梯度加權(quán)的圖像融合方案.利用NSCT的多分辨率以及多方向性，結(jié)合變換域梯度加權(quán)盡可能多的將圖中顯著結(jié)構(gòu)特征融合到融合圖像之中，保留源圖像的細(xì)節(jié)信息，增強(qiáng)圖像的視覺效果和可觀測性.為驗證本文算法的有效性，將本文算法與主流融合算法比較分析.實驗結(jié)果表明，本文提出的融合算法在主客觀評價上均表現(xiàn)良好，視覺效果較好，且比較同類方法其計算復(fù)雜度有降低.

參 考 文 獻(xiàn)

[1] 賈 建，焦李成，孫 強(qiáng). 基于非下采樣輪廓波變換的多傳感器圖像融合[J].電子學(xué)報, 2007, 35(10):1934-1938.

[2] 劉 羽. 像素級多源圖像融合方法研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2016.

[3] 周渝人, 耿愛輝, 張 強(qiáng),等. 基于壓縮感知的紅外與可見光圖像融合[J]. 光學(xué)精密工程, 2015, 23(3):855-863.

[4] Burt P J, Adelson E H. The laplacian image as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4):671-679.

[5] Li H, Manjunath B S, Mitra S K. Multi-Sensor Image Fusion using the Wavelet Transform.[C]// Image Processing, 1994 Proceedings. ICIP-94 IEEE International Conference.New Jersey：IEEE, 2002:235-245.

[6] Kingsbury N. The Dual-Tree Complex Wavelet Transform: A New Technique For Shift Invariance And Directional Filters[J]. Image Processing, 1998:319-322.

[7] Qu X B, Yan J W, Xiao H Z,et al. Image Fusion Algorithm Based on Spatial Frequency-Motivated Pulse Coupled Neural Networks in Nonsubsampled Transform Domain[J]. Acta Automatica Sinica, 2008,34(12):1508-1514

[8] 張 強(qiáng). 基于多尺度幾何分析的多傳感器圖像融合研究[D]. 西安：西安電子科技大學(xué), 2008.

[9] 閆 利, 向天燭. NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合[J]. 電子學(xué)報, 2016, 44(4):761-766.

[10] Liu Y, Liu S, Wang Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24:147-164.

[11] 熊承義, 汪淑賢, 高志榮. 基于字典優(yōu)化的稀疏表示人臉識別[J]. 中南民族大學(xué)學(xué)報(自然科學(xué)版), 2014, 33(2):75-79.

[12] Zhou Z, Li S, Wang B. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion, 2014, 20(1):60-72.

[13] 許 欣,陳 強(qiáng),孫懷江,等. 基于梯度域融合的圖像視覺效果改善[J]. 中國圖象圖形學(xué)報, 2011, 16(2):278-286.

[14] Qu G, Zhang D, Yan P. Information measure for performance of image fusion[J]. Electronics Letters, 2002, 38(7):313-315.

[15] Haghighat M B A, Aghagolzadeh A, Seyedarabi H. A non-reference image fusion metric based on mutual information of image features [J]. Computers & Electrical Engineering, 2011, 37(5):744-756.

[16] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Military Technical Courier, 2000, 36(4):308-309.

[17] Li S, Yang B, Hu J. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2012, 3(5):74-84.