胡 前 杜軍平 方 明 訾玲玲 韓鵬程

(北京郵電大學(xué)智能通信軟件與多媒體北京市重點(diǎn)實(shí)驗(yàn)室，北京 100876)

基于多尺度變換的圖像融合技術(shù)已經(jīng)廣泛應(yīng)用于圖像融合領(lǐng)域.小波變換因其具有良好的時(shí)頻局部特性和快速變換算法而被廣泛采用，但是小波變換具有一定的局限性.由于二維小波變換是通過一維小波張量積所得，因而不具備各向異性尺度關(guān)系，無法更好地表示邊界和線狀特征，不能多方向地區(qū)分圖像的邊緣.小波變換由于采用了行列降采樣，使得圖像的大小發(fā)生了改變，每層圖像的大小均為其上一層圖像大小的1/4，這種圖像變換不具有平移不變性，在圖像配準(zhǔn)精度不高的情況下，圖像融合往往相當(dāng)不利.為了克服小波變換的缺點(diǎn)，Do等［1］提出了一種新的多尺度變換方法，即Contourlet變換(CNT).相比傳統(tǒng)的小波變換，CNT不僅是多尺度的，同時(shí)也具有方向性，因而CNT變換可以更好地表示邊緣信息.隨著CNT變換的發(fā)展，基于CNT的圖像融合算法也應(yīng)運(yùn)而生［2］，然而CNT變換仍是下采樣的，因而不具有平移不變性.為了保證在多尺度和多方向的基礎(chǔ)上，使多尺度變換具有平移不變性的特征，Nguyen等［3］提出了一個(gè)可移動(dòng)的復(fù)雜定向金字塔變換，即SCDPT變換.SCDPT變換可以將圖像進(jìn)行多尺度與多方向的分解，且具有良好的平移不變性，將其用于圖像融合領(lǐng)域能更好地提取邊緣信息，提供更多的特征信息.

1 SCDPT變換

SCDPT變換是圖像的一種多尺度變換方法，可以將圖像進(jìn)行多尺度、多方向的分解，且具有良好的平移不變性.SCDPT變換采取一個(gè)迭代的多尺度濾波器組用于圖像的多尺度分解.利用一個(gè)復(fù)雜的方向?yàn)V波器組(DFB)在每個(gè)尺度做定向分解.同時(shí)，為了實(shí)現(xiàn)平移不變性，復(fù)雜的方向?yàn)V波器組由二元樹結(jié)構(gòu)的2個(gè)DFB構(gòu)造而成.SCDPT變換的分解過程如圖1所示.一組非抽樣雙通道濾波器組R(0)與L(0)被用于分離臨近(±p，)和(，±p)的高頻分量，從而使二元樹DFB減少混疊.上述高通濾波器R0(x)的輸出保持不變，相應(yīng)的低通濾波器L0(x)的輸出被饋送到另一個(gè)濾波器組(R1(x)和L1(x))中.高頻分量(圖1中H點(diǎn))通過一個(gè)n通道的雙樹方向?yàn)V波器組進(jìn)一步分解，對(duì)應(yīng)的輸出即帶通方向子帶系數(shù)的實(shí)部和虛部部分(即圖1中H實(shí)和H虛).相應(yīng)的低頻分量則通過下采樣矩陣D2進(jìn)行采樣，得到低通子帶系數(shù).如此，便完成了一個(gè)層次的SCDPT分解.為了進(jìn)行多層次的分解，繼續(xù)對(duì)L進(jìn)行矩形框內(nèi)的單層次分解即可.

圖1 SCDPT變換的分解過程

2 基于結(jié)構(gòu)相似性的多傳感器圖像融合算法

本文提出了多模態(tài)圖像融合算法.融合算法的框架如圖2所示，具體算法步驟如下:

①輸入2幅已經(jīng)經(jīng)過嚴(yán)格配準(zhǔn)的源圖像，通過SCDPT變換分解成不同尺度和方向的系數(shù).

②針對(duì)SCDPT變換產(chǎn)生的低通子帶系數(shù)特征，提出低通子帶系數(shù)融合規(guī)則.即對(duì)低頻系數(shù)采取基于結(jié)構(gòu)相似性(SSIM)與區(qū)域能量、區(qū)域平均梯度相結(jié)合的融合規(guī)則.

③針對(duì)SCDPT變換產(chǎn)生的帶通方向子帶系數(shù)，提出帶通方向子帶系數(shù)融合規(guī)則.對(duì)低頻系數(shù)采取基于結(jié)構(gòu)相似性(SSIM)與區(qū)域能量、區(qū)域平均梯度相結(jié)合的融合規(guī)則.

④輸入步驟②和③得到的融合系數(shù)，進(jìn)行SCDPT逆變換得到融合圖像.

圖2 基于SCDPT變換的多模態(tài)圖像融合框架

2.1 基于結(jié)構(gòu)相似性的低通子帶系數(shù)融合規(guī)則

本文提出了一種基于圖像結(jié)構(gòu)相似性的選取規(guī)則與加權(quán)規(guī)則相結(jié)合的低通子帶系數(shù)融合規(guī)則.相對(duì)于其他算法的低頻融合規(guī)則，本文提出的規(guī)則在保持梯度和對(duì)比度較好的基礎(chǔ)上，提升了圖像的信息熵和信噪比.低通子帶系數(shù)包含了圖像的主要能量，決定圖像的輪廓，本文引入結(jié)構(gòu)相似性SSIM用于決定采取選取還是加權(quán)策略.SSIM是一種衡量2幅圖像相似度的新指標(biāo)［4］，值越大則表示越相似，如2幅圖像完全相同，則SSIM=1.對(duì)每一個(gè)像素采取3×3的窗口，求得每個(gè)像素點(diǎn)的SSIM值.對(duì)于某個(gè)區(qū)域窗口，若其SSIM值大于某固定閾值T，則表示該像素區(qū)域十分相似.此時(shí)可以采用加權(quán)融合策略［5］.結(jié)構(gòu)相似度從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度的反映場(chǎng)景中物體結(jié)構(gòu)的屬性.其定義如下:

將均值μx作為亮度的估計(jì)，標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，協(xié)方差σxy作為結(jié)構(gòu)相似程度的度量.加權(quán)策略中最重要的是權(quán)值的選擇.由于低頻包含圖像的主要能量，因此采用基于能量與平均梯度相結(jié)合的權(quán)值選擇規(guī)則.其定義如下:

EA(x，y)為A 圖像在像素點(diǎn)(x，y)處的3×3窗口的區(qū)域能量值.GA(x，y)為A圖像在像素點(diǎn)(x，y)處的3×3窗口的平均梯度值.T為固定閾值0.7.整個(gè)低頻的融合規(guī)則如下:

2.2 基于結(jié)構(gòu)相似性與區(qū)域標(biāo)準(zhǔn)差相結(jié)合的高頻系數(shù)融合規(guī)則

本文在區(qū)域窗口的基礎(chǔ)上，提出了基于結(jié)構(gòu)相似性SSIM與區(qū)域標(biāo)準(zhǔn)差相結(jié)合的融合規(guī)則.本文提出的高頻系數(shù)融合規(guī)則在考慮其周圍區(qū)域能量以及離散程度的基礎(chǔ)上，能較好地區(qū)分噪聲，提取出更為精確的信息.本文將系數(shù)的選取與其所在的局部窗口區(qū)域聯(lián)系起來，以加強(qiáng)像素間聯(lián)系，構(gòu)建更精確的融合規(guī)則［6-7］.對(duì)于高頻系數(shù)，若系數(shù)值越大，則表示該處能量越多，那么位于該位置的圖像更清晰，相應(yīng)地均值也越大.因而高頻取大的融合規(guī)則能涵蓋圖像大多數(shù)的邊緣信息.但是系數(shù)往往不能表示其周圍區(qū)域的變化程度［8］.如式(3)中的2個(gè)矩陣A1和A2，它們的均值都為4，窗口中間的系數(shù)也為4.

在進(jìn)行選取規(guī)則時(shí)，由于A2變化程度快，包含更多的梯度信息，因此區(qū)域A2要優(yōu)于A1.

針對(duì)上述情況，可以將區(qū)域標(biāo)準(zhǔn)差引入高頻融合規(guī)則中，圖像在第j層，第i個(gè)方向的區(qū)域標(biāo)準(zhǔn)差STD可以定義為

μ為圖像在第 j層第 l個(gè)方向的高頻系數(shù)Cj，l(x，y)取模之后的均值.標(biāo)準(zhǔn)差反映了灰度相當(dāng)于灰度均值的離散程度，結(jié)合SCDPT高頻系數(shù)(實(shí)部和虛部)，高頻權(quán)重定義如下:

與低頻系數(shù)融合規(guī)則類似，對(duì)每一個(gè)高頻系數(shù)采取3×3的區(qū)域，求得每個(gè)像素點(diǎn)的SSIM值.對(duì)于某個(gè)區(qū)域，若其SSIM值大于某固定閾值T，則表示該像素區(qū)域十分相似，此時(shí)可以采用加權(quán)融合策略，權(quán)值選擇如式(5)所示;若其SSIM值小于閾值T，則采用選取融合策略.高頻融合規(guī)則如下:

3 實(shí)驗(yàn)結(jié)果與分析

本文選用標(biāo)準(zhǔn)多模態(tài)遙感圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)圖像尺寸為512×512像素，灰度級(jí)別為256.基于小波變換、拉普拉斯金字塔變換、梯度金字塔變換、對(duì)比度金字塔變換的融合方法均采用低頻取平均、高頻取大的簡(jiǎn)單融合規(guī)則，其實(shí)驗(yàn)結(jié)果如圖3所示.

圖3 遙感圖像及其融合結(jié)果

從圖3可看出，簡(jiǎn)單平均法相對(duì)于基于多尺度變換的融合算法效果差距很大(見圖3(c)).在基于多尺度變換的算法中，本文所提出的融合算法在多模態(tài)圖像融合應(yīng)用中效果較好.從圖3中還可看出，本文算法相對(duì)于其他多尺度變換算法，白色邊緣部分更為突出，細(xì)節(jié)更明顯，信息量更大，表明從圖3(a)中繼承的信息較多.其他方法由于原始圖像(見圖3(b))的干擾，導(dǎo)致融合效果邊緣不夠明顯，細(xì)節(jié)不夠突出，融合效果不夠好，融合信息量有所缺失.

信息熵表示圖像信息量的大小，平均梯度表示圖像的整體清晰程度，互信息MI用來衡量融合圖像從源圖像中繼承圖像信息的多少，均值反映圖像的平均灰度，邊緣強(qiáng)度用來衡量圖像的邊緣信息強(qiáng)弱.上述幾個(gè)指標(biāo)值越大，表示信息量越高，邊緣越明顯，圖像越清晰，融合質(zhì)量越好.表1中給出了圖像融合結(jié)果，這些結(jié)果與對(duì)圖像的主觀分析一致.通過對(duì)比各項(xiàng)指標(biāo)大小，可以得出基于多尺度變換的融合算法要比非多尺度融合算法融合效果好，基于SCDPT變換的簡(jiǎn)單規(guī)則的融合效果與其他多尺度變換的融合效果相差不大，本文所提出的算法較其他算法在信息熵、平均梯度、邊緣強(qiáng)度、互信息，均值上都有較大提高.這表明本文算法優(yōu)于其他多尺度融合算法，能夠更好地從待融合圖像中獲取信息，并且能保持較高的細(xì)節(jié)反差和紋理變化特征.因此基于SCDPT變換的多模態(tài)圖像融合算法具有較好的融合性能.

表1 基于SCDPT變換的多傳感器圖像融合結(jié)果

4 結(jié)語

本文提出的基于結(jié)構(gòu)相似性的多傳感器圖像融合算法具有較好的融合效果.對(duì)于低頻子帶系數(shù)采取結(jié)構(gòu)相似性和區(qū)域能量、區(qū)域平均梯度相結(jié)合的融合規(guī)則，區(qū)域能量的引入盡可能保留了低頻子帶中的圖像紋理細(xì)節(jié)信息，平均梯度又突出了帶通方向子帶局部輪廓特征.對(duì)于高頻子帶系數(shù)的融合，方差的引入能較好地提取圖像的邊緣，消除噪聲影響.實(shí)驗(yàn)結(jié)果表明，對(duì)于多源圖像融合，本文提出的算法能夠充分提取圖像特征，互補(bǔ)地融合到新圖像中，產(chǎn)生較小的冗余，且融合結(jié)果優(yōu)于大部分其他多尺度變換算法.

References)

［1］Do M N，Vetteri M.The contourlet transform:an efficient directional multiresolution image representation［J］.IEEE Transactions on Image Processing，2005，14(12):2091-2106.

［2］Chai Yi，Li Huafeng，Zhang Xiaoyang.Multifocus image fusion based on features contrast of multiscale products in nonsubsampled contourlet transform domain［J］.Optik，2012，123(7):569-581.

［3］Nguyen T T，Oraintara S.The shiftable complex directional pyramid—PartⅠ:theoretical aspects［J］.IEEE Transactions on Signal Processing，2008，56(10):4651-4660.

［4］Wang Zhou，Li Qiang.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20(5):1185-1198.

［5］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600-612.

［6］Zhang Qiang，Wang Long，Li Huijuan，et al.Similarity-based multimodality image fusion with shiftable complex directional pyramid［J］.Pattern Recognition Letters，2011，32(13):1544-1553.

［7］Manipoonchelvi P，Muneeswaran K.Significant region based image retrieval using curvelet transform［C］//International Conference on Electronics and Control Engineering.Sivakasi，India，2011:291-294.

［8］Omar Z，Mitianoudis N，Stathaki T.Region-based image fusion using a combinatory Chebyshev-ICA method［C］//IEEE InternationalConference on Acoustics Speech and Signal Processing.Prague，Czech Republic，2011，5:1213-1216.