高雪妮

（廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧 530004）

基于雙窗口小波-Contourlet變換的圖像融合算法

高雪妮

（廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧 530004）

提出一種基于雙窗口小波-Contourlet變換的圖像融合算法。首先采用小波-Contourlet變換對(duì)圖像進(jìn)行分解，接著采用兩種不同尺寸的窗口計(jì)算系數(shù)的特征值：低頻子帶采用區(qū)域能量法和高頻子帶采用區(qū)域方差法，分別比較雙窗口下的高頻子帶和低頻子帶的系數(shù)特征值，比較的結(jié)果作為得到融合系數(shù)選擇的依據(jù)，最后采用逆小波-Contourlet變換得到融合圖像。仿真實(shí)驗(yàn)證實(shí)，在特征類型選擇一致的情況下，該方法的融合性能優(yōu)于小波變換法和Contourlet變換法，融合圖像質(zhì)量較好。

小波變換；contourlet變換；圖像融合；雙窗口

1 引言

由于小波變換在高維的情況下并不能充分利用圖像本身特有的幾何特征，并不是最優(yōu)的和“最稀疏”的函數(shù)表示方法，因此，人們致力于發(fā)展一種新的高維函數(shù)的最優(yōu)表示方法。多尺度幾何分析 (multistage geometric analysis,MGA)就是近年來(lái)發(fā)展起來(lái)的一類彼此及其相似的圖像表示方法，它在數(shù)學(xué)分析、計(jì)算機(jī)視覺(jué)、模式識(shí)別、統(tǒng)計(jì)分析等不同學(xué)科中得到研究人員的關(guān)注。

2002年，Do M N和VetterliM提出了一種圖像二維稀疏表示方法：Contourlet變換，[1-2]也稱塔型方向?yàn)V波器組 (PDFB，Pyramidal Directional Filter Bank)，是多尺度幾何分析方法中表現(xiàn)較為突出的一種方法。Contourlet變換的基函數(shù)的支撐區(qū)間具有隨尺度變化的長(zhǎng)條形結(jié)構(gòu)，改變化將多尺度分析和多方向分析分開(kāi)進(jìn)行，滿足“拋物線尺度關(guān)系”，滿足“各向異性尺度關(guān)系”，因而能夠運(yùn)用較少的系數(shù)對(duì)奇異曲線進(jìn)行線性逼近，是一種“真正”的二維圖像稀疏表示方法，對(duì)于細(xì)小的有方向的輪廓和線段的表達(dá)有著獨(dú)有的優(yōu)勢(shì)。它不僅繼承了小波變換的多分辨率時(shí)頻分析特征，而且擁有良好的各向異性特征，它能用比小波更少的系數(shù)來(lái)表示光滑的曲線，是一種多分辨率的、局域的、多方向的圖像表示方法。

Contourlet變換采用拉普拉斯金字塔變換分解，由于拉普拉斯金字塔沒(méi)有對(duì)高頻子帶進(jìn)行下采樣，因此比小波分解多出了1/4的高頻子帶數(shù)據(jù)冗余。為了降低冗余，Ramin Eslami和Hayder Radha于2004年提出了小波-Contourlet變換，[3]采用二維小波變換對(duì)圖像進(jìn)行分解而不是拉普拉斯金字塔變換。由于小波分解與重構(gòu)都是無(wú)冗余的，因此，小波-Contourlet變換不會(huì)產(chǎn)生冗余。本文對(duì)基于小波-contourlet變換算法進(jìn)行改進(jìn)，采用雙窗口策略對(duì)融合系數(shù)進(jìn)行選擇，改進(jìn)的算法能有效捕捉圖像各向異性的高頻信息，克服了信息冗余，降低了融合系數(shù)選擇的失誤率。

2 小波-contourlet變換

2.1 contourlet變換

Contourlet變換是多尺度分析方法中最為突出和理想的一種，Contourlet變換由兩個(gè)部分組成：拉普拉斯金字塔變換和方向?yàn)V波器組。其分解過(guò)程表示如下：首先采用拉普拉斯金字塔變換對(duì)輸入圖像進(jìn)行多尺度分解，得到輸入圖像的高頻子帶和低頻子帶，其中，低頻子帶是輸入圖像經(jīng)過(guò)二維低通濾波和下采樣后得到的低頻成為，其分辨率為輸入圖像的1/2，高頻子帶則是輸入圖像與同級(jí)尺度的低頻子帶上采樣濾波后的差值，接著，對(duì)低頻子帶繼續(xù)采用拉普拉斯金字塔變換進(jìn)行分解，得到一系列不同分辨率上的高頻子帶和一個(gè)低頻子帶。然后，對(duì)不同分辨率上的各高頻子帶采用方向?yàn)V波器組進(jìn)行分解，得到不同方向的帶通方向子帶。上頁(yè)圖1給出了Contourlet變換的分解原理圖。上頁(yè)圖2是Contourlet變換的頻域分解圖。

圖1 Contourlet變換原理圖

圖2 Contourlet頻域分解圖

圖3 四方向?yàn)V波器組框圖

2.2 小波-contourlet變換

在Contourlet變換中，由于拉普拉斯金字塔變換沒(méi)有對(duì)高頻子帶進(jìn)行分解，因此Contourlet變換比小波變換多出了1/4的高頻子帶數(shù)據(jù)冗余。為了降低數(shù)據(jù)冗余，Contourlet變換采用拉普拉斯金字塔變換分解，由于拉普拉斯金字塔沒(méi)有對(duì)高頻子帶進(jìn)行下采樣，因此比小波分解多出了1/4的高頻子帶數(shù)據(jù)冗余。為了降低冗余，Ramin Eslami和Hayder Radha于2004年在文獻(xiàn) [6]中提出了小波-Contourlet變換，采用二維小波變換對(duì)圖像進(jìn)行分解而不是拉普拉斯金字塔變換。由于小波分解與重構(gòu)都是無(wú)冗余的，因此，小波-Contourlet變換不會(huì)產(chǎn)生冗余?；谛〔?Contourlet變換的基本思想是：利用小波變換的分解方式代替拉普拉斯金字塔分解，分解后得到一個(gè)低頻子帶和三個(gè)方向的高頻子帶：水平方向、垂直方向和對(duì)角線方向，[7]然后采用方向?yàn)V波器對(duì)小波分解中的低頻子帶進(jìn)行多方向?yàn)V波。小波-Contourlet變換比小波變換、Contourlet變換更能稀疏地表示圖像的幾何結(jié)構(gòu)特征。圖4是圖像方向數(shù)為 [4,2,2,0]的3級(jí)小波-Contourlet變換示意圖。

圖4 小波-contourlet變換

3 融合規(guī)則

對(duì)圖像進(jìn)行小波變換，得到一個(gè)低頻子圖和3n個(gè)高頻子圖 （n為分解層數(shù)），小波-Contourlet變換是在小波變換的基礎(chǔ)上，繼續(xù)對(duì)3n個(gè)高頻子圖采用方向?yàn)V波器組進(jìn)行方向?yàn)V波，濾波的方向數(shù)常用的有4,3,2,1,0。由于低頻子圖主要是圖像的輪廓信息，可以采用局域能量的融合規(guī)則，而高頻子帶代表了圖像的邊緣、紋理、突變等細(xì)節(jié)信息，因此可以采用局域方差的融合規(guī)則。

以圖像中某像素f(x,y)為中心的k×k窗口W的方差可以定義為：

以圖像中某像素f(x,y)為中心的k×k窗口W的能量可以定義為：

窗口能量值越大，則表示該窗口內(nèi)的信息越豐富。

目前，基于區(qū)域的Contourlet變換的融合算法中，都是基于單窗口的，如文獻(xiàn) [8]提出的算法中，低頻系數(shù)根據(jù)區(qū)域能量進(jìn)行選擇，高頻系數(shù)根據(jù)局域?qū)Ρ榷冗M(jìn)行選擇；文獻(xiàn) [9]提出一種基于區(qū)域特征自適應(yīng)的融合算法，高頻分量以空間頻率為度量標(biāo)準(zhǔn)結(jié)合自適應(yīng)算子進(jìn)行區(qū)域的自適應(yīng)融合。區(qū)域特征值相對(duì)于單個(gè)系數(shù)值能更充分地反映子帶的特征信息，但區(qū)域的大小對(duì)特征值的影響也是不能忽略的。小波-Contourlet變換將圖像的高頻子帶分解到不同方向上，變換后的能量集中在有限的系數(shù)上，其余大部分系數(shù)的幅值接近于零。采用區(qū)域特征值作為判斷指標(biāo)，則必須考慮到區(qū)域的大小對(duì)特征值的影響情況，而目前采用的區(qū)域大小都是隨機(jī)的，或者是通過(guò)多次實(shí)驗(yàn)選擇一個(gè)最佳區(qū)域大小，這對(duì)實(shí)時(shí)系統(tǒng)的實(shí)現(xiàn)是相當(dāng)不利的。本文采用雙窗口的融合策略，通過(guò)不同窗口 （即區(qū)域）大小選擇不同的融合系數(shù)，再根據(jù)兩類方案融合系數(shù)的特點(diǎn)進(jìn)行最終融合系數(shù)選擇。

本文算法具體步驟如下：

步驟1 對(duì)源圖像A和B采用小波變換進(jìn)行分解，得到一個(gè)低頻子帶Li和一系列高頻子帶H，其中，i=A或B；j=HL或LH或HH，代表水平、垂直、對(duì)角線三個(gè)方向；k=1，2，…N，代表分解的層數(shù)。

步驟3 對(duì)低頻子帶Li，采用k1×k1窗口逐個(gè)系數(shù)進(jìn)行掃描，計(jì)算窗口的能量Ei,h，其中h表示低頻子帶的第h個(gè)系數(shù)。

步驟5 比較EA,h和EB,h的大小，作為融合圖像低頻子帶系數(shù)的選擇依據(jù)：

其中，RLh代表融合圖像低頻子帶系數(shù)。

步驟7 采用k2×k2（k1≠k2）窗口，重復(fù)執(zhí)行步驟3至步驟6，得到另一種系數(shù)選擇方案。假設(shè)第一種方案得到的低頻系數(shù)為RLh1，高頻系數(shù)為RH1；第二種方案得到的低頻系數(shù)為RLh2，高頻系數(shù)為RH2。

步驟8 比較兩種方案。對(duì)于低頻子帶，若RLh1=RLh2，則最終的融合系數(shù)為RLh=RLh1=RLh2；若RLh1≠RLh2，則按照下面方法選擇：

4 本文方法的過(guò)程描述

所提出的基于雙窗口小波-Contourlet變換的不同聚焦圖像融合算法的總體過(guò)程參見(jiàn)圖5。

圖5 本章算法框圖

5 實(shí)驗(yàn)和性能分析

本論文實(shí)驗(yàn)采用MATLAB6.5軟件編程實(shí)現(xiàn)，運(yùn)行環(huán)境CPU 2.3GHz 896MB內(nèi)存，操作系統(tǒng)Windows XP。由于在實(shí)際應(yīng)用中，標(biāo)準(zhǔn)圖像是不存在的，它只是人們?yōu)榱藢?shí)驗(yàn)的研究而人為地造出來(lái)，因此對(duì)于不同聚焦圖像融合來(lái)說(shuō)，可以通過(guò)對(duì)一副場(chǎng)景中所有物體都清晰的圖像進(jìn)行模糊處理，通過(guò)模糊圖像的不同部分得到不同的原始圖像，而原來(lái)清晰圖像就作為標(biāo)準(zhǔn)圖像。本文實(shí)驗(yàn)圖像采用的是美國(guó)Lihigh大學(xué)提供的典型不同聚焦圖像融合實(shí)驗(yàn)圖像。

圖6是對(duì)clock圖像分別采用小波變換 (WDT)、Contourlet變換 (CT)、本文算法三種算法進(jìn)行融合實(shí)驗(yàn)的結(jié)果。實(shí)驗(yàn)用圖clock圖像已經(jīng)經(jīng)過(guò)嚴(yán)格配準(zhǔn)，512×512像素，256灰度級(jí)。低頻子帶采用區(qū)域能量法作為融合規(guī)則，高頻子帶采用區(qū)域方差法作為融合規(guī)則，并且都是采用3層分解方式。

圖6 clock圖像融合實(shí)驗(yàn)結(jié)果

圖7 clock圖像融合實(shí)驗(yàn)結(jié)果局部圖

表1 clock融合結(jié)果評(píng)價(jià)參數(shù)比較

從主觀視覺(jué)效果上看，圖6(d)的小波變換法算法得到的融合效果較模糊，而且在圖像邊緣處出現(xiàn)明顯的虛影現(xiàn)象，如大時(shí)鐘的上邊緣處，見(jiàn)圖7(d)所示；圖6(e)的Contourlet變換融合效果相對(duì)于小波變換算法有一定的改善，但有的邊緣處理的效果還是不夠理想，也出現(xiàn)了部分虛影想象，如圖7(e)所示。圖6(f)是本文算法融合結(jié)果，圖像的邊緣平滑，沒(méi)有出現(xiàn)虛假輪廓，融合圖像畫(huà)面較清晰，如圖7(f)的局部圖所示。為了客觀地評(píng)價(jià)融合圖像的質(zhì)量，選用均方根誤差和相似性度量作為評(píng)價(jià)指標(biāo)，對(duì)三類融合算法進(jìn)行性能分析。如表1所示，采用CT變換法比小波變換法得到的評(píng)價(jià)指標(biāo)好，特別是均方根誤差相差較大，說(shuō)明CT變換比小波變換在細(xì)節(jié)表現(xiàn)方面更突出，而本文算法得到的均方根誤差和相似性度量均優(yōu)于CT變換，說(shuō)明采用本文算法得到的融合圖像攜帶的信息量更多。

6 結(jié)論

WBCT變換作為一種新的圖像多尺度幾何分析工具，具有多分辨率性、時(shí)頻局域性、方向各異性，相對(duì)于小波變換僅具有三個(gè)方向特征，能夠有效地捕捉圖像各個(gè)方向的特征，特別是對(duì)奇異曲線能夠?qū)崿F(xiàn)有效的逼近。因此，將WBCT變換應(yīng)用到圖像融合中，將會(huì)得到比小波變換更有效的融合性能。

本文提出一種基于雙窗口WBCT變換的不同聚焦圖像融合算法。首先采用小波變換對(duì)圖像進(jìn)行分解，然后采用方向?yàn)V波器組對(duì)高頻子帶進(jìn)行方向?yàn)V波。低頻子帶根據(jù)局域能量法進(jìn)行融合，高頻子帶根據(jù)局域方差進(jìn)行融合?？紤]到單窗口尺寸對(duì)圖像特征有影響，本文采用兩類窗口尺寸，通過(guò)比較兩類窗口尺寸下的融合圖像的WBCT變換結(jié)果，得到最終的融合圖像的WBCT變換，然后采用逆WBCT變換得到融合圖像。WBCT變換比小波變換和CT變換優(yōu)異的地方在于：首先是用小波變換取代拉普拉斯金字塔，可以避免拉普拉斯金字塔產(chǎn)生的冗余；其次是高頻子帶具有更多的各向異性，更充分地描述了圖像的細(xì)節(jié)信息，為圖像融合提供了可靠的信息。實(shí)驗(yàn)證實(shí)，本文算法的融合性能優(yōu)于小波變換、CT變換。本文提出的融合算法針對(duì)窗口大小對(duì)圖像特征統(tǒng)計(jì)量的影響，采用雙窗口比較融合策略，能夠有效地減少這種影響對(duì)融合圖像質(zhì)量產(chǎn)生的影響。

[1]M NDo,VetterliM.Contourlets:a directionalmulti-resolution image representation[A].Processing of IEEE InternationalConferenceon Image Processing Rochester,2002:357-360.

[2]M NDo,VetterliM.The contourlet transform:an efficientdirectionalmulti-resolution image representation[J].IEEE Transactionson Image Processing,2005,14(12):2091-2106.

[3]EslamiR,Radha H.Waveletbased contourlet transform and its application to image coding[A].IEEE International Conference on Image Processing,2004:3189-3192.

[4]MallatS,HwangW L.Singularity detection and processingwith wavelets[J].Information Theory,IEEE Transactions on,Volume:38,Issue:2March 1992，38(2):617-643.

[5]Bamberger RH,Smith M JT.A filterbank for the directionaldecomposition of images:theory and design[J].IEEETrans Signal Pico,1992,40(4):882-893.

[6]M.N.Do,M.Vetterli.Pyramidaldirectional filterbanksand curvelets[C].IEEE InternationalConference on Image Processing(ICIP),Thessaloniki,Greece,October2001:158-161.

[7]Mallat,S.Zero-crossingsofawavelet transform[J].Information Theory,IEEETransactionson,1991，37(4):1019-1033.

[8]吳體瑞,吳小俊.一種基于區(qū)域和Contourlet變換的多聚焦圖像融合新算法[J].中國(guó)體視學(xué)與圖像分析,2007,12(2):98-104.

[9]梅益君,王元慶.基于點(diǎn)擴(kuò)散函數(shù)的多聚焦圖像融合方法[J].計(jì)算機(jī)工程,2007,19(10):193-195.

An Algorithm for Image Fusion by W avelet-Contourlet Transform and DoubleW indows

Gao Xueni
(School of Computer,Electronics and Information of Guangxi University,Nannning 530004，China)

An algorithm for image fusion by wavelet-contourlet transform and double windows is proposed in this paper.Firstly,the image is decomposed bymeans of wavelet-contourlet transform.Secondly,the characteristic value of coefficients is calculated in two windows of different sizes:the value of low-frequency sub-band calculated through regional energy and the value of high-frequency sub-band calculated through regional variance.Meanwhile,the characteristic values under the two sub-bands in the double windows are compared respectively and the results of the comparison are taken as the selection basis of fusing the coefficients.Finally,a fused image is obtained through inversed wavelet-contourlet transform.Simulation experiments indicates that,in the same type of feature selection,the fusion effect of thismethod is better than that ofwavelet transform and contourlet transform and leads to better fused images.

wavelet transform;contourlet transform;image fusion;double windows

TP391

A

1673-8535(2010)03-0001-09

高雪妮（1984-），女，廣西來(lái)賓人，廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院碩士研究生，主要研究方向：圖像處理。

（責(zé)任編輯：高 堅(jiān)）

2010-03-01

廣西自然科學(xué)基金資助項(xiàng)目(0832283)；梧州學(xué)院基金資助項(xiàng)目(2008D011)