結(jié)合Curvelet變換和LSWT的多聚焦圖像融合算法*

王麗1，苗鳳娟1，陶佰睿2

(1. 齊齊哈爾大學(xué)通信與電子工程學(xué)院，黑龍江 齊齊哈爾 161005；2.齊齊哈爾大學(xué)計(jì)算中心，黑龍江 齊齊哈爾 161005)

摘要：針對(duì)多聚焦圖像，提出了一種結(jié)合二代Curvelet變換和提升靜態(tài)小波變換LSWT的圖像融合算法。首先將待融合的圖像分別進(jìn)行離散Curvelet分解變換，得到不同分解級(jí)數(shù)和方向下的細(xì)節(jié)尺度系數(shù)和粗尺度系數(shù)；其次對(duì)粗尺度系數(shù)分別進(jìn)行LSWT變換，對(duì)變換得到的低頻分量和高頻分量分別采用不同的方法融合后進(jìn)行LSWT逆變換，得到的系數(shù)作為Curvelet變換的粗尺度系數(shù)；對(duì)于Curvelet變換后得到的細(xì)節(jié)尺度系數(shù)采用局部平均能量方差的方法進(jìn)行融合；最后進(jìn)行Curvelet逆變換得到融合后的圖像。實(shí)驗(yàn)結(jié)果顯示，該方法融合效果較好，優(yōu)于傳統(tǒng)方法。

關(guān)鍵詞：Curvelet變換；LSWT；圖像融合

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.025

收稿日期：*2014-01-14;修回日期：2014-07-04

基金項(xiàng)目：黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目(12531774)；黑龍江省自然科學(xué)基金資助項(xiàng)目(F201438)

作者簡(jiǎn)介:

通信地址：161005 黑龍江省齊齊哈爾市齊齊哈爾大學(xué)通信與電子工程學(xué)院

Address:Communication and Electronic Engineering Institute,Qiqihar University,Qiqihar 161005,Heilongjiang,P.R.China

Amulti-focusimagefusionalgorithmbasedonCurvelettransformandLSWT

WANGLi1,MIAO Feng-juan1,TAO Bai-rui2

(1.CommunicationandElectronicEngineeringInstitute,QiqiharUniversity,Qiqihar161005;

2.ComputerCenter,QiqiharUniversity,Qiqihar161005,China)

Abstract:Focusing on multi-focus images,in this paper we present an image fusion method based on the second generation Curvelet transform and the lifting stationary wavelet transform (LSWT).Firstly,the images to be fused are decomposed by discrete Curvelet transform, thus the fine-scale and coarse-scale coefficients are obtained in different scales and directions.Secondly,the coarse scale coefficients are decomposed by the LSWT.The low-frequency coefficients and the high-frequency coefficients are separately fused by different methods.Subsequently the coefficients obtained by the lifting stationary wavelet inverse transform are the coarse-scale coefficients of the Curvelet inverse transform.The fine-scale coefficients are fused by the local average energy and variance method.Finally,the fused image is obtained by the Curvelet inverse transform.Experimental results show that the proposed method is superior to the traditional methods.

Keywords:Curvelettransform;LSWT;imagefusion

1引言

圖像融合一般分為三個(gè)層次：像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。多聚焦圖像融合屬于像素級(jí)融合，其特點(diǎn)是同一場(chǎng)景的多個(gè)目標(biāo)不能同時(shí)清晰，而多聚焦圖像融合是把兩個(gè)或多個(gè)傳感器所獲得的圖像進(jìn)行綜合處理，得到在一個(gè)場(chǎng)景內(nèi)或一幅圖像內(nèi)，多個(gè)目標(biāo)均清晰的圖像。

近年來，多尺度分析方法應(yīng)用廣泛，比較典型的研究方法有金字塔分解、小波變換、Curvelet變換等，此外，文獻(xiàn)[1]提出了Contourlet變換CT(ContourletTransform)方法，文獻(xiàn)[2]提出了非下采樣輪廓波變換NSCT(NonSubsampledContourletTransform)方法，能克服CT方法的吉布斯效應(yīng)。但是，此方法不能很好地表征圖像的邊緣、細(xì)節(jié)等信息，同時(shí)融合過程中帶來大量的冗余信息，融合時(shí)間較長(zhǎng)。小波變換屬于多尺度多分辨率分析，在時(shí)域和頻域都能很好地表征局部細(xì)節(jié)信息，并且能使融合圖像具有較高分辨率。傳統(tǒng)的離散小波變換DWT(DiscreteWaveletTransform)存在運(yùn)算速度慢、內(nèi)存需要大、實(shí)時(shí)性較差的特點(diǎn)，而提升靜態(tài)小波變換LSWT(LiftingStationaryWaveletTransform)能有效克服其缺點(diǎn)，繼承其很好地表征圖像局部細(xì)節(jié)特征的優(yōu)點(diǎn)，并且能夠克服小波變換平移伸縮不變性帶來的局限[3～6]。

1999年CandesE和DonhoD[7]提出了第一代Curvelet變換理論。這種變換能有效逼近圖像中的邊緣細(xì)節(jié)信息，2002年，CandesE等人[8]提出了第二代Curvelet變換。第二代Curvelet理論實(shí)現(xiàn)過程更加簡(jiǎn)單，更加容易理解，實(shí)現(xiàn)過程無需用到Ridgelet，而且數(shù)據(jù)冗余少[9,10]。Curvelet變換和小波變換類似，也能對(duì)圖像進(jìn)行多尺度分解，與小波變換的最大區(qū)別是，它具有各向異性，而小波變換僅有水平、垂直、45°三個(gè)方向。但是,它弱化了奇異點(diǎn)，在表征圖像的局部變化特征方面較差，因此，針對(duì)多聚焦圖像，本文提出了一種結(jié)合第二代Curvelet變換和LSWT的圖像融合算法。該算法既能夠利用Curvelet變換較好地提取圖像特征以及獲取邊緣等細(xì)節(jié)信息，也能利用LSWT克服小波變換平移伸縮不變性所帶來的局限性,可以實(shí)現(xiàn)快速運(yùn)算，并且圖像的細(xì)節(jié)等信息更加清晰。實(shí)驗(yàn)結(jié)果表明了該方法的有效性。

2LSWT和Curvelet變換

2.1LSWT

提升靜態(tài)小波變換LSWT又稱為第二代小波變換。提升靜態(tài)小波的母小波通過分裂(Split)、預(yù)測(cè)(Predict)、更新(Update)三個(gè)步驟之后，能夠構(gòu)造出新的小波，提升小波首先經(jīng)過多項(xiàng)式插值得到高頻部分。通過構(gòu)建尺度函數(shù)得到低頻部分，其分解和重構(gòu)示意圖如圖1所示，Pl和Ul分別為進(jìn)行第l層分解后的預(yù)測(cè)與更新算子，al-1為原始輸入信號(hào)，al和dl分別為原始輸入信號(hào)al-1經(jīng)過提升靜態(tài)小波變換后的低頻信號(hào)和高頻信號(hào)，重構(gòu)過程為分解過程倒過來，并加減互換。

Figure 1　Diagram of lifting stationary wavelet decomposition and reconstruction 圖1　提升靜態(tài)小波分解和重構(gòu)示意圖

2.2Curvelet變換

本文采用離散二代Curvelet變換，即以信號(hào)f(t1,t2)(0≤t1,t2

(1)

3基于LSWT和Curvelet變換的圖像融合算法

本文采用將提升靜態(tài)小波變換LSWT和Curvelet變換相結(jié)合的方法對(duì)多聚焦圖像進(jìn)行融合，假設(shè)待融合的兩幅原始圖像分別為圖像X和圖像Y，融合流程如圖2所示，融合步驟如下：

(1)首先將兩幅圖像進(jìn)行Curvelet變換，得到粗尺度系數(shù)和細(xì)節(jié)尺度系數(shù)；

(2)對(duì)粗尺度系數(shù)進(jìn)行LSWT變換，得到低頻系數(shù)和高頻系數(shù)；

(3)對(duì)低頻系數(shù)采用平均法融合，對(duì)高頻系數(shù)采用區(qū)域能量和方向?qū)Ρ榷认嘟Y(jié)合的方法融合，然后進(jìn)行LWST逆變換，得到融合后的Curvelet變換粗尺度系數(shù)；

(4)對(duì)于Curvelet變換細(xì)節(jié)尺度系數(shù)，采用局部平均能量方差方法融合，將融合后的細(xì)節(jié)尺度系數(shù)和粗尺度系數(shù)進(jìn)行Curvelet逆變換，得到融合后的圖像。

3.1LSWT變換后的高頻系數(shù)所采用的融合規(guī)則

LSWT變換后的高頻系數(shù)，采用區(qū)域能量和小波方向?qū)Ρ榷冉Y(jié)合的方法，區(qū)域選取大小為3×3。

(2)

(3)

Figure 2　Flowchart of the fusion algorithm 圖2　本文的融合算法流程圖

(4)

(2)按照如下融合規(guī)則確定LSWT變換后的高頻系數(shù)：

(5)

3.2Curvelet變換后的細(xì)節(jié)尺度系數(shù)所采用的融合規(guī)則

對(duì)于Curvelet變換后的細(xì)節(jié)尺度系數(shù)，采用本文提出的局部平均能量方差方法融合，細(xì)節(jié)尺度的局部區(qū)域的能量越大，圖像的邊緣或者紋理越清晰。局部區(qū)域的方差能表示對(duì)比度變化程度，方差越大，圖像灰度變化也越大，將局部區(qū)域能量和局部區(qū)域方差相乘后再除以局部區(qū)域平均值，能反映這個(gè)區(qū)域的視覺可見度信息。本文區(qū)域大小采用3×3，定義區(qū)域平均能量方差為：

(6)

按照式(7)確定融合后的細(xì)節(jié)尺度系數(shù)：

(7)

4實(shí)驗(yàn)仿真結(jié)果及分析

4.1與傳統(tǒng)方法比較

為了驗(yàn)證算法的有效性，將本文算法與僅采用LSWT和僅采用Curvelet變換的算法以及NSCT方法進(jìn)行比較，以兩幅512×512的Lena圖像和Clock圖像為例進(jìn)行實(shí)驗(yàn)仿真，并且引入空間頻率SF(SpatialFrequency)、峰值信噪比PSNR(PeakSignaltoNoiseRatio)、相似性量度SM(SimilarityMeasure)、平均誤差MAE(MeanAbsoluteError)、對(duì)比度差ΔC等客觀評(píng)價(jià)法來評(píng)價(jià)融合圖像與標(biāo)準(zhǔn)參考圖像之間的差別。

圖3和圖4分別為采用本文算法和僅采用LSWT、僅采用Curvelet變換算法以及采用NSCT方法得到的融合后的Lena圖像和Clock圖像，從圖中可以看出，用本文算法得到的融合圖像最清晰。

Figure 3　Lena fusion images obtained by different methods 圖3　不同方法得到的Lena融合圖像

Figure 4　Clock fusion images obtained by different methods 圖4　不同方法得到的Clock融合圖像

表1和表2為相應(yīng)的融合效果評(píng)價(jià)值，綜合各項(xiàng)融合效果評(píng)價(jià)值，本文的算法融合效果最好(所有方法均采用LSWT分解層數(shù)為三層，Curvelet分解層數(shù)為三層，NSCT分解層數(shù)為三層)。

4.2分解層數(shù)的影響

在上一節(jié)中，為了驗(yàn)證本文方法的有效性，所有方法均采用LSWT，分解層數(shù)為三層，Curvelet分解層數(shù)也為三層，LSWT和Curvelet變換均能隨著分解層數(shù)的增加，其融合效果也發(fā)生變化。表

Table 1　 Fusion effect evaluation values of Lena image

Table 2　 Fusion effect evaluation values of Clock image

3為采用本文算法對(duì)lena圖像仿真結(jié)果，當(dāng)LSWT分解層數(shù)為三層時(shí)，不同Curvelet分解層數(shù)所得到的融合結(jié)果，隨著Curvelet分解層數(shù)的增加，融合效果也越好。但是，層數(shù)增加，會(huì)導(dǎo)致計(jì)算量增加，并且到達(dá)一定層數(shù)后，融合效果會(huì)下降，所以最佳分解層為四層。表4為當(dāng)Curvelet分解層數(shù)為三層時(shí)，不同LSWT分解層數(shù)得到的融合結(jié)果，隨著LSWT分解層數(shù)的增加，融合效果也越好，但是到達(dá)四層以后再分解，融合結(jié)果變差，綜上，最佳分解層數(shù)為四層。

Table 3　 Fusion results of different Curvelet decomposition

5結(jié)束語

LSWT和小波變換一樣也是多尺度分析且比小波變換具有更好的空間域和頻率域局部特性，并且具有平移不變性和快速運(yùn)算特性，而Curvelet變換能夠更好地提取原始圖像的特征?；诖?，本文將LSWT和Curvelet變換相結(jié)合，既能夠利用Curvelet變換較好地提取圖像特征以及獲取邊緣等細(xì)節(jié)信息，也能克服平移伸縮不變性所帶來的局限,可以實(shí)現(xiàn)快速運(yùn)算。在融合規(guī)則中，對(duì)LSWT的高頻分量采用區(qū)域能量和方向?qū)Ρ榷认嘟Y(jié)合的方法，對(duì)Curvelet變換后得到的細(xì)節(jié)尺度系數(shù)采用局部平均能量方差的方法進(jìn)行融合。該方法可提高區(qū)域的視覺可見度信息，獲得更好的融合效果。實(shí)驗(yàn)結(jié)果顯示了本文算法的有效性，得到的圖像質(zhì)量?jī)?yōu)于傳統(tǒng)算法。

Table 4　 Fusion results of different LSWT decomposition

參考文獻(xiàn):

[1]ChenMi,LiDe-ren,QinQian-qing,etal.RemotesensingimagefusionbasedonContourlettransform[J].Mini-MicroSystems,2006,27(11):2052-2055.(inChinese)

[2]YeChuan-qi,WangBao-shu,MiaoQi-guang.FusionalgorithmofinfraredandvisiblelightimagesbasedonNSCTtransform[J].SystemsEngineeringandElectronics, 2008,30(4):593-596.(inChinese)

[3]ChaiY,LiHF,QuJF.Imagefusionschemeusinganoveldual-channelPCNNinliftingstationarywaveletdomain[J].OpticsCommunications,2010,283(19):3591-3602.

[4]LiST,YangB,HuJW.Performancecomparisonofdifferentmulti-resolutiontransformsforimagefusion[J].InformationFusion, 2011, 12(2):74-84.

[5]SweldensW.Theliftingscheme:Acustom-designconstruc-

tionofbiorthogonalwavelets[J].AppliedandComputationalHarmonicAnalysis, 1996, 3(2):186-200.

[6]SweldensW.Theliftingscheme:Aconstructionofsecondgenerationwavelets[J].SIAMJournalonMathematicalAnalysis,1998, 29(2):511-546.

[7]CandèsE,DonohoD.Curvelets-Asurprisinglyeffectivenonadaptiverepresentationforobjectswithedges[M].Nashville:VanderbiltUniversityPress, 2000.

[8]CandèsE,DemanetL,DonohoD.Fastdiscretecurvelettransforms[J].MultiscaleModeling&Simulation,2006, 5(3):861-899.

[9]LiHui-hui,GuoLei,LiuHang.ResearchonimagefusionbasedonthesecondgenerationCurvelettransform[J].ActaOpticaSinica, 2006,26(5):657-662.(inChinese)

[10]SapkalRJ,KulkarniSM.Innovativeimagefusionalgorithmbasedonfastdiscretecurvelettransformwithdifferentfusionrules[C]//Procof2013IEEEConferenceonInformation&CommunicationTechnologies(ICT), 2013:1070-1074.

[11]WangLi,LuDi.New-multi-focusimagefusionscheme[J].VideoEngineering, 2012,36(9):19-21.(inChinese)

參考文獻(xiàn)：附中文

[1]陳蜜，李德仁，秦前清，等. 基于Contourlet變換的遙感影像融合算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2006,27(11)：2052-2055.

[2]葉傳奇，王寶樹，苗啟廣. 基于NSCT變化的紅外與可見光圖像融合算法[J].系統(tǒng)工程與電子技術(shù)，2008,30(4)：593-596.

[9]李暉暉,郭雷,劉航.基于二代Curvelet變換的圖像融合研究[J].光學(xué)學(xué)報(bào), 2006,26(5):657-662.

[11]王麗，盧迪. 一種新的多聚焦圖像融合方法[J].電視技術(shù)，2012,36(9):19-21.

王麗(1982-),女,黑龍江齊齊哈爾人，碩士，講師，研究方向?yàn)閳D像處理和傳感器技術(shù)。E-mail:wangli2524897@163.com

WANGLi,bornin1982,MS,lecturer,herresearchinterestsincludeimageprocessing,andsensortechnology.