陳小林，王延杰

(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033)

1 引言

圖像融合是一種綜合處理多源圖像和圖像序列的技術(shù)，這種技術(shù)將來自不同數(shù)據(jù)源的多特征圖像進(jìn)行合并，得到一個(gè)包含被測物體信息更完整的圖像，融合后的圖像具有比參加融合的任意一幅圖像更優(yōu)越的性質(zhì)，能更精確地反映客觀實(shí)際［1］，更適合人的視覺和計(jì)算機(jī)視覺，或者更適合進(jìn)一步的計(jì)算機(jī)圖像處理(如圖像分割、特征提取、場景監(jiān)視、目標(biāo)識(shí)別及目標(biāo)檢測等等)的需要［2］。

目前，圖像融合技術(shù)在軍事上的應(yīng)用越來越廣泛，如導(dǎo)彈防御系統(tǒng)、精確制導(dǎo)導(dǎo)彈、自主式炮彈等技術(shù)。在民用方面，圖像融合也在遙感、智能機(jī)器人、醫(yī)學(xué)診斷和材料檢驗(yàn)等領(lǐng)域得到相當(dāng)廣泛的應(yīng)用［3-7］。

小波(Wavelet)變換融合法［10］是目前學(xué)術(shù)界討論最廣泛的圖像融合方法。大部分小波變換融合法中都是采用離散小波變換，也有許多學(xué)者也將其他形式的小波變換應(yīng)用到圖像融合中，如平移不變小波、復(fù)小波、多小波等。同金字塔變換一樣，小波變換也是一種圖像的多分辨率分析方法。同金字塔變換不同的是，小波變換具有較好的方向性，而且可以是非冗余的，正交小波變換還可以去除兩相鄰尺度上圖像信息間的相關(guān)性。不過，小波變換不能最優(yōu)地表示含線或者面奇異的高維函數(shù)。為了發(fā)展出一種新的高維函數(shù)的最優(yōu)表示方法，有人提出將 Ridgelet，Curvelet，二代 Curvelet，Contourlet，非下采樣 Contourlet為代表的多尺度幾何分析(Multiscale Geometric Analysis)工具［11］用于圖像融合?；谄潇`活的局部性和方向性，Choi等人率先將Curvelet變換引入到遙感圖像融合，之后，很多學(xué)者相繼將各種多尺度幾何分析工具運(yùn)用到圖像融合中，這些方法的基本思路同金字塔變換融合法和小波變換融合法相似。

令人關(guān)注的是，CunhaA.L.等人在Contourlet變換的基礎(chǔ)上，提出了一種具有平移不變特性的Contourlet變換-非下采樣 Contourlet變換(Nonsubsampled Contourlet Transform， NSCT)［12］。NSCT不僅具有多尺度、時(shí)頻局部特性，還具有多方向特性，能夠有效捕捉圖像中的幾何特征，并且能夠?qū)D像進(jìn)行稀疏表示，變換后能量更加集中，能夠?yàn)閳D像融合提供更多的有用信息。圖像經(jīng)NSCT分解得到的各子帶圖像之間具有相同的尺寸大小，從而便于融合運(yùn)算的實(shí)現(xiàn)。NSCT在離散域中采用濾波器組實(shí)現(xiàn)圖像的多尺度、多方向分解，因而也有著較快的運(yùn)算速度。

本文基于非下采樣Contourlet變換，針對紅外圖像與可見光圖像的融合，提出了加權(quán)與選擇結(jié)合的圖像融合算法，并針對低頻子帶系數(shù)和各帶通方向子帶系數(shù)提出了低頻基于區(qū)域梯度信息、高頻基于區(qū)域特征因子的融合方案。實(shí)驗(yàn)結(jié)果顯示，提出的算法具有更高的融合性能。

2 非下采樣Contourlet變換

對于一維分段光滑或者有界變差函數(shù)，小波分析比傅里葉分析具有更“稀疏”的表示能力。不過小波這種最佳處理“點(diǎn)”奇異性的優(yōu)勢卻不能簡單地推廣到二維或更高維，不能有效處理“線”奇異性或“面”奇異性的信號(hào)。主要原因是二維可分離小波基只具有有限的方向，即水平、垂直、對角，方向性的缺乏使小波變換不能充分利用圖像本身的幾何正則性。

Contourlet變換除了具備時(shí)頻局部特性，還具備“各向異性”，可以在長寬比隨尺度而變化的基支撐區(qū)間，每個(gè)尺度上不等數(shù)的方向分解，從而實(shí)現(xiàn)對圖像的稀疏表示。在Contourlet變換的基礎(chǔ)上，Cunha A.L.等人提出了非下采樣Contourlet變 換 (Nonsubsampled Contourlet Transform，NSCT)［12］。

NSCT具有平移不變特性，與Contourlet變換一樣，都是分開進(jìn)行尺度與方向的分解，采用非下采樣塔式濾波器組(Nonsubsampled Pyramid Filter Bank，NSPFB)進(jìn)行多尺度分解，再利用非下采樣方向?yàn)V波器組(Nonsubsampled Directional Filter Bank，NSDFB)對前面的多尺度子帶圖像進(jìn)行方向分解，最終完成圖像各個(gè)方向尺度的子帶分解，如圖1所示。

圖1 NSCT分解結(jié)構(gòu)示意圖Fig.1 Schematic diagram of NSCT breakdown structure

在圖像的分解與重構(gòu)期間，NSCT采取避免降采樣和上采樣的操作步驟，使得NSCT同時(shí)具備了平移不變性和子帶圖像間的同尺度特性［13，14］。

NSCT采用的NSPFB為二通道非下采樣濾波器組，如圖2(a)所示。其中，分解濾波器{H0(z)，H1(z)}和合成濾波器{G0(z)，G1(z)}，G(z)滿足Bezout恒等式，如式(1)所示，從而保證了NSPFB滿足完全重構(gòu)(Perfect Reconstruction，PR)條件。類似一維“átrous”小波算法，為實(shí)現(xiàn)多尺度分解，下級進(jìn)行上采樣時(shí)，采樣矩陣D=2I(I是2階單位矩陣)。

圖2 NSCT中二通道非下采樣濾波器組Fig.2 Two channel nonsubsampled filter group in the NSCT

圖3 給出了3級塔式分解示意圖以及相應(yīng)的頻帶劃分示意圖。在j尺度下，帶通濾波器的頻域區(qū)間為，低通濾波器的頻域區(qū)間是經(jīng)k級塔式濾波，得到k+1個(gè)子帶圖像。

圖4 采用二通道扇形濾波器實(shí)現(xiàn)四通道方向分解示意圖Fig.4 Schematic diagram of realization of four channel direction decomposition by using two channel fan filter

NSCT采用的NSDFB也是一組二通道非下采樣濾波器組，如圖2(b)所示。其中，分解濾波器{U0(z)，U1(z)}和合成濾波器{V0(z)，V1(z)}也滿足Bezout恒等式，從而保證了NSDFB滿足重構(gòu)條件。采用理想頻域支撐區(qū)間為扇形的濾波器U0(z)和U1(z)可以實(shí)現(xiàn)二通道方向分解。例如，按采樣矩陣對濾波器U0(z)和U1(z)上采樣，得到U0(zD)和U1(zD)濾波器，如圖4所示。如果再對子帶圖像進(jìn)行濾波，可實(shí)現(xiàn)四通道的方向分解。同理采用更為復(fù)雜的采樣矩陣可得到的更多方向分解［15］。尺度j下經(jīng)N級分解，可得到方向分解級數(shù)lj的個(gè)子帶圖像。源圖像經(jīng)NSPFB分解后，再將帶通子帶圖像輸入到NSDFB中，即可得到圖像的帶通方向信息。

3 圖像融合策略

對于融合的性能來說，除了圖像的多尺度分解和重構(gòu)工具，融合規(guī)則非常重要。融合規(guī)則可分為基于像素選取的融合規(guī)則、基于窗口的融合規(guī)則和基于區(qū)域的融合規(guī)則。

在圖像的分解中，低頻系數(shù)的融合多采用加權(quán)平均法，定義如下:

其中:A，B為源圖像，F(xiàn)為融合圖像，Ci(m，n)為圖像i分解得到的低頻子帶在(m，n)處的系數(shù)。加權(quán)平均法將清晰區(qū)域的系數(shù)與模糊區(qū)域的系數(shù)進(jìn)行“結(jié)合”，在提高模糊區(qū)域質(zhì)量的同時(shí)，造成了清晰區(qū)域信息的損失，表現(xiàn)為融合圖像的對比度下降。本文采用基于區(qū)域梯度信息的系數(shù)融合準(zhǔn)則，原理如下:

如果CA(m，n)=0或CB(m，n)=0，則

CF(m，n)=0.5 ×CA(m，n)+0.5 ×CB(m，n)。

如果CA(m，n)≠0且CB(m，n)≠0，則

絕對值較大的高頻系數(shù)對應(yīng)于圖像中對比度變化較大的邊緣等特征，而人眼對于這些特征比較敏感。所以，對于高頻系數(shù)多采用絕對值取大的融合準(zhǔn)則，原理如下:

其中:j=1，2，…，N代表分解的層數(shù);i=1，2，3 代表每一層高頻系數(shù)的3個(gè)方向。

本文采用加權(quán)與選擇相結(jié)合的準(zhǔn)則。該準(zhǔn)則考慮了兩幅源圖像之間的相關(guān)性，根據(jù)相關(guān)性的不同，分別采用選擇和平均的算法。當(dāng)兩幅源圖像之間的相關(guān)性較弱時(shí)，選擇鄰域能量較大的點(diǎn);當(dāng)兩幅源圖像之間的相關(guān)性較強(qiáng)時(shí)，將待融合的高頻系數(shù)進(jìn)行加權(quán)，原理如下:

對不同方向的高頻子帶可采用區(qū)域系數(shù)絕對值加權(quán)和作為區(qū)域特征因子對高頻系數(shù)進(jìn)行融合。定義高頻子帶在區(qū)域Q內(nèi)的鄰域能量為活性測度:

其中:j=1，2，…，N代表分解的層數(shù);ε =1，2，3 代表每一層高頻系數(shù)的3個(gè)方向;w(i，j)為權(quán)系數(shù)，滿足

匹配測度為區(qū)域歸一化互相關(guān)函數(shù):

加權(quán)系數(shù)計(jì)算方法如下:

融合圖像相應(yīng)的高頻子帶表達(dá)式:

基于區(qū)域梯度信息的系數(shù)融合準(zhǔn)則考慮了圖像的邊緣等特征，提高了清晰區(qū)域的低頻系數(shù)選取的準(zhǔn)確性。這種加權(quán)與選擇相結(jié)合的融合準(zhǔn)則充分考慮了源圖像高頻子帶系數(shù)之間的相關(guān)性。

4 基于NSCT的融合試驗(yàn)

NSCT分解得到的高頻子帶的個(gè)數(shù)可以靈活控制，因此，有必要研究NSCT分解的層數(shù)和方向子帶的個(gè)數(shù)對融合結(jié)果的影響。通過高頻子帶合成圖像可以看出每一種分解情況下得到的所有的細(xì)節(jié)信息。如下列實(shí)驗(yàn)圖像所示，隨著分解層數(shù)和分解高頻子帶個(gè)數(shù)的增加，提取出來的細(xì)節(jié)信息不斷增加;在一定范圍內(nèi)，高頻子帶個(gè)數(shù)的增加能夠突出圖像的邊緣信息，隨著高頻子帶的繼續(xù)增加，其它的非邊緣信息也會(huì)得到加強(qiáng)。

圖5 分解層數(shù)、分解高頻子帶個(gè)數(shù)實(shí)驗(yàn)Fig.5 Experiments of decomposition of layers and decomposition of high frequency sub-band numbers

圖5 中分解層數(shù)和每層的高頻子帶個(gè)數(shù)用［d1，d2，…dl］表示，di代表第i層高頻子帶的個(gè)數(shù)，i=1，2，...，L代表分解層數(shù)。當(dāng)分解層數(shù)為1時(shí)，融合圖像在數(shù)字的邊緣處存在模糊，而當(dāng)分解層數(shù)為2和3時(shí)，融合圖像中模糊現(xiàn)象明顯減弱，說明分解層數(shù)的增加能夠提高算法的細(xì)節(jié)表現(xiàn)力。

為了驗(yàn)證該融合算法的有效性和正確性，采用兩組紅外與可見光圖像進(jìn)行融合實(shí)驗(yàn)。經(jīng)過配準(zhǔn)后的可見光與紅外圖像大小為256 pixel×256 pixel，如圖6所示。

圖6 紅外與可見光圖像融合實(shí)驗(yàn)(1)Fig.6 The first experiments of infrared and visible image fusion

驗(yàn)證算法的同時(shí)，還采用了其它融合算法(加權(quán)平均算法、拉普拉斯變換融合、小波變換(WT)、離散小波變換(DWT)、離散小波框架變換(DWFT)、Contourlet變換(CNT)以及NSCT等不同圖像多尺度變換)進(jìn)行性能比較。在所有基于多尺度分解的圖像融合算法中，圖像分解級數(shù)均為4級，基于NSCT融合算法中，尺度方向分解級數(shù)分別為2，3，3，4。采用平均梯度G、信息熵E以及基于圖像邊緣梯度信息的Q因子對融合性能進(jìn)行客觀評價(jià)。

從融合的結(jié)果可以看出，幾種融合方法都改善了原始圖像的視覺效果，豐富了圖像信息，提高了圖像的清晰度。相比于其它圖像，圖6(f)的細(xì)節(jié)信息得到了更好的保留，紋理更清晰，有效地消除了圖像的模糊。

圖7 紅外與可見光圖像融合實(shí)驗(yàn)(2)Fig.7 The second experiments of infrared and visible image fusion

圖7 是另一組融合實(shí)驗(yàn)圖像。從融合的結(jié)果可以看出，幾種融合方法都改善了原始圖像的視覺效果。相對于源圖像而言，圖7(c)對比度明顯降低。圖(d)中引入了較為明顯的“虛假”信息，尤其是紋理比較豐富的部分，而在圖(e)與圖(f)中，“虛假”信息得到了抑制，主要原因是相對DWT算法，DWFT和NSCT算法沒有采用上采樣和降采樣，在分解和重構(gòu)的實(shí)現(xiàn)過程中，避免了以前引入的頻率混疊項(xiàng)。相對于圖(e)的圖像，圖(f)細(xì)節(jié)更加豐富，主要原因是由于NSCT相對于DWFT具備更稀疏的圖像表示以及方向選擇性能力，變換后的圖像更加集中體現(xiàn)能量，有利于對圖像中重要的幾何特征進(jìn)行更好的跟蹤和捕捉。

NSCT處理后能量更加集中，提供了更多的圖像信息。另外，變換的平移不變特性使其能夠有效減少配準(zhǔn)誤差對融合性能的影響。圖像經(jīng)非下采樣Contourlet分解得到具有同尺寸的各子帶圖像，有利于融合運(yùn)算的實(shí)現(xiàn)，因而具有較快的運(yùn)算速度，另外本研究在工程應(yīng)用時(shí)對算法應(yīng)用的實(shí)時(shí)性無嚴(yán)格要求。因此，非下采樣Contourlet變換可以作為更適合圖像融合的MGA工具。

5 結(jié)論

NSCT作為多尺度分解的一個(gè)重要手段，逐漸在圖像融合研究領(lǐng)域中廣泛應(yīng)用。本文基于NSCT，重點(diǎn)針對紅外圖像與可見光圖像的融合，提出了加權(quán)與選擇結(jié)合的圖像融合算法，針對低頻子帶系數(shù)和各帶通方向子帶系數(shù)提出了低頻基于區(qū)域梯度信息、高頻基于區(qū)域特征因子的融合方案。實(shí)驗(yàn)結(jié)果表明:相對于基于像素的圖像融合算法，基于區(qū)域梯度信息與區(qū)域特征因子的圖像融合算法具有更高的融合性能。

［1］毛士藝，趙巍.多傳感器圖像融合技術(shù)綜述［J］.北京航空航天大學(xué)學(xué)報(bào)，2002，28(5):512-518.MAO SH Y，ZHAO W.Comments on multisensor image fusion techniques［J］.J.Beijing University Aeronautics and Astronautics，2002，28(5):512-518.(in Chinese)

［2］SIMONE G，F(xiàn)ARINA A，MORABITO F C.Image fusion techniques for remote sensing application［J］.Information Fusion，2002，3(1):3-15.

［3］杜寶祥.Contourlet變換在圖像處理中的應(yīng)用研究［D］.哈爾濱：哈爾濱工程大學(xué)，2009.DU B X.Recearch on applications of contourlet transform in image processing［D］.Harbin:Harbin Engineering University，2009.(in Chinese)

［4］WEN C Y，CHEN J K.Multi-resolution image fusion technique and its application to forensic science［J］.Forensic Science International，2004，140(2-3):217-232.

［5］PAN J P，GONG J Y，LU J，et al..Image fusion based on local deviation and high-pass filtering of wavelet transform［J］.SPIE，2004，5660:191-198.

［6］TU T M，HUANG P S，HUNG C L，et al..A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery［J］.IEEE Geoscience and Remote Sensing Lett.，2004，1(4):309-312.

［7］宋好好.Contourlet變換在圖像分析處理中的應(yīng)用研究［D］.上海：上海交通大學(xué)，2008.SONG H H.Application research on contourlet in image processing［D］.Shanghai:Shanghai Jiaotong University，2008.(in Chinese)

［8］HEATHER J P，SMITH M I.Multimodal image registration with applications to image fusion［C］.2005 7th IEEE International Conference on Information Fusion，Philadelphia，Pa，25-28 July，2005:372-379.

［9］楊俊，趙忠明.基于Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，6(1):11-16.YANG J，ZHAO ZH M.Multifocus image fusion method based on curvelet transform［J］.Opto-Electronic Eng.，2007，6(1):11-16.(in Chinese)

［10］NIKOLOV S G，HILL P R，BULL D R，et al..Wavelets for image fusion［EB/OL］.(2001-03-06)［2011-07-21］.http://www.tallypaul.pwp.blueyonder.co.uk/papers/nikolov-wif.pdf.

［11］SHI W Z，ZHU C Q，TIAN Y，et al..Wavelet-based image fusion and quality assessment［J］.International J.Appl.Earth Observation and Geoinformation，2005，6(3):241-251.

［12］STARCK J L，CANDES E，DONOHO D L.The curvelet transform for image denoising［J］.IEEE T.Image Process.，2002:670-684.

［13］CANDES E J，DEMANET L，DONOHO D L.Fast discrete curvelet transform［EB/OL］.(2005-01-10)［2010-07-21］.http://www.acm.caltech.edu/emmanuel/paper/FDCT.pdf.

［14］倪偉.基于多尺度幾何分析的圖像處理技術(shù)研究［D］.西安：西安電子科技大學(xué)，2008.NI W.Research on image processing algorithms via multiscale geometric analysis［D］.Xi'an:Xi'an Univeristy of Electronic Science and Technology，2008.(in Chinese)

［15］BENDER E J，REESE C E，SVANDERWAL G.Comparison of additive image fusion vs.feature-level image fusion techniques for enhanced night driving［J］.SPIE，2003，4796:140-151.