王　建，王必寧，侯維剛

（1．西安航空學(xué)院計算機學(xué)院，西安710077；2．西安熱工研究院有限公司，西安710032）

·微機軟件·

基于Contourlet的圖像融合方法?

王建1，王必寧2，侯維剛1

（1．西安航空學(xué)院計算機學(xué)院，西安710077；2．西安熱工研究院有限公司，西安710032）

針對兩幅嚴格配準的同一場景左聚焦和右聚焦圖像融合問題，設(shè)計了一種基于Contourlet變換的多聚焦圖像融合方法。應(yīng)用Contourlet變換對源圖像進行多尺度、多方向分解，分別采用主成分分析法和區(qū)域結(jié)構(gòu)相似度的融合規(guī)則得到融合圖像的低通子帶系數(shù)和帶通方向子帶系數(shù)，經(jīng)過Contourlet逆變換得到融合圖像。實驗結(jié)果和定量分析結(jié)果表明，融合成為一幅清晰的單一聚焦圖像，且將熵提高2．64%～3．15%，相關(guān)系數(shù)提高0．11%～0．57%，平均梯度提高4．44%～51．4%。

多聚焦圖像；Contourlet變換；主成分分析；結(jié)構(gòu)相似度；圖像融合；融合規(guī)則

1　引　言

圖像融合技術(shù)已經(jīng)在計算機視覺、機器人、自動目標識別等方面進行了研究，其應(yīng)用領(lǐng)域非常廣闊。多聚焦圖像的產(chǎn)生是由于光學(xué)成像系統(tǒng)聚焦范圍的限制，在相同焦距下無法獲得遠近不同或距離不同的多個目標都清晰的圖像，必須分別采取不同的焦距以獲得各自清晰的多幅圖像［1］。

圖像融合的主要方法是基于金字塔變換和基于小波變換的方法［2－3］。由于，金字塔分解結(jié)構(gòu)中不同層次的分辨率細節(jié)彼此相關(guān)，融合方法的穩(wěn)定性差；小波變換雖然提高了金字塔融合方法的穩(wěn)定性，但其只具有3個方向的分解，只能反映點奇異性，不能較好地表達圖像中的線、面奇異性。因此，提出了多尺度幾何分析方法Contourlet變換，該變換具有各向異性和多方向性的特點，與小波變換相比具有更好的稀疏表達能力，能更好地描述圖像方向的奇異性特征［4－5］。

在以上方法的基礎(chǔ)之上進行了深入研究，給出了一種基于Contourlet變換的多聚焦圖像融合方法。首先對待融合圖像進行Contourlet變換，分解成低通子帶和帶通方向子帶；然后采用PCA的融合規(guī)則和區(qū)域結(jié)構(gòu)相似度的融合規(guī)則來獲取相應(yīng)的系數(shù)；再對其進行Contourlet的反變換以得到最終融合圖像；最后采用客觀評價對融合方法的性能進行定量分析和比較。實驗結(jié)果和定量分析比較的結(jié)果均說明該融合方法法具有較好的優(yōu)越性。

2　Contourlet變換

M．N．Do和M．Vetterli于二十一以世紀初提出一種二維圖像稀疏表達方法即Contourlet變換，該方法主要解決了小波變換無法識別數(shù)字圖像中固有的線面奇異和方向性信息差的缺點，采用類似于輪廓段（Contour Segment）的光滑結(jié)構(gòu)來逼近圖像，其支撐區(qū)間是“長條形”結(jié)構(gòu)且具備隨尺度變化長寬比例［6－7］。Contourlet變換除了擁有小波變換的多尺度、時域和頻域局部特性之外，還具有良好的多分辨率、局部化、各向異性和多方向特性，能夠?qū)饣€采用比較少的系數(shù)來表達，以便更好地捕捉圖像的邊緣信息。

Contourlet變換利用雙重濾波器組結(jié)構(gòu)實現(xiàn)一種多尺度、多方向的圖像表示方法。第一步，二維圖像采用拉普拉斯金字塔（Laplacian Pyramid，LP）變換進行分解，產(chǎn)生一個下采樣的原始圖像一半的低通子帶和一個與原始圖像分辨率相同的高通子帶。再次采用拉普拉斯金字塔變換對低通子帶圖像進行迭代分解，以便將原始圖像分解為一系列不同尺度上的高通和低通子帶圖像。第二步，高通子帶圖像采用方向濾波器組（Directional Filter Bank，DFB）進行多方向分解，對拉普拉斯金字塔分解所得到的每層高通子帶圖像都進行多方向分解，以便將分布在同方向的奇異點合成一個系數(shù)。方向濾波器組包括兩個模塊：第一個模塊是兩通道的Quincunx梅花扇形濾波器組，用扇形濾波器將2－D光譜分解成垂直和水平兩個主要方向。第二個模塊是Shearing平移操作，其作用是旋轉(zhuǎn)重采樣并且寬度變?yōu)樵瓉淼膬杀?，以實現(xiàn)圖像信息在其余方向的分析，捕獲圖像的線和面的奇異性。最終目標是將高通子帶圖像信息的頻域劃分成2的n次方個楔形區(qū)域［7］。Contourlet變換原理結(jié)構(gòu)框圖如圖1所示。

圖1　Contourlet變換原理結(jié)構(gòu)框圖

Contourlet變換之后的系數(shù)分布由塔式方向濾波器組（Pyramidal Directional Filter Bank，PDFB）分解時所給定的參數(shù)numlevs決定。numlevs為一維向量，numlevs向量中的每一個值對應(yīng)每一級塔式方向濾波器組分解級數(shù)的系數(shù)。在金字塔分解的過程中，如果方向濾波器組分解級數(shù)的系數(shù)為0，則必須嚴格采用二維小波分解來處理；如果分解級數(shù)的系數(shù)為K，則該層級上方向濾波器組分解的級數(shù)為2K個方向。Contourlet變換之后的系數(shù)coeffs與分解參數(shù)numlevs相對應(yīng)，變換所得到的系數(shù)coeffs是一個多維向量組，向量組的長度Length是向量numlevs的長度加1。其中coeffs｛1｝是低通子帶圖像，coeffs｛i｝（i＝2，…，Length）代表金字塔第i層級上DFB分解所得到的方向子帶圖像。當numlevs為［0，3，4］時，待融合圖像大小為512×512，待融合圖像的3級Contourlet變換示意圖如圖2所示。由圖2可知，Contourlet分解的最上層是低通子帶系數(shù)，中間層和最下層都是帶通方向子帶系數(shù)，且中間層分解的級數(shù)為8個方向，最下層分解的級數(shù)為16個方向。

3　融合方法

在圖像融合之前，待融合的多聚焦圖像A和B已經(jīng)過嚴格的空間配準?；贑ontourlet變換的多聚焦圖像融合步驟如下：

（1）對源圖像A和B分別采用Contourlet變換進行J層（J＝3）分解，得到不同尺度和方向子帶系數(shù)。其中，和為低通子帶，和為帶通方向子帶，k＝1，2，．．．，2nj，j＝1，2，…J。J代表分解的最大層次，2nj代表每一層分解的方向數(shù)目。

（2）對源圖像A和B的低通子帶系數(shù)采用PCA融合規(guī)則，帶通方向子帶系數(shù)采用SSIM融合規(guī)則，以得到融合圖像F的Contourlet系數(shù)。

（3）對融合后的系數(shù)進行Contourlet逆變換，以產(chǎn)生最終的融合圖像F。

圖2　Contourlet變換示意圖

3．1低通子帶系數(shù)融合規(guī)則

Karhunen和Loeve首次提出主成分分析（principal component analysis，PCA），又名K－L變換。其數(shù)學(xué)過程是將許多個相關(guān)的變量經(jīng)過一系列數(shù)學(xué)計算轉(zhuǎn)換為少數(shù)幾個不相關(guān)變量，這些不相關(guān)的變量稱為主元成分［1，8］。主成分分析的目標是降低維數(shù)，將原來的R維空間投影到M維空間（R＞M），并且在降低維數(shù)之后保存了原始數(shù)據(jù)中的主要信息。圖像的近似和平均特性主要由圖像的低通子帶描述，低通子帶不但包含圖像的主要能量，而且決定圖像的輪廓。由于主成分分析能夠很好地結(jié)合待融合源圖像A和B相應(yīng)的低通子帶中的最主要信息，因此，采用二維主成分分析法進行低通子帶系數(shù)融合。低通子帶系數(shù)融合算法流程如下：

和一杭分手后，雪螢發(fā)現(xiàn)被人跟蹤。她看了看那個戴墨鏡的男子，不動聲色地跨上一輛公交車。當她選擇一個相對寬松的位置站好時，那個男子也上了車。他朝雪螢瞥了一眼，又把目光移開，鉆到密集的人群中，消失了作為個體的特征，成為無數(shù)灰色背影中的一個。

（1）將待融合圖像的低通子帶系數(shù)矩陣以列為主序轉(zhuǎn)化為一維向量X1和X2，構(gòu)造數(shù)據(jù)矩陣X＝（X1X2）。

（2）計算數(shù)據(jù)矩陣X的協(xié)方差矩陣C。

xi為第i個向量的平均值。

（3）計算協(xié)方差矩陣C的特征值λi和相應(yīng)的特征向量ξi，其中i＝1，．．．，m。

（4）確定加權(quán)系數(shù)ωi：

（5）計算融合圖像F的低通子帶系數(shù)。

3．2帶通方向子帶系數(shù)融合規(guī)則

帶通方向子帶描述了圖像的亮度突變特性，圖像的細節(jié)和邊緣信息將受其融合效果的影響。由于帶通方向子帶系數(shù)與其周圍8個相鄰系數(shù)之間存在很大的相關(guān)性，是由區(qū)域內(nèi)的多個系數(shù)共同表征和體現(xiàn)的。因此，提出基于區(qū)域結(jié)構(gòu)相似度的帶通方向子帶系數(shù)融合規(guī)則，避免了單一特征量對融合結(jié)果的影響，帶通方向子帶系數(shù)融合算法包含以下三個步驟。

第一步：定義圖像A和圖像B的結(jié)構(gòu)相似度（structural similarity，SSIM）［9－10］為：

其中，L（A，B）表示圖像A和B的亮度比較，C（A，B）表示圖像A和B的對比度比較，S（A，B）表示圖像A和B的結(jié)構(gòu)比較。μA和μB是圖像A和B的均值，和是圖像A和B的方差，σA和σB是圖像A和B的標準差，σAB是圖像A和B的協(xié)方差，C1，C2和C3為非常小的正常數(shù)。

第二步：定義基于區(qū)域的結(jié)構(gòu)相似度，在上一步的基礎(chǔ)之上需要定義基于區(qū)域的均值、方差、標準差和協(xié)方差，實現(xiàn)以各個像素為中心的區(qū)域多尺度結(jié)構(gòu)相似度，其定義為：

4　實驗結(jié)果及分析

其中，num為將圖像劃分成區(qū)域的總數(shù)；w標識區(qū)域窗口函數(shù)，區(qū)域為N×N的窗口，其值之和為1；A為區(qū)域所對應(yīng)圖像的像素值。

第三步：定義區(qū)域結(jié)構(gòu)相似度臨界值為α，則融合圖像F的帶通方向子帶系數(shù)為：

若SSIM＜α，則采用區(qū)域方差比較大的系數(shù)為融合之后的帶通方向子帶在此區(qū)域中心位置上的系數(shù)；

若SSIM≥α，則采用如下加權(quán)方法確定融合之后的帶通方向子帶在此區(qū)域中心位置上的系數(shù)。

圖像融合方法以Windows 7操作系統(tǒng)為平臺，以Matlab為設(shè)計語言，針對左聚焦圖像和右聚焦圖像進行融合實驗，實驗結(jié)果如圖3所示。在融合實驗之前，對源圖像已進行了嚴格的空間配準，圖像大小是512×512，灰度總級數(shù)為256。圖3（a）是左聚焦圖像，圖3（b）是右聚焦圖像，采用不同的融合方法得到的實驗結(jié)果見圖3（c）－圖3（f）。通過觀察融合實驗后的結(jié)果可知，圖3（f）比圖3（c）－圖3（e）表達的圖像更加清楚，圖像信息更加豐富，完全能夠?qū)⒆缶劢箞D像和右聚焦圖像融合成一幅左右兩邊均清晰的單一聚焦圖像。

圖3　多聚焦圖像的融合

為了表明融合方法的有效性和正確性，將此方法與其他三種圖像融合方法進行定量比較，并采用信息熵、相關(guān)系數(shù)和平均梯度三個客觀評價標準作為定量比較的依據(jù)［11－13］。與其他融合方法相比較，該融合方法能夠?qū)㈧靥岣?．64%～3．15%，相關(guān)系數(shù)提高0．11%～0．57%，平均梯度提高4．44%～51．4%。比較結(jié)果見表1，表1的定量比較結(jié)果和圖3的結(jié)論是一致的，說明融合方法是有效的，融合結(jié)果是正確的。

5　結(jié)束語

設(shè)計了一種基于Contourlet的多聚焦圖像融合方法。首先分別對左聚焦和右聚焦圖像采用Contourlet變換進行分解，得到低通子帶系數(shù)和帶通方向子帶系數(shù)，然后分別對各個子帶選用PCA的融合規(guī)則或SSIM的融合規(guī)則，最后進行Contourlet逆變換得到一幅融合圖像。實驗結(jié)果表明，融合方法能夠?qū)⒍鄠€目標的左聚焦和右聚焦圖像進行融合從而生成同一目標的單一聚焦融合圖像。依據(jù)客觀評價標準的定量分析，融合方法在熵、相關(guān)系數(shù)和平均梯度等方面均有較為明顯的改善，無論視覺效果還是客觀評價均具有較好的優(yōu)越性。

表1　融合方法的性能比較

［1］王玲，李紅松，周浩，等．基于非向下采樣Contourlet變換的多聚焦圖像融合［J］．計算機應(yīng)用與軟件，2011，28（4）：196－198．Wang Ling，Li Hongsong，Zhou Hao，et al．MULTIFOCUS IMAGE FUSION BASED ON NON－SUBSAMPLEDCONTOURLETTRANSFORM［J］．Computer Applications and Software，2011，28（4）：196－198．

［2］馬先喜，彭力，徐紅．基于PCA的拉普拉斯金字塔變換融合算法研究［J］．計算機工程與應(yīng)用，2012，48（8）：211－213．MA Xianxi，PENG Li，XU Hong．PCA－based Laplacian pyramid in image fusion［J］．Computer Engineering and Applications，2012，48（8）：211－213．

［3］郭雷，程塨，趙天云．基于小波變換和鄰域特征的多聚焦圖像融合算法［J］．西北工業(yè)大學(xué)學(xué)報，2011，29（3）：454－458．

Guo Li，Cheng Gng，Zhao Tanyuni．A New and Effective Multi－Focus Image Fusion Algorithm Based on Wavelet Transforms and Neighborhood Features［J］．Journal of Northwestern Polytechnical University，2011，29（3）：454－458．

［4］朱康，賀新光．基于形態(tài)學(xué)和Contourlet系數(shù)區(qū)域特征的遙感圖像融合方法［J］．計算機科學(xué)，2013，40（4）：301－305．GHU Kung，HF Xin－guang．Remote Sensing Images Fusion MethodBasedonMorphologyandRegional Feature of Contourlet Coefficients［J］．Computer Science，2013，40（4）：301－305．

［5］張瑩，李言俊，張科，等．基于NSCT的紅外與可見光圖像融合［J］．計算機工程與應(yīng)用，2011，47（3）：196－198．ZHANG Ying，LI Yanjun，ZHANG Ke，et al．Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］．Computer Engineering and Applications，2011，47（3）：196－198．

［6］Do M N，Vetter li M．The Contourlet Transform：An Efficient Directional Multiresolution Image Representation［J］．IEEE Transaction on Image Processing，2005，14（12）：2091－2106．

［7］Starck J L，Candes E，Donoho D L．The Curvelet Transform for Image Denoising［J］．IEEE Transaction on Image Processing，2002，11（6）：670－684．

［8］EMMANUELJ．CANDES，XIAODONGLI．Robust Principal Component Analysis［J］．Journal of the ACM，2011，58（3）：11．1－11．37．

［9］Sourav Pramanik，Swagatika Prusty，Debotosh Bhattacharjee，et al．A Region－to－Pixel Based Multi－sensor Image Fusion［J］．International Conference on Computational Intelligence：Modeling，Techniques and Applications，2013，10：654－662．

［10］Ashirbani Saha，Gaurav Bhatnagar，Q．M．，et al．Mutual spectral residual approach for multifocus image fusion［J］．Digital Signal Processing，2013，23：1121－1135．

［11］王建，劉肖，王國琿．基于梯度變換的多傳感器圖像融合算法［J］．重慶理工大學(xué)學(xué)報（自然科學(xué)），2012，26（10）：62－65．WANG Jian，Liu Xiao，WANG Guo－h(huán)ui．Multi－Sensor Image Fusion Algorithm Based on Gradient Transform［J］．Journal of Chongqing University of Technology（Natural Science），2012，26（10）：62－65．

［12］王建，劉肖，王國琿．基于區(qū)域能量的多聚焦圖像融合算法［J］．陜西理工學(xué)院學(xué)報（自然科學(xué)版），2012，28（5）：39－43．WANG Jian，LIU Xiao，WANG Guo－h(huán)ui．Multi－focus image fusion algorithm based on regional energy［J］．Journal of Shaanxi University of Technology（Natural Science Edition），2012，28（5）：39－43．

［13］王建，王必寧，楊根善，等．基于形態(tài)學(xué)金字塔的醫(yī)學(xué)圖像融合技術(shù)［J］．兵工自動化，2014，33（1）：82－84．Wang Jian，Wang Bining，Yang Genshan，et al．Fusion Technology of Medical Image Based on Morphological Pyramid［J］．Ordnance Industry Automation，2014，33（1）：82－84．

Approach of Image Fusion Based on Contourlet Transform

Wang Jian1，Wang Bining2，Hou Weigang1
（1．School of Computer Science，Xi'an Aeronautical University，Xi'an 710077，China；2．Xi'an Thermal Power Research Institute Co．，Ltd．，Xi'an 710032，China）

Focusing on the problem of the fusion of the left－focus image and right－focus image from the same scene，a novel multi－focus image fusion approach based on contourlet transform is designed．Firstly，the contourlet transform is used to perform the multiscale and multidirection decomposition of the source images．Secondly，low frequency subband coefficients and bandpass directional subband coefficients of the fused image can be obtained by the fusion rules based on principal component analysis（PCA）and region structural similarity．Finally，the fused image is reconstructed by performing the inverse contourlet transform on the combined coefficients．The results of experiment and quantitative analysis demonstrate that the proposed algorithm can fuse into a clear single focus image，and the proposed algorithm is superior with entropy improvement from 2．64%to 3．15%，correlation coefficient enhancement from 0．11%to 0．57%and average gradient improvement from 4．44%to 51．4%．

Multi－focus images；Contourlet transform；Principal Component Analysis（PCA）；Structural similarity；Image fusion；Fusion rules

10．3969／j．issn．1002－2279．2016．05．011

TP39

A

1002－2279（2016）05－0043－05

?陜西省光電測試與儀器技術(shù)重點實驗室開放基金資助（ZSKJ201408）

王建（1976－），男，陜西省渭南市人，碩士研究生，講師，主研方向：圖像融合、計算機視覺等方面的研究。

2016－03－21