畢家賓，牛珍珍，魏宗壽

蘭州交通大學(xué)光電技術(shù)與智能控制教育部重點實驗室，蘭州 730070

基于CV模型和NSCT的紅外與可見光圖像融合

畢家賓，牛珍珍，魏宗壽

蘭州交通大學(xué)光電技術(shù)與智能控制教育部重點實驗室，蘭州 730070

1 引言

圖像融合是通過對多幅圖像信息的提取與綜合，產(chǎn)生對同一場景或目標更準確、全面可靠的圖像描述[1]。經(jīng)過融合處理得到的圖像可以彌補單一圖像信息量不足的問題，更符合人眼的視覺特征。圖像融合是數(shù)據(jù)融合的分支，在軍事、醫(yī)學(xué)圖像處理、遙感、安全和監(jiān)視領(lǐng)域有廣泛的應(yīng)用。

目前，常用的圖像融合算法[2]主要有加權(quán)平均法、主成分分析以及基于多尺度分解的方法，其中以后者的效果較好。作為一種信號分析工具，小波變換以其具有的多分辨率和時頻局部化特性，在圖像融合中得到了廣泛的應(yīng)用，是目前圖像融合領(lǐng)域方面一種較為主流的方法。但是小波無法識別自然圖像中固有的線奇異和面奇異，同時其捕獲的方向性信息也受到限制[3]，因此融合后的圖像中容易產(chǎn)生細節(jié)成分模糊現(xiàn)象。為了克服小波變換存在的不足，文獻[4]提出了Contourlet變換。Contourlet變換不僅具有小波變換的多尺度和時頻局部特性，而且具有高度的方向性和各向異性，但是由于其變換過程中的下采樣操作，使得Contourlet變換不具備平移不變性，信號頻譜會產(chǎn)生一定的混疊現(xiàn)象，圖像融合中則表現(xiàn)為較明顯的吉布斯現(xiàn)象。受到構(gòu)造非下采樣小波的啟發(fā)，應(yīng)用Trous算法提出了一種非下采樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT），它具有一定的冗余性，不但繼承了Contourlet的多尺度、多方向的性質(zhì)，還具有良好的多分辨、平移不變性和靈活的方向分解特性。

針對傳統(tǒng)融合方法在光照不足、目標隱藏或目標和背景顏色接近時，容易出現(xiàn)目標信息丟失或減弱的現(xiàn)象，本文提出一種采用基于CV模型目標提取和NSCT相結(jié)合的融合方法。首先對紅外圖像做基于CV模型的目標提取，得到目標區(qū)域和非目標區(qū)域，然后對紅外圖像和可見光圖像分別作基于NSCT的多尺度、多方向分解，分別對位于目標區(qū)域和非目標區(qū)域的低頻和高頻系數(shù)采用不同的融合規(guī)則。將融合結(jié)果與現(xiàn)有的融合方法進行對比，實驗結(jié)果表明，本文算法更好地保留了目標信息和細節(jié)信息，清晰度高，具有較高的信息量。同時，對不同的融合方法進行對比融合實驗，證明了算法的有效性。

2 相關(guān)理論

2.1 CV模型原理介紹

活動輪廓模型（Active Contour Models）是由Kass、Witkin和Terzopoulos提出的[5]，是一種可應(yīng)用于圖像分析和機器視覺領(lǐng)域中解決各種問題的方法?；顒虞喞且环N保留連通性的逐次近似法，適用于圖像分割問題。自從Kass第一次提出Snakes模型，動態(tài)輪廓方法就開始被應(yīng)用在圖像分割和邊界跟蹤方面。動態(tài)輪廓的基本思想是通過一個初始的閉合曲線，根據(jù)圖像中的某項參數(shù)迭代進行收縮或擴張操作，這些操作被稱為輪廓演化，演化的動力來自一個能量函數(shù)最小化過程。動態(tài)輪廓主要有基于邊界的和基于區(qū)域的兩種模型，由于基于區(qū)域的動態(tài)輪廓模型對先驗知識的依賴較少，模型一般包括兩個部分：一個是決定輪廓平滑性的調(diào)整項；另一個是能量最小化項。

在此選用Chan和Vese所提出的水平集分割方法中的Chan-Vese模型（CV模型）[6]。CV模型作為一種有效提高曲線演化時拓撲自適應(yīng)能力的分割模型，是圖像分割領(lǐng)域中的一種有效工具，是一種基于曲線演化和水平集理論的簡化經(jīng)典Mumform-Shah（M-S）動態(tài)輪廓模型[7]。CV模型假設(shè)圖像中每個同質(zhì)區(qū)域的灰度值時常數(shù)，最小化能量函數(shù)的目的就是尋找最優(yōu)分割C，使得分割圖像和原圖像之間的差異最小。定義圖像域Ω中，演化邊界C是Ω中一個子集區(qū)域ω的邊界，即ω?Ω且C=?ω。ω表示前景像素所占的區(qū)域，inside(C)表示區(qū)域ω，outside(C)表示區(qū)域Ωωˉ。假設(shè)圖像u0(x，y)由兩個同質(zhì)C1和C2區(qū)域構(gòu)成，若目標邊界是C，則C內(nèi)部的灰度值等于C1，C外部的灰度值等于C2，Chan和Vese引入如下能量函數(shù)：

式中，μ≥0，ν≥0，η1，η2＞0是權(quán)重系數(shù)，輪廓C的長度Length和輪廓C內(nèi)部區(qū)域的面積Area是兩個約束項，前兩項為光滑項，保證輪廓的光滑，后兩項為擬合項，使輪廓向理想目標邊界靠攏。通過求解能量泛函的最小值問題得到圖像前景和背景的分割，在水平集方法中，輪廓C?Ω用零水平集函數(shù)表示：

在變分水平集模型中，將能量泛函F(c1，c2，C)右邊各項使用?代替C，并引入Heaviside函數(shù)和Dirac函數(shù)：

2.2 非下采樣輪廓波（NSCT）

Contourlet變換作為一種多尺度、多方向的圖形表示工具[8]，已成功用于圖像融合領(lǐng)域，但是由于下采樣操作導(dǎo)致基函數(shù)仍缺乏平移不變性，在邊緣部分亦存在可見的振鈴效應(yīng)。NSCT在保持Contourlet變換的優(yōu)良性能的前提下，通過非下采樣濾波器組又獲得了良好的平移不變性，因此，理論上更適于圖像融合應(yīng)用[9]。

由于沒有下采樣操作，NSCT具有平移不變性，與Contourlet變換不同的是，NSCT中的多分辨率分解不是通過LP分解來實現(xiàn)的，而是直接通過滿足Bozout恒等式（完全重構(gòu)）條件的移不變?yōu)V波器組來實現(xiàn)的。由于在塔式分解過程中沒有下采樣（抽取）環(huán)節(jié)，即使低通濾波器的帶寬大于π/2，其低頻子帶也不會有頻譜混疊現(xiàn)象產(chǎn)生，具有更好的頻譜特性[10]。NSCT兩層分解如圖1所示。

圖1 非下采樣Counterlet變換

NSCT的多尺度特性通過非下采樣金字塔（NSP）結(jié)構(gòu)來獲取，在第j分解層的低通濾波器的理想帶通支撐是[-π/2j，π/2j]2，因此對應(yīng)的高通濾波器理想的帶通支撐應(yīng)為低通的補集，即[-π/2j-2，π/2j-1]2[-π/2j，π/2j]2。接著，各尺度分解層的濾波器通過對上一層的上采樣（零插值）來獲得，這樣無需附加濾波器的設(shè)計就獲得了多尺度特性。對于J層分解來說，NSCT每一層一個帶通圖像產(chǎn)生J+1個冗余，而對應(yīng)的NSCT分解則產(chǎn)生三個方向圖像，即3J+1的冗余。本文采用具有如下性質(zhì)的低通分解濾波器，H0(z)來構(gòu)造所要的NSCT，即令高通分解濾波器為H1(z)=1-H0(z)，對應(yīng)的合成濾波器為G0(z)=G1(z)=1，此時的系統(tǒng)滿足如下的完全重構(gòu)條件：

充分考慮到濾波器組設(shè)計中的完全重構(gòu)和抗混疊條件，可簡化如下選取的原型濾波器：

3 采用CV模型目標提取和NSCT的紅外與可見光圖像融合

基于CV模型的目標提取方法可以把紅外圖像分割為目標區(qū)域和背景區(qū)域，然后利用NSCT的多尺度、多方向的分解特征，抽取出目標區(qū)域和背景區(qū)域的重要信息，再根據(jù)目標區(qū)域和背景區(qū)域特征的不同而采用不同的融合規(guī)則，其算法流程圖如圖2所示。

圖2 基于CV模型目標提取和NSCT的圖像融合算法流程

基于CV模型目標提取和NSCT變換的紅外與可見光圖像融合方法的具體步驟如下：

步驟1設(shè)紅外圖像A和可見光圖像B為已配準待融合的圖像。

步驟2對紅外圖像運用CV輪廓線的方法進行目標提取，得到目標區(qū)域和背景區(qū)域。

步驟4目標區(qū)域和背景區(qū)域分別代表不同的物理意義，為了更好地得到融合圖像F，在不同的區(qū)域需要采用不同的融合規(guī)則，用X表示目標區(qū)域，Z表示背景區(qū)域，由于不同的頻域子帶代表不同的意義，低頻反映的是原始圖像的粗略成像，高頻則表示圖像的細節(jié)信息以及顯著特征。因此，融合規(guī)則的選取要充分考慮圖像的這些特征，融合系數(shù){}可通過以下步驟得到：

步驟4.1目標區(qū)域。目標區(qū)域具有較高的像素值，所以能量值高于其他區(qū)域，為了保證紅外圖像的熱目標信息能夠最大限度加入到融合圖像，因此目標區(qū)域直接選取紅外圖像A的分解系數(shù)作為融合系數(shù)。

步驟4.2背景區(qū)域。因為可見光圖像包含大量的背景信息，而背景信息可以提供目標的局部位置信息，又多尺度分解的低頻信息是對源圖像的粗略成像，即可見光圖像B的低頻系數(shù)包含了大量的背景細節(jié)信息，所以選取可見光圖像的低頻系數(shù)作為融合圖像的低頻系數(shù)。

鑒于對信息量的考慮，在高頻子帶的處理中，選擇基于窗口的局部信息熵的融合方法。

步驟5通過對上面得到的融合系數(shù)做NSCT反變換，就最終得到了基于CV輪廓線目標提取和NSCT的融合圖像。

4 實驗結(jié)果與分析

為了驗證本文算法，采用實拍且經(jīng)過配準的幾組紅外與可見光圖像，進行對比實驗，圖片下載自http：//www.imagefusion.org/。

實驗1選取官方圖片UN-camp序列中的幾組目標與背景顏色相近或目標隱藏在背景后的紅外及相應(yīng)的可見光圖像，如圖3所示；使用CV動態(tài)模型方法對目標進行檢測，檢測結(jié)果如圖4所示，其中兩組紅外圖像的目標提取輪廓曲線如圖5所示。

實驗2將本文方法與NSCT方法[11]、拉普拉斯金字塔方法[12]和小波方法[13]進行對比融合實驗，實驗結(jié)果如圖6所示。

圖3 目標與背景顏色相近或目標隱藏的源圖像

圖4 基于CV動態(tài)輪廓線模型的目標檢測結(jié)果

圖5 基于CV動態(tài)輪廓線模型的目標提取輪廓

實驗3雖然實驗2中主觀視覺感知給出了對各種方法的直觀比較，然而，其結(jié)果易受到視覺心理因素的影響，因此，要全面衡量融合效果，需要從主觀感知和客觀指標衡量兩方面綜合考察。為了比較全面地對融合結(jié)果進行衡量，采用如下的衡量指標：平均梯度、標準差、空間頻率、平均光譜誤差等客觀評價指標，對上述幾種方法進行比較實驗，實驗結(jié)果如表1所示。

圖像融合結(jié)果是否較好地保留了原始圖像的數(shù)據(jù)，除了目視效果外，還可以進行定量分析，本實驗的客觀評價標準如下所示[14-15]。

（1）熵（Information Entropy，IE）：圖像信息熵反映了圖像攜帶信息量的多少，熵值越大，說明攜帶的信息量越大。其定義為：

式中，Pi為灰度值等于i的像素數(shù)與圖像總像素數(shù)之比，L為灰度級總數(shù)。

圖6 不同融合方法得到的融合圖像

表1 不同融合效果的性能評價指標

（2）平均梯度（Average Gradient，AG）：可敏感地反映圖像對微小細節(jié)反差表達的能力，因此可以認為平均梯度大的圖像清晰程度好。其定義為：

式中，M、N分別表示圖像f(i，j)行數(shù)和列數(shù)。

（3）空間頻率（Space Frequency，SF）：反映圖像的全面活躍水平，其值越大圖像越清晰。其定義如下：

其中，RF為圖像的行頻率，CF為圖像的列頻率。

（4）標準差（Standard Deviation，STD）：可反映圖像灰度相對于灰度平均值的離散情況，并可以用標準差來評價圖像反差的大小。若標準差大，則圖像的對比度大，圖像包含更多的信息；標準差小，圖像反差小，則對比度小。其定義為：

其中，MV為圖像的均值。

（5）平均光譜誤差（Relative Average Spectral Error，RASE）：它表征該方法在光譜帶中的平均性能，其值越小說明該方法越好。其定義為：

通過圖3可以看出，紅外圖片中的人物外形清楚可見，但是樹木等信息不甚理想，而可見光圖片中的細節(jié)紋理信息豐富，但是目標被樹木等遮擋或目標與背景的顏色相近，其目標幾乎完全不可見或目標信息不明顯，目標很難分辨，而在紅外圖像中，由于目標溫度高于周圍場景溫度，因此目標較明顯。

通過實驗2可以看出，如圖6所示為可見光中目標隱藏時利用本文方法、NSCT方法、拉普拉斯金字塔方法和小波方法得到的融合圖像。從實驗結(jié)果可以看出，本文方法得到的效果較好，背景和目標都比較清晰，背景中的花草、房屋、道路都比較清晰，且目標突出，邊緣明顯，可視度好。本文方法不僅保留了可見光圖像中的細節(jié)、輪廓等背景信息，還最大程度地保留了紅外圖像中的目標信息，并有所增強，目視效果較好，邊緣清晰。

從視覺效果來看，本文方法的融合圖像具有較理想的融合效果，不僅繼承了可見光圖像中景物的光譜信息，而且也完全保留了紅外圖像中的熱目標的特征信息，且邊緣細節(jié)信息突出，這即反映了基于CV輪廓線對目標特征的提取作用，也反映了NSCT捕捉圖像中沿邊緣信息的能力。相比之下，拉普拉斯方法和小波方法的融合圖像雖然也保留了兩幅源圖像中的主要景物特征信息，但融合圖像邊緣細節(jié)信息較模糊，整體對比度較低，NSCT方法融合的圖像雖然整體對比度有所改善，但仍然損失了一部分可見光圖像的光譜信息。例如，灌木的光譜信息相比可見光圖像損失不小，且目標特征信息不如本文方法突出。

對融合結(jié)果的評價，除了目視效果這種簡單有效的定性分析法外，還可以采用相關(guān)的評價指標做定量的分析。實驗3中選用熵、平均梯度、標準差、空間頻率、平均光譜誤差等客觀評價指標對幾種方法進行比較。表1給出基于上述客觀衡量指標的紅外與可見光圖像的融合結(jié)果（對應(yīng)于圖6的融合結(jié)果）。實驗結(jié)果表明，客觀指標的衡量結(jié)果與主觀視覺相一致，本文提出的融合方法得到了比較理想的融合效果，綜合了兩幅源圖像的有用信息，因此，本文方法要優(yōu)于其他幾種方法。實驗也證明單純利用NSCT的方法，無論主觀感受還是客觀指標與本文方法相比均有差距，這是由于紅外與可見光圖像本身特性差異較大造成的。

以上對比實驗表明，基于CV輪廓線和NSCT的圖像融合方法，從客觀評價指標來講，相比NSCT方法、拉普拉斯金字塔方法和小波方法部分評價指標有較大改善，但是個別指標有所下降。這主要是由于該方法對目標部分采取了直接替換，使目標中的紋理細節(jié)信息有所損失。主觀來講，本文融合方法可有效獲得源圖像的目標特征信息，從而可在融合過程中針對目標信息及背景信息采用不同的融合策略，使融合圖像既突出了紅外圖像的目標特征，又能有效地保留可見光圖像的光譜信息。本文方法的融合結(jié)果的目標比較清晰，亮度較高，目視效果較好，表明該方法有一定的實際意義。

5 結(jié)束語

針對紅外與可見光圖像的成像特點及融合要求，提出了一種基于CV動態(tài)輪廓模型和NSCT變換的紅外與可見光圖像融合方法。本文方法充分考慮了紅外圖像的目標輪廓信息，提高了它在雜物遮擋背景環(huán)境中檢測的準確性。實驗結(jié)果表明，本文方法不僅能夠保留可見光圖像中的細節(jié)、輪廓等背景信息，還較大程度地保留了紅外圖像中的目標信息。該算法基于具有良好的多分辨、平移不變性，以及靈活的方向分解特性的非下采樣Contourlet變換。實驗表明，無論是視覺效果還是客觀衡量指標兩個方面，本文方法較之NSCT方法、拉普拉斯金字塔方法以及小波方法都有一定的改進效果，是一種比較有效的紅外與可見光圖像融合算法。

[1]Pohl C，Genderen J L.Multisensor image fusion in remote sensing：concepts，methodsandapplications[J].InternationalJournal of Remote Sensing，1998，9（5）：823-854.

[2]夏明革，何友，唐小明，等.圖像融合的發(fā)展現(xiàn)狀與展望[J].艦船電子工程，2002（6）：2-3.

[3]儲彬彬，龐璐璐.基于多尺度分析的圖像融合技術(shù)綜述[J].航空電子技術(shù)，2009，40（3）：29-33.

[4]Do M N，Vetterli M.The contourlet transform：An eficient directional multiresolution image reptrsentation[J].IEEE Transactions on Image Processing，2005，14（12）：2091-2106.

[5]Kass M，Witkin A，Terzopoulos D.Snakes，active contour model[J]. International Journal of Computer Vision，1988（4）：321-331.

[6]Chan T，Vese L.Active contours without edges[J].IEEE Trans Image Processing，2001，10（2）：266-277.

[7]Morar A，Moldoveanu F，Groller E.Image segmentation based on active contours without edges[C]//Proceedings of IEEE International Conference on Intelligent Computer Communication and Processing（ICCP），2012：213-220.

[8]焦李成.圖像多尺度幾何分析理論與應(yīng)用[M].西安：西安電子科技大學(xué)出版社，2008.

[9]Zhang Qiang.Multi-focus image fusion using the nonsubsampled Contourlet transform[J].Signal Processing，2009，89（7）：1334-1346.

[10]Cunha A L，Zhou Jianping，Minh N.The nonsubsampled Contourlet transform：theory，design，and application[J].IEEE Trans on Image Processing，2006，15（10）：3089-3101.

[11]張瑩，李言俊，張科，等.基于NSCT的紅外與可見光圖像融合[J].計算機工程與應(yīng)用，2011，47（3）：196-198.

[12]Burt P J.A gradient pyramid basis for selective image fusion[J]. Society for Information Display Digest of Technical Papers，1985，16：467-470.

[13]Li H，Manjunath B S，Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing，1995，57（3）：235-245.

[14]González-Audícana M，Saleta J L，Catalán R G，et al.Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Ggeoscience and Remote Sension，2004，42（6）：1291-1299.

[15]李樹濤，王耀南，張昌凡.多傳感器圖像融合的客觀評價與分析[J].儀器儀表學(xué)報，2002，23（6）：651-654.

BI Jiabin,NIU Zhenzhen,WEI Zongshou

Key Laboratory of Optical-Electronic Technology and Intelligent Control,Ministry of Education,Lanzhou Jiaotong University, Lanzhou 730070,China

In order to solve the problem that the target information is easily lost or impaired when the target is hided or the color of target is close to the background or lack of light,a new method that combined NSCT and target extraction based on CV model is proposed.The method uses the dynamic contour model to search,test and identify the infrared target,then divides the source image sequence into target and background region,and uses non-subsampled Contourlet transform to sparse decomposition in multi-scale and multi-directions for getting high-dimensional singular information accurately.Different fusion rules are used in target and background region respectively,and this method is compared with wavelet fusion method,Laplace fusion method, and NSCT fusion method.Quantitative analysis is carried out for the fused image under parameters like entropy,average gradient,spatial frequency and standard deviation.The results show that this method can not only make the detection of fusion target more easily,but also make the target look clear and brighter.A good fusion effect in subjective visual andobjective evaluation index is obtained.

CV model;target extraction;NSCT method;image fusion

針對傳統(tǒng)融合方法在光照不足、目標隱藏或目標和背景顏色接近時，容易出現(xiàn)目標信息丟失或減弱的現(xiàn)象，提出一種將基于CV模型的目標提取與NSCT相結(jié)合的方法。該方法使用動態(tài)輪廓線模型對紅外目標進行搜索檢測識別，將源圖像序列分為目標和背景區(qū)域，利用非下采樣Contourlet變換對輸入圖像進行多尺度、多方向稀疏分解，準確捕獲圖像中的高維奇異信息，并在目標和背景區(qū)域里分別采用不同的融合規(guī)則，將其與小波融合方法、拉普拉斯融合方法、NSCT方法作對比，并通過熵、平均梯度、空間頻率、標準差等參數(shù)對融合后的圖像進行定量分析。實驗結(jié)果表明，該方法不但較好地提高了融合圖像的目標探測性，而且融合結(jié)果中的目標比較清晰，亮度較高，目視效果較好，在主觀視覺效果與客觀評價指標上均取得了很好的融合效果。

CV模型；目標提??；NSCT方法；圖像融合

A

TP391

10.3778/j.issn.1002-8331.1303-0087

BI Jiabin,NIU Zhenzhen,WEI Zongshou.Image fusion based on CV model and NSCT for visual and infrared images. Computer Engineering and Applications,2013,49（19）：180-185.

畢家賓（1989—），男，碩士研究生，主要研究領(lǐng)域為智能系統(tǒng)與信息工程；牛珍珍（1988—），女，碩士研究生，主要研究領(lǐng)域為信息工程；魏宗壽（1954—），男，研究員，主要研究領(lǐng)域為交通控制信息工程與智能系統(tǒng)。E-mail：275957469@qq.com

2013-03-08

2013-05-03

1002-8331（2013）19-0180-06

CNKI出版日期：2013-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20130521.1030.016.html