聶其貴，馬惠珠

1.哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱 150001 2.北京聯(lián)合大學(xué)信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京 100101

基于目標(biāo)提取的紅外與可見光圖像融合新算法

聶其貴1，馬惠珠2

1.哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱 150001 2.北京聯(lián)合大學(xué)信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京 100101

針對灰色系統(tǒng)理論在空間域?qū)t外與可見光圖像融合的不足，以及非下采樣Contourlet變換（NSCT）在圖像融合領(lǐng)域的優(yōu)勢，提出了一種基于目標(biāo)提取的紅外與可見光圖像融合新算法。首先，對紅外和可見光圖像分別進(jìn)行NSCT變換；其次，對紅外低頻分量應(yīng)用灰色系統(tǒng)理論進(jìn)行目標(biāo)提取，并利用所提融合規(guī)則對低頻分量進(jìn)行融合，同時(shí)對高頻分量采用常用融合規(guī)則進(jìn)行融合；最后，對融合后高、低頻分量進(jìn)行NSCT逆變換，得到融合圖像。通過與4種常用方法進(jìn)行實(shí)驗(yàn)對比，結(jié)果表明，文中算法得到的融合圖像視覺效果較好，某些客觀評價(jià)指標(biāo)提升明顯。

圖像融合；非采樣Contourlet變換；灰色系統(tǒng)理論；目標(biāo)提取；融合規(guī)則；紅外線；可見光

圖像融合是將2個或2個以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場景解釋的信息處理過程［1］。

在對紅外與可見光圖像融合規(guī)則的研究中，人們根據(jù)各類源圖像的特點(diǎn)，提出了金字塔變換法、小波變換法和基于區(qū)域的融合方法等［1-2］。由Minh N.Do和Vetterli［3］提出的Contourlet變換，將拉普拉斯金字塔分解與方向?yàn)V波器組相結(jié)合，具有良好的多分辨率和方向性，是一種較好的圖像表示方法，但Cont-ourlet變換不具備平移不變性，在圖像處理中會產(chǎn)生Gibbs現(xiàn)象［4］。為了解決這一問題，ArthurL Cunha和Minh N.Do［5］提出了非下采樣的Contourlet變換（nonsubsampled Contourlet transform，NSCT），該變換因無下采樣過程，所以具有良好的平移不變性和足夠的冗余信息，因此可以有效地提取待融合圖像中的方向細(xì)節(jié)信息，得到較好的融合效果。

在多分辨率分解中，低頻分量是源圖像的近似，包含了源圖像大部分信息，因此對于基于多分辨率分解的圖像融合來說，低頻分量融合規(guī)則的選取更能決定融合圖像的質(zhì)量。目前低頻分量的融合往往是簡單的加權(quán)平均或基于鄰域特征（鄰域方差、窗口能量等）的系數(shù)選大處理，其融合結(jié)果圖像會表現(xiàn)出對比度下降、目標(biāo)指示能力減弱、光譜失真等問題［6］。參考文獻(xiàn)［7］中將灰色系統(tǒng)理論應(yīng)用于紅外與可見光圖像融合中，該方法直接在空間域?qū)D像進(jìn)行處理，對于某些圖像能獲得較理想融合效果圖，但對于目標(biāo)、背景信息區(qū)分不明顯或背景含有較強(qiáng)干擾信息的紅外圖像來說，該方法融合結(jié)果圖含有較強(qiáng)噪聲，視覺效果較差［8］?；诖?，文中提出一種新的基于NSCT和目標(biāo)提取相結(jié)合的紅外與可見光圖像融合方法。首先對紅外和可見光圖像分別進(jìn)行NSCT分解，分解后的低頻分量使用文中所提融合方法，高頻分量使用基于相關(guān)信號強(qiáng)度比的加權(quán)圖像融合算法［9］；最后對融合后的高、低頻分量進(jìn)行NSCT逆變換得到融合圖像。

1 NSCT變換理論

非下采樣Contourlet變換綜合了非下采樣塔式濾波器組（nonsubsampled pyramid filter bank，NSPFB）和非下采樣方向?yàn)V波器組（nonsubsampled drectional fil-ter bank，NSDFB）2部分內(nèi)容。對待分解圖像首先采用NSPFB對其進(jìn)行多尺度分解，圖像經(jīng)J級NSPFB分解，可得到與源圖像具有相同尺寸的J＋1個子帶圖像；然后再采用NSDFB對得到的各帶通子帶圖像進(jìn)行方向分解，對某尺度下的子帶圖像進(jìn)行n級方向分解，可得到與輸入圖像具有相同尺寸的2n個方向子帶圖像［10］。從而實(shí)現(xiàn)了對圖像進(jìn)行多尺度、多方向的分解。二者的有機(jī)結(jié)合使得NSCT既具有Cont-ourlet變換的多尺度和多方向特性，同時(shí)還具備了平移不變性。圖1給出了NSCT的實(shí)現(xiàn)結(jié)構(gòu)圖，圖2給出了NSCT對頻率的劃分示意圖［11］。

圖1 NSCT變換

圖2 對頻率的劃分

2 基于灰色系統(tǒng)理論的目標(biāo)提取

1982年，中國學(xué)者鄧聚龍［12］教授創(chuàng)立的灰色系統(tǒng)理論，提出一種研究少數(shù)據(jù)、貧信息不確定性問題的新方法。信息完全明確的系統(tǒng)稱為白色系統(tǒng)，

信息未知的系統(tǒng)稱為黑色系統(tǒng)，部分信息明確、部分信息不明確的系統(tǒng)稱為灰色系統(tǒng)。

根據(jù)具體情況的差異，目標(biāo)在紅外圖像中的表現(xiàn)形式有明、暗2種，分別對應(yīng)背景溫度低、目標(biāo)溫度高和背景溫度高、目標(biāo)溫度低這2種情況。但無法確定某一像素點(diǎn)是目標(biāo)點(diǎn)還是背景點(diǎn)，因此，可以把紅外圖像看成一個部分信息已知、部分信息未知的灰色系統(tǒng)，應(yīng)用灰色關(guān)聯(lián)理論檢測和提取紅外圖像中的目標(biāo)，其基本步驟簡述如下［7］：

1）確定參考數(shù)列。參考數(shù)列是表示目標(biāo)溫度特征的數(shù)值序列。當(dāng)紅外圖像中的目標(biāo)偏亮?xí)r，則選擇參考序列為全1的5點(diǎn)序列；反之，當(dāng)目標(biāo)偏暗時(shí)，參考序列選擇全0的5點(diǎn)序列，即xo＝［1 1 1 1 1］或xo＝［0 0 0 0 0］。本文參考序列選為xo＝［1 1 1 1 1］。

2）確定比較數(shù)列。比較數(shù)列是表示圖像中任一像素點(diǎn)及其4鄰域特征的數(shù)值序列。紅外圖像中，比較序列選定為xr＝［xi－1，jxi，j－1xi，jxi，j＋1xi＋1，j］，其中，1≤i≤M，1≤j≤N（M、N分別為待處理圖像的行和列數(shù)。當(dāng)于i＝1時(shí)，取xi－1，j＝0；當(dāng)j＝1時(shí)，取xi，j－1＝0；當(dāng)i＝M時(shí)，取xi＋1，j＝0，當(dāng)j＝N時(shí)，取xi，j＋1＝0），r＝1，2，…，M×N。

3）計(jì)算各像素點(diǎn)的比較數(shù)列與參考數(shù)列之間的灰色關(guān)聯(lián)系數(shù)ξor，即

式中：Δmin＝min｜xo（t）－xr（t）；Δmax＝max｜xo（t）－xr（t）｜；Δor（t）＝｜xo（t）－xr（t）｜；r＝1，2，…，M× N；t＝1，2，…，5；λ為分辨系數(shù)，是一個事先取定的常數(shù)，常取λ≤0.5；

4）計(jì)算以各像素點(diǎn)為中心形成的比較數(shù)列xr與參考數(shù)列xo之間的灰色關(guān)聯(lián)度Ror，即

目標(biāo)點(diǎn)的判斷規(guī)則如下：當(dāng)灰色關(guān)聯(lián)度Ror小于某一取定的閾值θ時(shí)，說明該像素點(diǎn)與參考序列具有相似的特征，判定為目標(biāo)點(diǎn)；反之，則該像素點(diǎn)判定為非目標(biāo)點(diǎn)。

3 算法描述

假設(shè)圖像在融合之前，已經(jīng)經(jīng)過嚴(yán)格的空間配準(zhǔn)。這里以2幅圖像的融合為例，對于多幅圖像的融合方法可以類推。設(shè)紅外與可見光圖像分別為A和B，融合后的圖像為F，其融合步驟如下［13］：

1）分別對2幅源圖像進(jìn)行J級NSCT分解，得到各源圖像分解后的NSCT高、低頻分量：｛C?（x，y），C?（x，y）｝和｛C?（x，y），C?（x，y）｝，其中C?（x，y）為S圖像低頻分量，C?（x，y）為S圖像j尺度下k方向高頻分量（S＝A或B）；

2）對高、低頻分量采用不同的的融合規(guī)則分別進(jìn)行融合處理，得到融合圖像F的高、低頻分量：｛C?（x，y），C?（x，y）｝；

3）對融合后的低頻分量和各尺度下的高頻分量進(jìn)行NSCT逆變換得到融合圖像F。

3.1 低頻分量的融合

NSCT分解后，圖像的低頻分量是原圖像的近似，包含了源圖像大部分的信息，因此，低頻分量融合規(guī)則的選取十分重要?；诖耍闹袑⒒疑到y(tǒng)理論應(yīng)用于NSCT域，提出了一種新的紅外與可見光圖像低頻分量融合規(guī)則。

首先，對分解后的紅外圖像低頻分量C?（x，y）運(yùn)用灰色關(guān)聯(lián)理論檢測和提取紅外圖像中的目標(biāo)驟進(jìn)行目標(biāo)提取，得到二值圖像M（x，y），令目標(biāo)區(qū)域M（x，y）＝1，非目標(biāo)區(qū)域M（x，y）＝0；其次，在目標(biāo)區(qū)域選擇紅外圖像，在非目標(biāo)區(qū)域選擇可見光圖像，進(jìn)行低頻分量融合，得到融合后低頻分量C?（x，y），即

3.2 高頻分量的融合

對高頻部分的融合選取文獻(xiàn)［9］所提“基于指數(shù)函數(shù)的RWAM（E-RWAM）”方法。具體步驟如下：

1）計(jì)算相關(guān)信號強(qiáng)度比R?（x，y）。

式中：

P為掩模窗口，用于對高頻分量進(jìn)行線性濾波；S為A或B。

2）計(jì)算加權(quán)系數(shù)dj，k（x，y）。

4 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)仿真平臺：MATLAB R2012a；實(shí)驗(yàn)仿真軟硬件配置：CPU：Inter?i5-2430M＠2.4GHz；內(nèi)存：2GB；操作系統(tǒng)：Windows7旗艦版。

為了驗(yàn)證文中算法的有效性，采用2組已經(jīng)嚴(yán)格配準(zhǔn)的紅外和可見光圖像（UNcamp圖像和dune圖像，這2組圖像均來自網(wǎng)站“http：／／www.imagefu-sion.org／”）進(jìn)行融合實(shí)驗(yàn)。并選用4種現(xiàn)有常用融合方法進(jìn)行對比，分別是基于拉普拉斯金字塔變換的圖像融合方法（method 1）、文獻(xiàn)［9］中第3章所提方法（method 2）、文獻(xiàn)［13］中4.2.2節(jié)所提方法（method 3）和基于NSCT分解，低頻取平均、高頻取文中所用高頻融合規(guī)則的方法（method 4）。實(shí)驗(yàn)中，NSCT分解層數(shù)J＝3，各層分解方向數(shù)分別為21、22、23；根據(jù)文獻(xiàn)［7］、［9］和多次仿真比較，當(dāng)其他參數(shù)取如下值時(shí)，文中方法可獲得較理想結(jié)果。分辨率λ＝0.1，關(guān)聯(lián)度閾值θ＝0.88，掩模窗口P＝1／16?［1，2，1；2，4，2；1，2，1］，階數(shù)N＝3。

圖3是對圖像UNcamp運(yùn)用各融合方法的仿真結(jié)果圖。從圖3中可見，紅外圖像中目標(biāo)清晰可見，但周圍環(huán)境信息一片模糊；而可見光圖像中環(huán)境信息清晰可見，但目標(biāo)圖像遭到隱藏，不可見。從視覺效果來看，5種融合算法均能保留可見光圖像中的景物特征信息，同時(shí)也能融入紅外圖像中的人物特征信息。但（d）、（f）兩圖對比度較低，目標(biāo)信息不清晰；4種常規(guī)算法的融合結(jié)果圖像均存在不同程度的光譜失真（圖像左下角樹木），而文中算法則較好地保留了可見光圖像的光譜信息且目標(biāo)信息清晰可見。

圖3 UNcamp圖像融合結(jié)果

圖4是對圖像dune運(yùn)用各融合方法的仿真結(jié)果圖。

圖4 dune圖像融合結(jié)果

從圖4中可見，紅外圖像中目標(biāo)清晰，但背景信息模糊；可見光圖像中光譜信息豐富，但目標(biāo)信息隱藏不可見，且2幅圖像對比度都較低。從視覺效果來看，5種方法的融合結(jié)果圖都在一定程度上繼承了紅外圖像的目標(biāo)信息和可見光圖像的光譜信息，但圖（c）的對比度較低，4種常規(guī)方法的融合結(jié)果圖在光譜信息方面均存在不同程度失真（圖中標(biāo)注橢圓形區(qū)域），而文中算法則較好地保留了可見光圖像的光譜信息且圖像對比度明顯提高。

文中選取標(biāo)準(zhǔn)差（SD）、信息熵（H）、互信息（MI）和平均梯度（AG）作為客觀評價(jià)指標(biāo)［14，15］。圖像的標(biāo)準(zhǔn)差反映了圖像灰度相對于灰度平均值的離散情況，標(biāo)準(zhǔn)差越大，圖像灰度級分布越分散，可以看出更多信息；圖像信息熵的含義為圖像的平均信息量，融合圖像中信息熵越大，說明圖像中包含的信息越多，融合效果越好；互信息可用來衡量融合圖像從源圖像中繼承信息的多少，值越大繼承信息越多；平均梯度反映了圖像的清晰程度，同時(shí)還反映了圖像中微小細(xì)節(jié)反差和紋理變換特征，值越大越好。各指標(biāo)數(shù)據(jù)如表1、2所示，表1為UNcamp圖像的仿真實(shí)驗(yàn)數(shù)據(jù)，表2為dune圖像的仿真實(shí)驗(yàn)數(shù)據(jù)。

表1 UNcamp圖像融合性能客觀評價(jià)

表2 dune圖像融合性能客觀評價(jià)

對于UNcamp圖像，從表1可以看出，在平均梯度方面，method 3獲得了最佳效果，文中算法在平均梯度方面略遜于method1、method 3和method 4，但文中算法在其他3項(xiàng)指標(biāo)方面均獲得了最佳效果，且效果提升明顯。與4種常規(guī)算法相比，文中算法與3種常規(guī)算法中最佳標(biāo)準(zhǔn)差（method 3）、最佳信息熵（method 3）和最佳互信息（method 3）相比，分別提升了24.35%、5.20%和89.89%。對于dune圖像，從表2可以看出，同樣文中算法在平均梯度方面略遜于method2、method3和method4，在標(biāo)準(zhǔn)差、信息熵和互信息方面，文中算法與4種常規(guī)算法中最佳值相比，相應(yīng)評價(jià)指標(biāo)分別提升了29.29%、4.55%和70.94%。從總體效果來看，文中算法明顯優(yōu)于4種常規(guī)算法，與視覺效果相符。與method 4相比（低頻融合規(guī)則不同，高頻融合規(guī)則相同）可知，低頻部分融合規(guī)則的選取對圖像融合質(zhì)量至關(guān)重要。對于文中算法融合結(jié)果圖在平均梯度方面遜于某些常規(guī)算法這一現(xiàn)象，可能是由本算法低頻分量融合規(guī)則中忽略了紅外圖像非目標(biāo)區(qū)域的細(xì)節(jié)信息引起的。因現(xiàn)實(shí)中大多紅外圖像并非二值圖像，也就是說非目標(biāo)區(qū)域也含有一定的細(xì)節(jié)信息，而平均梯度主要反映了圖像的細(xì)節(jié)反差和紋理變換特征，所以這可能是導(dǎo)致文中算法在平均梯度方面遜于其他方法的原因。

5 結(jié)束語

針對灰色系統(tǒng)理論在空間域?qū)t外與可見光圖像融合的不足，將其應(yīng)用到NSCT域，在此基礎(chǔ)上提出了一種基于NSCT和目標(biāo)提取的紅外與可見光圖像融合新算法。實(shí)驗(yàn)結(jié)果表明，在視覺效果方面，文中所提方法不僅能有效地提取出紅外圖像中的目標(biāo)信息，還能有效地保持可見光圖像所反映的光譜信息；在客觀評價(jià)指標(biāo)方面，與4種常規(guī)算法相比，本文方法在標(biāo)準(zhǔn)差、信息熵和互信息方面具有明顯的優(yōu)越性；但在平均梯度方面，文中算法獲得的效果不是很理想，需要進(jìn)一步優(yōu)化，這也是下一步要進(jìn)行的主要工作。

［1］敬忠良，肖剛，李振華.圖像融合——理論與應(yīng)用［M］.北京：高等教育出版社，2007：3-10，194-215.

［2］劉貴喜，趙曙光，陳文錦.紅外與可見光圖像融合的多分辨率方法［J］.光電子·激光，2004，15（8）：980-984.

［3］DO M N，VETTERLI M.The Contourlet transform：an efficient directional multiresolution image representation［J］.IEEE Trans on Image Processing，2005，14（2）：2091-2106.

［4］張瑩，李言俊，張科，等.基于NSCT的紅外與可見光圖像融合［J］.計(jì)算機(jī)工程與應(yīng)用，2011，74（3）：196-198.

［5］CUNHA A L，ZHOU J P，DO M N.The nonsubsampled Cont-ourlet transform：theory，design，and applications［J］.IEEE Trans on Image Processing，2006，15（10）：3089-3101.

［6］郭明，符拯，奚曉梁.基于局部能量的NSCT域紅外與可見光圖像融合算法［J］.紅外與激光工程，2012，41（8）：2229-2235.

［7］王春華，馬國超，馬苗.基于目標(biāo)提取的紅外與可見光圖像融合算法［J］.計(jì)算機(jī)工程，2010，36（2）：197-200.

［8］邢素霞，肖洪兵，陳天華，等.基于目標(biāo)提取與NSCT的圖像融合技術(shù)研究［J］.光電子·激光，2013，24（3）：583-588.

［9］李光鑫.紅外和可見光圖像融合技術(shù)研究［D］.長春：吉林大學(xué)，2008：25-45.

［10］彭海.紅外與可見光圖像融合方法研究［D］.杭州：浙江大學(xué)，2012：31-41.

［11］郭明，王書滿.基于區(qū)域和方向方差加權(quán)信息熵的圖像融合［J］.系統(tǒng)工程與電子技術(shù)，2013，35（4）：720-724.

［12］劉思峰.灰色系統(tǒng)理論的產(chǎn)生與發(fā)展［J］.南京航空航天大學(xué)學(xué)報(bào)，2004，36（2）：267-272.

［13］苗鳳美.基于NSCT和區(qū)域分割相結(jié)合的圖像融合新算法［D］.西安：西安電子科技大學(xué)，2009：33-35.

［14］孫巖.基于多分辨率分析的多傳感器圖像融合算法研究［D］.哈爾濱：哈爾濱工程大學(xué)，2012：36-45.

［15］王曉文，趙宗貴，湯磊.一種新的紅外與可見光圖像融合評價(jià)方法［J］.系統(tǒng)工程與電子技術(shù)，2012，34（5）：871-875.

A fusion algorithm of the infrared and visible image based on target extraction

NIE Qigui1，MA Huizhu2
1.College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China 2.Beijing Key Laboratory of Information Service Engineering，Beijing Union University，Beijing 100101，China

Considering the shortcomings of the infrared and visible light image fusion based on grey system theory in the spatial domain，and utilizing the advantages of nonsubsampled Contourlet transform（NSCT）in image fusion，a fusion algorithm of the infrared and visible light image based on target extraction is proposed.Firstly，the nonsub-sampled Contourlet transform is performed respectively on infrared image and visible light image.Secondly，the grey system theory is applied to the low frequency component of the infrared image for target extraction，and then the low frequency components are fused by making use of the proposed fusion rule.At the same time the common fusion rule is applied to the high frequency components.Finally，the reverse nonsubsampled Contourlet transform is performed on the fused low frequency part and high frequency part in order to obtain the fusion image.Compared with four commonly used methods，the results show that the fusion image has a good visual effect，and some objective evalua-tion indexes are improved obviously.

image fusion；nonsubsampled Contourlet transform；grey system theory；target extraction；fusion rule；infrared；visible light

TP391

A

1009-671X（2014）05-048-05

10.3969／j.issn.1009-671X.201310005

2013-10-18.

日期：2014-09-22.

聶其貴（1989-），男，碩士研究生；

馬惠珠（1971-），女，教授，博士.

聶其貴，E-mail：nieqigui＠163.com.

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1009-671X.201310005.html