蔣炯輝， 張純?nèi)荩?黃 輝， 劉 剛

非線性Contourlet變換和區(qū)域特征匹配的圖像融合*

蔣炯輝1， 張純?nèi)?， 黃 輝3， 劉 剛4

(1.浙江工業(yè)大學(xué) 之江學(xué)院,浙江 杭州 310024； 2.成都航空職業(yè)技術(shù)學(xué)院,四川 成都 610100；
3.溫州大學(xué)，浙江 溫州 325035； 4.浙江工業(yè)大學(xué),浙江 杭州 310024)

針對(duì)圖像融合中存在邊緣輪廓表示不清晰和計(jì)算冗余度過(guò)高的問(wèn)題。提出了將非線性估計(jì)Contourlet變換和圖像區(qū)域特征相結(jié)合的融合算法。通過(guò)非線性估計(jì)保留Contourlet高頻稀疏矩陣最重要系數(shù)頻帶，對(duì)低頻區(qū)域、高頻區(qū)域采用不同的區(qū)域特征策略進(jìn)行圖像融合。實(shí)驗(yàn)結(jié)果表明：該圖像融合算法不僅可以提高圖像融合的視覺(jué)效果和圖像質(zhì)量、而且可以去噪音，增強(qiáng)圖像。

圖像融合; Contourlet變換; 特征匹配

0 引 言

圖像融合(image fusion)是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過(guò)圖像處理和計(jì)算機(jī)技術(shù)等，最大限度提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率、改善計(jì)算機(jī)解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率[1]。它通過(guò)不同數(shù)據(jù)源的互補(bǔ)信息，來(lái)降低模糊度、提高圖像的精確度，在遙感、軍事、醫(yī)學(xué)、機(jī)器識(shí)別等方面中都有廣泛的應(yīng)用。

目前圖像融合領(lǐng)域主要采用小波變換算法進(jìn)行融合，根據(jù)小波變換的特點(diǎn)進(jìn)行分析，研究出了不同的融合算法[2～4]。然而由于小波圖像融合中存在二維小波，其方向僅分為垂直、水平、對(duì)角三大類(lèi)，導(dǎo)致小波變換并不能“最有效”描述圖像的邊緣信息。Do M N和Vetterli M在承繼小波多尺度變換的角度出發(fā)，建立了全新的圖像二維表示方法，即Contourlet變換[5,6]。較小波變換具有更好的稀疏表達(dá)能力，圖像區(qū)域能量可以更好地趨向中心，對(duì)于描述圖像的走向紋理以及輪廓邊緣都有著積極作用。而眾多研究人員有鑒于此，將Contourlet變換廣泛應(yīng)用到圖像融合體系當(dāng)中，并獲得了良好的效果。比如結(jié)合圖像特征的Con-tourlet變換融合[7,8]、非下采樣Contourlet圖像融合[9]、非線性估計(jì)Coutourlet 變換融合等[10,11]。單純的Contourlet變換融合容易將干擾噪音融合到新圖像中去，影響圖像質(zhì)量；非下采樣Contourlet變換的圖像融合效果很好，不過(guò)計(jì)算量非常大，對(duì)一般應(yīng)用具有一定影響。

本次研究在分析了大量Contourlet變換圖像融合的基礎(chǔ)上，將非線性估計(jì)Contourlet變換應(yīng)用到圖像融合當(dāng)中，并在不同尺度空間中根據(jù)圖像區(qū)域特征進(jìn)行匹配。首先對(duì)圖像進(jìn)行Contourlet分解，提取出圖像高頻區(qū)域和低頻區(qū)域，保持低頻系數(shù)不變，對(duì)高頻系數(shù)進(jìn)行非線性估計(jì)，提取出最顯著高頻特征系數(shù)；然后再對(duì)低頻系數(shù)和高頻系數(shù)的特征進(jìn)行融合，低頻區(qū)間通過(guò)矩陣模塊來(lái)進(jìn)行運(yùn)算，根據(jù)周邊能量合理選擇融合系數(shù)；高頻區(qū)域?qū)Α白铒@著特征系數(shù)”采用特征匹配度的融合規(guī)則，計(jì)算中心點(diǎn)區(qū)域的特征并選取融合系數(shù)。融合仿真實(shí)驗(yàn)結(jié)果表明，本文方法相對(duì)于小波變換、傳統(tǒng)Contourlet融合等方法，在融合性能和視覺(jué)效果表現(xiàn)更好，相較于非下采樣Contourlet變換融合，在不犧牲融合圖像質(zhì)量情況下，提升了計(jì)算速度。

1 線性估計(jì)Contourlet變換

Contourlet變換模型中濾波器組，其能夠擴(kuò)展成平方可積空間L2(R2)內(nèi)的連續(xù)函數(shù)[12]。同時(shí)連續(xù)域Contourlet變換經(jīng)過(guò)迭代濾波器組將整個(gè)L2(R2)分解成多尺度、多方向的子空間序列，如式(1)所示

(1)

(2)

(3)

(4)

2 特征匹配融合算法

2.1 低頻融合算法

低頻融合用于處理低頻部分的圖像信息，并針對(duì)低頻子帶存留的原始數(shù)據(jù)進(jìn)行概貌分析，是利用窗口系數(shù)矩陣進(jìn)行的一種運(yùn)算手法。其以某一點(diǎn)作為中心區(qū)間，并參照能量區(qū)間的特性，保持了其中心像素方向性，E在低頻區(qū)間內(nèi)的能量可以定義為

Ej0(m,n)={(x,y)∈Ω(m,n):(z,Vj0(m,n))}

(5)

式中Ω(m,n)為以(m,n)作為中心的區(qū)間，(x,y)描述形式以(m,n)作為鄰近中心點(diǎn)的區(qū)間像素點(diǎn)，z為區(qū)間系數(shù)中的矩陣，Vj0為低頻子帶系數(shù)的融合圖像。同時(shí)低頻區(qū)間的能量融合法則需要先進(jìn)行兩幅低頻子帶的計(jì)算，(m,n)為中心位置區(qū)間的低頻能量E，再加上區(qū)間能量E的絕對(duì)值，依照其中最大值的原理進(jìn)行評(píng)判。判斷公式如下

(6)

2.2 高頻特征匹配算法

高頻子帶融合采用特征的匹配度閾值來(lái)進(jìn)行特征度匹配[14]，對(duì)高頻區(qū)域局部能量的定義為

(7)

式中C(i,j,k)為第k分解級(jí)上(i,j)位置的高頻系數(shù),S(i,j,k)處的局部能量為點(diǎn)(m,n)鄰域內(nèi)的高頻系數(shù)值的平方和，鄰域大小通常采用5×5或者是3×3的區(qū)間。(i,j,k)處的匹配度定義為

MAB(i,j,k)=

(8)

高頻系數(shù)的融合規(guī)則由下式定義

C(i,j,k)=WACA(i,j,k)+WBCB(i,j,k)

(9)

根據(jù)下列規(guī)則，可以判斷出高頻系數(shù)子帶的最大系數(shù)加權(quán)結(jié)果：

1)當(dāng)MAB≤T時(shí)

(10)

2)當(dāng)MAB>T時(shí)

(11)

式中T∈(0,1)為匹配度閾值，當(dāng)匹配度MAB小于閾值T時(shí)，取局部能量CA(i,j,k)和CB(i,j,k)的較大值。當(dāng)匹配度MAB大于閾值T時(shí)，高頻融合系數(shù)為WACA(i,j,k)+WBCB(i,j,k)，權(quán)重WA和WB跟匹配度MAB相關(guān)，其中，WA+WB=1 。顯然,特征匹配規(guī)則的計(jì)算過(guò)程具有良好的局部性,融合結(jié)果在(i,j,k)處的系數(shù)值僅僅由包含點(diǎn)(i,j,k)的m×n鄰域中的系數(shù)值決定。

3 實(shí)驗(yàn)和結(jié)果分析

本次實(shí)驗(yàn)在Intel i5處理器和4G內(nèi)存的個(gè)人PC上通過(guò)調(diào)用Matlab，面對(duì)不同圖像進(jìn)行融合仿真實(shí)驗(yàn)來(lái)實(shí)現(xiàn)，利用非線性估計(jì)Contourlet的空間轉(zhuǎn)換，選取3×3的鄰近區(qū)域，計(jì)算高頻子帶和低頻子帶的特征，將高頻的匹配度閾值設(shè)為0.75。

圖1為源圖像A經(jīng)過(guò)不同比例非線性估計(jì)Contourlet逼近的結(jié)果，通過(guò)非線性逼近提取出高頻分量最顯著特征系數(shù)，保留最重要系數(shù)頻帶。表1為源圖像A特征系數(shù)和不同比例非線性估計(jì)顯著特征系數(shù)。

圖1 Contourlet非線性估計(jì)逼近

非線性逼近源圖10%逼近30%逼近50%逼近顯著特征系數(shù)3440642621478643131072

圖2為源圖像A和源圖像B基于不同比例非線性估計(jì)Contourlet變換的圖像特征匹配融合的結(jié)果。本文通過(guò)標(biāo)準(zhǔn)差、相關(guān)系數(shù)、熵、互信息四個(gè)指標(biāo)對(duì)融合效果進(jìn)行定量分析[15,16]。

1)標(biāo)準(zhǔn)差:反映了一幅圖像當(dāng)中對(duì)比度的變化，值越大邊緣輪廓越清晰。標(biāo)準(zhǔn)差定義為

(12)

2)相關(guān)系數(shù)：對(duì)兩幅圖像相似度的度量，相關(guān)系數(shù)越大，則說(shuō)明融合效果越好，相關(guān)系數(shù)定義為

CC(X,Y)=

(13)

3)熵：用于度量融合后的圖像所保持的信息量。熵的值越大代表著結(jié)果圖像的信息越多。熵定義為

(14)

4)互信息：可以測(cè)量?jī)蓚€(gè)輸入圖像的互相關(guān)性或是相似性，融合后圖像的互信息越高，則說(shuō)明其從原圖像中提取的信息越多，融合效果越好?；バ畔⒍x為

MI(x,y)=H(x)+H(y)-H(x,y)

(15)

通過(guò)圖2可以發(fā)現(xiàn)在50 %顯著特征附近，融合圖像的標(biāo)準(zhǔn)差最大，說(shuō)明圖像在50 %非線性估計(jì)逼近下，圖像邊緣輪廓更清晰，清晰度最高，其原因是顯著特征太少導(dǎo)致邊緣輪廓提取少，顯著特征太多，導(dǎo)致提取出了多余的噪音輪廓；不同比例顯著特征下融合圖像的相關(guān)系數(shù)、互信息和熵差別不大，主要原因是低頻子帶保留了原始圖像的概貌信息，待融合圖像低頻區(qū)域未做非線性估計(jì)。由此可見(jiàn)圖像融合質(zhì)量于顯著特征呈非線性關(guān)系，在50 %顯著特征附近，圖像融合質(zhì)量反而較高。不同顯著特征性能評(píng)價(jià)如圖3。

圖2 Contourlet非線性估計(jì)融合效果

圖3 不同顯著特征性能評(píng)價(jià)

圖4(a) CT源圖像和圖4(b)MRI源圖像采用不同融合算法的效果對(duì)比。圖4(c) 為基于小波系數(shù)區(qū)域特征圖像融合算法的實(shí)驗(yàn)結(jié)果[17]；圖4(d)為基于Haar小波變換的融合實(shí)驗(yàn)結(jié)果[18]；圖4(e)Contourlet變換后進(jìn)行系數(shù)加權(quán)融合算法的效果[19]。圖4(f)基于非下采樣 Contourlet 變換和區(qū)域特征的融合效果[20]。圖4(g)為在Contourlet變換的基礎(chǔ)上，對(duì)高頻子帶50 %非線性估計(jì)后區(qū)域圖像特征匹配融合效果。從視覺(jué)效果對(duì)比來(lái)看，圖4(c)、(d)基于小波變換方法融合后的圖像顏色較淺，邊緣輪廓不夠清晰，不能體現(xiàn)源CT和核磁共振成像(magnetic resonance imaging,MRI)圖像的細(xì)節(jié)信息;圖4(e) Contourlet 方法融合圖像的效果略優(yōu)于小波方法，能夠較清晰地反映源圖信息內(nèi)容; 圖4(e)和圖4(f)融合圖像效果不但繼承了CT 圖像中的骨骼組織，而且較好地保留了MRI 圖像中的軟組織，融合圖像的邊緣細(xì)節(jié)突出。通過(guò)表2各項(xiàng)指標(biāo)對(duì)比對(duì)實(shí)驗(yàn)結(jié)果再進(jìn)行定量分析，可以發(fā)現(xiàn)圖4(c)、(d)小波變換方法對(duì)應(yīng)的融合圖像標(biāo)準(zhǔn)差值、相關(guān)系數(shù)、熵值和互信息都相對(duì)較小，表明該方法在圖像融合過(guò)程中的信息損失較為多，表明與源圖像間的差異較大; 這些都顯示了小波變換方法從源圖像中提取信息的能力較差，融合效果不好；圖4(e)Con-tourlet變換方法相對(duì)于小波變換，其在高頻部分獲得了更多的方向分解，可以更好地處理方向細(xì)節(jié)信息，所以各項(xiàng)指標(biāo)系數(shù)高于小波融合；圖4(f)各項(xiàng)指標(biāo)系數(shù)都最高，圖像融合質(zhì)量也最高，但是計(jì)算量巨大，需要消耗比較長(zhǎng)的計(jì)算時(shí)間。圖4(f)為本文非線性 Contourlet算法，它的指標(biāo)系數(shù)比基于小波變換和Contourlet變換方法融合都好，融合后的圖像質(zhì)量跟非下采樣Contourlet融合效果接近，但是極大的減少了計(jì)算量，在實(shí)際應(yīng)用中更具價(jià)值。

圖4 CT和MRI醫(yī)學(xué)圖像融合結(jié)果

融合方法標(biāo)準(zhǔn)差相關(guān)系數(shù)熵互信息耗時(shí)小波融合55．580．666．812．341．608Harr小波融合59．410．707．652．572．447Contourlet融合63．060．747．672．884．079非下采樣Contourlet融合63．710．767．692．915．703非線性Contourlet融合63．860．737．652．861．103

圖5為遙感圖像采用不同融合算法的效果對(duì)比結(jié)果，表3為圖5實(shí)驗(yàn)的各項(xiàng)客觀評(píng)價(jià)指標(biāo)。從遙感圖像實(shí)驗(yàn)結(jié)果的主觀視覺(jué)和客觀評(píng)價(jià)指標(biāo)來(lái)看，本次算法實(shí)驗(yàn)結(jié)果也優(yōu)于小波和Contourlet融合算法，相較與非下采樣Contourlet融合算法，在不犧牲融合圖像質(zhì)量情況下，極大提升了計(jì)算速度。

圖5 遙感圖像融合結(jié)果

融合方法標(biāo)準(zhǔn)差相關(guān)系數(shù)熵互信息耗時(shí)小波融合56．010．657．681．831．927Harr小波融合56．200．667．701．852．599Contourlet融合57．610．707．731．885．061非下采樣Contourlet融合59．430．727．751．919．811非線性Contourlet融合59．760．707．711．861．353

4 結(jié) 論

結(jié)合Contourlet非線性估計(jì)的特點(diǎn)和高低頻系數(shù)區(qū)域特征算法，本文將它運(yùn)用于圖像處理，取得了不錯(cuò)的效果。通過(guò)不同圖像實(shí)驗(yàn)結(jié)果表明：本次研究較小波系數(shù)區(qū)域、Haar小波變換融合和Contourlet變換系數(shù)加權(quán)融合等算法，在融合圖像質(zhì)量有極大提高；跟非下采樣 Contourlet 變換區(qū)域特征的融合的圖像質(zhì)量非常接近，但是在計(jì)算效率上又有了極大的提高。非線性Contourlet變換具有一定濾波和除噪音功能，具有Contourlet變換不具備的功能。高頻分量非線性特征提取，在最大限度保留特征的基礎(chǔ)上，極大地提高了運(yùn)算速度，是其它算法不具備的?？傮w來(lái)說(shuō)，該方法在圖像質(zhì)量或運(yùn)算效率上比前面文獻(xiàn)提及的算法都有一定的優(yōu)勢(shì)。

[1] 陳 浩，王延杰.基于小波變換的圖像融合技術(shù)研究[J].微電子學(xué)與計(jì)算機(jī),2010,27(5)：39-41.

[2] 周 禮,王章野,金劍秋,等.基于HVS 的小波圖像融合新算法[J].中國(guó)圖象圖形學(xué)報(bào),2004,9(9):1090-1093.

[3] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014,33(2):14-18.

[4] 曹 喆.一種區(qū)域特性的小波圖像融合新算法[J].計(jì)算機(jī)工程與應(yīng)用，2011,47(26):213-215.

[5] Do M N,Vetterli M.The contourlet transform:An efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.

[6] Do M N,Vetterli M.Pyramidal directional filter banks and curvelets[C]∥Proc of Int’l Conf on Image Processing,Rochester:IEEE Signal Processing Society,2001:158-161.

[7] 劉 坤,郭 雷,常威威.基于Contourlet變換的區(qū)域特征自適應(yīng)圖像融合算法[J].光學(xué)學(xué)報(bào),2008(4):681-686.

[8] 朱 康,賀新光.基于形態(tài)學(xué)和Contourlet系數(shù)區(qū)域特征的遙感圖像融合方法[J].計(jì)算機(jī)科學(xué),2013(4):301-305.

[9] Cunha A L,Zhou Jiangping,Do M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[10] 林玉池,周 欣,宋 樂(lè),等.基于NSCT變換的紅外與可見(jiàn)光圖像融合技術(shù)研究[J].傳感器與微系統(tǒng)，2008，27(12)：45-47.

[11] 吳一全,侯 雯,吳詩(shī)婳. 基于Contourlet 域非線性擴(kuò)散的織物疵點(diǎn)圖像去噪[J]. 電子測(cè)量與儀器學(xué)報(bào),2011(8):665-670.

[12] 焦李成,譚 山.圖像的多尺度幾何分析:回顧和展望[J].電子學(xué)報(bào),2003,31(12A):1975-1981.

[13] 薛旭成,張淑艷,李洪法,等.Contourlet 變換在圖像壓縮中的應(yīng)用研究[J].微計(jì)算機(jī)信息,2009,25(9):266-267.

[14] Burt P J,Lolczynski R J.Enhanced image capture through fusion[C]∥Proc of the 4th Int’l Conf on Computer Vision,1993:173-182.

[15] 胡良梅，高 雋，何柯峰．圖像融合質(zhì)量評(píng)價(jià)方法的研究[J]．電子學(xué)報(bào)，2004，32(12):218- 221．

[16] Qu G H，Zhang D L,Yan P F．Informatioon measures for perfor-mances of image fusion[J]．Electronics Letters，2002，38(7):313-315．

[17] 周志光， 王相海.一種基于小波系數(shù)區(qū)域特征的圖像融合算法[J].計(jì)算機(jī)科學(xué),2009，36(5)：257-261.

[18] 李 敏.基于形態(tài)Haar小波變換的多聚焦圖像融合[J].計(jì)算機(jī)工程，2012,38(23)：211-214.

[19] 張 鑫,陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國(guó)圖象圖形學(xué)報(bào),2014，19(1)：133-140.

[20] 李 超，李光耀，譚云蘭，等.基于非下采樣Contourlet變換和區(qū)域特征的醫(yī)學(xué)圖像融合[J].計(jì)算機(jī)應(yīng)用，2013,33(6)：1727-1731.

作者簡(jiǎn)介:

蔣炯輝(1981-)，男，碩士，研究方向?yàn)閳D像處理、圖形學(xué)、科學(xué)計(jì)算可視化。

Image fusion algorithm based on nonlinear Contourlet transform and regional feature matching*

JIANG Jiong-hui1,ZHANG Chun-rong2, HUANG Hui3, LIU Gang4

(1.Zhijiang College of Zhejiang University of Technology，Hangzhou 310024,China；2.Chengdu Aeronautic Polytechnic,Chengdu 610100,China； 3.Wenzhou University,Wenzhou 325035,China；4.Zhejiang University of Technology，Hangzhou 310024,China)

Aiming at problem of unclear edge contour and high computing redundancy exists in image fusion,put forward image fusion algorithm combined with nonlinear approximation contourlet transform and regional feature.By nonlinear estimation keeps the most significant coefficients frequency band of Contourlet high-frequency sparse matrix.Fuse image by using different regional feature strategies to low-frequency region and high-frequency region.Experimental results show that this image fusion algorithm can not only improve visual effect and image quality,but also can remove the noise and enhance the image.

image fusion; Contourlet transform; feature matching algorithm

王 曄(1971-)，女，碩士，高級(jí)工程師，主要從事傳感器技術(shù)與儀器智能化研究。

10.13873/J.1000—9787(2017)02—0053—04

TP 391

A

1000—9787(2017)02—0053—04