陳廣秋，高印寒，才華*，劉廣文，段云鵬

局部化NSST與PCNN相結(jié)合的圖像融合

陳廣秋1，高印寒2，才華1*，劉廣文1，段云鵬3

(1．長(zhǎng)春理工大學(xué)電子信息工程學(xué)院，吉林長(zhǎng)春130022; 2．吉林大學(xué)汽車仿真與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，吉林長(zhǎng)春130022; 3．北京遙感設(shè)備研究所，北京100854)

為了提升多模態(tài)圖像融合精度，提出了一種局部化非下抽樣剪切波變換與脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖像融合方法。首先，利用局部化非下抽樣剪切波對(duì)源圖像進(jìn)行多尺度、多方向分解;然后，在分解后的各子帶圖像中，利用局部區(qū)域奇異值構(gòu)造的局部結(jié)構(gòu)信息因子作為PCNN神經(jīng)元鏈接強(qiáng)度。經(jīng)過脈沖耦合神經(jīng)網(wǎng)絡(luò)點(diǎn)火處理，獲取子帶圖像的點(diǎn)火映射圖，通過判決選擇算子，選擇各子帶圖像中的明顯特征部分生成子帶融合圖像;最后，應(yīng)用局部化非下抽樣剪切波逆變換重構(gòu)圖像。選用多組不同模態(tài)的圖像進(jìn)行實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了客觀評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明，本文提出的融合方法在主觀和客觀評(píng)價(jià)上均優(yōu)于一些典型融合方法，可獲得更好的融合效果。

圖像處理;局部化非下抽樣剪切波;平移不變性;脈沖耦合神經(jīng)網(wǎng)絡(luò);鏈接強(qiáng)度

1 引言

多年來，多尺度分解(Multi-scale Decomposition，MSD)圖像融合技術(shù)一直受到國(guó)內(nèi)、外有關(guān)學(xué)者的廣泛關(guān)注，取得了許多優(yōu)秀的研究成果［1-5］。近年來，將多尺度分解技術(shù)與脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Networks，PCNN)結(jié)合對(duì)多模態(tài)圖像進(jìn)行融合成為融合領(lǐng)域研究的熱點(diǎn)。

離散小波變換(Discrete Wavelet Transform，DWT)由于具有優(yōu)良的時(shí)頻聯(lián)合分析圖像特征的能力而被廣泛地作為圖像多尺度分解工具［6-7］。2D離散小波基為正方形支撐域，表現(xiàn)為各向同性，不能很好地表示圖像中的直線或曲線所表現(xiàn)的各向異性，且其方向選擇性差(只有水平、垂直和對(duì)角三個(gè)方向信息)。鑒于2D離散小波在處理圖像時(shí)所表現(xiàn)出來的局限性，研究者們推出許多性能更優(yōu)良的多尺度分解方法，以實(shí)現(xiàn)對(duì)圖像的最優(yōu)表示，如Curvelet［8］、Contourlet［9］變換。這兩種變換具有多分辯性、多方向和各向異性，能夠用較少的非零系數(shù)稀疏地表征圖像邊緣信息，圖像中曲線狀奇異特征得到較好的逼近［10-11］。同2D離散小波一樣，Curvelet和Contourlet在分析圖像時(shí)缺少平移不變特性，融合圖像中往往出現(xiàn)條紋狀虛構(gòu)信息，有Gibbs振鈴現(xiàn)象。文獻(xiàn)［12］利用非下抽樣金字塔分解和小尺寸剪切濾波器構(gòu)造了局部化非下抽樣剪切波(Local Nonsubsampled Shearlet Transform，LNSST)，具有簡(jiǎn)單的數(shù)學(xué)結(jié)構(gòu)，良好的方向選擇性和各向異性，在分解過程中去除了采樣操作，具備平移不變性。所以，本文采用局部化非下抽樣剪切波變換作為圖像多尺度分解工具。

在已有的多尺度分解融合策略中，多數(shù)都是針對(duì)分解后的系數(shù)直接計(jì)算點(diǎn)或窗口的活性測(cè)度或匹配測(cè)度，如系數(shù)絕對(duì)值、窗口方差或窗口能量匹配等［13-14］，然后進(jìn)行加權(quán)或選擇性融合。這些融合策略在融合過程中易受噪聲干擾，且得不到合適的局部亮度和結(jié)構(gòu)信息。脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)是第三代人工神經(jīng)網(wǎng)絡(luò)的新模型，因具有同步激發(fā)、變閾值等特性而被應(yīng)用到圖像融合領(lǐng)域［15-17］。圖像矩陣的奇異值是一種性質(zhì)良好的代數(shù)特征，奇異值矩陣表征了原圖像中的結(jié)構(gòu)信息，其F-范數(shù)的平方表示圖像的能量，能夠反映圖像的局部特征，而人眼視覺系統(tǒng)對(duì)圖像局部結(jié)構(gòu)的變化具有非常高的敏感性，所以圖像局部區(qū)域奇異值的變化與人眼視覺系統(tǒng)處理機(jī)制是一致的。本文根據(jù)奇異值的上述特征，提出了一種新的基于PCNN的圖像融合算法。利用局部區(qū)域奇異值構(gòu)造局部結(jié)構(gòu)信息因子，作為PCNN對(duì)應(yīng)神經(jīng)元的鏈接強(qiáng)度，有效提取圖像中的目標(biāo)與背景信息，使融合圖像更符合人的視覺系統(tǒng)。

2 局部化非下抽樣剪切波變換

當(dāng)維數(shù)n=2時(shí)，帶有離散參量的剪切波系統(tǒng)函數(shù)如式(1):

式中:φ∈L2(R2)，A，B為2×2可逆矩陣且detB =1，j為尺度參量，l為方向參量，k表示空間位置。對(duì)于j≥0，－2j≤l≤2j－1，k∈Ζ2，d=0，1，在緊支撐框架下，剪切波的傅里葉變換可表示為:

式(2)中V( 2－2jξ)為尺度函數(shù)，為局部化在梯形對(duì)上的窗口函數(shù)，Ad為各向異性膨脹矩陣，Bd為剪切矩陣。函數(shù)f∈L2(R2)的剪切波變換可通過式(3)計(jì)算得到:

從式(3)可以看出，f∈L2(R2)的剪切波變換主要分為兩步:一是多尺度分解，即

多尺度分解:利用雙通道非下抽樣2D濾波器組對(duì)圖像進(jìn)行非下抽樣金字塔(Nonsubsampled Pyramid，NSP)分解，生成一個(gè)低通子帶和多個(gè)帶通子帶，具有完全重構(gòu)性，完成多尺度分解。

方向局部化:方向局部化是通過小尺寸剪切濾波器(Shear Filter，SF)與帶通子帶卷積計(jì)算實(shí)現(xiàn)的。局部化窗口為L(zhǎng)×L(一般取32×32或16× 16)，在窗口中利用Meyer小波函數(shù)v(x)生成Meyer窗口函數(shù)g(θ)。

在偽極化網(wǎng)格中對(duì)g( θ)進(jìn)行離散重采樣，再?gòu)膫螛O化坐標(biāo)變換到笛卡爾坐標(biāo)系，形成大小為L(zhǎng)×L的頻域剪切濾波器W^s，且有

j，l域表現(xiàn)形式，則對(duì)于圖像f有式(6)成立:

圖1所示為L(zhǎng)=32時(shí)，剪切濾波器形成過程。

圖1 L=32時(shí)剪切濾波器形成過程Fig．1Shear filter formation procedure when L=32

文獻(xiàn)［12］將上述剪切波變換稱為局部化非下抽樣剪切波變換。局部化非下抽樣剪切波在分解階段去除了采樣操作，使其具備了平移不變性;在方向局部化階段，局部化小尺寸剪切濾波器能夠避免大尺寸濾波器引起的塊效應(yīng)和弱化吉布斯振鈴現(xiàn)象，時(shí)域卷積計(jì)算能夠提高計(jì)算效率。

局部化非下抽樣剪切波重構(gòu)過程分兩步: (1)將分解后的同一尺度、不同方向上的帶通子帶系數(shù)累加，可獲得重構(gòu)后的帶通子帶系數(shù)。(2)對(duì)分解后的低頻子帶系數(shù)與重構(gòu)后的帶通子帶系數(shù)按空間位置進(jìn)行非下抽樣金字塔逆變換，可獲得重構(gòu)圖像。

局部化非下抽樣剪切波具有良好的局部化特性，優(yōu)良的方向選擇性，拋物線沿邊特性。圖像f經(jīng)過m層LNSST分解，得到∑m2dm個(gè)方向子帶和1個(gè)低通子帶，各子帶尺寸與原始圖像相同，dm表示第m層方向局部化的級(jí)數(shù)。圖2所示為Barbara圖像的2層LNSST分解，第一層方向子帶數(shù)為4(級(jí)數(shù)為2)，第二層方向子帶數(shù)為8(級(jí)數(shù)為3)，剪切濾波器尺寸為32×32。

圖2 圖像Barbara的兩層LNSST分解Fig．2Two level LNSST of image Barbara

3 融合策略

3．1PCNN基本原理和簡(jiǎn)化模型

PCNN是由若干個(gè)神經(jīng)元互相鏈接形成的一種動(dòng)態(tài)非線性反饋網(wǎng)絡(luò)，包括接收域、調(diào)制域和脈沖產(chǎn)生器3部分。最初基于哺乳動(dòng)物視覺系統(tǒng)的PCNN模型極為復(fù)雜，大量的文獻(xiàn)對(duì)其進(jìn)行了改進(jìn)與簡(jiǎn)化。本文采用最常使用的離散數(shù)學(xué)迭代模型［18］，如圖3所示。

其數(shù)學(xué)方程描述為:

圖3 PCNN神經(jīng)元簡(jiǎn)化模型Fig．3Simplified model of PCNN neuron

其中:(i，j)為神經(jīng)元標(biāo)號(hào);Fij(n)是第n次迭代計(jì)算時(shí)的反饋輸入;Iij是外部刺激輸入信號(hào)，一般為(i，j)處的灰度值;Lij(n)是神經(jīng)元的鏈接輸入;βij是鏈接強(qiáng)度;Uij(n)是神經(jīng)元的內(nèi)部活動(dòng)項(xiàng);Yij(n)是(i，j)處神經(jīng)元在第n次迭代時(shí)的輸出;W是權(quán)系數(shù)矩陣，VL是放大系數(shù);θij是變閾值函數(shù)輸出;Vθ是閾值放大系數(shù);αL和αθ為時(shí)間常數(shù);n是迭代次數(shù)。當(dāng)Uij(n)＞θij時(shí)，神經(jīng)元輸出一個(gè)脈沖，產(chǎn)生一次點(diǎn)火，n次迭代以后，(i，j)處神經(jīng)元總的點(diǎn)火次數(shù)表征了該點(diǎn)處的特征信息。所以經(jīng)過PCNN點(diǎn)火處理，源圖像中每個(gè)神經(jīng)元的總點(diǎn)火次數(shù)就形成了點(diǎn)火映射圖，構(gòu)成了PCNN的輸出。

3．2圖像的奇異值分解及特性

矩陣奇異值分解［19-20］(Singular Value Decomposition，SVD)作為圖像代數(shù)特征的提取方法在人臉識(shí)別、數(shù)字水印等領(lǐng)域都得到了廣泛研究與應(yīng)用。奇異值分解定理及其特性描述如下:

若矩陣A∈Rm×n，則存在兩個(gè)正交矩陣U、V及一個(gè)對(duì)角矩陣S，其中U=［u1，u2，…，um］∈Rm×n，V=［v1，v2，…，vm］∈Rm×n，對(duì)角陣S= diag［σ1，σ2…，σp］，UTU=I，VTV=I，p= min(m，n)，σ1≥σ2≥…≥σp＞0，使得下式成立:

式(12)稱為A的SVD，σi(i=1，2，…，p)稱為矩陣A的奇異值(Singular Value，SV)，S稱為奇異值矩陣。矩陣的SV表現(xiàn)的是圖像的本質(zhì)特性而不是視覺特性。矩陣A的能量可表示為E=‖A，結(jié)合式(12)，則有:

由此可以知，圖像A經(jīng)過SVD后，能量信息集中于SV矩陣S中。文獻(xiàn)［21］對(duì)SVD作了進(jìn)一步研究，對(duì)圖4(a)先做SVD，然后將SV矩陣改為單位對(duì)角陣重構(gòu)圖像，得出圖4(b)。

圖4 剝除奇異值之后的殘差圖像Fig．4Different image afterremoved singular value

由圖4(b)可看出，殘差圖像中幾乎不包含原圖像的結(jié)構(gòu)信息，由此可看出，圖像的絕大部分結(jié)構(gòu)信息包含在SV矩陣中，SV越大，包含的結(jié)構(gòu)信息越豐富。

圖像的SV具有穩(wěn)定性和旋轉(zhuǎn)位移不變性。穩(wěn)定性是指圖像SV變化的上界為其擾動(dòng)矩陣的2-范數(shù)，說明圖像SV特征對(duì)噪音、光照等因素引起的灰度變化不敏感。旋轉(zhuǎn)位移不變性是指對(duì)圖像進(jìn)行旋轉(zhuǎn)或行列置換等變換操作，圖像的SV特征不變。這說明圖像SV能有效反映圖像的內(nèi)在屬性，保證了SV特征衡量圖像質(zhì)量的魯棒性。

3．3基于區(qū)域奇異值分解的PCNN圖像融合策略

傳統(tǒng)基于PCNN的圖像融合算法中，神經(jīng)元的鏈接強(qiáng)度是根據(jù)經(jīng)驗(yàn)或?qū)嶒?yàn)選擇的一個(gè)常數(shù)。但根據(jù)人眼視覺處理機(jī)制，視覺系統(tǒng)對(duì)圖像中不同特征區(qū)域，反應(yīng)的強(qiáng)烈程度是有差異的，即視覺皮層中不同神經(jīng)元耦合具有差異性，這種差異性體現(xiàn)在PCNN中就是神經(jīng)元的鏈接強(qiáng)度系數(shù)的不同。從PCNN數(shù)學(xué)描述方程中的內(nèi)部活動(dòng)項(xiàng)可看出，輸入源圖像的明顯特征部分在最后融合圖像中所占權(quán)重與鏈接強(qiáng)度β值的大小有關(guān)。所以有理由認(rèn)為鏈接強(qiáng)度β值應(yīng)隨圖像特征的變化而改變，以此來表征圖像不同區(qū)域的特征信息，而不應(yīng)是一個(gè)常數(shù)。圖像的奇異值包含了圖像的結(jié)構(gòu)信息，集中了圖像的能量信息，文獻(xiàn)［22］利用兩幅圖像塊奇異值差值的均值來表征灰度圖像結(jié)構(gòu)信息的丟失程度;文獻(xiàn)［23］利用兩幅圖像塊奇異值差的加權(quán)均值與剝除奇異值之后的殘差圖像信息作為壓縮圖像質(zhì)量評(píng)價(jià)測(cè)度;上述文獻(xiàn)說明用局部區(qū)域奇異值來表征圖像的特征變化是可行的。文獻(xiàn)［24］利用梯度域局部區(qū)域奇異值和來區(qū)分圖像的平坦區(qū)域和非平坦區(qū)域，且具有較好的抗噪能力，但這種方法不能描述圖像平坦區(qū)域的特征變化與非平坦區(qū)域的結(jié)構(gòu)紋理信息變化，不適合作為PCNN中的鏈接強(qiáng)度值;受上述文獻(xiàn)啟發(fā)，參照文獻(xiàn)［24］的構(gòu)造方法，本文利用局部區(qū)域奇異值的均值定義一個(gè)局部結(jié)構(gòu)信息因子，來表征單幅圖像局部區(qū)域的內(nèi)容及特征變化:

式中:σ1，σ2，…σr為局部區(qū)域內(nèi)的奇異值，e值的大小體現(xiàn)了圖像局部區(qū)域內(nèi)基本結(jié)構(gòu)模式及細(xì)節(jié)信息的豐富程度。本文融合算法中采用局部結(jié)構(gòu)信息因子作為PCNN中的鏈接強(qiáng)度值，表征圖像不同區(qū)域的特征信息。圖5以兩幅圖像的融合為例說明基于奇異值分解的自適應(yīng)PCNN圖像融合過程。

圖5 PCNN圖像合融框圖Fig．5Schematic diagram of PCNN-based fusion algorithm

具體融合策略描述如下:

(1)對(duì)待融合的兩幅圖像(M×N)歸一化，分別記為A和B(可推廣到多幅)。令A(yù)為第1個(gè)神經(jīng)網(wǎng)絡(luò)PCNNA中各神經(jīng)元的反饋輸入，B為第2個(gè)神經(jīng)網(wǎng)絡(luò)PCNNB中各神經(jīng)元的反饋輸入。

(2)對(duì)矩陣A和B進(jìn)行滑動(dòng)窗口平移分塊，塊的大小為k×k，中心點(diǎn)為(i，j)，共分M×N個(gè)子塊，分別計(jì)算出各子塊圖像的奇異值，利用公式(14)計(jì)算局部結(jié)構(gòu)信息因子eA(i)和eB(i)，形成大小為M×N的矩陣，其元素值即為對(duì)應(yīng)的鏈接強(qiáng)度βij值，得到A、B中每個(gè)像素對(duì)應(yīng)的βA，ij、βB，ij值，i=1，2，…，M，j=1，2，…，N。

(3)初始值分別設(shè)為:Lij(0)=Uij(0)=0，θij(0)=1，此時(shí)所有的神經(jīng)元都處在熄火狀態(tài)，即Yij(0)=0，脈沖數(shù)Tij(0)=0。

(4)根據(jù)式(7)～(11)計(jì)算Lij(n)、Uij(n)、θij(n)和Yij(n)。

(5)累計(jì)神經(jīng)網(wǎng)絡(luò)每次迭代運(yùn)行的輸出: Tij(n)=Tij(n－1)+Yij(n)。

(6)判斷n值是否為Nmax(最大迭代次數(shù))，如果n＜Nmax，重復(fù)步驟(4)～(5)，如果n= Nmax，迭代運(yùn)算結(jié)束。輸出點(diǎn)火圖OA和OB。

選取融合像素。

H( i，j)為融合后的像素值。經(jīng)過PCNN點(diǎn)火處理后，得到源圖像對(duì)應(yīng)像素的點(diǎn)火映射圖，對(duì)點(diǎn)火頻數(shù)進(jìn)行比較，數(shù)值越大，說明圖像在該點(diǎn)處的信息越豐富，融合時(shí)應(yīng)選擇該點(diǎn)像素，所以上述融合過程可有效提取圖像邊緣、紋理等信息。

本文算法的融合過程為:待融合圖像歸一化處理后，經(jīng)局部化非下抽樣剪切波變換后得到不同尺度、不同方向的子帶系數(shù)，記為{IL1，IHl1，k}，{IL2}，ILx表示低頻子帶系數(shù)，表示第l層中第k個(gè)高頻子帶系數(shù)，x=1，2。令{IL1，}、{IL2，IH2l，k}依次為上述融合過程中的A和B，得到融合后的子帶圖像{IL，IHl，k}，利用局部化非下抽樣剪切波逆變換重構(gòu)圖像。

4 仿真實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文融合方法的有效性，仿真實(shí)驗(yàn)分3步進(jìn)行。首先，傳統(tǒng)融合策略分別結(jié)合DWT、Curvelet、Contourlet和LNSST四種多尺度分解方法進(jìn)行融合比較;其次，在LNSST域，本文算法與幾種典型多尺度融合算法進(jìn)行比較;最后，將本文融合方法與典型多尺度分解結(jié)合PCNN算法的融合結(jié)果進(jìn)行比較。通過視覺觀察對(duì)融合圖像進(jìn)行主觀評(píng)價(jià)，應(yīng)用互信息MI［25］、結(jié)構(gòu)信息相似度SSIM［26］和邊緣信息傳遞量QAB/F［27］三種指標(biāo)對(duì)融合圖像進(jìn)行客觀評(píng)價(jià)。實(shí)驗(yàn)過程中，DWT、LSWT和Curvelet分解尺度為4，Contourlet、NSCT和LNSST的尺度向量為［2 2 3］，兩種醫(yī)學(xué)圖像大小為256×256，其余圖像大小為512×512。實(shí)驗(yàn)環(huán)境:Intel(R)Celeron(R)，CPU2．4GHz，1G內(nèi)存，MATLAB2008a平臺(tái)。本文融合算法中鏈接強(qiáng)度β值是通過計(jì)算3×3塊矩陣的結(jié)構(gòu)信息因子得到;每個(gè)神經(jīng)元與其周圍3×3鄰域內(nèi)的神經(jīng)元相鏈接，即p×q=3×3，3×3鏈接核矩陣為

4．1不同多尺度分解方法融合結(jié)果的比較

為了驗(yàn)證具有方向局部化特性和平移不變性的LNSST在圖像融合領(lǐng)域作為多尺度分解工具的優(yōu)越性，分別在DWT、Curvelet、Contourlet和LNSST域內(nèi)采用傳統(tǒng)融合策略，即低頻子帶采用等權(quán)值平均，高頻子帶采用模值取大準(zhǔn)則，對(duì)圖6 (a)(b)所示多聚焦圖像進(jìn)行融合實(shí)驗(yàn)，圖6為融合結(jié)果，表1為融合圖像的客觀評(píng)價(jià)指標(biāo)。

圖6 不同多尺度分解域內(nèi)多聚焦圖像融合結(jié)果Fig．6Multi-focus image fusion results in different MSD domain

表1 不同多尺度分解域多聚焦圖像融合結(jié)果的比較Tab．1Fusion results comparison of multi-focus image in MSD domain

從圖6中融合結(jié)果及局部放大圖像可以看到，邊緣刻畫的優(yōu)劣順序?yàn)閳D(f)、(d)、(c)、(e);從局部放大圖像可看出，在(c)和(e)的時(shí)鐘邊緣處出現(xiàn)不同程度的偽影和凸起的條紋，而(d)要好一些，圖(f)則完全沒有這種現(xiàn)象且融合圖像細(xì)節(jié)清晰，亮度適中，整體視覺效果良好。出現(xiàn)上述現(xiàn)象的原因是DWT、Contourlet和Curvelet變換不具備平移不變性，造成頻譜混疊，出現(xiàn)Gibbs振鈴效應(yīng)。而Curvelet與LNSST類似，采用局部化小尺寸方向?yàn)V波器，一定程度上弱化了Gibbs現(xiàn)象的出現(xiàn)，LNSST采用局部化小尺寸方向?yàn)V波器且具有平移不變性，能夠有效地克服圖像融合過程中的Gibbs效應(yīng)。另外LNSST所具有的方向局部化特性和拋物線沿邊特性能夠有效提取圖像中直線或曲線的邊緣細(xì)節(jié)。從表1的客觀評(píng)價(jià)數(shù)據(jù)中可以看出，基于LNSST得到的融合圖像，其各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于其它多尺度融合圖像，說明非下抽樣剪切波變換在圖像融合領(lǐng)域作為多尺度分解工具要優(yōu)于DWT、Curvelet和Contourlet變換，同時(shí)也證明了本文選用LNSST作為多尺度分解方法的正確性。

4．2LNSST域內(nèi)不同多尺度融合策略的比較

為了驗(yàn)證本文融合策略的有效性，在LNSST域，本文融合策略，記為SVDPCNN與近年來常采用的典型多尺度融合策略進(jìn)行比較。方法一［13］，系數(shù)模值取大策略，記為ABSMAX;方法二［13］，低頻子帶采用主成分分析(Principal Component A-nalysis，PCA)法，高頻子帶采用模值取大準(zhǔn)則，記為PCAABS;方法三［13］，基于窗口能量匹配準(zhǔn)則進(jìn)行選擇與加權(quán)結(jié)合的算法，記為WEM;方法四［14］，低頻子帶采用基于窗口空間頻率匹配準(zhǔn)則進(jìn)行選擇與加權(quán)相結(jié)合算法，高頻子帶采用模值取大準(zhǔn)則，記為SFABS。源圖像采用圖7(a)(b)所示的紅外與可見光和醫(yī)學(xué)圖像，圖7(c)～(g)為融合結(jié)果，表2為客觀評(píng)價(jià)數(shù)據(jù)。

圖7 LNSST域內(nèi)不同融合策略的融合結(jié)果Fig．7Fusion results using different rules in LNSST domain

表2 LNSST域內(nèi)不同融合策略融合結(jié)果的比較Tab．2Fusion results comparison using different rules in LNSST domain

從圖7中可以發(fā)現(xiàn)，圖7(g)紅外與可見光融合圖像中，行走的人、車、路燈及燈箱牌匾等都清晰可見，對(duì)比度適中，圖像清晰自然，相對(duì)于其他紅外與可見光融合圖像有更好的視覺效果，這表明應(yīng)用本文融合策略能夠更好地提取目標(biāo)信息。圖7(d)中，由于紅外與可見光圖像相關(guān)性較差，PCA方法分配的權(quán)重不合適，造成融合圖像有一定的光譜扭曲。圖7(g)醫(yī)學(xué)融合圖像中，軟組織細(xì)節(jié)清晰，有效地保留了目標(biāo)邊緣輪廓信息，邊緣連續(xù)準(zhǔn)確。相比較其他醫(yī)學(xué)圖像的融合效果，整體亮度與對(duì)比度有較大提高，更符合人眼的視覺觀察。

從圖7(h)(i)中的低頻子帶點(diǎn)火映射圖也能看出本文提出的融合算法具有良好的融合性能。對(duì)圖7分析可知，利用本文融合算法融合的圖像較好地保留了源圖像中紋理細(xì)節(jié)和結(jié)構(gòu)信息，更符合人眼的視覺觀察。這是因?yàn)楸疚睦镁植拷Y(jié)構(gòu)信息因子構(gòu)造鏈接強(qiáng)度β值，能更好地反映像素的特征信息，符合人眼的視覺系統(tǒng)對(duì)圖像特征變化的處理機(jī)制，具有較強(qiáng)的自適應(yīng)性，通過PCNN處理后，能夠準(zhǔn)確地提取圖像中的特征明顯區(qū)域，捕獲豐富的邊緣細(xì)節(jié)，消除融合圖像可能出現(xiàn)的邊緣輪廓的不連續(xù)現(xiàn)象，使融合圖像具有良好的視覺效果。從表2中的客觀評(píng)價(jià)數(shù)據(jù)中可看出，在LNSST域下，應(yīng)用本文融合算法得到的融合圖像各項(xiàng)評(píng)價(jià)參數(shù)均優(yōu)于其它融合策略，說明本文融合算法在多尺度圖像融合領(lǐng)域中更有效。

4．3不同多尺度分解域基于不同PCNN融合算法的比較

為了說明本文提出的融合方法的有效性及穩(wěn)定性，將本文融合方法，記為L(zhǎng)NNST+SVDPCNN與近年來常用的典型多尺度分解方法結(jié)合PCNN算法的融合效果［15-17］進(jìn)行比較。方法一［15］:在提升靜態(tài)小波(LSWT)域，低頻子帶采用改進(jìn)拉普拉斯能量和作為PCNN各神經(jīng)元的外部輸入激勵(lì)，高頻子帶采用各像素灰度值作為PCNN的外部輸入激勵(lì)，鏈接強(qiáng)度β=0．2，記為L(zhǎng)SWT+ SMLPCNN;方法二［16］，在Curvelet域，低頻子帶采用等權(quán)值加權(quán)，高頻子帶采用各像素灰度值作為PCNN的外部輸入激勵(lì)，區(qū)域能量測(cè)度作為PCNN的鏈接強(qiáng)度，記為Curvelet+APCNN;方法三［17］，在Contourlet域，采用各像素灰度值作為PCNN的外部輸入激勵(lì)，鏈接強(qiáng)度β=0．2，記為Contourlet+PCNN;方法四［17］，在非下抽樣Contourlet域，采用各像素灰度值作為PCNN的外部輸入激勵(lì)，鏈接強(qiáng)度β=0．2，記為NSCT+ PCNN;方法五［17］，在非下抽樣Contourlet域，采用區(qū)域空間頻率作為PCNN的外部輸入激勵(lì)，鏈接強(qiáng)度β=0．2，記為NSCT+SFPCNN;方法六［17］，在非下抽樣Contourlet域，低頻子帶采用各像素灰度值作為PCNN的外部輸入激勵(lì)，高頻子帶采用高斯拉普拉斯算子能量作為PCNN的外部輸入激勵(lì)，鏈接強(qiáng)度β=0．2，記為NSCT+GSLPCNN。源圖像采用圖8(a)(b)所示的遙感和醫(yī)學(xué)圖像。融合結(jié)果如圖8(c)～(i)所示，客觀評(píng)價(jià)參數(shù)如表3所示。由圖8及表3可以看出，本文融合方法得到的結(jié)果無論從視覺上還是從客觀評(píng)價(jià)數(shù)據(jù)上都是最優(yōu)的，表明本文所提出的LNSST多尺度分解方法結(jié)合基于奇異值分解的PCNN融合算法在多模態(tài)圖像融合精度提升方面具有一定的優(yōu)勢(shì)。

圖8 不同多尺度分解域內(nèi)基于不同PCNN算法融合結(jié)果Fig．8Fusion results based on different PCNN algorithm in different MSD domains

表3 不同多尺度分解域內(nèi)基于不同PCNN算法融合結(jié)果的比較Tab．3Fusion results comparison based on different PCNN algorithms in different MSD domains

5 結(jié)論

針對(duì)已有的多尺度圖像融合方法的缺陷，本文將局部化非下抽樣剪切波引入圖像融合領(lǐng)域，提出了基于局部區(qū)域奇異值分解的PCNN圖像融合算法。LNSST具有拋物線沿邊特性和方向局部化特性，能夠效地捕獲圖像中的光滑輪廓信息，提供圖像在任意方向上的細(xì)節(jié)信息。利用局部區(qū)域奇異值構(gòu)造的結(jié)構(gòu)信息因子，作為PCNN神經(jīng)元鏈接強(qiáng)度β值，能夠自適應(yīng)表征圖像特征的變化，通過PCNN點(diǎn)火處理，得到能夠同時(shí)反映單個(gè)像素特征及其鄰域像素整體特征的點(diǎn)火映射圖，通過比較選擇算子，準(zhǔn)確選擇明顯特征區(qū)域。文中實(shí)驗(yàn)結(jié)果證明，本文融合方法能夠很好地捕獲圖像中奇異信息，將源圖像中的重要信息轉(zhuǎn)移至融合圖像中，獲得較好的亮度與對(duì)比度，能夠提升多模態(tài)圖像融合精度。

［1］Yang B，Jing Z L，Zhao H T．Review of Pixel-Level Image Fusion［J］．Journal of Shanghai Jiao tong University(Science)，2010，15(1):6-12．

［2］陳小林，王延杰．非下采樣變換的紅外與可見光圖像融合［J］．中國(guó)光學(xué)，2011，4(5):489-495．

Chen X L，Wang Y J．Infrared and visible image fusion based on nonsubsampled Contourlet transform［J］．Chinese Optics，2011，4(5):489-495．(in Chinese)

［3］傅瑤，孫雪晨，薛旭成，等．基于非下采樣輪廓波變換的全色圖像與多光譜圖像融合方法研究［J］．液晶與顯示，2013，28(3):429-434．

Fu Y，Sun X C，Xue X C，et al．Panchromatic and multispectral image fusion method based on Nonsubsampled Contourlet Transform［J］．Chinese Journal of Liquid Crystals and Displays，2013，28(3):429-434．(in Chinese)

［4］陳廣秋，高印寒．基于圖像質(zhì)量評(píng)價(jià)參數(shù)的FDST域圖像融合［J］．光電子·激光，2013，24(11):2240-2248．

Chen G Q，Gao Y H．Adaptive image fusion based on image quality assessment parameter in FDST domain［J］．Journal of Optoelectronics·Laser，2013，24(11):2240-2248．(in Chinese)

［5］高印寒，陳廣秋，劉妍妍．基于圖像質(zhì)量評(píng)價(jià)參數(shù)的非下采樣剪切波域自適應(yīng)圖像融合［J］．吉林大學(xué)學(xué)報(bào):工學(xué)版，2014，，44(1):225-234．

Gao Y H，Chen G Q，Liu Y Y．Adaptive image fusion based on image quality assessment parameter in NSST system［J］．Journal of Jilin university:Engineering and Technology Edition，2014，44(1):225-234．(in Chinese)

［6］李光鑫，吳偉平，胡君．紅外和彩色可見光圖像亮度-對(duì)比度傳遞融合算法［J］．中國(guó)光學(xué)，2011，4(2):161-168．

Li G X，Wu W P，Hu J．Luminance-contrast transfer based fusion algorithm for infrared and color visible images［J］．Chinese Optics，2011，4(2):161-168．(in Chinese)

［7］唐艷秋，張星祥，李新娥，等．基于人眼視覺灰度識(shí)別特性的圖像動(dòng)態(tài)范圍小波變換處理方法［J］．液晶與顯示，2012，27(3):385-390．

Tang Y Q，Zhang X X，Li X E，et al．Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］．Chinese Journal of Liquid Crystals and Displays，2012，27(3):385-390．(in Chinese)

［8］Candès E J，Donoho D L，New tight frames of curvelets and optimal representations of objects with piecewise C2 singularities［J］．Comm on Pure and Appl．Math．，2004，57(2):219-266．

［9］Do M N，Vetterli M．The contourlet transform:an efficient directional multiresolution image representation［J］．IEEE Trans．Image Proc．，2005，14(12):2091-2106．

［10］馬苗，萬仁遠(yuǎn)，尹義龍．基于相似性灰關(guān)聯(lián)的Curvelet域多聚焦圖像融合［J］．電子學(xué)報(bào)，2012，40(10):1984-1988．

MA Miao，Ma M，Wan R Y，et al．Multi-focus image fusion based on grey relation of similarity in Curvelet domain［J］．Acta Electronica Sinica，2012，40(10):1984-1988．(in Chinese)

［11］馮鵬，王靜，魏彪，等．一種基于Contourlet變換的GFP圖像與相襯圖像融合算法研究［J］．光電子·激光，2013，24 (1):176-183．

Feng P，Wang J，Wei B，et al．A fusion algorithm for GFP images and phase-contrast images based on Contourlet transform［J］．Journal of Optoelectronics·Laser，2013，24(1):176-183．(in Chinese)

［12］Easley G，Labate D，Lim W Q．Sparse directional image representations using the discrete shearlet transform［J］．Applied and Computational Harmonic Analysis，2008，25(1):25-46．

［13］楊揚(yáng)．基于多尺度分析的圖像融合算法研究［D］．長(zhǎng)春:中國(guó)科學(xué)院大學(xué)中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，2013:19-25．

YangY．Research on image Fusion algorithms using multiscale analysis［D］．Changchun:University of Chinese Academy of SciencesChangchun Institute of Optics，F(xiàn)ine Mechanics and Physics Chinese Academy of Sciences，2013:19-25．(in Chinese)

［14］王紅梅，陳勵(lì)華，李言俊，等．一種基于顯著特征的圖像融合算法［J］．西北工業(yè)大學(xué)學(xué)報(bào)，2010，28(4):486-490．

Wang H M，Chen L H，Li Y J，et al．A new and more effective image fusion algorithm based on salient feature［J］．Journal of Northwestern Polytechnical University［J］．2010，28(4):486-490．(in Chinese)

［15］郭茂耘，李華鋒，柴毅．提升靜態(tài)小波與自適應(yīng)PCNN相結(jié)合的圖像融合算法［J］．光電工程，2010，37(12):67-74．

Guo M Y，Li H F，Chai Y．Image fusion using lifting stationary wavelet transform and adaptive PCNN［J］．Opto-Electronic Engineering，2010，37(12):67-74．(in Chinese)

［16］趙景朝，曲仕茹．基于Curvelet變換與自適應(yīng)PCNN的紅外與可見光圖像融合［J］．西北工業(yè)大學(xué)學(xué)報(bào)，2011，29 (6):849-853．

Zhao J C，Qu S R．A better algorithm for fusion of infrared and visible image based on curvelet transform and adaptive Pulse Coupled Neural Networks(PCNN)［J］．Journal of Northwestern Polytechnical University，2011，29(6):849-853．(in Chinese)

［17］金星，李暉暉，時(shí)丕麗．非下采樣Contourlet變換與脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的SAR與多光譜圖像融合［J］．中國(guó)圖像圖形學(xué)報(bào)，2012，17(9):1188-1195．

Jin X，Li H H，Shi P L．SAR and multispectral image fusion algorithm based on pulse coupled neural networks and nonsubsampled Contourlet transform［J］．Journal of Image and Graphics，2012，17(9):1188-1195．(in Chinese)

［18］嚴(yán)春滿，郭寶龍，馬義德，等．一種新的基于雙層PCNN的自適應(yīng)圖像分割算法［J］．光電子·激光，2011，22(7): 1102-1106．

Yan C M，Guo B L，Ma Y D，et al．New adaptive algorithm for image segmentation using the dual-level PCNN model［J］．Journal of Optoelectronics·Laser，2011，22(7):1102-1106．(in Chinese)

［19］王宇慶．基于圖像結(jié)構(gòu)信息復(fù)數(shù)表示與奇異值分解的灰度圖像質(zhì)量評(píng)價(jià)方法［J］．光電子·激光，2012，23(9): 1827-1834．Wang Y Q．Image quality assessment based on complex number representation of image structure and singular value decomposition［J］．Journal of Optoelectronics·Laser，2012，23(9):1827-1834．(in Chinese)

［20］Phillips R D，Watson L T，Wynne R H，et al．Feature reduction using a singular value decomposition for the iterative guided spectral class rejection hybrid classifier［J］．ISPRS Journal of Photogrammetry and Remote Sensing，2009，64 (1):107-116．

［21］Aznaveh A M，Azadeh M，Azar F T，et al．Image quality measurement besides distortion type classifying［J］．Optical Review，2009，16(1):30-34．

［22］Shnayderman A，Gusev A，Eskicioglu A M．A SVD based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Process，2005，14(2):422-429．

［23］張飛艷，謝偉，陳榮元，等．基于視覺加權(quán)的奇異值分解壓縮圖像質(zhì)量評(píng)價(jià)測(cè)度［J］．電子與信息學(xué)報(bào)，2010，32 (5):1061-1065．

Zhang F Y，Xie W，Chen R Y，et al．Compression image quality assessment based on human visual weight and singular value decomposition［J］．Journal of Electronics＆Information Technology，2010，32(5):1061-1065．(in Chinese)

［24］許光宇，檀結(jié)慶，鐘金琴．自適應(yīng)的有效非局部圖像濾波［J］．中國(guó)圖象圖形學(xué)報(bào)，2012，17(4):471-479．

Xu G Y，Tan J Q，Zhong J Q．Adaptive efficient non-local image filtering［J］．Journal of Image and Graphics，2012，17 (4):471-479．(in Chinese)

［25］Qu G H，Zhang D L，Yan P F．Information measure for performance of image fusion［J］．Electronic Letters，2002，38(7) :313-315．

［26］Wang Z，Bovik A C Sheik H R，et al．Image Quality Assessment:From error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600-612．

［27］Xydeas C S，Petrovi V．Objective image fusion performance measure［J］．Electronics Letters，2000，36(4):308-309．

Image fusion algorithm based on local NSST and PCNN

CHEN Guang-qiu1，GAO Yin-han2，CAI Hua1*，LIU Guang-wen1，DUAN Yun-peng3
(1．School of Electronic and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China; 2．State Key Laboratory of Automobile Simulation and Control，Jilin University，Changchun 130022，China; 3．Beijing Institute of Remote Sensing Equipment，Beijing 100854，China)

For enhancing fusion accuracy of multi-modality images，an adaptive image fusion algorithm based on local nonsubsampled shearlet transform(LNSST)and pulse coupled neural networks(PCNN)is proposed．First，source images are decomposed to multi-scale and multi-direction subband images by LNSST．Secondly，local area singular value decomposition in each subband image is done to construct a local structure information index which is served as linking strength of each neuron in PCNN．After the fire processing of PCNN，new fire mapping images of all the subbands are obtained，the clear objects of subband images are selected by the compare-selection operator with the fire mapping images pixel by pixel and then all of them are merged into a group of new clear subband images．Finally，fused subbands are reconstructed to image by local nonsubsampledshearlet inverse transform．Some fusion experiments on several sets of different modality images are done and objective performance assessments are implemented to fusion results．The experimental results indicate that the proposed method performs better in subjective and objective assessments than a few existing typical fusion techniques in the literature and obtains better fusion performance．

image processing;local nonsubsampled shearlet transformation;shift-invariant;pulse coupled neural networks;linking strength

TP391．4

A

10．3788/YJYXS20153004．0701

陳廣秋(1977－)，男，吉林九臺(tái)人，博士研究生，研究方向?yàn)閳D像(序列)配準(zhǔn)與融合。E-mail:guangqiu_chen@ 126．com

才華(1977－)，男，吉林長(zhǎng)春人，博士，副教授，研究方向?yàn)閳D像處理與機(jī)器視覺。

1007-2780(2015)04-0701-12

2014-07-22;

2014-10-09．

吉林省科技發(fā)展計(jì)劃(No．20130101179JC);吉林省公共計(jì)算平臺(tái)資助

*通信聯(lián)系人，E-mail:caihua@cust．edu．cn