宋 斌，吳樂(lè)華，唐曉杰，文玉強(qiáng)，牟宇飛

采用DCT稀疏表示與Dual-PCNN的圖像融合算法

宋 斌，吳樂(lè)華，唐曉杰，文玉強(qiáng)，牟宇飛

（重慶通信學(xué)院，重慶 400035）

針對(duì)已有圖像融合方法會(huì)導(dǎo)致融合圖像亮度不均勻，與原圖像對(duì)比度不一致，不適合人眼視覺(jué)效果的缺點(diǎn)，提出將DCT稀疏表示與雙通脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的壓縮感知域圖像融合算法。首先結(jié)合圖像DCT稀疏表示的特點(diǎn)，設(shè)計(jì)射線采樣矩陣；再對(duì)測(cè)量值采用基于測(cè)量值的信息熵加權(quán)平均融合；最后經(jīng)過(guò)全變分優(yōu)化算法對(duì)融合測(cè)量值重構(gòu)得到融合圖像。通過(guò)對(duì)多組不同類(lèi)型傳感器所獲圖像融合實(shí)驗(yàn)的主觀視覺(jué)分析和客觀評(píng)價(jià)表明，該算法所得的融合圖像能從原始圖像中獲取更多有用信息，更好地保持原圖像的邊緣信息，從而獲得更好的視覺(jué)效果。

壓縮感知；雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)；信息熵；全變分優(yōu)化算法

0 引言

圖像融合技術(shù)是在不引入額外信息的前提下，將包含在多幅源圖像中的重要信息融合起來(lái)，得到一幅包含信息更豐富的圖像的技術(shù)[1]，它在計(jì)算機(jī)視覺(jué)、遙感、醫(yī)學(xué)以及軍事領(lǐng)域都有著廣泛的應(yīng)用前景。伴隨著多媒體通信技術(shù)的發(fā)展及各種類(lèi)型傳感器的使用，圖像融合所需處理的數(shù)據(jù)量越來(lái)越大，對(duì)傳輸硬件提出了更高的要求，同時(shí)也給圖像融合技術(shù)本身的發(fā)展帶來(lái)不利影響。2006年，E. Candse，D. L. Donoho以及T. Tao等人提出了一種新的信息獲取指導(dǎo)理論——壓縮感知理論（Compressed Sensing，CS）[2-4]，該理論表明：若信號(hào)在某個(gè)變換域是稀疏的或可壓縮的，就可以利用與變換矩陣非相干的測(cè)量矩陣將變換系數(shù)投影為低維觀測(cè)向量，這種投影保持了重建信號(hào)所需的信息，通過(guò)進(jìn)一步求解稀疏最優(yōu)化問(wèn)題就能夠從低維觀測(cè)向量精確地或高概率精確地重建原始高維信號(hào)。CS理論提出以后就被迅速應(yīng)用于圖像融合領(lǐng)域，有效地解決了多傳感器所獲取的大量圖像信息，給存儲(chǔ)和傳輸硬件設(shè)備所帶來(lái)壓力的問(wèn)題，同時(shí)也讓圖像融合算法能使用盡可能少的數(shù)據(jù)完成圖像融合，大大提高融合算法的效率。

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Networks，PCNN）是Eckhorn等人通過(guò)模擬貓的大腦視覺(jué)皮層中同步脈沖現(xiàn)象提出的模型[5]，該神經(jīng)網(wǎng)絡(luò)具有全局耦合性和脈沖同步性的特征。Broussard等人[6]首先將PCNN應(yīng)用于圖像融合中，證實(shí)了PCNN無(wú)需經(jīng)過(guò)訓(xùn)練，就能夠從復(fù)雜的背景下提取有效信息。文獻(xiàn)[7]針對(duì)圖像DCT的頻譜特性，提出了一種放射狀的采樣模式，通過(guò)新采樣模式構(gòu)造測(cè)量矩陣，并在此基礎(chǔ)上提出了一種基于DCT稀疏的壓縮感知域圖像融合方法，該方法將得到的測(cè)量值進(jìn)行小波變換，通過(guò)加權(quán)平均計(jì)算得到近似系數(shù)和細(xì)節(jié)系數(shù)，再經(jīng)過(guò)IDWT變換得到融合測(cè)量，最后采用梯度投影稀疏算法（Gradient Projection For Sparse, GPSR）重構(gòu)得到融合圖像，該算法取得一定的效果，但是算法復(fù)雜度過(guò)高，而且對(duì)原圖像的信息獲取不夠充分。

融合規(guī)則的選取同樣嚴(yán)重影響融合效果。文獻(xiàn)[8]采用基于測(cè)量值最大的融合規(guī)則，該方法在融合過(guò)程中帶入較多的噪聲，重構(gòu)后的圖像出現(xiàn)明顯的條紋現(xiàn)象；文獻(xiàn)[9]采用基于測(cè)量值平均的融合規(guī)則，文獻(xiàn)[10]采用基于測(cè)量值標(biāo)準(zhǔn)差的融合規(guī)則，這些融合規(guī)則都沒(méi)有充分考慮CS測(cè)量值的數(shù)據(jù)特點(diǎn)。

綜合CS理論和PCNN的特點(diǎn)，提出一種基于CS理論和Dual-PCNN的圖像融合算法。采用DCT變換對(duì)多傳感器圖像進(jìn)行稀疏表示，并針對(duì)DCT變換后的數(shù)據(jù)特點(diǎn)，設(shè)計(jì)了射線（Radial）采樣矩陣，結(jié)合測(cè)量值的特點(diǎn)提出基于測(cè)量值信息熵（Information Entropy，IE）的加權(quán)融合規(guī)則，最后通過(guò)更加適合二維圖像重構(gòu)的全變分優(yōu)化（Total Variation，TV）算法[11]實(shí)現(xiàn)對(duì)融合后圖像的重構(gòu)。仿真實(shí)驗(yàn)結(jié)果的主觀分析和客觀評(píng)價(jià)表明：本文的融合方法能夠從原圖像中獲取更多信息，使融合圖像更加適合人眼的觀察。

1 基礎(chǔ)知識(shí)

1.1 壓縮感知理論

設(shè)一個(gè)實(shí)值、有限長(zhǎng)的一維離散信號(hào)，可視為()∈R中的一個(gè)×1列向量（＝1, 2, …,）。假設(shè)信號(hào)可表示為：

＝(1)

式中：是×基向量矩陣。若只包含個(gè)非零向量，則稱(chēng)是稀疏[4]。通過(guò)＝得到壓縮測(cè)量值，其中∈R，是×測(cè)量矩陣，可得：

＝＝Q(2)

雖然從＜的測(cè)量值中恢復(fù)是一個(gè)病態(tài)問(wèn)題，但是若滿(mǎn)足限制性等距特性，則可以通過(guò)優(yōu)化過(guò)程精確恢復(fù)稀疏信號(hào)。

1.2 Dual-PCNN模型

雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)（Dual-channel Pulse Coupled Neural Network, Dual-PCNN）模型是PCNN的一種改進(jìn)模型，克服了單通道PCNN模型只能對(duì)單張圖像進(jìn)行特征提取的不足，能有效實(shí)現(xiàn)對(duì)多幅圖像的同時(shí)融合[13]。

若把圖像中某像素的坐標(biāo)記為(,)，則Dual-PCNN模型可作如下描述：

式中：H,j（＝1, 2）代表從外部輸入的對(duì)稱(chēng)神經(jīng)元通道；(×)和(×)代表從周?chē)窠?jīng)元到當(dāng)前神經(jīng)元的導(dǎo)入函數(shù)；U,j代表內(nèi)部狀態(tài)神經(jīng)元；∈[0, 1]是權(quán)重參數(shù)，用來(lái)表示第個(gè)通道的重要性，通常情況下取1＝2＝0.5；是一個(gè)水平因子；T,j是決定觸發(fā)的動(dòng)態(tài)閾值；和V分別為時(shí)間常數(shù)及歸一化常數(shù)；表示迭代的次數(shù)。

Dual-PCNN模型如圖1所示，主要由3個(gè)部分組成：信息采集、信息融合和脈沖發(fā)生器。信息采集部分能夠接收來(lái)自神經(jīng)元的2個(gè)以上的信息觸發(fā)，信息融合部分主要進(jìn)行待融合圖像信息的融合，脈沖發(fā)生器則負(fù)責(zé)產(chǎn)生對(duì)信息采集單元的觸發(fā)脈沖。

2 采用DCT稀疏表示和Dual-PCNN的CS圖像融合

2.1 DCT稀疏和雙射線采樣矩陣

采樣矩陣的設(shè)計(jì)對(duì)圖像重構(gòu)的質(zhì)量十分重要，由于多傳感器圖像經(jīng)過(guò)DCT稀疏變換后，其信息主要集中在左上角部位，如圖2(b)所示。本文針對(duì)多傳感器圖像經(jīng)過(guò)DCT稀疏變換后的這一特點(diǎn)設(shè)計(jì)Radial采樣矩陣，該矩陣明亮的地方為采樣部分，數(shù)值為1；黑暗的地方為舍棄部分，數(shù)值為0。該采樣矩陣與隨機(jī)采樣矩陣相比，在采樣獲取相同數(shù)據(jù)量的同時(shí)，能夠獲得更多有用信息。

圖1 Dual-PCNN模型

圖2 原圖、DCT稀疏表示及Radial采樣矩陣圖

2.2 基于測(cè)量值IE加權(quán)融合規(guī)則

基于測(cè)量值的信息熵加權(quán)融合，是通過(guò)計(jì)算測(cè)量值的信息熵來(lái)確定融合的權(quán)重系數(shù)。其數(shù)學(xué)表達(dá)式如下：

據(jù)此，測(cè)量值的融合權(quán)重系數(shù)可以用下列數(shù)學(xué)表達(dá)式：

這樣構(gòu)造融合權(quán)重系數(shù)，可以充分發(fā)揮各個(gè)測(cè)量值的信息熵以及互信息熵，在融合權(quán)重中的作用。

2.3 全變分優(yōu)化（Total Variation, TV）算法

重構(gòu)算法同樣是CS理論的核心之一，即從維測(cè)量值恢復(fù)維原始信號(hào)的過(guò)程，

其中遠(yuǎn)大于。目前，常用的重構(gòu)算法主要有匹配追蹤（matching pursuit, MP）系列算法和最小L1范數(shù)法等。MP系列算法包括正則正交匹配算法、正交匹配算法、壓縮采樣匹配追蹤算法等，該系列算法對(duì)于小尺度信號(hào)重構(gòu)較為理想，但對(duì)于大信號(hào)特別是有噪聲存在的情況下，重構(gòu)結(jié)果不夠準(zhǔn)確，而且算法本身的魯棒性不強(qiáng)[14-15]；最小L1范數(shù)法比較適合一維信號(hào)的重構(gòu)[16]。Candes E、Tao T和Schmidt M等人從大量的自然圖像離散梯度都是稀疏的這一事實(shí)出發(fā)，總結(jié)出如下更加適合二維圖像重構(gòu)的TV算法[11,17]，其算法模型為：

MinTV()

Subject to||－||≤(14)

式中：函數(shù)TV()為圖像離散梯度的和，該方法對(duì)二維圖像的重構(gòu)質(zhì)量更高，算法本身的魯棒性更好。

2.4 算法實(shí)現(xiàn)

本文具體算法的實(shí)現(xiàn)主要分為以下幾步：

Step1：將原圖像、及經(jīng)過(guò)Dual-PCNN的信號(hào)進(jìn)行DCT稀疏變換

＝(1,2, …,a)(15)

＝(1,2, …,b)(16)

＝(1,2, …,c)(17)

Step2：對(duì)經(jīng)過(guò)DCT變換后的系數(shù)采用雙射線采樣矩陣計(jì)算、、的測(cè)量值

＝(1,2, …,x)＝(18)

＝(1,2, …,y)＝(19)

＝(1,2, …,z)＝(20)

Step3：計(jì)算融合后的測(cè)量值＝(1,2, …,f)

＝1×＋2×＋3×(21)

Step4：利用通過(guò)最小全變分方法重構(gòu)融合圖像￠

MinTV(￠)

Subject to||￠－||2≤(22)

3 仿真實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文算法的有效性，采用3組不同類(lèi)型傳感器獲取的已經(jīng)配準(zhǔn)好的大小為256×256的圖像進(jìn)行融合實(shí)驗(yàn)，并與基于小波變換的融合方法（Wavelet），文獻(xiàn)[8]的融合方法（CS-Max），文獻(xiàn)[9]的融合方法（CS-Mean）以及文獻(xiàn)[10]的融合方法（CS-SD）進(jìn)行對(duì)比。為了方便表述，將本文方法記為CS-PCNN-IE。試驗(yàn)中，Dual-PCNN模型的參數(shù)選取如下：＝1，T,j為與輸入圖像大小相同的單位矩陣，、V分別取為0.012與3000，迭代次數(shù)為10，采樣率均采用30%。第一組實(shí)驗(yàn)針對(duì)可見(jiàn)光圖像與紅外圖像進(jìn)行融合，結(jié)果如圖3所示；第二組實(shí)驗(yàn)針對(duì)計(jì)算機(jī)X線斷層掃描（Computed Tomography，CT）圖像和磁共振（Magnetic Resonance Imaging，MRI）圖像進(jìn)行融合，結(jié)果如圖4所示；第三組實(shí)驗(yàn)針對(duì)多焦點(diǎn)圖像clock A、clock B進(jìn)行融合，結(jié)果如圖5所示。

由圖3～圖5可以看出，在3組實(shí)驗(yàn)所得的融合圖像中，用Wavelet方法融合后的圖像輪廓不是很清晰，特別是在對(duì)醫(yī)學(xué)圖像及多焦點(diǎn)圖像進(jìn)行融合時(shí)，存在明顯的邊緣模糊現(xiàn)象；CS-Max算法融合后所得圖像有明顯的條紋現(xiàn)象，尤其是對(duì)醫(yī)學(xué)圖像進(jìn)行融合后圖像有明顯的白色陰影，這是由于采用最大值融合規(guī)則時(shí)帶入的噪聲較多引起的；CS-Mean算法和CS-SD算法所得的融合圖像質(zhì)量差別不大，均有效提高了融合圖像的清晰度，并有效抑制了噪聲，但與原圖像相比，融合圖像明顯太亮；與CS-Mean算法、CS-SD算法相比，本文提出的CS-PCNN-IE算法所得融合圖像的亮度分布更加均勻，更加適合人眼的視覺(jué)感受。

表1為信息熵（Information Entropy，IE）、互信息（Mutual Information，MI）[17]以及相關(guān)系數(shù)（Correlation Coefficient，CC）[18]3個(gè)客觀評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果。其中，熵越大說(shuō)明融合圖像所含的信息量越多，圖像的融合效果越好；互信息越大說(shuō)明從原圖像中獲得的信息越多，圖像融合效果越好；相關(guān)系數(shù)越接近1說(shuō)明圖像融合越好。

圖4 第二組圖像仿真結(jié)果

圖5 第三組圖像仿真結(jié)果

從表1的統(tǒng)計(jì)數(shù)據(jù)可知，CS-Max融合算法由于在融合過(guò)程中帶入較多噪聲，所以IE值在每組實(shí)驗(yàn)中都是最大，排除CS-Max融合算法，則實(shí)驗(yàn)結(jié)果中IE最大值第一組和第三組是CS-Mean融合算法；第二組是CS-SD融合算法。實(shí)驗(yàn)結(jié)果中MI最大值第一組和第三組是本文算法CS-PCNN-IE，第二組是CS-SD融合算法。實(shí)驗(yàn)結(jié)果中CC最大值第一組是CS-Mean融合算法，第二組是CS-SD融合算法，第三組是本文算法CS-PCNN-IE。主客觀評(píng)價(jià)表明：本文算法結(jié)合CS與Dual-PCNN模型，能夠有效地從原圖像中獲得更多的信息，特別是在對(duì)多焦點(diǎn)的圖像進(jìn)行融合時(shí)，在很好保持圖像邊緣信息的同時(shí)大大豐富了融合后圖像所獲得的信息。

表1 各融合方案的評(píng)價(jià)參數(shù)統(tǒng)計(jì)

4 結(jié)束語(yǔ)

本文提出了一種結(jié)合Dual-PCNN模型與CS理論的不同傳感器獲取圖像的融合方法，該方法針對(duì)DCT稀疏表示的系數(shù)特點(diǎn)，采用一種在射線采樣模式下基于測(cè)量值信息熵的測(cè)量值加權(quán)融合方法，通過(guò)最小全變分（TV）算法實(shí)現(xiàn)融合后測(cè)量值的圖像重構(gòu)。仿真實(shí)驗(yàn)表明：本文提出的融合算法能夠有效實(shí)現(xiàn)圖像融合，融合后的圖像更加適合人眼的觀察，為進(jìn)一步研究CS域的圖像融合方法提供了參考。

[1] Parmar K, Kher R. A. Comparative analysis of multimodality image fusion methods[C]//(),, 2012: 93-97.

[2] E. Candes, T. Tao. Near optimal signal recovery from random projections：universal encoding strategies[J]., 2006, 52(12): 5406-5425.

[3] E. Candes. Compressive sampling[C]//P, 2006: 1433-1452.

[4] D. L. Donoho. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[5] Eckhorn R., Reiboeck H. J., Arndt M., et al. Feature linking via synchornization among distributed assemblies:simulation of results from cat cortex[J]., 1990(2): 293-307.

[6] Broussard R. P., Pogers S. K., Oxley M. E., et al. Physiologically motivated image fusion for object detection using apulsecoupled network[J]., 1999, 10(3): 554-563.

[7] Juanjuan Han, Otmar Loffeld, Klaus Hartmann, et al. Multi image fusion based on compressive sensing[C]//(),, 2010: 1463-1469.

[8] T. Wan, Zengchang Qin. An application of compressive sensing for image fusion[C]//(2010), 2010: 3-9.

[9] X. Li, S. Y. Qin. Efficient fusion for infrared and visible images based on compressive sensing principle[J]., 2011, 5(2): 141-147.

[10] Xiaoyan Luo, Jun Zhang, Jingyu Yang, et al. Image fusion in compressed sensing[C]//(’07), 2009: 2205-2208.

[11] Schmidt M, Fung G, Rosales R. Fast optimization methods for Llregularization[C]//(), 2007: 286-297.

[12] Wang Z. B, Ma Y. D. Medical image fusion using m-PCNN[J]., 2008, 9(2): 176-185.

[13] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[14] Haupt J., Nowak R. Signal reconstruction from noisy random projections[J]., 2006, 52(9): 4036-4048.

[15] E Candes. The restricted isometry property and its implications for compressed sensing[C]//, 2008: 589-592.

[16] Candes E , Romberg J，Tao T. Robust uncertainty principles; exact signal reconstruction from highly incomplete frequency information[J]., 2006, 52(2): 489-509.

[17] Xydeas C, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[18] Yang Senlin, GaoJinghuai. Seismicquality factors estimation from spectral correlation[J]., 2008, 5(4): 740-744.

An Image Fusion Algorithm Based on DCT Sparse Representation and Dual-PCNN

SONG Bin，WU Le-hua，TANG Xiao-jie，WEN Yu-qiang，MOU Yu-fei

(,400035,)

The existing image fusion method results in uneven image brightness, not agreeing with the original image contrast, not suitable for the human eye visual defects. To solve this problem, a new algorithm based on compressive sensing, which combined the DCT sparse representation with the Dual-channel pulse coupled neural network mode, is offered in this paper. First, for the character of the DCT sparse representation, Radial Sampling Matrix is designed. Second, the measurements based on the weighted average is fused with the information entropy of measurements. Finally, the total variation algorithm is used tore construct the fusion image. Experiments have been done to fuse multiple sets of different types of sensor image. Both subjective visual analysis and objective evaluation criteria show that the proposed algorithm can obtain more useful information from the original image, keep the edge information of original image, and get a better visual effect.

compressive sensing，dual-channel pulse coupled neural network，information entropy，the total variation algorithm

TP391

A

1001-8891(2015)04-0283-06

2014-12-23；

2015-02-05.

宋斌（1984-），男，湖北通山人，碩士研究生，主要研究方向?yàn)閳D像處理。

重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目，編號(hào)：cstc2013jcyjA40045）；重慶市高校創(chuàng)新團(tuán)隊(duì)建設(shè)計(jì)劃項(xiàng)目，編號(hào)：KJTD201343。