宋 斌，吳樂華，王 開，郭輝，岳 鑫

(重慶通信學(xué)院，重慶 400035)

?

一種新的基于壓縮感知的多焦點(diǎn)圖象融合方法*

宋 斌，吳樂華，王 開，郭輝，岳 鑫

(重慶通信學(xué)院，重慶 400035)

提出一種基于壓縮感知和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合算法，包括三部分：圖像傅里葉變換稀疏表示、測量融合和圖像重構(gòu)。首先，將雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(Dual-PCNN)模型應(yīng)用到整個(gè)算法當(dāng)中；其次，針對新的融合框架及傅里葉變換的系數(shù)特點(diǎn)，提出雙星型采樣下基于測量值標(biāo)準(zhǔn)差的加權(quán)融合方法；最后，通過最小全變分算法重構(gòu)圖像。實(shí)驗(yàn)仿真結(jié)果證明該方法優(yōu)于其他基于傅立葉變換的方法。

壓縮感知；圖像融合；雙通道脈沖神經(jīng)網(wǎng)絡(luò)；標(biāo)準(zhǔn)差

0 引 言

圖像融合就是通過某種算法將不同傳感器獲取的同一個(gè)場景的多個(gè)成像信息融合為一幅新圖像，融合后的圖像具有比源圖像更豐富、更精確的信息，更適合人類視覺及計(jì)算機(jī)檢測、分類、識別、目標(biāo)定位、情景感知等處理[1]。多焦點(diǎn)圖像融合作為圖像融合的一個(gè)重要分支，它可將多幅已經(jīng)配準(zhǔn)的、成像條件相同的同一場景的不同聚焦圖像，融合成一幅更加清晰的圖像。傳統(tǒng)的圖像融合算法主要是基于多尺度變換，如金字塔融合、離散小波變換融合等[2-4]。近幾年，Johnson和Padgett[5]發(fā)現(xiàn)脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network, PCNN)可以有效運(yùn)用于圖像融合領(lǐng)域[6-8]。但是以上這些傳統(tǒng)圖像融合方法主要處理是其變換域數(shù)據(jù)或原始數(shù)據(jù)，要對每一個(gè)數(shù)據(jù)進(jìn)行計(jì)算，需要得到原始圖像的先驗(yàn)信息、較大的存儲空間以及較高的計(jì)算復(fù)雜度。壓縮感知(Compressive Sensing ,CS)理論表明，若信號是稀疏或可壓縮的，則可用少量的非自適應(yīng)線性測量值即可精確重構(gòu)原始信號[9]。在圖像融合處理中，CS的優(yōu)勢在于能有效減少存儲空間和計(jì)算成本，且可不用獲取被觀察信號的任何先驗(yàn)信息。

本文結(jié)合PCNN圖像融合算法及CS理論的特點(diǎn)，為了盡可能多的獲取圖像的細(xì)節(jié)信息提出一種新的基于壓縮感知的圖像融合算法，首先將雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(Dual-channel Pulse Coupled Neural Network, Dual-PCNN)模型作為一個(gè)重要組成部分應(yīng)用到整個(gè)融合算法當(dāng)中，并結(jié)合傅立葉稀疏變換的系數(shù)特點(diǎn)，采用雙星型采樣下基于測量值標(biāo)準(zhǔn)差(Standard Deviation,SD)的加權(quán)融合方法，實(shí)驗(yàn)證明該方法能夠有效進(jìn)行圖像融合，并獲得較好的融合質(zhì)量。

1 壓縮感知基本原理

設(shè)一個(gè)實(shí)值、有限長的一維離散信號x，可視為x{n}∈RN中的一個(gè)N×1列向量(n=1, 2, …,N)。若信號x可表示為：

x=Ψα

(1)

其中，Ψ是N×N基向量矩陣，若α只包含K個(gè)非零向量，則稱x是K稀疏[9]。

通過y=Φx得到壓縮測量值，其中y∈RM，Φ是M×N測量矩陣，可得：

y=ΦΨα=Θα

(2)

雖然從M

2 一種新性的基于壓縮感知的圖像融合

本文的圖像融合框架如圖1所示，為了從原圖像中獲得更加豐富的細(xì)節(jié)信息，將Dual-PCNN模型有效應(yīng)用到整個(gè)融合框架中。其中，x1、x2是原圖像A、B經(jīng)過傅里葉變換后的稀疏信號，x3是原圖像A、B在Dual-PCNN模型作用下再經(jīng)過傅里葉變換后的稀疏信號；y1、y2、y3分別為稀疏信號x1、x2、x3經(jīng)過同一測量矩陣Φ測量后的值，使用基于SD的加權(quán)平均融合規(guī)則對y1、y2、y3進(jìn)行融合得到y(tǒng)，然后更適合二維圖像重構(gòu)的全最小全變分(Total Variation, TV)法[10-11]，重構(gòu)得到融合后的圖像。

圖1 圖像融合框架

2.1 Dual-PCNN模型

Dual-PCNN是PCNN的改進(jìn)模型，克服了單通道PCNN的不足之處，能有效實(shí)現(xiàn)對多幅圖像的同時(shí)融合[12]。Dual-PCNN模型如圖2所示，主要由三部分組成：信息采集、信息融合和脈沖發(fā)生器。信息采集部份能夠接收來自神經(jīng)元的兩個(gè)以上的信息觸發(fā)；信息融合部分主要進(jìn)行待融合圖像信息的融合；脈沖發(fā)生器則負(fù)責(zé)產(chǎn)生對信息采集單元的觸發(fā)脈沖。

若把圖像中某像素的坐標(biāo)記為(i,j)，則Dual-PCNN模型可詳細(xì)描述如下：

(3)

(4)

(5)

(6)

Ti,j[n]=exp(-αT)Ti,j[n-1]+VTYi,j[n]

(7)

圖2 Dual-PCNN模型

本文通過實(shí)驗(yàn)選取參數(shù)σ=1，Ti,j為與圖像輸入大小相同，元素大小為500的單位矩陣，αT、VT分別選擇0.012、3 000，迭代次數(shù)n為10。

2.2 采樣模式

采樣矩陣的設(shè)計(jì)將直接影響圖像重構(gòu)的質(zhì)量，由于圖像經(jīng)過FFT變換后，其低頻信息集中在頻率坐標(biāo)系的中間，而圖像的信息主要體現(xiàn)在低頻信息中。本文針對圖像傅立葉變換系數(shù)的這一特點(diǎn)采用文獻(xiàn)[13]中提出在低頻區(qū)域得到更高密度采樣的雙星采樣模式，如圖3所示。同時(shí)文獻(xiàn)[13]證明采用雙星采樣模式圖像的重構(gòu)質(zhì)量更好，且計(jì)算時(shí)間更少。

圖3 雙星采樣矩陣

2.3 基于測量值標(biāo)準(zhǔn)差的加權(quán)融合

文獻(xiàn)[13]基于CS的融合算法是對測量值取絕對值最大，文獻(xiàn)[14]是對測量值取算術(shù)平均。針對上述融合算法，本文結(jié)合新的CS融合框架提出基于測量值標(biāo)準(zhǔn)差的加權(quán)融合方法，該算法大大改進(jìn)了文獻(xiàn)[13]和文獻(xiàn)[14]的融合效果。

具體實(shí)現(xiàn)流程是：輸入：Image A ,Image B;輸出：融合后圖像D。

(1)將圖像A、B和經(jīng)過Dual-PCNN的信號C進(jìn)行傅里葉變換并分別向量化：

A=(a1,a2,…,aN)T

(8)

B=(b1,b2,…,bN)T

(9)

C=(c1,c2,…,cN)T

(10)

(2)對傅里葉變換后的系數(shù)通過雙星型采樣模式構(gòu)造M×N的測量矩陣Φ；

(3)計(jì)算A、B、C的測量值：

X=(x1,x2,…,xM)T=ΦA(chǔ)

(11)

Y=(y1,y2,…,yM)T=ΦB

(12)

Z=(z1,z2,…,zM)T=ΦC

(13)

(4)計(jì)算標(biāo)準(zhǔn)差sdx、sdy和sdz；

(5)根據(jù)標(biāo)準(zhǔn)差計(jì)算相應(yīng)的加權(quán)因子：

ω1=sdx/(sdx+sdy+sdz)

(14)

ω2=sdy/(sdx+sdy+sdz)

(15)

ω3=sdz/(sdx+sdy+sdz)

(16)

(6)計(jì)算融合后的測量值F=(f1,f2,…,fM)T：

F=ω1×X+ω2×Y+ω3×Z

(17)

(7)利用F通過最小全變分方法重構(gòu)融合圖像F′：

MinTV(F′)Subject to‖ΦF′-F‖2≤ε

(18)

( 8)將F′進(jìn)行傅里葉逆變換得到融合后圖像D。

3 仿真結(jié)果及分析

圖4 clock A、clock B及Dual-PCNN融合圖

圖5 不同融合方法的融合圖像

從主觀視覺效果上評價(jià)，CS-max融合方法得到的融合圖像有明顯的條紋現(xiàn)象，CS-mean及CS-PCNN-SD融合方法均能夠在有效抑制條紋現(xiàn)像，但是CS-PCNN-SD融合方法相對于CS-mean融合方法得到的融合圖像亮度分布更加均勻，顯示更加理想的視覺圖像。

在客觀評價(jià)方面，本文從互信息(mutual information, MI)[15]、相關(guān)系數(shù)(correlation coefficient, CC)[16]以及結(jié)構(gòu)相似度(structural similarity, SSIM)[17]、熵(Information Entropy，IE)四個(gè)客觀評價(jià)參數(shù)進(jìn)行評價(jià)?；バ畔⒃酱?，說明從原圖像中獲得的信息越多，圖像融合效果越好；相關(guān)系數(shù)越接近1，說明圖像融合越好；結(jié)構(gòu)相似度和熵越大，說明圖像的融合效果越好。四個(gè)評價(jià)參數(shù)的統(tǒng)計(jì)結(jié)果如表1所示。

表1 各融合方案的評價(jià)參數(shù)統(tǒng)計(jì)

從表1對評價(jià)參數(shù)的統(tǒng)計(jì)可知，三種融合方案的相關(guān)系數(shù)(CC)都非常接近1。在信息熵方面，由于CS-max融合算法帶入較多噪聲值較大，對于MI、SSIM、IE三個(gè)客觀評價(jià)標(biāo)準(zhǔn)而言，新的融合框架加入了Dual-PCNN模型，并結(jié)合新的融合框架特點(diǎn)，采用基于測量值標(biāo)準(zhǔn)差的加權(quán)融合方法，極大豐富了采樣值的信息來源，CS-PCNN-SD融合算法所得值明顯大于CS-max融合算法和CS-mean融合算法所得值，因此通過對客觀評價(jià)標(biāo)準(zhǔn)參數(shù)的統(tǒng)計(jì)分析可知，本文的融合算法具有明顯優(yōu)勢，并能得到效果更佳的融合圖像。

4 結(jié)束語

本文研究了人工智能神經(jīng)網(wǎng)絡(luò)Dual-PCNN模型與壓縮感知理論的結(jié)合，并成功應(yīng)用到多焦點(diǎn)圖像融合中，有效證明了人工智能神經(jīng)網(wǎng)絡(luò)與壓縮感知理論相結(jié)合的可行性。通過與現(xiàn)有的FFT稀疏表示下壓縮感知圖像融合算法實(shí)驗(yàn)仿真及結(jié)果統(tǒng)計(jì)分析對比，證明本文的融合算法實(shí)現(xiàn)圖像融合效果更好，同時(shí)也為進(jìn)一步研究基于CS的圖像融合提供了參考。由于人工智能神經(jīng)網(wǎng)絡(luò)參數(shù)較多，下一步將重點(diǎn)研究參數(shù)選擇對整個(gè)算法的影響。

[1] WANG Z, ZOU D,Armenakis C, et al. A comparative Analysis of Image Fusion Methods[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2005, 43(6): 1391-1402.

[2] 李小娟, 趙巍. 一種基于多尺度邊緣的圖像融合算法[J]. 北京航空航天大學(xué)學(xué)報(bào),2007,33(2):229-232. LI Xiao-juan, ZHAO Wei. A Novel Image Algorithm based on Multiscale Edge Fusion[J]. Journal of Beihang University, 2007, 33 (2): 229-232.

[3] 方輝，尹忠科.一種基于NSCT的區(qū)域能量圖像融合算法[J].通信技術(shù)，2010, 43 (03):137-141. FANG Hui, YIN Zhong-ke. A Fusion Algorithm of Regional Energy Image based on NSCT[J]. Communications Technology, 2010, 43 (03): 137-141.

[4] 李國新. 基于Ridgelet變換的圖像融合[J]. 通信技術(shù), 2009, 42 (06): 144-146. LIGuo-xin. The Image Fusion based on Ridgelet Transform.[J]. Communication Technology,2009, 42 (06): 144-146.

[5] Johnson J L, Padgett M L. PCNN Models andApplications[J]. IEEE Transactions on Neural Networks/a publication of the IEEE Neural Networks Council, 1998, 10(3): 480-498.

[6] CHAI Y, LI H F, QU J F. Image Fusion Scheme Using a Novel Dual-Channel PCNN in Lifting Stationary WaveletDomain[J]. Optics Communications, 2010, 283(19): 3591-3602.

[7] WANG Z, MA Y, GU J. Multi-Focus Image Fusion UsingPCNN[J]. Pattern Recognition, 2010, 43(6):2003-2016.

[8] KONG WW, LEI Y J, LEI Y, et al. Image Fusion Technique based on Non-Subsampled Contourlet Transform and Adaptive Unit-Fast-Linking Pulse-Coupled Neural Network[J]. Image Processing, IET, 2011,5(2):113-121.

[9] Donoho D L. Compressed Sensing [J]. Information Theory, IEEE Transactions on, 2006, 52(4): 1289-1306.

[10] Candès E J, Romberg J, TAO T. Robust Uncertainty Principles: Exact Signal Reconstruction from Highly Incomplete Frequency Information[J]. Information Theory, IEEE Transactions on, 2006, 52(2): 489-509.

[11] Schmidt M, Fung G, Rosales R. Fast Optimization Methods for l1 Regularization: A Comparative Study and Two NewApproaches[M]//Machine Learning: ECML 2007. Springer Berlin Heidelberg, 2007:286-297.

[12] WANG Z, MA Y. Medical Image Fusion Using m-PCNN[J]. Information Fusion, 2008, 9(2): 176-185.

[13] Wan T, Qin Z. An Application of Compressive Sensing for ImageFusion[J]. International Journal of Computer Mathematics, 2011, 88(18): 3915-3930.

[14] LI X, QIN S Y. Efficient Fusion for Infrared and Visible Images based on Compressive Sensing Principle [J]. IET Image Process, 2011, 5 (02): 141-147.

[15] Xydeas C S, Petrovic V. Objective Image Fusion Performance Measure[J]. Electronics Letters, 2000, 36(4): 308-309.

[16] Yang S,Gao J. Seismic Quality Factors Estimation from Spectral Correlation[J]. Geoscience and Remote Sensing Letters, IEEE, 2008, 5(4): 740-744.

[17] WANG Z,Bovik A C, Sheikh H R, et al. Image Quality Assessment: from Error Visibility to Structural Similarity[J]. Image Processing, IEEE Transactions on, 2004, 13(4): 600-612.

A Novel Multi-focus Image Fusion Algorithm based on Compressive Sensing

SONG Bin, WU Le-hua, WANG Kai, GUO Hui, YUE Xing

(Chongqing Communication Institute, Chongqing 400035, China)

A novel multi-focus image fusion algorithm based on compressive sensing and the pulse-coupled neural network is proposed, this algorithm consists of three parts: image Fourier transform sparse representation, measurement fusion and image reconstruction. Firstly, the Dual-PCNN (Dual-Channel Pulse Coupled Neural Network) model is applied in the whole algorithm. Then, aiming at coefficient characteristics ofthe novel fusion frame and the Fourier transform, weight fusion method based on standard deviation of the measured values under the double star sample is proposed. Finally, the fused image is reconstructed by Total Variation algorithm. Experiment simulation results indicate that the proposed algorithm is superior to other existing Fourier transform algorithms.

compressive sensing; image fusion; Dual-PCNN; standard deviation

10.3969/j.issn.1002-0802.2015.05.009

2015-01-27；

2015-04-02 Received date:2015-01-27；Revised date：2015-04-02

重慶市自然科學(xué)基金(No.cstc2013jcyjA40045);重慶市自然科學(xué)基金(No.KJTD201343)Foundation Item:Chongqing Natural Science Foundation(No.cstc2013jcyjA40045)；Chongqing Natural Science Foundation(No.KJTD201343)

TP391

A

1002-0802(2015)05-0551-04

宋 斌(1984—)，男，碩士研究生，主要研究方向?yàn)閳D像處理；

吳樂華(1965—)，女，碩士，教授，主要研究方向?yàn)閳D像處理；

王 開(1983—)，男，碩士，講師，主要研究方向?yàn)樾盘柼幚恚?/p>

郭 輝(1982—)，男，碩士研究生，主要研究方向?yàn)樾畔踩?/p>

岳 鑫(1990—)，男，碩士研究生，主要研究方向?yàn)樾畔踩?/p>