劉 斌，田中佳

(燕山大學(xué)電氣工程學(xué)院，河北秦皇島066004)

1 引言

傳統(tǒng)的圖像融合算法對源圖像直接處理，需要較大存儲空間，這對于圖像傳感器規(guī)模擴(kuò)大和實(shí)時(shí)性要求提高是一個(gè)巨大的挑戰(zhàn)。具有低采樣率、低能耗、低計(jì)算復(fù)雜度的壓縮感知理論(Compressive sensing，CS)［1］為圖像融合的研究提出了新思路。CS圖像融合，不需要獲得源圖像的全部像素信息，僅需在CS域?qū)D像的壓縮觀測值進(jìn)行融合計(jì)算，得到融合觀測值進(jìn)行重構(gòu)即可得到融合圖像。

選取待融合圖像之中絕對值較大的觀測值進(jìn)行融合的算法［2］取得了一定的成功。融合策略簡單，但是背景較復(fù)雜圖像融合結(jié)果存在大量圖像細(xì)節(jié)丟失，并伴有明顯的條紋出現(xiàn)。文獻(xiàn)［3］提出一種傅里葉稀疏基的星型采樣模式，融合策略使用手動調(diào)節(jié)加權(quán)參數(shù)取得較好的效果，但是權(quán)值手動調(diào)節(jié)操作繁瑣。Luo等人提出基于信息熵加權(quán)觀測值融合［4］，根據(jù)不同觀測值所占信息比例作為權(quán)值對信息重新分配的融合方法較好，但對觀測值中圖像結(jié)構(gòu)信息挖掘不充分影響融合效果?；贑S的圖像融合算法得到的觀測數(shù)據(jù)不能百分之百地獲得源圖像的全部像素信息，現(xiàn)有融合策略得到的融合結(jié)果出現(xiàn)圖像信息結(jié)構(gòu)改變或細(xì)節(jié)丟失，需要研究一種基于CS圖像融合盡可能保留完整圖像結(jié)構(gòu)信息和細(xì)節(jié)算法。

脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)作為一種模擬動物視覺神經(jīng)的新型神經(jīng)網(wǎng)絡(luò)，是應(yīng)用于圖像領(lǐng)域的一種全局算法，對圖像信息的處理原理更符合人類視覺神經(jīng)系統(tǒng)的生理學(xué)基礎(chǔ)，保留更多的細(xì)節(jié)信息［5］，提高目標(biāo)識別率［6－9］。為了充分利用CS理論和PCNN網(wǎng)絡(luò)的技術(shù)優(yōu)點(diǎn)，提高融合效率的同時(shí)獲得紋理細(xì)節(jié)更加豐富的圖像，本文提出了一種壓縮感知域基于改進(jìn)PCNN的圖像融合算法(簡稱CS－PCNN算法)。首先對源圖像進(jìn)行壓縮采樣得到對應(yīng)的壓縮觀測值，根據(jù)其物理意義建立改進(jìn)PCNN模型，即利用壓縮觀測值的物理意義對PCNN中連接系數(shù)、加權(quán)矩陣和特征參數(shù)進(jìn)行自適應(yīng)設(shè)定，并作為改進(jìn)PCNN神經(jīng)元輸入獲取點(diǎn)火映射圖作為融合算子對觀測值進(jìn)行融合，重構(gòu)后得到融合結(jié)果。實(shí)驗(yàn)證明本算法克服現(xiàn)有CS圖像融合中圖像細(xì)節(jié)丟失的缺陷，優(yōu)于現(xiàn)有CS圖像融合算法。

2 基于CS的圖像融合

在CS理論中，如果一個(gè)長度為N的一維信號x可以在一組稀疏基ψ下稀疏表示，則此信號可以采用一個(gè)滿足有限等距性準(zhǔn)則(Restricted isometry property，簡稱RIP)的測量矩陣Φ對信號進(jìn)行投影觀測［10］，即:

式中，Φ ∈ RM×N，M ≤ N，y ∈ RM×1

其中，矩陣Φ滿足約束等距性。根據(jù)等距性進(jìn)行如下推導(dǎo)，取T=N，c取信號的稀疏表示x=ψTf時(shí)，有:

基于CS的圖像融合的核心思想是在CS域?qū)τ^測值進(jìn)行融合，對融合得到的觀測值進(jìn)行重構(gòu)，已達(dá)到減小計(jì)算量的目的。重構(gòu)算法是從M維隨機(jī)測量值y中重構(gòu)出長度為N(NM)的稀疏信號x的過程。

3 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN網(wǎng)絡(luò)是由若干個(gè)神經(jīng)元互相連接所構(gòu)成的反饋型網(wǎng)絡(luò)。每個(gè)神經(jīng)元由三部分組成:接收部分、調(diào)制部分和脈沖產(chǎn)生部分。在原始神經(jīng)元網(wǎng)絡(luò)中，存在大量非線性和漏電容積分處理操作，在圖像處理實(shí)際過程中，通常使用圖1所示的簡化模型。

圖1 PCNN神經(jīng)元的簡化模型Fig.1 Simplied PCNN model

該模型的離散數(shù)學(xué)迭代方程如下:

內(nèi)部活動項(xiàng)的連接系數(shù)為β，神經(jīng)元強(qiáng)制激發(fā)的外部激勵(lì)為Iij，反饋輸入域中放大系數(shù)和衰減時(shí)間常數(shù)分別為VF和αL，動態(tài)門限的放大系數(shù)和衰減時(shí)間常數(shù)分別為VE和αE，權(quán)值矩陣Mijkl和Wijkl為別為反饋輸入域和耦合連接域的連接矩陣。傳統(tǒng)PCNN算法中，放大系數(shù)、衰減時(shí)間系數(shù)、連接系數(shù)矩陣、連接系數(shù)需要根據(jù)具體應(yīng)用環(huán)境手動確定，進(jìn)行多次實(shí)驗(yàn)才能得到最佳結(jié)果，獲取理想信息特征值。

4 壓縮感知域的改進(jìn)PCNN圖像融合

本文的算法基本結(jié)構(gòu)流程如圖2所示，CSPCNN算法具體實(shí)現(xiàn)流程如下:

膽結(jié)石在臨床是比較常見的疾病，該病的形成原因比較復(fù)雜，導(dǎo)致患者的身體以及心理產(chǎn)生不適感。人性化護(hù)理模式秉承著“以人為本”的理念在臨床中的運(yùn)用越來越多[1]，采用人性化護(hù)理可以全方位的對患者的身體以及心理狀態(tài)進(jìn)行改善。本研究將深入探討人性化護(hù)理對于膽結(jié)石患者術(shù)前焦慮的改善效果，現(xiàn)報(bào)道如下。

圖2 CS－PCNN結(jié)構(gòu)流程圖Fig.2 CS－PCNN structure flowchart

1)壓縮采樣:設(shè)置采樣點(diǎn)數(shù)k，對輸入圖像源圖像I1，I2進(jìn)行向量化，使用隨機(jī)置亂分塊哈達(dá)瑪矩陣對向量進(jìn)行觀測采樣，獲取觀測值y1，y2;

2)融合:利用獲得的觀測值y1，y2對CS－PCNN網(wǎng)絡(luò)進(jìn)行參數(shù)自適應(yīng)設(shè)定，同時(shí)輸入改進(jìn)PCNN獲取對應(yīng)觀測值的點(diǎn)火映射圖并進(jìn)行整合，獲得融合觀測數(shù)據(jù)yD;

3)重構(gòu)圖像:使用離散小波變換進(jìn)行硬閾值收縮進(jìn)行重構(gòu)得到融合后圖像。

針對PCNN進(jìn)行參數(shù)自適應(yīng)設(shè)定如下:

1)連接系數(shù)。圖像的標(biāo)準(zhǔn)偏差(SD)反應(yīng)圖像灰度相對于灰度均值的偏離程度，標(biāo)準(zhǔn)偏差越大，說明圖像亮度變化大，所包含的信息量越多，目視效果越好。其定義為:

利用圖像標(biāo)準(zhǔn)偏差可以判定圖像所含信息量大小。PCNN網(wǎng)絡(luò)中連接系數(shù)β表示神經(jīng)元之間的相互耦合強(qiáng)度，與該處神經(jīng)元所保留的特征信息有一定的關(guān)系。在文獻(xiàn)［11］中，利用圖像標(biāo)準(zhǔn)偏差作為加權(quán)平均融合算子取得了較好的效果。選擇標(biāo)準(zhǔn)差作為PCNN中相應(yīng)神經(jīng)元的連接強(qiáng)度。為了保證融合圖像之間關(guān)聯(lián)性，對應(yīng)源圖像輸入PCNN連接系數(shù)設(shè)定為:

2)加權(quán)矩陣。傳統(tǒng)PCNN算法中通常計(jì)算相鄰四個(gè)方向神經(jīng)元的加權(quán)值，考慮輸入壓縮觀測值并非簡單地灰度值輸入，每個(gè)觀測值都包含了圖像結(jié)構(gòu)信息，為了保證在PCNN網(wǎng)絡(luò)中盡可能捕獲觀測值中的圖像信息，計(jì)算相鄰8個(gè)方向的加權(quán)系數(shù)。

3)閾值放大系數(shù)VE。在傳統(tǒng)PCNN網(wǎng)絡(luò)中，閾值放大系數(shù)VE對神經(jīng)元的點(diǎn)火周期起著重要調(diào)節(jié)作用。為了保證CS－PCNN算法的計(jì)算效率，需要提高PCNN網(wǎng)絡(luò)點(diǎn)火效率。除了自適應(yīng)調(diào)節(jié)參數(shù)外，應(yīng)使PCNN網(wǎng)絡(luò)輸入中歸一化后第2次就點(diǎn)火。根據(jù)神經(jīng)元離散公式推導(dǎo)，可得神經(jīng)元第n次循環(huán)點(diǎn)火［12］:

初始神經(jīng)元設(shè)定值為0，故第一次點(diǎn)火并不計(jì)算在實(shí)際點(diǎn)火次數(shù)內(nèi)，為了保證PCNN網(wǎng)絡(luò)高效點(diǎn)火即理論值滿足n=2:

解得:

在VE滿足式(8)的條件下能夠保證CS－PCNN網(wǎng)絡(luò)以最高效率進(jìn)行點(diǎn)火。為了確保在改進(jìn)PCNN網(wǎng)絡(luò)中對觀測值中蘊(yùn)含的圖像信息的盡可能完整的提取，作為CS－PCNN網(wǎng)絡(luò)的神經(jīng)元輸入，每一個(gè)壓縮觀測值最少進(jìn)行一次捕獲(即進(jìn)行點(diǎn)火操作，非第一次)。根據(jù)離散公式推導(dǎo)如下［13］:

其中，c=(1－e－2αF)/(1－e－αF)。

綜上所述，保證改進(jìn)PCNN進(jìn)行高效點(diǎn)火同時(shí)最大限度提取圖像信息，閾值放大系數(shù)需同時(shí)滿足式(8)和式(9)。取:

其中，β根據(jù)對應(yīng)圖像選擇式(5)。

基于改進(jìn)PCNN的融合步驟如下:

1)對源圖像I1，I2獲得壓縮采樣后觀測值 y1，y2。令y1作為第一個(gè)PCNN1和第二個(gè)PCNN2中各神經(jīng)元的反饋輸入;

2)計(jì)算 y1，y2的SD，根據(jù)公式(7)獲得 PCNN1和PCNN2連接系數(shù);并根據(jù)獲得的連接系數(shù)根據(jù)公式(13)獲得閾值放大系數(shù)VE;同時(shí)設(shè)定PCNN1和PCNN2的加權(quán)矩陣;

3)設(shè)PCNNi的輸出為di，得到觀測值 y1，y2的點(diǎn)火映射圖d1，d2;

4)采用如下規(guī)則選取融合系數(shù):

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性，選用同源傳感器圖像(clock圖像)融合和非同源傳感器圖像(ship圖像)進(jìn)行融合試驗(yàn)。與現(xiàn)有CS圖像融合算法中常用的絕對值最大融合算法(簡稱MAX法)和Luo的基于熵加權(quán)平均融合算法(簡稱E－WEIGH法)在融合后圖像質(zhì)量進(jìn)行對比。在MAX法中采用的融合規(guī)則是選取待融合圖像中絕對值較大的觀測值作為融合觀測值進(jìn)行融合。在E－WEIGH法中，根據(jù)待融合圖像觀測值所占信息比例作為加權(quán)算子對觀測值進(jìn)行融合。采樣率50%。實(shí)驗(yàn)平臺為matlab2012a，仿真計(jì)算機(jī)主頻為2.40GHz，內(nèi)存2GB。

同源傳感器clock圖像以及各種融合算法的融合結(jié)果如圖3所示。圖3(a)、圖3(b)為待融合的左聚焦和右聚焦clock圖像。圖3(c)～(e)分別是clock圖像采用MAX法、E－WEGH法和CS－PCNN法得到的融合圖像。從視覺效果上看，CS－PCNN法較好地保留了圖像整體結(jié)構(gòu)信息，細(xì)節(jié)突出。相比之下，MAX法融合圖像存在明顯失真和虛假輪廓，在邊緣位置上出現(xiàn)失真并有條紋出現(xiàn)。E－WEIGH法細(xì)節(jié)信息有所改善，但圖像清晰度沒有CS－PCNN法高。相對前兩種方法，CS－PCNN法所得的融合圖像邊緣更為清晰。

圖3 clock圖像融合結(jié)果Fig.3 The fusion result of the clock image

圖4為不同波段傳感器獲取的ship圖像以及各融合算法的融合結(jié)果。圖4(a)是紅外圖像，只能看見海面上船的基本輪廓，但能清晰顯示倒影部分;同一場景的圖4(b)可見光圖像中，海面船只很清晰，由于光線較暗對倒影部分不能很清晰辨認(rèn)。圖4(c)～(e)分別是 ship圖像采用 MAX法、EWEGH法和CS－PCNN法得到的融合圖像。融合效果中，CS－PCNN法保留了海面船只的同時(shí)顯示出倒影，較好地整合源圖像中的信息。相比之下，MAX法和E－WEIGH法存在明顯失真。在MAX法得到的融合圖像中出現(xiàn)黑白夾雜的類似噪聲的“干擾”，但這并不是噪聲，而是由于源圖像亮度差異較大，源圖像的觀測值包含的圖像信息差異較大，MAX法融合策略獲得融合觀測值為兩幅圖像觀測值信息交雜的結(jié)果，在重構(gòu)圖像的過程中分別按對應(yīng)源圖像信息恢復(fù)像素點(diǎn)，以至于出現(xiàn)“噪聲”現(xiàn)象。相對前兩種方法，CS－PCNN法所得的融合圖像能夠更好的捕獲并整合更多圖像信息。

除了主觀評價(jià)，采用結(jié)構(gòu)相似性、圖像相關(guān)系數(shù)、互信息、峰值信噪比客觀評價(jià)指標(biāo)進(jìn)行比較。圖5給出了三種算法在不同采樣率下，clock和ship圖像客觀評價(jià)指標(biāo)的對比曲線。

圖4 ship圖像融合結(jié)果Fig.4 The fusion result of the ship image

圖5 幾種方法不同采樣率下的圖像客觀評價(jià)指標(biāo)對比Fig.5 Evalutions constrast under different sampling rate of several method

結(jié)構(gòu)相似性是衡量圖像結(jié)構(gòu)相似性的指標(biāo)，圖像相關(guān)系數(shù)反應(yīng)圖像之間的相關(guān)性，互信息是計(jì)算源圖像中有多少信息包含到了融合圖像，峰值信噪比反應(yīng)圖像質(zhì)量的客觀評價(jià)質(zhì)量。四者越大，說明融合效果越好。從圖5可以看出CS－PCNN算法得到的重構(gòu)圖像客觀評價(jià)指標(biāo)高于MAX和EWEIGH算法。

6 結(jié)束語

根據(jù)CS理論和PCNN的特點(diǎn)，提出一種基于壓縮觀測值的改進(jìn)PCNN圖像融合算法，該方法最大的特點(diǎn)是充分利用壓縮觀測值的物理意義改進(jìn)PCNN模型，并對觀測值采用改進(jìn)PCNN進(jìn)行圖像融合。通過同源傳感器和不同波段傳感器圖像進(jìn)行仿真實(shí)驗(yàn)表明，本文方法融合結(jié)果優(yōu)于其他CS融合算法，包含更多圖像整體結(jié)構(gòu)信息，改善現(xiàn)有CS融合算法融合結(jié)果細(xì)節(jié)丟失的問題。

［1］ Donoho D.Compressed sensing［J］.IEEE Transactions on Information Theory，2006，52(4):1289－1306.

［2］ Wan T，Canagarajah N，Achim A.Compressive Image Fusion［C］.Proceedings of the International Conference of Image Processing，2008:1308－1311.

［3］ HE Guodong，SHI Jianping，F(xiàn)ENG Youhong，et al.Fusion alogtithm for infrared and visible image based on compressive sensing［J］.Laser ＆ Infrared，2014，44(5):582－584.(in Chinese)何國棟，石建平，馮友宏，等.基于壓縮感知的紅外與可見光圖像融合算法［J］.激光與紅外，2014，44(5):582－584.

［4］ Luo X，Zhang J，J Y，et al.Image fusion in compressive sensing［C］.IEEE International Conference on Image Processing，2009:2205－2208.

［5］ Eckhorn R，Reiboeck H J，Arndt M，et al.Feature linking via synchronization among distributed assemblies:simulation of results from cat visual cortex［J］.Neural Computation.1990，2(3):293－307.

［6］ Broussard R，Reitboeck H J，Arndt.Physiologically motivated image fusion for object detection using a pulse coupled neural network［J］.IEEE Transactions on Neural Networks，1999，10(3):554－563.

［7］ YANG Yanchun，DANG Jianwu，WANG Yangping.A medical image fusion methed based on lifting wavelet transform and adaptive PCNN［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2012，24(4):494－499.(in Chinese)楊艷春，黨建武，王陽萍.基于提升小波變換與自適應(yīng)PCNN的醫(yī)學(xué)圖像融合方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012，24(4):494－499.

［8］ ZHAO Jingchao，QU Shiru.Infrared and color visible image fusion algorithm based on Curvelet transform and adaptive PCNN［J］.Journal of Northwestern Polytechnical University，2011，29(6):849－853.(in Chinese)趙景朝，曲世茹.基于Curvelet變換與自適應(yīng)PCNN的紅外與可見光圖像融合［J］.西北工業(yè)大學(xué)學(xué)報(bào)，2011，29(6):849－853.

［9］ LI Xin’e，REN Jianyue，L Zengming，et al.Fusion method of multispectral and panchromatic images based on improved PCNN and region energy in NSCT domain［J］.Infrared and Laser Engineering，2013，42(11):3096－3102.(in Chinese)李新娥，任建岳，呂增明，等.NSCT域內(nèi)基于改進(jìn)PCNN和區(qū)域能量的多光譜和全色圖像融合方法［J］.紅外與激光工程，2013，42(11):3096－3102.

［10］ Candes E，Tao T.Robust uncertainty principles:exact signal reconstruction from highly incomplete information［J］.IEEE Transactions on Information Theory，2006，52(2):489－509.

［11］ LI Xin，QIN Shiyin.A new image fusion method based on compressive sensing principl［J］.Chinese High Technology Letters，2012，22(1):35－41.(in Chinese)李新，秦世引.基于壓縮感知的圖像融合的新方法［J］.高技術(shù)通訊，2012，22(1):35－41.

［12］ DENG Xiangyu，MA Yide.PCNN model automatic parameters determination and its modified model［J］.Acta Electronica Sinica，2012，40(5):955－964.(in Chinese)鄧翔宇，馬義德.PCNN參數(shù)自適應(yīng)設(shè)定及其模型的改進(jìn)［J］.電子學(xué)報(bào)，2012，40(5):955－964.

［13］ MA Yide，LI Lian，ZHAN Kun，et al.Pulse coupled neural network and digital image processing［M］.Beijing:Science Press，2008:11－17(in Chinese)馬義德，李廉，綻琨，等.脈沖耦合神經(jīng)網(wǎng)絡(luò)與數(shù)字圖像處理［M］.北京:科學(xué)出版社，2008:11－17.

［14］ Lu Gan，Do T，Tran D.Fast Compressive Imaging Using Scrambled Block Hadamard Ensemble［C］.Proceedings of European Signal Processing Conf，2008.