夏景明, 陳軼鳴, 陳軼才, 何 愷

(1.南京信息工程大學(xué)電子與信息工程學(xué)院，南京 210044; 2.華北電力大學(xué)機械工程學(xué)院，河北 保定 071000)

0 引言

紅外成像傳感器是通過目標(biāo)場景的熱輻射成像，具有較強的識別偽裝能力，但是成像清晰度較低?？梢姽獬上駛鞲衅魇峭ㄟ^目標(biāo)場景的反射成像，具有較高的空間分辨率和清晰度，但是易受到惡劣環(huán)境因素的影響[1]。因此，將紅外與可見光圖像進行融合，充分利用其信息的互補性，在軍事作戰(zhàn)、資源探測、安全監(jiān)控等多領(lǐng)域有廣泛的應(yīng)用價值[2]。

非下采樣輪廓波變換(Non-Subsampled Contourlet Transform,NSCT)具有多尺度、多方向、各向異性以及平移不變性等優(yōu)點[3]，但是經(jīng)過 NSCT分解獲得的低頻子帶系數(shù)不稀疏，稀疏表示(SR)可以捕捉低稀疏度低頻子帶更深層面的幾何結(jié)構(gòu)特征，采用字典中較少原子項的線性組合來最優(yōu)表示信號[4]。脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)模擬動物的視覺系統(tǒng)，具備了動態(tài)、捕獲以及時間序列等特性，可以將輸入的高頻子帶融入人眼的視覺特性，從而提取更多的特征信息[5]。

因此，NSCT變換、稀疏表示以及PCNN模型的圖像融合方法得到越來越多的關(guān)注。文獻[6]在NSCT變換的基礎(chǔ)上提出了一種紅外與可見光圖像融合算法，該算法能夠得到較為理想的融合圖像，但其對低頻子帶系數(shù)融合選擇了“加權(quán)平均”方案，不能夠充分表達源圖像的整體結(jié)構(gòu)信息。文獻[7]在改進NSCT變換的基礎(chǔ)上，提出了關(guān)于PCNN模型的圖像融合方法，該方法能夠較好地保持圖像結(jié)構(gòu)，使融合圖像更符合人類的視覺神經(jīng)系統(tǒng)，但融合圖像的互信息相對較小。文獻[8]提出了一種基于稀疏表示的可見光與紅外圖像融合方法，該算法選用“最大元素絕對值”融合規(guī)則完成了稀疏編碼的融合，且融合結(jié)果優(yōu)于經(jīng)典算法，但其沒有考慮到圖像更深層次的結(jié)構(gòu)特征。針對上述討論提到的問題，同時考慮到PCNN神經(jīng)元具備的基本特性，本文提出了一種基于稀疏表示和NSCT-PCNN的紅外與可見光圖像融合算法，即NSCT-SR-PCNN算法。

1 基本理論

1.1 NSCT變換

NSCT變換包括非下采樣金字塔(NSP)分解和非下采樣方向濾波器組(NSDFB)分解兩個步驟，NSP分解是通過非下采樣塔式濾波器組將源圖像迭代分解為低、高頻子帶，保證NSCT變換多尺度特性的過程。NSDFB是一個雙通道非下采樣濾波器組，將NSP分解得到的高頻子帶圖像進行l(wèi)級NSDFB方向分解，可以得到2l個方向各異的子帶圖像。

1.2 稀疏表示

稀疏表示是指假設(shè)自然信號可以由過完備字典D∈Rn×k中的少量原子的線性組合表示或逼近，那么信號x的稀疏系數(shù)的算式為

(1)

式中：D為過完備字典；A為信號x的稀疏系數(shù)，‖A‖0為A的L0范數(shù)；ε為逼近誤差容限。NSCT-SR-PCNN算法通過K奇異值分解(K-SVD)算法學(xué)習(xí)樣本集得到冗余字典，采用批量正交匹配追蹤(Batch-OMP)優(yōu)化算法估計稀疏系數(shù)A[9]。

1.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN是具有全局耦合性和同步脈沖性的反饋性神經(jīng)網(wǎng)絡(luò)模型[10]，其簡化模型的數(shù)學(xué)表達式為

(2)

式中：n為迭代次數(shù)；Iij為刺激信號；Wijkl為神經(jīng)元之間的突觸連接權(quán)系數(shù)；Yij為外部輸入信號；Uij為內(nèi)部狀態(tài)信號；β為鏈接強度；θij為神經(jīng)元閾值；Fij和Lij分別為反饋輸入和鏈接輸入；αL和αθ均為時間常數(shù)；VL和Vθ均為放大系數(shù)。

2 基于NSCT-SR-PCNN算法的紅外與可見光圖像融合算法

NSCT-SR-PCNN算法首先采用NSCT變換分別對配準(zhǔn)后的源圖像進行分解，得到源圖像的低頻、高頻子帶，然后在低頻系數(shù)部分采用稀疏表示的規(guī)則進行融合，在高頻系數(shù)部分采用PCNN神經(jīng)元模型的規(guī)則進行融合，最后采用NSCT逆變換對融合后的子帶系數(shù)進行重構(gòu)，獲得紅外與可見光融合圖像。

2.1 低頻子帶系數(shù)融合規(guī)則

低頻子帶系數(shù)融合是采用稀疏表示融合實現(xiàn)的，首先從待融合圖像中取塊構(gòu)成訓(xùn)練樣本集，利用K-SVD算法訓(xùn)練過完備字典，其次采用文獻[11]提出的Batch-OMP算法求解稀疏系數(shù)，最后根據(jù)圖像豐富度將稀疏系數(shù)進行融合，主要步驟如下。

1) 將尺寸為M×N的源圖像A和B通過NSCT變換分解為低頻子帶和高頻子帶。

2) 選用尺寸為n×n的窗口，按照步長為S個像素的要求，將低頻子帶LA和低頻子帶LB進行滑窗處理得到(N+n-1)×(M+n-1)個低頻子帶子塊；另外，將低頻子帶子塊排成列向量，得到樣本集矩陣VA和VB。

4) 利用K-SVD算法對樣本矩陣進行迭代運算，獲取低頻子帶系數(shù)過完備字典D。

(3)

6) 融合均值矩陣的選擇算式為

(4)

(5)

8) 將融合樣本集矩陣VF的列排成低頻子帶子塊，將低頻子帶子塊重構(gòu)得到低頻子帶的融合系數(shù)。

采用稀疏表示實現(xiàn)低頻子帶系數(shù)融合的具體流程如圖1所示。

圖1 低頻子帶SR融合流程Fig.1 SR fusion process of low-frequency subband coefficients

2.2 高頻子帶系數(shù)融合規(guī)則

根據(jù)人類視覺系統(tǒng)特性可知，空間頻率(SF)反映了圖像局部區(qū)域特性和細節(jié)的信息量，因此對于高頻子帶系數(shù)的融合可以采用SF來刺激PCNN神經(jīng)元模型，即

(6)

其中，窗口大小為3×3，Rij和Cij算式分別為

(7)

(8)

在PCNN 模型中，β的取值決定了神經(jīng)元耦合關(guān)系的強弱，高頻子帶系數(shù)融合選擇能夠衡量鄰域特征信息的拉普拉斯能量(EOL)和標(biāo)準(zhǔn)差(SD)分別作為PCNN 對應(yīng)神經(jīng)元的鏈接強度值，EOL和SD算式為

(9)

(10)

式中：f(u,v)為(u,v)的像素值；w是大小為l×l的窗口。

基于PCNN簡化模型的融合選用SF作為神經(jīng)元反饋輸入來激勵每個神經(jīng)元，同時選用EOL和SD作為對應(yīng)神經(jīng)元的鏈接強度值。根據(jù)PCNN神經(jīng)元模型的捕獲特性可以得到對應(yīng)的點火圖，將點火圖進行加權(quán)可以得到新點火圖。最后，將新點火圖作為標(biāo)準(zhǔn)，選擇合適的高頻融合系數(shù)。具體實現(xiàn)步驟如下。

2) 根據(jù)式(9)和式(10)計算高頻子帶系數(shù)HA和HB的EOL和SD(記為βAE，βAS，βBE和βBS)，并將其分別作為相應(yīng)神經(jīng)元的鏈接強度值。

3) 初始化設(shè)置：Lij(0)=Uij(0)=0，θij(0)=1，此時神經(jīng)元處于熄火狀態(tài)，即Yij(0)=0，產(chǎn)生的脈沖數(shù)為Oij(0)=0。

4) 根據(jù)式(2)計算Li j[n]，Ui j[n]，θi j[n]和Yij[n]。

5) 累計PCNN簡化模型迭代運行的輸出：OAE，OAS，OBE和OBS，采用加權(quán)函數(shù)獲得高頻子帶系數(shù)HA和HB對應(yīng)的新點火映射圖OA和OB：OA=w1OAE+w2OAS，OB=w3OBE+w4OBS，wi(i=1,2,3,4)的算式為

(11)

6) 比較新點火映射圖像素處的點火時間輸出閾值(點火頻數(shù))，高頻子帶融合系數(shù)HF(i,j)的算式為

(12)

采用PCNN神經(jīng)元模型實現(xiàn)高頻子帶系數(shù)融合的具體流程，如圖2所示。

圖2 高頻子帶PCNN神經(jīng)元模型融合流程Fig.2 PCNN fusion process of high-frequency subband coefficients

3 實驗結(jié)果與分析

為了驗證本文算法的有效性，選取了3種對比算法進行紅外與可見光圖像融合實驗，并且選用了相關(guān)系數(shù)(CC)、邊緣信息傳遞因子(QAB/F)[12-14]、視覺信息保真度(VIFF)、結(jié)構(gòu)相似模型(SSIM)[15]和以“秒”計的運行時間(RT)5個指標(biāo)對融合結(jié)果進行客觀的質(zhì)量評價。其中，將文獻[16]、文獻[17]以及文獻[18]提出的圖像融合方法分別簡稱為NSCT算法、PCNN算法以及NSCT-PCNN算法。

各種算法的融合結(jié)果如圖3～圖5所示，各種算法的客觀質(zhì)量評價指標(biāo)如表1～表3所示。

圖3 第1組紅外與可見光圖像融合結(jié)果Fig.3 Fusion results of the 1st set of infrared and visible images

圖4 第2組紅外與可見光圖像融合結(jié)果Fig.4 Fusion results of the 2nd set of infrared and visible images

圖5 第3組紅外與可見光圖像融合結(jié)果Fig.5 Fusion results of the 3rd set of infrared and visible images

表1 第1組紅外與可見光圖像融合的質(zhì)量評價Table 1 Fusion quality evaluation of the 1st group of infrared and visible images

表2 第2組紅外與可見光圖像融合的質(zhì)量評價Table 2 Fusion quality evaluation of the 2nd group of infrared and visible images

表3 第3組紅外與可見光圖像融合的質(zhì)量評價Table 3 Fusion quality evaluation of the 3rd group of infrared and visible images

從圖3～圖5的人眼視覺效果上看，4種算法都能夠?qū)⒓t外目標(biāo)信息和可見光背景信息進行融合，但是各融合圖像對源圖像整體和細節(jié)信息的表達各不相同。第1組融合結(jié)果中，圖1c和圖1e對于左下角的樹木表達出現(xiàn)了虛假邊緣現(xiàn)象，圖1d的整體表達引入了方塊現(xiàn)象。第2組融合結(jié)果中，圖2c對于目標(biāo)輪廓的表達模糊不清，圖2d的左上角出現(xiàn)橫縱交錯的多數(shù)帶條，圖2e在目標(biāo)的上方引入了灰度帶。第3組融合結(jié)果中，圖3c背景信息高度模糊，圖3d目標(biāo)信息輪廓不清，背景信息引入了帶條，圖3e背景信息紋理不清，出現(xiàn)多數(shù)光斑現(xiàn)象。各組融合結(jié)果的圖1f、圖2f和圖3f完整地表達了紅外圖像目標(biāo)的亮度特征和可見光圖像背景的紋理、輪廓以及邊緣特征，符合人類的視覺效果。

從表1～表3的評價指標(biāo)來看，雖然在第2組融合結(jié)果中，NSCT-SR-PCNN算法的VIFF指標(biāo)略低于NSCT-PCNN算法，在第3組融合結(jié)果中，NSCT-SR-PCNN算法的CC指標(biāo)略低于NSCT算法，但3組中除RT外，其余評價指標(biāo)均明顯優(yōu)于對比算法的評價指標(biāo)。從表1～表3的RT評價指標(biāo)來看，PCNN算法的運行時間最短，NSCT算法、NSCT-PCNN算法和NSCT-SR-PCNN算法運行時間較長，圖像經(jīng)NSCT分解再處理消耗大量時間，融合效率降低。因此，本文提出的NSCT-SR-PCNN算法從人類的視覺效果和綜合客觀評價指標(biāo)上來看，其融合效果更優(yōu)，融合性能更高，但融合效率有待提高。

4 結(jié)束語

NSCT-SR-PCNN算法將NSCT分解、SR模型以及PCNN模型相結(jié)合，解決了稀疏表示容易產(chǎn)生“斑塊”現(xiàn)象的問題，同時避免了圖像能量和方向信息的丟失，融入了多尺度信息、對比度信息以及人眼視覺信息，提高了刻畫圖像特征信息的能力。從實驗結(jié)果與分析中可以看出：NSCT-SR-PCNN算法雖然并不是各項質(zhì)量評價指標(biāo)均為最優(yōu)值，但是綜合各項質(zhì)量評價指標(biāo)則居于第一位，該算法可以較好地提取紅外圖像的目標(biāo)信息，也可以較好地保留可見光圖像的場景信息，融合結(jié)果高度符合人眼的視覺特性。

當(dāng)然，NSCT-SR-PCNN算法也存在需要改進的地方，比如，可以通過在線字典學(xué)習(xí)訓(xùn)練的方法獲取過完備字典D，這將是需要繼續(xù)研究的方向。

參考文獻

[1] 張瑩,李言俊,張科,等.基于NSCT的紅外與可見光圖像融合[J].計算機工程與應(yīng)用,2011,47(3):196-198.

[2] 趙飛翔,陶忠祥.基于NSCT的紅外與可見光圖像融合[J].電光與控制,2013,20(9):29-33.

[3] 陳木生,蔡植善.基于 NSCT 的紅外與可見光圖像融合方法研究[J].激光與光電子學(xué)進展,2015,52:061002-1-061002-6.

[4] 首照宇,胡蓉,歐陽寧,等.基于多尺度稀疏表示的圖像融合方法[J].計算機工程與設(shè)計,2015,36(1):232-235.

[5] 劉雯敏,陳秀宏.基于PCNN和非線性濾波萬有引力的醫(yī)學(xué)圖像融合[J].計算機工程與應(yīng)用,2014,50(24):191-198.

[6] 張強,郭寶龍.一種基于非下采樣Contourlet變換紅外圖像與可見光圖像融合算法[J].紅外與毫米波學(xué)報,2007,26(6):476-480.

[7] GONG J M,WANG B B,QIAO L.Image fusion method based on improved NSCT transform and PCNN model[C]//IEEE Conference Publications on ISCID,2016:28-31.

[8] 張生偉,李偉,趙雪景.一種基于稀疏表示的可見光與紅外圖像融合方法[J].電光與控制,2017,24(6):47-52.

[9] 歐陽寧,鄭雪英,袁華.基于NSCT和稀疏表示的多聚焦圖像融合[J].計算機工程與設(shè)計,2017,38(1):177-182.

[10] 趙景朝,曲仕茹.基于Curvelet 變換與自適應(yīng)PCNN的紅外與可見光圖像融合[J].西北工業(yè)大學(xué)學(xué)報,2011,29(6):849-853.

[11] 趙海峰,魯毓苗,陸明,等.基于快速稀疏表示的醫(yī)學(xué)圖像壓縮[J].計算機工程,2014,40(4):233-236.

[12] QU G H,ZHANG D L,YAN P F.Information measure for performance of image fusion[J].IET Journals and Magazines on Electronics Letters,2002,38(7):313-315.

[13] PIELLA G,HEIJMANS H.A new quality metric for ima-ge fusion[C]//IEEE Conference Publications on Image Processing,2003:173-176.

[14] LIU Z,BLASCH E,XUE Z Y.Objective assessment of multi-resolution image fusion algorithms for context enhancement in night vision:a comparative study[J].IEEE Transactions on PAMI,2012,34(1):94-109.

[15] 張小利,李雄飛,李軍.融合圖像質(zhì)量評價指標(biāo)的相關(guān)性分析及性能評估[J].自動化學(xué)報,2014,40(2):306-315.

[16] 郭明,符拯,奚曉梁.基于局部能量的NSCT 域紅外與可見光圖像融合算法[J].紅外與激光工程,2012,41(8):2229-2235.

[17] 陳浩,朱娟,劉艷瀅,等.利用脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合[J].光學(xué)精密工程,2010,18(4):995-1001.

[18] 郝文超,賈年.NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見光圖像融合方法[J].西華大學(xué)學(xué)報：自然科學(xué)版,2014,33(3):11-14.

[19] LI S,YANG B,HU J.Performance comparison of diffe-rent multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.

[20] SHABANZADE F,GHASSEMIAN H.Multimodal image fusion via sparse representation and clustering-based dictionary learning algorithm in nonsubsampled contourlet domain[C]//IEEE Conference Publications on IST, 2016:472-477.