王志社，楊風(fēng)暴，彭智浩

?

基于NSST和稀疏表示的多源異類圖像融合方法

王志社1,2，楊風(fēng)暴1，彭智浩1

（1.中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051；2.太原科技大學(xué)應(yīng)用科學(xué)學(xué)院，山西 太原 030024）

針對(duì)SAR、紅外和可見光圖像的灰度差異性大，融合圖像感興趣目標(biāo)不突出的問題，提出一種基于NSST和稀疏表示的多源異類圖像融合方法。首先將訓(xùn)練圖像進(jìn)行NSST變換，在低頻系數(shù)上構(gòu)建多尺度學(xué)習(xí)字典；對(duì)SAR、紅外和可見光圖像進(jìn)行NSST變換，利用滑動(dòng)窗口分解低頻系數(shù)為圖像塊序列，對(duì)圖像塊序列零均值化后再稀疏分解，采用稀疏系數(shù)絕對(duì)值取大的融合規(guī)則；高頻子帶系數(shù)采用局部方向信息熵顯著性因子取大的融合規(guī)則；最后對(duì)融合系數(shù)進(jìn)行NSST逆變換得到最終的融合圖像。

圖像融合；NSST；多尺度學(xué)習(xí)字典；稀疏表示；方向信息熵

0 引言

合成孔徑雷達(dá)SAR（Synthetic Aperture Radar）、紅外和可見光傳感器由于成像波段范圍和成像方式的不同，在圖像上反映了地物光譜特征的差異性。SAR圖像通過微波反射成像，對(duì)人造目標(biāo)（如金屬、建筑物）比較敏感，反映了目標(biāo)的結(jié)構(gòu)信息，具有豐富的紋理特征；紅外圖像通過熱輻射成像，對(duì)熱目標(biāo)比較敏感，反映了目標(biāo)的輪廓信息；可見光圖像通過光反射成像，反映了地物的大致輪廓和光譜信息。因此，對(duì)SAR、紅外和可見光圖像進(jìn)行融合，才能充分利用三者的互補(bǔ)信息，從而更加全面、準(zhǔn)確地描述目標(biāo)或場(chǎng)景信息，在軍事應(yīng)用、遙感監(jiān)測(cè)、航空航天等領(lǐng)域有著重要的應(yīng)用[1]。

近年來，基于多尺度變換如Ridgelet變換[2]、Curvelet變換[3]、Contourlet變換[4]、非下采樣Contourlet變換（NSCT）[5-7]和非下采樣Shearlet變換（NSST）[8-10]等被廣泛應(yīng)用到圖像融合領(lǐng)域。其中，NSST因具有更靈活的結(jié)構(gòu)和更高的計(jì)算效率，在融合領(lǐng)域取得了更優(yōu)的融合結(jié)果。但是，經(jīng)過多尺度變換得到圖像低頻系數(shù)反映了圖像的近似特征，近似為零的個(gè)數(shù)很少，不能稀疏地表示圖像的低頻信息，不利于提取圖像的顯著特征。文獻(xiàn)[11]提出了基于NSCT和稀疏表示的紅外與可見光融合方法，但由于NSCT變換和稀疏分解的特性，其運(yùn)算數(shù)據(jù)量大，計(jì)算復(fù)雜度較高；另外，考慮到SAR、紅外和可見光圖像的灰度差異性和SAR圖像斑點(diǎn)噪聲的影響，若直接融合，易造成圖像像素混淆，導(dǎo)致融合圖像感興趣目標(biāo)不突出，融合效果差。

為此，本文提出一種基于NSST和稀疏表示的多源異類圖像融合方法。對(duì)SAR、紅外和可見光圖像進(jìn)行NSST分解，在低頻系數(shù)上利用滑動(dòng)窗口方法得到圖像塊序列，并對(duì)其進(jìn)行零均值化后再稀疏分解，有效提取了低頻圖像的顯著特征并大大提高了運(yùn)算效率；在高頻子帶系數(shù)上的融合，構(gòu)建了局部方向信息熵顯著性因子，有效減少了圖像噪聲的干擾，獲得了更佳的融合效果。

1 NSST原理與稀疏表示

1.1 NSST原理

文獻(xiàn)[10]指出，當(dāng)維數(shù)＝2時(shí)，具有合成膨脹的仿射系統(tǒng)定義為：

式中：∈2(2)，和為2×2可逆矩陣，|det|＝1。如果A()具有緊框架，則A()中的元素成為合成小波。稱為各向異性膨脹矩陣，與尺度變換相關(guān)聯(lián)；為剪切矩陣，與保持面積不變的幾何變換相關(guān)聯(lián)。特別地，當(dāng)＝[4 0 0 2]，＝[1 1 0 1]時(shí)，此時(shí)的合成小波成為剪切波。

NSST離散化過程分為基于非下采樣金字塔（nonsubsampled pyramid，NSP）濾波組的多尺度分解和基于改進(jìn)的剪切波濾波器組（shearlet filter，SF）的多方向分解2個(gè)部分，分解原理圖如圖1所示，具體算法參見文獻(xiàn)[10]。

圖1 NSST分解原理圖

1.2 NSST域上的稀疏表示

對(duì)于給定的信號(hào)，其稀疏表示可以由如式(2)表示。

式中：∈R×1，∈R×（＞）為超完備字典；∈R×1，||||00表示向量中非零元素的個(gè)數(shù)；為允許偏差的精度。

上述模型的一個(gè)根本問題就是字典的選擇，本文選擇k-SVD[12]方法來構(gòu)建訓(xùn)練字典，其數(shù)學(xué)優(yōu)化目標(biāo)函數(shù)由式(3)所示。

式中：＝[1,2, …,y]∈R×表示訓(xùn)練樣本集；∈R×表示稀疏系數(shù)矩陣，x為的第列；表示稀疏度。

為了更好地融合源圖像的顯著特征，這里，在NSST分解的低頻系數(shù)上進(jìn)行字典學(xué)習(xí)。式(3)可以等價(jià)地寫成：

式中：s為變換分析算子；表示分解尺度；表示由SAR、紅外和可見光圖像構(gòu)成的圖像訓(xùn)練集。

顯然，這樣構(gòu)建的多尺度學(xué)習(xí)字典，一方面使得到的字典具有NSST的多尺度分析的能力，另一方面，在NSST低頻系數(shù)的基礎(chǔ)上進(jìn)一步稀疏，達(dá)到雙重稀疏的效果，從而使其具有更優(yōu)秀的稀疏性和特征保持性。

2 融合方法

本文提出的多源異類圖像融合過程如圖2所示。主要步驟如下：

1）隨機(jī)選取幾組SAR、紅外和可見光圖像作為訓(xùn)練圖像，構(gòu)建多尺度學(xué)習(xí)字典D；

3）低頻系數(shù)融合上，采用滑動(dòng)窗口把低頻系數(shù)分解成圖像塊序列，并對(duì)其零均值化后再稀疏分解，采用稀疏系數(shù)絕對(duì)值取大的融合規(guī)則；

4）高頻子帶系數(shù)采用基于局部方向信息熵顯著化因子取大的融合規(guī)則；

5）對(duì)低頻融合系數(shù)和高頻子帶融合系數(shù)進(jìn)行NSST逆變換得到最終的融合圖像。

圖2 本文融合方法結(jié)構(gòu)框圖

Fig.2 The framework of the proposed image fusion method

2.1 低頻系數(shù)融合規(guī)則

不難看出，式(5)中的優(yōu)化問題是一個(gè)NP難問題，通常考慮用近似解代替。本文采用SOMP算法[14]來求解低頻系數(shù)的稀疏表示系數(shù)。低頻系數(shù)的融合過程如下：

3）采用絕對(duì)值取大的融合規(guī)則，對(duì)SAR、紅外和可見光圖像相應(yīng)圖像塊的稀疏系數(shù)x進(jìn)行融合，得到融合系數(shù)x。

5）依據(jù)步驟1）的塊圖像劃分策略重構(gòu)，得到最終的低頻融合系數(shù)。

2.2 高頻子帶系數(shù)融合規(guī)則

高頻子帶系數(shù)主要反映圖像的邊緣或細(xì)節(jié)等信息，都在零值附近波動(dòng)，是近似稀疏的。但由于SAR和紅外的噪聲，若直接采用絕對(duì)值取大的融合規(guī)則，容易誤作為有用信息被保留，進(jìn)而會(huì)影響融合的效果。為此，本文構(gòu)建了方向信息熵顯著因子，采用取大的融合規(guī)則，減少源圖像噪聲的影響[15]。

圖像在尺度下方向上以(,)中心的區(qū)域能量為：

設(shè)V(,)表示圖像在尺度下維方向向量上位置(,)處的能量強(qiáng)度為：

將V(,)用局部能量歸一化，可以得到局部方向能量密度分布：

這樣，定義在尺度下位置(,)處方向信息熵DE(,)為：

在此基礎(chǔ)上，構(gòu)建方向信息熵顯著性因子為：

從式(10)可以看出，若|E,l(,)|值較大，同時(shí)DE(,)值較小，表明位置(,)處具有較大的能量且在各方向上較為劇烈，說明此位置具有較明顯的圖像特征；反之，表明該位置處信號(hào)趨于噪聲。

因此，對(duì)于SAR圖像s、紅外圖像i和可見光圖像v高頻系數(shù)的融合，融合規(guī)則如式(11)所示。

3 實(shí)驗(yàn)結(jié)果及其分析

實(shí)驗(yàn)選取3組SAR、紅外和可見光圖像（大小都為206×206）進(jìn)行仿真實(shí)驗(yàn)。將本文算法與以下算法進(jìn)行比較：基于DWT的融合算法（DWT）、基于NSCT的融合算法（NSCT）、基于NSST的融合算法（NSST）、基于稀疏表示的融合算法（SR）、基于NSCT和稀疏表示的融合算法（NSCT_SR），這些算法均采用低頻系數(shù)取平均，高頻子帶系數(shù)取絕對(duì)值最大的融合規(guī)則。本文中NSST的分解尺度為3，方向分解依次為21、22、23，稀疏表示的字典大小為64×256，＝0.01，滑動(dòng)窗口大小為8×8。

定量評(píng)價(jià)選用圖像對(duì)比度（IC）、0、W、E和Q/F5個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。其中，IC反映了圖像的清晰程度[16]；0是一個(gè)結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)指標(biāo)，是從相關(guān)性丟失、亮度失真、對(duì)比度失真3個(gè)方面對(duì)圖像的失真度進(jìn)行模型[17]；W是反映局部結(jié)構(gòu)相似度的融合質(zhì)量評(píng)價(jià)[18]；E和Q/F分別從局部和整體反映了融合圖像融合源圖像邊緣細(xì)節(jié)信息的情況[18-19]；0、W、E和Q/F的值均在[0, 1]之間，越接近1表明融合質(zhì)量越好。

第一組實(shí)驗(yàn)圖像如圖3(a)、(b)、(c)所示，可以看出SAR圖像、紅外圖像的目標(biāo)（紅色標(biāo)記）比較突出，可見光的地物輪廓信息清楚，這些信息在融合結(jié)果中非常重要。從圖3(d)～(i)的融合結(jié)果來看，DWT和NSCT的融合圖像中，SAR和紅外圖像的感興趣目標(biāo)模糊，對(duì)比度不高。NSST和SR的融合圖像中，SAR和紅外圖像的感興趣目標(biāo)對(duì)比度有所提高，但圖像的地物輪廓模糊，特別是SR的融合結(jié)果出現(xiàn)了失真現(xiàn)象。NSCT_SR和NSST_SR的融合圖像中，感興趣目標(biāo)突出，對(duì)比度高，而且圖像地物輪廓清晰，細(xì)節(jié)信息明顯。表1給出了不同方法的客觀評(píng)價(jià)指標(biāo)，可以看出，NSST_SR法在指標(biāo)W略低于NSCT_SR方法，其他指標(biāo)都高于其他方法。

圖4是第二組實(shí)驗(yàn)圖像，圖4(a)SAR圖像的飛機(jī)和建筑目標(biāo)、圖4(b)紅外圖像的掩體目標(biāo)（紅色標(biāo)注）是融合的重要信息。從融合結(jié)果上來看，NSST的融合效果優(yōu)于DWT和NSCT的融合效果，但感興趣目標(biāo)對(duì)比度不高。SR的融合圖像中背景信息丟失嚴(yán)重，細(xì)節(jié)不清楚，出現(xiàn)失真現(xiàn)象。NSCT_SR和NSST_SR的融合圖像中，感興趣目標(biāo)突出，對(duì)比度高。表2給出了不同方法的客觀評(píng)價(jià)指標(biāo)，可以看出，NSST_SR融合圖像的IC指標(biāo)稍低于NSCT_SR的融合圖像，其他指標(biāo)都高于其他方法，指標(biāo)E和Q/F分別為0.1207和0.3504，說明NSST_SR融合圖像的邊緣保持性更好，細(xì)節(jié)輪廓清楚。

圖5是第三組實(shí)驗(yàn)圖像結(jié)果，從主觀視覺效果上來看，NSST_SR的融合效果要優(yōu)于其他算法。表3給出了這組實(shí)驗(yàn)圖像的客觀指標(biāo)評(píng)價(jià)，可以看出，NSST_SR的綜合性能最優(yōu)，表明本文方法的優(yōu)越性。

表1 第一組實(shí)驗(yàn)圖像的客觀指標(biāo)評(píng)價(jià)

表2 第二組實(shí)驗(yàn)圖像的客觀指標(biāo)評(píng)價(jià)

表3 第三組實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)對(duì)比

表4給出了不同融合算法的平均CPU運(yùn)算時(shí)間，從中可以看出，相比NSCT方法，NSST法的運(yùn)算速度提升了接近3倍。SR、NSCT_SR和NSST_SR法的平均運(yùn)行時(shí)間分別為51.15s、94.79s和34.97s，這說明，在稀疏分解時(shí)，進(jìn)行滑動(dòng)窗口分塊和零均值化處理，可以大大減少運(yùn)算時(shí)間，表明本文方法具有更高的運(yùn)算效率。

表4 不同方法的平均CPU運(yùn)算時(shí)間

4 結(jié)論

本文提出了一種基于NSST和稀疏表示多源異類圖像融合方法。針對(duì)SAR、紅外和可見光圖像的灰度差異性大，直接融合容易造成圖像像素混淆，導(dǎo)致融合圖像感興趣目標(biāo)不突出，對(duì)源圖像經(jīng)NSST變換后的低頻系數(shù)上進(jìn)行稀疏表示，可以有效地提取源圖像的顯著特征；同時(shí)，利用滑動(dòng)窗口把低頻系數(shù)分解成圖像塊序列，對(duì)其零均值化后再稀疏表示，可以大大提高運(yùn)算效率；對(duì)于高頻子帶系數(shù)的融合，構(gòu)建了局部方向信息熵顯著性因子，可以有效地減少圖像噪聲的干擾。實(shí)驗(yàn)結(jié)果表明，該方法在主觀視覺效果、客觀指標(biāo)評(píng)價(jià)以及運(yùn)算效率都具有顯著優(yōu)勢(shì)，說明了本文方法的優(yōu)越性。

圖3 第一組實(shí)驗(yàn)結(jié)果比較

圖4 第二組實(shí)驗(yàn)結(jié)果比較

圖5 第三組實(shí)驗(yàn)結(jié)果比較

[1] Byun Y. A texture-based fusion scheme to integrate high-resolution satellite SAR and optical images[J]., 2014, 5(2): 103-111.

[2] M. N. Do, M. Vetterli. The finite ridgelet transform for image representation[J]., 2003, 12(1): 16-28.

[3] F. Nencini, A. Garzelli, S. Baronti, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[4] M. N. Do, M. Vetterli. The contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[5] Arthur L. Cunha, Zhou Jian-Ping, Minh N. Do. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[6] Chen Yong, Xiong Jie, Liu Hua-lin, et al. Fusion method of infrared and visible images based on neighborhood characteristic and regionalization in NSCT domain[J]., 2014, 124(17): 4980-4984.

[7] Adu Jian-hua, Gan Jian-hong, Wang Yan, et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J]., 2013, 61(12): 94-100.

[8] Yin Ming, Liu Wei, Zhao Xia, et al. A novel image fusion algorithm based on nonsubsampled shearlet transforms[J]., 2014, 125(10): 2274-2282.

[9] Kong Wei-wei, Zhang Long-jun, Yang Lei. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J]., 2014, 65(7): 103-112.

[10] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[11] 王珺, 彭進(jìn)業(yè), 何貴青, 等. 基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[J]. 兵工學(xué)報(bào), 2013, 34(7): 815-820.

Wang Jun, Peng Jin-ye, He Gui-qing et al. Fusion method for visible and infrared images based on non-subsampled contourlet transform and sparse representation [J]., 2013, 34(7): 815-820.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing over complete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[13] 薛模根, 劉存超, 徐國明, 等. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術(shù), 2013, 35(11): 696-701.

Xue Mo-gen, Liu Cun-chao, Xue Guo-ming, et al. Infrared and low light level image fusion based on multi-scale dictionary[J]., 2013, 35(11): 696-701.

[14] Yang B, Li S T. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]., 2012, 13(1): 10-19.

[15] 王志社, 楊風(fēng)暴, 陳磊等. 基于紋理分割和Top-hat變換的合成孔徑雷達(dá)與可見光圖像增強(qiáng)融合[J]. 光學(xué)學(xué)報(bào), 2014, 34(10): 1010002.

Wang Zhi-she, Yang Feng-bao, Chen Lei, et al. SAR and visible image enhanced fusion based on texture segmentation and top-hat transformation[J]., 2014, 34(10): 1010002.

[16] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評(píng)價(jià)[J].中國光學(xué), 2014, 7(3): 396-401.

Wang Yu-qing, Wang Suo-jian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3):396-401.

[17] Wang Zhou, A Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[18] G Piella, H Heijmans. A new quality metric for image fusion[J]., Barcelona, Spain, 2003: 173-176.

[19] C S Xydeas, V Petrovic. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Multi-source Heterogeneous Image Fusion Based on NSST and Sparse Presentation

WANG Zhi-she1,2，YANG Feng-bao1，PENG Zhi-hao1

（1.，，030051，；2.,，033024，）

This paper proposes a multi-source heterogeneous image fusion method based on NSST and sparse presentation to solve the problem that the interested targets are not prominent caused by great grey difference among SAR image, infrared image and visible image. Firstly, multi-scale study dictionary is built on the low frequency coefficients through carrying on NSST for the training image. SAR image, infrared image and visible image are transformed by NSST, and the low frequency coefficients are decomposed into image block sequence with sliding window method. Sparse decomposition is used for image block sequence after zero mean processing, and the fusion rule of the low frequency coefficients is that absolute value of sparse coefficient is larger. The fusion rule of high frequency subband coefficients is that significant factor of local orientation information entropy is larger. Finally final fusion image is obtained by NSST inverse transformation for fusion coefficients.

image fusion，NSST，multi-scale study dictionary，sparse presentation，directional entropy

TP391.41

A

1001-8891(2015)03-0210-08

2014-12-02；

2015-02-09.

王志社（1982-），男，講師，博士研究生，主要研究方向多源圖像配準(zhǔn)與融合技術(shù)。E-mail：wzs2003@163.com。

國家自然科學(xué)基金項(xiàng)目，編號(hào)：61171057；教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研資助項(xiàng)目（博導(dǎo)類），編號(hào)：20121420110004。