盛佳佳，楊學志，董張玉，焦 瑋

?

基于NSST-IHS變換稀疏表示的SAR與可見光圖像融合

盛佳佳1,2，楊學志1,2，董張玉1,2，焦 瑋1,2

(1. 合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2. 工業(yè)安全與應急技術安徽省重點實驗室，安徽 合肥 230009)

針對合成孔徑雷達(SAR)與可見光圖像成像原理不同，其融合圖像常常存在感興趣目標不突出及光譜失真的問題，提出了一種基于NSST-IHS變換稀疏表示的融合算法。對源圖像進行IHS和NSST變換，在所得低頻分量上采用基于結構相似性和亮度差異性的稀疏表示融合規(guī)則，高頻分量上則采用基于改進的拉普拉斯能量和的融合規(guī)則，融合結果再通過NSST和IHS逆變換得到。實驗以哨兵1號SAR圖像與landsat-8可見光圖像進行驗證，并與傳統(tǒng)的IHS、Wavelet、NSCT、IHS-Wavelet-SR和NSST-IHS算法進行比較。結果表明，該算法不論視覺還是評價指標都有了明顯提高，空間結構信息和光譜信息得到有效的保持，有利于后續(xù)目標檢測與識別工作。

合成孔徑雷達圖像；可見光圖像；圖像融合；稀疏表示；非下采樣剪切波變換

合成孔徑雷達(synthetic aperture radar, SAR)和可見光圖像由于在成像原理和波段組成上存在較大差異，使得其圖像往往能反映地理的不同光譜特征。SAR是主動式微波反射成像，對于人造建筑如橋梁比較敏感，其所得圖像含有豐富的紋理特性和細節(jié)信息[1]。同時，SAR具有穿透水體的能力，能全天時、全天候成像且不受環(huán)境天氣影響，故能發(fā)現(xiàn)更多可見光傳感器不能發(fā)現(xiàn)的信息[2]，然而其成像沒有豐富的光譜信息且圖像有相干斑噪聲?？梢姽鈭D像是光反射成像，反映了豐富的光譜信息和地物輪廓，具有優(yōu)越的目視效果。但可見光圖像依靠發(fā)光源，不具有在夜間或惡劣天氣下成像的能力，容易遺失特征信息。因此，將SAR圖像與可見光圖像融合，才能得到兩者的有效信息，從而準確描繪場景。在軍事偵察、目標檢測和災難應急上有重要的應用[3-4]。

目前，SAR與可見光圖像融合算法主要分為兩大類：主成分替換法和多尺度分析法。其中主成分替換法主要有IHS變換、PCA變換和Brovey變換等。其中，IHS變換是將SAR圖像進行灰度拉伸后取代可見光圖像進行IHS空間變換后的I分量，此方法將亮度信息和光譜信息分離，融合結果有較好的光譜信息保持，但融合操作僅在像素間進行，容易出現(xiàn)頻譜混疊現(xiàn)象，不能兼顧圖像光譜信息和空間細節(jié)信息。多尺度分析法主要有小波變換、Contourlet變換和NSST變換等。2004年宋建社等[5]提出將小波變換用于SAR與可見光圖像融合，但小波變換的多尺度分解僅在少數(shù)幾個方向上，使融合結果難以反映良好的空間邊緣信息。2005年DO和VETTERLI[6]提出Contourlet變換并用于圖像融合，該變換雖克服了有限方向的限制，但多尺度分解不具有平移不變性，融合圖像易出現(xiàn)偽吉布斯現(xiàn)象。之后，EASLEY等[7]提出剪切波變換和NSST變換，從逼近上看，NSST變換達到了最優(yōu)效果，且不同于傳統(tǒng)剪切波變換，其在多尺度分解時不進行下采樣步驟，故能避免偽吉布斯現(xiàn)象，同時融合圖像能有效保持空間紋理和細節(jié)。但經(jīng)過多尺度分析后其低頻分量反映的是圖像的近視特性，近視值為零的相對較少，低頻信息不能被稀疏表示和有效反映其顯著特征[8]。文獻[9]提出將NSCT與稀疏表示方法用于紅外和可見光圖像融合，在光譜信息上有很好的效果，但其運算復雜度高，時間較長。文獻[10-11]提出了基于小波和稀疏表示的多源遙感圖像融合方法，將小波變換與IHS變換方法相結合，融合圖像保留了較好的結構特征和光譜信息，但小波變換只能在少數(shù)幾個方向上進行分解，不具有平移不變性。

本文結合IHS變換能有效區(qū)分可見光圖像的亮度信息和光譜信息這一優(yōu)點，以及NSST變換在多尺度分析和平移不變性上的優(yōu)勢，提出基于NSST與IHS變換的稀疏表示SAR與可見光圖像融合算法，運用NSST和IHS變換將這兩類圖像進行多方向、多尺度分解；對其中的低頻分量運用結構相似性(structural similarity index，SSIM)與亮度差異性的稀疏表示融合規(guī)則，能大量保留結構特征，以免光譜失真；在高頻分量上采用改進拉普拉斯能量和(sum modified-Laplacian, SML)融合規(guī)則，能保留大量圖像細節(jié)；最后通過NSST和IHS逆變換得到最終融合圖像。

1 NSST變換與稀疏表示融合算法

1.1 NSST變換

對于一個連續(xù)小波，具有合成膨脹的二維仿射系統(tǒng)定義為

NSST變換是非正交變換，其離散化過程主要分為：基于非下采樣金字塔濾波(not sampling Pyramid, NSP)的多尺度分解和基于改進的剪切波濾波(shearfiltering, SF)多方向分解。多尺度分解是通過進行次反復分解，最終形成大小1個低頻分量和+1個高頻分量，形成的高低頻分量大小相同。多方向分解是運用標準的SF器，從而將偽極化網(wǎng)格系統(tǒng)直接映射到笛卡爾坐標系統(tǒng)上，之后再經(jīng)過傅里葉變換，實現(xiàn)二維卷積步驟[14]。以此避免標準SF器存在的下采樣步驟，達到平移不變目的。NSST離散化過程如圖1所示。

圖1 NSST離散化過程圖

1.2 稀疏表示

本文在稀疏表示分解過程上用OMP算法，在分解的每一步的每一個原子上進行正交化，優(yōu)勢在于同等精度要求下，收斂速度更迅速[16-17]。在字典的選取上，本文選用K-SVD算法[18]來構造訓練字典，以下為目標函數(shù)

2 改進的融合算法

本文算法以NSST變換與稀疏表示原理為基礎，采用IHS變換和NSST變換將SAR圖像和可見光圖像的I分量分解為低頻及高頻分量。低頻分量是對原始圖像的特征逼近，不具有稀疏特性，結合SAR圖像與可見光圖像的成像特性和亮度差異大的特點，在稀疏表示上運用基于SSIM和亮度差異性的圖像融合規(guī)則。高頻分量由于含有豐富的細節(jié)信息，運用基于SML融合規(guī)則進行融合。步驟如下：

步驟1. 隨機選擇幾幅SAR和可見光圖像進行訓練，得到過完備字典；

步驟3. 對低頻分量采用SSIM和亮度差異性稀疏表示融合步驟得到低頻融合分量；

步驟5. 將低頻融合分量和高頻融合分量進行NSST逆變換和IHS逆變換，最終得到SAR與可見光融合圖像。

圖像融合流程如圖2所示。

圖2 融合圖像流程圖

2.1 低頻融合規(guī)則

SSIM是用來描述兩幅圖像相似度的指標[19-20]，其認為圖像由亮度、對比度和結構信息3類不同元素組成。而SAR圖像低頻分量本身含有豐富的結構信息，其本身又是主動式微波反射成像，所以整體視覺效果在結構和亮度上比可見光圖像更顯著。在保持可見光圖像低頻分量空間對比度信息的基礎上，利用基于SSIM和亮度差異性的稀疏表示，在最優(yōu)化情況下可注入更多SAR圖像結構信息和亮度信息。

每對圖像塊的亮度相似性和SSIM信息定義為

融合后，將列向量運用字典轉(zhuǎn)換為圖像結構列向量

在融合過程中，SAR圖像結構信息的加入程度由兩幅低頻分量結構的相似性決定，SSIM越大，則注入越多的SAR圖像信息，以更好地保留圖像中的細節(jié)信息；SSIM越小，則更多地保留可見光圖像的信息，即保留圖像的輪廓信息。同樣，SAR圖像亮度信息的注入程度也是由亮度相似度決定，亮度相似度越小SAR圖像亮度信息注入的越多，以保留融合圖像中感興趣目標區(qū)域的亮度；亮度相似度越大則SAR圖像亮度信息注入越少，以保留更多的可見光圖像亮度信息。

2.2 高頻融合規(guī)則

其中，是系數(shù)間的可調(diào)變量，本文對其值總?cè)?。

也就是進行高頻分量比較時，選擇SML系數(shù)較大值作為融合圖像的系數(shù)。

3 實驗和結果分析

將本文方法與基于IHS變換的融合算法[11]、基于Wavelet變換[5]、基于NSCT變換(nonsubsampled contourlet transform)的融合算法[22]進行對比。此外，為了驗證本文方法的效果，將其直接與基于NSST-IHS變換(nonsubsampled shearlet)和基于IHS-Wavelet-SR變換的融合算法也進行了比較。

3.1 數(shù)據(jù)和參數(shù)選擇

本文SAR數(shù)據(jù)源采用歐盟的“哨兵1號” (Sentinel-1)雷達衛(wèi)星C波段圖像，此數(shù)據(jù)能穿透水面成像，為分辨率5m的天津郊區(qū)以及渤海港口圖像，同時數(shù)據(jù)經(jīng)過降噪處理[23]；可見光圖像數(shù)據(jù)源采用landsat-8，其分辨率30m。本文選擇地物信息豐富具有水面、植被及建筑物特征，使得實驗結果可靠。

3.2 實驗結果和評價

由于缺少標準SAR與可見光融合圖像，本文按照WALD等[24]評價指標，采用可見光圖像作為參考圖像。定量評價采用相關系數(shù)(correlation coefficient, CC)、光譜角(spectral angle mapper, SAM)、相對整體誤差(relative average spectral, RAME)、相對平均光譜誤差(relative global dimensional synthesis error, EGRAS)和通用質(zhì)量評價指標(universal image quality index, UIQI)[25]對融合圖像的效果進行客觀評價。其中，CC、SAM、RAME評價融合圖像的光譜質(zhì)量，ERGAS、UIQI從光譜質(zhì)量和空間細節(jié)信息整體上對融合圖像進行評價。

第1組實驗(圖3)選擇具有住宅區(qū)域與水體區(qū)域的遙感圖像，含有極其豐富的細節(jié)信息和光譜信息。從圖3(c)~(e)可看出，IHS算法相比Wavelet、NSCT方法總體色彩較淺，在視覺效果上沒有圖3(d)和(e)好，但能更好地保持光譜信息，沒有明顯的光譜扭曲現(xiàn)象。而從圖3(d)、(e)、(f)和(g)可看出，圖3(g)在顏色保持比其他算法更好，這是由于IHS-Wavelet- SR算法在低頻分量上采用了稀疏表示融合規(guī)則，使其在光譜信息上有所提升，顏色更接近可見光圖像，但在紅色方框區(qū)域仍有明顯的光譜扭曲，尤其是在島嶼和建筑輪廓上。圖3(g)相比于(f)，光譜扭曲現(xiàn)象有所改善，但光譜信息上不如IHS-Wavelet-SR算法好，且顏色稍淺。圖3(h)整幅圖像結合了(f)和(g)的優(yōu)點，比圖3(f)更接近于原始可見光圖像的視覺效果，既包含豐富的光譜信息，又減少了光譜扭曲，同時紅色方框區(qū)域中的目標特征信息被平滑地注入到可見光圖像中，所以不管在光譜還是特征信息上，本文提出算法的融合效果最好。

第2組實驗(圖4)選擇具有大量農(nóng)作物和橋梁建筑的圖像。從圖4(c)、(d)和(e)可以看出，IHS算法顏色較淺，所含信息相對較少，其沒有明顯光譜扭曲，但Wavelet算法光譜扭曲明顯。而從圖4(f)、(g)和(h)可看出，圖4(f)顏色更接近可見光圖像，但是有明顯的光譜扭曲現(xiàn)象，尤其在紅色方框區(qū)域。圖4(g)光譜保持上沒有圖(f)好，但是沒有明顯的光譜扭曲。圖4(g)結合(f)和(g)的優(yōu)點，圖像在視覺上更接近于可見光圖像，在左上角紅色農(nóng)作物區(qū)域空間信息得到增強，右邊紅色方框區(qū)域感興趣特征信息被平滑的注入可見光圖像中，故本文算法效果最優(yōu)。

表1為第1組實驗不同融合算法的質(zhì)量評價指標，可以看出在圖像的質(zhì)量評價指標CC、SAM、RASE、UIQI和ERGAS上傳統(tǒng)算法IHS、Wavelet、NSCT的光譜保持指標CC、SAM和RASE效果不好，在整體指標UIQI和ERGAS也比不上其他算法，而比較IHS-WV-SR與NSST-IHS算法發(fā)現(xiàn)，后者的SAM和UIQI稍好于前者，而前者的其他指標則好于后者，這說明IHS-WV-SR算法有更好的光譜保真能力，而NSST-IHS算法在空間細節(jié)信息保持上更優(yōu)。而本文算法相比于NSST-IHS算法、IHS-WV-SR算法及其他傳統(tǒng)算法不管是在光譜保持指標還是全局質(zhì)量上都有較明顯提升。

表2為第2組實驗不同融合算法的質(zhì)量評價指標，可以看出傳統(tǒng)算法IHS、Wavelet、NSCT不管是在光譜保持指標還是整體指標上都比不上其他算法。由于實驗2所用源圖像擁有更豐富的植被信息，故IHS-WV-SR算法在光譜保持上效果更好，其除了UIQI指標低于NSST-IHS算法，其余指標都高于NSST-IHS算法。而本文算法在融合結果上是最好的。

圖3 第1組實驗融合結果

表1 第1組實驗質(zhì)量評價指標

圖4 第2組實驗融合結果

表2 第2組實驗質(zhì)量評價指標

4 結束語

本文提出一種基于NSST與IHS變換稀疏表示的融合算法，相比于傳統(tǒng)算法，克服了目標信息不突出以及光譜失真問題。該算法對低頻分量強調(diào)SSIM和亮度差異性的稀疏表示，提升全局顯著結構和感興趣目標的辨識度，對高頻分量分析了局部區(qū)域像素間的聯(lián)系，所提融合規(guī)則能保留圖像空間細節(jié)信息。實驗驗證了本文算法的有效性，所得結論如下：①結合NSST變換和IHS變換能更有效地保留空間結構與細節(jié)信息。②在低頻分量上采用SSIM和亮度差異性融合規(guī)則，可將SAR圖像的結構信息和部分亮度信息平滑地注入可見光圖像中。將稀疏表示方法與NSST和IHS變換結合起來，使得低頻分量能有效反映圖像的顯著特征，融合結果的整體質(zhì)量有了明顯提高。NSST和稀疏表示的復雜度較高，今后將研究如何減少算法的運行時間。

[1] BYUN Y. A texture-based fusion scheme to integrate high-resolution satellite SAR and optical images [J]. Remote Sensing Letters, 2014, 5(2): 103-111.

[2] WALESSA M, DATCU M. Model-based despeckling and information extraction from SAR images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2000, 5: 2258-2269.

[3] YANG J, REN G, MA Y, et al. Coastal wetland classification based on high resolution SAR and optical image fusion [C]//Geoscience and Remote Sensing Symposium. New York: IEEE Press, 2016: 886-889.

[4] KWAK Y, YOROZUYA A, IWAMI Y. Disaster risk reduction using image fusion of optical and SAR data before and after tsunami [C]//IEEE Aerospace Conference. New York: IEEE Press, 2016: 1-11.

[5] 宋建社, 鄭永安, 劉迎春. 基于小波變換的SAR與可見光圖像融合算法[J]. 計算機應用研究, 2004, 21(10): 110-111.

[6] DO M N, VETTERLI M. The contourlet transform: an efficient directional multi-resolution image representation [J]. IEEE Transactions on Image Process, 2005, 14(12): 2091-2106.

[7] EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis, 2008, 25(1): 25-46.

[8] CHEN T, ZHENG-WEI L I, WANG J L, et al. Imaging system of single pixel camera based on compressed sensing [J]. Optics & Precision Engineering, 2012, 20(11): 2523-2530.

[9] 王珺, 彭進業(yè), 何貴青, 等. 基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[J]. 兵工學報, 2013, 34(7): 815-820.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion, 2015, 24: 147-164.

[11] TU T M, HUANG P S, HUNG C L, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery [J]. IEEE Geoscience & Remote Sensing Letters, 2004, 1(4): 309-312.

[12] EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis, 2008, 25(1): 25-46.

[13] 焦李成. 圖像多尺度幾何分析理論與應用[M]. 西安: 西安電子科技大學出版社, 2008: 1-498.

[14] COLONNA F, EASLEY G, GUO K, et al. Radon transform inversion using the shearlet representation [J]. Applied & Computational Harmonic Analysis, 2010, 29(2): 232-250.

[15] CHEN S, SAUNDERS M A, DONOHO D L. Atomic decomposition by basis pursuit [J]. Siam Review, 2001, 43(1): 129-159.

[16] GAO R, ZHAO R, HU S. Variable step size adaptive matching pursuit algorithm for image reconstruction based on compressive sensing [J]. Acta Optica Sinica, 2010, 30(6): 1639-1644.

[17] PATI Y C, REZAIIFAR R, KRISHNAPRASAD P S. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition [J]. Signals, Systems and Computers, 1993, 1: 1-3.

[18] AHARON M, ELAD M, BRUCKSTEIN A. SVD: an algorithm for designing overcomplete dictionaries for sparse representation [M]. New York: IEEE Press, 2006: 4311-4322.

[19] WANG B, WANG Z B, LIAO Y P, et al. HVS-based structural similarity for image quality assessment [C]// International Conference on Signal Processing. New York: IEEE Press, 2008: 1194-1197.

[20] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[21] QU X B, YAN J W, YANG G D. Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian [J]. Optics and Precision Engineering, 2009, 17(5): 1203-1211.

[22] 張少輝, 崔仲遠, 于來行. 基于DWT結合NSCT的快速圖像融合算法[J]. 微電子學與計算機, 2015(9): 40-44.

[23] PARRILLI S, PODERICO M, ANGELINO C V, et al. A nonlocal SAR image denoising algorithm based on llmmse wavelet shrinkage [J]. IEEE Transactions on Geoscience & Remote Sensing, 2012, 50(2): 606-616.

[24] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images [J]. Photogrammetric Engineering & Remote Sensing, 1997, 63(6): 691-699.

[25] ALPARONEL, BARONTI S, GARZELLI A, et al. A global quality measurement of pan-sharpened multispectral imagery [J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 313-317.

Fusion of SAR and Visible Images Based on NSST-IHS and Sparse Representation

SHENG Jiajia1,2, YANG Xuezhi1,2, DONG Zhangyu1,2, JIAO Wei1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China;2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei Anhui 230009, China)

In order to solve the problem that the interested aims are not prominent and spectral distortion caused by different imaging mechanism of synthetic aperture radar (SAR) and visible images, this paper proposes a fusion algorithm based on NSST-IHS and sparse representation. Firstly, source images are transformed by intensity-hue-saturation (IHS) and non-subsampled shearlet transform (NSST). Secondly, a fusion rule based on the structure similarity and luminance difference of the sparse representation is used in low- frequency components, while a fusion rule based on sum-modified-Laplacian is used in high- frequency components. Finally, the fusion results are obtained by inverse transformation of NSST and IHS. Experiments are carried out with Sentinel-1A SAR images and landsat-8 visible images, and compared with the traditional algorithms of IHS, Wavelet, NSCT, IHS-Wavelet-SR and NSST-IHS. The results show that the new algorithm has obvious improvement whether in visual or evaluation as well as to maintain the spatial structure information and spectral information, which is beneficial to target detection and recognition.

synthetic aperture radar image; visible image; image fusion; sparse representation; non-subsampled shearlet transform

TP 391

10.11996/JG.j.2095-302X.2018020201

A

2095-302X(2018)02-0201-08

2017-06-20；

2017-08-19

國家自然科學基金項目(61371154，41601452)；安徽省重點研究與開發(fā)計劃項目(1704a0802124)；中國博士后科學基金項目(2016M602005)

盛佳佳(1993-)，女，安徽池州人，碩士研究生。主要研究方向為遙感信息處理。E-mail：shengjiajiahfut@163.com

董張玉(1986-)，男，安徽合肥人，副教授，博士。主要研究方向為遙感信息處理。E-mail：dzyhfut@hfut.edu.cn