段 昶，汪學(xué)剛，王 帥，程 建，黃啟宏，王 洪

?

基于雙樹緊支剪切波變換的遙感圖像融合

段 昶1,2，汪學(xué)剛2，王 帥2，程 建2，黃啟宏1，王 洪1,2

(1. 成都信息工程學(xué)院電子工程學(xué)院 成都 610225; 2. 電子科技大學(xué)電子工程學(xué)院 成都 611731)

提出一種基于雙樹緊支剪切波的遙感圖像融合算法。緊支剪切波變換是剪切波理論的空域?qū)崿F(xiàn)，因其步驟中包含了傳統(tǒng)的離散小波變換(DWT)，引入了移變性。分析移變性對圖像融合的影響，采用雙樹復(fù)數(shù)小波抑制緊支剪切波的移變性，與主分量分析變換(PCA)或IHS變換相結(jié)合，提出遙感圖像融合算法。通過QuickBird和IKONOS的三組數(shù)據(jù)的進(jìn)行實驗，結(jié)果表明提出的融合方法性能優(yōu)于基于DWT、à trous小波、Curvelet以及基于頻域?qū)崿F(xiàn)剪切波(à trous shearlet)方法。

雙樹緊支剪切波變換; 遙感圖像融合; 剪切波變換; 移不變剪切波變換

遙感衛(wèi)星上不同類型的傳感器能生成地面不同類型的觀測圖像，通常有全色圖像(pan-chormatic image)和多光譜圖像(multispectral image)兩類。全色圖像每個像素包含傳感器能觀測到的整個光譜中的輻射信息，擁有高空間分辨率；多光譜圖像則能提供不同光譜子帶內(nèi)的輻射信息，擁有高光譜分辨率。在應(yīng)用中，往往期望能使用同時具有高空間分辨率和高光譜分辨率的圖像，有必要研究全色圖像與多光譜圖像的遙感圖像融合方法(簡稱遙感圖像融合方法)。

遙感圖像融合方法的研究已經(jīng)持續(xù)了幾十年。在早期的研究中，融合圖像是按一定的權(quán)值做加權(quán)平均，如Brovery變換[1]，這類方法簡單，易實現(xiàn)，但融合圖像質(zhì)量低，很多邊緣等信息出現(xiàn)模糊。人們逐漸認(rèn)識到光譜信息的重要性，提出了以IHS變換(intensity, hue, saturation)[2]、PCA(principle component analysis)[3]等方法為代表、能有效地保持光譜信息的融合方法。這些方法中，多光譜圖像的亮度分量或主分量完全被全色圖像替代，導(dǎo)致融合圖像中光譜信息被過度抑制。而基于多尺度變換的方法無需將整個分量進(jìn)行替換，更靈活地保留空間和光譜信息。常用的變換包括離散小波變換[3]、解析小波變換[4]、雙樹復(fù)數(shù)小波變換(dual tree complex wavelet transform，DT CWT)[5-6]、Curvelet變換[7-8]等；且這些方法往往和IHS或PCA結(jié)合起來。

剪切波變換是近年來被提出且逐漸成熟起來，能高效表示多維數(shù)據(jù)的超小波變換。傳統(tǒng)的多尺度方法缺乏對具有方向性特征高效表示的能力。而在各種具有對方向表達(dá)能力的超小波變換中，剪切波是唯一同時擁有以下優(yōu)點的變換：只有一個或有限個產(chǎn)生函數(shù)集，能幾乎最優(yōu)地表示高維數(shù)據(jù)，連續(xù)和離散數(shù)據(jù)處理方式相同，空域緊支實現(xiàn)等。當(dāng)前，剪切波有頻域?qū)崿F(xiàn)和空域?qū)崿F(xiàn)兩類離散實現(xiàn)。頻域?qū)崿F(xiàn)具有更高的頻域局部特性，而空域?qū)崿F(xiàn)則具有更高的空域局部特性。自然圖像中邊緣等重要信息往往具有空域局部性，且視覺系統(tǒng)直接通過空域獲取信息，因此本文選用空域?qū)崿F(xiàn)——緊支剪切波變換[9-10](compactly supported shearlet transform，CSST)作為融合方法的變換。傳統(tǒng)的CSST采用了移變的離散小波變換(discrete wavelet transform，DWT)，會降低融合圖像質(zhì)量。目前已提出了一些基于剪切波的圖像融合方法。文獻(xiàn)[11]提出了基于頻域?qū)崿F(xiàn)剪切波的遙感圖像融合方法，性能優(yōu)于Curvelet變換。文獻(xiàn)[12-13]討論了基于CSST的多焦距圖像融合方法，但沒有考慮移變性的影響，也沒采取措施消除移變性。文獻(xiàn)[14]提出結(jié)合IHS和剪切波變換的遙感圖像融合方法，但沒說明到底采用哪種剪切波變換。

本文首先分析移變性對融合算法性能的影響，進(jìn)而提出采用雙樹結(jié)構(gòu)來消除CSST的移變性，稱為雙樹緊支剪切波變換(dual tree compactly supported shearlet transform，DT CSST)。最后提出基于DT CSST和IHS或PCA結(jié)合的遙感圖像融合方法。

1 雙樹緊支剪切波變換

剪切波是復(fù)合伸縮小波的一種[15]，前期研究表明其空域?qū)崿F(xiàn)相對頻域?qū)崿F(xiàn)失真更少，但傳統(tǒng)空域?qū)崿F(xiàn)是移變的。首先通過仿真來說明移變性對圖像融合方法性能的影響，再通過雙樹結(jié)構(gòu)改進(jìn)CSST，本文稱改進(jìn)后的變換為雙樹緊支剪切波變換(DT CSST)。

圖1a、1b是兩幅仿真源圖像，分別用plot和mesh方式顯示。圖1a是明亮而細(xì)的環(huán)位于黑色背景中央；圖1b是暗淡而粗的環(huán)位于黑色背景中央。仿真源圖像通過通用融合框架(將在2.1節(jié)介紹)融合的圖像，融合準(zhǔn)則是取系數(shù)幅值較大者。圖1c、圖1d是融合圖像：圖1c是基于移變的DWT的融合結(jié)果，圖1d是基于(幾乎)移不變的DT CWT的融合結(jié)果。無論是從plot還是從mesh圖都能看出，左邊融合圖像圓環(huán)的頂部出現(xiàn)波浪起伏，而右邊環(huán)頂端是平的。這些起伏是由變換移變性引起的。因為移變性使得同樣的信號在不同位置以不同的方式“投影”到各層系數(shù)中，即不同位置的相同信號其分解系數(shù)不同，且差別明顯。這樣的差別很難通過融合準(zhǔn)則予以區(qū)分(實驗發(fā)現(xiàn)，即使更換其他的融合準(zhǔn)則，也不能完全消除移變性帶來的影響)，最終導(dǎo)致融合圖像出現(xiàn)波浪狀的起伏(失真)，在背景部分同樣存在失真，本質(zhì)上是圓環(huán)部分信號的能量泄露到背景中。

圖1 DWT和DT CWT重建圖像

文獻(xiàn)[9]提出了緊支剪切波CSST的構(gòu)造方法，分為兩個步驟：1) 分別在水平和垂直錐上做shear操作；2) 各向異小波變換(anisotropic DWT，ADWT)。雙樹復(fù)數(shù)小波變換[16-17]，通過兩組獨立且構(gòu)成希爾伯特變換對的尺度和小波濾波器對信號進(jìn)行分解，分別模擬復(fù)數(shù)小波變換的實部和虛部。兩組濾波器能分別獨立重建信號，但變換系數(shù)的模值是(幾乎)移不變的。為消除CSST的移變性，本文采用DT CWT替代ADWT。

本文采用文獻(xiàn)[16-17]中DWT移變性和DT CWT移不變性的方法來展示CSST和DT CSST的區(qū)別。圖2a表示所有系數(shù)重建圖像，白色的圓位于黑色背景中央，與仿真源圖像一致。圖2b表示單獨由低頻系數(shù)重建的圖像；圖2c～圖2g分別表示僅由5層高頻系數(shù)單獨重建的圖像，每個分圖從上至下依次是DT CSST垂直錐、CSST垂直錐、DT CSST水平錐和CSST水平錐在某方向上的重建圖像。CSST和DT CSST都能重構(gòu)輸入圖像，消除移變性的DT CSST低頻和每層高頻系數(shù)的重構(gòu)圖像非常平滑，而CSST的低頻和每層高頻圖像重構(gòu)圖像不平滑。這反映出DT CSST是移不變的而CSST是移變的，即本文的方法能有效地抑制CSST的移變性。

a. 重建圖像 b. 低頻系數(shù)重建圖像 c. 第一層高頻系數(shù)重建圖像

d. 第二層高頻系數(shù)重建圖像 e. 第三層高頻系數(shù)重建圖像

f. 第四層高頻系數(shù)重建圖像 g. 第五層高頻系數(shù)重建圖像

2 遙感圖像融合算法與評價指標(biāo)

2.1 融合方法

本文首先介紹基于DT CSST的通用融合框架(general image fusion，GIF)，如圖3所示。、分別表示輸入的源圖像，通過DT CSST正變換，輸出系數(shù)、，在按一定的融合準(zhǔn)則進(jìn)行融合后得到融合系數(shù)，用表示，通過DT CSST逆變換后輸出為融合圖像，用表示。融合準(zhǔn)則公式為：

圖3 通用融合框架

式中，mean表示求取均值；下標(biāo)L表示低頻；下標(biāo)H表示高頻。

IHS變換中I表示亮度，H表示色度，S表示飽和度，是顏色空間的一種表示，與常用的RGB(紅綠藍(lán))可表示為：

，(2)

PCA(primary component analysis)變換是一種分析、簡化數(shù)據(jù)集的技術(shù)。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時保持?jǐn)?shù)據(jù)集中的對方差貢獻(xiàn)最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分能夠保留住數(shù)據(jù)的最重要信息。通常情況下，該運算可以看作能揭露數(shù)據(jù)的內(nèi)部結(jié)構(gòu)，更好地分析解譯數(shù)據(jù)的變量的方法。如果一個多元數(shù)據(jù)集能夠在一個高維坐標(biāo)系中被完整表示，那么通過PCA變換，就能得到一幅低維度的圖像，這幅圖像即為高維空間數(shù)據(jù)在低維空間上的“投影”，雖然信息上有一定的損失，但能降低數(shù)據(jù)的維數(shù)，節(jié)省存儲和通信資源。

圖4 本文方法步驟

PCA與IHS在遙感融合算法中最大區(qū)別是IHS只能處理3分量多光譜圖像，而PCA能處理任意多分量的光譜圖像。本文提出的融合具體步驟如圖4所示，多光譜圖像RGB分量縮放到與全色圖一樣尺寸，再進(jìn)行正IHS或PCA變換，得到的亮度分量或第一分量在圖中表示為，全色圖像參考的直方圖進(jìn)行直方圖均衡(histogram equilibrium，HE)，再通過通用融合框架進(jìn)行圖像融合，得到的結(jié)果與其余分量做逆IHS或逆PCA變換，形成最終融合圖像。

2.2 評價指標(biāo)

融合圖像的質(zhì)量通過兩類評價指標(biāo)來表示，一類是空間一致性指標(biāo)，包括互信息量MI，如[18]、[19]；另一類是光譜一致性指標(biāo)，包括RASE、ERGAS和3[2]。

(3)

RASE為：

ERGAS表示所有維上的合成誤差，有：

3本質(zhì)上是0的向量版，其各個參數(shù)定義與0一致，當(dāng)與相等時，取最大值1。

3 實驗和分析

實驗采用3組衛(wèi)星數(shù)據(jù)作為源數(shù)據(jù)，對本文方法和其對比方法進(jìn)行驗證：第一、二組是IKONOS衛(wèi)星數(shù)據(jù)，分別如圖5、圖6所示；第三組是QuickBird衛(wèi)星數(shù)據(jù)，如圖7所示。IKONOS全色圖的空間分辨率為1 m，多光譜圖像的空間分辨率為4 m，QuickBird則分別為0.6 m和2.4 m。全色圖像尺寸為512×512，多光譜圖像尺寸為128×128，源圖像由圖5a、圖5b及圖7a、圖7b表示，多光譜圖像已縮放至與全色圖一樣尺寸。圖5c、圖5d及圖7c、圖7d為本文提出的DT CSST+IHS和DT CSST+PCA的最終融合圖像。其余為對比方法的最終融合圖像。圖5e、圖6e、圖7e為Curvelet + IHS，圖5f、圖6f、圖7f為DT CWT + IHS，圖5g、圖6g、圖7g為à trous wavelet + IHS，圖5h、圖6h、圖7h為à trous shearlet + IHS，圖5i、圖6i、圖7i為Curvelet + PCA，圖5j、圖6j、圖7j為DT CWT + PCA，圖5k、圖6k、圖7k為à trous wavelet + PCA，圖5l、圖6l、圖7l為à trous shearlet + PCA。觀察各個融合圖像，除DWT外，結(jié)果非常相近。說明本文的方法與對比方法一樣，都能有效地完成遙感圖像融合的任務(wù)，但單純通過觀察融合圖像的視覺效果很難分辨方法性能的優(yōu)劣。

a. 多光譜圖 b. 全色圖 c. DT CSST+IHS

d. DT CSST+PCA e. Curvelet + HIS f. DT CWT + HIS

g. à trous wavelet + HIS h. à trous shearlet + HIS i. Curvelet + PCA

j. DT CWT + PCA k. à trous wavelet + PCA l. à trous shearlet + PCA

圖5 第一組數(shù)據(jù)的源圖像和融合結(jié)果

a. 多光譜圖 b. 全色圖 c. DT CSST+IHS

d. DT CSST+PCA e. Curvelet + HIS f. DT CWT + IHS

g. à trous wavelet + HIS h. à trous shearlet +HIS i. Curvelet +PCA

j. DT CWT + PCA k. à trous wavelet + PCA l. à trous shearlet + PCA

圖6 第二組數(shù)據(jù)的源圖像和融合結(jié)果

a. 多光譜圖 b. 全色圖 c. DT CSST+IHS

d. DT CSST+PCA e. Curvelet + HIS f. DT CWT + IHS

f. DT CWT + HIS g. à trous wavelet + HIS h. à trous shearlet + IHS

j. DT CWT + PCA k. à trous wavelet + PCA l. à trous shearlet + PCA

圖7 第三組數(shù)據(jù)的源圖像和融合結(jié)果

由于篇幅的限制，本文只給出第一組數(shù)據(jù)基于IHS變換部分(尺度參數(shù)2至4)的性能指標(biāo)。通過表1、表2，可看出空間一致性和光譜一致性實際上是一組互斥的指標(biāo)，提高空間一致性往往會導(dǎo)致光譜一致性的下降，反之亦然；而在所有的方法中沒有一種方法能在空間一致性高于其余方法的同時，使得光譜一致性也高于其他方法，即單純觀察性能指標(biāo)的數(shù)值仍然無法有效地衡量不同算法性能的好壞。但是將空間一致性指標(biāo)和光譜一致性指標(biāo)作為兩個坐標(biāo)軸，將每個點連起來，就能看出端倪來。由于篇幅限制，圖8只給出了3組數(shù)據(jù)橫坐標(biāo)為MI、縱坐標(biāo)為3和RASE的情況，三行圖像依次為第一、第二和第三組數(shù)據(jù)的情況。通過圖8可以看出，基于DWT的方法與其他方法性能差別較大，曲線離的比較遠(yuǎn)，而本文的方法(黑色線條)在scale參數(shù)取2～6時位于圖的最右端，即在同樣的空間一致性性能時，本文的方法具有最高的光譜一致性，而在具有同樣的光譜一致性時，本文的方法具有最好的空間一致性。尺度參數(shù)過高會導(dǎo)致運算量的增加，且融合圖像含有過多的光譜信息，不可取。因此，本文的方法性能優(yōu)于其他方法。

a. 第一組數(shù)據(jù)RASE相對MI的回歸曲線

b. 第一組數(shù)據(jù)3相對MI的回歸曲線

c. 第二組數(shù)據(jù)RASE相對MI的回歸曲線

d. 第二組數(shù)據(jù)3相對MI的回歸曲線

e. 第三組數(shù)據(jù)RASE相對MI的回歸曲線

f. 第三組數(shù)據(jù)3相對MI的回歸曲線

圖8 3組數(shù)據(jù)IHS變換性能指標(biāo)圖

表1 IHS變換所有方法空間一致性指標(biāo)

表2 IHS變換所有方法頻譜一致性指標(biāo)

4 結(jié) 論

本文提出了基于雙樹緊支剪切波和IHS或PCA變換的遙感圖像融合算法。雙樹緊支剪切波變換能有效地消除傳統(tǒng)的緊支剪切波變換的移變性的缺點。將雙樹緊支剪切波與IHS或PCA相結(jié)合的遙感圖像融合方法，能高效地完成遙感圖像融合算法。通過IKONOS和QuickBird衛(wèi)星圖像數(shù)據(jù)進(jìn)行融合，本文的方法優(yōu)于基于DWT、DT CWT、Curvelet、à trous wavelet以及頻域剪切波實現(xiàn)à trous剪切波的方法。

[1] ELGHAZALI E S. Performance of quickbird image and lidar data fusion for 2d/3d city mapping[J]. Australian Journal of Basic and Applied S ciences, 2011, 5(11): 1588-1600.

[2] CHOI M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(6): 1672- 1682.

[3] GONZáLEZ-AUDíCANA M, SALETA J L, CATALAN R G, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(6): 1291-1299.

[4] NUNEZ J, Otazu X, Fors O, et al, Multiresolution-based image fusion with additive wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(3): 1204-1211.

[5] IOANNIDOU S, KARATHANASSI V. Investigation of the dual-tree complex and shift-invariant discrete wavelet transforms on quickbird image fusion[J]. Geoscience and Remote Sensing Letters, 2007, 4(1): 166-170.

[6] WANG P F, DU Y F, ZHOU H F, et al, A parallel fusion algorithm for remote sensing image based on complex wavelet transform[J]. Computer Engineering and Science, 2008, 30(3): 35-39.

[7]Guo L, Dai M, Zhu M. Multifocus color image fusion based on quaternion curvelet transform[J]. Optics Express, 2012, 20(17): 18846-18860.

[8] ZHANG Q, GUO B L. Fusion of remote sensing images based on the second generation curvelet transform[J]. Optics and Precision Engineering, 2007, 7(15): 1131-1135.

[9] LIM W Q. The discrete shearlet transform: a new directional transform and compactly supported shearlet frames[J]. IEEE Trans Image Process, 2010, 19(5): 1166-80.

[10] Kutyniok G, LIM W Q. Compactly supported shearlets are optimally sparse[J]. Journal of Approximation Theory, 2011, 163(11): 1564-1589.

[11] Chai Y, He Y, Qu C. Remote sensing image fusion based on iterative discrete Shearlet transform[J]. Computer Engineering and Applications, 2011, 47(3): 174-176.

[12] Miao Q, Shi C, Xu P, et al. A novel algorithm of image fusion using shearlets[J]. Optics Communications, 2011, 284(6): 1540-1547.

[13] Miao Q, Shi C, Xu P, et al. Multi-focus image fusion algorithm based on shearlets[J]. Chinese Optics Letters, 2011, 9(4): 041001.

[14] DENG C, WANG S, CHEN X. Remote sensing images fusion algorithm based on shearlet transform[C]// Environmental Science and Information Application Technology. [S.l]: [s.n.], 2009.

[15] Easley G R, labate d. Critically sampled wavelets with composite dilations[J]. IEEE Image Processing, Transactions on, 2012, 21(2): 550-561.

[16] KINGSBURY N. Complex wavelets for shift invariant analysis and filtering of signals[J]. Applied and Computational Harmonic Analysis, 2001(10): 234-253.

[17] KINGSBURY N. Image processing with complex wavelets[J]. Philosophical Transactions of the Royal Society of London. Series A: Mathematical, Physical and Engineering Sciences, 1999(357): 2543-2560.

[18] PETROVI V, XYDEAS C. On the effects of sensor noise in pixel-level image fusion performance[C]//Information Fusion, Proceedings of the Third International Conference. [S.l]: [s.n.], 2000.

[19] PIELLA G, HEIJMANS H. A new quality metric for image fusion[C]//Image Processing, 2003 International Conference. [S.l]: [s.n.], 2003.

[20] WANG Z, BOVIK A C. A universal image quality index[J]. Signal Processing Letters, IEEE, 2002(9): 81-84.

編 輯 稅 紅

Remote Image Fusion Based on Dual Tree Compactly Supported Shearlet Transform

DUAN Chang1,2, WANG Xue-gang2, WANG Shuai2, CHENG Jian2, HUANG Qi-hong1, and WANG Hong1,2

(1. College Electronic Engineering, Chengdu University of Information Technology Chengdu 610225; 2. School of Electronic Engineering, University of Electronic Science and Technology of China Chengdu 611731)

In this paper, a remote image fusion method based on dual tree compactly supported shearlet transform (DT CSST) is proposed. In the method, the shift variant property is compensated by the dual tree structure, DT CSST combining with the PCA or IHS transform is applied in the remote image fusion. Through the QuickBird and IKONOS data, the experiments suggest that the proposed method is superior to other methods based on other multi-scale transforms, such as DWT, dual tree complex wavelet transform (DT CWT), à trous wavelet, curvelet and à trous shearlet transform.

dual-tree compactly supported shearlet transform; panchromatic multispectral image fusion; shearlet transform; shift invariant shearlet transform

TN919.8

A

10.3969/j.issn.1001-0548.2014.01.007

2013-10-07;

2014-09-23

段昶(1979-)，男，博士生，主要從事圖像處理、超小波理論應(yīng)用等方面的研究.