張炳先 何紅艷 李 巖

（北京空間機電研究所，北京 100094）

基于加權(quán)小波變換及MTFC的多光譜影像融合方法

張炳先 何紅艷 李 巖

（北京空間機電研究所，北京 100094）

IHS（intensity-hue-saturation）變換是影像融合實際生產(chǎn)中使用最多的一種方法，而小波變換是近幾年來影像融合中的熱門研究方向。但是現(xiàn)有方法存在紋理畸變和光譜畸變的現(xiàn)象，尤其是當(dāng)?shù)匚锕庾V特性在全色和多光譜中存在較大差異的時候，融合后光譜畸變將會十分突出。為了解決上述問題，在分析現(xiàn)有小波變換方法的基礎(chǔ)上提出了一種基于加權(quán)小波變換及調(diào)制傳遞函數(shù)補償（MTFC）的多光譜影像融合方法，通過引入多相位小波變換的方式來抑制小波變換產(chǎn)生的紋理畸變，同時通過引入MTFC的方法來恢復(fù)影像融合中丟失的紋理信息。文章選用“高分二號”衛(wèi)星影像來驗證算法的有效性，試驗結(jié)果表明，與現(xiàn)有的融合方法相比，文章中提出的算法能夠很好地抑制影像中的光譜畸變，同時保留更多的有效紋理信息。

多相位小波變換 影像復(fù)原 自適應(yīng)融合 航天遙感

0 引言

衛(wèi)星全色/多光譜相機能夠同時獲取同一區(qū)域兩種不同類型的影像：含有高分辨率信息的全色影像以及含有光譜信息的多光譜影像。由于多光譜影像缺少高分辨率信息，全色影像缺少光譜信息，因此上述兩種影像自身使用范圍都會受到限制。為了解決上述問題，融合應(yīng)運而生[1]。在眾多融合算法中，IHS（intensity-hue-saturation）變換能夠快速處理大量數(shù)據(jù)且實現(xiàn)簡單，所以廣泛應(yīng)用于實際生產(chǎn)中[2]。然而IHS的融合效果取決于全色影像與多光譜影像的相關(guān)性，即當(dāng)全色影像的光譜范圍與多光譜影像的光譜范圍基本吻合時，IHS能夠取得良好的融合效果，反之則會產(chǎn)生巨大的光譜畸變[3]。隨著相機制造技術(shù)的發(fā)展，全色影像的光譜范圍由傳統(tǒng)的可見光譜段延伸到了近紅外譜段，這使得采用IHS進行真彩色融合時面臨著不可避免的問題[4]，例如將水域的顏色從藍色變?yōu)楹谏蛘邔⒅脖粎^(qū)域的顏色由深綠色變?yōu)榱辆G色。

為了解決上述問題，一些學(xué)者引入了多尺度變換的方法到融合算法中，如小波變換等。早期使用較為成功的是Yocky等人在1996年提出的基于小波分解的影像融合方法[5]，該方法將二維離散小波變換、增量小波變換、尺度可變小波變換技術(shù)運用于Landsat TM影像與SPOT全色影像的融合之中。通過與IHS融合算法進行比較，Yocky等人證明小波變換能更好地保留原始影像中的細節(jié)信息和光譜信息。之后，Aiazzi等人提出了基于紋理驅(qū)動的融合方法[6]，該方法比較了二維離散小波變換與拉普拉斯變換在融合中的效果，結(jié)果表明二維離散小波變換優(yōu)于拉普拉斯變換，基于上述結(jié)論，該方法在二維離散小波變換的基礎(chǔ)上做了進一步的優(yōu)化處理，然而由于受制于二維離散小波變換的自身特性，該方法對于全色影像與多光譜影像之間分辨率的比例有嚴(yán)格要求。在此問題基礎(chǔ)上，Shi等人提出了多波段小波變換方法來擺脫分辨率比例的限制[7]。不久后，張云等人通過對IKONOS及Quick-Bird的真彩色融合試驗發(fā)現(xiàn)無論是IHS變換或者小波變換都會造成不同程度的光譜畸變，為了抑制這種光譜畸變，張云等人提出了一種IHS和小波變換相結(jié)合的融合算法，該方法首先將IHS變換運用于多光譜影像，從中提取出多光譜的亮度信息，然后采用小波變換將全色影像中的高分辨率信息融入到多光譜的亮度信息中，最后進行IHS反變換獲取最終的融合影像[3]。之后，張云等人又成功將該算法運用于高分辨率的合成孔徑雷達（SAR）影像與中低分辨率的多光譜影像融合中，同樣也取得了良好的效果[8]。上述方法在一定程度上很好地抑制了IHS算法和小波變換算法引入的光譜畸變，但是卻忽略了小波變換本身帶來的振鈴效應(yīng)[9]，并且該方法的融合準(zhǔn)則制定過程中考慮到的因素較少，因此融合結(jié)果中還是存在光譜畸變現(xiàn)象，同時考慮到融合過程中對于全色影像紋理提取的不徹底，導(dǎo)致融合結(jié)果存在紋理信息丟失的情況。基于對上述現(xiàn)象的分析，結(jié)合現(xiàn)有算法的特點，本文提出了基于加權(quán)小波變換和調(diào)制傳遞函數(shù)補償（MTFC）影像復(fù)原的融合方法，通過對比本文算法與現(xiàn)有算法作用于“高分二號”衛(wèi)星在軌影像的結(jié)果發(fā)現(xiàn)，本文算法在色彩保持和紋理細節(jié)保留上都要優(yōu)于現(xiàn)有算法。

1 基于加權(quán)小波變換及MTFC的融合算法

假設(shè)全色影像和多光譜影像配準(zhǔn)精確的情況下，本文提出的算法主要包含以下6個步驟：

1）將IHS變換作用于多光譜真彩色影像，從而獲取真彩色影像的亮度信息；

2）使用不同相位的小波變換分別作用于多光譜影像的亮度分量以及全色影像；

3）構(gòu)建新的融合準(zhǔn)則對步驟2）中獲取的不同相位的小波系數(shù)分別進行融合處理；

4）對不同相位的融合結(jié)果中存在的畸變位置進行定位，以其中一個相位為參考，采用替換原則校正另外一個相位融合結(jié)果中的畸變現(xiàn)象；

5）將 MTFC算法作用于無畸變的亮度成分融合結(jié)果，補償融合過程中造成的紋理細節(jié)信息丟失的現(xiàn)象；

6）對亮度成分的補償結(jié)果與步驟1中提取出來的色相成分、飽和度成分一起進行IHS反變換，從而獲取最終的真彩色融合影像。

文獻[3]提出的 IHS和小波變換相結(jié)合的融合算法需要在進行融合之前對多光譜影像的亮度分量和全色影像進行直方圖匹配處理。如果全色影像獲取的光譜范圍僅僅包含可見光譜段而不包含近紅外譜段，那么此直方圖匹配能夠消除掉兩者之間微小的光譜差異，從而保證融合結(jié)果中色彩畸變的差異達到最小。然而由于全色影像獲取的光譜范圍涵蓋了近紅外譜段，導(dǎo)致了全色影像和多光譜影像的亮度分量之間大部分地物是存在微小的光譜差異，個別地物之間存在巨大的光譜差異，如水或者植被區(qū)域。在這種情況下，對多光譜影像的亮度分量和全色影像進行直方圖匹配處理會產(chǎn)生較大的灰度畸變。為了防止出現(xiàn)上述的灰度畸變，本文提出的方法摒去直方圖匹配處理；另外，為了解決融合中產(chǎn)生的光譜畸變，提出了一個新的自適應(yīng)融合準(zhǔn)則，在該準(zhǔn)則下采用了多相位的小波變換來避免其自身引入的灰度畸變，同時引入了MTFC復(fù)原技術(shù)來補償融合過程中造成的細節(jié)信息損失現(xiàn)象。

1.1 自適應(yīng)融合準(zhǔn)則的構(gòu)建

通常小波變換將一幅影像分為4個部分：一個低分辨率的降采樣影像（LL），3個小波系數(shù)構(gòu)成的頻域影像（HL, HH和LH）。其中HL, HH和LH分別表示原始影像中3個方向的高頻信息。由于LL和HL、HH、LH表示不同的物理意義，因此它們之間的融合準(zhǔn)則應(yīng)該分別制定。對于HL、HH、LH而言，系數(shù)越大包含的細節(jié)信息越多，該部分融合準(zhǔn)則應(yīng)該以取最大值為基準(zhǔn)，對于 LL而言，它不僅包含影像中的紋理信息還包含有光譜信息，因此該部分的融合準(zhǔn)則應(yīng)兼顧紋理和光譜，取兩者的最優(yōu)值?；谏鲜龇治觯疚奶岢隽艘粋€自適應(yīng)的融合準(zhǔn)則，如式（1）所示：

從圖1可以發(fā)現(xiàn)，融合后水域區(qū)域的顏色保持了原始多光譜影像中水域的真實顏色，有效防止了融合后色彩畸變的發(fā)生。但是，同時也可以發(fā)現(xiàn)，融合后存在紋理畸變，如圖1中黃色矩形區(qū)所標(biāo)。為了消除上述紋理畸變，本文算法同時也引入了多相位小波變換的技術(shù)。

圖1 采用本文融合準(zhǔn)則融合后的影像與原始影像對比Fig.1 Fusing result by using our proposed fusion scheme

1.2 多相位小波變換方法

由于離散小波變換自身的特性，任何對于小波系數(shù)的替換都會引入紋理畸變[10]。為了解決上述問題，作者利用大量的衛(wèi)星影像進行試驗，通過試驗發(fā)現(xiàn)紋理畸變發(fā)生的位置和離散小波變換的初始相位密切相關(guān)，即不同的初始相位會產(chǎn)生不同位置的紋理畸變。另外，融合后的紋理畸變主要分為兩類：一類灰度躍變?yōu)檩^大的強畸變[11]，一類灰度躍變?yōu)檩^小的弱畸變。強畸變發(fā)生的位置整體呈現(xiàn)的規(guī)律不明顯，而弱畸變的位置是絕對固定的。因此為了避免影像中的紋理畸變，只需自動檢測出強畸變的位置并進行替換，同時將固定位置的弱畸變進行替換即可。強畸變的檢測試驗見圖2。圖3為圖2（a）中0相位的小波變換獲取的融合列均值灰度變化曲線圖。

圖3中的列均值變化曲線的計算方法如式（3）所示：

式中 R表示灰度變化；Ii(x，y)表示第i波段、像素位置為(x，y)處的灰度值；M和N表示影像的寬和高。

圖2 采用多相位小波變換獲取的融合影像Fig.2 Fusing result by adopting multi-phase wavelet transformation

圖3 圖2(a)的列均值灰度變化曲線圖Fig.3 Variation of grayscale value in horizontal direction of Fig.2 (a)

通過圖3很容易獲取到灰度躍變最大的點，從而探測出影像中的強畸變處的位置，然后利用非零相位小波變換獲取的融合后影像的無畸變成分替換利用零相位小波變換獲取的融合后影像的畸變成分，從而達到畸變抑制的目的。

1.3 MTFC影像復(fù)原方法

由于融合后影像信息既來自于多光譜影像又來自于全色影像，全色影像中的紋理信息并不能完全被注入到融合后影像中，因此融合方法不可避免的會引起紋理信息丟失的現(xiàn)象。通過比較圖1中IKONOS全色影像和融合后影像亮度分量的MTF可以發(fā)現(xiàn)，融合后影像亮度分量的MTF值明顯要小于原始全色影像的MTF值，如圖4所示。

MTF曲線的第8個點即為奈奎斯特頻率處的點。如圖4所示，融合后影像亮度分量的所有MTF值均小于全色影像的MTF值。MTF值越小表明影像高頻信息丟失越嚴(yán)重[12]，因此在影像融合后對影像進行復(fù)原處理是十分必要的?？紤]到MTFC是一個有效的定量復(fù)原影像細節(jié)信息的方法[13]，因此本文引入現(xiàn)有的MTFC技術(shù)到融合過程中來提高融合影像的成像品質(zhì)。MTFC復(fù)原的關(guān)鍵在于復(fù)原模型的選取，由于本文中MTFC的作用是輕度復(fù)原融合影像中丟失的細節(jié)信息，因此本文采用通用的維納濾波模型作為復(fù)原模型。

圖4 融合影像和原始全色影像的MTF測量結(jié)果比較Fig.4 MTF measurement between fused image and original panchromatic image

2 試驗結(jié)果與分析

為了驗證本文算法的有效性，選取了“高分二號”衛(wèi)星北京紫禁城區(qū)域的全色影像和多光譜影像。“高分二號”衛(wèi)星是我國第一顆亞米級國產(chǎn)高分辨率衛(wèi)星，其全色分辨率達到0.8m，該衛(wèi)星搭載有全色/多光譜兩臺相機，于2014年8月19號成功發(fā)射，并于2015年3月10號正式投入使用。試驗將本文算法作用于“高分二號”衛(wèi)星影像的融合結(jié)果與現(xiàn)有使用較多的 IHS融合方法、主成分分析（Principle component analysis，PCA）融合算法、線性變換融合算法、IHS變換和小波變換相結(jié)合的融合算法、Pansharpen融合算法的結(jié)果進行比較，見圖5。

如圖5所示，采用IHS融合和IHS與小波變換相結(jié)合的融合方法在植被區(qū)域會產(chǎn)生明顯的色彩畸變，如圖 5（c）、（f）中紅色矩形框所示，深綠色變成了青綠色。PCA算法使得整幅影像偏紅，線性融合算法使得整幅影像偏灰暗色，Pansharpen算法雖然沒有引入灰度畸變，但是和本文算法相比，其細節(jié)信息不夠豐富。

為了進一步定量比較幾種融合算法的區(qū)別，可利用式（4）計算定量比較指標(biāo)。具體計算方法為，在原始圖像和融合圖像中選取3×3大小的塊狀區(qū)域，分別覆蓋植被以及城區(qū)內(nèi)地物，通過計算多個小方塊內(nèi)的灰度差異D，色彩保真度S，相似度ρ，并將多個小方塊的值進行平均處理來獲取定量比較的結(jié)果，詳細處理結(jié)果見表1。

式中 D值越小，說明色彩畸變越小[14]；S越大表示色彩畸變越小[15]；ρ越大表示丟失的細節(jié)信息越多；P表示原始全色影像的灰度值；I表示原始多光譜影像亮度分量的灰度值；F表示融合影像的灰度值；B表示原始多光譜影像的灰度值；q表示多光譜影像含有的波段數(shù)；和分別表示融合結(jié)果影像亮度分量和全色影像的灰度均值；M和N 表示影像的寬和高。

表1 定量比較結(jié)果Tab. 1 Results of quantitative measurement

為了更加充分的驗證本文算法的有效性，主要比較了容易發(fā)生色彩畸變的植被區(qū)域和一般不發(fā)生色彩畸變的城市區(qū)域。從表1中可以發(fā)現(xiàn)，無論是植被區(qū)域還是城市區(qū)域，本文算法的色彩保真度最大，灰度差異最小，這說明了本文算法色彩畸變最小的特性，同時本文算法的相似度最小，這說明了本文算法的細節(jié)保持度最優(yōu)的特性。

3 結(jié)束語

本文通過分析現(xiàn)有的使用較多的IHS和小波變換相結(jié)合融合算法，同時分析了現(xiàn)有的全色影像和多光譜影像的光譜特性關(guān)系，提出了一種新的基于加權(quán)小波變換和MTFC的多光譜影像融合方法。該方法提出了一種新的融合準(zhǔn)則，同時結(jié)合小波變換的特性引入了多相位小波變換的方法來抑制小波變換帶來的紋理畸變，最后本文方法引入了MTFC復(fù)原來恢復(fù)融合過程中損失的高頻信息。并利用“高分二號”衛(wèi)星影像進行了驗證，無論是從目視效果還是定量比較結(jié)果來看，本文算法都優(yōu)于現(xiàn)有的工程應(yīng)用中使用較為成功的方法。

致謝：感謝中國資源衛(wèi)星應(yīng)用中心提供的“高分二號”衛(wèi)星影像。

References)

[1] Rahmani S, Strait M, Merkurjev D, et al. An Adaptive IHS Pan-sharpening Methods[J]. IEEE Transaction on Geoscience and Remote Sensing Letters, 2010, 7(4): 746-750.

[2] TU T M, HUANG P S, HUNG C L, et al. A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J]. IEEE Transaction on Geoscience and Remote Sensing Letters, 2004, 1(4): 309-312.

[3] ZHANG Y, HONG G. An IHS and Wavelet Integrated Approach to Improve pan-sharpening Visual Quality of Natural Color IKONOS and QuickBird Images[J]. Information Fusion, 2004, 6(1): 225-234.

[4] Mezouar M C, Taleb N, Kpalma K, et al. An IHS-based Fusion for Folor Distortion Reduction and Plant Enhancement in IKONOS Imagery[J]. IEEE Transaction on Geoscience and Remote Sensing, 2011, 49(5): 1590-1602.

[5] Yocky D A. Multi-resolution Wavelet Decomposition Image Merger of Landsat Thematic Mapper and SPOT Panchromatic Data[J]. Photogrammetric Engineering and Remote Sensing, 1996, 62(3): 295-303.

[6] Aiazzi B, Alparone L, Baroni S, et al. Context-driven Fusion of Spatial and Spectral Resolution Images Based on Oversampled Multi-resolution Analysis[J]. IEEE Transaction on Geoscience and Remote Sensing, 2002, 40(10): 2300-2312.

[7] SHI W Z, ZHU C Q, ZHU C Y, et al. Multi-band Wavelet for Fusing SPOT Panchromatic and Multispectral Images[J]. Photogrammetric Engineering and Remote Sensing, 2003, 69(5): 513-520.

[8] HONG G, ZHANG Y, Mercer B. A Wavelet and HIS Integration Method to Fuse High Resolution SAR with Moderate Resolution Multi-spectral Images[J]. Photogrammetric Engineering & Remote Sensing, 2009, 75(10): 1213-1223.

[9] Mahmood A, Tudor P M, Oxford W. Applied Multi-dimensional Fusion[J]. The Computer Journal, 2007, 50(6): 646-659

[10] LI Y F, FENG X Y, FAN Y. Investigation of Shift Dependency Effects on Multiresolution-based Image Fusion Performance[J]. Journal of Software, 2011, 6(3): 475-482.

[11] LEE D, YANG J, Seo D. Image Restoration of the Asymmetric Point Spread Function of a High-resolution Remote Sensing Satellite with Time-delayed Integration[J]. Advanced in Space Research, 2011, 47(4): 690-701.

[12] Gruen A. Development and Status of Image Matching in Photogrammetry[J]. The Photogrammetric Record, 2012, 27(137): 36-57.

[13] HUANG B, SONG H. Spatiotemporal Reflectance Fusion via Sparse Representation[J]. IEEETransactions on Geoscience and Remote Sensing, 2012, 50(10): 3707-3716.

[14] HUANG C, ZHANG L, FANG J, et al. A Radiometric Calibration Model for the FieldImaging Spectrometer System[J]. IEEE Transactions on Geoscience and RemoteSensing, 2013, 51(4): 2465-2475.

[15] KANG L W, Hsu C Y, CHEN H W, et al. Feature-based Sparse Representation Forimage Similarity Assessment[J]. IEEE Transactions on Multimedia, 2011, 13(5): 1019-1030.

An Image Fusion Method Based on Multi-phase Wavelet Transformation and MTFC Restoration

ZHANG Bingxian HE Hongyan LI Yan

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

Image fusion is an important tool to fuse high spectral and high spatial information into one image for image interpretation and target recognition in remote sensing application. To date, many image fusion methods have been developed, among which IHS technique is the most widely used, and the wavelet fusion is the most frequently discussed in recent publications due to its obvious advantages. However, the available methods can hardly produce a satisfactory fusion result, in which spectral and spatial distortions often take place, especially when spectral properties of the same surface features are different between natural color images and panchromatic ones. To solve the problem, we propose a new method by introducing a multi-phase approach to restrain spatial distortion caused by the shift variant attribution of wavelet transformation. With suitable rules of fusion, the method uses modulation transfer function compensation (MTFC) to restore details, so that the spectral distortion can be avoided. The performance of the method was evaluated with standard images from GF-2 satellite. It was proven that the method could improve the fusion quality significantly in comparison with conventional fusion methods.

multi-phase wavelet transformation; image restoration; self-adaption fusion; space remote sensing

P236

A

1009-8518(2015)02-0069-08

10.3969/j.issn.1009-8518.2015.02.010

張炳先，男，1986年生，2014年獲武漢大學(xué)攝影測量與遙感博士學(xué)位，工程師。研究領(lǐng)域為衛(wèi)星影像處理。E-mail：zbx@whu.edu.cn。

2015-01-03