王 歐，羅小波

基于細節(jié)信息提取的全色與多光譜圖像融合方法

王 歐，羅小波

（重慶郵電大學 空間大數(shù)據(jù)智能技術重慶市工程研究中心，重慶 400065）

全色（Panchromatic, Pan）圖像與多光譜（Multi-spectral, MS）圖像融合的目的是生成具有高空間分辨率的多光譜圖像。為了進一步提升融合圖像的質量，提出一種基于細節(jié)信息提取的融合方法。首先，使用滾動引導濾波器與差值運算分別獲取Pan與MS的高頻分量。其次，采用自適應強度-色度-飽和度（Adaptive Intensity-Hue-Saturation，AIHS）變換處理MS的高頻分量與經(jīng)像素顯著性檢測后Pan的高頻分量，生成對應的強度分量（Intensity，I），再將Pan與I作差值運算獲取細節(jié)圖像。接著，采用引導濾波器計算Pan與MS的高頻分量的差值，得到殘差圖像。最后，利用最速下降法將細節(jié)圖像與殘差圖像注入到原始的MS圖像中獲得最終融合結果。實驗結果表明，本文所提算法得到的融合圖像能夠取得較好的主觀視覺效果，且客觀定量評價指標較優(yōu)。

AIHS變換；引導濾波；滾動引導濾波；遙感圖像融合

0 引言

隨著衛(wèi)星傳感器技術的不斷發(fā)展，遙感數(shù)據(jù)獲取能力進一步提升。受限于成像機理，衛(wèi)星很難獲得同時具有高空間分辨率和高光譜分辨率的遙感圖像[1]。當下，大多數(shù)衛(wèi)星都能同時提供單波段的全色圖像和多波段的多光譜圖像。全色圖像具有較高的空間分辨率和較低的光譜分辨率，而多光譜圖像具有較低的空間分辨率和較高的光譜分辨率。為了更好地集成兩類圖像的互補信息，可以通過全色銳化（Pansharpening）的技術對其進行融合，以獲取具有高空間分辨率的多光譜圖像。融合后的圖像在精準農(nóng)業(yè)、資源調查、環(huán)境監(jiān)測、軍事國防等領域可以發(fā)揮重要作用[2]。

全色銳化主要有3種方式[3]：基于成分替換的方法（Component Substitution，CS）、基于多分辨率分析的方法（Multiresolution Analysis，MRA）以及基于變分優(yōu)化的方法（Variational Optimization，VO）。其中，CS方法的基本思想是通過從PAN圖像中提取高頻細節(jié)信息并將其注入到MS圖像中[4]，其代表性算法有：主成分分析法、施密特正交化方法等。通常，此類方法具有較低的時間復雜度但卻容易引起光譜畸變，其原因在于該類融合算法未充分考慮光譜信息的保留問題。基于MRA的方法首先使用金字塔或小波變換將原圖像分解到多個尺度，然后采用恰當?shù)娜诤弦?guī)則對各個尺度的子帶圖像進行融合，最后利用逆變換得到融合圖像[5]，其代表性算法有：à trous小波變換、非下采樣輪廓波變換等。從整體上來看，由于此類方法考慮了圖像中地物的各向異性，因此該類方法通常能夠保持較好的光譜信息，然而其融合結果的質量嚴重依賴于融合規(guī)則、分解層數(shù)與方向數(shù)?；赩O的模型是一種重要的全色銳化方法[6]，它通常包含能量泛函的設計與求解兩部分，其代表性算法有：P+XS、交替變分小波融合算法等。該類方法雖有較好的保真度，但其計算過程復雜且時間成本較高。

為了提取精細的空間結構信息，本文在考慮了多光譜圖像在不同波段間存在差異性的基礎上提出一種基于細節(jié)信息提取的融合方法。該方法首先通過滾動引導濾波器提取低頻圖像，并利用差值運算獲取高頻細節(jié)圖像；接著采用自適應強度-亮度-飽和度（Adaptive Intensity-Hue-Saturation，AIHS）算法與差值運算獲取初始細節(jié)圖，再借鑒引導濾波器所具有的特征轉移特性提取細節(jié)殘差圖；最后通過最速下降法將所有的細節(jié)圖都注入到原多光譜中生成高保真的融合圖像。

1 相關理論

1.1 AIHS變換

IHS變換法可以對多光譜圖像的空間信息和光譜信息進行有效分離。其基本原理為：將多光譜圖像從RGB空間投影到IHS空間，其中代表原RGB圖像的亮度分量，也就是空間結構信息分量，而和兩個分量共同表示MS圖像的光譜信息。其亮度分量可以通過下式進行估算[7]：

式中：代表多光譜圖像的波段數(shù)；的取值通常為1/[8]；MS代表多光譜圖像的第個通道。然而，盡管該方法能夠很好地提取空間細節(jié)信息但卻忽略了光譜信息丟失問題。因此，為了進一步解決光譜失真問題，有學者使用了AIHS[9]的方法，通過結合全色圖像，其可以由如下方程獲得：

式中：代表全色圖像。當求解出自適應因子后，最終融合結果可以表示為：

F＝MS＋(3)

式中：F代表第個波段的融合結果圖像；為與的差值。

1.2 引導濾波

引導濾波（Guided Filter，GF）是一種基于局部線性模型的濾波方法。與其他種類的濾波處理方式不同，它著重于將導向圖像的特征注入到輸入圖像中[10]。因此，GF不僅可以保留原輸入圖像的總體特征，還可以起到增強邊緣細節(jié)的作用。目前，它已經(jīng)廣泛應用于許多圖像處理場景，例如圖像融合與細節(jié)增強等[11]。在數(shù)學表達上，給定輸入圖像和引導圖像，則輸出圖像可以表示為：

式中：GF(×)代表引導濾波操作；為濾波窗口大小。

1.3 滾動引導濾波

滾動引導濾波（Rolling Guidance Filter, RGF）是Zhang[12]等提出的一種具有尺度感知能力的高效濾波器。相對于引導濾波器和雙邊濾波器而言，它不僅具有邊緣保持的特性還兼具尺度感知功能。其整體工作流程可以分為兩個步驟：小尺度結構平滑和大尺度結構邊緣恢復[13]。

1）小尺度空間結構信息平滑過程：使用高斯濾波器過濾圖像的小結構信息，如輪廓、紋理等。對輸入圖像與輸出圖像，則其實現(xiàn)過程可以寫成如下形式：

式中：為歸一化因子；代表以像素為中心點的相鄰像素集合；是鄰域塊中的像素點；s為空間標準差，其取值控制著濾波尺度大小。

2）大尺度結構邊緣迭代恢復過程：使用雙邊濾波器經(jīng)次迭代逐步恢復空間細節(jié)信息，其迭代過程如下所示：

式中：f＋1為次迭代邊緣恢復后得到的輸出圖像；f為經(jīng)式(8)得到的濾波結果；r為高斯函數(shù)在灰度域的權重參數(shù)。結合公式(8)～公式(11)，可以將滾動引導濾波的迭代濾波過程歸納為如下形式：

式中：RGF(×)代表滾動引導濾波操作。

2 融合步驟與框架

本文所提算法的流程圖如圖1所示，其具體步驟為：

1）考慮到MS圖像的不同波段間存在一定差異性，假設MS圖像的波段數(shù)為，為了方便后續(xù)處理，首先將Pan圖像構造成維圖像，其中任意維圖像均與原Pan圖像相同。

2）將1）中的維Pan圖像與MS圖像進行逐波段直方圖匹配可以得到經(jīng)直方圖匹配后的維Pan圖像，記作Pans。

3）將Pans與原多光譜圖像利用式(12)進行迭代濾波獲得低通圖像PanL與MSL，接著通過差分運算獲取各自的高頻細節(jié)分量，其計算方式如下：

PansL＝RGF(Pans,s,r,) (13)

MSL＝RGF(MS,s,r,) (14)

PansH＝Pans－PansL(15)

MSH＝MS－MSL(16)

式中：PansH代表Pans的高頻細節(jié)分量；MSH代表MS的高頻細節(jié)分量。

4）將PansH經(jīng)像素顯著性判斷法獲取精細的單波段細節(jié)圖像PanH，受啟發(fā)于多分辨率分析模型中系數(shù)絕對值取大的融合規(guī)則，本文將顯著性判斷法定義為：

式中：x, y為圖像PanH的橫縱坐標；max(abs(×))代表絕對值取大運算。而后將PanH與經(jīng)式(16)運算獲得的MSH通過式(1)與式(2)估算出高頻亮度分量IH。

5）提取PanH相對于H額外擁有的細節(jié)信息init，其實現(xiàn)過程可以通過下式表示：

式中：代表第個波段，其取值范圍為1～。

6）由于引導濾波器具有優(yōu)秀的細節(jié)轉移特性，本文利用引導濾波器與差值運算提取多級細節(jié)殘差Res，再結合Res與經(jīng)式(18)獲取的初始細節(jié)信息圖init得到最終的細節(jié)圖final，其數(shù)學表達如下：

式中：F為第個波段的融合結果；D是經(jīng)細節(jié)增強后的細節(jié)圖。由于通過步驟3）消除了低頻信息影響后，融合結果圖像與原多光譜圖像具有相同的光譜特征，因此在步驟4）中通過AIHS算法估算高頻亮度分量H時求得的自適應因子不必更新[14]。其中，D可以通過式(23)中的最速下降法[15]聯(lián)合式(24)中的最小化差異函數(shù)進行估算：

式中：為步長；初始時D(0)取值為final。

8）獲得細節(jié)增強后的細節(jié)圖D后。根據(jù)式(3)，其融合結果可以改寫為下式：

F＝MS＋D(25)

式中：F代表具有高空間分辨率的多光譜圖像；MS與D分別代表原多光譜圖像與最終細節(jié)圖的第個波段。

3 實驗結果與分析

為了驗證所提算法的有效性，分別從GeoEye1、WV2、WV3上選擇4組數(shù)據(jù)進行融合實驗。并通過直觀視覺與客觀評價兩個方面對各個融合算法進行有效評估。由于缺乏真實參考圖像進行定量評價，因此本實驗遵循Wald協(xié)議[16]，將經(jīng)下采樣再上采樣的MS圖像與下采樣的Pan圖像作為輸入，再將原MS圖像作為參考圖像。其中，本實驗中全色圖像大小為256×256像素，多光譜圖像大小為64×64像素，重采樣方法為雙三次插值法，其權重參數(shù)分別設置為：s＝2.2，r＝1.2，＝4，＝16，＝0.01。

本文選擇8種經(jīng)典、主流的融合算法與所提算法進行對比，分別為：亮度-色度-飽和度調制法、調制傳遞函數(shù)與廣義拉普拉斯金字塔相結合的方法（Modulation Transfer Function_Generalized Laplacian Pyramid，MTF-GLP）、局部參數(shù)估計的帶相關空間細節(jié)融合法（Band Dependent Spatial Detail with Local Parameter Estimation，BDSD）、比值變換（Brovey Transform，BT）、非下采樣輪廓波變換與稀疏表示相結合的方法（Non-subsampled Contourlet Transform and Sparse Representation，NSCT-SR）、亮度平滑濾波調制（Smoothing Filter-based Intensity Modulation，SFIM）、雙樹復小波變換融合法（Dual-tree Complex Wavelet Transform，DTCWT）以及基于上下文決策的多尺度分析方法（Context-Based Decision，CBD）。為了更好地體現(xiàn)本文所提方法的效果，8種對比算法的實驗參數(shù)均設置為最佳。所有實驗均在Windows10操作系統(tǒng)下Matlab 2016軟件中完成，并在具有32GB RAM且CPU為Intel（R）3.70GHz的電腦中運行。

3.1 主觀評價

圖2、圖3為WV3數(shù)據(jù)融合結果圖像，分別記為WV3-Ⅰ、WV3-Ⅱ，圖4為GeoEye1圖像的融合結果，WV2數(shù)據(jù)的融合結果如圖5所示。從圖2～圖5(d)中可以看到，由IHS變換融合方法獲得的結果圖像能夠保持較好的空間結構，但其色調偏暗，說明該算法丟失了較多原多光譜圖像的光譜特征從而導致了全局性的光譜扭曲。由SFIM算法獲得的融合圖像在圖3(e)、圖4(e)中均能取得不錯的視覺效果，對比度鮮明且層次感較好，然而通過對比圖2(c)中的參考圖像可以看出，圖2(e)中的水體邊緣處存在明顯的偽影，而圖5(e)與原MS圖像相比則存在明顯的光譜失真現(xiàn)象。BDSD算法獲得的融合結果雖然能夠較好地保留空間細節(jié)信息，但從圖2(f)處的綠色植被處可以看到此處存在輕微的光譜信息丟失問題，而圖5(f)中的道路兩側則存在過度銳化問題，其原因在于該算法從Pan圖像中提取了較多的空間細節(jié)信息。對于BT算法而言，通過圖2～圖5(g)可以看出在4組實驗結果中都出現(xiàn)了局部性的光譜失真，如圖4(g)中偏深藍色的規(guī)整田地塊及圖5(g)中呈紫色的道路側。

DTCWT算法從總體上看表現(xiàn)一般，從圖2(h)中可以明顯看到其綠色植被的顏色整體偏淡，圖5(h)的融合質量略優(yōu)于IHS算法，但光譜失真依然嚴重。由NSCT-SR算法融合得到的結果輪廓模糊、清晰度較低且出現(xiàn)了全局性光譜畸變，通過目視解譯看來，其融合結果質量相比于DTCWT算法更差。由MTF-GLP和CBD算法得到的融合結果都在一定程度上提高了原多光譜圖像的空間分辨率，且并未出現(xiàn)明顯的光譜失真現(xiàn)象，其融合圖像的信息相對豐富且不存在明顯結構性誤差，通過圖5(j)和圖5(k)中的建筑物頂部和道路兩側的色調可以看出，CBD算法能夠更多地保留光譜信息，因此CBD算法相對穩(wěn)定。本文算法如圖2～圖5(l)所示，由圖2(l)中可以看出地物邊界信息飽滿，整體色調保持較好，無明顯振鈴效應。圖3(l)空間信息保持良好，但在操場與房頂處丟失了部分光譜信息，視覺效果相對較優(yōu)。圖4(l)在光譜保真方面較優(yōu)，相比于CBD算法而言，本文算法沒有細節(jié)信息注入過度的風險。圖5(l)的空間細節(jié)清晰度較高，相比其他算法而言，圖5(l)保持了多光譜圖像的絕大部分光譜特征，且在空間細節(jié)的提升方面仍具有競爭力?？傮w來說，本文提出的方法在細節(jié)信息改善與光譜信息保真方面表現(xiàn)良好。

圖2 WV3-Ⅰ 融合結果

圖3 WV3-Ⅱ 融合結果

圖4 GeoEye1融合結果

圖5 WV2融合結果

3.2 客觀評價

為了客觀地評價各個融合結果的準確性，本文采用空間相關系數(shù)（Spatial Correlation Coefficient，SCC）、結構相似性（Structure Similarity Index，SSIM）、相對平均光譜誤差（Relative Average Spectral Error，RASE）、相對無量綱的全局誤差（Erreur Relative Globale Adimensionnelle de Synthese，ERGAS）、光譜角映射（Spectral Angle Mapper，SAM）、通用圖像質量指數(shù)（Universal Image Quality Index，UIQI）、相關系數(shù)（Correlation Coefficient，CC）、均方根誤差（Root Mean Squared Error，RMSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）9個指標在空間、光譜和整體一致性上對各融合算法進行定量評價。表1～表4分別對應圖2～圖5的客觀評價結果。為了方便觀察，將表中每一列的最優(yōu)評價結果以加粗形式展示。

表1 WV3-Ⅰ的定量評價結果

表2 WV3-Ⅱ的定量評價結果

其中，表1和表2是WV3衛(wèi)星的定量評價結果。從表中可以看出，BT算法在SAM指標上總能取得最優(yōu)值，但在RASE等指標上卻沒有明顯優(yōu)勢，說明該算法在光譜保持方面還有待提高。IHS變換法在絕大部分指標上均未取得較好的效果，說明其保真性整體偏差。CBD、SFIM以及MTF-GLP融合算法整體表現(xiàn)較好，通過SCC與ERGAS可以看出這些算法空間結構維持較好且光譜扭曲度較低，但它們仍有進一步提升的空間。通過SCC與SSIM指標可以看出BDSD算法能夠保持較好的細節(jié)信息，但ERGAS較大，說明光譜特征保持力較差。對于NSCT-SR算法而言，其在SAM上表現(xiàn)一般，而在其余指標的表現(xiàn)與BT算法整體相當。本文算法雖在SAM指標上表現(xiàn)一般，但在ERGAS、RASE等衡量光譜信息的指標上表現(xiàn)良好，因此從總體上看來，本文算法可以提高多光譜的空間分辨率，同時由于本算法消除了低頻分量的影響，所以能在一定程度上克服光譜扭曲問題。

表3、表4分別為GeoEye1與WV2兩組遙感圖像關于上述幾種融合方法的定量評價。從這兩個表中可以看出，本文所提方法除了在WV2數(shù)據(jù)的SCC指標上取得次優(yōu)值外，在其余指標上均取得最優(yōu)值，這也與主觀視覺評價相符。從整體來看，MTF-GLP算法能在GeoEye1數(shù)據(jù)上取得次優(yōu)值，而BDSD算法能在WV2上取得次優(yōu)值，以此說明這兩種算法并不具有較強的魯棒性。通過以上各個評價指標也可以看出，BT、IHS以及NSCT-SR算法總體結果偏差，說明它們都在不同程度上丟失了光譜或細節(jié)信息。從RASE等指標來看，CBD算法可以在一定程度降低光譜扭曲度，但是該算法在CC、SSIM等可以對圖像的空間、光譜信息進行綜合衡量的指標上并不具有明顯優(yōu)勢。從UIQI、PSNR等指標可以看到，由SFIM算法得到的融合圖像富含豐富的信息，但其在空間結構保持方面仍有待提高。NSCT-SR融合算法在CC、SSIM兩個指標上表現(xiàn)偏差，說明與參考圖像相比，其整體相關度偏低，同時，通過RASE及SCC可以分析出，該方法容易出現(xiàn)光譜失真、細節(jié)信息不豐富的問題。綜上所述，相比其它融合算法而言，本文所提方法更具優(yōu)勢。

表3 GeoEye1的定量評價結果

表4 VW2的定量評價結果

4 結論

本文提出一種基于細節(jié)信息提取的遙感圖像融合方法?？紤]到多光譜圖像波段之間的差異性，本文首先以多光譜圖像的波段數(shù)為基準將全色圖像構造成多波段圖像，再將多波段的全色圖像與多光譜圖像進行逐波段直方圖匹配以降低光譜失真。隨后，通過RGF與AIHS算法提取多級細節(jié)圖，接著利用GF逐波段提取殘差。最后通過最速下降法獲取增強細節(jié)圖并注入到原多光譜圖像中得到最終融合結果。本文將所提算法與8種經(jīng)典、主流算法在GeoEye1、WV2及WV3三個數(shù)據(jù)集上進行了對比實驗，其實驗結果表明，本文算法在主觀評價與客觀指標上均有一定優(yōu)勢，能夠在提高空間分辨率的同時較好地維持光譜特征。

[1] 王芬, 郭擎, 葛小青. 深度遞歸殘差網(wǎng)絡的遙感圖像空譜融合[J]. 遙感學報, 2021, 25(6): 1244-1256. WANG F, GUO Q, GE X Q. Pan-sharpening by deep recursive residual network[J]., 2021, 25(6): 1244-1256.

[2] 李樹濤, 李聰妤, 康旭東. 多源遙感圖像融合發(fā)展現(xiàn)狀與未來展望[J]. 遙感學報, 2021, 25(1): 148-166.

LI S T, LI C Y, KANG X D. Development status and future prospects of multi-source remote sensing image fusion[J]., 2021, 25(1): 148-166.

[3] MENG X, SHEN H, LI H, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis: practical discussion and challenges[J]., 2019, 46: 102-113.

[4] 陳毛毛, 郭擎, 劉明亮, 等. 密集卷積殘差網(wǎng)絡的遙感圖像融合[J]. 遙感學報, 2021, 25(6): 1270-1283.

CHEN M M, GUO Q, LIU M L, et al. Pan-sharpening by residual network with dense convolution for remote sensing images[J]., 2021, 25(6): 1270-1283.

[5] YANG Y, LU H, HUANG S, et al. Pansharpening based on joint-guided detail extraction[J]., 2021, 14: 389-401.

[6] YANG Y, WAN C, HUANG S, et al. Pansharpening based on low-rank fuzzy fusion and detail supplement[J]., 2020, 13: 5466-5479.

[7] TU T M, HUANG P S, HUNG C L, et al. A fast intensity–hue–saturation fusion technique with spectral adjustment for IKONOS imagery[J]., 2004, 1(4): 309-312.

[8] 陳應霞, 陳艷, 劉叢. 遙感影像融合AIHS轉換與粒子群優(yōu)化算法[J]. 測繪學報, 2019, 48(10): 1296-1304.

CHEN Y X, CHEN Y, LIU C. Joint AIHS and particles swarm optimization for pan-sharpening[J]., 2019, 48(10): 1296-1304.

[9] Rahmani S, Strait M, Merkurjev D, et al. An adaptive IHS pan-sharpening method[J]., 2010, 7(4): 746-750.

[10] 王威, 張佳娥. 基于引導濾波和shearlet稀疏的遙感圖像融合算法[J].計算機工程與科學, 2018, 40(7): 1250-1255.

WANG W, ZHANG J E. A remote sensing image fusion algorithm based on guided filtering and shearlet sparse base[J]., 2018, 40(7): 1250-1255.

[11] JIAN L, YANG X, WEI W, et al. Pansharpening using a guided image filter based on dual-scale detail extraction[J/OL]., 2018: 1-15,https://doi.org/ 10.1007/s12652-018-0866-4.

[12] ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//, 2014: 815-830.

[13] 陳峰, 李敏, 馬樂, 等. 基于滾動引導濾波的紅外與可見光圖像融合算法[J]. 紅外技術, 2020, 42(1): 54-61.

CHEN F, LI M, MA L, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]., 2020, 42(1): 54-61.

[14] LI Q, YANG X, WU W, et al. Pansharpening multispectral remote‐sensing images with guided filter for monitoring impact of human behavior on environment[J]., 2018, 33(4): e5074.

[15] Kalpoma K A, Kawano K, Kudoh J I. IKONOS image fusion process using steepest descent method with bi-linear interpolation[J]., 2013, 34(1-2): 505-518.

[16] Wald L, Ranchin T, Mangolini M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]., 1997, 63(6): 691-699.

Panchromatic and Multispectral Images Fusion Method Based on Detail Information Extraction

WANG Ou，LUO Xiaobo

(Chongqing Engineering Research Center of Space Big Data Intelligent Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

The fusion of panchromatic images (Pan) and multi-spectral images (MS) is designed to generate multi-spectral images with high spatial resolution. A fusion method based on detailed information extraction is proposed to improve the quality of the fused images. First, the high-frequency components of Pan and MS are obtained by a rolling guidance filter and margin calculation, respectively. Second, the adaptive intensity-hue-saturation (AIHS) transform is used to process the high-frequency components of MS and Pan, determined by the pixel significance, to generate the corresponding intensity component (I, intensity). Then, the difference between Pan and I is calculated to obtain the detailed image. Then, the residual image is obtained by calculating the difference between the high-frequency components of Pan and MS with a guided filter. Finally, the detailed and residual images are integrated with the original MS image using the steepest descent method to obtain the final fusion result. The experimental results demonstrate that the fused images obtained by the proposed algorithm can achieve better subjective visual effect. Simultaneously, the objective evaluation indicators are better.

AIHS transform, guided filter, rolling guidance filter, remote sensing image fusion

TP751

A

1001-8891(2022)09-0920-09

2022-01-04；

2022-02-09 .

王歐（1994-），男，碩士，主要從事遙感圖像融合相關方面研究。E-mail:1004553012@qq.com。

羅小波（1975-），男，博士，教授，主要從事遙感圖像處理、城市熱紅外遙感和生態(tài)環(huán)境監(jiān)測等研究。E-mail: luoxb@cqupt.edu.cn。

國家自然科學基金資助項目（41871226）；重慶市高技術產(chǎn)業(yè)重大產(chǎn)業(yè)技術研發(fā)項目（D2018-82）。