姚 杰，侯至群，朱大明，阮理念，付志濤

（1.昆明理工大學(xué) 國土資源工程學(xué)院，云南 昆明 650221；2.昆明市測繪研究院，云南 昆明 650051）

0 引言

高分辨率圖像在國土空間規(guī)劃、環(huán)境監(jiān)測、場景解譯、目標(biāo)識別等領(lǐng)域均起到非常重要的作用，但由于傳感器技術(shù)限制，目前無法獲得既保留多光譜信息，又具有高分辨的空間細(xì)節(jié)信息的圖像。

圖像融合方法包括基于分量替換、多分辨率分析（MRA）、稀疏表示［1-2］及深度學(xué)習(xí)方法［3-4］。其中，基于多分辨率分析是目前的研究熱點，由拉普拉斯金字塔和小波變換衍生而來［5］，但小波變換存在方向限制、混疊等缺點。為了解決該問題，不少學(xué)者提出曲波變換［6］、輪廓波變換［7］、剪切波變換［8］等多尺度分解方法。然而，該方法不具有平移不變性，在融合圖像邊緣時會發(fā)生偽吉布斯現(xiàn)象。

非下采樣輪廓波變換（Non-subsampling Contourlet Transform，NSCT）［9-10］和非下采樣剪切波變換（Non-subsampling Shear let Transform，NSST）［11-12］相較于NSCT 的計算量更少，又因其平移不變性受到廣泛研究。例如，吳一全等［13］提出一種混沌蜂群優(yōu)化的NSST 域融合方法。蕭明偉等［14］對低頻子帶采用區(qū)域能量平均方法，對高頻子帶采用改進(jìn)拉普拉斯能量和（Sum ModifiedLaplacian，SML）激勵的脈沖耦合神經(jīng)網(wǎng)絡(luò)（Parameter Adaptive Pulse Coupled Neural Network，PCNN）方法融合孔徑雷達(dá)圖像與光學(xué)圖像。Wang 等［15］分析NSST 低頻和高頻子帶的方向性和樹狀結(jié)構(gòu)，提出基于方向鄰域和樹狀結(jié)構(gòu)的融合策略。

脈沖耦合神經(jīng)網(wǎng)絡(luò)被稱為第三代人工神經(jīng)網(wǎng)絡(luò)，具有出色的圖像處理特性。例如，神經(jīng)元的全局耦合和脈沖同步，現(xiàn)已被廣泛應(yīng)用于圖像分割、圖像增強(qiáng)、模式識別等領(lǐng)域［16］。Yin 等［17］提出一種紅外和可見光圖像融合算法，利用邊緣梯度確定鏈接系數(shù)，但其他參數(shù)均使用常量。Li等［18］提出一種基于PCNN 的方法融合遙感圖像，并利用圖像清晰度自適應(yīng)設(shè)置網(wǎng)絡(luò)參數(shù)。Wang 等［19］提出一種基于PCNN 的多面自適應(yīng)圖像融合算法，根據(jù)圖像信息自適應(yīng)設(shè)置參數(shù)，但仍需要手動設(shè)置部分參數(shù)。Chen 等［20］提出PAPCNN 模型根據(jù)輸入圖像自適應(yīng)確定模型內(nèi)參，無需人工設(shè)置，在醫(yī)學(xué)圖像融合領(lǐng)域取得了不錯的效果［21］，但在遙感圖像融合中應(yīng)用較少。

引導(dǎo)濾波器（Guided Filtering，GF）是一種局部線性濾波器，具有計算速度快、效率高等優(yōu)勢［22］，但仍屬于局部線性模型，可能會導(dǎo)致暈輪偽影。為此，Kou［23］提出一個梯度域引導(dǎo)濾波器，引入顯式一階邊緣條件約束更好地保留邊緣。Ochotorena 等［24］研究表明，引導(dǎo)濾波器及其衍生產(chǎn)品無法處理高強(qiáng)度的過濾行為，當(dāng)輸入圖像和引導(dǎo)圖像結(jié)構(gòu)不一致時濾波器性能較差，而這些問題的根源來自濾波器采用非加權(quán)平均方法。

為了解決上述問題，本文將多光譜圖像和高空間分辨率的全色圖像進(jìn)行融合，基于MRA 提出一種結(jié)合各向異性梯度域引導(dǎo)濾波器（Anisotropic Gradient Domain Guided Filtering，AnisGGF）和PAPCNN 的NSST 域遙感圖像的融合方法。本文創(chuàng)新點如下：①引入AnisGGF 調(diào)制NSST 域的低頻子帶，在保持最大光譜信息的同時，盡量減少邊緣模糊現(xiàn)象；②引入PAPCNN 模型針對高頻子帶，自適應(yīng)計算模型的相關(guān)參數(shù)；③采用局域方差作為PAPCNN 模型中的鏈接強(qiáng)度，依據(jù)區(qū)域特征自適應(yīng)地調(diào)整鏈接強(qiáng)度；④采用S型函數(shù)解決PCNN 模型負(fù)值丟失現(xiàn)象。

2 相關(guān)理論

2.1 非下采樣剪切波變換

非下采樣剪切波變換（NSST）包括非下采樣多尺度分解和方向局部化兩部分［16］（見圖1）。其中，采用非下采樣金字塔濾波器組實現(xiàn)非下采樣多尺度分解，保證NSST 的多尺度特性，源圖像經(jīng)過k層NSP 分解后得到一個低頻分量和k個高頻子帶分量，（k+1）個和源圖像的大小相同的子帶；采用剪切濾波器組實現(xiàn)方向局部化，首先建立偽極坐標(biāo)系和笛卡爾坐標(biāo)系，然后使用Meyer 窗函數(shù)生成剪切波濾波器組，最后將NSP 分解得到的k個高頻子帶與Meyer窗函數(shù)進(jìn)行卷積操作。

在二維空間中，連續(xù)剪切波變換是復(fù)合小波變換的一種特殊情況，通常被定義為：

Fig.1 Schematic diagram of NSST圖1 NSST示意圖

2.2 各向異性梯度域引導(dǎo)濾波器

首先，定義一個成本函數(shù)：

式中，N（i，j）表示以（i，j）為中心的8 鄰域及中心。設(shè)置加權(quán)平均的目的是為了最大化擴(kuò)散，當(dāng)趨近于0 時擴(kuò)散最大，可建立目標(biāo)函數(shù)：

2.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN［25］是一種具有全局脈沖同步和脈沖耦合的神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器構(gòu)成。點火發(fā)生時間越長，圖像對應(yīng)的像素區(qū)域信息就越多，其表達(dá)式可以寫為：

式中，n為迭代次數(shù)，F(xiàn)ij(n)為神經(jīng)元反饋輸入，Dij為外部輸入，Lij(n)為連接輸入，αL、αθ表示衰減時間常數(shù)，β為神經(jīng)元之間的鏈接權(quán)重，Uij(n)代表神經(jīng)元的內(nèi)在活動，θij(n)為動態(tài)閾值，VL為連接輸入的放大系數(shù)，ωij，pq表示神經(jīng)元的突觸聯(lián)系，Vθ為閾值放大系數(shù)，Yij(n)表示神經(jīng)元的PCNN 輸出脈沖。

如圖2 所示，在原模型中，若Uij(n) ＞θij(n)，神經(jīng)元產(chǎn)生的脈沖值為1，采用S 形函數(shù)計算模型在迭代過程中的點火輸出幅值。T為模型經(jīng)過n次迭代后點火輸出總幅值。

Fig.2 PCNN architecture圖2 PCNN架構(gòu)

3 圖像融合

3.1 融合流程

圖像融合流程如圖3所示，具體步驟如下：

步驟1：將預(yù)處理后的MS 圖像進(jìn)行RGB-YUV 變換，從中提取亮度分量Y，并將PAN 圖像與Y 進(jìn)行直方圖匹配。

步驟2：將匹配后的PAN 圖像進(jìn)行NSST，得到低頻子帶（LY、LP）和高頻子帶（HY、HP）。

步驟3：對于低頻子帶，采用AnisGGF 融合規(guī)則獲得融合后的低頻子帶LF；對于高頻子帶，采用PAPCNN 獲得相應(yīng)方向的高頻子帶HF。

步驟4：對LF、HF進(jìn)行逆NSST，得到Y(jié)'。

步驟5：將Y'與U、V 通道進(jìn)行YUV-RGB 變換得到融合圖像F。

Fig.3 Image fusion process圖3 圖像融合流程

3.2 融合策略

3.2.1 低頻子帶

傳統(tǒng)低頻子帶融合策略通常采用加權(quán)平均方法或基于區(qū)域能量的方法，但存在對比度降低和詳細(xì)信息丟失的現(xiàn)象。此外，系數(shù)選擇偏差也會導(dǎo)致頻譜失真。

為此，本文設(shè)計基于各向異性梯度域GF 的低頻子帶融合規(guī)則，通過NSST 分解的低頻子帶保留原始圖像大部分能量和詳細(xì)的空間信息。首先將PAN 的低頻子帶矩陣LP作為引導(dǎo)；然后利用各向異性梯度域引導(dǎo)濾波器對亮度分量Y 的低頻子帶矩陣LY進(jìn)行空間細(xì)節(jié)優(yōu)化；最后生成融合后的低頻子帶矩陣LF。具體數(shù)學(xué)表達(dá)式如下：

3.2.2 高頻子帶

Chen 等［20］提出PAPCNN 模型根據(jù)輸入圖像自適應(yīng)調(diào)整模型參數(shù)，現(xiàn)已在醫(yī)學(xué)圖像融合領(lǐng)域取得了不錯的效果［21］。為此，本文采用PAPCNN 作為高頻子帶的融合策略，該模型存在5個自由參數(shù)：αf、β、VL、αe和VE。

由式（19）可知，β、VL是的權(quán)值，可看作為一個整體進(jìn)行處理。因此，設(shè)λ=βVL表示加權(quán)連接強(qiáng)度，其他參數(shù)為：

式中，σ（S）表示［0，1］范圍中輸入圖像S 的標(biāo)準(zhǔn)差。S'、Smax分別表示歸一化的Otsu 閾值和輸入圖像的最大強(qiáng)度。

為解決融合高頻子帶時發(fā)生的負(fù)值丟失情況，采用經(jīng)過S形函數(shù)調(diào)制后的高頻子帶作為PCNN 的外部輸入：

由于PCNN 模型參數(shù)中的鏈接強(qiáng)度對融合效果的影響較大。本文采用高頻子帶的區(qū)域方差來決定神經(jīng)元之間的鏈接強(qiáng)度，依據(jù)區(qū)域特征自適應(yīng)調(diào)整鏈接強(qiáng)度。具體數(shù)學(xué)表達(dá)式如下：

其中，T1、T2分別代表P 和Y 的高頻子帶的PCNN 模型輸出。

綜上所述，首先根據(jù)式（25）調(diào)制相同方向的高頻子帶，并將結(jié)果作為PAPCNN 的輸入；然后由局域方差確定的PAPCNN 計算脈沖點火次數(shù)；最后根據(jù)式（26）和高頻子帶的脈沖點火次數(shù)確定融合后的高頻子帶HF。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)及環(huán)境

為分析本文方法的融合性能，選擇GF-2、GF6 和Geo-Eye 共3 種衛(wèi)星的影像作為實驗數(shù)據(jù)集，通過平均梯度（AG）、分辨率（SF）、信息熵（E）、融合質(zhì)量（QAB/F）、基于視覺信息保真度的指標(biāo)（VIFF）和特征互信息（FMI）共6 種指標(biāo)對本文所提方法與SE、NSCT-PCNN、GF 和ISCM 進(jìn)行比較，從主觀視覺和客觀評價指標(biāo)兩個方面對各方法的融合性能進(jìn)行綜合評價。

實驗基于MATLAB R2018b 平臺，CPU 為Intel Core i5-5200U，內(nèi)存為4GB。NSST 分解濾波器為“maxflat”，引導(dǎo)濾波器中的窗口半徑r為2，模糊度?=10-6。PAPCNN 模型迭代次數(shù)設(shè)置為110，W=

4.2 分解層數(shù)設(shè)置

由于NSST 的分解層數(shù)及相應(yīng)的方向數(shù)會影響融合效果，因此通過實驗確定最佳分解層數(shù)，相關(guān)設(shè)置如表1 所示，融合結(jié)果的定量評價指標(biāo)與分解層數(shù)的關(guān)系如圖4所示。

Table 1 Settings of NSST decomposition layers and corresponding directions表1 NSST分解層數(shù)和對應(yīng)方向數(shù)設(shè)置

Fig.4 Influence of decomposition layers on fusion effect圖4 分解層數(shù)對融合效果的影響

由圖4 可見，當(dāng)分解層數(shù)≥4 時，6 項指標(biāo)性能均較優(yōu)，融合效果較好；當(dāng)分解層數(shù)繼續(xù)增大時，融合性能提升不明顯。考慮到分解層數(shù)較多會增加時耗，因此將NSST 的分解層數(shù)設(shè)置為4。

4.3 GF-2衛(wèi)星影像

4.3.1 實驗數(shù)據(jù)

第一組數(shù)據(jù)來自于高分二號衛(wèi)星影像，其全色影像空間分辨率為1m，多光譜影像空間分辨率為4m，本文共裁剪12 組影像進(jìn)行實驗，大小均為512×512 像素，源圖像如圖5所示。

Fig.5 The first group of experimental data圖5 第一組實驗數(shù)據(jù)

4.3.2 實驗結(jié)果及分析

第一組圖像融合結(jié)果如圖6 所示，可見圖6（a）融合結(jié)果整體顏色偏黑，光譜失真嚴(yán)重，矩形框中空間信息丟失嚴(yán)重；圖6（b）、圖6（c）清晰度相似，相較于圖6（a）更清晰，空間細(xì)節(jié)更多，但相較于PAN 仍存在視覺模糊問題；圖6（d）相較于前兩種融合方法圖形更清晰，空間信息保留更多，但圖像邊緣細(xì)節(jié)存在模糊，且植被地物顏色略有失真；圖6（e）最為清晰，邊緣細(xì)節(jié)保留最好，對比度也最好。

各方法的定量評價指標(biāo)如表2 所示。其中，加粗值為5 種方法的最優(yōu)評分，表格中“↑”表示評價指標(biāo)越大，融合效果越好。

Table 2 Quantitative evaluation of the first group of experiments表2 第一組實驗定量評價

Fig.6 Fusion results of the first group圖6 第一組融合結(jié)果

由表2 可知，本文方法在第一組實驗中，定量評價指標(biāo)排在前2 位且排名第1 的指標(biāo)居多，融合效果最好。GF方法雖具有較高的客觀性，但無法平衡光譜信息和空間細(xì)節(jié)，易產(chǎn)生顏色失真現(xiàn)象。

4.4 GeoEye衛(wèi)星影像

4.4.1 實驗數(shù)據(jù)

第二組數(shù)據(jù)來自于GeoEye 衛(wèi)星影像，全色影像為0.41m，多光譜影像為1.64m。本文共裁剪16 組影像進(jìn)行實驗，大小均為512×512像素，源圖像如圖7所示。

Fig.7 The second group of experimental data圖7 第二組實驗數(shù)據(jù)

4.4.2 實驗結(jié)果及分析

第二組圖像融合結(jié)果如圖8 所示，定量評價指標(biāo)見表3。由此可見，圖8（d）、圖8（e）相較于前3 種方法更清晰，空間信息保留更好。為了區(qū)分GF 方法和本文所提方法的差異，由表3 中6 種評價指標(biāo)可知GF 相較于其他方法客觀性更優(yōu)。綜上所示，本文所提方法在總體上具有更優(yōu)的圖像融合效果。

Table 3 Quantitative evaluation of the second group of experiments表3 第二組實驗定量評價

4.5 GF-6衛(wèi)星影像

4.5.1 實驗數(shù)據(jù)

第三組數(shù)據(jù)來自于GF-6 衛(wèi)星影像，全色影像為2m，多光譜影像為8m。本文共裁剪22 組影像進(jìn)行實驗，大小均為512×512像素，源圖像如圖9所示。

Fig.8 Fusion results of the second group圖8 第二組融合結(jié)果

Fig.9 The third group of experimental data圖9 第三組實驗數(shù)據(jù)

4.5.2 實驗結(jié)果及分析

第三組融合結(jié)果如圖10 所示，定量評價指標(biāo)見表4。綜合對比光譜保真和空間保真性能，本文所提方法的圖像融合效果均優(yōu)于其他方法，6 項指標(biāo)均排在前2 位，位于第1 位的指標(biāo)（表中加粗部分）占大多數(shù)，證實該方法能較好平衡光譜和空間保真。

Table 4 Quantitative evaluation of the third group of experiments表4 第三組實驗定量評價

Fig.10 Fusion results of the third group圖10 第三組融合結(jié)果

5 結(jié)論

本文提出一種結(jié)合AnisGGF 和PAPCNN 的NSST 域圖像融合方法。其中，采用AnisGGF 技術(shù)對NSST 域的低頻子帶注入空間信息，減少邊緣的模糊；針對高頻子帶，引入PAPCNN 模型和局域方差自適應(yīng)地調(diào)整神經(jīng)元之間的鏈接強(qiáng)度。實驗結(jié)果表明，該算法能盡可能保留源圖像信息，優(yōu)化圖像融合效果。

為驗證本文所提方法的有效性和優(yōu)越性，將其與SE、NSCT-PCNN、GF、ISCM 方法進(jìn)行比較，選取AG、SF、QAB/F、VIFF、E 和FMI 共6 種定量評價指標(biāo)對融合性能進(jìn)行評價。實驗結(jié)果表明，本文所提方法的5 項指標(biāo)均排在前3，綜合性能最好。

然而，本次實驗僅對圖像的R、G、B 通道進(jìn)行研究，但衛(wèi)星圖像中波段更多，在實際研究過程中需要將不同波段進(jìn)行組合。因此，下一步將融合方法擴(kuò)展到圖像的各種波段，以進(jìn)一步提升圖像空間質(zhì)量。