郭慧婷 韓波 王雪 譚琨

(1 華東師范大學(xué) 河口海岸學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，上海 200241)(2 中國(guó)空間技術(shù)研究院遙感衛(wèi)星總體部，北京 100094)(3 華東師范大學(xué) 地理科學(xué)學(xué)院，上海 200241)(4 華東師范大學(xué) 地理信息科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200241)

隨著我國(guó)高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng)(簡(jiǎn)稱高分專項(xiàng))的實(shí)施，我國(guó)發(fā)射了一系列的高分辨率和高光譜遙感衛(wèi)星，如高分五號(hào)、資源一號(hào)02D衛(wèi)星(又稱為5米光學(xué)業(yè)務(wù)衛(wèi)星)。資源一號(hào)02D衛(wèi)星搭載兩臺(tái)相機(jī)，其中多光譜相機(jī)可獲取115 km幅寬的9譜段多光譜數(shù)據(jù)，全色譜段空間分辨率可達(dá)2.5 m，多光譜為10 m；高光譜相機(jī)可獲取60 km幅寬的166譜段高光譜數(shù)據(jù)，可見(jiàn)近紅外和短波紅外光譜分辨率分別達(dá)到10 nm和20 nm，但與多光譜數(shù)據(jù)相比，其空間分辨率較低，為30 m。如果能對(duì)高光譜數(shù)據(jù)和多光譜數(shù)據(jù)進(jìn)行有效融合，得到具有高空間分辨率的高光譜影像，將會(huì)進(jìn)一步擴(kuò)展資源一號(hào)02D衛(wèi)星的應(yīng)用場(chǎng)景。

目前，高光譜影像(Hyperspectral Image，HSI)與多光譜影像(Multispectral Image，MSI)融合方法主要包括成分替代法(Component Substitution，CS)[1-2]、多分辨率分析法(Multiresolution Analysis ，MRA)[3-5]、基于模型優(yōu)化的方法[6-9]以及基于深度學(xué)習(xí)的方法[10-15]四類。其中，成分替代法和多分辨率分析法最早是為遙感影像泛銳化而設(shè)計(jì)的，可以將其應(yīng)用擴(kuò)展至HSI-MSI融合中?；谀Ｐ蛢?yōu)化的方法將融合過(guò)程看作一個(gè)逆問(wèn)題，根據(jù)光譜圖像的退化機(jī)理，建立待融合影像(HR-HSI)與觀測(cè)影像低空間分辨率高光譜影像(Low Resolution Hyperspectral Image，LR-HSI)和高分辨率多光譜影像(High Resolution Multispectral Image，HR-MSI)之間的關(guān)系模型，利用優(yōu)化算法求解得到融合影像。盡管這些方法在高光譜影像與多光譜影像融合問(wèn)題上取得了一定的效果，但仍然存在不足。成分替代法會(huì)因兩種影像的波長(zhǎng)覆蓋范圍不完全一致導(dǎo)致融合后影像光譜失真；而多分辨率分析法只提取高分辨率影像中的高頻部分，融合后影像面臨著空間分辨率提高不足的問(wèn)題；相比前兩種方法，基于模型優(yōu)化的融合方法具有更高的融合精度，但模型求解復(fù)雜，此外，基于模型優(yōu)化的融合方法嚴(yán)重依賴于人工設(shè)計(jì)的先驗(yàn)特征。

與傳統(tǒng)方法相比，深度學(xué)習(xí)以其端到端的完整性訓(xùn)練方式以及有效的深層高階特征挖掘方式而被廣泛應(yīng)用到遙感影像的處理與分析中。在遙感影像融合領(lǐng)域，文獻(xiàn)[10]最早提出了一個(gè)泛銳化神經(jīng)網(wǎng)絡(luò)(Pansharpening Neural Network，PNN)用于多光譜影像和全色影像的融合。雖然PNN是為泛銳化問(wèn)題設(shè)計(jì)的，但它也可以直接應(yīng)用于高光譜影像和多光譜影像的融合中。文獻(xiàn)[11]針對(duì)高光譜影像與全色影像的融合，提出高光譜泛銳化神經(jīng)網(wǎng)絡(luò)(HyperPNN)，通過(guò)增加光譜預(yù)測(cè)層提高了網(wǎng)絡(luò)的光譜預(yù)測(cè)能力。文獻(xiàn)[12]為高光譜影像與多光譜影像融合設(shè)計(jì)了一個(gè)3D-CNN網(wǎng)絡(luò)，使用3維卷積提取輸入影像的特征。然而上述方法都將兩種影像視為一個(gè)整體，網(wǎng)絡(luò)輸入的是兩種影像沿通道維度的拼接，忽略了它們各自的顯著特性。為解決這一問(wèn)題，越來(lái)越多的學(xué)者放棄使用單支網(wǎng)絡(luò)。如文獻(xiàn)[13]中設(shè)計(jì)了一個(gè)包含兩分支的遙感影像融合神經(jīng)網(wǎng)絡(luò)(RSIFNN)分別提取多光譜影像和全色影像的特征，將兩種特征融合用于影像重建。文獻(xiàn)[14]使用一維卷積和二維卷積分別提取高光譜影像的光譜信息和多光譜影像的空間信息，最后通過(guò)全連接層得到融合影像。文獻(xiàn)[15]受到U-net的啟發(fā)，將網(wǎng)絡(luò)分成編碼-解碼結(jié)構(gòu)，其中特征提取部分使用兩個(gè)子網(wǎng)絡(luò)分別提取多光譜影像和全色影像的特征。以上實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)方法的融合方法效果優(yōu)于傳統(tǒng)方法。

通過(guò)分析已有的研究，本文根據(jù)資源一號(hào)02D衛(wèi)星高光譜影像和多光譜影像的特點(diǎn)，提出了一種基于空譜特征分離式網(wǎng)絡(luò)(Spatial-Spectral Features Separated Network，SSFSN)的深度學(xué)習(xí)融合方法，實(shí)現(xiàn)端到端的高光譜影像與多光譜影像融合。

1 應(yīng)用深度學(xué)習(xí)的高光譜與多光譜影像融合方法

(1)

式中：f(·)表示輸入輸出之間的映射，θ表示待優(yōu)化的參數(shù)，‖·‖F(xiàn)表示Frobenius范數(shù)。

本文應(yīng)用深度學(xué)習(xí)方法進(jìn)行HSI-MSI融合，提出空譜特征分離式網(wǎng)絡(luò)。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由3部分組成：①特征提取部分；②特征融合部分；③特征重建部分。其中，特征提取部分采用雙分支網(wǎng)絡(luò)架構(gòu)分別提取LR-HSI和HR-MSI的特征，特征融合部分引入層次特征融合結(jié)構(gòu)(Hierarchy Feature Fusion Structure，HFFS)，特征重建部分利用通道注意力機(jī)制實(shí)現(xiàn)特征波段的選擇重建。此外，網(wǎng)絡(luò)借鑒了殘差學(xué)習(xí)的思想，在光譜保真的同時(shí)加快了訓(xùn)練速度。

注：WRB為權(quán)重歸一化殘差塊，CA為通道注意力。

1.1 特征提取部分

遙感影像特征提取是基于深度學(xué)習(xí)的圖像融合方法的關(guān)鍵環(huán)節(jié)，可以通過(guò)使用卷積結(jié)構(gòu)完成自動(dòng)提取。如圖1所示，每個(gè)分支分別使用一個(gè)3×3的卷積層提取輸入影像的淺層特征，其過(guò)程可以分別表示為

(2)

(3)

σ(x)=max (0,x)

(4)

提取到的淺層特征繼續(xù)輸入網(wǎng)絡(luò)進(jìn)行深層特征的挖掘。文獻(xiàn)[16]中提出了殘差塊(Residual Block，RB)結(jié)構(gòu)，并證實(shí)了這種結(jié)構(gòu)在影像超分辨率重建任務(wù)中的有效性。本文在RB結(jié)構(gòu)基礎(chǔ)上提出權(quán)重歸一化殘差塊(Weight Normalization Residual Block，WNRB),通過(guò)堆疊WNRB結(jié)構(gòu)提取影像深層特征。RB結(jié)構(gòu)和WNRB結(jié)構(gòu)如圖2所示。

圖2 殘差結(jié)構(gòu)與權(quán)重歸一化殘差結(jié)構(gòu)Fig.2 Structures of RB and WRB

1.2 特征融合部分

在影像融合過(guò)程中，充分利用提取到的特征對(duì)于影像重建來(lái)說(shuō)是至關(guān)重要的。然而，隨著網(wǎng)絡(luò)深度的增加，這些特征會(huì)在前饋過(guò)程中逐漸消失。文獻(xiàn)[17]中提出了一種簡(jiǎn)單的HFFS結(jié)構(gòu)，即將每一層提取到的特征都送入網(wǎng)絡(luò)末端,并在最后引入了一個(gè)1×1卷積層對(duì)提取到的特征進(jìn)行降維，有效避免了信息冗余并降低了計(jì)算復(fù)雜度，使得網(wǎng)絡(luò)可以自適應(yīng)地從這些層次特征中提取有用的信息。

將HFFS結(jié)構(gòu)引入網(wǎng)絡(luò)中，對(duì)于特征提取部分的兩分支各自使用一個(gè)HFFS結(jié)構(gòu)進(jìn)行層次特征的融合，得到兩分支中最有用的特征，再將其串聯(lián)拼接實(shí)現(xiàn)特征融合，表示為

Hhs=[H0,H1,…,Hn]

(5)

(6)

Hms=[M0,M1,…,Mn]

(7)

(8)

F=[Fhs,Fms]

(9)

1.3 特征重建部分

網(wǎng)絡(luò)的最后一部分是從融合特征中重建出預(yù)期的高分辨率高光譜影像。由于融合特征的各通道包含了不同的信息，而各通道信息對(duì)最終的重建過(guò)程貢獻(xiàn)程度不同，因此，在特征重建部分引入CA機(jī)制以差異化各通道特征。CA機(jī)制可以動(dòng)態(tài)調(diào)節(jié)不同通道的重要程度，從而更高效地使用網(wǎng)絡(luò)提取到的特征，結(jié)構(gòu)如圖3所示。假設(shè)U表示輸入特征圖，特征圖的高、寬和通道數(shù)分別表示為L(zhǎng)、S和C，對(duì)每個(gè)通道的特征圖進(jìn)行全局平均池化(Global Average Pool，GAP)，并將池化后的值作為每個(gè)通道的特征描述符，由此可以得到一個(gè)C維向量；其次，通過(guò)兩個(gè)全連接層和ReLU激活函數(shù)組成的門(mén)控機(jī)制生成通道特征；再次，用Sigmoid函數(shù)激活通道特征，得到每個(gè)通道的權(quán)重；最后，將通道權(quán)重與輸入特征相乘，獲得具有通道注意力的學(xué)習(xí)特征。

表述為

HGAP=Avgglobal(U)

(10)

FU=Sigmoid(WU(WD(HGAP)))

(11)

U′=FU×U

(12)

式中：HGAP為經(jīng)過(guò)全局平均池化后的特征，F(xiàn)U為通道特征，U′為具有通道注意力的學(xué)習(xí)特征，Avgglobal(·)表示全局平均池化操作，WD(·)表示對(duì)通道數(shù)目縮減，WU(·)表示對(duì)通道數(shù)目擴(kuò)充，Sigmoid激活函數(shù)的表達(dá)式為

(13)

在網(wǎng)絡(luò)的最后，使用一個(gè)3×3的卷積層重建融合影像。

圖3 通道注意力機(jī)制示意圖Fig.3 An illustration of the channel attention mechanism

2 融合方法驗(yàn)證與分析

2.1 試驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

為驗(yàn)證本文方法的有效性，使用資源一號(hào)02D衛(wèi)星采集的高光譜和多光譜數(shù)據(jù)進(jìn)行融合試驗(yàn)，數(shù)據(jù)介紹見(jiàn)表1。對(duì)獲取到的高光譜影像和多光譜影像進(jìn)行輻射校正、幾何校正、噪聲波段去除、圖像裁剪等預(yù)處理操作。由于缺乏真實(shí)的高空間分辨率高光譜參考影像，故將融合過(guò)程分為兩個(gè)階段：第一階段為低分辨率訓(xùn)練階段，基于Wald’s協(xié)議[18]，將原始高光譜影像作為參考影像，將多光譜影像下采樣至和原始高光譜影像一樣的尺寸(空間分辨率為30 m)，高光譜影像降采樣同等倍數(shù)作為低分辨率LR-HSI(空間分辨率為90 m)，整體在縮小的比例上進(jìn)行融合；第二階段為原始分辨率影像融合階段，由于卷積神經(jīng)網(wǎng)絡(luò)具有尺度不變的特性，利用第一階段訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)原始高光譜影像和多光譜影像進(jìn)行融合，最終得到符合需求的高空間分辨率高光譜影像(空間分辨率為10 m)。

表1 資源一號(hào)02D衛(wèi)星數(shù)據(jù)介紹Table 1 Overview of ZY-1-02D satellite data

此外，采用均方根誤差(Root Mean Square Error, RMSE)、光譜角度映射(Spectral Angle Mapping, SAM)、相對(duì)全局綜合誤差(Erreur Relative Globale Adimensionnelle de Synthe’se, ERGAS)和空間相關(guān)系數(shù)(Spatial Correlation Coefficient, SCC)對(duì)融合影像進(jìn)行定量評(píng)價(jià)。其中，RMSE、SAM、ERGAS值越接近0，表示融合質(zhì)量越好；而SCC值越接近1，表示融合質(zhì)量越好。

2.2 試驗(yàn)結(jié)果與分析

對(duì)比試驗(yàn)設(shè)置為3個(gè)傳統(tǒng)融合方法：自適應(yīng)施密特正交算法(GSA-HS)、平滑強(qiáng)度調(diào)制濾波算法(SFIM-HS)、非負(fù)矩陣分解算法(CNMF)以及2個(gè)深度學(xué)習(xí)方法：HyperPNN2、RSIFNN，將這5個(gè)方法與本文融合方法進(jìn)行對(duì)比分析。表2顯示了圖像融合第一階段的定量評(píng)價(jià)結(jié)果，從表2可以看出，本文算法在各項(xiàng)指標(biāo)上都取得了最優(yōu)結(jié)果，同時(shí)，使用深度學(xué)習(xí)算法得到的結(jié)果大幅優(yōu)于傳統(tǒng)算法。

表2 仿真數(shù)據(jù)融合質(zhì)量評(píng)價(jià)指標(biāo)Table 2 Quantitative evaluation of image fusion quality

圖4(a)和圖4(b)分別為原始多光譜影像和原始高光譜影像，原始分辨率影像融合結(jié)果如圖4(c)～4(f)所示。由于缺乏參考影像，僅展示融合影像的目視效果，這里給出了建筑區(qū)和植被區(qū)的局部放大圖。通過(guò)對(duì)比融合影像和多光譜影像的空間細(xì)節(jié)可以看出：本文提出的算法目視效果最優(yōu)，生成的融合影像能夠很好地學(xué)習(xí)到多光譜影像的空間紋理特征，邊緣及紋理清晰，與多光譜影像的目視效果最為接近。SFIM-HS算法效果最差，在建筑物上出現(xiàn)了明顯的扭曲變形。CNMF、RSIFNN以及HyperPNN2算法在高亮度的建筑物區(qū)域表現(xiàn)較差，存在明顯的局部分界不清晰。GSA-HS算法也存在一定程度的細(xì)節(jié)模糊。通過(guò)指標(biāo)定量評(píng)價(jià)結(jié)果和目視效果可知，本文提出的融合算法在紋理特征、邊緣細(xì)節(jié)及整體效果上均優(yōu)于對(duì)比方法。

圖4 圖像融合算法實(shí)驗(yàn)效果對(duì)比Fig.4 Experimental comparison of image fusional gorithms

3 結(jié)束語(yǔ)

本文針對(duì)資源一號(hào)02D衛(wèi)星的高光譜影像與多光譜影像融合問(wèn)題，提出了一種空譜特征分離式網(wǎng)絡(luò)基于深度學(xué)習(xí)方法，實(shí)現(xiàn)了高光譜影像與多光譜影像的有效融合。試驗(yàn)結(jié)果表明：提出的方法在目視效果和評(píng)價(jià)指標(biāo)上均優(yōu)于對(duì)比方法。該方法的提出擴(kuò)展了國(guó)產(chǎn)資源一號(hào)02D衛(wèi)星遙感影像的應(yīng)用場(chǎng)景，為其在農(nóng)作物精細(xì)分類、微小目標(biāo)異常探測(cè)等方面的應(yīng)用提供了可能。