靳道明，李路沙

（1. 中國(guó)鐵路設(shè)計(jì)集團(tuán)有限公司，天津 300142）

高分辨率遙感影像具有豐富的細(xì)節(jié)與地物信息，廣泛應(yīng)用于地物分類、目標(biāo)識(shí)別、變化檢測(cè)等領(lǐng)域[1]。多光譜遙感衛(wèi)星通過(guò)搭載不同波段的傳感器針對(duì)不同地物的光譜反射特性獲取相應(yīng)的影像，但受限于技術(shù)或成本，通常提供高分辨率的全色影像和低分辨率的多光譜影像。低分辨率影像會(huì)出現(xiàn)像元混淆，無(wú)法反映地面真實(shí)情況，因此對(duì)于高分辨率多光譜影像的需求不斷增加。遙感影像融合技術(shù)旨在結(jié)合全色影像的分辨率優(yōu)勢(shì)與多光譜影像的光譜優(yōu)勢(shì)得到高分辨率多光譜影像。傳統(tǒng)遙感影像融合方法主要分為分量替換和多分辨率分析[2]，分量替換是將低分辨率多光譜影像上采樣后轉(zhuǎn)換至特定的維度，再將全色影像替換轉(zhuǎn)換后影像的某一分量，最后對(duì)融合影像進(jìn)行逆轉(zhuǎn)換得到最終影像，包括強(qiáng)度—亮度—飽和度變換法（將影像中強(qiáng)度分量替換為全色影像）、主成分分析法、Gram-Schmidt分解等，但由于全色波段的光譜范圍和光譜特征與多光譜波段存在差異，引入空間細(xì)節(jié)的同時(shí)會(huì)引起光譜失真；多分辨率分析是將提取的全色影像中的高頻特征注入到上采樣后的多光譜影像中，包括抽取或非抽取小波變換[3]、拉普拉斯金字塔等。上述方法均在視覺(jué)上有較好的效果，但算法較固定，且在融合過(guò)程中易產(chǎn)生光譜信息損失，影響遙感影像質(zhì)量。相較于傳統(tǒng)方法，機(jī)器學(xué)習(xí)方法具有靈活性和可學(xué)習(xí)性的優(yōu)點(diǎn)[4]，如壓縮感知、字典學(xué)習(xí)等方法在遙感領(lǐng)域的成功應(yīng)用。自2014年有學(xué)者利用CNN結(jié)構(gòu)解決遙感影像融合問(wèn)題[5]以來(lái)，CNN 在遙感融合領(lǐng)域的發(fā)展不斷加快，Masi G[6]等設(shè)計(jì)了3層卷積結(jié)構(gòu)的網(wǎng)絡(luò)，通過(guò)變換不同波段組合的方式提升網(wǎng)絡(luò)的訓(xùn)練效果；Yang J F[7]等構(gòu)建了分別涵蓋光譜特征和空間特征的雙通道網(wǎng)絡(luò)；Scarpa G[8]等通過(guò)CNN結(jié)構(gòu)中損失函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略的LI-RES-微調(diào)最優(yōu)組合，建立了影像融合網(wǎng)絡(luò)A-PNN結(jié)構(gòu)。

相對(duì)于影像識(shí)別等復(fù)雜任務(wù)來(lái)說(shuō)，分辨率重建任務(wù)的輸出影像與原影像有很高的相似性，因此過(guò)于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)并不利于數(shù)據(jù)相似特征的傳遞，而僅保留卷積層和激活函數(shù)等基本模塊的網(wǎng)絡(luò)在影像融合領(lǐng)域具有更強(qiáng)的適用性。本文在設(shè)計(jì)網(wǎng)絡(luò)時(shí)，參考了PanNet 結(jié)構(gòu)的雙通道特性，從光譜特征和空間特征兩個(gè)角度出發(fā)搭建網(wǎng)絡(luò)，并在空間通道中加入多尺度模塊，以提高空間通道獲取特征的能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 融合方法

CNN作為一種高度依賴于標(biāo)簽數(shù)據(jù)的全監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練時(shí)需以標(biāo)簽數(shù)據(jù)（真值）作為評(píng)判網(wǎng)絡(luò)輸出結(jié)果質(zhì)量的標(biāo)準(zhǔn)；但在影像融合領(lǐng)域，高分辨率多光譜影像是未知的，如何獲取標(biāo)簽數(shù)據(jù)就顯得尤為重要。根據(jù)Wald 協(xié)議，假定在不同分辨率下進(jìn)行影像融合過(guò)程具有自相似性，根據(jù)融合前后分辨率提升的倍率，對(duì)影像進(jìn)行相同倍率的降采樣處理，作為訓(xùn)練數(shù)據(jù)；再將原有數(shù)據(jù)看作標(biāo)簽數(shù)據(jù)，即在低分辨率下進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練完成后，在原始分辨率下對(duì)未知影像進(jìn)行融合即可得到結(jié)果。在模擬融合過(guò)程中，通過(guò)損失函數(shù)評(píng)定網(wǎng)絡(luò)輸出值與真值的近似程度，再對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行調(diào)整，經(jīng)過(guò)多次迭代直至網(wǎng)絡(luò)收斂并趨于穩(wěn)定后，網(wǎng)絡(luò)訓(xùn)練完成；預(yù)測(cè)時(shí)將待融合影像輸入網(wǎng)絡(luò)，利用訓(xùn)練好的網(wǎng)絡(luò)參數(shù)得到融合結(jié)果（圖1）。

圖1 深度學(xué)習(xí)方法實(shí)現(xiàn)遙感影像融合過(guò)程

1.2 雙通道融合網(wǎng)絡(luò)

遙感影像融合通常分為特征數(shù)據(jù)提取、非線性映射和影像重構(gòu)3 個(gè)步驟。由于遙感影像的光譜特征與空間特征差異較大，兩種特征的提取過(guò)程應(yīng)獨(dú)立進(jìn)行，因此為在引入高頻空間信息的同時(shí)最大程度地保持原影像的光譜信息，本文提出了一種雙通道CNN，分別處理多光譜數(shù)據(jù)和全色數(shù)據(jù)?？紤]到地物的尺寸差異明顯、空間信息與尺度大小關(guān)系密切，在搭建全色通道時(shí)引入多尺度模塊，旨在從不同尺度全面獲取全色波段中的高頻空間信息；且高分辨率多光譜影像與低分辨率多光譜影像具有高度相似性，由上述復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于光譜特征的傳遞不具有適用性。

本文的網(wǎng)絡(luò)結(jié)構(gòu)見圖2，在光譜通道中引入殘差結(jié)構(gòu)，使網(wǎng)絡(luò)訓(xùn)練的目的由學(xué)習(xí)輸出值變?yōu)閷W(xué)習(xí)輸出值與輸出值差異，既能降低網(wǎng)絡(luò)的學(xué)習(xí)難度，又能最大限度地避免輸入影像的光譜信息產(chǎn)生損失。為了使光譜影像更好地與高頻空間信息相結(jié)合，在光譜數(shù)據(jù)輸入網(wǎng)絡(luò)前對(duì)影像進(jìn)行高斯濾波，剔除低頻信息。本文的網(wǎng)絡(luò)中多尺度模塊為特征提取階段；在后續(xù)的卷積層中以ReLU 為激活函數(shù)獲取影像中的非線性數(shù)據(jù)，最后結(jié)合兩種數(shù)據(jù)對(duì)影像進(jìn)行重構(gòu)。

圖2 雙通道影像融合網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.3 評(píng)價(jià)指標(biāo)

分辨率重建后的影像質(zhì)量評(píng)價(jià)包括全參考和無(wú)參考兩種，全參考指數(shù)需與參考影像作為比較。均方根誤差（RMSE）能反映融合影像與真值之間的的離散程度，值越小代表越接近真值：

式中，x、y分別為測(cè)試影像和參考影像；N為像素?cái)?shù)量。

相對(duì)全局誤差（ERGAS）是從整幅影像的角度對(duì)影像質(zhì)量進(jìn)行評(píng)價(jià)，值越小代表越接近真值：

式中，N為波段數(shù)；M為輻射均值；為重建倍率。

Q值通過(guò)計(jì)算融合結(jié)果與真值之間的相關(guān)系數(shù)判斷影像質(zhì)量，越接近于1，表示二者差異越?。?/p>

式中，σx、σy為x、y的標(biāo)準(zhǔn)差。

光譜角測(cè)度（SAM）通過(guò)計(jì)算融合影像與真值像素向量的絕對(duì)差值判斷影像質(zhì)量，越接近于0，表示二者向量差值越?。?/p>

式中，N為像素?cái)?shù)量；v為對(duì)應(yīng)像元的列向量。

Dλ通過(guò)計(jì)算融合影像與原多光譜影像差值的1范數(shù)獲取融合影像在光譜分量上的質(zhì)量，越接近于0，表示影像的光譜質(zhì)量越好：

Ds與Dλ相似，通過(guò)計(jì)算融合影像與全色影像差值的1 范數(shù)評(píng)價(jià)影像在空間分量上的質(zhì)量，越接近于0，表示影像的空間質(zhì)量越好：

式中，x、X分別為結(jié)果影像和LRMS影像；p、P分別為PAN影像和降采樣后的PAN影像。

無(wú)參考質(zhì)量評(píng)價(jià)（QNR）綜合光譜與空間質(zhì)量得到融合影像的綜合影像質(zhì)量評(píng)價(jià)指數(shù)[9]，越接近于1，表示二者差異越?。?/p>

2 數(shù)據(jù)集與實(shí)驗(yàn)

本文以Landsat8遙感影像為數(shù)據(jù)源[10]，共選取9景影像作為實(shí)驗(yàn)數(shù)據(jù)，獲取時(shí)間均勻分布在一年的4 個(gè)季度中；包含森林、城市、鹽堿地、農(nóng)田等多種地物種類；所有數(shù)據(jù)均為標(biāo)準(zhǔn)1 級(jí)產(chǎn)品，已經(jīng)過(guò)輻射校正和幾何校正（表1）。數(shù)據(jù)集由18 000 個(gè)影像對(duì)組成，每個(gè)影像對(duì)由光譜影像和與之對(duì)應(yīng)的全色影像組成，其中全色影像尺寸為256×256，多光譜影像尺寸為128×128，均由原始分辨率下的影像降采樣而來(lái)。網(wǎng)絡(luò)訓(xùn)練時(shí)，每批包含64 幅影像，設(shè)置學(xué)習(xí)率為0.001，利用SGD優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代更新。

表1 Landsat8衛(wèi)星影像波段信息

3 研究結(jié)果與分析

訓(xùn)練和測(cè)試部分是以原始影像為標(biāo)簽在低分辨率下進(jìn)行模擬融合，預(yù)測(cè)部分則是在原始尺度上進(jìn)行的。本文采用Python3.6 語(yǔ)言和Tensorflow 1.8.0 框架。在計(jì)算測(cè)試影像質(zhì)量時(shí)，選取2 000 對(duì)測(cè)試影像用于驗(yàn)證網(wǎng)絡(luò)的性能，取平均數(shù)作為最后結(jié)果；并與雙三次卷積插值、GS 融合和PanNet 進(jìn)行比較。測(cè)試結(jié)果見表2，在4 種全參考指數(shù)中，本文方法均表現(xiàn)最好，其次是PanNet，GS 融合在數(shù)值上表現(xiàn)最差；在3 種無(wú)參考指數(shù)中，上采樣方法與原始影像具有相同的光譜信息，因此光譜指數(shù)的數(shù)值最小，而在空間指數(shù)中本文方法表現(xiàn)最好，其次是GS 融合；在整體的QNR指數(shù)中，本文方法表現(xiàn)最佳，PanNet次之。

表2 模擬分辨率下不同方法的結(jié)果比較

預(yù)測(cè)階段本文選取一幅原分辨率影像（影像尺寸為800×800）進(jìn)行預(yù)測(cè)，以驗(yàn)證方法對(duì)真實(shí)影像的有效性。由于可視化一次只顯示3 個(gè)波段，選擇3 個(gè)波段（B4、B3和B2）進(jìn)行真彩色合成，結(jié)果見圖3，可以看出，雙三次卷積插值的結(jié)果影像在視覺(jué)上與LRMS相同，即單純的差值并未改善空間信息；GS方法具有良好的視覺(jué)性能，但細(xì)節(jié)圖中白色建筑物在全色圖中是分離式結(jié)構(gòu)，在GS 融合結(jié)果中體現(xiàn)并不明顯；兩種深度學(xué)習(xí)方法不僅有更好的視覺(jué)效果，細(xì)節(jié)圖中的白色建筑物也表現(xiàn)出分離趨勢(shì)。

圖3 影像質(zhì)量主觀評(píng)價(jià)圖

在原始分辨率下評(píng)價(jià)影像質(zhì)量是沒(méi)有高分辨率多光譜影像作為真值的，因此在預(yù)測(cè)階段利用無(wú)參考指數(shù)評(píng)價(jià)融合影像的質(zhì)量，由表3 可知，在原始分辨率下的結(jié)果與模擬分辨率下的結(jié)果具有相似性，說(shuō)明降低分辨率獲取標(biāo)簽數(shù)據(jù)的訓(xùn)練方法具有適用性，即在不同分辨率下同倍率影像融合具有相似性。此外，雙三次卷積插值方法在光譜指數(shù)中取得最佳表現(xiàn)，歸因于其不引入新的數(shù)據(jù)也未改變?cè)加跋竦墓庾V特征，而GS 融合在空間分量上表現(xiàn)最好，但在光譜指數(shù)中的表現(xiàn)最差，也能體現(xiàn)出該方法會(huì)過(guò)度引入全色數(shù)據(jù)的特點(diǎn)。值得注意的是，兩種深度學(xué)習(xí)方法在光譜和空間分量上的表現(xiàn)雖都未取得最好表現(xiàn)，但在綜合影像質(zhì)量上的表現(xiàn)往往更好，相較于兩種傳統(tǒng)方法，深度學(xué)習(xí)能在空間和光譜兩個(gè)分量上找到一個(gè)平衡，且本文方法在空間和光譜分量上均比PanNet 具有更好的表現(xiàn)，說(shuō)明加入多尺度模塊可提高網(wǎng)絡(luò)提取全色影像特征的能力，也能減弱對(duì)融合后影像光譜特征的影響。

表3 原始分辨率下不同方法的結(jié)果比較

4 結(jié) 語(yǔ)

本文以Landsat8 衛(wèi)星影像為例，制作影像融合據(jù)集；根據(jù)遙感影像融合過(guò)程，提出了一種雙通道網(wǎng)絡(luò)結(jié)構(gòu)，獨(dú)立處理多光譜和全色數(shù)據(jù)，并加入多尺度模塊更加全面地提取全色波段中的高頻空間信息。結(jié)果表明，本文中涉及的兩種深度學(xué)習(xí)網(wǎng)絡(luò)兩個(gè)分量指數(shù)的表現(xiàn)不是最高，而綜合質(zhì)量表現(xiàn)更好；相較于Pan-Net，本文網(wǎng)絡(luò)結(jié)構(gòu)加強(qiáng)了對(duì)高頻空間信息的提取，使得光譜和空間分量上的影像質(zhì)量都有所改善，從而提高了融合影像的綜合影像質(zhì)量。