吳 蕾，楊曉敏

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

遙感圖像融合是一種將低分辨率多光譜（Low-resolution MultiSpectral，LMS）遙感圖像和高分辨率全色（PANchromatic，PAN）遙感圖像融合成高分辨率多光譜（High-resolution MultiSpectral，HMS）圖像的算法。高分辨率多光譜遙感圖像廣泛地應(yīng)用在地球觀測(cè)、分類(lèi)、目標(biāo)檢測(cè)、環(huán)境監(jiān)測(cè)和光譜分解等領(lǐng)域［1-2］。然而由于當(dāng)前硬件的局限性，遙感衛(wèi)星只能分別獲取地表多波段的多光譜LMS 圖像和單波段的全色PAN 圖像，這兩種圖像在信息上是互補(bǔ)的。為了得到HMS 圖像，遙感圖像的融合技術(shù)得到了研究者們的廣泛關(guān)注。隨著遙感圖像越來(lái)越重要，遙感圖像融合算法也在不斷地改進(jìn)，如何將多光譜圖像和全色圖像的互補(bǔ)信息盡可能多地融合到高空間分辨率多光譜圖像中，是遙感圖像融合中重點(diǎn)關(guān)注的問(wèn)題。

近幾十年來(lái)，遙感圖像融合算法的效果一直在不斷提升，傳統(tǒng)的遙感圖像融合算法大致能夠分為兩類(lèi)：一類(lèi)是基于成分替換（Component Substitution，CS）的算法；另一類(lèi)是基于多分辨率分析（Multi-Resolution Analysis，MRA）的算法［3-5］。由于PAN 和LMS 圖像的光譜范圍不一致，即使在融合策略上進(jìn)行了改進(jìn)，現(xiàn)有的CS/MRA 算法也會(huì)表現(xiàn)出一定程度的光譜失真。

通過(guò)整理總結(jié)傳統(tǒng)的遙感圖像融合算法，可以發(fā)現(xiàn)許多提取和整合空間細(xì)節(jié)特征的過(guò)程和卷積神經(jīng)網(wǎng)絡(luò)有相似之處，并且卷積神經(jīng)網(wǎng)絡(luò)所提取到的特征比手工設(shè)計(jì)的提取規(guī)則所提取到的特征具有更強(qiáng)的表征能力。因此，為了克服傳統(tǒng)算法所存在的缺點(diǎn)，已經(jīng)有很多基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的遙感圖像融合算法被提出。例如，Masi 等［6］使用基于超分辨率的三層CNN 結(jié)構(gòu)進(jìn)行了遙感圖像融合，率先提出了基于CNN 的遙感圖像融合算法PNN（Pansharpening by CNN），顯著提高了遙感圖像融合算法的性能。Wei 等［7］提出了一種深度殘差遙感圖像融合神經(jīng)網(wǎng)絡(luò)DRPNN（Pansharpening by Deep Residual CNN），用于魯棒和高質(zhì)量的PAN 和LMS 圖像融合。該算法融合了殘差學(xué)習(xí)過(guò)程，在殘差學(xué)習(xí)架構(gòu)的支持下，形成了極深的卷積濾波框架，提高了融合的精度，同時(shí)也保證了網(wǎng)絡(luò)的性能可以快速收斂。Shao 等［8］提出了雙分支的CNN 來(lái)分別提取LMS 和PAN圖像的特征，并采用殘差連接以增強(qiáng)遙感圖像融合的性能。Yang等［9］提出了一種結(jié)合了有關(guān)遙感圖像融合的先驗(yàn)知識(shí)的網(wǎng)絡(luò)結(jié)構(gòu)，該算法從LMS 和PAN 圖像中提取高頻信息，并將它們用作網(wǎng)絡(luò)的輸入。該網(wǎng)絡(luò)是在頻率域而不是空間域中進(jìn)行訓(xùn)練的，因此其泛化能力和性能都優(yōu)于傳統(tǒng)算法和基于簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)的遙感圖像融合算法。

上述算法中所有的卷積神經(jīng)網(wǎng)絡(luò)都是前饋的，由于前饋網(wǎng)絡(luò)的感受野較小，獲取的上下文信息不足，淺層卷積層所提取到的淺層特征表征能力不足，在網(wǎng)絡(luò)隨后的卷積層中這些淺層信息會(huì)被重用，這會(huì)導(dǎo)致網(wǎng)絡(luò)的重構(gòu)性能降低。同時(shí)LMS 圖像和PAN 圖像具有不同的信息，但是上述算法在融合時(shí)，平等地對(duì)待特征圖的各個(gè)通道，忽略了各個(gè)特征圖之間各通道的相互依賴(lài)關(guān)系。針對(duì)以上問(wèn)題，本文提出了改進(jìn)的通道注意力反饋網(wǎng)絡(luò)，即使用反饋網(wǎng)絡(luò)將深層特征反向傳回從而優(yōu)化淺層特征并且引入通道注意力機(jī)制充分利用各通道之間的相互依賴(lài)關(guān)系來(lái)進(jìn)一步提升反饋網(wǎng)絡(luò)的性能。本文的主要工作有兩個(gè)，分別如下：

1）引入了反饋卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)深層特征和淺層特征之間的相互依賴(lài)關(guān)系，在保留LMS 圖像的光譜信息和PAN 圖像的細(xì)節(jié)信息的同時(shí)可以生成更深層次的特征。

2）使用注意力機(jī)制為反饋過(guò)程中產(chǎn)生的特征圖以及特征圖的各個(gè)通道，自動(dòng)分配不同的注意力資源，使網(wǎng)絡(luò)模型可以學(xué)習(xí)到盡可能多的有用信息。

1 相關(guān)工作

1.1 反饋機(jī)制

在人類(lèi)視覺(jué)系統(tǒng)中普遍存在反饋機(jī)制，能夠?qū)⑿盘?hào)從高階區(qū)帶到低階區(qū)［10］。將反饋機(jī)制應(yīng)用在圖像處理中可以取得很好的效果。例如，對(duì)于單幅圖像的超分辨率，Haris 等［11］根據(jù)反投影理論構(gòu)造了上投影和下投影單元，以此來(lái)實(shí)現(xiàn)一種迭代誤差的反饋。Li 等［12］精心設(shè)計(jì)了一個(gè)反饋模塊，為低級(jí)視覺(jué)任務(wù)提取強(qiáng)大的高級(jí)表示，并傳輸高級(jí)特征來(lái)細(xì)化低級(jí)特征，實(shí)現(xiàn)反饋機(jī)制。

同樣地，反饋機(jī)制也可以應(yīng)用到遙感圖像融合中，通過(guò)學(xué)習(xí)深層特征和淺層特征之間的依賴(lài)性來(lái)得到更深層次的特征。本文設(shè)計(jì)了一種具有特殊特征提取模塊的反饋模塊，特征提取模塊由三對(duì)密集跳躍連接的上下采樣層組成，通過(guò)迭代的上、下采樣實(shí)現(xiàn)了反投影機(jī)制，通過(guò)學(xué)習(xí)各種上、下采樣算子，使網(wǎng)絡(luò)生成強(qiáng)大的特征。其中的密集跳躍連接允許重用來(lái)自前一層的特征，避免重復(fù)學(xué)習(xí)冗余的特征。該特征提取模塊可以提取出強(qiáng)大的高級(jí)表示，然后網(wǎng)絡(luò)的反饋連接將高級(jí)表示反向地傳回到輸入，并再次送入反饋模塊來(lái)進(jìn)行處理。通過(guò)不斷的反饋學(xué)習(xí)，得到最終的深層特征。

1.2 通道注意力機(jī)制

在卷積神經(jīng)網(wǎng)絡(luò)中最重要的就是卷積算子，它使網(wǎng)絡(luò)在提取每一層特征時(shí)能融合空間信息和信道信息。基于特征的這種空間組成關(guān)系，Hu 等［13］提出了一個(gè)新的建筑單元，稱(chēng)為“壓縮-激發(fā)”模塊，該模塊首先明確地表示出通道之間的互相依賴(lài)關(guān)系，然后根據(jù)依賴(lài)關(guān)系來(lái)自適應(yīng)地校準(zhǔn)通道相關(guān)的特征響應(yīng)，來(lái)提高網(wǎng)絡(luò)產(chǎn)生的特征的質(zhì)量。這是一種通道注意力機(jī)制，該機(jī)制通過(guò)運(yùn)用全局信息，有偏向地強(qiáng)調(diào)有用的信息特征，抑制作用有限的特征。Zhang 等［14-15］將通道注意力（Channel Attention，CA）應(yīng)用在了圖像超分辨率中，并且取得了不錯(cuò)的效果。

在遙感圖像融合算法中，LMS圖像是多通道的，每個(gè)通道都有不同的光譜信息，PAN 圖像是單通道有非常清晰的細(xì)節(jié)信息的灰度圖。在融合的過(guò)程中，首先將PAN 圖像和LMS 圖像在通道上進(jìn)行拼接，如果平等對(duì)待每個(gè)通道則不能很好地保留LMS 圖像的光譜信息和PAN 圖像的細(xì)節(jié)信息。將通道注意力機(jī)制應(yīng)用在遙感圖像融合中，就可以針對(duì)性地提取出LMS圖像的光譜特征和PAN圖像的細(xì)節(jié)特征。

2 本文算法

2.1 算法框架

為了直觀地展示本文算法，首先給出了本文的總體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。算法的實(shí)現(xiàn)主要有3個(gè)步驟：1）用了雙通道特征提取層分別提取LMS 圖像的光譜特征和PAN 圖像的細(xì)節(jié)特征，并且將這兩部分特征與反饋輸出的表征能力較強(qiáng)的深層特征拼接在一起。其中，特征提取層2 在提取PAN 圖像特征的同時(shí)會(huì)對(duì)特征下采樣以適應(yīng)LMS 特征的尺寸；2）結(jié)合以后的特征輸入到反饋層，在反饋層中先經(jīng)過(guò)殘差通道注意力模塊（Residual Channel Attention Block，RCAB）強(qiáng)調(diào)有用的信息來(lái)優(yōu)化特征，然后將優(yōu)化后的特征輸入到反饋模塊（Feedback Block，F(xiàn)B），在反饋層中經(jīng)過(guò)若干次反饋，最終輸出具有有力表征能力的特征，在這之前的輸出結(jié)果都是作為反饋量和輸入特征合并到一起的；3）反饋結(jié)構(gòu)輸出的特征經(jīng)過(guò)重建層（1 個(gè)反卷積層和1 個(gè)3×3 的卷積層）再與上采樣后的LMS圖像相加，從而得到最終的重建HMS圖像。

圖1 本文算法框架Fig.1 Framework of proposed algorithm

2.2 通道注意力機(jī)制

以前基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法平等地對(duì)待LMS 和PAN 圖像各通道的特性，這對(duì)于實(shí)際情況不靈活。為了更多地獲取有用信息，可以通過(guò)特征通道之間的相互聯(lián)系性來(lái)更多地關(guān)注到有用的信息特征，從而形成通道注意機(jī)制。該機(jī)制最重要的就是如何合理地去關(guān)注每個(gè)通道上的特征。對(duì)此，本文主要考慮兩個(gè)方面：一方面，LMS 圖像和PAN 圖像中包含的信息并不相同。PAN 圖像中的信息是高頻成分，包含了很多細(xì)節(jié)和紋理信息；LMS 圖像中具有豐富的光譜信息和低頻成分。另一方面，在卷積的過(guò)程中每個(gè)卷積算子都只有一個(gè)局部的感受野，并不能充分利用到上下文信息，因此獲取的特征也是缺少上下文信息的。

基于這些分析，引入了通道注意力機(jī)制。首先運(yùn)用全局平均池化將全局的通道空間信息轉(zhuǎn)化成信道描述符，如圖2所示。

圖2 通道注意力機(jī)制示意圖Fig.2 Schematic diagram of channel attention mechanism

X=[X1，X2，…，XC]是一個(gè)通道注意力機(jī)制的輸入，其中包含C層大小為H×W的特征圖。通過(guò)空間維度H×W對(duì)X進(jìn)行收縮，可以得到通道級(jí)的統(tǒng)計(jì)量z，第c層的元素z可以表示為：

其中：xc(i，j)為第c層特征xc在(i，j)處的值；FGP(·)為全局池化函數(shù)。這種通道統(tǒng)計(jì)量可以看作是局部描述符的集合，其統(tǒng)計(jì)量有助于表達(dá)整個(gè)圖像。

為了通過(guò)全局平均池化完全捕獲聚合信息的通道依賴(lài)性，本文引入了一個(gè)門(mén)控機(jī)制。正如文獻(xiàn)［14］中討論的，門(mén)控機(jī)制應(yīng)該滿(mǎn)足兩個(gè)標(biāo)準(zhǔn)：首先，它必須能夠?qū)W習(xí)通道之間的非線(xiàn)性交互作用。其次，由于需要的是多通道的特征，而不是單一的激活，它必須學(xué)習(xí)一種非互斥的關(guān)系，本文選擇使用sigmoid函數(shù)來(lái)實(shí)現(xiàn)簡(jiǎn)單的門(mén)控機(jī)制：

其中：f(·)和變量δ(·)分別表示sigmoid 門(mén)控和ReLU（Rectified Linear Units）函數(shù)；HD是降維卷積層的權(quán)值集，降維卷積層起到的通道降維作用，降維比例為r。降維后的維信號(hào)被ReLU函數(shù)激活后，再通過(guò)升維卷積層增大通道數(shù)r倍，升維卷積層權(quán)值集為HU。然后得到最終的通道統(tǒng)計(jì)量w，用于重新調(diào)節(jié)輸入xc：

其中：wc和xc分別為第c層通道的比例因子和特征圖。

同時(shí)，受文獻(xiàn)［7］中殘差模塊（Residual Block，RB）的啟發(fā)，本文將CA 集成到RB 中，提出殘差通道注意力模塊（RCAB），如圖3所示。

其中：Cb為通道注意函數(shù)；Fb-1和Fb是RCAB 的輸入和輸出，RCAB 從輸入中獲取殘差Xb。剩余分量主要由兩層疊加得到：

圖3 殘差通道注意力模塊示意圖Fig.3 Schematic diagram of residual channel attention block

2.3 反饋模塊

在反饋模塊中，本文采用了三組由下采樣卷積層和上采樣反卷積層構(gòu)成的投影組，在每個(gè)卷積層和反卷積層之間又加入了稠密連接，這樣可以增加各層特征之間的聯(lián)系，通過(guò)特征重利用的方式，在相同的卷積層數(shù)下，可以生成表征能力更強(qiáng)的特征。

如圖4所示，第t次迭代的反饋模塊接收到反饋信息來(lái)糾正淺層表示然后將更強(qiáng)大的深層表示輸出到下一次迭代和重構(gòu)模塊。FB 按順序包含3 個(gè)投影組，它們之間有密集跳越連接。每個(gè)投影組主要包括一個(gè)上采樣操作和一個(gè)下采樣操作，它們可以將深層特征投影到淺層特征中。

在FB開(kāi)始時(shí)，通過(guò)卷積層Conv(1，m)對(duì)進(jìn)行拼接和壓縮，通過(guò)反饋信息來(lái)優(yōu)化輸入特征產(chǎn)生重新優(yōu)化的輸入特征，公式表達(dá)如下：

其中：Conv(·)為初始?jí)嚎s卷積操作；的拼接。設(shè)為FB 中第i組投影組在第t次迭代時(shí)給出的HMS和LMS特征圖?？梢杂墒剑?）得到：

其中：Ci↑為在第i個(gè)投影組使用反卷積層Deconv(k，m)的上采樣操作。對(duì)應(yīng)地可由式（8）得到：

其中：Ci↓為使用卷積層Conv(k，m)在第i個(gè)投影組的下采樣操作。除了第一個(gè)投影組外，在Ci↑和Ci↓之前添加卷積核大小為1的卷積層Conv(1，m)來(lái)減少參數(shù)和提高計(jì)算效率。

為了從每個(gè)投影組中挖掘有用信息，并確保在下一次迭代中映射輸入LMS 特征的大小不變，對(duì)投影組生成的MS特征進(jìn)行融合（圖4中的實(shí)線(xiàn)箭頭），生成FB的輸出：

其中：Conv表示Conv(1，m)的函數(shù)。

圖4 反饋模塊示意圖Fig.4 Schematic diagram of feedback block

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)集

本文實(shí)驗(yàn)中使用PReLU（Parametric ReLU）作為激活函數(shù)，每次迭代中除最后一層之外的所有卷積層和反卷積層都使用了PReLU。除了在每次反饋中具體分析每個(gè)輸出的圖像，將最后一次反饋網(wǎng)絡(luò)輸出的圖像作為最終的銳化結(jié)果。使用文獻(xiàn)［12］方法初始化網(wǎng)絡(luò)參數(shù)，采用Adam 優(yōu)化網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率為0.000 1，每200 個(gè)epoch 學(xué)習(xí)率乘以0.5，提取的圖像特征層數(shù)為64。網(wǎng)絡(luò)是在Pytorch 框架上實(shí)現(xiàn)，并在NVIDIA 1080TiGPU上進(jìn)行訓(xùn)練。

各個(gè)衛(wèi)星得到的圖像種類(lèi)不盡相同，為了驗(yàn)證算法的適用性，實(shí)驗(yàn)采用了三種衛(wèi)星的圖像，分別是Spot-6、QuickBird和WorldView2，這三種衛(wèi)星圖片覆蓋了建筑、植被和海洋等場(chǎng)景。所有的LMS 圖像尺寸為64×64，PAN 圖像的尺寸256×256。由于無(wú)法獲取真正的HMS 圖像，本文將原始的尺寸為256×256的MS圖像作為參考圖像，原始MS圖像下采樣4倍的圖像作為L(zhǎng)MS 圖像來(lái)充當(dāng)訓(xùn)練集。由于有些對(duì)比算法需要訓(xùn)練集，為了公平原則，所有的訓(xùn)練集圖像都保持一致。

3.1.2 不同通道注意力模塊的對(duì)比實(shí)驗(yàn)

在本節(jié)實(shí)驗(yàn)中探討了反饋網(wǎng)絡(luò)中添加不同的通道注意力機(jī)制模塊（CA 和RCAB）的效果。結(jié)果圖像和HMS 圖像之間的相關(guān)系數(shù)如圖5 所示，一共訓(xùn)練了1 000 個(gè)epoch。圖5 中：Base表示添加任何通道注意力機(jī)制模塊；CA表示添加了通道注意力機(jī)制模塊；RCAB 表示添加了殘差通道注意力機(jī)制模塊。從圖5可以看出：添加了RCAB模塊的反饋網(wǎng)絡(luò)得到的結(jié)果圖像與HMS 圖像的相關(guān)系數(shù)最高，未添加任何通道注意力模塊的反饋網(wǎng)絡(luò)得到的結(jié)果圖像與HMS 圖像的相關(guān)系數(shù)最低，這說(shuō)明通道注意力機(jī)制確實(shí)可以改進(jìn)反饋網(wǎng)絡(luò)的效果，并且RCAB模塊能表現(xiàn)出更好的性能。

圖5 不同通道注意力模塊結(jié)果的相關(guān)系數(shù)Fig.5 Correlation coefficients of different channel attention block results

3.2 評(píng)價(jià)方法

本文對(duì)所對(duì)比的其他遙感圖像融合算法和本文算法得到的結(jié)果圖像進(jìn)行了定量和定性分析。主觀上通過(guò)觀察結(jié)果圖像的整體顏色和局部放大圖的細(xì)節(jié)來(lái)進(jìn)行比較；客觀上采用了6 種常見(jiàn)的客觀評(píng)價(jià)指標(biāo)：1）計(jì)算兩幅圖像相似性的相關(guān)系數(shù)（Correlation Coefficient，CC）［16］，CC 的值越大，說(shuō)明與HMS 圖像越相似；2）全面反映銳化結(jié)果質(zhì)量的合成圖像無(wú)方向性全局相對(duì)誤差 ERGAS（Erreur Relative Global Adimensionnelle de Synthese）［17］，ERGAS 的值越小，說(shuō)明銳化結(jié)果越好；3）平均通用圖像質(zhì)量指數(shù)Q［18］，Q 的值越大，說(shuō)明銳化效果越好；4）反映結(jié)果圖像光譜質(zhì)量的波譜角度映射表（Spectral Angle Mapper，SAM）［19］，SAM 的值越小，說(shuō)明光譜質(zhì)量越好；5）對(duì)所有通道求平均光譜誤差（Relative Average Spectral Error，RASE）［20］，RASE 的值越小，表示銳化結(jié)果的平均光譜表現(xiàn)越好；6）直接對(duì)結(jié)果圖像和參考圖像求像素值差異的均方根誤差（Root Mean Square Error，RMSE）［20］，RMSE的值越小，說(shuō)明銳化結(jié)果和參考圖像之間差別越小。

3.3 實(shí)驗(yàn)結(jié)果分析

在本實(shí)驗(yàn)部分，通過(guò)大量的定量和可視化評(píng)估，驗(yàn)證了本文算法可以表現(xiàn)出優(yōu)良的性能。實(shí)驗(yàn)對(duì)比了六種不同的遙感圖像融合算法，這六種算法都是具有代表性的且涵蓋了遙感圖像融合的三大類(lèi)算法：1）基于多分辨率分析的算法有基于小波變換的算法（Least-Squares，LS）［21］；2）基于成分替換的算法有用摳圖算法進(jìn)行銳化（Pansharpening with Matting Model，MMP）［22］、主成分分析法（Principal Component Analysis，PCA）［23］、快速?gòu)?qiáng)度-色調(diào)-飽和度遙感影像融合算法（Fast Intensity-Hue-Saturation，F(xiàn)IHS）［24］；3）基于深度學(xué)習(xí)的算法有PNN［6］和DRPNN［7］。

3.3.1 Spot-6數(shù)據(jù)集

圖6 展示了一系列Spot-6 衛(wèi)星的建筑圖片，其中：圖6（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖6（d）～（j）分別為通過(guò)LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所得到的銳化結(jié)果。由于衛(wèi)星圖像是多通道的（R、G、B、近紅外），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個(gè)通道。

從圖6 的實(shí)驗(yàn)結(jié)果可以看出：LS、PCA 和FIHS 算法得到的銳化結(jié)果有一定程度的光譜失真，尤其是PCA 算法和FIHS算法所得到的圖明顯偏藍(lán)；LS算法和MMP算法的結(jié)果細(xì)節(jié)比較模糊，細(xì)節(jié)信息丟失嚴(yán)重。相對(duì)于LS、MMP、PCA、FIHS 這些傳統(tǒng)算法，PNN 算法、DRPNN 算法和本文算法在細(xì)節(jié)方面跟圖6（a）中參考圖像比較一致；但是在光譜方面，PNN 算法和DRPNN 算法的結(jié)果圖像顏色比參考圖像淡。所以在主觀評(píng)價(jià)上，本文算法取得了較好的結(jié)果。

圖6 Spot-6 衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.6 Fusion results of Spot-6 satellite images under different algorithms

表1為各個(gè)算法結(jié)果圖像的客觀評(píng)價(jià)指標(biāo)的值。

表1 圖6實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation indicators of Fig.6 experimental results

其中：CC 和Q 這兩個(gè)指標(biāo)的值越大表示算法的效果越好，而ERGAS、SAM、RASE、RMSE 這四個(gè)指標(biāo)的值越小表示算法的效果越好。從表1 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE和RMSE指標(biāo)上取得了最小值，在各個(gè)指標(biāo)上都是最優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了50%以上，相較于次優(yōu)的DRPNN 算法降低了12.92%。結(jié)合前面視覺(jué)上的效果，由此可以得出在Spot-6 衛(wèi)星圖像上，本文算法無(wú)論在主觀還是客觀上都取得了較好效果。

3.3.2 QuickBird數(shù)據(jù)集

圖7 展示了一系列QuickBird 衛(wèi)星的建筑和海洋圖片，其中：圖7（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖7（d）～（j）分別為通過(guò)LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結(jié)果。由于衛(wèi)星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個(gè)通道。

圖7 QuickBird 衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.7 Fusion results of QuickBird satellite images under different algorithms

圖7的實(shí)驗(yàn)結(jié)果中：FIHS算法的結(jié)果有嚴(yán)重的光譜失真，整幅圖像顏色偏白；PCA 算法的結(jié)果的紋理和輪廓邊緣都很模糊；LS 算法的結(jié)果也有輕微的光譜失真。從總體上看，MMP 算法、PNN 算法和DRPNN 算法都跟圖7（a）中的參考圖像比較接近。但是從放大的跑道圖中可以看出，這三個(gè)算法在細(xì)節(jié)上都有一定的模糊。無(wú)論是整體圖和局部圖7（j）中本文算法的效果都比較好。

從表2 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標(biāo)上取得了最小值，在各個(gè)指標(biāo)上都是最優(yōu)的，DRPNN 算法的結(jié)果都是次優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了50%以上，相較于次優(yōu)的DRPNN 算法降低了11.52%。結(jié)合前面視覺(jué)上的效果，由此可以得出在QuickBird 衛(wèi)星圖像上，本文算法無(wú)論在主觀還是客觀上都取得了較好效果。

表2 圖7實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)指標(biāo)Tab.2 Objective evaluation indicators of Fig.7 experimental results

3.3.3 WorldView2數(shù)據(jù)集

圖8 展示了一系列WorldView2 衛(wèi)星的植被和建筑圖片，其中：圖8（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖8（d）～（j）分別為通過(guò)LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結(jié)果。由于衛(wèi)星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個(gè)通道。

圖8 的實(shí)驗(yàn)結(jié)果中：LS 和PCA 算法的結(jié)果細(xì)節(jié)模糊非常嚴(yán)重，局部圖中樹(shù)的邊緣都看不清；MMP 算法的結(jié)果有輕微的光譜失真；FIHS 算法的結(jié)果有嚴(yán)重的光譜失真，整幅圖像顏色偏紫、偏白。從總體上看，PNN 算法和DRPNN 算法、本文算法結(jié)果都跟圖8（a）中的參考圖像比較接近。但是從放大的局部圖中可以看出，PNN和DRPNN的放大圖中樹(shù)的紋理都沒(méi)有了，而本文算法的放大圖與參考圖像非常接近，樹(shù)的輪廓和紋理都比較清晰。

圖8 WorldView2衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.8 Fusion results of WorldView2 satellite images under different algorithms

從表3 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標(biāo)上取得了最小值，在各個(gè)指標(biāo)上都是最優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了60%以上，相較于次優(yōu)的DRPNN算法降低了53.55%。結(jié)合前面視覺(jué)上的效果，由此可以得出在WorldView2 衛(wèi)星圖像上，本文算法無(wú)論在主觀還是客觀上都取得了較好效果。

表3 圖8實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)指標(biāo)Tab.3 Objective evaluation indicators of Fig.8 experimental results

4 結(jié)語(yǔ)

本文針對(duì)以往遙感圖像融合的深度學(xué)習(xí)算法中沒(méi)有利用深層特征去修正淺層特征的問(wèn)題，提出了一種改進(jìn)的反饋網(wǎng)絡(luò)遙感圖像融合算法。本文算法使用反饋的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)進(jìn)行遙感圖像融合，而且在反饋網(wǎng)絡(luò)中加入了殘差通道注意力模塊對(duì)其進(jìn)行改進(jìn)。首先通過(guò)通道注意力機(jī)制重構(gòu)輸入圖像的各通道特征，然后通過(guò)反饋連接將包含有用信息的深層特征帶回到輸入中以?xún)?yōu)化輸入的淺層特征，最后重建出來(lái)的HMS 圖像在光譜上和細(xì)節(jié)上都有較好的效果。通過(guò)實(shí)驗(yàn)驗(yàn)證，本文算法在不同的數(shù)據(jù)集上銳化得到的圖像沒(méi)有出現(xiàn)光譜失真和畸變，空間細(xì)節(jié)也比較豐富，在六種客觀評(píng)價(jià)指標(biāo)上也表現(xiàn)出最佳性能，這說(shuō)明本文算法能較好地將LMS 圖像的光譜信息和PAN圖像的細(xì)節(jié)信息融合到一起。

由于卷積神經(jīng)網(wǎng)絡(luò)是反饋的，卷積的參數(shù)比較龐大，在運(yùn)行時(shí)需要較大的內(nèi)存，運(yùn)行速度較慢，而且需要較大的數(shù)據(jù)集來(lái)訓(xùn)練網(wǎng)絡(luò)。如何減少網(wǎng)絡(luò)的參數(shù)、提升運(yùn)行速度是值得繼續(xù)研究的問(wèn)題。