吳 蕾，楊曉敏

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

遙感圖像融合是一種將低分辨率多光譜（Low-resolution MultiSpectral，LMS）遙感圖像和高分辨率全色（PANchromatic，PAN）遙感圖像融合成高分辨率多光譜（High-resolution MultiSpectral，HMS）圖像的算法。高分辨率多光譜遙感圖像廣泛地應(yīng)用在地球觀測、分類、目標(biāo)檢測、環(huán)境監(jiān)測和光譜分解等領(lǐng)域［1-2］。然而由于當(dāng)前硬件的局限性，遙感衛(wèi)星只能分別獲取地表多波段的多光譜LMS 圖像和單波段的全色PAN 圖像，這兩種圖像在信息上是互補的。為了得到HMS 圖像，遙感圖像的融合技術(shù)得到了研究者們的廣泛關(guān)注。隨著遙感圖像越來越重要，遙感圖像融合算法也在不斷地改進，如何將多光譜圖像和全色圖像的互補信息盡可能多地融合到高空間分辨率多光譜圖像中，是遙感圖像融合中重點關(guān)注的問題。

近幾十年來，遙感圖像融合算法的效果一直在不斷提升，傳統(tǒng)的遙感圖像融合算法大致能夠分為兩類：一類是基于成分替換（Component Substitution，CS）的算法；另一類是基于多分辨率分析（Multi-Resolution Analysis，MRA）的算法［3-5］。由于PAN 和LMS 圖像的光譜范圍不一致，即使在融合策略上進行了改進，現(xiàn)有的CS/MRA 算法也會表現(xiàn)出一定程度的光譜失真。

通過整理總結(jié)傳統(tǒng)的遙感圖像融合算法，可以發(fā)現(xiàn)許多提取和整合空間細節(jié)特征的過程和卷積神經(jīng)網(wǎng)絡(luò)有相似之處，并且卷積神經(jīng)網(wǎng)絡(luò)所提取到的特征比手工設(shè)計的提取規(guī)則所提取到的特征具有更強的表征能力。因此，為了克服傳統(tǒng)算法所存在的缺點，已經(jīng)有很多基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的遙感圖像融合算法被提出。例如，Masi 等［6］使用基于超分辨率的三層CNN 結(jié)構(gòu)進行了遙感圖像融合，率先提出了基于CNN 的遙感圖像融合算法PNN（Pansharpening by CNN），顯著提高了遙感圖像融合算法的性能。Wei 等［7］提出了一種深度殘差遙感圖像融合神經(jīng)網(wǎng)絡(luò)DRPNN（Pansharpening by Deep Residual CNN），用于魯棒和高質(zhì)量的PAN 和LMS 圖像融合。該算法融合了殘差學(xué)習(xí)過程，在殘差學(xué)習(xí)架構(gòu)的支持下，形成了極深的卷積濾波框架，提高了融合的精度，同時也保證了網(wǎng)絡(luò)的性能可以快速收斂。Shao 等［8］提出了雙分支的CNN 來分別提取LMS 和PAN圖像的特征，并采用殘差連接以增強遙感圖像融合的性能。Yang等［9］提出了一種結(jié)合了有關(guān)遙感圖像融合的先驗知識的網(wǎng)絡(luò)結(jié)構(gòu)，該算法從LMS 和PAN 圖像中提取高頻信息，并將它們用作網(wǎng)絡(luò)的輸入。該網(wǎng)絡(luò)是在頻率域而不是空間域中進行訓(xùn)練的，因此其泛化能力和性能都優(yōu)于傳統(tǒng)算法和基于簡單網(wǎng)絡(luò)結(jié)構(gòu)的遙感圖像融合算法。

上述算法中所有的卷積神經(jīng)網(wǎng)絡(luò)都是前饋的，由于前饋網(wǎng)絡(luò)的感受野較小，獲取的上下文信息不足，淺層卷積層所提取到的淺層特征表征能力不足，在網(wǎng)絡(luò)隨后的卷積層中這些淺層信息會被重用，這會導(dǎo)致網(wǎng)絡(luò)的重構(gòu)性能降低。同時LMS 圖像和PAN 圖像具有不同的信息，但是上述算法在融合時，平等地對待特征圖的各個通道，忽略了各個特征圖之間各通道的相互依賴關(guān)系。針對以上問題，本文提出了改進的通道注意力反饋網(wǎng)絡(luò)，即使用反饋網(wǎng)絡(luò)將深層特征反向傳回從而優(yōu)化淺層特征并且引入通道注意力機制充分利用各通道之間的相互依賴關(guān)系來進一步提升反饋網(wǎng)絡(luò)的性能。本文的主要工作有兩個，分別如下：

1）引入了反饋卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)深層特征和淺層特征之間的相互依賴關(guān)系，在保留LMS 圖像的光譜信息和PAN 圖像的細節(jié)信息的同時可以生成更深層次的特征。

2）使用注意力機制為反饋過程中產(chǎn)生的特征圖以及特征圖的各個通道，自動分配不同的注意力資源，使網(wǎng)絡(luò)模型可以學(xué)習(xí)到盡可能多的有用信息。

1 相關(guān)工作

1.1 反饋機制

在人類視覺系統(tǒng)中普遍存在反饋機制，能夠?qū)⑿盘枏母唠A區(qū)帶到低階區(qū)［10］。將反饋機制應(yīng)用在圖像處理中可以取得很好的效果。例如，對于單幅圖像的超分辨率，Haris 等［11］根據(jù)反投影理論構(gòu)造了上投影和下投影單元，以此來實現(xiàn)一種迭代誤差的反饋。Li 等［12］精心設(shè)計了一個反饋模塊，為低級視覺任務(wù)提取強大的高級表示，并傳輸高級特征來細化低級特征，實現(xiàn)反饋機制。

同樣地，反饋機制也可以應(yīng)用到遙感圖像融合中，通過學(xué)習(xí)深層特征和淺層特征之間的依賴性來得到更深層次的特征。本文設(shè)計了一種具有特殊特征提取模塊的反饋模塊，特征提取模塊由三對密集跳躍連接的上下采樣層組成，通過迭代的上、下采樣實現(xiàn)了反投影機制，通過學(xué)習(xí)各種上、下采樣算子，使網(wǎng)絡(luò)生成強大的特征。其中的密集跳躍連接允許重用來自前一層的特征，避免重復(fù)學(xué)習(xí)冗余的特征。該特征提取模塊可以提取出強大的高級表示，然后網(wǎng)絡(luò)的反饋連接將高級表示反向地傳回到輸入，并再次送入反饋模塊來進行處理。通過不斷的反饋學(xué)習(xí)，得到最終的深層特征。

1.2 通道注意力機制

在卷積神經(jīng)網(wǎng)絡(luò)中最重要的就是卷積算子，它使網(wǎng)絡(luò)在提取每一層特征時能融合空間信息和信道信息?；谔卣鞯倪@種空間組成關(guān)系，Hu 等［13］提出了一個新的建筑單元，稱為“壓縮-激發(fā)”模塊，該模塊首先明確地表示出通道之間的互相依賴關(guān)系，然后根據(jù)依賴關(guān)系來自適應(yīng)地校準(zhǔn)通道相關(guān)的特征響應(yīng)，來提高網(wǎng)絡(luò)產(chǎn)生的特征的質(zhì)量。這是一種通道注意力機制，該機制通過運用全局信息，有偏向地強調(diào)有用的信息特征，抑制作用有限的特征。Zhang 等［14-15］將通道注意力（Channel Attention，CA）應(yīng)用在了圖像超分辨率中，并且取得了不錯的效果。

在遙感圖像融合算法中，LMS圖像是多通道的，每個通道都有不同的光譜信息，PAN 圖像是單通道有非常清晰的細節(jié)信息的灰度圖。在融合的過程中，首先將PAN 圖像和LMS 圖像在通道上進行拼接，如果平等對待每個通道則不能很好地保留LMS 圖像的光譜信息和PAN 圖像的細節(jié)信息。將通道注意力機制應(yīng)用在遙感圖像融合中，就可以針對性地提取出LMS圖像的光譜特征和PAN圖像的細節(jié)特征。

2 本文算法

2.1 算法框架

為了直觀地展示本文算法，首先給出了本文的總體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。算法的實現(xiàn)主要有3個步驟：1）用了雙通道特征提取層分別提取LMS 圖像的光譜特征和PAN 圖像的細節(jié)特征，并且將這兩部分特征與反饋輸出的表征能力較強的深層特征拼接在一起。其中，特征提取層2 在提取PAN 圖像特征的同時會對特征下采樣以適應(yīng)LMS 特征的尺寸；2）結(jié)合以后的特征輸入到反饋層，在反饋層中先經(jīng)過殘差通道注意力模塊（Residual Channel Attention Block，RCAB）強調(diào)有用的信息來優(yōu)化特征，然后將優(yōu)化后的特征輸入到反饋模塊（Feedback Block，F(xiàn)B），在反饋層中經(jīng)過若干次反饋，最終輸出具有有力表征能力的特征，在這之前的輸出結(jié)果都是作為反饋量和輸入特征合并到一起的；3）反饋結(jié)構(gòu)輸出的特征經(jīng)過重建層（1 個反卷積層和1 個3×3 的卷積層）再與上采樣后的LMS圖像相加，從而得到最終的重建HMS圖像。

圖1 本文算法框架Fig.1 Framework of proposed algorithm

2.2 通道注意力機制

以前基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法平等地對待LMS 和PAN 圖像各通道的特性，這對于實際情況不靈活。為了更多地獲取有用信息，可以通過特征通道之間的相互聯(lián)系性來更多地關(guān)注到有用的信息特征，從而形成通道注意機制。該機制最重要的就是如何合理地去關(guān)注每個通道上的特征。對此，本文主要考慮兩個方面：一方面，LMS 圖像和PAN 圖像中包含的信息并不相同。PAN 圖像中的信息是高頻成分，包含了很多細節(jié)和紋理信息；LMS 圖像中具有豐富的光譜信息和低頻成分。另一方面，在卷積的過程中每個卷積算子都只有一個局部的感受野，并不能充分利用到上下文信息，因此獲取的特征也是缺少上下文信息的。

基于這些分析，引入了通道注意力機制。首先運用全局平均池化將全局的通道空間信息轉(zhuǎn)化成信道描述符，如圖2所示。

圖2 通道注意力機制示意圖Fig.2 Schematic diagram of channel attention mechanism

X=[X1，X2，…，XC]是一個通道注意力機制的輸入，其中包含C層大小為H×W的特征圖。通過空間維度H×W對X進行收縮，可以得到通道級的統(tǒng)計量z，第c層的元素z可以表示為：

其中：xc(i，j)為第c層特征xc在(i，j)處的值；FGP(·)為全局池化函數(shù)。這種通道統(tǒng)計量可以看作是局部描述符的集合，其統(tǒng)計量有助于表達整個圖像。

為了通過全局平均池化完全捕獲聚合信息的通道依賴性，本文引入了一個門控機制。正如文獻［14］中討論的，門控機制應(yīng)該滿足兩個標(biāo)準(zhǔn)：首先，它必須能夠?qū)W習(xí)通道之間的非線性交互作用。其次，由于需要的是多通道的特征，而不是單一的激活，它必須學(xué)習(xí)一種非互斥的關(guān)系，本文選擇使用sigmoid函數(shù)來實現(xiàn)簡單的門控機制：

其中：f(·)和變量δ(·)分別表示sigmoid 門控和ReLU（Rectified Linear Units）函數(shù)；HD是降維卷積層的權(quán)值集，降維卷積層起到的通道降維作用，降維比例為r。降維后的維信號被ReLU函數(shù)激活后，再通過升維卷積層增大通道數(shù)r倍，升維卷積層權(quán)值集為HU。然后得到最終的通道統(tǒng)計量w，用于重新調(diào)節(jié)輸入xc：

其中：wc和xc分別為第c層通道的比例因子和特征圖。

同時，受文獻［7］中殘差模塊（Residual Block，RB）的啟發(fā)，本文將CA 集成到RB 中，提出殘差通道注意力模塊（RCAB），如圖3所示。

其中：Cb為通道注意函數(shù)；Fb-1和Fb是RCAB 的輸入和輸出，RCAB 從輸入中獲取殘差Xb。剩余分量主要由兩層疊加得到：

圖3 殘差通道注意力模塊示意圖Fig.3 Schematic diagram of residual channel attention block

2.3 反饋模塊

在反饋模塊中，本文采用了三組由下采樣卷積層和上采樣反卷積層構(gòu)成的投影組，在每個卷積層和反卷積層之間又加入了稠密連接，這樣可以增加各層特征之間的聯(lián)系，通過特征重利用的方式，在相同的卷積層數(shù)下，可以生成表征能力更強的特征。

如圖4所示，第t次迭代的反饋模塊接收到反饋信息來糾正淺層表示然后將更強大的深層表示輸出到下一次迭代和重構(gòu)模塊。FB 按順序包含3 個投影組，它們之間有密集跳越連接。每個投影組主要包括一個上采樣操作和一個下采樣操作，它們可以將深層特征投影到淺層特征中。

在FB開始時，通過卷積層Conv(1，m)對進行拼接和壓縮，通過反饋信息來優(yōu)化輸入特征產(chǎn)生重新優(yōu)化的輸入特征，公式表達如下：

其中：Conv(·)為初始壓縮卷積操作；的拼接。設(shè)為FB 中第i組投影組在第t次迭代時給出的HMS和LMS特征圖。可以由式（7）得到：

其中：Ci↑為在第i個投影組使用反卷積層Deconv(k，m)的上采樣操作。對應(yīng)地可由式（8）得到：

其中：Ci↓為使用卷積層Conv(k，m)在第i個投影組的下采樣操作。除了第一個投影組外，在Ci↑和Ci↓之前添加卷積核大小為1的卷積層Conv(1，m)來減少參數(shù)和提高計算效率。

為了從每個投影組中挖掘有用信息，并確保在下一次迭代中映射輸入LMS 特征的大小不變，對投影組生成的MS特征進行融合（圖4中的實線箭頭），生成FB的輸出：

其中：Conv表示Conv(1，m)的函數(shù)。

圖4 反饋模塊示意圖Fig.4 Schematic diagram of feedback block

3 實驗驗證與分析

3.1 實驗設(shè)計

3.1.1 實驗設(shè)置與數(shù)據(jù)集

本文實驗中使用PReLU（Parametric ReLU）作為激活函數(shù)，每次迭代中除最后一層之外的所有卷積層和反卷積層都使用了PReLU。除了在每次反饋中具體分析每個輸出的圖像，將最后一次反饋網(wǎng)絡(luò)輸出的圖像作為最終的銳化結(jié)果。使用文獻［12］方法初始化網(wǎng)絡(luò)參數(shù)，采用Adam 優(yōu)化網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率為0.000 1，每200 個epoch 學(xué)習(xí)率乘以0.5，提取的圖像特征層數(shù)為64。網(wǎng)絡(luò)是在Pytorch 框架上實現(xiàn)，并在NVIDIA 1080TiGPU上進行訓(xùn)練。

各個衛(wèi)星得到的圖像種類不盡相同，為了驗證算法的適用性，實驗采用了三種衛(wèi)星的圖像，分別是Spot-6、QuickBird和WorldView2，這三種衛(wèi)星圖片覆蓋了建筑、植被和海洋等場景。所有的LMS 圖像尺寸為64×64，PAN 圖像的尺寸256×256。由于無法獲取真正的HMS 圖像，本文將原始的尺寸為256×256的MS圖像作為參考圖像，原始MS圖像下采樣4倍的圖像作為LMS 圖像來充當(dāng)訓(xùn)練集。由于有些對比算法需要訓(xùn)練集，為了公平原則，所有的訓(xùn)練集圖像都保持一致。

3.1.2 不同通道注意力模塊的對比實驗

在本節(jié)實驗中探討了反饋網(wǎng)絡(luò)中添加不同的通道注意力機制模塊（CA 和RCAB）的效果。結(jié)果圖像和HMS 圖像之間的相關(guān)系數(shù)如圖5 所示，一共訓(xùn)練了1 000 個epoch。圖5 中：Base表示添加任何通道注意力機制模塊；CA表示添加了通道注意力機制模塊；RCAB 表示添加了殘差通道注意力機制模塊。從圖5可以看出：添加了RCAB模塊的反饋網(wǎng)絡(luò)得到的結(jié)果圖像與HMS 圖像的相關(guān)系數(shù)最高，未添加任何通道注意力模塊的反饋網(wǎng)絡(luò)得到的結(jié)果圖像與HMS 圖像的相關(guān)系數(shù)最低，這說明通道注意力機制確實可以改進反饋網(wǎng)絡(luò)的效果，并且RCAB模塊能表現(xiàn)出更好的性能。

圖5 不同通道注意力模塊結(jié)果的相關(guān)系數(shù)Fig.5 Correlation coefficients of different channel attention block results

3.2 評價方法

本文對所對比的其他遙感圖像融合算法和本文算法得到的結(jié)果圖像進行了定量和定性分析。主觀上通過觀察結(jié)果圖像的整體顏色和局部放大圖的細節(jié)來進行比較；客觀上采用了6 種常見的客觀評價指標(biāo)：1）計算兩幅圖像相似性的相關(guān)系數(shù)（Correlation Coefficient，CC）［16］，CC 的值越大，說明與HMS 圖像越相似；2）全面反映銳化結(jié)果質(zhì)量的合成圖像無方向性全局相對誤差 ERGAS（Erreur Relative Global Adimensionnelle de Synthese）［17］，ERGAS 的值越小，說明銳化結(jié)果越好；3）平均通用圖像質(zhì)量指數(shù)Q［18］，Q 的值越大，說明銳化效果越好；4）反映結(jié)果圖像光譜質(zhì)量的波譜角度映射表（Spectral Angle Mapper，SAM）［19］，SAM 的值越小，說明光譜質(zhì)量越好；5）對所有通道求平均光譜誤差（Relative Average Spectral Error，RASE）［20］，RASE 的值越小，表示銳化結(jié)果的平均光譜表現(xiàn)越好；6）直接對結(jié)果圖像和參考圖像求像素值差異的均方根誤差（Root Mean Square Error，RMSE）［20］，RMSE的值越小，說明銳化結(jié)果和參考圖像之間差別越小。

3.3 實驗結(jié)果分析

在本實驗部分，通過大量的定量和可視化評估，驗證了本文算法可以表現(xiàn)出優(yōu)良的性能。實驗對比了六種不同的遙感圖像融合算法，這六種算法都是具有代表性的且涵蓋了遙感圖像融合的三大類算法：1）基于多分辨率分析的算法有基于小波變換的算法（Least-Squares，LS）［21］；2）基于成分替換的算法有用摳圖算法進行銳化（Pansharpening with Matting Model，MMP）［22］、主成分分析法（Principal Component Analysis，PCA）［23］、快速強度-色調(diào)-飽和度遙感影像融合算法（Fast Intensity-Hue-Saturation，F(xiàn)IHS）［24］；3）基于深度學(xué)習(xí)的算法有PNN［6］和DRPNN［7］。

3.3.1 Spot-6數(shù)據(jù)集

圖6 展示了一系列Spot-6 衛(wèi)星的建筑圖片，其中：圖6（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖6（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所得到的銳化結(jié)果。由于衛(wèi)星圖像是多通道的（R、G、B、近紅外），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個通道。

從圖6 的實驗結(jié)果可以看出：LS、PCA 和FIHS 算法得到的銳化結(jié)果有一定程度的光譜失真，尤其是PCA 算法和FIHS算法所得到的圖明顯偏藍；LS算法和MMP算法的結(jié)果細節(jié)比較模糊，細節(jié)信息丟失嚴(yán)重。相對于LS、MMP、PCA、FIHS 這些傳統(tǒng)算法，PNN 算法、DRPNN 算法和本文算法在細節(jié)方面跟圖6（a）中參考圖像比較一致；但是在光譜方面，PNN 算法和DRPNN 算法的結(jié)果圖像顏色比參考圖像淡。所以在主觀評價上，本文算法取得了較好的結(jié)果。

圖6 Spot-6 衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.6 Fusion results of Spot-6 satellite images under different algorithms

表1為各個算法結(jié)果圖像的客觀評價指標(biāo)的值。

表1 圖6實驗結(jié)果的客觀評價指標(biāo)Tab.1 Objective evaluation indicators of Fig.6 experimental results

其中：CC 和Q 這兩個指標(biāo)的值越大表示算法的效果越好，而ERGAS、SAM、RASE、RMSE 這四個指標(biāo)的值越小表示算法的效果越好。從表1 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE和RMSE指標(biāo)上取得了最小值，在各個指標(biāo)上都是最優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了50%以上，相較于次優(yōu)的DRPNN 算法降低了12.92%。結(jié)合前面視覺上的效果，由此可以得出在Spot-6 衛(wèi)星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

3.3.2 QuickBird數(shù)據(jù)集

圖7 展示了一系列QuickBird 衛(wèi)星的建筑和海洋圖片，其中：圖7（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖7（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結(jié)果。由于衛(wèi)星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個通道。

圖7 QuickBird 衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.7 Fusion results of QuickBird satellite images under different algorithms

圖7的實驗結(jié)果中：FIHS算法的結(jié)果有嚴(yán)重的光譜失真，整幅圖像顏色偏白；PCA 算法的結(jié)果的紋理和輪廓邊緣都很模糊；LS 算法的結(jié)果也有輕微的光譜失真。從總體上看，MMP 算法、PNN 算法和DRPNN 算法都跟圖7（a）中的參考圖像比較接近。但是從放大的跑道圖中可以看出，這三個算法在細節(jié)上都有一定的模糊。無論是整體圖和局部圖7（j）中本文算法的效果都比較好。

從表2 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標(biāo)上取得了最小值，在各個指標(biāo)上都是最優(yōu)的，DRPNN 算法的結(jié)果都是次優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了50%以上，相較于次優(yōu)的DRPNN 算法降低了11.52%。結(jié)合前面視覺上的效果，由此可以得出在QuickBird 衛(wèi)星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

表2 圖7實驗結(jié)果的客觀評價指標(biāo)Tab.2 Objective evaluation indicators of Fig.7 experimental results

3.3.3 WorldView2數(shù)據(jù)集

圖8 展示了一系列WorldView2 衛(wèi)星的植被和建筑圖片，其中：圖8（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖8（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結(jié)果。由于衛(wèi)星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結(jié)果僅僅展示了R、G、B三個通道。

圖8 的實驗結(jié)果中：LS 和PCA 算法的結(jié)果細節(jié)模糊非常嚴(yán)重，局部圖中樹的邊緣都看不清；MMP 算法的結(jié)果有輕微的光譜失真；FIHS 算法的結(jié)果有嚴(yán)重的光譜失真，整幅圖像顏色偏紫、偏白。從總體上看，PNN 算法和DRPNN 算法、本文算法結(jié)果都跟圖8（a）中的參考圖像比較接近。但是從放大的局部圖中可以看出，PNN和DRPNN的放大圖中樹的紋理都沒有了，而本文算法的放大圖與參考圖像非常接近，樹的輪廓和紋理都比較清晰。

圖8 WorldView2衛(wèi)星圖像在不同算法下的融合結(jié)果Fig.8 Fusion results of WorldView2 satellite images under different algorithms

從表3 可以看出本文算法在CC 和Q 指標(biāo)上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標(biāo)上取得了最小值，在各個指標(biāo)上都是最優(yōu)的。本文算法的RMSE 降低最明顯，比傳統(tǒng)算法降低了60%以上，相較于次優(yōu)的DRPNN算法降低了53.55%。結(jié)合前面視覺上的效果，由此可以得出在WorldView2 衛(wèi)星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

表3 圖8實驗結(jié)果的客觀評價指標(biāo)Tab.3 Objective evaluation indicators of Fig.8 experimental results

4 結(jié)語

本文針對以往遙感圖像融合的深度學(xué)習(xí)算法中沒有利用深層特征去修正淺層特征的問題，提出了一種改進的反饋網(wǎng)絡(luò)遙感圖像融合算法。本文算法使用反饋的深度學(xué)習(xí)網(wǎng)絡(luò)來進行遙感圖像融合，而且在反饋網(wǎng)絡(luò)中加入了殘差通道注意力模塊對其進行改進。首先通過通道注意力機制重構(gòu)輸入圖像的各通道特征，然后通過反饋連接將包含有用信息的深層特征帶回到輸入中以優(yōu)化輸入的淺層特征，最后重建出來的HMS 圖像在光譜上和細節(jié)上都有較好的效果。通過實驗驗證，本文算法在不同的數(shù)據(jù)集上銳化得到的圖像沒有出現(xiàn)光譜失真和畸變，空間細節(jié)也比較豐富，在六種客觀評價指標(biāo)上也表現(xiàn)出最佳性能，這說明本文算法能較好地將LMS 圖像的光譜信息和PAN圖像的細節(jié)信息融合到一起。

由于卷積神經(jīng)網(wǎng)絡(luò)是反饋的，卷積的參數(shù)比較龐大，在運行時需要較大的內(nèi)存，運行速度較慢，而且需要較大的數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)。如何減少網(wǎng)絡(luò)的參數(shù)、提升運行速度是值得繼續(xù)研究的問題。