尚曉梅， 李佳田， 呂少云， 楊汝春， 楊超

(昆明理工大學(xué)國土資源工程學(xué)院，昆明 650000)

0 引言

高分辨率遙感圖像具有更高的像素密度，包含更多細(xì)節(jié)信息，對地物目標(biāo)識別、分類和提取等應(yīng)用的精度有重要影響[1]。超分辨率(super-resolution，SR)重建[2]能夠由一幅低分辨率(low-resolution，LR)圖像或LR圖像序列恢復(fù)出包含更多細(xì)節(jié)信息的高分辨率(high-resolution，HR)圖像，是獲取高分辨率遙感圖像的重要方法，其中基于深度學(xué)習(xí)的SR重建方法是當(dāng)前主流研究方向，根據(jù)所需數(shù)據(jù)集的不同，可分為監(jiān)督學(xué)習(xí)SR和非監(jiān)督學(xué)習(xí)SR[3]。

現(xiàn)有的SR方法主要集中于監(jiān)督學(xué)習(xí)，如Dong等[4]提出SRCNN(super-resolution convolutional neural network)模型通過構(gòu)建三層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，直接學(xué)習(xí)LR圖像與HR圖像間的端到端映射關(guān)系，運行效率和重建效果較好，但所需訓(xùn)練時間較長且學(xué)習(xí)過程中可能出現(xiàn)過擬合問題; Kim等[5]在SRCNN的基礎(chǔ)上引入殘差網(wǎng)絡(luò)(residual network，ResNet)[6]，提出VDSR(very deep convolutional networks for super-resolution)模型，同時通過增加卷積層個數(shù)以提高模型準(zhǔn)確率，但學(xué)習(xí)信息有限且收斂慢; Kim等[7]提出DRCN(deeply-recursive convolutional network)模型將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于SR重建中，加深網(wǎng)絡(luò)結(jié)構(gòu)的同時使用跳躍連接增加網(wǎng)絡(luò)感受野，提升模型重建效果; Tai等[8]通過對DRCN已有的ResNet等結(jié)構(gòu)進(jìn)行調(diào)整，提出多路徑模式的局部殘差學(xué)習(xí)結(jié)合全局殘差學(xué)習(xí)和多權(quán)重遞歸學(xué)習(xí)的DRRN(deep recursive residual network)模型。這些監(jiān)督學(xué)習(xí)SR方法均需要對原始HR圖像采用某種特定的降采樣方法如Bicubic插值函數(shù)等退化得到相應(yīng)的LR圖像，作為一對HR-LR輸入樣本[9]。由于不同分辨率的遙感圖像間潛在的退化方法通常是未知的，通過已知方法人工獲取的成對LR-HR遙感數(shù)據(jù)在實際SR應(yīng)用中可信度不高[10]。

無監(jiān)督學(xué)習(xí)SR則完全丟棄成對的合成數(shù)據(jù)，僅利用未配對的LR-HR圖像直接學(xué)習(xí)LR到HR的映射，如Shocher等[11]認(rèn)為單個圖像內(nèi)部的圖像統(tǒng)計信息已經(jīng)為SR提供了足夠信息，通過訓(xùn)練圖像特定的SR網(wǎng)絡(luò)而非在大型外部數(shù)據(jù)集上訓(xùn)練通用模型來應(yīng)對無監(jiān)督SR，提出零鏡頭超分辨率(zero-shot super-resolution，ZSSR); Bulat等[12]提出將SR分為兩個階段，首先使用未配對的LR-HR圖像訓(xùn)練和學(xué)習(xí)HR-to-LR GAN，在此基礎(chǔ)上基于配對的LR-HR圖像訓(xùn)練LR-to-HR生成對抗網(wǎng)絡(luò)(generative adverarial network,GAN)，以提高現(xiàn)實世界LR圖像的SR重建質(zhì)量，如Yi等[13]提出了DualGAN網(wǎng)絡(luò)； Ledig等[14]分別以ResNet和VGG[15]作為生成器和判別器結(jié)構(gòu)提出了SRGAN(super-resolution using a generative adversarial network)模型； Yuan等[16]基于CycleGAN[17]提出由4個生成器和2個判別器組成的周期循環(huán)SR網(wǎng)絡(luò)CinCGAN(cycle-in-cycle generative adversarial networks)。這些無監(jiān)督學(xué)習(xí)SR方法無需引入人工降采樣先驗，使得訓(xùn)練數(shù)據(jù)較容易獲取[18]，但由于遙感圖像具有自然且豐富的紋理特征及其內(nèi)容的自相關(guān)性特點，直接將現(xiàn)有的無監(jiān)督模型應(yīng)用于遙感圖像SR會使得模型不確定問題更加嚴(yán)重并產(chǎn)生較差的重建效果，因此非監(jiān)督學(xué)習(xí)SR方法不能直接應(yīng)用于標(biāo)準(zhǔn)遙感圖像SR問題[19]。

為此，針對自然真實且不成對的遙感圖像，本文利用弱監(jiān)督模型對偶回歸網(wǎng)絡(luò)(dual regression network,DRN)[20]結(jié)合深度殘差通道注意力網(wǎng)絡(luò)(residual channel attention network,RCAN)[21]中的二次殘差(residual in residual,RIR)模塊，提出殘差對偶回歸網(wǎng)絡(luò)(residual dual regression network,RDRN)，同時使用真實的不成對LR遙感數(shù)據(jù)和成對的LR-HR合成數(shù)據(jù)，使得SR模型能在適應(yīng)現(xiàn)實未配對數(shù)據(jù)的同時兼顧退化先驗，增強網(wǎng)絡(luò)的學(xué)習(xí)能力，進(jìn)而重建出更符合實際應(yīng)用的高質(zhì)量HR圖像。

1 殘差對偶回歸網(wǎng)絡(luò)RDRN

1.1 對偶學(xué)習(xí)

針對涉及兩個互為對偶的深度學(xué)習(xí)任務(wù)，例如圖像理解中基于圖像生成文本和基于文本生成圖像，F(xiàn)u等[22]提出一種新的機器學(xué)習(xí)范式,稱為對偶學(xué)習(xí)方法，利用未標(biāo)注數(shù)據(jù)進(jìn)行端到端學(xué)習(xí)，通過為強化學(xué)習(xí)獲取獎勵信息的方式，降低深度學(xué)習(xí)對大規(guī)模標(biāo)注數(shù)據(jù)的依賴性，該方法包含原始和對偶兩個非對稱的相反任務(wù)，相互提供反饋，相互學(xué)習(xí)、相互提高。多任務(wù)學(xué)習(xí)[23]也可以同時學(xué)習(xí)多個共享相同的輸入空間的任務(wù)，但對偶學(xué)習(xí)對輸入空間沒有要求，只要這些任務(wù)能形成一個反饋系統(tǒng)即可。如圖1所示，該學(xué)習(xí)模型同時包括正向原始模型(primal model, MP)和回歸對偶模型(dual model, MD)，使其形成一個閉環(huán)(closed-loop)，采用周期一致性損失函數(shù)，同時學(xué)習(xí)原始任務(wù)MP和對偶任務(wù)MD，利用對偶任務(wù)輸出值X′與給定原始期望值X相間的偏差對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)節(jié)和控制，對LR與HR間的映射函數(shù)空間形成約束，使輸出值盡量接近于期望值，從而提高遙感圖像重建質(zhì)量和模型泛化能力。理想情況下，如果從LR到HR的映射是最優(yōu)的，則可以對超分辨圖像進(jìn)行降采樣以獲得相同的輸入LR圖像。

圖1 對偶學(xué)習(xí)SR重建模型

1.2 二次殘差塊

LR遙感圖像所包含的低頻信息通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可以被恢復(fù)成高頻信息，但卷積神經(jīng)網(wǎng)絡(luò)平等對待特征的每一個通道，缺少處理不同類型信息的靈活度和辨別學(xué)習(xí)能力[24]，雖然較深的卷積網(wǎng)絡(luò)能夠獲得較好的SR性能，但更深的網(wǎng)絡(luò)使得訓(xùn)練困難，易產(chǎn)生過擬合問題[25]。深度殘差通道注意力網(wǎng)絡(luò)RCAN通過RIR結(jié)構(gòu)來構(gòu)造深層網(wǎng)絡(luò)，允許豐富的低頻信息通過多個跳躍連接直接進(jìn)行傳播，使主網(wǎng)絡(luò)專注于學(xué)習(xí)高頻信息，保證淺層網(wǎng)絡(luò)同樣擁有良好的泛化能力。

如圖2所示，每個RIR塊由數(shù)個殘差組(residual group，RG)以及長跳躍連接(long skip connection，LSC)組成，RG為其基本模塊，LSC則用來進(jìn)行粗略的殘差學(xué)習(xí)； 每個RG內(nèi)部則疊加數(shù)個殘差注意力通道塊(residual channel attention block，RCAB)和短跳躍連接(short skip connection，SSC)，RCAB將通道注意力機制(channel attention，CA)與殘差思想融合在一起，CA通過考慮通道之間的相互依賴性來自適應(yīng)地重新調(diào)整特征，SSC則允許豐富的低頻信息直接通過恒等映射向后傳播，保證信息的流動，加速網(wǎng)絡(luò)訓(xùn)練； 在每個CA內(nèi)部，首先進(jìn)行一個空間的全局池化(global pooling)得到1×1×C通道描述，再經(jīng)過一個下采樣層和一個上采樣層得到每一個通道的權(quán)重系數(shù)，將權(quán)重系數(shù)和原來的特征按元素相乘(element-wise product)即可得到縮放后的新特征，該過程將不同通道的特征重新進(jìn)行了加權(quán)分配。

圖2 二次殘差塊的結(jié)構(gòu)

本文所采用的RIR塊包含10個RG、一個3×3的卷積(convolution，Conv)和一個LSC，每個RG由20個RCAB、一個Conv和一個SSC組成，在RCAB中對每個輸入首先進(jìn)行一個Conv-ReLU-Conv操作得到特征f，f再經(jīng)過一個CA模塊進(jìn)行重新縮放得到x，最后將x和輸入按元素相加(element-wise sum)得到輸出特征。其中CA模塊中的下采樣和上采樣層都利用的卷積層Conv來實現(xiàn)，下采樣層的通道數(shù)減少r倍，上采樣層的激活函數(shù)為線性整流函數(shù)(rectified linear unit，ReLU)，下采樣層的激活函數(shù)為Sigmoid函數(shù)。本文采用的通道數(shù)C為64，r為16。

1.3 RDRN模型

RDRN模型主要由原始學(xué)習(xí)任務(wù)P和對偶回歸任務(wù)D組成。原始學(xué)習(xí)任務(wù)基于U-Net結(jié)構(gòu)，由編碼器和解碼器組成，其中，編碼器部分由簡單的Conv層和帶參數(shù)的ReLU激活函數(shù)(parametric rectified linear unit，PReLU)組成，經(jīng)過逐級下采樣(downsample，DS)，分辨率也逐層降低； 解碼器部分由Conv，RIR塊和像素重組(pixelshuffle)組成。對偶回歸任務(wù)對超分后的圖像進(jìn)行卷積下采樣(upsample，US)得到LR圖像。

如圖3所示，原始主任務(wù)P由黑色流程線指示，對偶回歸任務(wù)D由紅線流程線指示，虛線表示直接將原始圖像經(jīng)過放大后與處理后的圖像進(jìn)行特征疊加，綠色塊表示下采樣模塊的特征映射，黃色塊表示上采樣模塊的特征映射。其中，原始任務(wù)P中的下采樣和上采樣模塊都包含log2(s)基本塊，s為比例因子，解碼路徑中的采樣模塊個數(shù)由超分辨重建的倍數(shù)決定，2倍重建需要1個基礎(chǔ)塊，4倍重建需要2個基礎(chǔ)塊，此外為其添加了前期額外的輸出，如4倍重建時分別疊加了1倍重建和2倍重建后的圖像以輔助生成相應(yīng)比例的圖像，并將其產(chǎn)生的損失同時應(yīng)用于后續(xù)模型的訓(xùn)練。

圖3 RDRN的網(wǎng)絡(luò)結(jié)構(gòu)

對偶任務(wù)D的目的是學(xué)習(xí)一個下采樣模型，對輸入的未成對數(shù)據(jù)進(jìn)行下采樣估計，其網(wǎng)絡(luò)復(fù)雜度比需要學(xué)習(xí)尺度映射的原始任務(wù)簡單，僅設(shè)計了只有2個卷積層和1個PReLU激活層的對偶模型，其計算成本比原始模型低且應(yīng)用效果良好。

2 實驗與分析

2.1 數(shù)據(jù)集及預(yù)處理

為了使訓(xùn)練所得模型具有更好的泛化能力，本文實驗所用數(shù)據(jù)集包含512像素×512像素的遙感圖像共10 000張，其中10%作為測試集，選取自大型航空圖像數(shù)據(jù)集LandCover.ai和光學(xué)遙感圖像數(shù)據(jù)集DIOR。Boguszewski等[26]提出的LandCover.ai數(shù)據(jù)集收集了波蘭216.27 km2不同農(nóng)村地區(qū)的RGB航空圖像切片10 674張，涵蓋不同光學(xué)條件和植被季節(jié)周期。DIOR數(shù)據(jù)集由Li等[27]提出，共收集23 463張不同空間尺度分布的高質(zhì)量遙感圖像，包含大量地物類別，對于SR重建研究及其應(yīng)用具有代表性。

為了能更好地處理圖像的邊界像素，使邊界點能夠保留到最后一層特征圖，U-Net使用鏡像操作，為輸入圖像增加對稱的鏡像邊，如圖4所示，將512像素×512像素的圖像尺寸增加為572像素×572像素，保證每次降采樣操作的特征圖尺寸均為偶數(shù)。增加的鏡像尺寸即感受野的大小，即每條鏡像邊尺寸為感受野的一半，根據(jù)RDRN網(wǎng)絡(luò)架構(gòu)將降采樣的感受野確定為30。

圖4 鏡像加邊操作

2.2 重建質(zhì)量評估指標(biāo)

圖像質(zhì)量評估(image quality assessment，IQA)方法[28]包括基于人類主觀感知方法和客觀計算方法，客觀IQA方法按照原始參考圖像提供信息的多少分為使用參考圖像進(jìn)行評估的全參考方法、基于提取特征比較的簡化參考方法以及不使用參考圖片的無參考方法(即盲IQA)。本文采用2種常用的客觀評價指標(biāo)： 峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似度(structural similarity，SSIM)，結(jié)合主觀到客觀，對重建后的遙感圖像質(zhì)量進(jìn)行評價。

2.2.1 PSNR

對于均為N×N大小的原圖像I和重建圖像I′，PNSR通過對比兩者相應(yīng)像素之間的差異來評估真實場景中的重建質(zhì)量：

，

(1)

式中:LI為圖像的最大像素值(如8位RGB圖像中L值為255)，MSE為原圖像I與重建圖像I′的均方誤差，公式為：

。

(2)

由式(1)和或(2)可知，L為固定值，PSNR只與像素間的MSE有關(guān)，因此PSNR只關(guān)注原圖像I與重建圖像I′的像素值之間的差異。

2.2.2 SSIM

SSIM則基于圖像間的亮度、對比度和結(jié)構(gòu)從HVS的角度來評價重建質(zhì)量：

，

(3)

式中：μI為原圖像I的像素均值；σI為原圖像I的像素方差；σII′為2張圖像間的協(xié)方差；C1和C2為避免計算不穩(wěn)定而設(shè)置的常量。

2.3 模型的訓(xùn)練

實驗環(huán)境為Windows 10系統(tǒng)，使用開源深度學(xué)習(xí)框架Pytorch(1.1.4版本)，編程語言是Python(3.7.0版本)。使用RMSprop優(yōu)化器，并在訓(xùn)練過程中不同網(wǎng)絡(luò)設(shè)置相同的超參數(shù)： 初始學(xué)習(xí)率設(shè)為0.000 01，權(quán)值衰減值設(shè)為0.9，學(xué)習(xí)率衰減指數(shù)設(shè)為0.9，動量設(shè)為0.9，訓(xùn)練過程中采用的批尺寸大小為4，迭代輪數(shù)為50輪。

2.3.1 成對數(shù)據(jù)的訓(xùn)練

DRN網(wǎng)絡(luò)由互逆的P網(wǎng)絡(luò)和D網(wǎng)絡(luò)構(gòu)成，通過聯(lián)合學(xué)習(xí)這2個網(wǎng)絡(luò)，相互提供信息反饋來訓(xùn)練模型。設(shè)x∈X為LR圖像，y∈Y為HR圖像，對于原始回歸任務(wù)，其目的是尋找一個函數(shù)P(x)，使得預(yù)測P(x)與其對應(yīng)的HR圖像Y相似； 對于對偶回歸任務(wù)，其目的是尋求一個函數(shù)D(y)，使得D(y)的預(yù)測與原始輸入LR圖像x相似。

因此，對于成對數(shù)據(jù)，給定一組有N對樣本的樣本集SP={(xi,yi)},i=1,2,…，N，其中xi和yi分別為成對數(shù)據(jù)集中的第i張LR和HR圖像，其訓(xùn)練損失函數(shù)可以寫為：

(4)

式中:MP和MD分別為原始和對偶回歸任務(wù)的損失函數(shù)(L1范數(shù))；λ為控制對偶回歸損失的權(quán)重。

2.3.2 非成對數(shù)據(jù)的訓(xùn)練

對于真實的沒有對應(yīng)的HR的LR圖像，給定一組有M個樣本的樣本集SU={(xi)},i=1,2,…，M，本文使用與成對數(shù)據(jù)訓(xùn)練方法不同的未配對數(shù)據(jù)的自適應(yīng)算法，該過程不依賴于其損失函數(shù)為：

，

(5)

式中：LSP(xi)是一個指標(biāo)函數(shù)，當(dāng)xi∈SP時，其值為1，否則值為0。

為了保證SR重建性能，首先結(jié)合從成對合成數(shù)據(jù)中提取的信息，加載預(yù)訓(xùn)練的模型P和D，首先通過最小化目標(biāo)函數(shù)(式(5))來更新原始模型P，然后通過最小化對偶回歸損失(式(6))來更新對偶模型D，直接從未配對的真實世界LR數(shù)據(jù)中學(xué)習(xí)來進(jìn)行模型自適應(yīng)，公式為：

。

(6)

2.4 實驗結(jié)果分析

為了驗證RDRN模型的有效性，分別訓(xùn)練SRResNet，DRCN，SRGAN，EDSR，DRN對比模型并將訓(xùn)練結(jié)果在測試集上進(jìn)行重建測試，對重建結(jié)果和模型復(fù)雜度分別進(jìn)行對比分析。

2.4.1 重建結(jié)果定性分析

以4倍重建為例，在4倍放大的SR重建中，RDRN會生成1倍重建SR圖像、2倍重建SR圖像和4倍重建SR圖像，由圖5可以看出，隨著重建的加深，圖像被放大的同時像素量也在增加，因此圖像并沒有變得越來越模糊，其細(xì)節(jié)信息反而被逐步恢復(fù)，從而重建出最終清晰的圖像，由此說明SR重建的目的是重建出圖像中丟失的細(xì)節(jié)高頻信息。

(a) 原圖(b) 1倍重建(c) 2倍重建(d) 4倍重建

同時，通過對比分別從1倍重建圖即原圖、2倍重建圖和4倍重建圖中截取的地物目標(biāo)(如圖5中(b),(c),(d)所示)，重建倍數(shù)越高，重建效果越好，這也證明了RDRN方法的有效性。此外還可以看出，RDRN方法在紋理規(guī)則且明顯的地方超分表現(xiàn)良好，比如對道路、車輛等規(guī)則地物的重建，但是對于草地等地區(qū)的重建效果則并不顯著。

為了對比RDRN模型和其他網(wǎng)絡(luò)模型在不同尺度遙感圖像SR的重建性能，針對放大4倍的SR模型重建結(jié)果進(jìn)行直觀的視覺比較，選取一組測試結(jié)果進(jìn)行分析，結(jié)果如圖6所示。由圖6可知，SRResNet，DRCN和EDSR生成的圖像包含較多的模糊，細(xì)節(jié)重建效果并不理想； 而SRGAN雖然能夠獲得與原HR圖像視覺上近似的效果，但由于其對未配對的LR和HR圖像之間的數(shù)據(jù)差異敏感，SR結(jié)果容易失真并包含噪聲； DRN的重建效果較好但同樣無法產(chǎn)生較為清晰的紋理細(xì)節(jié)； 相比之下，RDRN模型始終產(chǎn)生更清晰的邊緣和形狀，而其他模型可能會給出更模糊的邊緣和形狀。實驗結(jié)果證明所提出的RDRN能夠生成更準(zhǔn)確的SR重建圖片。

(b) LR圖像(c) SRResNet(d) DRCN(e) SRGAN

2.4.2 重建效果定量分析

為了定量比較RDRN模型和其他SR模型對遙感圖像的重建質(zhì)量，利用4倍重建圖像的PSRN和SSIM得分，對不同SR模型的重建結(jié)果進(jìn)行定量對比評價，結(jié)果如表1所示。

表1 不同SR算法的性能比較①

由表1可知，RDRN的重建質(zhì)量最好。總體而言，無監(jiān)督SR方法SRGAN的重建效果果優(yōu)于EDSR等監(jiān)督SR方法的重建效果，弱監(jiān)督閉環(huán)模型DRN的重建效果優(yōu)于無監(jiān)督SR方法，PSRN和SSIM得分均遠(yuǎn)高于其他SR方法。加入了RIR結(jié)構(gòu)的RDRN模型PSRN值較DRN模型高出0.46 dB，SSIM值高出0.012。

2.4.3 模型復(fù)雜度對比

模型復(fù)雜度在很大程度上會影響模型的應(yīng)用。在深度學(xué)習(xí)中，模型復(fù)雜度可以通過參數(shù)量的大小來衡量，表2總結(jié)了×4參數(shù)和×8參數(shù)的RDRN模型及其他對比模型的參數(shù)量。由表2可以看出，使用了RIR塊的RDRN模型的參數(shù)量相比于只用RCAB模塊的DRN縮小了約一半。除了SRResNet模型，RDRN模型相對于DRCN，SRGAN和EDSR模型，模型參數(shù)量大幅減小。這表明，在不完全依賴成對數(shù)據(jù)集的情況下，利用較少的參數(shù)，RDRN仍能獲得較好的重建效果，其模型復(fù)雜度大幅降低的同時使重建質(zhì)量得到提升。

表2 模型參數(shù)量對比

2.5 RDRN模型分析

2.5.1 消融研究

為了驗證對偶方法和二次殘差塊對遙感圖像SR性能的影響，根據(jù)4倍重建SR測試圖像的PSNR得分，針對RDRN模型的對偶回歸方法和殘差網(wǎng)絡(luò)進(jìn)行消融研究。如表3所示，與原始的監(jiān)督學(xué)習(xí)+RCAB模型相比，采用對偶回歸方法和殘差網(wǎng)絡(luò)的模型在測試集取得更好的重建效果。

表3 對偶?xì)埐罘椒▽R質(zhì)量的影響

相對于僅將RCAB應(yīng)用于原始學(xué)習(xí)網(wǎng)絡(luò)的SR結(jié)果，使用二次殘差塊的原始學(xué)習(xí)網(wǎng)絡(luò)的SR結(jié)果的PNSR得分提高了0.12 dB； 同樣僅使用RCAB，增加了對偶學(xué)習(xí)網(wǎng)絡(luò)的結(jié)果比只有原始學(xué)習(xí)網(wǎng)絡(luò)的重建效果有大幅提高； 在對偶回歸的基礎(chǔ)上修改RCAB為二次殘差塊后，SR結(jié)果的PNSR得分提高了0.81 dB。這表明，二次殘差塊比RCAB更適應(yīng)遙感圖像SR，對遙感圖像的高頻細(xì)節(jié)有更好的恢復(fù)能力； 對偶回歸方法能夠?qū)υW(wǎng)絡(luò)形成約束，減少映射函數(shù)的空間，從而提高HR圖像的重建效果。

2.5.2λ對RDRN的影響

為了研究對偶回歸損失的權(quán)重λ對遙感圖像SR重建性能的影響，根據(jù)4倍重建SR測試圖像的PSNR得分，針對RDRN模型的損失函數(shù)式(1)中超參數(shù)λ的變化進(jìn)行實驗，實驗結(jié)果如表4所示。由表4可以看出，當(dāng)λ從0.001依次增加到0.1時，對偶回歸的損失逐漸變得重要，為模型提供強大的監(jiān)督反饋作用； 繼續(xù)將λ進(jìn)一步增大到1甚至10，對偶回歸的損失項對網(wǎng)絡(luò)整體的損失反而產(chǎn)生負(fù)面影響，從而影響模型最終性能。為了平衡原始學(xué)習(xí)和對偶回歸以獲得最好的重建效果，本文實驗中將λ設(shè)為0.1。

表4 對偶損失權(quán)重λ對SR性能的影響

2.5.3p對自適應(yīng)算法的影響

訓(xùn)練過程中不成對圖像在訓(xùn)練數(shù)據(jù)集中所占的比例p對訓(xùn)練所得的模型重建效果也有較大影響。根據(jù)4倍重建SR測試圖像的PSNR得分，針對RDRN模型訓(xùn)練過程中設(shè)置不同的p值，研究p對遙感圖像SR重建性能的影響，分別設(shè)置p的值為0，0.2，0.3，0.4，0.6，0.8和1在相同的訓(xùn)練條件下訓(xùn)練50輪，獲得相應(yīng)的訓(xùn)練曲線。如圖8所示。

圖8 不成對數(shù)據(jù)占比p對4倍重建SR性能的影響

相比于僅能學(xué)習(xí)LR-HR圖像間潛在非線性映射的原始正向模型(即p=0時)，增加能夠利用非成對遙感圖像的低頻信息生成HR非監(jiān)督學(xué)習(xí)的模型(p≠0)能夠獲得更好的性能，其中p=0.3時模型的重建性能最佳。因此，本文實驗中設(shè)置p=0.3以獲得最佳性能。

3 結(jié)論

為了提高利用神經(jīng)網(wǎng)絡(luò)對遙感圖像的SR重建質(zhì)量和模型的泛化能力，在研究SR重建常用模型的基礎(chǔ)上，提出了一種基于DRN網(wǎng)絡(luò)和RCAN網(wǎng)絡(luò)的殘差對偶回歸網(wǎng)絡(luò)RDRN。該網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合對偶學(xué)習(xí)思想，設(shè)置兩個互逆的學(xué)習(xí)網(wǎng)絡(luò)形成一個閉環(huán)，對LR-HR間的映射空間形成約束，以減少可能函數(shù)的空間。其中：

1)正向?qū)W習(xí)網(wǎng)絡(luò)基于U-Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合RIR模塊，允許豐富的低頻信息通過多個跳躍連接直接進(jìn)行傳播，保證淺層網(wǎng)絡(luò)同樣擁有良好的學(xué)習(xí)能力和泛化能力。

2)對偶回歸網(wǎng)絡(luò)則將由正向網(wǎng)絡(luò)學(xué)習(xí)得到的HR圖像進(jìn)行下采樣，通過將下采樣得到的LR圖像與正向網(wǎng)絡(luò)輸出的多尺度SR圖像進(jìn)行對比，與正向?qū)W習(xí)網(wǎng)絡(luò)相互提供反饋，相互提高。

3)采用周期一致性損失函數(shù)，同時使用真實的不成對LR遙感數(shù)據(jù)和成對的LR-HR合成數(shù)據(jù)，使SR模型能在適應(yīng)現(xiàn)實未配對數(shù)據(jù)的同時兼顧退化先驗，重建出更符合實際應(yīng)用的高質(zhì)量HR圖像。

實驗結(jié)果表明，RDRN在對遙感圖像的SR重建中表現(xiàn)良好，能夠為遙感圖像重建出較清晰的細(xì)節(jié)紋理信息，且相對于DRN等其他SR網(wǎng)絡(luò)，模型參數(shù)量較少，在遙感圖像SR領(lǐng)域的具有巨大潛力。此外，未來RDRN網(wǎng)絡(luò)還可拓展到更多尺度的SR重建，如8倍放大效果下的重建等，但由此引發(fā)重建圖像的真實性仍待討論。