曹春萍, 李 昂

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院, 上海 200093)

0 引言(Introduction)

遙感圖像是通過使用遙感技術(shù)(包括飛機(jī)、火箭、衛(wèi)星或其他空間平臺(tái))從空中遠(yuǎn)距離對(duì)地面目標(biāo)物進(jìn)行觀測(cè)而獲取到的圖像。目前,遙感圖像數(shù)據(jù)在許多領(lǐng)域都得到有效應(yīng)用,例如農(nóng)林業(yè)資源調(diào)查、環(huán)境監(jiān)測(cè)、災(zāi)害監(jiān)測(cè)和評(píng)估、城市規(guī)劃等。然而,在遙感圖像獲取的過程中會(huì)不可避免地受到外在因素的影響,包括大氣湍流、通道傳輸能力限制、遠(yuǎn)距離成像困難等,導(dǎo)致獲取的遙感圖像存在分辨率比較低的問題。綜合考慮硬件成本,可以使用遙感圖像超分辨率技術(shù)獲取到更高質(zhì)量和分辨率的遙感圖像。

1 相關(guān)技術(shù)概述(Overview of related technologies)

傳統(tǒng)的遙感圖像超分辨率技術(shù)有基于插值的方法[1]、基于重構(gòu)的方法[2]和基于深度學(xué)習(xí)的方法[3]?；诓逯档姆椒m然計(jì)算復(fù)雜度較低,但是在進(jìn)行遙感圖像重建時(shí),只能恢復(fù)圖像的低頻信息,圖像效果較差。基于重構(gòu)的方法通常需要足夠的先驗(yàn)知識(shí),而且重建速度較慢,在先驗(yàn)知識(shí)不足的情況下重建效果不理想。基于深度學(xué)習(xí)的方法從低分辨率圖像提取特征圖,再將特征圖與高分辨率圖像之間建立映射,重建高分辨率圖像,通過這種方法重建的圖像在客觀評(píng)價(jià)指標(biāo)和視覺效果方面均明顯優(yōu)于基于插值的方法和基于重構(gòu)的方法。

DONG等[4]率先提出了經(jīng)典的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolutional Convolution Neural Networks,SRCNN),利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)學(xué)習(xí)低分辨率(Low-Resolution,LR)圖像與高分辨率(High-Resolution,HR)圖像進(jìn)行特征映射。隨后,DONG等[5]在SRCNN的基礎(chǔ)上提出了FSRCNN(Fast Super-Resolutional Convolution Neural Networks)模型,增加了模型的網(wǎng)絡(luò)層數(shù),有效重建出更多的高頻細(xì)節(jié),但模型的訓(xùn)練難度也有所增加。KIM等[6]提出深度卷積網(wǎng)絡(luò)超分模型(Very Deep Super-Resolutional Neural Networks,VDSR),利用多層CNN連接實(shí)現(xiàn)特征級(jí)聯(lián),大大提升了學(xué)習(xí)率,加快了網(wǎng)絡(luò)收斂速度,證明了超分模型的網(wǎng)絡(luò)深度對(duì)超分辨率重建的重要性。隨著網(wǎng)絡(luò)深度的增加,網(wǎng)絡(luò)在訓(xùn)練過程中會(huì)出現(xiàn)梯度消失和梯度爆炸等問題,研究者們?yōu)榱吮苊獯藛栴}的發(fā)生,開始鉆研新的結(jié)構(gòu)。HE等[7]提出殘差網(wǎng)絡(luò)(Residual Network,ResNet),通過在網(wǎng)絡(luò)結(jié)構(gòu)中引入殘差單元,避免了梯度問題,保證了模型的順利收斂,為后續(xù)的研究者提供了搭建深層卷積網(wǎng)絡(luò)的思路。LIM等[8]提出EDSR(Enhanced Deep Super-Resolution Network),通過堆疊殘差塊構(gòu)建了更深的網(wǎng)絡(luò)結(jié)構(gòu),重建出質(zhì)量更高的圖像。隨后,在遙感圖像超分辨率重建中,人們不斷構(gòu)建出越來越深的卷積神經(jīng)網(wǎng)絡(luò)用于捕捉更多圖像的深層信息。然而隨著網(wǎng)絡(luò)層數(shù)的不斷加深,超分重建再次進(jìn)入了瓶頸,研究者們發(fā)現(xiàn)網(wǎng)絡(luò)到達(dá)一定的深度后,想通過增加網(wǎng)絡(luò)層數(shù)提升網(wǎng)絡(luò)性能,效果微乎其微。為了重建出更好的圖像,研究者繼續(xù)探索新的方法。當(dāng)前,大多數(shù)模型對(duì)待通道特征是平等的,然而實(shí)際上各通道特征對(duì)圖像重建的重要性并不相同,因此充分利用通道特征成為提升重建圖像質(zhì)量的新的突破點(diǎn)。HU等[9]通過在網(wǎng)絡(luò)中加入壓縮-激勵(lì)(Squeeze-and-Excitation,SE)模塊構(gòu)建壓縮-激勵(lì)網(wǎng)絡(luò)(Squeeze-and-Excitation Network,SENet),計(jì)算不同通道之間的權(quán)重,將通道注意力用于圖像處理中,重建出更優(yōu)質(zhì)的圖像。受通道注意力的啟發(fā),WOO等[10]在網(wǎng)絡(luò)中加入通道注意力和空間注意力,并將兩者進(jìn)行融合,提出了瓶頸注意力模塊(Bottleneck Attention Module,BAM)和卷積注意力模塊(Convolutional Block Attention Module,CBAM),ZHANG等[11]在殘差塊中融入通道注意力,提出殘差通道注意力網(wǎng)絡(luò)(Residual Channel Attention Network,RCAN),WOO等和ZHANG等提出的模塊和網(wǎng)絡(luò)模型都取得了更好的重建效果。

當(dāng)前的遙感圖像重建模型大多使用單一尺寸的卷積核,在應(yīng)用于遙感圖像的重建提取特征時(shí),由于遙感圖像目標(biāo)物體尺寸差異較大,學(xué)習(xí)能力有限,捕捉到的特征不足,因此無法重建出高質(zhì)量的圖像。

為了解決上述問題,本文提出融合多尺度信息和混合注意力網(wǎng)絡(luò)(Fusion of Multi-Scale Information and Hybrid Attention Networks,FMSIHAN),設(shè)計(jì)了兩種多尺度特征提取塊,通過多尺度信息融合和混合注意力塊(Multi-Scale Information Fusion and Hybrid Attention Block,MSIFHAB)和多尺度類金字塔特征提取塊(Multi-Scale Pyramid-Like Feature Extraction Block,MSPLFEB)提取多尺度特征,并通過MSIFHAB中的混合注意力塊對(duì)提取的多尺度特征自適應(yīng)地分配權(quán)重,有助于捕捉圖像的高頻和低頻信息,進(jìn)而獲得更好的重建效果。

2 網(wǎng)絡(luò)結(jié)構(gòu)(Network structure)

融合多尺度信息和混合注意力網(wǎng)絡(luò)由淺層特征提取塊、多尺度特征提取塊(Multi-Scale Feature Extraction Block,MSFEB)、全局特征融合塊和重建模塊組成,網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)總體結(jié)構(gòu)Fig.1 Overall network architecture

2.1 淺層特征提取塊

淺層特征提取塊為一個(gè)3×3的卷積層,用來提取輸入LR遙感圖像的淺層特征,并將特征圖的通道數(shù)由3變?yōu)?4,這個(gè)過程可以表示如下:

F0=fConv3×3(ILR)

(1)

其中:ILR代表模型輸入的低分辨率遙感圖像;fConv3×3(·)代表卷積操作,用來提取ILR的淺層特征;F0代表ILR經(jīng)過淺層特征提取塊提取到的淺層特征圖。

2.2 多尺度特征提取塊

每個(gè)MSFEB由若干個(gè)多尺度信息融合和混合注意力塊、若干個(gè)多尺度類金字塔特征提取塊組成,多尺度特征提取塊結(jié)構(gòu)圖如圖2所示。輸入特征圖經(jīng)過多尺度特征提取塊的過程可以表示如下:

圖2 多尺度特征提取塊結(jié)構(gòu)圖Fig.2 Structure diagram of multi-scale feature extraction block

Fi=fMSPLFEB1(fMSIFHAB1(fMSPLFEB2(fMSIFHAB2(fMSPLFEB3(Fi-1)))))

(2)

其中:Fi-1代表輸入多尺度特征提取塊的特征圖;fMSPLFEB1(·)、fMSPLFEB2(·)、fMSPLFEB3(·)代表多尺度類金字塔特征提取塊的多尺度特征提取操作;fMSIFHAB1(·)、fMSIFHAB2(·)代表多尺度信息融合和混合注意力塊的多尺度特征提取操作;Fi代表經(jīng)過多尺度特征提取塊后輸出的特征圖。

2.2.1 多尺度信息融合和混合注意力塊

針對(duì)大多數(shù)圖像,傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通常采用單一的卷積層提取圖像特征,重建得到的高分辨率圖像質(zhì)量可以達(dá)到使用者的要求。然而,通過衛(wèi)星等遙感技術(shù)獲取的遙感圖像,其內(nèi)部包含的物體尺寸差異較大,在對(duì)這類圖像進(jìn)行超分辨率重建時(shí),若使用較小尺寸的卷積核提取特征,由于感受野較小,所以對(duì)高頻信息的提取能力不足;若使用較大尺寸的卷積核提取特征,將丟失一部分圖像像素信息。也就是說,使用單一尺寸的卷積核進(jìn)行特征提取時(shí),學(xué)習(xí)能力有限,無法重建出高質(zhì)量的圖像。因此,本文設(shè)計(jì)了多尺度信息融合和混合注意力塊,通過使用卷積層、下采樣操作和平均池化層提取特征圖中的高頻和低頻特征,再通過混合注意力機(jī)制,自適應(yīng)地調(diào)整多尺度特征的權(quán)重。多尺度信息融合和混合注意力塊結(jié)構(gòu)圖如圖3所示,圖3中的W、H、C分別代表特征圖的寬度、高度、通道數(shù)。

圖3 多尺度信息融合和混合注意力塊結(jié)構(gòu)圖Fig.3 Architecture of MSIFHAB

構(gòu)建多尺度信息融合和混合注意力塊的步驟所示。

首先,將輸入特征圖分別送入三個(gè)不同的卷積層,其中第一個(gè)卷積層從下采樣操作后的特征圖中提取低頻特征;第二個(gè)卷積層從原始尺寸的特征圖中經(jīng)過平均池化層提取低頻特征;第三個(gè)卷積層從原始尺寸的特征圖中提取高頻特征。經(jīng)過下采樣操作得到的特征圖經(jīng)過反卷積恢復(fù)到下采樣操作前的原始尺寸。經(jīng)過三個(gè)不同的卷積操作后,得到三種尺度不同的特征信息,這個(gè)過程可以表示如下:

FC=ReLU(TConv4×4(Downs(FMSI-in)))+AvgConv3×3(FMSI-in)+

ReLU(fConv3×3(FMSI-in))

(3)

其中:FMSI-in代表輸入特征圖;Downs(·)代表下采樣操作;TConv4×4(·)代表反卷積操作;AvgConv3×3(·)代表平均池化操作;FC為輸出的多尺度特征圖。

其次,為了充分利用多尺度特征信息,本文提出混合注意力機(jī)制,混合注意力塊(Hybrid Attention Block,HAB)結(jié)構(gòu)圖如圖4所示,通過對(duì)不同的尺度特征自適應(yīng)地分配不同的權(quán)重,使網(wǎng)絡(luò)能學(xué)習(xí)到對(duì)圖像重建更有價(jià)值的特征,這個(gè)過程可以表示如下:

FS=[CA(FC)+FC]+SA(CA(FC))+[SA(FC)+CA(FC)]

(4)

其中:CA(·)代表通道注意力機(jī)制,與CBAM中的通道注意力保持一致;SA(·)代表空間注意力機(jī)制,和CBAM中的空間注意力保持一致;FS代表輸出的加權(quán)多尺度特征圖。

最后,通過一個(gè)3×3的卷積層將加權(quán)后得到的特征圖和加權(quán)前的多尺度特征圖融合為多尺度信息融合特征圖,并且通過跳躍連接避免模型在訓(xùn)練過程中出現(xiàn)梯度消失等問題,這個(gè)過程可以表示如下:

FMSI-out=FMSI-in+FC+fConv3×3(FS)

(5)

其中,FMSI-out為輸出的多尺度信息融合特征圖。

2.2.2 多尺度類金字塔特征提取塊

多尺度類金字塔特征提取塊結(jié)構(gòu)圖如圖5所示,K為卷積核尺寸,N為輸入通道數(shù),D為擴(kuò)張率。多尺度類金字塔特征提取塊由四個(gè)部分組成,第一部分包含四個(gè)不同感受野的卷積層,第二部分包含三個(gè)不同感受野的卷積層,第三部分是一個(gè)將通道數(shù)恢復(fù)到64的1×1的卷積層,第四部分是一個(gè)跳躍連接。

圖5 多尺度類金字塔特征提取塊結(jié)構(gòu)圖Fig.5 Architecture of MSPLFEB

構(gòu)建多尺度類金字塔特征提取塊的步驟如下。

首先,將輸入特征圖分別送入多尺度類金字塔特征提取塊第一部分的四個(gè)不同感受野的卷積層,這四個(gè)卷積層的輸入通道數(shù)為64,輸出通道數(shù)為16,卷積核尺寸分別為1×1、3×3、3×3和3×3,擴(kuò)張率分別為1、1、2和3,這個(gè)過程可以表示如下:

(6)

其次,將FMSP1分別送入多尺度類金字塔特征提取塊第二部分的三個(gè)不同感受野的卷積層,這三個(gè)卷積層的輸入通道數(shù)為16,輸出通道數(shù)為32,卷積核尺寸分別為1×1、3×3和3×3,擴(kuò)張率分別為1、1和2,這個(gè)過程可以表示如下:

(7)

最后,將FMSP2送入多尺度類金字塔特征提取塊第三部分的卷積層,并通過跳躍連接將第三部分的輸出結(jié)果與多尺度類金字塔特征提取塊的輸入特征圖進(jìn)行殘差連接,這個(gè)過程可以表示如下:

(8)

2.3 全局特征融合塊

經(jīng)過n個(gè)多尺度特征提取塊得到多尺度特征圖后,通過一個(gè)3×3的卷積層將其整合,這個(gè)過程可以表示如下:

FMF=fConv3×3(Fn)

(9)

其中:Fn代表經(jīng)過n個(gè)多尺度特征提取塊得到的多尺度特征圖;FMF代表整合后得到的多尺度特征整合圖。

通過一個(gè)跳躍連接,將通過淺層特征提取塊得到的淺層特征圖和多尺度特征整合圖進(jìn)行融合,得到全局特征融合圖,這個(gè)過程可以表示如下:

FGF=F0+FMF

(10)

其中,FGF代表全局特征融合圖。

2.4 重建模塊

本文所提模型中重建模塊的作用是將全局特征融合圖映射成超分辨率圖像,由兩個(gè)部分組成,包括亞像素卷積層和一個(gè)3×3的卷積層。全局特征融合圖經(jīng)過亞像素卷積層上采樣后,再通過一個(gè)3×3的卷積層重建得到高分辨率圖像:

ISR=fConv3×3(Pixel(FGF))

(11)

其中:Pixel(·)代表亞像素卷積操作;ISR代表低分辨率遙感圖像經(jīng)過本文模型重建得到的高分辨率遙感圖像。

2.5 損失函數(shù)

本文模型使用的損失函數(shù)是平均絕對(duì)誤差(Mean Absolute Error, MAE),它是目前深度學(xué)習(xí)領(lǐng)域遙感圖像進(jìn)行超分辨率重建廣泛使用的損失函數(shù):

(12)

3 實(shí)驗(yàn)(Experiment)

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用的兩個(gè)數(shù)據(jù)集均是真實(shí)遙感數(shù)據(jù)集,分別為NWPU-RESISC45和UCMerced-LandUse。NWPU-RESISC45數(shù)據(jù)集是西北工業(yè)大學(xué)公布的用于遙感圖像場(chǎng)景分類的大規(guī)模公開數(shù)據(jù)集,數(shù)據(jù)集共有31 500幅圖像,其中包含45個(gè)類別,每個(gè)類別分別包含700幅圖像。UCMerced-LandUse數(shù)據(jù)集是由UC Merced計(jì)算機(jī)視覺實(shí)驗(yàn)室公布的用于遙感圖像場(chǎng)景分類的公開數(shù)據(jù)集,共有2 100幅圖像,其中包含21個(gè)類別,每個(gè)類別分別包含100幅圖像。本文從NWPU-RESISC45數(shù)據(jù)集中airplane類別的700幅圖像中隨機(jī)選取500幅圖像作為訓(xùn)練集,剩余的200幅圖像隨機(jī)選取一半設(shè)置為驗(yàn)證集,另一半設(shè)置為測(cè)試集,命名為NTest[12]。設(shè)置UCMerced-LandUse數(shù)據(jù)集中airplane類別的100幅圖像為第二個(gè)測(cè)試集,命名為UTest。

通過將圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)以及隨機(jī)旋轉(zhuǎn)90°、180°、270°增強(qiáng)數(shù)據(jù)集,獲得更多的訓(xùn)練數(shù)據(jù)。

3.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)的硬件環(huán)境為Intel(R) Xeon(R) Platinum 8255C CPU處理器及NVIDIA RTX 2080TI 11 GB GPU;軟件環(huán)境為PyTorch 1.8.1框架、Python 3.8和64位Ubuntu18.04操作系統(tǒng)。本文所提模型采用ADAM算法進(jìn)行優(yōu)化,優(yōu)化器參數(shù)設(shè)置為beta1=0.9,beta2=0.999,ε=10-8,訓(xùn)練批大小設(shè)置為16。訓(xùn)練開始時(shí),學(xué)習(xí)速率設(shè)置為10-4,在迭代200個(gè)epoch后,學(xué)習(xí)速率降低一半,總迭代次數(shù)為400個(gè)epoch。在實(shí)驗(yàn)過程中,使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)作為評(píng)估指標(biāo),PSNR值和SSIM值越大,則重建效果越好。

圖6給出了訓(xùn)練過程中損失函數(shù)的變化趨勢(shì),橫坐標(biāo)代表迭代次數(shù),縱坐標(biāo)代表訓(xùn)練的損失,可以看出當(dāng)?shù)螖?shù)達(dá)到300個(gè)epoch后,損失趨于穩(wěn)定。

圖6 訓(xùn)練過程中損失函數(shù)的變化趨勢(shì)Fig.6 Trend of loss function during training

3.3 消融實(shí)驗(yàn)

為驗(yàn)證本文所提模型中使用的多尺度信息融合和混合注意力塊(MSIFHAB)、多尺度類金字塔特征提取塊(MSPLFEB)及混合注意力塊(HAB)的有效性,通過組合不同的塊設(shè)置消融實(shí)驗(yàn)。消融實(shí)驗(yàn)中,本文所提模型中的多尺度特征提取塊(MSFEB)的個(gè)數(shù)設(shè)置為1個(gè),放大因子設(shè)置為2,總共迭代200個(gè)epoch。不同的塊組合及實(shí)驗(yàn)結(jié)果如表1所示。其中:M1模型為去除MSPLFEB塊和MSIFHAB塊中的HAB塊;M2模型為去除MSPLFEB塊;使用和CBAM相同的通道注意力機(jī)制(CA)和空間注意力機(jī)制(SA)替換MSIFHAB塊中的HAB塊;M3模型為去除MSPLFEB塊;M4模型為去除MSIFHAB塊;M5模型為同時(shí)包含MSPLFEB塊和MSIFHAB塊。

從表1中M1、M2、M3模型在測(cè)試集上得到的PSNR值不難看出,沒有注意力機(jī)制的M1模型重建得到的圖像在兩個(gè)測(cè)試集上得到的PSNR值均為最低且明顯低于其他模型。加入CA和SA后的M2模型重建得到的圖像在測(cè)試集上得到的PSNR值相比M1模型有了明顯提升,而加入HAB的M3模型在兩個(gè)測(cè)試集上得到的PSNR值比M2模型提高了0.07 dB和0.08 dB。由此可見,注意力機(jī)制在遙感圖像超分辨率重建網(wǎng)絡(luò)中發(fā)揮了重要的作用,而本文提出的HAB相比其他注意力機(jī)制表現(xiàn)出更優(yōu)的性能。從表1中M3、M4、M5模型在測(cè)試集上得到的PSNR值可以看出,本文模型單獨(dú)保留MSPLFEB塊或MSIFHAB塊后的指標(biāo)均低于同時(shí)包含兩個(gè)塊的模型,證明了本文模型各塊的有效性。

表1 不同塊組合在測(cè)試集上的平均PSNR值

3.4 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文模型的有效性,本文選取了7個(gè)具有代表意義的重建模型(包括SRCNN、IDN[13]、LGCNet[14]、RCAN、MPSR、IRN[15]和DSSR[16])設(shè)置對(duì)比實(shí)驗(yàn),分別從客觀評(píng)價(jià)指標(biāo)和主觀視覺效果兩個(gè)方面進(jìn)行分析。

3.4.1 客觀評(píng)價(jià)指標(biāo)

表2和表3分別給出了放大因子為2、3、4時(shí),各模型在兩個(gè)測(cè)試集上的PSNR值和SSIM值,表中的黑體數(shù)字表示模型的最佳結(jié)果。

表2 各模型在測(cè)試集上的PSNR值

從表2和表3中可以看出,出現(xiàn)最早的SRCNN模型在所有場(chǎng)景下得到的PSNR值和SSIM值均為最低。其他模型隨著模型層數(shù)的加深以及更加有效的塊的加入,PSNR值和SSIM值相對(duì)于SRCNN模型均有明顯增長(zhǎng)。在所有場(chǎng)景里,本文提出的模型性能均為最優(yōu)。

3.4.2 主觀視覺效果

本文選取了兩個(gè)測(cè)試集中的三幅遙感圖像的重建結(jié)果進(jìn)行展示,圖7、圖8和圖9分別為各模型在放大因子為2、3、4時(shí)的重建效果對(duì)比圖。在這三幅圖片中,左邊的大圖為高清圖像,在高清圖像中用方框標(biāo)記了關(guān)鍵區(qū)域,右邊八個(gè)小圖則是不同模型重建后的圖像的標(biāo)記區(qū)域的放大圖。通過仔細(xì)對(duì)比發(fā)現(xiàn),本文所提模型重建得到的遙感圖像在飛機(jī)邊緣和紋理細(xì)節(jié)等方面,均優(yōu)于其他模型重建后的遙感圖像。在放大因子為4時(shí)可以看到SRCNN、IDN、LGCNET等模型重建后的圖像整體仍比較模糊,無法看到清晰的邊界,而本文所提模型重建后的圖像已經(jīng)可以清晰地看到飛機(jī)的邊緣輪廓。通過主動(dòng)視覺效果對(duì)比實(shí)驗(yàn),證明了本文所提模型中的多尺度特征提取塊能更清晰地恢復(fù)遙感圖像的高頻信息,重建得到的高清遙感圖像擁有更好的主觀視覺效果。

圖7 放大因子為2時(shí)各模型重建效果對(duì)比Fig.7 Comparison of reconstruction effects among different models when the amplification factor is 2

圖8 放大因子為3時(shí)各模型重建效果對(duì)比Fig.8 Comparison of reconstruction effects among different models when the amplification factor is 3

圖9 放大因子為4時(shí)各模型重建效果對(duì)比Fig.9 Comparison of reconstruction effects among different models when the amplification factor is 4

4 結(jié)論(Conclusion)

本文提出了一種基于融合多尺度信息和混合注意力的遙感圖像超分辨率重建模型。多尺度信息融合和混合注意力塊能充分提取多尺度特征,并利用混合注意力機(jī)制自適應(yīng)地調(diào)整多尺度特征通道之間和空間區(qū)域的權(quán)重,增強(qiáng)了網(wǎng)絡(luò)重建的性能。多尺度類金字塔特征提取塊通過使用不同尺寸、不同擴(kuò)張率的卷積核增大了網(wǎng)絡(luò)的感受野,使網(wǎng)絡(luò)可以學(xué)習(xí)到更多的高頻特征。本文設(shè)計(jì)了豐富的消融實(shí)驗(yàn)以及對(duì)比實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了定性、定量分析,證明了本文所提模型的有效性和魯棒性。未來的研究將致力于優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和縮短模型的訓(xùn)練時(shí)間及進(jìn)一步提高圖像重建效果。