胡高鵬，陳子鎏，王曉明，2*，張開放

（1.西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，成都 610039；2.西華大學(xué)機(jī)器人研究中心，成都 610039）

（*通信作者電子郵箱hgp9411@163.com）

0 引言

在如今數(shù)據(jù)爆炸的時代，圖像數(shù)據(jù)占據(jù)著尤為重要的地位，同時人們對圖像分辨率的需求也越來越高。但是依靠提高硬件設(shè)施來提高圖像的清晰度，不僅難度大、成本高，而且實(shí)用性差。圖像超分辨率（Super-Resolution，SR）技術(shù)便是使用數(shù)字信號處理技術(shù)將單張LR圖像或一組LR圖像序列重建成HR 圖像。作為近些年來研究的熱點(diǎn)問題，圖像SR 任務(wù)又可分為單幀圖像超分辨率（Single Image Super-Resolution，SISR）［1-9］、多幀圖像超分辨（Multi-Frame Super Resolution，MFSR）［10-12］和視頻超分辨率（Video Super-Resolution，VSR）［13-15］。本文主要研究單幀圖像超分辨率的問題，即只利用單幅圖像的高頻和低頻信息進(jìn)行圖像SR重建。

隨著對SR 任務(wù)研究的深入，涌現(xiàn)出了大量的SR 算法，這些算法大致可分為三類：基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法。由于近些年深度學(xué)習(xí)在計(jì)算機(jī)視覺各領(lǐng)域都取得了突出的表現(xiàn)，所以基于學(xué)習(xí)的SR方法也成為了超分辨率技術(shù)研究的熱點(diǎn)。Dong 等［1］首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于SISR 問題，提出了（Super-Resolution Convolutional Neural Network，SRCNN），并取得了優(yōu)越的表現(xiàn)。Kim 等［2］提出了（Super-Resolution using Very Deep Convolutional Network，VDSR），使用殘差的思想緩解了梯度消失或梯度爆炸的問題，將網(wǎng)絡(luò)層數(shù)增加至20 層，由于只學(xué)習(xí)圖像的高頻信息，所以提高了收斂速度，同時在VDSR中使用了較大的感受野來提升效果并且在單模型中考慮到了多尺度問題。之后Kim 等［3］考慮到參數(shù)規(guī)模的問題又提出了（Deep Recursive Convolutional Network，DRCN），即使用遞歸的網(wǎng)絡(luò)結(jié)構(gòu)，共享網(wǎng)絡(luò)結(jié)構(gòu)之間的參數(shù)，有效地降低了訓(xùn)練的難度；另外作者還采用跳躍連接和集成策略，進(jìn)一步提高性能。隨后Shi等［4］提出 了（Efficient Sub-pixel Convolutional Neural Network，ESPCN），使用LR圖像作為輸入，在網(wǎng)絡(luò)結(jié)構(gòu)的后端使用亞像素卷積層隱式地將LR 圖像映射為HR 圖像，有效地降低了計(jì)算復(fù)雜度，提高了重建效率。Lai 等［5］提出的LapSRN（deep Laplacian pyramid Networks for fast and accurate Super-Resolution），將拉普拉斯金字塔的思想引入到了深度學(xué)習(xí)中，實(shí)驗(yàn)結(jié)果證明了逐級上采樣操作的優(yōu)越性，并且在訓(xùn)練的過程中監(jiān)督每一水平預(yù)測的殘差結(jié)果，使得性能進(jìn)一步提升。Lim 等［6］通過去除文獻(xiàn)［7］中多余的模塊，并且使用L1范數(shù)作為損失函數(shù)的方式提出了（Enhanced Deep residual networks for single image Super-Resolution，EDSR）網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［6］將訓(xùn)練好的低倍上采樣的模型作為高倍率上采樣模型的預(yù)訓(xùn)練，不僅提高了訓(xùn)練的速度，同時訓(xùn)練的結(jié)果也更好。

以上這些網(wǎng)絡(luò)結(jié)構(gòu)多為前饋結(jié)構(gòu)，忽略了HR 圖像和LR圖像的相互依賴關(guān)系和上采樣LR 圖像時的誤差。鑒于此Haris等［8］提出了一種不斷迭代地進(jìn)行上采樣和下采樣的網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［8］使用上下采樣相互連接策略和錯誤反饋機(jī)制學(xué)習(xí)HR 和LR 的相互映射關(guān)系，并且使用深度級聯(lián)的結(jié)構(gòu)級聯(lián)不同階段的HR 和LR 特征重建HR 圖像；但是忽略了在重構(gòu)HR 圖像時，不同階段產(chǎn)生的HR 特征的貢獻(xiàn)可能不同，并且由于網(wǎng)絡(luò)的深度增加導(dǎo)致重建的HR 過于平滑，丟失了部分高頻信息。針對這些問題，本文提出了深度漸進(jìn)式反投影注意網(wǎng)絡(luò)，即使用漸進(jìn)式上采樣至特定的倍數(shù)并且引入注意力機(jī)制進(jìn)一步提升了深度反投影網(wǎng)絡(luò)的性能。本文的主要工作有兩個，分別如下：

1）引入了漸進(jìn)式上采樣的思想，對于輸入的LR 圖像逐步上采樣至特定的尺寸，這不僅有效地減少了上采樣過程中引入的噪聲，還由于每次縮放相對較小的倍率，緩解了上采樣過程中信息丟失的問題，同時也降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

2）使用注意力機(jī)制為漸進(jìn)式反投影過程中每階段產(chǎn)生的特征圖以及特征圖的各個通道，自動分配不同的注意力資源。使網(wǎng)絡(luò)模型可以學(xué)習(xí)到盡可能多的高頻信息，并盡量減少上下采樣過程產(chǎn)生的誤差。

1 深度反投影網(wǎng)絡(luò)超分辨率算法

針對SISR 任務(wù)，之前大多數(shù)的網(wǎng)絡(luò)模型都是采用前端上采樣、漸進(jìn)式上采樣或后端上采樣方法，但這些方法都忽略了重建過程中造成的重構(gòu)誤差。Haris等［8］引入了迭代反投影方法，提出了深度反投影網(wǎng)絡(luò)（Deep Back-Projection Networks for super-resolution，DBPN）結(jié)構(gòu)，同時引入了密集連接的思想發(fā)展DBPN 為D-DBPN（Dense DBPN）。作者主要使用了誤差反饋機(jī)制、相互連接的上采樣和下采樣策略以及深度級聯(lián)等思想構(gòu)建深度網(wǎng)絡(luò)結(jié)構(gòu)。D-DBPN 采用迭代反投影的思想，多次模擬圖像上采樣及下采樣的過程，并計(jì)算每次上下采樣中的誤差，利用誤差反饋機(jī)制指導(dǎo)下次的上下采樣過程，以降低重建誤差。

投影單元分為上投影單元和下投影單元。對于輸入大小為M×N的LR特征圖Lt-1上投影單元計(jì)算流程被定義為：

上采樣：

下采樣：

計(jì)算誤差：

上采樣：

輸出特征圖：

其中：*表示空間卷積算子；↑s和↓s分別是尺度為s的上下采樣；pt，gt和qt分別代表在t階段的卷積或者反卷積核；Ht表示得到的大小為pM×pN的HR特征圖。

對于輸入大小為pM×pN的HR 特征圖Ht下投影單元的計(jì)算流程被定義為：

下采樣：

上采樣：

計(jì)算誤差：

下采樣：

輸出特征圖：

深度反投影網(wǎng)絡(luò)雖然已經(jīng)在SR 任務(wù)中取得了卓越的表現(xiàn)，但是仍存在一些問題。它使用相互連接的上下投影單元學(xué)習(xí)LR 圖像和HR 圖像之間的相互依賴關(guān)系，但是一方面由于使用了較深的網(wǎng)絡(luò)的結(jié)構(gòu)，造成參數(shù)規(guī)模較大難以訓(xùn)練；同時在訓(xùn)練過程中丟失了部分的高頻信息，使得產(chǎn)生的結(jié)果缺少了邊緣和紋理等細(xì)節(jié)信息。此外該網(wǎng)絡(luò)結(jié)構(gòu)平等地對待每個階段產(chǎn)生的HR 特征圖，忽略了各個特征圖之間的相互依賴關(guān)系以及各個特征圖之間各通道的相互依賴關(guān)系。另一方面，雖然D-DBPN 使用相互連接的上下投影單元學(xué)習(xí)LR 圖像和HR 圖像之間的相互依賴關(guān)系，但是在上采樣時仍是直接放大至所需的尺寸。這種方式特別是在高倍率縮放時，會造成部分高頻信息丟失和參數(shù)規(guī)模增加等問題。

2 本文方法

D-DBPN［8］方法對提取到的特征圖直接上采樣至給定的倍率，但在高倍率時容易丟失高頻信息。此外，在重建預(yù)測圖像時均等地對待各階段產(chǎn)生的特征，忽略了特征圖之間的差異性。本文受到LapSR［5］和RCAN（Residual Channel Attention Networks）［9］的啟發(fā)，提出了深度漸進(jìn)式反投影注意力網(wǎng)絡(luò)。由于使用漸進(jìn)式上采樣策略，所以減少了在上采樣過程丟失的高頻信息，同時產(chǎn)生的結(jié)果具有更豐富的細(xì)節(jié)信息。此外，引入全局注意力機(jī)制對相互連接的不同階段的特征圖以及不同特征圖的不同通道分配不同的注意力資源，以學(xué)習(xí)到更深層次的特征信息。本文提出的深度漸進(jìn)式反投影注意力網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，由淺層特征提取、漸進(jìn)式反投影、特征注意、重建等四部分組成。

圖1 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of the proposed algorithm

2.1 淺層特征提取

首先Ih和Ir分別表示大小為M×N和大小為M'×N'的HR 圖像和LR 圖像，并且滿足M＞M'和N＞N'。此外，conv(f，n)表示卷積層，其中f代表濾波器的大小，n表示濾波器的數(shù)量。對于輸入的LR 圖像Ir，首先使用conv(3，n0)提取淺層特征L0。然后使用conv(1，nr)將提取到的n0維的淺層特征的維度減少到nr。其中n0代表提取LR圖像淺層特征時，需要的濾波器數(shù)量，nr表示投影單元需要的濾波器數(shù)量。

2.2 漸進(jìn)式反投影策略

鑒于上采樣過程很容易引入噪聲，尤其在高倍率采樣過程中容易丟失高頻信息，為此本文提出了漸進(jìn)式反投影策略。即對于提取到的淺層特征，使用漸進(jìn)式反投影單元縮放至所需尺寸，其中每個反投影單元都包含上投影單元和下投影單元。

1）上投影單元。上投影單元結(jié)構(gòu)如圖2（a）所示，首先將輸入的LR 特征圖Lt-1映射到特定的尺寸得到特征圖，然后再模擬下采樣的過程，嘗試將特征圖映射到LR 空間得到特征圖Lt，這一過程被稱之為反投影的過程。但是由于在計(jì)算HR 和LR 特征之間映射和反映射時總會存在誤差，故計(jì)算特征圖Lt-1和由上采樣得到的特征圖Lt之間的誤差。然后對進(jìn)行相同的上采樣操作得到，用得到的誤差指導(dǎo)到映射過程，最后得到上采樣投影的輸出HR 特征圖Ht。

圖2 不同單元結(jié)構(gòu)示意圖Fig.2 Schematic diagrams of different unit structures

2）下投影單元。下投影單元的結(jié)構(gòu)和上投影單元相似如圖2（b）所示。上投影單元的輸入是LR特征圖Lt-1，而下投影單元的輸入則是經(jīng)過上投影單元產(chǎn)生的HR 特征圖Ht。故而首先將輸入的特征圖Ht映射至LR 空間得到特征圖，然后再將特征圖映射至HR 特征圖并計(jì)算特征圖Ht和之間的誤差。最后將投影誤差下采樣得到用以指導(dǎo)Ht到的映射過程得到LR特征圖Lt。

此外，將需要上采樣t倍的任務(wù)劃分為lb(t)個子任務(wù)，每個子任務(wù)都包含若干個反投影單元。對于第k子任務(wù)，采用密集連接的方式級聯(lián)之前k-1 個子任務(wù)的預(yù)測結(jié)果。由于采用漸進(jìn)式的上采樣操作，所以每個子任務(wù)所產(chǎn)生的HR 特征圖尺寸不同。為了解決每個預(yù)測特征圖尺寸不同的問題，在每個子任務(wù)開始之前使用轉(zhuǎn)置卷積的方法將之前各子任務(wù)輸出的特征圖上采樣至所需尺寸。此外對于lb(t)個任務(wù)中的每個子任務(wù)，均使用迭代的反投影單元學(xué)習(xí)LR 和HR 圖像之間的相互依賴關(guān)系，漸進(jìn)式反投影策略有效地緩解了高倍率縮放時的信息丟失和引入噪聲等問題。

2.3 全局注意單元

全局注意力單元結(jié)構(gòu)如圖3 所示，即將之前所有上投影單元的輸出結(jié)果[H1，H2，…，Hn]都漸進(jìn)式地上采樣至給定的尺寸并級聯(lián)在一起得到H×W×C的特征圖。對于輸入的H×W×C的特征圖X=[H1，H2，…，Hn]，先進(jìn)行全局池化操作，逐通道進(jìn)行分析Z∈RC，Z的第c個元素可以定義為：

圖3 全局注意力機(jī)制單元結(jié)構(gòu)示意圖Fig.3 Schematic diagram of global attention mechanism unit structure

其中：Hc(i，j)代表在第c個特征圖(i，j)處的特征值xc；HGP(x)表示全局池化函數(shù)。全局池化得到zc描述了第c個通道的特征圖的全局信息，同時也將第c通道的特征信息映射為一個數(shù)值。之后利用設(shè)計(jì)的門控函數(shù)計(jì)算每個通道特征應(yīng)該分配多少注意力。門控函數(shù)被定義：

其中：f(·)和δ(·)分別表示sigmoid 門控單元和ReLU 激活函數(shù)；WD是卷積層的權(quán)重矩陣，該卷積層將輸入的特征圖的維度進(jìn)行下采樣，采樣比率為r，然后用ReLU 函數(shù)激活；WU表示上采樣卷積層的權(quán)重矩陣，采樣比率同樣是r，同時該卷積層的激活函數(shù)使用sigmoid 函數(shù)，從而得到注意力分配比率。最后被分配過注意力的特征圖可以通過式（13）計(jì)算得到：

其中：sc和Hc分別表示第c通道的特征的注意力分配比率和第c通道的特征圖，而H'c表示被分配注意力資源的特征圖。

2.4 重建

最后，使用conv(3，3)的卷積層對全局注意力單元得到的特征圖進(jìn)行重建得到大小為M×N的高分辨率預(yù)測圖像Isr，重建層如式（14）所示：

其中：Isr表示預(yù)測得到的高分辨率圖像；fRec(·)是3 個卷積核大小為3×3的卷積函數(shù)；H'k表示分配過注意力的各個階段的特征圖。

針對超分辨率回歸任務(wù)，通常選擇L1范數(shù)損失和均方誤差（Mean Squared Error，MSE）損失作為網(wǎng)絡(luò)模型的優(yōu)化目標(biāo)，為了選擇出更適合本文方法的損失函數(shù)，在3.1 節(jié)選擇不同的損失函數(shù)進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明使用L1范數(shù)更適合作為本文方法的優(yōu)化目標(biāo)，故本文的實(shí)驗(yàn)均選擇L1范數(shù)損失函數(shù)。假設(shè)給定的訓(xùn)練集，其包含N個LR輸入圖像和對應(yīng)的HR 真實(shí)圖像，則漸進(jìn)式反投影注意力網(wǎng)絡(luò)的優(yōu)化目標(biāo)是最小化L1損失函數(shù)：

其中：HRBPAN(·)表示本文整體的網(wǎng)絡(luò)模型預(yù)測函數(shù)；θ代表本文網(wǎng)絡(luò)結(jié)構(gòu)中所涉及的參數(shù)；L(·)表示本文方法的損失函數(shù)。此外本文使用隨機(jī)梯度下降法最小化L1損失函數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

由于本文采用漸進(jìn)式反投影策略，所以在該網(wǎng)絡(luò)結(jié)構(gòu)中每次采樣時都只使用大小為6 ×6 ×64 的卷積核、步長和填充大小都為2 的反卷積層，同時在每個反投影單元中均使用相同的配置。在訓(xùn)練網(wǎng)絡(luò)模型時使用數(shù)據(jù)集DIV2K［16］，不做數(shù)據(jù)集增強(qiáng)。此外，使用He 等［17］提出的方法初始化網(wǎng)絡(luò)權(quán)重，并且batchsize 設(shè)為20，訓(xùn)練時LR 圖像大小為32 ×32。初始的學(xué)習(xí)率為1E-4 并且每迭代5×105次學(xué)習(xí)率降低至原來的1/10，一共迭代106次。另外使用動量為0.9 的Adam［18］優(yōu)化方法，使用L1范數(shù)作為損失函數(shù)。所有的實(shí)驗(yàn)均部署在Nvidia TITAN X（Pascal）GPU 以及Intel Xeon W-2125 CPU 環(huán)境下。

3.1 L1范數(shù)損失函數(shù)和MSE損失函數(shù)對比

由于損失函數(shù)在網(wǎng)絡(luò)模型中重要的作用，所以在構(gòu)建網(wǎng)絡(luò)模型時損失函數(shù)的選擇就顯得尤為重要。本文選取目前最常見的損失函數(shù)即L1范數(shù)損失函數(shù)和MSE 損失函數(shù)，進(jìn)行實(shí)驗(yàn)對比并選擇出更適合本文算法的損失函數(shù)。

為此，本實(shí)驗(yàn)使用縮放因子為4，反投影單元數(shù)量為6 的配置構(gòu)造了模型Ⅰ和模型Ⅱ，模型Ⅰ為使用MSE 損失函數(shù)作為網(wǎng)絡(luò)模型優(yōu)化目標(biāo)的，模型Ⅱ?yàn)槭褂肔1范數(shù)損失函數(shù)作為網(wǎng)絡(luò)模型優(yōu)化目標(biāo)的。同時為保證實(shí)驗(yàn)的公平性原則模型Ⅰ和模型Ⅱ使用相同大小的卷積核和相同的網(wǎng)絡(luò)深度，其實(shí)驗(yàn)結(jié)果表1所示。

從表1中可以發(fā)現(xiàn)在Set5 數(shù)據(jù)集上，使用L1范數(shù)作為損失函數(shù)的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指標(biāo)和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）指標(biāo)均高于使用MSE 損失函數(shù)的指標(biāo)，同樣在Set14 數(shù)據(jù)集上有相同的結(jié)論，故此認(rèn)為L1范數(shù)損失函數(shù)更適合作為本文算法的優(yōu)化目標(biāo)。

表1 在Set5和Set14數(shù)據(jù)集上對比不同損失函數(shù)的表現(xiàn)Tab.1 Performance comparison of different loss functions on Set5 and Set14 datasets

3.2 模型分析

本文方法不僅引入了注意力機(jī)制，而且融入漸進(jìn)式上采樣策略來提升超分辨率的結(jié)果。為了驗(yàn)證所提出的網(wǎng)絡(luò)模型每部分的有效性，構(gòu)建了三個網(wǎng)絡(luò)模型，即模型Ⅲ、模型Ⅳ和模型Ⅴ。其中模型Ⅲ是文獻(xiàn)［8］中使用6 個反投影單元的DDBPN 模型，模型Ⅳ和模型Ⅴ的設(shè)置分別如下：在模型Ⅳ中，只引入了注意力機(jī)制。該模型使用和模型Ⅲ相同數(shù)量的反投影單元，在縮放因子為4 和8時，分別使用8×8 和12×12 的反卷積核。在模型Ⅴ中，不僅引入了注意力機(jī)制，并且融合了漸進(jìn)式上采樣的操作，使用相同數(shù)量的反投影單元。但是在縮放因子為4和8時，均使用6×6的反卷積核。實(shí)驗(yàn)對比了各網(wǎng)絡(luò)模型在不同數(shù)據(jù)集上分別上采樣4 倍和8 倍時的PSNR 和SSIM［19］的取值，實(shí)驗(yàn)結(jié)果如表2所示。

表2 模型Ⅲ、模型Ⅳ和模型Ⅴ在Set5和Set14數(shù)據(jù)集上的表現(xiàn)Tab.2 Performance of Model Ⅲ，Model Ⅳand Model V on Set5 and Set14 datasets

實(shí)驗(yàn)結(jié)果表明，在相同數(shù)量的反投影單元的情況下，模型Ⅳ和模型Ⅴ在放大4倍和8倍時的重建結(jié)果，相較于模型Ⅲ在PSNR 指標(biāo)和SSIM 指標(biāo)上都取得了大幅度的提升。其中相對于模型Ⅲ算法在縮放因子為4時，模型Ⅳ和模型Ⅴ：在Set5 數(shù)據(jù)集上的PSNR 分別提高了1.41 dB 和1.44 dB，SSIM 分別提高了0.038 和0.039；在Set14 數(shù)據(jù)集上PSNR 分別提高了0.79 dB 和0.86 dB，SSIM 分別高了0.086 和0.0867。當(dāng)縮放因子為8時，模型Ⅳ和模型Ⅴ相對于模型Ⅲ：在Set5 數(shù)據(jù)集上PSNR 分別提高了0.79 dB和1.22 dB，SSIM 分別提高了0.076和0.08；在Set14 數(shù)據(jù)集上PSNR 分別提高了1.09 dB 和1.29 dB，SSIM 分別提高了0.145 和0.146。同時可以觀察到模型Ⅴ相對于模型Ⅳ，無論是在Set5數(shù)據(jù)集上還是在Set14數(shù)據(jù)集上，縮放因子為4和8時在PSNR指標(biāo)上和SSIM指標(biāo)上均有提高。經(jīng)以上分析可見，本文融合的注意力機(jī)制和漸進(jìn)式上采樣思想每部分都展示了其優(yōu)越性，這都得益于其不同特征圖的差異性和小步幅的上采樣過程會減少特征信息的丟失，同時可以發(fā)現(xiàn)本文算法在縮放因子較大時重建結(jié)果取得了更優(yōu)越的表現(xiàn)。

3.3 參數(shù)規(guī)模

在本節(jié)選取部分主流深度學(xué)習(xí)的方法與本文算法的參數(shù)規(guī)模大小進(jìn)行對比，選取的部分主流算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN（Faster SRCNN）［21］，比較結(jié)果如圖4所示。

圖4（a）展示了當(dāng)縮放因子為4時，本文所提出的算法和各主流算法在Set5 數(shù)據(jù)集上測試時的參數(shù)規(guī)模。從圖4（a）中，可以發(fā)現(xiàn)當(dāng)縮放因子為4時，本文所提出的算法比EDSR［6］的參數(shù)量減少了66.7%并且重建圖像的質(zhì)量提高了約1 dB。同樣當(dāng)縮放因子為8時，本文算法的參數(shù)量雖然有些增加，但是仍維持在一個相對較小的水平（如圖4（b）所示）。本文算法預(yù)測圖像的質(zhì)量高于EDSR 的預(yù)測結(jié)果約1.2 dB，相對于EDSR［6］效果參數(shù)量減少了66.7%。

圖4 Set5數(shù)據(jù)集上各主流算法在不同模型的參數(shù)規(guī)模對比Fig.4 Parameter scale comparison of mainstream algorithms on Set5 dataset

本文采用漸進(jìn)式上采樣的策略，并且使用感受野較小的卷積核，同時網(wǎng)絡(luò)層數(shù)也相對較少，所以網(wǎng)絡(luò)并沒有引入的大量的參數(shù)。但是由于算法的優(yōu)越性，保證了預(yù)測圖像的質(zhì)量維持在一個相對較高的水平。

3.4 綜合實(shí)驗(yàn)結(jié)果對比分析

本節(jié)將本文方法與部分主流的深度學(xué)習(xí)算法在不同的數(shù)據(jù)集上分別上采樣不同的倍數(shù)取得的實(shí)驗(yàn)結(jié)果進(jìn)行對比分析。實(shí)驗(yàn)所采用的數(shù)據(jù)集分別是Set5［22］、Set14［23］、BSDS100［24］以及Urban100［25］，其中每個數(shù)據(jù)集有不同的形態(tài)特征，Set5、Set14和BSDS100包含有多個自然場景，Urban100包含具有不同頻段細(xì)節(jié)的城市場景。本文對比的主流深度學(xué)習(xí)算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN［21］、SCN （Sparse Coding based Network）［26］、SRMDNF（learning a single convolutional Super-Resolution Network For Multiple Degradations）［27］和RDN（Residual Dense Network for image super-resolution）［28］并且分別計(jì)算這些主流算法上采樣2 倍、4 倍和8 倍時的PSNR 和SSIM 值并對比分析。為了保證實(shí)驗(yàn)的公平性，對以上算法使用了相同的訓(xùn)練集，并且比較在各測試集上的平均結(jié)果?？s放因子為2、4和8時的實(shí)驗(yàn)結(jié)果如表3～5所示。

表3 各SISR算法的×2模型在不同數(shù)據(jù)集上的性能Tab.3 Performance of×2 models of various SISR algorithms on different datasets

從表3～5中可以發(fā)現(xiàn)，在縮放因子為4 和8時，本文所提出的算法在各數(shù)據(jù)集上PSNR 和SSIM 均取得了最好的表現(xiàn)。在縮放因子為2時，本文的算法在Set5數(shù)據(jù)集上PSNR 并沒有取得最優(yōu)的表現(xiàn)，SSIM 也只有微小的提升，但是在其余數(shù)據(jù)集上各指標(biāo)均達(dá)到了最優(yōu)的重建效果。其中在BSD100 數(shù)據(jù)集上縮放因子為4時與其他算法相比，本文算法的PSNR 提升最明顯達(dá)到了30.93 dB，相較于次最優(yōu)算法RCAN的PSNR提高了3.16 dB。同時由于本文更關(guān)注縮放因子較大的重建效果，所以總體上縮放因子越大，本文算法的優(yōu)越性展現(xiàn)得越明顯。

圖5展示了部分主流算法在scale=4時，對Set5、BSDS100、Set14 和Urban100 數(shù)據(jù)集中的women、monarch、167083 和img_005 四幅圖像的預(yù)測結(jié)果。觀察各算法重建的women 圖像的局部放大效果，可以發(fā)現(xiàn)Bicubic 等算法預(yù)測結(jié)果最模糊，其眼睛區(qū)域較平滑和模糊，而本文算法在眼睛區(qū)域獲得了更為豐富的細(xì)節(jié)信息和較為清晰的邊緣。同時比較其他兩幅圖像，同樣發(fā)現(xiàn)monarch 放大區(qū)域花瓣的邊緣更加銳利，167083 和img_005 放大區(qū)域的線條也更加明朗。所以本文算法的重建結(jié)果無論在客觀指標(biāo)還是在視覺效果上，都展示出了明顯的優(yōu)越性。

表4 各SISR算法的×4模型在不同數(shù)據(jù)集上的性能Tab.4 Performance of×4 models of various SISR algorithms on different datasets

表5 各SISR算法的×8模型在不同數(shù)據(jù)集上的性能Tab.5 Average performance of×8 models of various SISR algorithms on different datasets

圖5 幾種算法對4幅圖片的預(yù)測結(jié)果對比Fig.5 Prediction results comparison of several algorithms for 4 images

4 結(jié)語

本文提出了深度漸進(jìn)式反投影注意網(wǎng)絡(luò)，主要利用漸進(jìn)式上采樣的思想并結(jié)合了迭代反投影方法和注意力機(jī)制，緩解了目前主流算法上采樣過程中的高頻信息丟失，忽略了高低分辨率圖像之間的相互依賴關(guān)系以及不同特征通道對重建高分辨率圖像的貢獻(xiàn)大小不同等問題。本文算法不僅充分發(fā)掘了高低分辨率特征圖所攜帶的細(xì)節(jié)信息，還使用注意力反投影網(wǎng)絡(luò)學(xué)習(xí)到了高低分辨率特征圖以及特征圖各通道之間的相互依賴關(guān)系，并且引入漸進(jìn)式上采樣的策略減少了上下采樣過程中信息的丟失，同時實(shí)驗(yàn)結(jié)果表明了本文算法的優(yōu)越性。