諶貴輝，陳 伍，李忠兵，易 欣，劉會康，韓春陽

西南石油大學(xué) 電氣信息學(xué)院，成都610500

在人臉識別、醫(yī)學(xué)成像、衛(wèi)星圖像和視頻檢測監(jiān)控等應(yīng)用領(lǐng)域中，為了取得圖像更加豐富的高頻信息細(xì)節(jié)，需要對含噪聲模糊不清的低分辨率圖像（Low-Resolution，LR）通過一定的處理技術(shù)進行處理，得到清晰可靠的高分辨率（High-Resolution，HR）圖像[1-3]。最常用的處理方法的是采用圖像超分辨率重建技術(shù)。超分辨率重建一直是計算機視覺領(lǐng)域的研究熱點。

超分辨率重建技術(shù)大致分為三類：基于插值[4]的方法、基于重建[5]的方法和基于學(xué)習(xí)[6]的方法。2014年，Dong等人首次提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建算法SRCNN[7]（Super Resolution Convolutional Nerual Network）。開啟了深度學(xué)習(xí)應(yīng)用于圖像超分辨率重建。2016年Dong等提出了沙漏型結(jié)構(gòu)的基于快速的卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建算法FSRCNN[8]（Accelerating the Super-Resolution Convolutional Neural Network），解決了SRCNN算法中，將低分辨率圖像進行上采用的預(yù)處理過程，會進一步引入噪聲等問題。Kim等人受殘差網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，通過增加網(wǎng)絡(luò)層數(shù)來加深網(wǎng)絡(luò)結(jié)構(gòu)，提出了極深卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法

VDSR[9]（Accurate Image Super-Resolution Using Very Deep Convolutional Networks），取得了更好的圖像重建效果。Shi等人提出了基于亞像素卷積網(wǎng)絡(luò)的圖像超分辨率重建算法ESPCN[10]（Efficient Sub-Pixel Convolutional Network），通過直接在低分辨率圖像結(jié)構(gòu)上進行特征提取，然后用亞像素卷積對提取到的特征圖像進行上采樣，降低了特征提取過程的計算復(fù)雜度，提高了重建效率。Ledig等人提出了基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建算法SRGAN[11]（Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network），通過將生成對抗網(wǎng)絡(luò)思想應(yīng)用到超分辨率重建中，結(jié)合圖像感知損失和對抗損失作為網(wǎng)絡(luò)的損失函數(shù)，使得重建效果更加接近真實高清圖像。

VDSR、ESPCN等方法表明：網(wǎng)絡(luò)深度的加深對超分辨率圖像重建質(zhì)量有至關(guān)重要的影響。但訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)難以收斂，在訓(xùn)練過程會出現(xiàn)梯度消失和梯度爆炸等問題。同時，未完全考慮到圖像全局上下文的信息對提取區(qū)域的影響，沒有重點關(guān)注到圖像邊緣和紋理等圖像細(xì)節(jié)。對提取的圖像特征通道、特征位置和特征空間的信息平等對待，進一步導(dǎo)致重建的圖像缺乏全局特征信息。

本文為解決以上問題，在VDSR網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，提出了殘差卷積注意網(wǎng)絡(luò)的圖像超分辨率算法。本文中提出的算法主要由低維特征提取結(jié)構(gòu)、多尺度特征融合結(jié)構(gòu)、特征注意提取結(jié)構(gòu)和重建結(jié)構(gòu)這四部分構(gòu)成。運用多尺度卷積核提取不同尺度的特征信息，并重點關(guān)注圖像通道域信息進行特征信息的提取。為防止網(wǎng)絡(luò)過程必要的低頻信息的丟失和網(wǎng)絡(luò)難以收斂等問題，引入短跳躍連接和長跳遠連接的殘差結(jié)構(gòu)，構(gòu)建多尺度殘差注意特征提取模塊，提高圖像特征信息的獲取精度。同時，本文算法關(guān)注圖像特征的通道域注意、空間域注意這兩種注意力提取的特征信息，引入卷積塊注意力模塊CBAM[12]（Convolutional Block Attention Module），通過顯示建模特征通道間的信息和空間位置注意的相關(guān)性，自適應(yīng)地提取圖像特征。網(wǎng)絡(luò)最后，通過反卷積跳遠連接結(jié)構(gòu)進行對重建圖像進行恒等映射，進一步提高重建圖像質(zhì)量。實驗結(jié)果驗證了本文算法的有效性，與現(xiàn)有的代表性方法比較，無論是主觀視覺評價，還是客觀指標(biāo)評價度量，都表明本文算法的超分辨率重建性能優(yōu)于其他比較有代表性的方法。

1 相關(guān)工作

1.1 多尺度的卷積核

不同尺度卷積核提取的特征信息不同，本文采取1×1、3×3和5×5不同像素尺度的卷積核來對圖像進行特征提取。通過多尺度的卷積核對圖像進行卷積處理，可以從低分辨率圖像中較好地得到更多高頻圖像細(xì)節(jié)信息。為節(jié)省計算力，不采取尺寸7×7卷積核。受inception結(jié)構(gòu)的影響，將這三種卷積核加寬，來代替?zhèn)鹘y(tǒng)加深的結(jié)構(gòu)。多尺度卷積核基本結(jié)構(gòu)如圖1所示。

圖1 多尺度卷積核基本結(jié)構(gòu)

對多尺度卷積核基本結(jié)構(gòu)的輸入I L，進行卷積核為1×1、3×3和5×5的卷積操作：

式中，I L表示多尺度卷積核輸入的低分辨率圖像，H1×1(I L)、H3×3(I L)和H5×5(I L)分別表示使用1×1、3×3和5×5尺寸大小的卷積核對低分辨率圖像I L的卷積操作，并經(jīng)過ReLU激活函數(shù)。F1×1、F3×3和F5×5分別表示經(jīng)過對應(yīng)卷積核操作和ReLU激活函數(shù)后提取到的圖像特征圖。Hconcate,1×1(I L)表示使用concate函數(shù)，將不同尺度卷積核下得到的圖像特征圖進行特征融合，同時為保證輸入和輸出的圖像特征圖的維度保持不變，使用1×1卷積核進行卷積操作，降低特征圖維度，減少參數(shù)量。

1.2 通道注意力機制

在進行圖像卷積的過程中，對所有通道特征進行平等對待處理。為了解決這個問題，He等人在文獻[13]中提出的通道注意力CA機制，重新校準(zhǔn)先前獲得的通道相互依賴的特征，獲得信息可以最大限度地利用通道，通過擠壓和激勵兩種操作顯式建模通道依賴項的詳細(xì)信息。

擠壓操作中，假設(shè)U=[u1,u2,…,u k]是k個空間維數(shù)為w×h的不同輸入通道。特征壓縮首先通過全局平均池化對空間維數(shù)進行壓縮?？臻g信息放入通道描述符中，通過使用全局平均池化生成通道統(tǒng)計量。即2D的每個特征通道都變成在某種程度上具有全局接受域的統(tǒng)計量。實際上，Z∈Rk刻畫了通道特征并允許輸入附近的層來獲取全局接受野。通道信息統(tǒng)計量Z∈Rk是通過其空間維數(shù)w×h收縮U得到。在擠壓操作中，輸出維度匹配，輸入特征通道的數(shù)目。因此統(tǒng)計Z的第c個元素可以定義為：

式中，GSq()?表示全局平均池化操作，u c(i,j)表示第c個通道特征u c在(i,j)處的值。轉(zhuǎn)換U的輸出可以理解為統(tǒng)計描述符的集合，通道信息統(tǒng)計量是整個圖像信息的表現(xiàn)形式，采取的聚合方式為全局平均池化操作。

激勵操作，利用擠壓中聚集的圖像信息統(tǒng)計量，接下來進行激勵操作。這是一種類似于門結(jié)構(gòu)的機制，在長期短期記憶（LSTM）中提出。這種門機制為每個特征生成通道權(quán)重。通道權(quán)重為學(xué)會顯式地建模特征通道之間的相關(guān)性，采取sigmoid函數(shù)作為門控機制函數(shù)。具體定義如下：

式中，δ表示ReLU激活函數(shù)，為了限制模型的復(fù)雜性和輔助泛化，通過形成參數(shù)化澆注機制。即兩層完全連（FC）的瓶頸非線性層，具有減速比r（本文算法中r取16）、ReLU和維度增加層返回到轉(zhuǎn)換的通道維度輸出U。減速比r其目的是減少通道的數(shù)量然后減少計算力。實際上，整個過程分為四個部分：降維層、ReLU激活、增維層和sigmoid激活層。最后一個sigmoid函數(shù)功能是為了生成最終的特征圖像信息s，這是該CA機制的核心。CA機制的輸出特征通過s重新調(diào)整信道，如下所述：最終輸出通過使用激活重新縮放U：

式中，U?=[u?1,u?2,…,u?c]和Fscale(u c,s c)表示的是通道注意力校準(zhǔn)的標(biāo)量s c與原始輸入特征圖u c∈Rh×w×k之間逐通道相乘。而s表示最終的信道統(tǒng)計量。對于每個通道元素有u?c=s c?u c。通道注意力CA機制示意圖如圖2所示。

圖2 通道注意力CA機制示意圖

2 殘差卷積注意網(wǎng)絡(luò)

本文整體神經(jīng)網(wǎng)絡(luò)框架如圖3所示，殘差卷積注意力神經(jīng)網(wǎng)絡(luò)由低維特征提取結(jié)構(gòu)、多尺度特征融合結(jié)構(gòu)、特征注意提取結(jié)構(gòu)和重建結(jié)構(gòu)這四部分構(gòu)成。

圖3 殘差卷積注意神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.1 低維特征提取結(jié)構(gòu)

在基于殘差卷積注意網(wǎng)絡(luò)的淺層結(jié)構(gòu)中，采用尺寸大小為3×3的卷積核進行網(wǎng)絡(luò)低維特征的提取，卷積層表示為：

式中，I LR表示原始輸入的低分辨率圖像，W1表示n個大小為k×k×c的濾波器，偏置項為b1。f表示激活函數(shù)，本文采用ReLU激活函數(shù)。F1(Y)表示低維特征提取結(jié)構(gòu)得到的n張?zhí)卣鲌D，I0表示輸出特征圖。

本文k取3，n取64。不同于以往在亮度通道上進行處理，本文的圖像超分辨率重建算法直接在低分辨率的RGB圖像上進行操作，避免了忽略其他顏色通道的信息，因此c取3。在每次卷積操作前都對圖像邊界進行補零padding操作，充分挖掘圖像邊緣特征信息。

2.2 多尺度特征融合結(jié)構(gòu)

本文提出的多尺度特征融合結(jié)構(gòu)由多尺度殘差注意塊和多級特征融合層結(jié)構(gòu)組成，可以更好地利用多尺度卷積核提取到不同的特征信息，并經(jīng)過融合層結(jié)構(gòu)，對提取到的多種圖像特征信息進行自適應(yīng)地融合。經(jīng)過低維轉(zhuǎn)換層的輸出特征I0作為多尺度殘差注意塊單元結(jié)構(gòu)的輸入特征圖。經(jīng)過實驗，采取8個多尺度殘差注意塊，I0輸入到8個依次順序連接的多尺度殘差注意塊。設(shè)計的多尺度殘差注意塊如圖4所示。

圖4 多尺度殘差注意力塊

多尺度殘差注意塊對I0進行不同尺度的特征信息提?。?/p>

式中，F(xiàn) i是第i個多尺度殘差注意塊的映射函數(shù)，W i是Fi的權(quán)重矩陣參數(shù)，b i為F i的偏置項矩陣參數(shù)，考慮到計算力本身，常常忽略偏置項b i,I i是第i個多尺度殘差注意塊的輸出。

多級特征融合層結(jié)構(gòu)將每一級多尺度殘差注意結(jié)構(gòu)的輸出特征I i進行并聯(lián)連接，生成特征信息I M，再通過2個卷積層，卷積核大小為1×1，進行進一步的特征信息融合和降維，對提取到的特征信息最大利用化：

式中，F(xiàn) M是多級特征融和層的映射函數(shù)，W M是F M的權(quán)重矩陣參數(shù)，b M為F M的偏置項矩陣參數(shù)。I M是每一級多尺度殘差注意塊I i并聯(lián)連接的特征，I G是多級特征融合層的輸出特征。

多尺度殘差注意塊和多級特征融合層的聯(lián)合的特征信息提取結(jié)構(gòu)，提出的網(wǎng)絡(luò)模型能夠提取到不同深度、不同卷積核尺度和不同通道之間的特征信息。同時，在末端引入通道注意力層，能夠捕捉更好的建模全局依賴關(guān)系[14]以及降低無關(guān)圖像域特征信息[15]，更好地學(xué)習(xí)到通道之間的相互聯(lián)系。

2.3 特征注意提取結(jié)構(gòu)

注意力機制能夠?qū)⒏嗟淖⒁饬性诟信d趣的信息上，對應(yīng)在圖像超分辨率重建中，圖像的邊緣和紋理等高頻信息是更注重的信息。在本文的特征注意提取結(jié)構(gòu)中采用通道注意力和空間注意力模塊的聯(lián)合模塊進行特征注意提取，即引入卷積注意模塊CBAM[12]來進行圖像超分辨率注意力信息的提取。

CBAM[12]的映射由一維通道注意映射M c∈R1×1×C和二維空間注意映射M s∈R1×1×C，圖5顯示通道注意力的計算原理過程，空間注意力的計算原理，如圖6所示。

圖5 通道注意力計算原理圖

圖6 空間注意力計算原理圖

整個CBAM注意力過程可以表示為如下：

式中，?表示逐個元素相乘。在相乘期間，注意力值按順序進行處理：通道注意力值是在空間維度上處理的，同樣地，空間注意力值是在圖像通道上進行處理的。F″表示的是最后得到的圖像注意力值。圖7顯示卷積注意模塊結(jié)構(gòu)圖。

圖7 卷積注意模塊結(jié)構(gòu)圖

2.4 反卷積重建

在神經(jīng)網(wǎng)絡(luò)進行卷積操作提取特征信息時，會導(dǎo)致輸出的圖像越來越小。本文算法在進行上采樣的過程中，考慮到這個因素，采取反卷積來進行上采樣，能夠放大多尺度特征映射圖。

采取雙三次插值對輸入圖像做預(yù)處理，會引入過多噪聲，且會限制學(xué)習(xí)速度[16]。反卷積進行上采樣會減少人工因素的影響。在圖像超分辨率重建領(lǐng)域，可以用于圖像的放大過程，代替?zhèn)鹘y(tǒng)的雙三次插值操作。本文算法，在進行圖像上采樣放大過程中，使用反卷積操作進行圖像放大，得到想要的圖像尺寸大小。

2.5 損失函數(shù)

在圖像超分辨率重建領(lǐng)域使用最廣泛的損失函數(shù)是平均絕對誤差損失函數(shù)L1（MAE）和均方誤差損失函數(shù)L2（MSE）。L1損失函數(shù)具有可以達到較好的主觀視覺效果和客觀評價指標(biāo)，可以防止重建圖像過于平滑，導(dǎo)致圖像失真現(xiàn)象的優(yōu)點。本文采用平均絕對誤差損失函數(shù)L1（MAE）來估計網(wǎng)絡(luò)參數(shù)θ。平均絕對誤差損失函數(shù)表示為：

式中，L(θ)表示平均絕對誤差，Y i表示輸入低分辨率圖像（LR），Xi和F(Y i;θ)分別表示原始高分辨率圖像（HR）和重建圖像（SR），N代表訓(xùn)練集樣本的總數(shù)目，網(wǎng)絡(luò)參數(shù)θ為各層權(quán)值w i和偏置值b i參數(shù)的集合，即θ=(w1,w2,…,w i,b1,b2,…,b i)。通過最小化重建圖像與對應(yīng)原始高分辨率圖像的L1損失來估計網(wǎng)絡(luò)參數(shù)θ。為比較L1與L2重建圖像的優(yōu)勢，在3.3節(jié)對損失函數(shù)增加消融實驗。

3 實驗結(jié)果分析

3.1 實驗配置

本文提出的算法實驗所需要的實驗環(huán)境為：Ubuntu16.04LTS操作系統(tǒng)，采用深度學(xué)習(xí)框架Pytorch網(wǎng)絡(luò)模型進行實驗優(yōu)化，搭建cuda10.0，cudnn7.6.2用于本文算法實驗的加速，在進行測試時，使用Matlab R2014a。本文實驗硬件設(shè)備配置為Intel?CoreTMi5-9600K@3.7 GHz處理器，16 GB運行內(nèi)存，NVIDIA Geforce GTX2060（6 GB）顯卡。

3.1.1 實驗數(shù)據(jù)集

整個實驗過程中所使用的數(shù)據(jù)集，采用的是近年來新提出的一種高清（2K分辨率）的圖像數(shù)據(jù)集DIV2K，其中包含有訓(xùn)練集圖像800張，驗證集圖像100張，測試集圖像100張。由于DIV2K僅包含800張訓(xùn)練集圖像和100張驗證集圖像，其100張測試集圖像尚未發(fā)布，本文采用圖像超分辨率領(lǐng)域的基準(zhǔn)數(shù)據(jù)集Set5、Set14和Urban100[17]來進行測試。在進行圖像預(yù)處理時，采用將DIV2K中的800張訓(xùn)練集圖像，分別進行雙三次插值下采樣2倍、3倍和4倍的降質(zhì)處理，作為網(wǎng)絡(luò)的輸入低分辨率圖像。

3.1.2 實驗細(xì)節(jié)

網(wǎng)絡(luò)模型中超分辨率網(wǎng)絡(luò)參數(shù)設(shè)置，如表1。表中H、W分別是輸入圖像的高度和寬度，ReLU是線性修正單元，Conv是卷積層，MaxPool是最大池化層，AvgPool是全局平均池化層，ConvT是反卷積層，F(xiàn)C層是全連接層。其中網(wǎng)絡(luò)模型參數(shù)設(shè)置：每批16個訓(xùn)練圖像對，全部訓(xùn)練圖像對共6 720批，作為一個訓(xùn)練周期（epoch），共訓(xùn)練3 000個周期；訓(xùn)練優(yōu)化算法Adam；初始學(xué)習(xí)率為10-4；迭代200個周期，學(xué)習(xí)率減半；卷積濾波器初始化采用MSRA算法；反卷積濾波器采用均值為0、標(biāo)準(zhǔn)差為0.001的高斯分布進行初始化。卷積算子采用的是1×1、3×3和5×5的尺寸。網(wǎng)絡(luò)層數(shù)大體分為14層，包含低維特征提取結(jié)構(gòu)層、多尺度殘差注意塊層、特征融合層、卷積注意模塊層和反卷積重建層等。

表1 超分辨率網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)設(shè)置

3.2 實驗客觀評價指標(biāo)

本文重建圖像的重建效果的衡量標(biāo)準(zhǔn)，采用圖像超分辨率中常用的客觀評價指標(biāo)：峰值信噪比（PSNR）和圖像結(jié)構(gòu)相似性（SSIM）。重建圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）值在0到1的范圍，PSNR是衡量對應(yīng)像素點間的誤差，即誤差敏感圖像質(zhì)量評價。

一般情況下，越高的PSNR值表示越好的高分辨率圖像，通過均方誤差（Mean Square Error，MSE）對峰值信噪比（PSNR）進行定義。

均方誤差可表示為：

圖像峰值信噪比（PSNR）的計算方法可表示為：

式中，I表示H×W大小的重建圖像，K表示H×W大小的原始高分辨率圖像，H、W分別表示圖像的高度和寬度，n一般取8，表示每個像素的bit數(shù)值。峰值信噪比PSNR的單位是dB，PSNR數(shù)值越大，重建圖像失真越小，重建效果越好。

圖像結(jié)構(gòu)相似性（SSIM）的計算表示為：

式中，x表示重建圖像，y表示原始高分辨率圖像，μx表示x的平均值，μy表示y的平均值，σx表示x的方差，σy表示y的方差，σxy表示x和y的協(xié)方差。SSIM取值在[0，1]，越接近1，表明重建圖像與原始高分辨率的相似度越高，效果越好。

3.3 消融實驗分析

為比較L1與L2重建圖像的優(yōu)勢，對多尺度殘差注意塊數(shù)量和損失函數(shù)的選擇增加消融實驗。

對L1、L2損失函數(shù)和基礎(chǔ)塊數(shù)量的選擇進行算法驗證。在L1和L2損失函數(shù)下對不同數(shù)量的基礎(chǔ)塊進行實驗，并在Set5、Set14和urban100測試集上進行測試，得到了測試集上的平均峰值信噪比。

L1和L2損失函數(shù)、多尺度殘差注意塊的×2超分辨率重建效果在Set5、Set14和Urban100上的平均峰值信噪比，如圖8、圖9所示。由圖知，無論是采用L1損失函數(shù)還是L2損失函數(shù)，當(dāng)多尺度殘差注意塊數(shù)量為8時，重建效果最好。

圖8 L1損失函數(shù)與多尺度殘差注意塊折線圖

圖9 L2損失函數(shù)與多尺度殘差注意塊折線圖

經(jīng)過實驗驗證，當(dāng)基礎(chǔ)塊數(shù)量為8，選擇L1損失函數(shù)時，具有最好的重建效果。不同損失函數(shù)和基礎(chǔ)塊設(shè)置的網(wǎng)絡(luò)模型對×2的超分辨率性能的影響，參見表2。

表2 不同變量的網(wǎng)絡(luò)模型×2超分辨率

從表2中可看出，當(dāng)使用L1損失函數(shù)與多尺度殘差注意塊數(shù)量為8的時候，重建指標(biāo)最高，而采用L2損失函數(shù)和多尺度殘差注意塊數(shù)量為3的基線模型重建指標(biāo)最差，在Set5測試集的×2尺度中落后于最優(yōu)配置1.21 dB，在Set14測試集的×2尺度中落后1.04 dB，在Urban100測試集的×2尺度中落后1.58 dB，證明了采用L1損失函數(shù)和多尺度殘差注意塊為8時，提出的重建算法具有最好的重建效果。

采用L1損失函數(shù)的重建效果好于L2損失函數(shù)，L1具有可以達到較好的重建圖像主觀視覺效果和客觀評價指標(biāo)，這是L2損失函數(shù)所不具有的作用。當(dāng)多尺度殘差注意塊數(shù)量增加時，重建圖像質(zhì)量越來越高；當(dāng)注意塊數(shù)量增加到8時，圖像的重建效果最好；當(dāng)繼續(xù)增加注意塊數(shù)量，圖像重建質(zhì)量變低?？赡苁蔷W(wǎng)絡(luò)在提取高頻圖像信息的同時，重建圖像所需必要的低頻信息被丟棄，使得重建質(zhì)量變低。這表明當(dāng)注意塊數(shù)量為8時，網(wǎng)絡(luò)具有能夠最有效地提取到高頻圖像信息，同時也保留了必要的重建圖像低頻信息的能力。

3.4 實驗結(jié)果分析

為了證明提出方法的先進性與有效性，驗證所提出的算法與近年優(yōu)秀的重建算法的對比效果。選取了單幀圖像超分辨率領(lǐng)域先進的五種方法深度學(xué)習(xí)方法，VDSR[8]、ESPCN[9]、DRCN[18]（Deeply-Recursive Convolutional Network for image super-resolution）和CARN[19]（Accurate，and Light weight Super-Resolution with Cascading Residual Network）和IDN[20]（Fast and accurate single image super-resolution via Information DistillationNetwork）算法與非深度學(xué)習(xí)圖像重建領(lǐng)域傳統(tǒng)的Bicubic算法，分別在Set5、Set14和Urban100標(biāo)準(zhǔn)測試集上進行重建圖像2倍、3倍和4倍的性能驗證實驗。結(jié)果如表3所示。從表3中可以看出，無論是在2倍、3倍和4倍尺度下，在不同測試集下，提出的算法重建圖像的PSNR與SSIM指標(biāo)均高于這幾種算法。上采樣因子為4時，在Set5測試集上，本文算法的PSNR值比VDSR提高了1 dB，比CARN提高了0.22 dB。在Set14測試集上，本文算法比VDSR提高了0.75 dB，比CARN提高了0.17 dB。在Urban100測試集上，本文算法比VDSR提高了1.24 dB，比CARN提高了0.35 dB。

表3 不同測試數(shù)據(jù)集上的PSNR（dB）、SSIM指標(biāo)對比結(jié)果

對不同先進算法的主觀視覺效果進行了對比評價，所采用的對比方法的實現(xiàn)均來自作者公開的源代碼，使用原論文中的參數(shù)和預(yù)訓(xùn)練模型得到。圖10表示Set5測試集上本文超分辨率重建算法和其他算法的對比，本文算法中的蝴蝶圖像放大后，可以更加清楚地觀察到紋理細(xì)節(jié)。圖11表示Set14測試集上和其他算法的對比，Set14中的猴子圖像從放大眼睛及其邊緣的細(xì)節(jié)可以看出，本文重建算法的猴子眼角紋理和眼睛瞳孔細(xì)節(jié)對比其他算法均更加清晰。圖12表示Urban100測試集上和其他算法的對比，Urban100中欄桿在放大欄桿的細(xì)節(jié)后可以看出，本文重建算法的高頻細(xì)節(jié)與其他算法重建的圖像對比更加清晰，恢復(fù)出了主欄桿的細(xì)節(jié)信息，更接近原始高清圖像。因此，提出殘差卷積注意網(wǎng)絡(luò)的圖像超分辨率重建效果從視覺效果來看有所提高。本文在極深卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建算法的基礎(chǔ)上，改進的殘差卷積注意網(wǎng)絡(luò)的圖像超分辨率重建算法，在測試數(shù)據(jù)集上明顯優(yōu)于目前主流算法。甚至優(yōu)于2018年在ECCV會議收錄的CARN算法和2018年CVPR會議收錄的IDN算法。

圖10 Set5測試數(shù)據(jù)集上的對比結(jié)果

圖11 Set14測試數(shù)據(jù)集上的對比結(jié)果

圖12 Urban100測試數(shù)據(jù)集上的對比結(jié)果

4 結(jié)論

先前基于深度學(xué)習(xí)的圖像超分辨率重建方法中，存在特征提取少、信息利用率低和平等處理圖像各個通道的問題。本文受極深卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建算法（VDSR）啟發(fā)，結(jié)合卷積注意模塊，提出了殘差卷積注意網(wǎng)絡(luò)的超分辨率重建方法。在網(wǎng)絡(luò)中采取殘差注意塊局部殘差和網(wǎng)絡(luò)全局殘差相結(jié)合的方式來降低網(wǎng)絡(luò)訓(xùn)練難度，取消雙三次插值，在最后增加反卷積層，在網(wǎng)絡(luò)結(jié)構(gòu)中加入concate層進行多尺度特征融合、通過1×1的卷積核進行降維和擴維。構(gòu)造多尺度殘差注意塊來學(xué)習(xí)高分辨率和低分辨率圖像之間的映射關(guān)系。本文提出的算法能夠更好地恢復(fù)重建圖像的高頻紋理圖像信息。無論從客觀評價指標(biāo)，還是主觀視覺上，均優(yōu)于目前的主流方法。