周穎， 裴盛虎， 陳海永，2， 許士博

（1.河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300130；2.河北省控制工程技術(shù)研究中心，天津 300130）

1 引 言

單幅圖像超分辨率（Single Image Super-Resolution，SISR）是圖像處理中的關(guān)鍵技術(shù)之一，其目的是通過(guò)低分辨率（Low-Resolution，LR）圖像重建高分辨率（High-Resolution，HR）圖像，在視頻監(jiān)測(cè)［1］、衛(wèi)星遙感［2］和醫(yī)學(xué)成像［3］等不同領(lǐng)域有強(qiáng)烈的需求。傳統(tǒng)SISR方法主要有基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法，但這些方法重建的超分辨率圖像質(zhì)量較低。隨著深度學(xué)習(xí)的到來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNNs）因其顯著的特征表達(dá)能力受到了越來(lái)越多的關(guān)注。卷積超分辨率網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN）［4］首次將深度學(xué)習(xí)應(yīng)用于SISR任務(wù)，促進(jìn)了大量基于CNNs的SISR研究的涌現(xiàn)，但因其輸入為L(zhǎng)R圖像上采樣后的圖像導(dǎo)致網(wǎng)絡(luò)仍具有較高的計(jì)算復(fù)雜度。為實(shí)現(xiàn)更快的運(yùn)行速度，Shi等［5］提出了一種快速卷積超分辨率網(wǎng)絡(luò)，通過(guò)在LR圖像空間中提取特征來(lái)減少計(jì)算量，并使用反卷積作為網(wǎng)絡(luò)最后的上采樣操作。然而，淺層的網(wǎng)絡(luò)由于存在嚴(yán)重的梯度消失問(wèn)題，早期基于CNNs的SISR方法的性能無(wú)法得到進(jìn)一步提升。

深度卷積神經(jīng)網(wǎng)絡(luò)因其高級(jí)特征中包含更多的信息量進(jìn)一步提高了SISR任務(wù)的重建性能。Kim等［6］提出深度卷積超分辨率網(wǎng)絡(luò)（Super-Resolution Using Very Deep Convolutional Network，VDSR），通過(guò)在網(wǎng)絡(luò)中引入殘差學(xué)習(xí)，解決了梯度消失問(wèn)題，相較于早期的淺層網(wǎng)絡(luò)其性能得到了顯著提升；Tai等［7］提出深度遞歸殘差網(wǎng)絡(luò)（Deep Recursive Residual Network，DRRN），利用全局跳躍連接和局部殘差學(xué)習(xí)減少了參數(shù)量，并表現(xiàn)出良好的性能；Lim等［8］提出增強(qiáng)型深度超分辨率網(wǎng)絡(luò) （Enhanced Deep Super-Resolution Network，EDSR），通過(guò)去除網(wǎng)絡(luò)中的批量歸一化（Batch Normalization， BN）層，進(jìn)一步提高了模型的性能。但上述方法均使用單尺度卷積進(jìn)行特征提取，難免會(huì)造成重要信息的丟失，程德強(qiáng)等［9］將多尺度特征融合并采用密集連接以恢復(fù)圖像的高頻細(xì)節(jié)；Cai等［10］將多感受野分支的特征進(jìn)行通道拼接以學(xué)習(xí)局部區(qū)域特征；Liu等［11］采用遞歸多尺度網(wǎng)絡(luò)將不同尺度分支的輸出作為其他尺度分支的輸入；許嬌等［12］將多尺度特征與殘差網(wǎng)絡(luò)結(jié)合以實(shí)現(xiàn)圖像的重建過(guò)程。

隨著網(wǎng)絡(luò)深度與寬度的增加，特征圖的維數(shù)也在增加，注意力機(jī)制的引入提高了網(wǎng)絡(luò)處理更多特征信息的能力。Niu等［13］在殘差塊中同時(shí)加入了層注意力與通道空間注意力，大大提高了SISR性能；王杰等［14］將空間注意力與空間金字塔網(wǎng)絡(luò)相結(jié)合以增強(qiáng)重建圖像過(guò)程中的特征表達(dá)能力；Su等［15］提出全局可學(xué)習(xí)注意力以修復(fù)重建圖像中受損的非局部紋理細(xì)節(jié)；Behjati等［16］引入方向方差注意力來(lái)提高LR特征在長(zhǎng)距離空間中的依賴性以提高特征的鑒別性。然而，上述注意力忽略了通道與空間維度信息的相關(guān)性和跨維度注意力之間的交互作用而難以鑒別重要特征。

本文在上述研究的基礎(chǔ)上提出了一種基于多尺度自適應(yīng)注意力的圖像超分辨率重建網(wǎng)絡(luò)（Imageresolution network based on multi-scale adaptive attention， MAAN）。MAAN使用多尺度特征融合塊（Multi-scale Feature Fusion Block， MFFB）作為特征提取的基本層，交叉學(xué)習(xí)特征提取中的多尺度信息，并將每個(gè)MFFB的輸出進(jìn)行密集連接以充分融合淺層特征與深層特征。MFFB的基本單元（Basic Unit， BU）由自適應(yīng)雙尺度塊（Adaptive Dual-scale Block，ADB）、多路徑漸進(jìn)式交互塊（Multi-path Progressive Interactive Block， MPIB）和自適應(yīng)雙維度注意力（Adaptive Dual-dimensional Attention，ADA）串聯(lián)組成。其中，ADB獲得了豐富的上下文特征；MPIB提高了ADB的輸出中上下文特征之間的關(guān)聯(lián)性；ADA將一維注意力與二維注意力相結(jié)合，并自主選擇跨維度之間的信息進(jìn)行交互，進(jìn)一步提高了特征的鑒別力。

2 網(wǎng)絡(luò)模型

MAAN結(jié)構(gòu)如圖1所示，在淺層特征提取部分，給定輸入LR圖像ILR∈R3×H×W，使用3×3卷積提取ILR中的淺層特征F0∈RC×H×W：

圖1 MAAN網(wǎng)絡(luò)架構(gòu)Fig. 1 Network architecture of MAAN

其中：C3×3(?)為3×3卷積操作，φ(?)表示參數(shù)整流線性單元（Parametric Rectified Linear Unit，PReLU）激活函數(shù)。

在深層多尺度特征提取與融合部分，將F0輸入到多個(gè)堆疊的MFFB中，使輸出特征更具上下文信息：

其中：Mi(?)和Fi∈RC×H×W分別代表第i∈[1，8]個(gè)MFFB和第i個(gè)MFFB的輸出特征。為提高輸出特征中上下文信息的關(guān)聯(lián)性，將每個(gè)Fi在通道維度上進(jìn)行級(jí)聯(lián)并通過(guò)1×1卷積處理獲得不同層次之間的融合特征：

式中：C1×1(?)為1×1卷積操作，[?]代表在通道維度上進(jìn)行級(jí)聯(lián)操作。利用全局殘差學(xué)習(xí)將淺層特征F0與深層特征Ffuse融合：

在高分辨率圖像重建部分，利用上采樣因子將F重建為高分辨率圖像ISR∈R3×H×W：

其中，ps表示pixel-shuffle上采樣因子。

2.1 多尺度特征融合模塊（MFFB）

在MAAN中，設(shè)計(jì)了MFFB作為深層特征提取的基本傳遞塊，MFFB的結(jié)構(gòu)如圖1左下部分所示，第一行是LR特征流，第二行是倍LR特征流，第三行是倍LR特征流。3個(gè)特征流通過(guò)上采樣和下采樣操作交叉學(xué)習(xí)LR空間不同尺度特征的信息。MFFB中2次交叉學(xué)習(xí)的使用充分提取了每個(gè)層次特征包含的上下文信息，將3個(gè)特征流分別定義為H0，H1，H2，M0，M1，M2和S0，S1，傳遞過(guò)程如下：

其中：fBU(?)為MFFB的基本單元，fdown(?)和fup(?)分別為下采樣和上采樣操作，具體操作和維度變化如圖1右下部分所示。最后，將交叉融合后的多尺度特征進(jìn)行相加得到輸出特征：

MFFB的基本單元BU如圖2所示，BU由自適應(yīng)雙尺度塊ADB、多路徑漸進(jìn)式交互塊MPIB和自適應(yīng)雙維度注意力ADA串聯(lián)組成，利用ADB實(shí)現(xiàn)不同尺度的自適應(yīng)融合，將融合特征通過(guò)MPIB進(jìn)一步加強(qiáng)后，采用ADA找出應(yīng)該強(qiáng)調(diào)突出的區(qū)域；為加快模型的收斂速度，引入了殘差學(xué)習(xí)。

圖2 BU結(jié)構(gòu)圖Fig.2 Architecture of BU

2.2 自適應(yīng)雙尺度塊（ADB）

2.2.1 ADB結(jié)構(gòu)

現(xiàn)有的多尺度SR方法雖然在網(wǎng)絡(luò)架構(gòu)上有所不同，但只是以線性的方式簡(jiǎn)單地疊加或拼接多個(gè)尺度的特征，導(dǎo)致特征信息的冗余與模型參數(shù)量的加大。為此，本文設(shè)計(jì)了ADB以自適應(yīng)地給兩個(gè)尺度的特征分配權(quán)重，實(shí)現(xiàn)雙尺度特征的自適應(yīng)融合。

ADB結(jié)構(gòu)如圖3所示，給定輸入特征圖X∈RC×H×W，首先對(duì)X分別執(zhí)行兩次卷積核為3×3，5×5的卷積處理得到2個(gè)特征圖，獲得2個(gè)不同尺度的特征X1，X2∈R2C×H×W：

圖3 ADB結(jié)構(gòu)圖Fig.3 Architecture of ADB

其中：f1(?)包含3×3卷積和PReLU激活函數(shù)，f2(?)包含5×5卷積和PReLU激活函數(shù)。

然后將X1和X2輸入到自適應(yīng)權(quán)重單元（Adaptive Weights Unit， AWU）獲得各自的權(quán)重值λ1，λ2，最后利用λ1，λ2實(shí)現(xiàn)雙尺度特征的自適應(yīng)融合：

2.2.2 AWU結(jié)構(gòu)

AWU采用加權(quán)映射策略，為降低計(jì)算復(fù)雜度，用全局平均池化充當(dāng)降維算子，將不同尺度的特征轉(zhuǎn)換為具有全局感受野的統(tǒng)計(jì)量，各統(tǒng)計(jì)量通過(guò)關(guān)鍵信息篩選與Softmax加權(quán)映射后獲得不同尺度特征的權(quán)重。

AWU結(jié)構(gòu)如圖4所示，不同輸入xi，i∈[1，n]，利用全局平均池化壓縮輸入特征的空間維度信息后，得到全局代表特征向量，將每個(gè)特征向量在通道維度上進(jìn)行拼接并經(jīng)過(guò)1×1卷積后，得到融合特征：

圖4 AWU結(jié)構(gòu)圖Fig.4 Architecture of AWU

其中，GAP(?)表示全局平均池化操作。

融合特征經(jīng)過(guò)第1個(gè)全連接層（Fully Connected Layer， FC）、整流線性單元（Rectified Linear Unit， ReLU）激活函數(shù)和第2個(gè)FC后，得到由n個(gè)元素組成的初始向量，該初始向量中元素值的變化范圍較大，因此將該向量經(jīng)過(guò)Sigmoid激活函數(shù)處理后，得到各元素值均位于［0，1］之間的簡(jiǎn)化向量ε，εi的大小映射了Sigmoid權(quán)重參數(shù)的大小，ε經(jīng)過(guò)Softmax處理后得到各輸入特征的最終權(quán)重ωi：

其中：σ(?)表示Sigmoid激活函數(shù)，δ(?)表示ReLU激活函數(shù)，W1(?)和W2(?)表示兩個(gè)FC層，εi表示ε中的第i個(gè)元素。

2.3 多路徑漸進(jìn)式交互塊（MPIB）

MPIB將輸入特征f∈RC×H×W在通道維度上均分為4組并輸入到不同的路徑進(jìn)行處理，與現(xiàn)有的分組卷積相比，MPIB不僅減少了因所有通道進(jìn)行相同處理而造成的特征冗余，而且增強(qiáng)了處理不同尺度特征的能力。此外，MPIB將不同路徑的輸出特征以漸進(jìn)的方式交互空間信息，并通過(guò)通道混洗（Channel Shuffle， CS）交互通道信息，具體細(xì)節(jié)如圖5所示。

圖5 MPIB結(jié)構(gòu)圖Fig. 5 Architecture of MPIB

MPIB首先將4個(gè)子特征分別經(jīng)過(guò)不同數(shù)量的3×3卷積（卷積數(shù)量越多，感受野越大，處理大尺度特征的能力越強(qiáng)）處理后得到然后，F(xiàn)1僅進(jìn)行1×1卷積處理，對(duì)于i≥2的特征Fi與相鄰路徑的特征F(i-1)′交互特征在不同通道間的空間信息后采用1×1卷積進(jìn)一步整合特征并調(diào)整通道數(shù)，該過(guò)程可以描述為：

最后，為提高特征的表達(dá)能力，將不同路徑下的輸出特征在通道維度上進(jìn)行拼接并進(jìn)行CS處理，交互不同路徑的輸出特征的通道信息，進(jìn)一步增強(qiáng)特征在通道之間的相互作用：

其中，cs(?)表示Channel Shuffle操作。

2.4 自適應(yīng)雙維度注意力（ADA）

ADA通過(guò)串聯(lián)一維注意力和二維注意力對(duì)不同維度的相互依賴性進(jìn)行建模，突出上下文特征中應(yīng)該強(qiáng)調(diào)的區(qū)域。兩個(gè)維度的注意力均由3條分支組成，分別用于捕捉在(H，W)，(C，W)和(H，C)維度之間的跨維度信息；并利用AWU實(shí)現(xiàn)跨維度信息的自主融合。ADA通過(guò)利用通道維度和空間維度之間的相互依賴性，可以有效地關(guān)注上下文特征。具體細(xì)節(jié)如圖6所示。

圖6 ADA結(jié)構(gòu)圖Fig.6 Architecture of ADA

然后將F分別與相乘得到細(xì)化特征

在二維注意力中，同樣以(H，W)維度為例，首先對(duì)F1在通道軸上分別使用平均值和最大值得到2個(gè)特征，將其進(jìn)行通道拼接并經(jīng)過(guò)7×7卷積和Sigmoid后得到以類似的方式可以獲得

式中：A(?)和M(?)分別為平均值和最大值，C7×7(?)為核為7×7卷積操作。

然后F1分別與所有二維注意力相乘得到細(xì)化特征

最后利用AWU獲得二維注意力細(xì)化特征圖的權(quán)重值以獲得自主融合特征F2：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

為方便與最先進(jìn)的方法進(jìn)行公平對(duì)比，本文采用DIV2K［17］數(shù)據(jù)集中的800張高質(zhì)量的HR圖像作為MAAN的訓(xùn)練數(shù)據(jù)集，LR圖像是對(duì)相應(yīng)的HR圖像進(jìn)行雙三次線性下采樣得到的。采用4個(gè)常見的基準(zhǔn)數(shù)據(jù)集：Set5［18］，Set14［19］，BSD100［20］和Urban100［21］作為測(cè)試集，在比例因子分別為×2，×3，×4上使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［22］和結(jié)構(gòu)相似性指數(shù)（Structure Similarity Index Measure， SSIM）［23］評(píng)價(jià)指標(biāo)進(jìn)行測(cè)試。

3.2 實(shí)施細(xì)節(jié)

每個(gè)MFFB中包含8個(gè)BU，模型中所有中間特征圖的通道數(shù)均為C=64。訓(xùn)練前，通過(guò)隨機(jī)角度旋轉(zhuǎn)或翻轉(zhuǎn)增加訓(xùn)練數(shù)據(jù)的多樣性，并隨機(jī)裁剪48×48的補(bǔ)丁作為網(wǎng)絡(luò)的輸入LR圖像；訓(xùn)練時(shí)，批尺寸大小設(shè)置為16，初始學(xué)習(xí)率為lr=10-4并在每200個(gè)迭代后減半，采用自適應(yīng)力矩估計(jì)（Adaptive Moment Estimation， Adam）［24］優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行1000個(gè)迭代訓(xùn)練，其中β1=0.9，β2=0.999，ε=10-8。本文網(wǎng)絡(luò)在Py-Torch框架上實(shí)現(xiàn)，并在計(jì)算機(jī)系統(tǒng)配置：Windows10 64-bit，12th Gen Intel Core i5-12490F CPU，NVIDA RTX 3090 GPU上利用均方誤差（Mean Squared Error， MSE）損失進(jìn)行訓(xùn)練。

3.3 消融實(shí)驗(yàn)

3.3.1 MFFB數(shù)量消融實(shí)驗(yàn)

為實(shí)現(xiàn)模型參數(shù)量（M：百萬(wàn)）與重建性能的均衡，本文首先探索了MFFB的數(shù)量對(duì)整個(gè)網(wǎng)絡(luò)的影響，表1為Set5數(shù)據(jù)集在比例因子為×2時(shí)網(wǎng)絡(luò)中含有不同數(shù)量MFFB時(shí)PSNR的測(cè)試結(jié)果與模型參數(shù)量的變化。可以看出，MFFB=7比MFFB=6的PSNR值增加了0.19 dB，繼續(xù)增加MFFB的數(shù)量，MFFB=8比MFFB=7的PSNR值增加了0.17 dB，參數(shù)量增加了1.09 M，而MFFB=9比MFFB=8的PSNR值僅增加了0.03 dB，但參數(shù)量卻增加了1.22 M。為在重建性能與模型復(fù)雜度之間取得平衡，選用8個(gè)MFFB作為最終網(wǎng)絡(luò)構(gòu)成。

表1 MFFB數(shù)量消融實(shí)驗(yàn)Tab.1 Ablation experiments of the numbers of MFFB

3.3.2 BU結(jié)構(gòu)消融實(shí)驗(yàn)

本節(jié)通過(guò)BU結(jié)構(gòu)的消融實(shí)驗(yàn)證明BU中ADB，MPIB和ADA三個(gè)模塊的有效性，分別刪除BU中的ADB（結(jié)構(gòu)1）、MPIB（結(jié)構(gòu)2）和ADA（結(jié)構(gòu)3），與完整的BU結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)對(duì)比，由表2上半部分的測(cè)試結(jié)果可以看出，結(jié)構(gòu)1、結(jié)構(gòu)2和結(jié)構(gòu)3的PSNR/SSIM評(píng)價(jià)指標(biāo)均低于完整的BU結(jié)構(gòu)，證明了BU中包含的ADB，MPIB和ADA三個(gè)模塊的有效性。

表2 BU結(jié)構(gòu)消融實(shí)驗(yàn)結(jié)果Tab.2 Results of ablation experiments of the structure of BU

為證明AWU在ADB和ADA中均發(fā)揮了作用，進(jìn)行了AWU的消融實(shí)驗(yàn)，由表2下半部分的測(cè)試結(jié)果可以看出，同時(shí)刪除ADA和ADB中的AWU（結(jié)構(gòu)4），PSNR/SSIM評(píng)價(jià)指標(biāo)在4個(gè)基準(zhǔn)數(shù)據(jù)集上均為最低值，而僅刪除ADA中的AWU（結(jié)構(gòu)5）或僅刪除ADB中的AWU（結(jié)構(gòu)6）與結(jié)構(gòu)4相比，PSNR/SSIM評(píng)價(jià)指標(biāo)均有所上升，證明AWU分別提升了ADA和ADB的性能；而ADB和ADA中均不刪除AWU（完整的BU）與結(jié)構(gòu)5或結(jié)構(gòu)6相比，PSNR/SSIM評(píng)價(jià)指標(biāo)為最優(yōu)值，說(shuō)明在ADB和ADA中同時(shí)加入AWU進(jìn)一步提高了模型的性能。

3.3.3 ADB結(jié)構(gòu)消融實(shí)驗(yàn)

本文通過(guò)消融實(shí)驗(yàn)證明ADB中各尺度分支的有效性，其中3×3，5×5和7×7分別表示ADB中只含有3×3，5×5或7×7卷積1條分支，3×3+5×5表示含有3×3卷積和5×5卷積（空洞率為2的3×3卷積代替）2條分支，3×3+5×5+7×7表示含有3條分支（5×5卷積由空洞率為2的3×3卷積代替，7×7卷積由空洞率為3的3×3卷積代替）。

表3為Set5數(shù)據(jù)集在比例因子為×3時(shí)PSNR值的測(cè)試結(jié)果，可以看出，與單尺度分支中性能最好的7×7相比，雙尺度分支3×3+5×5在參數(shù)量?jī)H增加了0.97 M的情況下，PSNR值卻增加了0.38 dB；然而，三尺度分支3×3+5×5+7×7比3×3+5×5的參數(shù)量增加了10.49 M，但PSNR值卻只增加了0.14 dB。綜合考慮模型大小與實(shí)驗(yàn)性能，本文ADB選擇使用雙尺度分支3×3+5×5，此外，在3×3+5×5的基礎(chǔ)上加入AWU，即3×3+5×5+AWU，與3×3+5×5相比，參數(shù)量在略微增加0.19 M的情況下，重建性能卻可以達(dá)到與3×3+5×5+7×7相近的效果。

表3 ADB結(jié)構(gòu)消融實(shí)驗(yàn)結(jié)果Tab.3 Results of ablation experiments of the structure of ADB

3.3.4 MPIB結(jié)構(gòu)消融實(shí)驗(yàn)

本文通過(guò)消融實(shí)驗(yàn)證明將MPIB的輸入特征分為4組是平衡模型復(fù)雜度與重建性能的最佳選擇?？紤]到中間特征的通道數(shù)均為C=64，為確保分組后各子特征的通道數(shù)一致，將分組數(shù)量分別設(shè)置為2，4，8，表4為Set5數(shù)據(jù)集在比例因子為×2時(shí)，對(duì)于MPIB包含不同分組數(shù)量的PSNR的測(cè)試結(jié)果與模型參數(shù)量的變化?？梢钥闯?，分組數(shù)為4相較于分組數(shù)為2，在參數(shù)量?jī)H增加1.82 M的情況下，PSNR值增加了0.55 dB；而分組數(shù)為8相較于分組數(shù)為4，參數(shù)量增加了4.94 M，但PSNR值僅增加了0.16 dB。綜合考慮模型的復(fù)雜度與重建性能，將MPIB的輸入特征分為4組作為最佳選擇。

表4 MPIB分組數(shù)量消融實(shí)驗(yàn)Tab.4 Ablation experiments of the groups of MPIB

3.4 對(duì)比實(shí)驗(yàn)

3.4.1 不同注意力對(duì)比實(shí)驗(yàn)

為證明本文提出的ADA的有效性，用高效通道注意力（Efficient Channel Attention，ECA）［25］，卷積塊注意力模塊（Convolutional Block Attention Module， CBAM）［26］和平衡注意力機(jī)制（Balanced Attention Mechanism，BAM）［27］替換MAAN中的ADA進(jìn)行對(duì)比。

表5為4個(gè)基準(zhǔn)數(shù)據(jù)集在比例因子為×3時(shí)的實(shí)驗(yàn)結(jié)果，可以看出，在沒(méi)有注意力的基本網(wǎng)絡(luò)中加入通道注意力（+ECA），參數(shù)量增加了0.02 M，4個(gè)基準(zhǔn)數(shù)據(jù)集的PSNR/SSIM評(píng)價(jià)指標(biāo)增加的均值為0.10 dB/0.000 8；+CBAM和+BAM與基礎(chǔ)網(wǎng)絡(luò)相比，雖參數(shù)量分別增加了0.08 M和0.13 M，但PSNR/SSIM評(píng)價(jià)指標(biāo)的均值分別增加了0.16 dB/0.001 3和0.17 dB/0.001 5，說(shuō)明CBAM和BAM中通道注意力與空間注意力結(jié)合的有效性；+ADA與基礎(chǔ)網(wǎng)絡(luò)相比，參數(shù)量?jī)H增加了0.04 M，但PSNR/SSIM評(píng)價(jià)指標(biāo)的均值卻增加了0.32 dB/0.003 3，證明了ADA通過(guò)結(jié)合一維注意力與二維注意力和自適應(yīng)地交互跨維度信息，不僅比通道-空間注意力具有更少的參數(shù)量，而且表現(xiàn)出了更好的性能，使網(wǎng)絡(luò)關(guān)注更多的盲區(qū)信息。圖7展示了網(wǎng)絡(luò)中加入不同注意力時(shí)的視覺(jué)效果比較，其中參考圖像（Ground Truth， GT）為真實(shí)高分辨率圖像中紅色框內(nèi)區(qū)域的放大表示，可以看出，本文提出的ADA獲得了最好的視覺(jué)效果，重建的高分辨率圖像具有更多的紋理細(xì)節(jié)。

表5 不同注意力的評(píng)價(jià)指標(biāo)對(duì)比Tab.5 Comparison of the evaluation metrics of different attention

3.4.2 不同算法對(duì)比實(shí)驗(yàn)

本文在Set5，Set14，BSD100和Urban100數(shù)據(jù)集上將MAAN與10個(gè)代表方法進(jìn)行比較，包括Bicubic，SRCNN［4］，VDSR［6］，DRRN［7］、注意力輔助特征學(xué)習(xí)網(wǎng)絡(luò)（Attentive Auxiliary Feature Learning， A2F-L）［28］，EDSR［8］、殘差密集網(wǎng)絡(luò)（Residual Dense Network， RDN）［29］、高效分組跳躍網(wǎng)絡(luò)（Efficient Group Skip Connecting Network， E-GSCN）［30］、密集殘差拉普拉斯網(wǎng)絡(luò)（Densely Residual Laplacian Network， DRLN）［31］、Swin重建網(wǎng)絡(luò)（Image Restoration Using Swin Transformer， SwinIR）［32］和聯(lián)合三邊特征濾波網(wǎng)絡(luò)（Single Image Super-Resolution Based on Joint Trilateral Feature Filtering， JTF-SISR）［33］。

表6為各方法在4個(gè)基準(zhǔn)數(shù)據(jù)集上比例因子分別為×2，×3，×4的定量評(píng)估結(jié)果，其中最優(yōu)值和次最優(yōu)值分別用粗體和下劃線標(biāo)記?？梢钥闯?，本文算法MAAN在3個(gè)不同放大比例任務(wù)上均取得了較好的定量數(shù)據(jù)。在Set5數(shù)據(jù)集的3個(gè)放大比例任務(wù)中，MAAN相較于次最優(yōu)算法SwinIR，PSNR/SSIM評(píng)價(jià)指標(biāo)分別增加了0.02 dB/0.000 6，0.04 dB/0.000 5和0.04 dB/0.000 2；對(duì)于Set14數(shù)據(jù)集，在×2放大比例任務(wù)中，MAAN比次最優(yōu)算法DRLN的PSNR值減少了0.02 dB，但SSIM值卻增加了0.000 7，在×3和×4比例任務(wù)中，MAAN相較于次最優(yōu)算法SwinIR，PSNR/SSIM評(píng)價(jià)指標(biāo)分別增加了0.03 dB/0.000 6和0.21 dB/0.021 4；對(duì)于包含更多復(fù)雜紋理細(xì)節(jié)的BSD100和Urban100數(shù)據(jù)集，本文算法MAAN在3個(gè)放大比例任務(wù)中的PSNR值與SSIM值均為最優(yōu)值，尤其是在×4放大比例任務(wù)中，MAAN比次最優(yōu)算法SwinIR的PSNR/SSIM評(píng)價(jià)指標(biāo)分別增加了0.04 dB/0.001 4和0.05 dB/0.004 5，體現(xiàn)了本文方法在恢復(fù)高頻紋理細(xì)節(jié)方面的優(yōu)勢(shì)。定量數(shù)據(jù)結(jié)果表明，本文算法與不同比例任務(wù)中的次最優(yōu)算法相比，不僅減少了模型的參數(shù)量，而且進(jìn)一步提升了模型的重建性能。

表6 比例因子為×2， ×3， ×4時(shí)各方法的評(píng)價(jià)指標(biāo)對(duì)比Tab.6 Comparison of evaluation metrics of each method with scale factors of ×2， ×3， ×4

為進(jìn)一步說(shuō)明MAAN在恢復(fù)紋理細(xì)節(jié)方面的優(yōu)勢(shì)，本文將MAAN和Bicubic，SRCNN，VDSR，RDN，DRLN和SwinIR 6個(gè)代表性方法在較小數(shù)據(jù)集Set14、較大數(shù)據(jù)集BSD100和Ur-ban100上的重建視覺(jué)效果進(jìn)行比較。由于放大倍數(shù)越大，重建圖像中的紋理細(xì)節(jié)越難恢復(fù)，因此為了進(jìn)一步說(shuō)明在重建紋理細(xì)節(jié)方面的優(yōu)勢(shì)，本文重點(diǎn)展示各方法在×4比例因子上的視覺(jué)效果圖。

如圖8所示，對(duì)于較小數(shù)據(jù)集Set14的重建結(jié)果，可以看出，當(dāng)img014中斑馬前肢上有細(xì)小的條紋時(shí)，Bicubic， SRCNN和VDSR等參數(shù)量較少的方法重建后的斑馬前肢不僅丟失了條紋細(xì)節(jié)，而且具有嚴(yán)重的模糊偽影問(wèn)題；RDN，DRLN和SwinIR等參數(shù)量較大的方法，雖然較好地消除了重建圖像中的模糊偽影，但仍存在缺失條紋細(xì)節(jié)的問(wèn)題；而本文方法MAAN與上述方法相比，更好地緩解了偽影問(wèn)題，重建了更多紋理細(xì)節(jié)。對(duì)于較大數(shù)據(jù)集BSD100和Urban100的重建結(jié)果，現(xiàn)有方法重建的img096中花池地板的模糊感較重，而本文方法重建的圖像可以清晰的觀察到地板中的紋路信息；現(xiàn)有方法在重建img044中天花板時(shí)，產(chǎn)生了泛白的背景信息，而本文方法不僅還原了真實(shí)的背景，而且準(zhǔn)確重建了天花板中的細(xì)小柵線；現(xiàn)有方法重建的img076中投影塊的結(jié)構(gòu)細(xì)節(jié)模糊不清，而本文算法準(zhǔn)確重建了各個(gè)投影塊的紋理細(xì)節(jié)與相鄰?fù)队皦K之間的邊緣信息。視覺(jué)效果對(duì)比表明，本文MAAN不僅減輕了模糊偽影問(wèn)題，而且使重建圖像的內(nèi)容信息更清晰，紋理細(xì)節(jié)和邊緣輪廓更細(xì)膩。

圖8 比例因子為×4時(shí)各方法的視覺(jué)效果對(duì)比Fig. 8 Comparison of visual effect of each method with a scale factor of ×4

3.4.3 模型復(fù)雜度對(duì)比實(shí)驗(yàn)

為全面衡量不同方法的重建性能，將本文方法MAAN與非輕量化模型EDSR，RDN，EGSCN，DRLN和SwinIR在BSD100數(shù)據(jù)集上比例因子為×4時(shí)的模型參數(shù)量、計(jì)算量和平均推理時(shí)間進(jìn)行比較。由表7可知，與重建性能最優(yōu)的SwinIR相比，MAAN在保證重建性能的前提下，模型參數(shù)量、計(jì)算量和平均每張圖像的處理時(shí)間分別減少了18.3%，38.3%和24.1%，在模型參數(shù)量、計(jì)算復(fù)雜度與重建性能之間實(shí)現(xiàn)了更好的權(quán)衡。

表7 3種方法的復(fù)雜度對(duì)比Tab.7 Complexity comparison of the 3 methods

4 結(jié) 論

為使重建圖像中包含更多的上下文信息，本文提出了一種多尺度自適應(yīng)漸進(jìn)式注意力網(wǎng)絡(luò)MAAN。提出的多尺度特征融合塊MFFB，利用由自適應(yīng)雙尺度塊ADB、多路徑漸進(jìn)式交互塊MPIB和自適應(yīng)雙維度注意力串聯(lián)組成的基本單元BU交叉學(xué)習(xí)多尺度的層次特征。其中，ADB豐富了上下文特征，MPIB增強(qiáng)了上下文特征之間的關(guān)聯(lián)性，ADA提高了特征的鑒別性。定量指標(biāo)與視覺(jué)效果的對(duì)比結(jié)果顯示，本文方法在不同比例的超分辨率重建任務(wù)中，與其他主流方法相比效果均有提升，尤其在Set14測(cè)試集的×4比例任務(wù)上，本文方法與現(xiàn)有最優(yōu)方法SwinIR相比，PSNR和SSIM指標(biāo)分別提升了0.21 dB和0.0214；并且本文方法重建的圖像具有更多的紋理細(xì)節(jié)與邊緣信息。然而，MAAN與輕量化模型相比，仍具有較大的參數(shù)量，在未來(lái)的工作中，在確保重建性能的前提下，將進(jìn)一步減少模型的復(fù)雜度。