寇旗旗， 李超， 程德強(qiáng)， 陳亮亮， 馬浩輝， 張劍英

（1.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116；2.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116）

1 引 言

超分辨率重建（Super-Resolution，SR）旨在對(duì)輸入的一幅或多幅低分辨率圖像（Low-Resolution，LR）進(jìn)行重建，以得出細(xì)節(jié)更加豐富的高分辨率圖像（High-Resolution，HR）。目前，隨著計(jì)算機(jī)視覺的飛速發(fā)展，圖像超分辨率重建技術(shù)已經(jīng)廣泛應(yīng)用于夜間高噪圖像重建、遙感衛(wèi)星成像、醫(yī)學(xué)影像分析和霧霾圖像重建等領(lǐng)域［1-3］。對(duì)于任意的一張低分辨圖像，其重建后對(duì)應(yīng)無數(shù)個(gè)不同的高分辨圖像，因此，圖像的超分辨率重建是一個(gè)典型的病態(tài)問題。為解決這個(gè)問題，國(guó)內(nèi)外學(xué)者提出了基于插值的方法［4-5］、基于重建的方法［6］和基于學(xué)習(xí)的方法。其中，基于學(xué)習(xí)的方法是通過學(xué)習(xí)低分辨率圖像和高分辨圖像之間的對(duì)應(yīng)關(guān)系來獲得圖像的先驗(yàn)知識(shí)，進(jìn)而預(yù)測(cè)目標(biāo)的高分辨率圖像。在基于學(xué)習(xí)的重建任務(wù)中，將高分辨率圖像使用雙三次差值下采樣得到相應(yīng)低分辨率圖像，組成用于模型訓(xùn)練的高低分辨率圖像對(duì)。與傳統(tǒng)重建方法相比，基于學(xué)習(xí)的方法可以得到更好的重建效果，因此受到了眾多學(xué)者的關(guān)注。

近些年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，涌現(xiàn)出大量用于解決超分辨重建問題的網(wǎng)絡(luò)模型。2015年，Dong［7］等首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像的超分辨率重建，并提出了一種超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional N-eural Network，SRCNN），該網(wǎng)絡(luò)直接學(xué)習(xí)從低分辨率圖像到高分辨率圖像之間的映射關(guān)系，是一項(xiàng)開創(chuàng)性的工作。隨后，Shi［8］等在SRCNN的基礎(chǔ)上對(duì)反卷積層上采樣操作進(jìn)行了改進(jìn)并提出了高效的亞像素卷積層，該層通過重新對(duì)特征圖進(jìn)行排列，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)，獲得了更好的重建效果。然而，上述方法均采用淺層的網(wǎng)絡(luò)來獲取圖像的低頻特征信息，忽略了深層特征信息對(duì)圖像紋理細(xì)節(jié)重建的影響。Kim［9］等通過采用更深的網(wǎng)絡(luò)結(jié)構(gòu)以及更大的感受野，同時(shí)引入了殘差網(wǎng)絡(luò)（ResNet）［10］思想，提出了一種超分辨率重建極深卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Using Very Deep Convolutional Net-works，VDSR），該網(wǎng)絡(luò)模型不僅實(shí)現(xiàn)了深層特征信息的提取，且殘差信息的引入也有效緩解了網(wǎng)絡(luò)層加深導(dǎo)致的梯度彌散問題，提高了網(wǎng)絡(luò)的重建性能。但隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)參數(shù)量也在劇增，這導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練，收斂緩慢。因而Kim［11］等又在深度遞歸網(wǎng)絡(luò)（Deeply Recursive Convolutional Network，DRCN）中結(jié)合VDSR模型的優(yōu)點(diǎn)，提出了遞歸監(jiān)督的學(xué)習(xí)策略以減少模型的參數(shù)。緊接著，Tai［12］等在深度遞歸卷積網(wǎng)絡(luò)（Image Super-Resolution Via Deep Recursive Residual Network，DRRN）中提出了遞歸殘差塊來實(shí)現(xiàn)權(quán)重共享，以此進(jìn)一步降低網(wǎng)絡(luò)參數(shù)量。Lim［13］等通過去除批量歸一化（Batch Normalization，BN）來改進(jìn)殘差塊，提出了一種增強(qiáng)型深度超分辨率網(wǎng)絡(luò)（Enhanced Deep Residual Networks for Single Image Super-Resolution，EDSR），重建效果得到了顯著的提升。Hui［14］等研究發(fā)現(xiàn)網(wǎng)絡(luò)深度也是影響超分辨率重建速度的重要因素，因此提出了輕量化的多蒸餾網(wǎng)絡(luò)（Lightweight Image Super-Resolution with Infor-ma-tion Multi-Distillation network，IMDN）用來提升網(wǎng)絡(luò)的重建速度，為超分辨率重建的輕量化開啟一個(gè)新思路。與Hui等思路不同，Luo［15］等通過提出雙支路特征提取模塊和反向級(jí)聯(lián)融合策略來降低計(jì)算復(fù)雜度和內(nèi)存需求，然而此方法的性能提升卻并不明顯。Tong［16］等設(shè)計(jì)了一種密集連接的網(wǎng)絡(luò)以促進(jìn)圖像特征的信息流通，從而提出了密集跳躍連接超分辨率網(wǎng)絡(luò)（Image Super-Resolution Using Dense Skip Connections，SRDe-nseNet）。此后，Zhang［17］等通過將殘差連接和密集連接進(jìn)行融合，進(jìn)一步提升了LR圖像的超分重建效果。2018年，Zhang［18］等通過設(shè)計(jì)一種通道注意力模塊（Channel Attention，CA）來對(duì)不同通道的特征重新進(jìn)行加權(quán)分配以增強(qiáng)網(wǎng)絡(luò)的辨別學(xué)習(xí)能力，提出了基于殘差注意力的超分辨率重建網(wǎng)絡(luò)（Image Super-Resolution Using Very Deep Residual Channel Attention Networks，RCAN），注意力機(jī)制的引入使得其重建效果相比其他SR方法得到了顯著的提升。隨后，Dai［19］等對(duì)RCAN中的通道注意力進(jìn)行改進(jìn)，提出了基于二階統(tǒng)計(jì)的注意力機(jī)制，并第一次將非局部注意力［20］引入超分辨率重建任務(wù)中。2021年，Chen［21］等從底層研究注意力機(jī)制對(duì)超分辨率重建的作用，并提出了一種注意力嵌套圖像超分辨率重建網(wǎng)絡(luò)（Attention in Attention for Image S-uper-Resolution，A2N）。鑒于注意力機(jī)制優(yōu)異的特征表達(dá)能力，研究人員開始在SR任務(wù)中引入各種注意力機(jī)制來提高網(wǎng)絡(luò)的重建性能。此外，Ledig［22］等利用感知損失和對(duì)抗損失來實(shí)現(xiàn)低分辨圖像的超分辨重建，并提出了一種超分辨率生成對(duì)抗網(wǎng)絡(luò)模型（Super-Resolution Generative Adversial Network,SRGAN），也取得了良好的圖像重建效果。

雖然上述圖像超分辨率重建網(wǎng)絡(luò)取得了較好的重建效果，但大部分網(wǎng)絡(luò)模型沒有充分利用低分辨率圖像的全局和局部信息，存在特征圖太少可能導(dǎo)致重要信息丟失的問題。目前，雖然也有少量網(wǎng)絡(luò)模型綜合考慮了該問題，如Yu［23］等提出了一種寬激活深度殘差網(wǎng)絡(luò)（Wide Act-ivation for Efficient and Accurate Image Super-resolution，WDSR）用于圖像超分辨率重建，該網(wǎng)絡(luò)在盡量不增加參數(shù)量的前提下，通過擴(kuò)大殘差塊內(nèi)激活函數(shù)前的特征通道數(shù)實(shí)現(xiàn)了深層次高頻信息的提取。然而，該方法雖然提取到不同的深層特征信息，但是仍然存在特征復(fù)用和利用率較低的問題。

為了解決以上問題，本文提出了一種基于注意力和寬激活密集殘差網(wǎng)絡(luò)的圖像超分辨率重建模型（Image Super Resolution Reconstruction Based on Attention and Wide-Activated Dense Residual Network，WDRN）。針對(duì)低分辨率圖像淺層特征信息利用不足的問題，在淺層特征提取模塊，采用4個(gè)不同尺度且平行的卷積核提取低分辨率圖像的局部和全局信息，作為空間轉(zhuǎn)換的先驗(yàn)信息，通過獲取多層次的感受野來豐富底層關(guān)鍵特征的多樣性，提高重建性能。為保留低分辨率圖像的空間信息，通過引入空間特征轉(zhuǎn)換層，將多尺度淺層特征作為該層的先驗(yàn)信息來引導(dǎo)高頻特征的提取，從而為圖像的重建增添更加深層次的紋理信息。為了獲取豐富多樣的高頻特征信息，對(duì)激活函數(shù)前的特征通道數(shù)進(jìn)行了擴(kuò)大以獲取多通道高頻信息。構(gòu)造全局和局部殘差連接以加強(qiáng)殘差塊和網(wǎng)絡(luò)特征前向傳播，使網(wǎng)絡(luò)在不增加參數(shù)的情況下提取多樣性更加豐富的特征。在深層特征映射模塊，在寬激活殘差塊中融入輕量級(jí)注意力機(jī)制，對(duì)高頻區(qū)域信息分配更多權(quán)重，使模型的重建結(jié)果更清晰的同時(shí)仍維持較低的參數(shù)量水平。

2 原 理

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出融合注意力的寬激活密集殘差網(wǎng)絡(luò)模型的整體結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)模型有3個(gè)子模塊：（1）多尺度淺層特征提取模塊，不同尺度的卷積可以充分提取低分辨率圖像全局和局部的信息，該模塊提取的信息一方面作為深層特征映射模塊的輸入，另一方面作為空間特征轉(zhuǎn)換層的先驗(yàn)信息來引導(dǎo)圖像的重建；（2）深層特征映射模塊，用于提取圖像高頻特征以及對(duì)特征重復(fù)利用，該模塊由融合注意力機(jī)制的寬激活殘差塊（Wide Activation Residual Block，WARB）密集連接形成的密集殘差組（Wide Activation Residual Block Group，WARBG）構(gòu)成，空間特征轉(zhuǎn)換層在密集殘差組的前面，用于轉(zhuǎn)換特征圖的中間特征；（3）上采樣重建模塊，該模塊主要由亞像素卷積層和一個(gè)3×3卷積層組成，用于重建出最終的高分辨率圖像。

圖1 融合注意力的寬激活密集殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of attention and wide-activated dense residual network

2.2 多尺度淺層特征提取模塊

受到Szegedy［24］等提出的拓展網(wǎng)絡(luò)寬度思想的啟發(fā)，WDRN中多尺度淺層特征提取模塊使用4個(gè)不同尺寸且平行的卷積核對(duì)LR圖像進(jìn)行卷積操作，4個(gè)卷積核的大小分別為1×1，3×3，5×5，7×7。小尺寸的1×1和3×3卷積核可以學(xué)習(xí)得到LR圖像的局部特征，5×5和7×7的較大卷積核在對(duì)LR圖像進(jìn)行特征提取時(shí)能獲得大感受野的特征圖。為獲得更佳的特征映射效果，將每個(gè)卷積核輸出64個(gè)特征圖后進(jìn)行多尺度特征級(jí)聯(lián)的融合操作，進(jìn)而為空間特征提取模塊提供豐富的先驗(yàn)信息。然后，再將該先驗(yàn)信息融入深層特征映射模塊，使低分辨率圖像的信息得以充分利用，從而提高重建效果。多尺度淺層特征提取過程表示如下：

其中：FSFE，n×n(·)表示分別用n為1，3，5，7的卷積核對(duì)低分辨率圖像進(jìn)行淺層特征卷積處理，f0表示將獲得的多尺度特征圖經(jīng)過concat后把通道數(shù)降為64的操作。

2.3 深層特征映射模塊

2.3.1 注意力機(jī)制

人類視覺感知系統(tǒng)會(huì)有選擇地聚焦于全局信息中較為顯著的部分，同時(shí)忽略其他不重要的信息。而計(jì)算機(jī)視覺中的注意力機(jī)制與人類視覺感知相似，會(huì)從不同角度或在不同程度上重新為網(wǎng)絡(luò)所提取的信息加以區(qū)分。文獻(xiàn)［19］提出的二階通道注意力機(jī)制是對(duì)RCAN中通道注意力機(jī)制的改進(jìn)，但兩者僅通過調(diào)整通道特征來獲得對(duì)于信息的區(qū)別性表示，忽略了空間特征注意力信息的表示。文獻(xiàn)［20］中的非局部注意力模塊由于只涉及特征圖位置信息而缺乏對(duì)于特征圖通道的注意力，且其矩陣乘操作計(jì)算量較大，因此在網(wǎng)絡(luò)模型中并不適合多次使用該注意力機(jī)制模塊。綜上，本文在深層特征映射部分采用輕量級(jí)注意力模塊［25］，選擇性內(nèi)核網(wǎng)絡(luò)（Selective Kernel Networks，SKNet），該模塊可以根據(jù)不同尺度的輸入信息自適應(yīng)地選擇合適的卷積核來關(guān)注某些特征信息，并且經(jīng)過分離、融合以及選擇操作后擁有對(duì)于通道和空間信息加以區(qū)分的能力，因而更適用于在超分辨率重建任務(wù)中捕捉圖像的高頻信息，該模塊的具體結(jié)構(gòu)如圖2所示。

圖2 SKNet注意力機(jī)制Fig.2 SKNet attention mechanism

在分離操作階段，對(duì)輸入的初始特征圖X分別使用3×3和5×5的兩種卷積核進(jìn)行卷積操作，得到兩個(gè)輸出F3×3和F5×5。其次，通過融合操作將此兩部分的特征圖按元素相加的方式融合，得到新的特征圖Fx：

為獲得特征圖的注意力信息，特征圖Fx依次經(jīng)過全局平均池層、先升維再降維的全連接層，得到一個(gè)緊湊的特征向量：

其中：Fgap表示全局平均池化層（global average po-oling，gap），F(xiàn)fc表示全連接層（fully connected，fc）。

最后，在選擇操作階段首先將特征向量Z重新分為a和b兩個(gè)特征向量，兩者為互補(bǔ)關(guān)系，然后再分別與F3×3和F5×5進(jìn)行相應(yīng)通道的加權(quán)操作，進(jìn)而求和得到最終的輸出向量Fm，即：

其中：A，B分別表示由不同的全連接矩陣進(jìn)行特征維度轉(zhuǎn)化后的結(jié)果，ac和bc表示輸出特征向量a和b的第c個(gè)元素。最終的特征映射Fm是通過各種卷積核的注意力權(quán)重獲得的。

2.3.2 融合注意力的寬激活殘差塊

在本文中每個(gè)融合注意力的WARB包括2個(gè)卷積核為1的卷積層，1個(gè)卷積核為3的卷積層與1個(gè)SK注意力模塊。WARB［23］首先在ReLU激活層前通過1×1卷積的方式擴(kuò)展通道數(shù)來獲得更多特征圖，利用多個(gè)通道數(shù)增大信息提取的能力，從而避免單一通道數(shù)造成高頻有效信息丟失的問題。然后，在ReLU激活層后分別又用卷積核大小為1和卷積核大小為3的低秩卷積核替換一個(gè)大的卷積核，以此降低其計(jì)算開銷。因此，WARB不僅有著強(qiáng)大的特征表達(dá)能力，且將參數(shù)量也維持在較低水平。鑒于該寬激活殘差塊的優(yōu)異特性，為了給網(wǎng)絡(luò)提取的高頻信息自適應(yīng)地分配更多的注意力，以得到更加豐富的高頻特征，本文提出在WARB中融入輕量級(jí)的SK注意力模塊，并將該融合結(jié)果作為提取深層特征信息的基本單元模塊，具體流程如圖1所示。由于簡(jiǎn)單地堆疊殘差塊不利于特征信息的傳遞，因此將每一個(gè)殘差塊提取的特征都輸送給后面的殘差塊中來構(gòu)建一個(gè)WARBG，從而促進(jìn)特征信息的有效傳遞。

2.3.3 空間特征轉(zhuǎn)換層

為獲取更加豐富的深層次圖像空間信息，本文采用空間特征轉(zhuǎn)換層（Spatial Feature Transform Layer，SFT）［26］來對(duì)同一個(gè)特征圖的不同位置進(jìn)行差異化處理。該空間特征轉(zhuǎn)換層通過生成仿射變換參數(shù)來實(shí)現(xiàn)空間特征的調(diào)制，并且可以與超分辨率重建主干網(wǎng)絡(luò)結(jié)合在一起，使用相同的損失函數(shù)進(jìn)行端到端的訓(xùn)練，其結(jié)構(gòu)如圖1所示?？臻g特征變換層包含兩個(gè)輸入，分別是前一個(gè)密集殘差組的輸出特征和淺層特征提取模塊中條件共享的先驗(yàn)信息L0。通過對(duì)進(jìn)行變換得到新的輸出并將它作為下一個(gè)密集殘差組的輸入。淺層先驗(yàn)信息L0分別送入到由兩個(gè)1×1的卷積層組成的卷積塊，通過學(xué)習(xí)得到參數(shù)對(duì)γi和βi，然后再據(jù)此對(duì)深層特征映射模塊網(wǎng)絡(luò)中的每個(gè)中間特征圖進(jìn)行仿射變換，從而實(shí)現(xiàn)自適應(yīng)輸出。相比沒有空間特征變換的網(wǎng)絡(luò)，此模塊有助于網(wǎng)絡(luò)重建出紋理更加清晰、邊緣輪廓更為明顯的圖像。

2.4 上采樣重建模塊

上采樣重建模塊包括亞像素卷積和一個(gè)3×3的卷積層，亞像素卷積旨在對(duì)特征圖進(jìn)行上采樣放大，再通過最后的卷積層得到通道數(shù)為3的高分辨率重建結(jié)果，其輸出如下：

其中：fup表示由上采樣重建模塊組成的函數(shù)，P0表示深層特征模塊和淺層特征融合后的輸出，ISR表示最終的重建結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)訓(xùn)練階段，采用DIV2K公共標(biāo)準(zhǔn)數(shù)據(jù)集作為本文的訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集共包含1 000張樣本圖像，其中每幅圖像都包含非常清晰的細(xì)節(jié)紋理信息，非常適合作為自然圖像超分辨率重建的訓(xùn)練數(shù)據(jù)。在測(cè)試和分析階段，為測(cè)試和驗(yàn)證本文所提WDRN網(wǎng)絡(luò)性能的優(yōu)越性，選取Set5，Set14［27］，BSD100［28］，Urban100［29］4個(gè)公共標(biāo)準(zhǔn)數(shù)據(jù)集作為基準(zhǔn)測(cè)試集來進(jìn)行測(cè)驗(yàn)和分析。

本實(shí)驗(yàn)訓(xùn)練測(cè)試的實(shí)驗(yàn)硬件環(huán)境為： Intel（R） Core（TM） i9-10980XE CPU@ 3.00GHz，18核36線程；系統(tǒng)內(nèi)存為64 GB；GPU為NVIDIA RTX 3090，24 GB顯存容量；軟件環(huán)境為Ubuntu20.04操作系統(tǒng)。

將L1函數(shù)作為損失函數(shù)來優(yōu)化重建后的高分辨率圖像與真實(shí)高分辨率圖像之間的差值，從而進(jìn)一步優(yōu)化網(wǎng)絡(luò)，可以表示為：

其中：θ表示網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)集表示原始的高分辨率圖像表示利用本文所提WDRN網(wǎng)絡(luò)重建后的高分辨率圖像。模型在訓(xùn)練階段使用Adam算法優(yōu)化網(wǎng)絡(luò)參數(shù)，共訓(xùn)練300個(gè)訓(xùn)練周期（Epoch），初始學(xué)習(xí)率為1×10-4，訓(xùn)練200個(gè)Epoch后的學(xué)習(xí)率衰減為0.5×10-4。

3.2 消融實(shí)驗(yàn)結(jié)果與分析

3.2.1 密集殘差組數(shù)和殘差塊的消融實(shí)驗(yàn)

為了測(cè)試和驗(yàn)證不同數(shù)目的殘差組（D）和殘差塊（R）組合方式對(duì)所提出的WDRN網(wǎng)絡(luò)重建性能的影響，并選取最有效的組合方式，具體測(cè)試結(jié)果如表1所示。從表1可以看出，隨著殘差組數(shù)目以及殘差組中殘差塊數(shù)目的增加，各個(gè)測(cè)試集的PSNR指標(biāo)都有所提升。當(dāng)模型規(guī)模大于R4D4時(shí)，參數(shù)量增加、訓(xùn)練時(shí)間延長(zhǎng)，性能提高不明顯。由實(shí)驗(yàn)結(jié)果可知，R6D4的模型在Set5和Set14的測(cè)試集上分別提高了0.02 dB和0.053 dB，一方面是由于DIV2K訓(xùn)練集與Set5和Set14測(cè)試集中的圖片類型比較一致，另一方面是由于Set5，Set14是基于非負(fù)領(lǐng)域嵌入的低復(fù)雜度單圖像的測(cè)試集，而在包含高復(fù)雜度圖像的BSD100和Urban100測(cè)試集上性能提升不明顯，然而R6D4的模型參數(shù)量卻比R4D4的模型參數(shù)量高40.97%。因此，在綜合考慮算法性能、網(wǎng)絡(luò)參數(shù)量因素后，本文最終采用R4D4的組合方式。

表1 殘差組數(shù)量（D）和殘差塊數(shù)量（R）對(duì)2倍超分辨率重建性能的影響PSNRTab.1 Effect of number of residual groups （D） and number of residual blocks（R） on performance of 2×super-resolution reconstruction

為進(jìn)一步證明R4D4組合方式的優(yōu)越性，選取BSD100數(shù)據(jù)集的42 049圖像和Urban100數(shù)據(jù)集的img002圖像在不同組合方式下進(jìn)行重建圖像的可視化對(duì)比，如圖3和圖4所示。各組合方式的PSNR和SSIM值如圖下方數(shù)字所示。在主觀視覺上，采用R4D4組合方式重建后的圖像相比其他組合方式，在圖3中樹杈陰影部分的處理更為明亮清晰，在圖4中建筑物線條交匯處的像素分辨能力最強(qiáng)。

圖3 不同組合方式在BSD100_42049上的重建效果對(duì)比Fig.3 Comparison of reconstruction effect of different combination methods on BSD100_42049

圖4 不同組合方式在Urban100_img002上的重建效果對(duì)比Fig.4 Comparison of reconstruction effects of different combinations on Urban100_img002

3.2.2 不同通道倍數(shù)的消融實(shí)驗(yàn)

本文針對(duì)WARB內(nèi)激活函數(shù)前放大不同倍數(shù)（用k表示）的特征通道數(shù)也進(jìn)行了有效性研究。在R4D4模型的基礎(chǔ)上，分別采用不同擴(kuò)大倍數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如圖5所示。由折線圖的趨勢(shì)不難看出，在BSD100和Urban100測(cè)試集上擴(kuò)大倍數(shù)小于4時(shí)的網(wǎng)絡(luò)性能隨著k值的增大而提高，當(dāng)擴(kuò)大倍數(shù)為4時(shí)兩個(gè)測(cè)試集的性能均達(dá)到最佳；k值繼續(xù)增大后，在BSD100測(cè)試集上性能表現(xiàn)趨于平緩，但是在圖像紋理細(xì)節(jié)更加豐富的Urban100測(cè)試集的性能則呈現(xiàn)先下降后升高的現(xiàn)象，表明此時(shí)的網(wǎng)絡(luò)已經(jīng)出現(xiàn)了過擬合現(xiàn)象，且對(duì)應(yīng)的計(jì)算量和參數(shù)量也隨之增大。因此，將通道數(shù)擴(kuò)大為原來的4倍可以達(dá)到最佳狀態(tài)。

圖5 不同通道倍數(shù)下4倍超分辨率的PSNRFig.5 PSNR with 4× super-resolution at different channel multiples

3.2.3 空間特征轉(zhuǎn)換層的消融實(shí)驗(yàn)

網(wǎng)絡(luò)結(jié)構(gòu)的微小改動(dòng)往往會(huì)導(dǎo)致結(jié)果有較大的提升，這里針對(duì)SFT采用不同連接方式及不同大小卷積核進(jìn)行了有效性驗(yàn)證。圖1中，將共享的低分辨率特征信息送入兩個(gè)1×1并聯(lián)的卷積層學(xué)習(xí)以得到一對(duì)調(diào)制參數(shù)。通過將卷積層的并聯(lián)替換成串聯(lián)的方式，并探討不同尺度卷積核對(duì)性能的影響，其測(cè)試結(jié)果如表2所示。由表2可以看出，在空間特征轉(zhuǎn)換層的連接方式上，同一卷積核大小的情況下，除了在Set5測(cè)試集上卷積層并聯(lián)的效果稍遜于串聯(lián)形式，在Set14，BSD100和Urban100測(cè)試集上的效果均明顯優(yōu)于串聯(lián)的連接方式。在卷積核尺寸選擇上，串聯(lián)情況下，卷積核的增大除了在Set5測(cè)試集上提高了0.008 dB之外，在其他測(cè)試集上均有所下降；并聯(lián)情況下的性能對(duì)比則更為明顯，卷積核為1×1比3×3的PSNR平均高出0.03 dB。從實(shí)驗(yàn)結(jié)果不難看出，SFT中兩個(gè)卷積層的并聯(lián)組合效果要優(yōu)于串聯(lián)的效果，并且卷積核的增大對(duì)性能的提升作用并不明顯。因此，選用1×1的卷積核效果更好。

表2 空間特征轉(zhuǎn)換層卷積核尺寸及連接方式對(duì)2倍超分辨率重建性能的影響Tab.2 Effect of convolution kernel size and connection mode of spatial feature transformation layer on performance of 2×super resolution reconstruction

3.2.4 注意力機(jī)制的消融實(shí)驗(yàn)

為了進(jìn)一步說明采用選擇性注意力機(jī)制的有效性和優(yōu)越性，將它與現(xiàn)有的經(jīng)典注意力機(jī)制進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表3所示，相較于沒有加入注意力機(jī)制的情況，網(wǎng)絡(luò)在4個(gè)測(cè)試集上的PSNR指標(biāo)分別提升了0.042，0.051，0.028，0.283 dB，充分證明了網(wǎng)絡(luò)融合注意力機(jī)制的有效性。加入SK注意力相比于加入SE，CA，CBAM等經(jīng)典注意力機(jī)制，網(wǎng)絡(luò)性能提升更為明顯，證明了網(wǎng)絡(luò)中融合SK注意力機(jī)制的優(yōu)越性。

表3 注意力機(jī)制對(duì)2倍超分辨率重建性能的影響Tab.3 Effects of attention mechanisms on 2× super-resolution reconstruction performance

3.3 算法先進(jìn)性驗(yàn)證

本文算法訓(xùn)練300個(gè)迭代周期（Epoch），網(wǎng)絡(luò)在不同放大倍數(shù)下的收斂曲線如圖6所示。

圖6 不同倍數(shù)下的損失函數(shù)曲線Fig.6 Loss function curves at different magnifications

為了進(jìn)一步驗(yàn)證WDRN模型的有效性，將它與Bicubic，ESPCN［8］，VDSR［9］，DRCN［11］，LapSRN［30］，WDSR_Mini［23］，IMDN［14］和LatticeNet［15］8種主流算法，在Set5，Set14，BSD100以及Urban100測(cè)試集及不同放大倍數(shù)下（×2，×3，×4）的超分辨率重建結(jié)果分別進(jìn)行客觀評(píng)價(jià)和主觀評(píng)價(jià)，對(duì)比結(jié)果如表4所示。

表4 放大倍數(shù)為2，3，4時(shí)在基準(zhǔn)數(shù)據(jù)集上的重建結(jié)果比較Tab.4 Reconstruction comparison on baseline dataset at magnifications of 2， 3 and 4（dB）

從表4可以看出，WDRN網(wǎng)絡(luò)在3種放大倍數(shù)下的超分辨率重建結(jié)果均明顯優(yōu)于Bicubic，ESPCN，VDSR，DRCN，LapSRN，WDSR_Mini，IMDN及LatticeNet網(wǎng)絡(luò)。此外，WDRN采用的是由16個(gè)殘差塊構(gòu)成的密集殘差網(wǎng)絡(luò)模型，通過在各個(gè)測(cè)試集上對(duì)不同放大倍數(shù)的重建結(jié)果進(jìn)行測(cè)試和對(duì)比分析，實(shí)驗(yàn)結(jié)果表明，本文模型在PSNR和SSIM指標(biāo)上均優(yōu)于同為16個(gè)殘差塊構(gòu)成的WDSR_Mini模型。與LatticeNet網(wǎng)絡(luò)相比，雖然在放大倍數(shù)為2時(shí)本文模型的重建性能在客觀指標(biāo)PSNR上略低于該網(wǎng)絡(luò)，在SSIM指標(biāo)上卻優(yōu)于LatticeNet，表明本文算法重建出的2倍圖像在結(jié)構(gòu)細(xì)節(jié)方面保持得較好，這主要得益于本文模型采用空間特征轉(zhuǎn)換層來獲取低分辨率圖像空間結(jié)構(gòu)信息的原因。此外，WDRN網(wǎng)絡(luò)在3倍和4倍時(shí)的超分辨率重建性能的提升則更加顯著。尤其是在放大倍數(shù)為4時(shí)，本文的WDRN網(wǎng)絡(luò)在Set5，Set14，BSD100數(shù)據(jù)集上的PSNR和SSIM與IMDN和LatticeNet相比，分別平均提高了0.137 dB，0.0215和0.075 dB，0.021。值得注意的是，在主要由城市建筑物規(guī)則圖案組成的紋理特征復(fù)雜的Urban100數(shù)據(jù)集上，WDRN網(wǎng)絡(luò)在PSNR指標(biāo)上也相較LatticeNet提升了0.14 dB。結(jié)果表明，本文所提算法在圖像超分辨率重建效果方面均優(yōu)于其他對(duì)比算法。

由于放大倍數(shù)越大，重建出的圖像邊緣就會(huì)越模糊，因此為了進(jìn)一步表明本文算法重建結(jié)果的相對(duì)優(yōu)越性，本文著重展示了不同重建方法在放大4倍時(shí)的視覺效果圖，如圖7～圖10所示。首先，從較小數(shù)據(jù)集方面分析重建結(jié)果，圖7是不同方法對(duì)Set5數(shù)據(jù)集中的baby圖像重建后的結(jié)果。從該結(jié)果可以觀察到，當(dāng)圖像中有細(xì)小的條紋時(shí)，Bicubic，ESPCN，VDSR，WDSR_Mini等模型重建后的眼睫毛線條仍有少許的偽影，與IMDN，LatticeNet模型相比，本文的WDRN模型有效緩解了偽影問題。圖8是不同方法對(duì)Set14數(shù)據(jù)集中monarch圖像重建后的結(jié)果，從圖中可以看出，Bicubic，ESPCN重建后的圖像較為模糊，而WDSR_Mini重建后的圖像缺失原圖像邊緣輪廓微小的變化，IMDN和LatticeNet得到了相對(duì)清晰的重建結(jié)果，但與原圖和WDRN方法重建后的圖像相比，上述方法表現(xiàn)得過于平滑，致使在紋理細(xì)節(jié)方面存在丟失的現(xiàn)象。

圖7 不同方法在Set5_baby上的重建效果對(duì)比Fig. 7 Comparison of reconstruction effects by different methods on Set5_baby

圖8 不同方法在Set14_ monarch上的重建效果對(duì)比Fig.8 Comparison of reconstruction effects by different methods on Set14_ monarch

圖9和圖10是在較大數(shù)據(jù)集上各種方法的重建結(jié)果對(duì)比，其中圖9是對(duì)BSD100數(shù)據(jù)集中編號(hào)為253027的斑馬圖像的重建結(jié)果。從圖中可以看出，Bicubic，ESPCN重建后的紋理信息非常模糊，主觀視覺上表現(xiàn)也最差，WDSR_Mini模型重建后的圖像整體相較原圖像過于明亮并且邊緣稍顯模糊，IMDN重建后的圖像在整體上有輕微的顏色失真，LatticeNet模型的重建結(jié)果則存在過曝光問題，而本文重建出的斑馬圖像身上的線條輪廓更為明顯，整體也最為真實(shí)。圖10中的原始圖像選自圖像細(xì)節(jié)豐富且重建難度較大的Urban100數(shù)據(jù)集，從編號(hào)為img091紅框內(nèi)地面磚塊部分可以看出，本文算法明顯改善了Bicubic，ESPCN兩種方法在重建時(shí)出現(xiàn)鋸齒狀效應(yīng)嚴(yán)重的問題。相比于VDSR，DRCN，LapSRN，WDSR_Mini算法重建后均出現(xiàn)邊緣細(xì)節(jié)模糊的現(xiàn)象，本文算法的重建效果也得到了明顯的提升。此外，相比于IMDN，LatticeNet算法存在重建后圖像過于平滑的現(xiàn)象，本文算法重建后的圖像效果在主觀上也更加接近原圖。因此，WDRN網(wǎng)絡(luò)模型無論是在主觀評(píng)價(jià)上還是客觀評(píng)價(jià)上均明顯優(yōu)于現(xiàn)有的主流圖像超分辨率重建方法。

圖9 不同方法在BSD100_253027上的重建效果對(duì)比Fig.9 Comparison of reconstruction effects by different methods on BSD100_253027

圖10 不同方法在Urban100_img091上的重建效果對(duì)比Fig.10 Comparison of reconstruction effects by different methods on Urban100_img091

4 結(jié) 論

本文提出了一種基于注意力和寬激活密集殘差網(wǎng)絡(luò)的圖像超分辨率重建模型，通過將圖像的多尺度淺層局部特征和全局特征作為空間特征轉(zhuǎn)換層的先驗(yàn)信息用以引導(dǎo)深層高頻特征的提取，使得圖像的空間信息一直作用于整個(gè)特征提取過程。然后，將輕量級(jí)注意力機(jī)制融入到寬激活殘差塊中，在不增加網(wǎng)絡(luò)參數(shù)量的情況下盡量擴(kuò)大特征圖數(shù)目，對(duì)高頻信息自適應(yīng)地分配更多的注意力，從而獲得了更加豐富的高頻細(xì)節(jié)特征信息。實(shí)驗(yàn)結(jié)果表明，本文所提方法在Urban100數(shù)據(jù)集上4倍超分辨率時(shí)，相比于LatticeNet模型PSNR指標(biāo)提升了0.14 dB，并且模型參數(shù)量維持在較低水平，重建后的圖像在主觀視覺感受上邊緣輪廓也更為清晰，紋理細(xì)節(jié)信息更加豐富。