張法正，楊娟，汪榮貴，薛麗霞

（合肥工業(yè)大學計算機與信息學院，合肥 230009）

0 概述

單張圖像超分辨率（Single Image Super-Resolution，SISR）重建將一個低分辨率（Low Resolution，LR）圖像映射到一個高分辨率（High Resolution，HR）圖像，已廣泛應(yīng)用于安保系統(tǒng)［1］、智能監(jiān)控系統(tǒng)［2］、醫(yī)學圖像增強［3］等領(lǐng)域。由于一個特定的低分辨率圖像可能對應(yīng)多個高分辨率圖像，因此SISR 是一個高度病態(tài)的過程。研究人員提出基于插值［4］、基于重構(gòu)［5］，以及基于學習［6-7］的SISR 方法，其中基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的SISR 方法因其強大的表征能力而具有優(yōu)異的重建性能。

深度學習已經(jīng)成為計算機視覺領(lǐng)域的重要工具，通過構(gòu)建端到端的卷積神經(jīng)網(wǎng)絡(luò)來學習低分辨率到高分辨率之間的映射關(guān)系。DONG 等將超分辨率重建任務(wù)和深度學習相結(jié)合，提出只包含3 層卷積層的超分辨率重建網(wǎng)絡(luò)SRCNN［8］，具有較優(yōu)的重建效果。為提高網(wǎng)絡(luò)模型的映射能力，KIM 等根據(jù)殘差學習原理，提出更深的網(wǎng)絡(luò)VDSR［9］和DRCN［10］。TAI 等在DRRN［11］中引入遞歸殘差塊，降低網(wǎng)絡(luò)的訓練難度并通過遞歸塊減少網(wǎng)絡(luò)參數(shù)。這些方法都是通過插值將低分辨率圖像放大到與高分辨率圖像相同的尺寸，進而提取特征，導致網(wǎng)絡(luò)的訓練時間延長。針對該問題，SHI 等提出ESPCN［12］，在網(wǎng)絡(luò)末端通過亞像素卷積將初始低分辨率圖像放大到與高分辨率圖像一致的尺寸。后續(xù)很多網(wǎng)絡(luò)模型結(jié)合亞像素卷積的優(yōu)點，重建效果都得到了一定程度的提升。LIM 等考慮到BN 層對超分辨率重建效果的影響，利用殘差塊堆疊出EDSR 網(wǎng)絡(luò)［13］，并去掉相應(yīng)的BN層。ZHANG等在RCAN［14］中引入SE［15］模塊，在每個殘差塊中加入SE 模塊，使網(wǎng)絡(luò)在傳遞信息的過程中不斷被修正，從而提高模型的性能指標。為降低計算成本，在超分辨率重建任務(wù)中，輕量級和高效模型的構(gòu)建越來越受到研究人員的關(guān)注。AHN 等在殘差網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合級聯(lián)機制通過局部和全局來集成多個層的特征，設(shè)計一個適用于移動場景的輕量級網(wǎng)絡(luò)CARN［16］，導致重建后的指標降低。之后，MUQEET 等提出MAFFSRN［17］并引入多注意力模塊來提高性能。ZHAO 等在通道聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）［18］中引入像素注意力，使得模型在加入較少參數(shù)量的同時提升重建指標。文獻［19］設(shè)計一種基于蝴蝶結(jié)構(gòu)的網(wǎng)絡(luò)LatticeNet 以自適應(yīng)組合殘差塊，取得了較優(yōu)的重建效果。輕量級超分辨率重建網(wǎng)絡(luò)能夠平衡峰值信噪比（Peak Signal to Noise Ratio，PSNR）與參數(shù)量之間的關(guān)系。

本文提出一種輕量化動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)（Dynamic Adaptive Cascade Network，DACN）。通過雙路殘差的學習方式提取圖像的紋理細節(jié)并過濾冗余信息，增強信息交互性，獲得更豐富的信息。通過縱向并行地共享雙路殘差塊（Dual Residual Block，DRB）中的部分卷積參數(shù)，利用可學習參數(shù)調(diào)整共享卷積的權(quán)重，在減少參數(shù)量的同時，使得卷積參數(shù)更加契合原始特征與目標特征的非線性映射關(guān)系，提高網(wǎng)絡(luò)對紋理細節(jié)的提取性能。

1 動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

DACN 的架構(gòu)如圖1 所示。DACN由N個動態(tài)自適應(yīng)層疊模塊（Dynamic Adaptive Cascade Block，DACB）通過殘差連接相連構(gòu)成，并通過一個全局跳躍連接保留原始特征，將不同的卷積塊串接后加上1×1 卷積層，獲得中高頻信息，從而改善圖像重建效果。DACB由M個DRB和M-1 個動態(tài)自適應(yīng)模塊（Dynamic Adaptive Block，DAB）層疊組成。

圖1 動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of dynamic adaptive cascade network

DACN 主要由N個DACB 通過殘差連接方式級聯(lián)組成，低分辨率圖像先通過3×3 的卷積提取淺層特征，令x表示網(wǎng)絡(luò)的輸入，淺層特征的計算過程如式（1）所示：

其中：fs表示3×3 的卷積操作。通過DACB 提取圖像的深層特征，深層特征的計算過程如式（2）所示：

1.1.1 動態(tài)自適應(yīng)層疊模塊

動態(tài)自適應(yīng)層疊模塊目的是有效地提取重要的紋理細節(jié)，同時過濾掉無用的特征。動態(tài)自適應(yīng)層疊模塊主要包括DRB 和DAB。

根據(jù)殘差網(wǎng)絡(luò)的思想，DACB 選擇以層疊的方式將DRB 和DAB 聯(lián)合，通過每次的疊加使得初始特征與更新后的特征進行交互，增強網(wǎng)絡(luò)的非線性映射能力。DACB 每次通過DAB 的特征增強后，將1×1卷積層作為過渡層，以便后續(xù)更有效地提取特征。令DACB 的輸入為F0，DACB 的信息流傳遞如式（5）～式（7）所示：

1）雙路殘差塊，采用雙路并行的方式提取特征。本文考慮到加入過多的普通卷積使得參數(shù)量顯著提升，DRB 的上路通過深度可分離卷積提取低頻特征。相比對應(yīng)的卷積，深度可分離卷積不僅具有較多的計算量以及較少的參數(shù)量，同時能更好地進行維度變化。假設(shè)DRB 的輸入為x，DRB 的上路信息傳遞如式（8）所示：

其中：μ表示LReLU 激活函數(shù)；fdw表示深度可分離卷積。通過一個像素注意力來修改特征權(quán)重，將像素注意力生成的三維矩陣作為注意力特征。像素注意力通過1×1 卷積層和Sigmoid 函數(shù)得到注意力圖，然后將注意圖與輸入特征相乘，如式（9）所示：

其中：σ表示Sigmoid 激活函數(shù)；f1表示1×1卷積。DRB 的下路由兩個殘差塊組成，主要目的是通過串行方式提取高頻特征，得到豐富的紋理信息，如式（10）所示：

其中：fr表示下路兩個殘差塊。最后將低頻特征和高頻特征合并，如式（11）所示：

其中：y表示DRB 的輸出，通過這種學習方式使得DRB 在提取高頻特征的同時保留一些必需的低頻信息。

2）動態(tài)自適應(yīng)模塊，通常情況下，網(wǎng)絡(luò)越深參數(shù)量越多，可學習到的內(nèi)容也就越多，最終得到的結(jié)果也會更理想。而輕量化網(wǎng)絡(luò)因其參數(shù)量較少，通常對模型的設(shè)計要求較高，需要充分且合理地利用卷積核來提取豐富的特征。因此，本文基于動態(tài)卷積核［20］的思想，設(shè)計動態(tài)自適應(yīng)模塊，并與雙路殘差塊聯(lián)合工作，在網(wǎng)絡(luò)參數(shù)量減少的同時進一步增強特征的提取能力。動態(tài)自適應(yīng)模塊結(jié)構(gòu)如圖2 所示，利用注意力機制得到每個卷積核所需要的權(quán)重，該注意力機制與通道注意力類似，不同點在于最后通過Softmax 函數(shù)將權(quán)重值控制在0 和1 之間，且權(quán)重值總和為1。

圖2 動態(tài)自適應(yīng)模塊結(jié)構(gòu)Fig.2 Structure of dynamic adaptive block

動態(tài)自適應(yīng)模塊的注意力機制以非線性方式疊加卷積核，使得模型的表征能力得到顯著提升。利用上層DRB 的下路4 個卷積核和2 個新的卷積核作為動態(tài)卷積核的子卷積，每個卷積核與權(quán)重值相乘再相加，使得模塊在提取特征時可以自適應(yīng)地選擇卷積核的參數(shù)。DRB 中的下路卷積核通過串行方式來逐步提取特征，此時卷積核已經(jīng)有了“橫向”提取特征的特征參數(shù)，經(jīng)過DAB 的并行處理，使得原本擁有“橫向”特征參數(shù)的卷積核學習到“縱向”的特征參數(shù)，有效地提升了卷積核的利用率。由于動態(tài)自適應(yīng)模塊的輸入是DAB 的輸出與初始特征的加和，因此在DRB 中引入兩個新的卷積核作為子卷積核，以動態(tài)校準獲取到的特征，在參數(shù)量小幅增加的同時使得模塊具有指導DAB 共享卷積塊的作用。假設(shè)x為DAB 的輸入特征，首先通過全局平均池化對x進行壓縮操作，得到通道級的全局特征，如式（12）所示：

然后對全局特征進行Excitation 操作，通過2 個全連接層學習各個通道間的關(guān)系，第1 個對得到的全局描述特征進行壓縮降維，第2 個再將其恢復成原始維度。Excitation 操作過程如式（13）所示：

其中：σ表示Softmax 函數(shù)；v1、v2表示2 個全連接層；w1，w2，…，w6表示經(jīng)Softmax 后得到的權(quán)重結(jié)果，且w1+w2+…+w6=1。利用雙路殘差塊中的下路共享卷積核和2 個新的卷積核與權(quán)重相乘，如式（14）所示：

1.1.2 重建模塊

本文考慮到普通的上采樣會引入一些無用信息，影響重建效果，采用亞像素卷積將圖像上采樣至目標尺寸，再通過一個3×3 卷積對重建結(jié)果進行微調(diào)。假設(shè)Ff為深層特征，將其與淺層特征F0相加并送入到重建模塊得到最終結(jié)果。重建模塊信息流如式（15）所示：

其中：y表示最終生成的SR 圖像；φ表示重建模塊，包括亞像素卷積和3×3 的卷積操作。

1.2 損失函數(shù)

本文考慮到L1 損失函數(shù)的收斂速度比L2 快，選擇L1 函數(shù)作為損失函數(shù)，如式（16）所示：

其中：N表示訓練集中圖像的總數(shù)；θ表示需要優(yōu)化求解的模型參數(shù)集和表示第i個低分辨率圖像和高分辨率圖像；H表示本文所提出的DACN。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集與度量標準

在訓練階段，本文使用DIV2K 數(shù)據(jù)集，該數(shù)據(jù)集是廣泛應(yīng)用于超分辨率重建的訓練集。圖像通過水平隨機翻轉(zhuǎn)和旋轉(zhuǎn)90°、180°、270°進行數(shù)據(jù)增強。在測試階段，本文使用Set5［21］、Set14［22］、BSD100［23］、Manga109［24］基準數(shù)據(jù)集，為了與之前的工作保持一致，在YCbCr 顏色空間的Y 通道上使用PSNR 和結(jié)構(gòu)相似性（SSIM）來評價SR 結(jié)果。

在本文提出的DACN 網(wǎng)絡(luò)中，未說明的卷積核大小都是3×3。DACN 包括3 個DACB，每個DACB包含3 個雙路殘差塊。LIM 和WANG 等提出BN 不僅消耗大量的計算資源，而且在超分辨率重建任務(wù)中會限制網(wǎng)絡(luò)參數(shù)的自由變化范圍，因此模型未采用BN層。本文模型使用ADAM優(yōu)化器進行訓練，其中β1=0.9，β2=0.999，?=10-8。學習率初始化為1×10-4，每經(jīng)過200 輪學習率下降1/2。因此，本文模型在訓練過程中將batch-size 設(shè)置為8。DACN 模型用Pytorch 框架來實現(xiàn)，并在NVIDIA 2080Ti GPU上進行訓練。

2.2 消融實驗

為驗證模塊的有效性，本文對動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)進行消融實驗。在Set5、Set14、BSD100 數(shù)據(jù)集上，當放大因子為4 時，不同模型的PSNR 對比如表1所示，ORB 表示單路殘差模塊。

2.2.1 雙路殘差模塊的有效性

現(xiàn)有網(wǎng)絡(luò)利用殘差塊提取圖像特征，忽略了深度可分離卷積可以大幅減少模型參數(shù)量的能力。從表1 可以看出：當模型僅利用ORB 進行學習時，即表中的DACN+ORB，其在Set5 數(shù)據(jù)集上的PSNR 為32.14 dB；當模型利用DRB 進行學習時，在Set5 數(shù)據(jù)集上DACN+DRB 模型的PSNR 為32.22 dB，同時參數(shù)量相比DACN+DRB 模型僅增加1×105左右，說明提出的DRB 在增加少量參數(shù)的同時可以充分挖掘圖像的細節(jié)特征，增強網(wǎng)絡(luò)的重建能力。

2.2.2 動態(tài)自適應(yīng)模塊的有效性

DACN+DAB 為加入動態(tài)卷積核的網(wǎng)絡(luò)模型，即動態(tài)卷積核的子卷積沒有共享DRB 的下路卷積，在Set5 數(shù)據(jù)集上的PSNR 指標提升到32.27 dB。由此可以看出：動態(tài)自適應(yīng)模塊利用可學習參數(shù)調(diào)整卷積的權(quán)重，使得卷積參數(shù)更加契合原始特征與目標特征的非線性映射關(guān)系，增強網(wǎng)絡(luò)對紋理細節(jié)的提取性能，同時，參數(shù)量也會大幅增加。因此，本文提出的動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)結(jié)合DRB 中的共享卷積，利用卷積核減少參數(shù)的同時，使得DRB 中的卷積可以學習到不同角度的細節(jié)特征，有效地提升了網(wǎng)絡(luò)的重建性能。

在Set5 數(shù)據(jù)集上，當放大因子為4 時，參數(shù)N對PSNR、參數(shù)量、計算量的影響如圖3 所示。從圖3 可以看出，PSNR 最初隨著參數(shù)N的增加上升幅度較大，當參數(shù)N=4 時，上升幅度逐漸減慢，當參數(shù)N≥4時，參數(shù)N的增加所帶來的參數(shù)量和計算量都會大幅增多，不符合輕量化標準，并且PSNR 變化不大。為了使得模型性能與重建質(zhì)量實現(xiàn)最佳平衡，DACN 選擇參數(shù)N=3，即包含3 個DACB。

圖3 參數(shù)N 對峰值信噪比、參數(shù)量、計算量的影響Fig.3 Influence of parameter N on PSNR，parameter quanitity and calculation quanitity

2.3 對比實驗

在Set5 數(shù)據(jù)集上，當放大因子為4 時，不同網(wǎng)絡(luò)的PSNR 與參數(shù)量、計算量之間的關(guān)系如圖4 所示，圓形標注的是其他網(wǎng)絡(luò)，正方形標注的是本文DACN 網(wǎng)絡(luò)。DACN 在參數(shù)量和計算量較小的情況下，PSNR 指標較大，在性能與質(zhì)量上達到了平衡。

圖4 不同網(wǎng)絡(luò)的參數(shù)量、計算量與峰值信噪比的關(guān)系Fig.4 Relationship between PSNR and parameters quanitity，calculation quanitity of different networks

本文將DACN 與其他超分辨率重建網(wǎng)絡(luò)進行對比，包括SRCNN、VDSR、LapSRN［25］、MemNet［26］、CARN、PAN、RFDN［27］。所有網(wǎng)絡(luò)分別在放大因子為2、3、4 的情況下進行評估。本文均使用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）作為指標。表2 所示為不同超分辨率網(wǎng)絡(luò)模型在不同放大因子下峰值信噪比與結(jié)構(gòu)相似性對比。加粗的數(shù)據(jù)為重建效果最優(yōu)的數(shù)據(jù)，加下劃線的數(shù)據(jù)為次優(yōu)。從表2 可以看出，本文提出的DACN 在基準數(shù)據(jù)集上的重建效果較優(yōu)，參數(shù)量也較為理想。

表2 不同網(wǎng)絡(luò)的峰值信噪比與結(jié)構(gòu)相似性對比Table 2 Peak signal to noise ratio and structural similarity comparison among different networks

當放大因子為4 時，在Urban100 和BSD100 數(shù)據(jù)集上，不同網(wǎng)絡(luò)的可視化結(jié)果對比如圖5 所示。從圖5 可以看出，本文網(wǎng)絡(luò)DACN 在恢復圖像紋理細節(jié)上有較大優(yōu)勢。對于重構(gòu)Urban100 數(shù)據(jù)集中圖像時，雖然PAN 和RFDN 在一定程度上恢復了部分紋理信息，但生成的部分線條有不同程度的彎曲。相比CARN、PAN、RFDN 等網(wǎng)絡(luò)，本文所提的DACN網(wǎng)絡(luò)恢復的圖案線條更加符合原圖的紋理。

圖5 不同網(wǎng)絡(luò)的可視化結(jié)果對比Fig.5 Visualization results comparison among different networks

3 結(jié)束語

本文提出基于動態(tài)自適應(yīng)層疊模塊的輕量化網(wǎng)絡(luò)，在雙路殘差塊中利用深度可分離卷積減少參數(shù)量，同時引入像素注意力機制使網(wǎng)絡(luò)精確地提取圖像細節(jié)信息，將雙路殘差塊的一部分卷積參數(shù)與動態(tài)自適應(yīng)模塊共享，不僅從不同角度提取特征，還可以根據(jù)不同的輸入以自學習的方式自動調(diào)整卷積核的參數(shù)，有效提升重建圖像的質(zhì)量。實驗結(jié)果表明，相比VDSR、CARN、PAN 等網(wǎng)絡(luò)，本文網(wǎng)絡(luò)具有較優(yōu)的圖像重建性能且參數(shù)量較少，在可視化圖像中生成的紋理更接近原始圖像的紋理線條。后續(xù)考慮將剪枝算法融入到動態(tài)自適應(yīng)層疊網(wǎng)絡(luò)中，進一步減少網(wǎng)絡(luò)參數(shù)量，提高圖像重建能力。