王海勇，張開心，管維正

（1.南京郵電大學計算機學院，南京 210023；2.南京郵電大學物聯(lián)網(wǎng)學院，南京 210003）

（?通信作者電子郵箱18336921525@163.com）

0 引言

單圖像超分辨率（Super-Resolution，SR）重建是計算機視覺領域一個經(jīng)典的研究方向。刑事偵查、安全監(jiān)控、醫(yī)學影像等領域非常重視圖像細節(jié)，但是因為攝像設備、拍攝角度、光線等原因，導致拍攝出來的圖像分辨率過低，影響工作人員對圖像細節(jié)的判斷［1］。因此，單圖像SR重建的研究至關重要。

近幾年，隨著深度學習的發(fā)展，基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的單圖像SR研究受到廣泛關注。經(jīng)研究發(fā)現(xiàn)，CNN越深，可以從較大的感受野中獲得越多的上下文信息，重建效果會越好；但是，隨著網(wǎng)絡層數(shù)加深到一定規(guī)模，單純地加深網(wǎng)絡會出現(xiàn)有關輸入或梯度信息經(jīng)過多層傳播，在到達網(wǎng)絡末端時消失［2］。密集連接卷積網(wǎng)絡（Densely Connected Convolutional Networks，DenseNets）［3］通過創(chuàng)建每一層到所有后續(xù)層的最短路徑，有效緩解了梯度消失的問題，并且能夠加強特征傳播，鼓勵特征重用。初期，網(wǎng)絡結(jié)構(gòu)的突破大都是純粹地增加網(wǎng)絡的深度或?qū)挾?，但是該方法會帶來很多問題，比如：在訓練集有限的情況下，網(wǎng)絡參數(shù)過多，會出現(xiàn)過擬合的現(xiàn)象；網(wǎng)絡過大，計算復雜度高。在這種情況下，Inception［4］結(jié)構(gòu)應運而生，該架構(gòu)的主要思想是在增加網(wǎng)絡深度和寬度的同時保持計算預算不變，提高網(wǎng)絡內(nèi)計算資源的利用率［4］。

在以上深度模型的啟發(fā)下，本文提出了一種基于密集Inception 的單圖像超分辨率重建方法。該方法全局采用簡化后的密集網(wǎng)絡，每個分層的特征采用一個跳過連接，僅傳入重建層，用于特征重建，可以避免分層特征過度重用，引入冗余信息。核心模塊采用堆疊的Inception-殘差網(wǎng)絡（Inception-Residual Network，Inception-ResNet）［5］結(jié)構(gòu)，本文簡稱為IRN，該結(jié)構(gòu)通過很少的計算量，保證了模型的深度和寬度，利于圖像特征提取和重建，選用的IRN 結(jié)構(gòu)相較于先前的版本，融入了殘差連接，可以顯著加快網(wǎng)絡的訓練速度。總的來說，本文所提出的方法參數(shù)少，模型的訓練速度快，可以在資源受限的設備上進行訓練。

1 相關工作

1.1 單圖像超分辨率重建

經(jīng)典的單圖像SR重建方法包括基于插值的方法，基于重建的方法和基于學習的方法。其中，基于插值的方法雖然計算簡單，但是重建效果差?；谥亟ǖ姆椒ù嬖陔y以處理噪聲、先驗約束不生效等問題。因此，基于學習的方法成為研究熱點。

Dong 等［6］提出了基于CNN 的超分辨率（Super-Resolution CNN，SRCNN），首次將CNN 用于單圖像SR 重建。該模型雖然只有三層，但是相較于傳統(tǒng)的重建方法，重建效果異常顯著。Kim等［7］提出了具有20個權(quán)重層的超深CNN的圖像超分辨 率（accurate image Super-Resolution using Very Deep convolutional network，VDSR），具有非常大的感受野，同時VDSR 將多種尺度的圖像同時放入模型中進行訓練，滿足了多尺度圖像重建的需求。Dong等［8］又提出了加速的超分辨率CNN（Fast Super-Resolution CNN，F(xiàn)SRCNN），在網(wǎng)絡末端引入了一個反卷積層用于上采樣。基于學習的圖像超分辨率重建方法與傳統(tǒng)的方法相比具有顯著的優(yōu)越性，因此，本文采用基于學習的方法進行研究。

1.2 跳過連接

隨著卷積神經(jīng)網(wǎng)絡的加深，相應的梯度消失問題也顯現(xiàn)出來。為了解決這一問題，Kim等［9］提出了深度遞歸卷積網(wǎng)絡（Deeply-Recursive Convolutional Network，DRCN），使用遞歸神經(jīng)網(wǎng)絡來解決SR 問題。Huang 等［3］提出了密集卷積網(wǎng)絡，在該網(wǎng)絡中所有的層通過跳過連接的方式連接起來，L層的卷積神經(jīng)網(wǎng)絡有L(L+1)/2 個連接。Tong 等［10］使用密集跳過連接來解決圖像SR問題，表明了使用密集跳過連接的方式重建圖像的效果更好。Zhang 等［11］提出了基于殘差密集網(wǎng)絡的圖像超分辨率（Residual Dense Network for image superresolution，RDN），通過密集連接使得每個殘差塊都能獲得來自先前殘差塊的輸出。Tang 等［12］簡化了密集連接架構(gòu)，只在重構(gòu)層中重用各個特征提取層的特征，減少了冗余信息。

1.3 Inception結(jié)構(gòu)

2014 年，谷歌推出了一款稱為GoogLeNet 的網(wǎng)絡，其核心結(jié)構(gòu)是Inception-v1，該結(jié)構(gòu)修改了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，將全連接變成稀疏連接［4］。Ioffe 等［13］引入批量歸一化的思想，修改后的結(jié)構(gòu)稱為Inception-v2。由于大尺寸卷積核進行卷積操作的計算量非常大，為了提高計算效率，Szegedy等［14］將Inception-v1 結(jié)構(gòu)中5× 5 卷積核替換為兩層3× 3 的卷積核，通過共享相鄰切片之間的權(quán)重，減少了參數(shù)量，該結(jié)構(gòu)稱為Inception-v3［14］。Szegedy 等［5］又提出了Inception-v4 和Inception-ResNet，其中Inception-v4 為先前版本的變體，Inception-ResNet 在普通的Inception 結(jié)構(gòu)中引入了ResNet，極大提高了模型訓練速度。

Li 等［15］提出了基于多尺度殘差網(wǎng)絡的圖像SR（Multi-Scale Residual Network for image super-resolution，MSRN），該方法主要由多尺度殘差塊（Multi-Scale Residual Block，MSRB）構(gòu)成，該結(jié)構(gòu)采用3× 3 和5× 5 兩種卷積核交叉串聯(lián)的方式從各個尺度提取圖像特征，保證提取特征的多樣性。Qin 等［16］提出了一種基于多分辨率空域殘差密集網(wǎng)絡的圖像超分辨率重建方法，有效解決了先前方法重建的圖像存在紋理區(qū)域過度平滑的問題。

2 本文方法

2.1 網(wǎng)絡結(jié)構(gòu)

本文所提出的基于密集Inception的單圖像超分辨率重建方法的模型結(jié)構(gòu)如圖1所示。

本文模型主要由兩部分組成：特征提取模塊和特征重建模塊。用于訓練的單個低分辨率（Low Resolution，LR）圖像表示為ILR∈RW×H×C，重建的高分辨率（High Resolution，HR）圖像表示為ISR∈RWr×Hr×C，其中，W和H表示LR 圖像的寬度和高度，r表示放大系數(shù)，C表示色彩空間的通道數(shù)。模型的輸入輸出原理表示為：

其中：FFE(?)表示特征提取模塊的映射函數(shù)；FFR(?)表示特征重建模塊的映射函數(shù)；HFE表示特征提取模塊的輸出，同時作為特征重建模塊的輸入。

2.1.1 特征提取模塊

本文所提出的特征提取模塊由低層特征提取模塊、高層特征提取模塊和一個特征融合層組成。其中，低層特征提取模塊由一個卷積核大小為3× 3的卷積層構(gòu)成；高層特征提取模塊由若干個堆疊的IRN 組成；在整個模塊外圍構(gòu)建了簡化后的密集跳過連接，僅融合低層特征模塊的輸出與高層特征模塊各個子模塊的輸出，作為特征融合層的輸入。

特征提取模塊在圖像超分辨率重建模型中起著重要作用，提取的特征越多，重建效果越好。先前的圖像超分辨率重建模型通常僅使用特征提取模塊最終輸出的特征來重建圖像，而忽略了在特征傳遞過程中各個特征提取層的多樣特征。因此，本文所提出的模型使用簡化后的密集網(wǎng)絡融合各個特征提取層的特征，從而獲得更多上下文信息，可以為重建模塊提供豐富的信息。

通常情況下，提高深度神經(jīng)網(wǎng)絡性能的最直接方法是增加模型的大小，包括增加模型的深度和寬度，這是一種簡單安全的訓練高質(zhì)量模型的方法，特別是考慮到大量標記的訓練數(shù)據(jù)的可用性。然而，這種簡單的解決方案有兩個主要問題：1）較大的網(wǎng)絡尺度通常意味著提取更多的參數(shù)，這使得在訓練集數(shù)量有限的情況下，容易出現(xiàn)過度擬合，在訓練集很大的情況下，運算量又非常巨大；2）統(tǒng)一增加網(wǎng)絡大小會導致計算資源的顯著增加。例如，在深度卷積神經(jīng)網(wǎng)絡中，如果連接兩個卷積層，則任何一個卷積層卷積核數(shù)量的增加都會導致計算量成倍的增加，如果無效地使用增加的容量則浪費了大量計算資源。由于在實驗中計算預算總是有限的，因此計算資源的有效分配也優(yōu)于沒有限制地增加網(wǎng)絡大?。?］。解決這兩個問題的根本方法是將卷積層之間的完全連接轉(zhuǎn)變成稀疏連接。

Inception 結(jié)構(gòu)的主要思想是將各個卷積層以串聯(lián)并聯(lián)的方式相結(jié)合，使得在每個卷積層中增加卷積核的數(shù)量而不會引入過多的計算量，因此本文提出的模型選擇該結(jié)構(gòu)作為主要的特征提取模塊［4］。由于該結(jié)構(gòu)現(xiàn)行的版本很多，本文僅選擇IRN 進行疊加，其結(jié)構(gòu)如圖2 所示，該結(jié)構(gòu)與先前各版本相比融入了殘差結(jié)構(gòu)，可以顯著加快模型的訓練速度。

圖2 IRN結(jié)構(gòu)Fig.2 Structure of IRN

具體地，整個特征提取模塊的輸入輸出原理表示為：

其中：H0表示低層特征提取模塊的輸出同時作為高層特征提取模塊的輸入；分別表示第1、2、i和n個IRN 的輸出；FLF(·)表示低層特征提取模塊的映射函數(shù)，表示各個IRN 映射函數(shù)；表示串聯(lián)結(jié)構(gòu)；HGF表示特征融合層的輸出；FGF(·)表示融合層的映射函數(shù)。

構(gòu)成高層特征提取模塊的IRN 主結(jié)構(gòu)由1× 1 和3× 3 兩種卷積層組成，寬度上采用多通道串聯(lián)的結(jié)構(gòu)，全局采用殘差連接，第i個IRN的輸入輸出原理可以表示為：

2.1.2 特征重建模塊

大多數(shù)模型的特征重建模塊選用反卷積層將圖像恢復到原始尺寸，與插值方法相比，減少了計算量。但是對于不同尺度的模型，需要設置不同數(shù)量和尺寸的反卷積層，以2 × 2 反卷積層為基準，逐漸將圖片恢復到原始尺寸大小。放大因子越大，需要堆疊的2 × 2 反卷積層越多，會增加訓練的不確定性；并且，該方法不適用于奇數(shù)放大因子。因此，重建模塊由一個卷積層、一個Pixel Shuffle 層和一個特征重建層組成，重建模塊的輸入是由特征融合層的輸出得到。

該模塊的輸入輸出原理表示為：

其中：HCN表示卷積層的輸出；FCN(·)表示卷積層的映射函數(shù)；HPX表示Pixel Shuffle 層的輸出；FPX(·)表示Pixel Shuffle 層的映射函數(shù)；ISR為重建的SR 圖像；FRC(·)表示重建層的映射函數(shù)。

2.2 損失函數(shù)

大多數(shù)通用的損失函數(shù)包括兩種：一種是L1_Loss，也稱為最小絕對值偏差（Least Absolute Deviation，LAD），實現(xiàn)原理是把目標值與估計值的絕對插值總和最小化；另一種是L2_Loss，也稱為最小平方誤差（Least Square Error，LSE），原理是把目標值與估計值的插值平方和最小化。為了便于和先前的工作比較，選擇常用的L1_Loss。假設訓練集表示為，包括N個LR 圖像和對應的HR 圖像，以LR 圖像作為輸入，輸出重建的SR 圖像，最終目標是最小化兩者之間的差距。L1_Loss的原理表示為：

3 實驗與結(jié)果分析

3.1 訓練和測試數(shù)據(jù)集

為了將本文方法和現(xiàn)有的方法進行比較，本文的訓練集采用DIV2K 數(shù)據(jù)集［17］，其中包括800 張訓練圖像、100 張驗證圖像和100 張測試圖像，不同于以往的291 幅圖像，該數(shù)據(jù)集每一張圖像都是分辨率為2 048× 1080 的高清圖像，對圖像重建的效果要求更高。本文選用前800 張圖像作為訓練集，訓練集采用縮放、旋轉(zhuǎn)、翻轉(zhuǎn)三種方式進行擴充。

測試集選擇通用的基準數(shù)據(jù)集：Set5［18］、Set14［19］、Urban100［20］，這些數(shù)據(jù)集包含各種類型的圖像，滿足在各種場景的圖像中驗證本文的模型。測試集的圖像均通過Matlab代碼使用雙三次插值下采樣進行處理，得到LR 圖像，下采樣尺度包括×2、×3、×4。為了便于與先前方法比較，僅在基于YCbCr色彩空間中的亮度通道Y進行測試。

3.2 實驗參數(shù)

模型的高層特征提取模塊中，IRN 的個數(shù)設置為8。為了避免在訓練過程中出現(xiàn)尺寸不匹配的情況，在代碼上使用零填充的方法，保證在特征傳遞過程中圖像大小保持一致。實驗環(huán)境在基于Ubuntu 系統(tǒng)的遠程服務器上進行，配置兩臺英偉達GPU，使用python進行編程，版本為3.6.9，深度學習框架采用pytorch，版本為1.0.0，對應的torchvision 版本為0.2.0，CUDA版本為11.0。

訓練的batch_size設置為16，圖像分多個批次進行反向迭代訓練，總共訓練1 000 個epoch。訓練下采樣倍數(shù)為×2 的模型時，patch_size 設置為96；訓練下采樣倍數(shù)為×3 的模型時，patch_size 設置為144；訓練下采樣倍數(shù)為×4 的模型時，patch_size 設置為192。低層特征提取模塊的卷積核大小設置為3× 3。特征提取模塊和特征融合層的所有卷積層的輸出均設置為64 個特征圖，即64 個通道。初始學習率設置為1E-4，每200 個epoch 后，將學習率降至原來的一半。使用自適應矩估計（ADaptive Moment Estimation，ADAM）優(yōu)化器［21］訓練模型，參數(shù)設置為β1=0.9，β2=0.999，?=10-8。

為了加快模型的訓練，提高圖形處理器（Graphics Processing Unit，GPU）的內(nèi)存占用率，充分利用GPU 內(nèi)存，Pytorch 框架的Dataloader 模塊里面的參數(shù)num_workers 設置為8，分配多個子線程訓練模型，pin_memory 設置為True，節(jié)省了將數(shù)據(jù)從中央處理器（Central Processing Unit，CPU）傳入隨機存取存儲器（Random Access Memory，RAM），再傳輸?shù)紾PU 的時間，直接映射數(shù)據(jù)到GPU 的專用內(nèi)存，減少數(shù)據(jù)傳輸時間，可以避免CPU 被瘋狂占用而GPU 空閑，提高了GPU利用率。

3.3 性能評價指標

本文主要選用峰值信噪比（Peak Signal-to Noise-Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）作為重建圖像質(zhì)量的評價指標。PSNR的計算式為：

其中：MAX表示圖像點顏色的最大數(shù)值；L1 表示損失函數(shù)。兩幅圖像間的PSNR 值（單位dB）越高，則重建圖像相對于HR圖像失真越少。

SSIM 計算式基于樣本x和y之間的三個比較衡量：亮度、對比度和結(jié)構(gòu)。SSIM的計算式表示為：

其中：μx為x的均值，μy為y的均值；為x的方差，為y的方差，σxy為x和y的協(xié)方差；c1=(k1L)2，c2=(k2L)2為兩個常數(shù)，L為像素值的范圍2B-1（B是比特深度，一般取值為8），k1=0.01，k2=0.03為默認值。

每次計算時都從圖像上取一個N×N的窗口，然后不斷滑動窗口進行計算，最后取平均值作為全局的SSIM。

3.4 結(jié)果分析

3.4.1 重建性能對比

圖3給出了本文方法在放大倍數(shù)為2、3、4時，模型的損失變化情況，橫坐標為epoch，縱坐標為loss?？梢钥闯?，本文方法可以使loss 迅速收斂至很小值，且運行穩(wěn)定，可以較好地優(yōu)化模型參數(shù)，使重建性能更佳。

圖3 本文方法的損失收斂曲線Fig.3 Loss convergence curve of proposed method

為了驗證本文方法在重建性能上的優(yōu)越性，將本文方法與SRCNN［6］、高效亞像素CNN（Efficient Sub-pixel CNN，ESPCN）［22］、FSRCNN［8］、VDSR［7］、DRCN［9］、深度拉普拉斯金字塔超分辨率重建網(wǎng)絡（fast and accurate image Super-Resolution with deep Laplacian pyramid Network，LapSRN）［23］、深度遞歸殘差網(wǎng)絡（Deep Recursive Residual Network，DRRN）［24］、用于圖像恢復的持久性存儲網(wǎng)絡（persistent Memory Network for image restoration，MemNet）［25］和MSRN［15］方法進行比較，這些方法的實驗結(jié)果均通過原文公開的實驗數(shù)據(jù)獲取。針對插值處理過的×2、×3、×4 的LR 圖像，采用本文所提出的模型進行重建，得到對應的SR 圖像，再通過Matlab 代碼，得到SR 圖像的PSNR值和SSIM值。

圖4 給出了本文方法在測試數(shù)據(jù)集上生成的部分SR 圖像與其他方法重建圖像的細節(jié)對比，能夠觀察到，本文方法重建圖像的細節(jié)恢復得最好。其中，SRCNN 等方法重建的嬰兒睫毛和蝴蝶翅膀細節(jié)非常模糊且失真嚴重，小鳥嘴巴邊緣和辣椒輪廓存在偽影，而本文方法得到的嬰兒睫毛根根分明，蝴蝶翅膀細節(jié)完整，小鳥嘴巴和辣椒邊緣輪廓清晰，線條明朗，高頻細節(jié)得到恢復，更接近原始HR圖像。

圖4 不同方法重建的SR圖像局部細節(jié)對比Fig.4 Local detail comparison of SR images reconstructed by different methods

表1～3 分別給出了在測試集中，本文方法與其他方法在放大倍數(shù)為2、3和4時的PSNR值和SSIM值的比較，加粗顯示的數(shù)據(jù)代表所有方法中最優(yōu)的?？梢钥闯?，與SRCNN 等方法相比，本文方法得到的PSNR值和SSIM值均有顯著提升，主要是由于本文方法采用一種稀疏連接的方法，可以在增加模型深度和寬度時，保證參數(shù)量盡可能少地增加，同時使重建性能得到提升；與同樣采用稀疏連接方法的MSRN 相比，互有優(yōu)劣，主要是由于MSRN 采用5× 5 和3× 3 兩種卷積交叉串聯(lián)的方式，本文方法采用1× 1 和3× 3 兩種卷積直接連接的方法，使得MSRN 的參數(shù)量遠遠多于本文方法，從而導致其部分性能優(yōu)于本文方法。其中，放大倍數(shù)為4 時，針對數(shù)據(jù)集Set5，相較于VDSR，本文方法的SSIM 高了0.013 6，相較于MSRN，其SSIM 高了0.002 9。具體的參數(shù)對性能的影響在3.4.2節(jié)進行了詳細的分析對比。

表1 本文方法與其他方法在放大倍數(shù)為2時的PSNR/SSIM對比Tab.1 Comparison of PSNR/SSIM between proposed method and other methods at 2 magnification

表2 本文方法與其他方法在放大倍數(shù)為3時的PSNR/SSIM對比Tab.2 Comparison of PSNR/SSIM between proposed method and other methods at 3 magnification

通過整體分析可以得出，相較于其他方法，本文方法不管在主觀視覺還是客觀評價上，重建效果均有顯著的提升。

表3 本文方法與其他方法在放大倍數(shù)為4時的PSNR/SSIM對比Tab.3 Comparison of PSNR/SSIM between proposed method and other methods at 4 magnification

3.4.2 參數(shù)量、平均訓練時間和SSIM的對比

為了驗證本文方法在參數(shù)規(guī)模和訓練時間上的優(yōu)越性，將其與SRCNN、ESPCN、FSRCNN、VDSR、DRCN、LapSRN、DRRN、MemNet和MSRN方法進行了比較，如表4所示。

表4 不同方法在參數(shù)量、平均訓練時間以及SSIM上的對比Tab.4 Comparison of parameters，average training time and SSIM of different methods

從表4中可以看出，本文方法的平均訓練時間最短，SSIM值最高。本文方法的參數(shù)量與MSRN 和DRCN 相比，分別減少了78%和21%，SSIM 分別提升了0.000 5 和0.005 2，主要是因為本文方法采用IRN 結(jié)構(gòu)組建模型，該結(jié)構(gòu)采用稀疏連接的方法。在同樣深度和寬度的情況下，與直接連接3× 3卷積核的結(jié)構(gòu)相比，IRN 可以節(jié)省60%的參數(shù)量；與采用MSRB作為主要結(jié)構(gòu)的MSRN 相比，單個IRN 的參數(shù)量比MSRB 減少68%。與SRCNN、ESPCN、FSRCNN 等方法相比，本文方法雖然參數(shù)量略微增加，但重建性能得到大幅提升，主要是因為參數(shù)量過少會對重建性能的提升略有影響。

總體來說，本文方法在減少參數(shù)量、縮短訓練時間，以及提升重建效果上，均有顯著的提升。同時，文獻［4］證明了模型對資源的占用與參數(shù)量呈正相關，而本文方法擁有更少的參數(shù)可以證明本文所提出的模型對實驗設備資源的占用少，能夠適應設備資源受限的情況。

4 結(jié)語

本文提出了一種基于密集Inception的單圖像超分辨率重建方法。該方法全局融合了簡化的密集網(wǎng)絡，將每一個分層特征提取模塊的輸出用于重建，核心模塊引入了Inception-ResNet 結(jié)構(gòu)，將其應用在圖像超分辨率重建領域。實驗結(jié)果表明，本文方法具有較好的重建效果，并且使用了更少的參數(shù)，極大提升了模型的訓練速度。但是，由于該方法著重縮減模型參數(shù)，對圖像的重建性能稍有影響，下一步將研究在模型參數(shù)盡可能少的情況下，提升重建性能。