張 德，林青宇，郭茂祖

北京建筑大學(xué) 電氣與信息工程學(xué)院&建筑大數(shù)據(jù)智能處理方法研究北京市重點實驗室，北京100044

圖像超分辨重建（Super-Resolution，SR）是計算機(jī)視覺和圖像處理領(lǐng)域的重要研究方向之一。在不改善成像設(shè)備硬件條件的前提下，通過信號處理和軟件方法等提高圖像分辨率，即為SR技術(shù)。SR不僅有重要的學(xué)術(shù)研究價值，并且在很多場合有實際應(yīng)用價值，例如醫(yī)學(xué)影像分析[1-2]、衛(wèi)星遙感成像[3]和視頻安全監(jiān)控[4]等方面。

單幅圖像超分辨重建（Single Image Super-Resolution，SISR）僅利用一幅低分辨率（Low Resolution，LR）圖像為輸入，重建具有豐富圖像細(xì)節(jié)和清晰紋理的高分辨率（High Resolution，HR）圖像，實用價值很高。早在20世紀(jì)60年代，SISR技術(shù)由Harris和Goodman提出，并通過圖像復(fù)原的方法來實現(xiàn)[5-6]。然后，Brown 和Wadaka 等使用長橢球波函數(shù)方法[7]和疊加正弦模板方法[8]等其他復(fù)原技術(shù)進(jìn)行超分辨重建，但是實際應(yīng)用效果并不好。

因此，研究學(xué)者們陸續(xù)提出各種SISR技術(shù)，主要包括基于插值的方法，如雙線性插值（Bilinear）、雙立方插值（Bicubic）[9]、曲率插值[10]和自適應(yīng)圖像插值[11-13]等；基于重建的方法，如迭代反向投影法[14-16]、凸集投影法[17-19]和最大后驗概率法[20-22]等；基于樣例學(xué)習(xí)的方法，如鄰域嵌入法[23-25]、稀疏表示法[26-28]和回歸方法[29-31]等。但由于超分辨重建是一個難解的欠定問題，傳統(tǒng)方法難以重建圖像高頻細(xì)節(jié)信息[32-33]。

隨著機(jī)器學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用到圖像超分辨重建任務(wù)中，并取得了很好的重建效果。如今，基于深度學(xué)習(xí)的SISR 方法已逐漸成為主流，圖1給出了SISR深度學(xué)習(xí)研究方法的發(fā)展時間軸線。從開始基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的算法，到后來使用不斷提出的新型網(wǎng)絡(luò)結(jié)構(gòu)，包括深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）、遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）、密集連接網(wǎng)絡(luò)（Densely Connected Convolutional Network，DenseNet）和生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等，都表現(xiàn)出不錯的性能，使重建生成的HR圖像更加逼真。

圖1 SISR深度學(xué)習(xí)主要方法的發(fā)展時間軸線Fig.1 Timeline of deep learning based SISR progress

近年來，已有研究學(xué)者對圖像超分辨重建算法進(jìn)行了總結(jié)[46-49]，包括基于傳統(tǒng)特征的方法和基于深度學(xué)習(xí)的方法。文獻(xiàn)[46-47]針對這兩大類方法都介紹得比較詳細(xì)。其中，史振威等[46]總結(jié)了近20 年來的主流算法，還介紹了在視頻超分辨、遙感圖像超分辨和復(fù)雜條件下超分辨算法的設(shè)計和應(yīng)用。唐艷秋等[47]首先對傳統(tǒng)方法進(jìn)行了完整的分類介紹，然后對深度學(xué)習(xí)方法從不同的網(wǎng)絡(luò)結(jié)構(gòu)模型方面進(jìn)行了分析和闡述。劉穎等[48]將超分辨技術(shù)根據(jù)輸入輸出分為多圖像超分辨、視頻超分辨和單幅圖像超分辨，然后重點介紹了SISR算法，對深度學(xué)習(xí)方法從有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩方面進(jìn)行分類敘述，并選取了幾種典型的深度學(xué)習(xí)算法進(jìn)行實驗和比較。南方哲等[49]主要進(jìn)行了基于深度學(xué)習(xí)的SISR算法綜述，把超分辨深度學(xué)習(xí)模型分為基于插值預(yù)處理、基于原始圖像處理、基于分層特征和基于高頻細(xì)節(jié)四類進(jìn)行介紹，然后選取了幾種來自不同類別的算法進(jìn)行實驗和比較。

本文針對SISR的深度學(xué)習(xí)方法進(jìn)行全面深入的分析和總結(jié)，重點闡述并總結(jié)了近年來主流的基于深度學(xué)習(xí)的圖像超分辨重建方法，并以圖形和表格的方式對典型的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行展示和比較。同時選取了多種不同的經(jīng)典深度學(xué)習(xí)算法進(jìn)行實驗復(fù)現(xiàn)和比較，并考慮時間的跨度，包括了近兩年內(nèi)的算法。

本文首先介紹圖像超分辨相關(guān)基礎(chǔ)內(nèi)容，包括問題設(shè)置概述和質(zhì)量評價指標(biāo)。然后，詳細(xì)闡述為解決單幅圖像超分辨問題和提高重建質(zhì)量而采用的深度學(xué)習(xí)方法，包括網(wǎng)絡(luò)模型設(shè)計、損失函數(shù)和上采樣方式三方面，這也是SISR 深度學(xué)習(xí)技術(shù)必需的三個組成部分。而后，選取來自不同網(wǎng)絡(luò)模型的主要算法在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實驗，給出不同算法之間更直觀的對比并進(jìn)行討論。最后，對基于深度學(xué)習(xí)的SISR方法進(jìn)行總結(jié)和展望。

1 圖像超分辨問題概述

圖像超分辨的目的是從LR 圖像中恢復(fù)出相應(yīng)的HR圖像，而LR圖像通常是由HR圖像退化得到。用Ix表示LR圖像，Iy表示HR圖像，則退化過程如式（1）所示：

其中，D為退化函數(shù)，δ表示退化過程中的相關(guān)參數(shù)，如噪聲類型和縮放因子等?，F(xiàn)實中，退化過程信息D和δ是未知的，僅有已知信息為低分辨率圖像Ix。圖形超分辨問題的目的為消除退化效果，恢復(fù)出高分辨率甚至真實場景圖像，即

其中，θ為超分辨模型F中的參數(shù)，表示重建得到的HR圖像。

現(xiàn)實中退化過程未知且復(fù)雜，影響因素眾多，難以確定實際問題中準(zhǔn)確的圖像退化過程。因此大多數(shù)研究都是基于單個下采樣作為退化模型，常用下采樣操作為具有抗鋸齒的雙三次插值。也有一些研究將退化模型設(shè)置為如下形式：

其中，↓s表示縮放因子為s的下采樣運算，?是HR圖像Iy和卷積核算子k之間的卷積操作，變量n?表示具有標(biāo)準(zhǔn)差的加性高斯白噪音。與單一采用下采樣退化過程相比，式（3）的退化過程更接近于真實場景，并已被證實對SR更有效[50]。

至此，SR問題可以理解為：

2 圖像超分辨質(zhì)量評價

通過超分辨技術(shù)生成的高分辨率圖像，與真實高分辨率圖像的逼真度越高，則認(rèn)為圖像超分辨算法越好。一般來說，主要通過兩種客觀的量化指標(biāo)進(jìn)行評價，包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structual Similarity，SSIM）。

PSNR 是一種最常用的圖像重構(gòu)質(zhì)量評價方式，其主要由MSE決定，PSNR定義如下：

其中，amax表示參考圖像中的最大像素值，MSE如式（6）所示：

考慮到人類的視覺系統(tǒng)是從所見場景中提取結(jié)構(gòu)信息進(jìn)行觀察，Wang 等[51]提出使用結(jié)構(gòu)相似度（SSIM）評價生成圖像的質(zhì)量。根據(jù)亮度（luminance）、對比度（contrast）和結(jié)構(gòu)（structure）三方面相互獨立的比較，SSIM可用來衡量圖像之間的結(jié)構(gòu)相似度。

另外，有時也經(jīng)常用到主觀評價指標(biāo)平均意見分?jǐn)?shù)（Mean Opinion Score，MOS），給出圖像的主觀感受質(zhì)量。由觀察人員給重建生成的圖像打分，分?jǐn)?shù)范圍在1～5之間，5分為最高分。計算所有分?jǐn)?shù)的平均分，即為MOS指標(biāo)值。

3 基于深度學(xué)習(xí)的單幅圖像超分辨重建

近年來深度學(xué)習(xí)在單幅圖像超分辨重建（SISR）領(lǐng)域得到了廣泛的應(yīng)用，并取得了很好的重建效果。各種基于深度學(xué)習(xí)的SISR 方法層出不窮，本文從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計、損失函數(shù)和上采樣框架三方面進(jìn)行闡述。表1對經(jīng)典網(wǎng)絡(luò)模型從以上三方面進(jìn)行總結(jié)。

表1 SISR深度學(xué)習(xí)主要方法簡述Table 1 Description of some typical deep learning based SISR methods

3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計是深度學(xué)習(xí)方法最重要的組成部分，并且結(jié)構(gòu)的多樣性很強(qiáng)，難以準(zhǔn)確地劃分類別。這里，從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的基本原理和策略出發(fā)，大概分為線性網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò)、密集連接、注意力機(jī)制和生成對抗網(wǎng)絡(luò)等幾個方面進(jìn)行介紹和比較。其中，把早期應(yīng)用于SISR的CNN模型歸類為線性網(wǎng)絡(luò)，模型較為簡單，但效果也優(yōu)于傳統(tǒng)方法。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)的深度和寬度不斷增加，感受野變大，可以帶來更強(qiáng)的特征學(xué)習(xí)能力，明顯提升超分辨重建效果。不過，更深的網(wǎng)絡(luò)結(jié)構(gòu)增加了模型復(fù)雜度，導(dǎo)致網(wǎng)絡(luò)不易收斂、性能退化和過度擬合等現(xiàn)象。殘差學(xué)習(xí)網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)結(jié)構(gòu)的出現(xiàn)可以幫助解決這些問題。而后出現(xiàn)的密集連接可以進(jìn)一步減輕網(wǎng)絡(luò)梯度消失的問題。結(jié)合注意力機(jī)制的網(wǎng)絡(luò)模型能夠進(jìn)一步提高圖像重建質(zhì)量評價指標(biāo)，而生成對抗網(wǎng)絡(luò)則有助于提升重建圖像的視覺感知質(zhì)量。

3.1.1 線性網(wǎng)絡(luò)

SRCNN（Super-Resolution CNN）是第一個只使用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像超分辨重建的成功嘗試[39]，是深度學(xué)習(xí)在圖像超分辨重建領(lǐng)域的開山之作，并激發(fā)了后續(xù)在這個方向上的研究。SRCNN 結(jié)構(gòu)簡單明了，它只由卷積層組成，除最后一層外，每一層后面都有一個ReLU 作為激活函數(shù)。第一層為特征提取層，從輸入圖像中提取特征圖塊。第二層為非線性映射層，它將特征映射轉(zhuǎn)換為高維特征向量。最后一層重建特征圖片來作為最終的高分辨率圖像輸出。

而后Dong 等[53]進(jìn)一步提出FSRCNN（Fast Super-Resolution CNN），其是對SRCNN 的改進(jìn)（對比如圖2所示）。FSRCNN 雖然是4 個卷積層和1 個反卷積層的簡單網(wǎng)絡(luò)，但是其處理速度提升明顯，圖片質(zhì)量也有所提升。其改進(jìn)主要體現(xiàn)在：一是最后使用了一個反卷積層放大尺寸，從而不需要對圖像進(jìn)行預(yù)處理。二是改變特征維數(shù)，使用更小的卷積核和更多的映射層，在映射前減少輸入特征的維數(shù)，從而提高計算效率。

圖2 SRCNN和FSRCNN網(wǎng)絡(luò)結(jié)構(gòu)比較Fig.2 Comparison of SRCNN and FSRCNN structure

ESPCN（Efficient Sub-Pixel Convolutional Neural network）也是一種快速高效的超分辨方法[54]。ESPCN主要使用亞像素卷積（Sub-Pixel Convolution），作為重建生成的HR圖像中的一個子塊。這個變換實際上沒有卷積操作，圖像從LR 到HR 放大過程的插值函數(shù)被隱含在前面的卷積層中，只是在最后一層對圖像大小做變換，因此提高了算法的效率。

早期應(yīng)用在圖像超分辨領(lǐng)域的線性網(wǎng)絡(luò)雖然模型相對簡單，但重建效果優(yōu)于傳統(tǒng)方法，并起到開創(chuàng)性目的。

3.1.2 殘差網(wǎng)絡(luò)

與線性網(wǎng)絡(luò)的線層模型相比，殘差網(wǎng)絡(luò)使用殘差學(xué)習(xí)，在網(wǎng)絡(luò)設(shè)計中使用了跳過連接方式進(jìn)行殘差單元中的直接映射[61]，有效避免了梯度消失，同時可以加快訓(xùn)練速度。因此殘差學(xué)習(xí)的應(yīng)用可以使更深的網(wǎng)絡(luò)得到更好的訓(xùn)練，從而使得圖像超分辨網(wǎng)絡(luò)模型設(shè)計變得非常深。同時殘差網(wǎng)絡(luò)能利用更多的上下文信息，學(xué)習(xí)能力和層次表征能力變得更強(qiáng)。因此，殘差網(wǎng)絡(luò)在圖像超分辨中應(yīng)用廣泛。

Kim等[36]提出的VDSR（Very Deep Super-Resolution convolutional network）網(wǎng)絡(luò)模型有20個卷積層，相較于SRCNN等線性網(wǎng)絡(luò)層數(shù)更深。Kim等通過實驗證明層數(shù)越深，圖像重建效果越好，但對收斂速度也產(chǎn)生了很大影響。為了解決收斂速度問題，VDSR網(wǎng)絡(luò)模型采用全局殘差學(xué)習(xí)，即高分辨率圖像與低分辨率圖像進(jìn)行殘差學(xué)習(xí)，同時提高學(xué)習(xí)速率，使得訓(xùn)練過程更加穩(wěn)定。因此殘差網(wǎng)絡(luò)可以使網(wǎng)絡(luò)模型較深的網(wǎng)絡(luò)得到更好的訓(xùn)練，提升重建效果。Lim等[56]提出了用于圖像超分辨的改進(jìn)殘差網(wǎng)絡(luò)模型EDSR（Enhanced Deep Super-Resolution network），利用改進(jìn)殘差塊，搭建更深的網(wǎng)絡(luò)模型。EDSR主要將原始?xì)埐顗K中的批歸一化層（Batch Normalization，BN）去除，節(jié)省顯存空間，使更深的網(wǎng)絡(luò)有更好的可訓(xùn)練性，可以擁有69個卷積層，重建效果明顯提升。

同時，許多多尺度殘差網(wǎng)絡(luò)也被提出。Li等[57]提出了多尺度殘差網(wǎng)絡(luò)模型（Multi-Scale Residual Network，MSRN）。MSRN使用多尺度殘差塊（Multi-Scale Residual Block，MSRB）來獲取不同尺度圖像特征，聯(lián)合3×3和5×5卷積核幫助網(wǎng)絡(luò)獲取多尺度的信息，并采用局部殘差學(xué)習(xí)法可以讓神經(jīng)網(wǎng)絡(luò)更高效。將每個MSRB 的輸出組合起來進(jìn)行全局特征融合，充分利用圖像中的特征信息。實驗證明盡管該模型在評價指標(biāo)PSNR和SSIM方面比EDSR模型稍差，但是MSRN模型參數(shù)數(shù)量遠(yuǎn)低于EDSR，訓(xùn)練時間短，運行效率高。圖3 給出了EDSR 和MSRN 模型的改進(jìn)殘差塊結(jié)構(gòu)，并與He 等[61]提出的原始結(jié)構(gòu)進(jìn)行了比較。另外，應(yīng)自爐等[62]使用多種程度的卷積核提取LR 層的特征信息，將每個卷積核下的殘差塊局部融合后再進(jìn)行全局融合。這使得每層信息不會丟失，從而使得網(wǎng)絡(luò)梯度一直保持存在的狀態(tài)，不會發(fā)生梯度消失現(xiàn)象，同時重建效果較SRCNN 等線性網(wǎng)絡(luò)得到提升。不同于文獻(xiàn)[62]，李現(xiàn)國等[63]提出的多尺度殘差網(wǎng)絡(luò)在殘差塊中用兩個3×3卷積核代替一個5×5的卷積核來提取特征，減少了模型參數(shù)，增加了網(wǎng)絡(luò)的非線性特性，并且使得圖像特征信息在每個維度下得到增加，從而獲得更豐富的圖像信息，達(dá)到更好的重建效果。

圖3 EDSR、MSRN和初始?xì)埐罹W(wǎng)絡(luò)結(jié)構(gòu)比較Fig.3 Comparison of EDSR，MSRN and original residual network structure

3.1.3 遞歸網(wǎng)絡(luò)

隨著網(wǎng)絡(luò)模型深度的增加，也會引入更多的參數(shù)。為了避免發(fā)生過擬合，通常會擴(kuò)大訓(xùn)練集，但過大的網(wǎng)絡(luò)模型不易存儲。因此將遞歸學(xué)習(xí)引入到圖像超分辨領(lǐng)域中。遞歸網(wǎng)絡(luò)為遞歸鏈接的卷積層或單元的網(wǎng)絡(luò)結(jié)構(gòu)，從而在控制模型參數(shù)的情況下，提高圖像重建效果。

Kim 等[37]提出的DRCN（Deep Recursive Convolutional Network）多次應(yīng)用疊加相同的卷積層。這種技術(shù)的一個優(yōu)點是在增大網(wǎng)絡(luò)感受野的同時，對于更多的遞歸，可以有效地重復(fù)利用權(quán)重參數(shù)，并能夠優(yōu)化隨機(jī)梯度下降算法，縮短訓(xùn)練時間。用遞歸和跳躍連接的方式減低模型的訓(xùn)練難度，從而達(dá)到更好的訓(xùn)練效果。在此基礎(chǔ)上，Tai等[58]提出了DRRN（Deep Recursive Residual Network）網(wǎng)絡(luò)模型，和DRCN 僅使用全局殘差學(xué)習(xí)不同，DRRN 加入了多路徑方式的局部殘差學(xué)習(xí)，并在殘差塊中共享使用多個權(quán)重層。DRRN 運用局部多尺度和全局殘差學(xué)習(xí)的方式，在參數(shù)數(shù)量更少的情況下獲得更好的重建性能。而程德強(qiáng)等[64]提出的多通道遞歸殘差網(wǎng)絡(luò)針對單一通道的遞歸網(wǎng)絡(luò)可能會丟失部分特征信息的問題，提出多通道網(wǎng)絡(luò)，提高對細(xì)節(jié)信息的重建能力。

DRCN 和DRRN 使用的遞歸結(jié)構(gòu)中重復(fù)運行的部分其實是以前饋的方式共享信息，即使使用了殘差連接，前面的層依然無法有效利用底層信息。因此，Li等[43]提出了基于反饋機(jī)制的網(wǎng)絡(luò)模型SRFBN（Super-Resolution Feedback Network），設(shè)計一個反饋塊（Feedback Block，F(xiàn)B）使得上一次反饋的輸出和整個網(wǎng)絡(luò)的輸入一起重新輸入到反饋模塊，不斷地回傳。這樣回傳的好處在于不會增加額外的參數(shù)并且加深網(wǎng)絡(luò)，同時使得前面的卷積層也可以學(xué)習(xí)到后面卷積層的信息，進(jìn)而提升重建效果。該模型的反饋機(jī)制如圖4（c）所示，并在圖4 中與DRCN、DRRN模型的前饋方式進(jìn)行了比較。

圖4 DRCN、DRRN的前饋方式和SRFBN的反饋機(jī)制比較Fig.4 Comparison of DRCN，DRRN feedforward methods and SRFBN feedback mechanism

3.1.4 密集連接

自從Huang等[65]提出基于密集塊的DenseNet以來，密集連接在視覺任務(wù)中變得越來越流行。密集連接不僅有助于減少梯度消失，增強(qiáng)信號傳播和鼓勵特征重用，而且通過采用較小的增長率（即密集塊中的信道數(shù)）和級聯(lián)后的壓縮信道，大大減少了參數(shù)數(shù)目。對于稠密塊中的每一層，所有前一層的特征映射被用作輸入，其自身的特征映射被用作所有后一層的輸入，從而緩解了深層網(wǎng)絡(luò)在訓(xùn)練過程中梯度消失而難以優(yōu)化的問題。因此該方法在超分辨領(lǐng)域應(yīng)用豐富。這種設(shè)計的主要動機(jī)是結(jié)合網(wǎng)絡(luò)深度上可用的分層線索，以實現(xiàn)高度的靈活性和豐富的特征表示。

Tong等[39]提出了SRDenseNet（Super-Resolution Dense Net）模型，首先使用一個卷積層學(xué)習(xí)低層的特征，接著用多個密集塊（Dense Block）學(xué)習(xí)高層的特征。SRDenseNet通過密集連接的方式，無論是密集塊內(nèi)還是全局網(wǎng)絡(luò)中，都可以很好地將低層信息與高層信息融合，同時減少參數(shù)數(shù)量。這樣的結(jié)構(gòu)給整個網(wǎng)絡(luò)帶來了減輕梯度消失問題、加強(qiáng)特征傳播、支持特征復(fù)用的效果，從而提高了重建性能。相較于SRDenseNet，Zhang等[40]結(jié)合殘差結(jié)構(gòu)進(jìn)一步提出RDN（Residual Dense Network）網(wǎng)絡(luò)模型。RDN 網(wǎng)絡(luò)中的殘差稠密塊（Residual Dense Block，RDB）將局部殘差塊、密集連接層與局部特征進(jìn)行融合，更好地保證了信息流的貫通。在全局網(wǎng)絡(luò)中，與SRDenseNet的全局稠密連接不同，RDN 使用了全局特征融合和全局殘差學(xué)習(xí)，這樣可以更好地結(jié)合殘差學(xué)習(xí)以及密集鏈接的優(yōu)點，更充分地提取多層次的特征，使訓(xùn)練穩(wěn)定并加速訓(xùn)練過程，共同提高網(wǎng)絡(luò)性能。圖5比較了ResNet、DenseNet和RDN的基礎(chǔ)塊結(jié)構(gòu)。

圖5 ResNet、DenseNet和RDN塊結(jié)構(gòu)比較Fig.5 Comparison of block structure of ResNet，DenseNet and RDN

王海勇等[66]提出了一種基于密集Inception 的單圖像超分辨率重建模型。該方法全局融合了簡化的密集網(wǎng)絡(luò)，核心模塊引入了Inception-ResNet-A 結(jié)構(gòu)。因此該方法擁有較少網(wǎng)絡(luò)參數(shù)，加快訓(xùn)練速度，同時得到了更好的重建效果。

3.1.5 注意力機(jī)制

在前面的網(wǎng)絡(luò)模式中，對于超分辨問題，所有空間位置和信道都有著相同的重要性（即權(quán)值相同）。在一些情況下，在給定的層中選擇性地處理部分特征可能更有幫助。注意力機(jī)制則可以賦予其這樣的靈活性。在結(jié)合注意力機(jī)制超分辨模型中可以挑出更重要的激活值，給予其更大的權(quán)重，從而提升重建效果。

Choi 等[59]提出了一種新的用于圖像超分辨率網(wǎng)絡(luò)的選擇單元，稱為SelNet。選擇單元充當(dāng)卷積層之間的一扇門，只允許通過從特征圖中選定的值，在每個卷積層之后都有選擇單元，使得網(wǎng)絡(luò)可以自適應(yīng)地選擇更有利于重建效果的響應(yīng)值向下傳遞，提升重建效果。類似于VDSR，在SelNet 中也采用了殘差學(xué)習(xí)和梯度轉(zhuǎn)換（梯度裁剪的一種），從而降低訓(xùn)練時間。

Zhang 等[41]在殘差網(wǎng)絡(luò)中加入通道注意力機(jī)制，提出RCAN（Residual Channel Attention Network）網(wǎng)絡(luò)模型進(jìn)行圖像超分辨重建。該模型使用局部嵌套殘差結(jié)構(gòu)（Residual in Residual）可以搭建更深的網(wǎng)絡(luò)，并通過通道之間的依賴關(guān)系選擇包含更多關(guān)鍵信息的通道，增強(qiáng)整個網(wǎng)絡(luò)的辨識學(xué)習(xí)能力。Dai等[42]使用基于協(xié)方差歸一化的二階通道注意力機(jī)制，提出SAN（Second-order Attention Network）網(wǎng)絡(luò)模型，通過高于一階的特征統(tǒng)計量來自適應(yīng)地重新縮放特征，能夠更好地學(xué)習(xí)特征之間的關(guān)聯(lián)度。利用協(xié)方差歸一化的迭代方法來加快網(wǎng)絡(luò)的訓(xùn)練速度，從而達(dá)到更優(yōu)秀的網(wǎng)絡(luò)性能和重建效果。

李彬等[67]提出的雙重注意力機(jī)制的深度網(wǎng)絡(luò)由兩種注意力機(jī)制融合而成。相較于單一的注意力機(jī)制，通過融合通道注意力機(jī)制和空間注意力機(jī)制，可以有效獲取不同特征的權(quán)重值，使得網(wǎng)絡(luò)可以根據(jù)權(quán)重精準(zhǔn)分配計算資源，在僅僅引入極少參數(shù)的同時有效提升超分辨率重建的質(zhì)量。

3.1.6 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)[68]（Generative Adversarial Networks，GAN）采用了博弈論方法，模型由生成器和判別器兩部分組成。在圖像超分辨中，生成器負(fù)責(zé)生成重建圖像，判別器根據(jù)自身判定條件判別生成圖像與真實圖像的差距，用試圖欺騙判別器的方法來進(jìn)一步恢復(fù)圖像。由于其特殊機(jī)制的存在，通過這種方式，往往可以生成視覺效果更好的高分辨率圖像。

Ledig 等[38]提出了超分辨生成對抗網(wǎng)絡(luò)（Super-Resolution Generative Adversarial Network，SRGAN），首次使用GAN進(jìn)行了單幅圖像超分辨重建的嘗試。如圖6 所示，SRGAN 將低分辨率圖像輸入至生成器G 中進(jìn)行圖像重建，由判別器D將生成圖像與真實圖像對抗訓(xùn)練，最后輸出訓(xùn)練后的圖像。相較于之前的算法，雖然SRGAN 在客觀評價指標(biāo)（如PSNR）上相對較低，但是其無論在視覺效果，還是圖像細(xì)節(jié)等直觀方面，重建效果更加優(yōu)秀，效果更好。這與其特殊的網(wǎng)絡(luò)結(jié)構(gòu)以及將對抗損失和感知損失相結(jié)合的損失函數(shù)有關(guān)。受SRGAN 的啟發(fā)，Wang 等[60]又提出ESRGAN（Enhanced SRGAN）模型，并對SRGAN做出改進(jìn)。ESRGAN的改進(jìn)主要有以下方面：一是在生成器端去除BN和用殘差密集塊RRDB（Residual in Residual Dense Block），這樣有助于提高泛化能力，減少計算復(fù)雜度和內(nèi)存使用。二是判別器端修改，使其判別不再是真?zhèn)谓^對值，而是預(yù)測生成圖像與真實圖像的相對距離。三是對感知損失進(jìn)行修改，可以更好地保持圖像亮度的一致性和恢復(fù)更好的細(xì)節(jié)紋理。

圖6 SRGAN基本結(jié)構(gòu)示意圖Fig.6 Basic structure diagram for SRGAN

彭晏飛等[69]在SRGAN的基礎(chǔ)上，遷移了SVM中的Hinge 損失作為目標(biāo)函數(shù)，又在原有的感知損失中加入了Charbonnier損失函數(shù)和TV正則項，使其具有更好的穩(wěn)定性、魯棒性、抗噪性。同時保持重建圖像邊緣和細(xì)節(jié)清晰，去掉了殘差塊和判別器中不必要的BN層，并在生成器和判別器中使用譜歸一化來穩(wěn)定模型訓(xùn)練。而汪鑫耘等[70]在ESRGAN基礎(chǔ)上對激活函數(shù)、基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)進(jìn)行優(yōu)化。將激活函數(shù)改為LeakyReLU，用來避免某些神經(jīng)元不激活數(shù)據(jù)現(xiàn)象。用RDB來代替RRDB，減少參數(shù)量的同時加深了網(wǎng)絡(luò)。采用雙層特征損失，并引入滲透指數(shù)PI 作為損失權(quán)重來改進(jìn)損失函數(shù)。該方法在客觀評價指標(biāo)和主觀視覺上較ESRGAN均有所提升。

3.2 損失函數(shù)

在圖像超分辨領(lǐng)域，損失函數(shù)用來度量生成的高分辨率圖像與真實圖像之間的差異。早期研究人員通常采用逐像素L2 損失，即均方誤差（Mean-Square Error，MSE）。但后來發(fā)現(xiàn)它并不能很精確地測量圖像的感知質(zhì)量，因此采用其他損失函數(shù)（如內(nèi)容損失[71]、生成損失[38]等）來更好地測量重構(gòu)誤差。目前，在超分辨領(lǐng)域中，損失函數(shù)發(fā)揮著重要的作用。

3.2.1 像素?fù)p失

像素?fù)p失主要是度量兩個圖像之間的像素差異，主要包括L1 損失（平均絕對誤差）和L2 損失（均方誤差）。與L1損失相比，L2損失能抑制較大誤差的產(chǎn)生，但對較小的誤差往往具有更大的容錯性，因此常常導(dǎo)致結(jié)果過于平滑。

在實際應(yīng)用中，L1 損失比L2 損失[56]表現(xiàn)出更好的性能，尤其是收斂性。由于PSNR的定義與像素差高度相關(guān)，并且最小化像素?fù)p失直接最大化PSNR，因此像素?fù)p失逐漸成為最廣泛使用的損失函數(shù)。然而，由于像素?fù)p失實際上并不考慮圖像質(zhì)量（例如感知質(zhì)量[71]、紋理[11]），往往結(jié)果缺乏高頻細(xì)節(jié)，感知效果不好的過度平滑的紋理[37-38，71]。

3.2.2 感知損失

感知損失是近年來提出的一個比較巧妙的思想。在圖像超分辨領(lǐng)域中，由于經(jīng)常使用L1損失，會導(dǎo)致重建圖像較為平滑，丟失細(xì)節(jié)部分或高頻部分。因此感知損失被引入到超分辨領(lǐng)域中[50，72]，從而更好地評價并提升的感知質(zhì)量。

感知損失使用已經(jīng)訓(xùn)練好的圖像訓(xùn)練網(wǎng)絡(luò)，其中ResNet[61]和VGG[73]是最常用的CNN 預(yù)訓(xùn)練網(wǎng)絡(luò)，然后提取兩個圖像的特征，計算兩個圖像在特征空間上的歐氏距離。感知損失與像素?fù)p失相比，沒有迫使像素之間精確地匹配，而是在感知上與目標(biāo)圖像類似。因此其在視覺上產(chǎn)生更佳的效果[38，58，71]。

3.2.3 紋理損失

由于重建圖像應(yīng)該與目標(biāo)圖像具有相同的紋理風(fēng)格，并受Leon 等[74-75]的影響，紋理損失被引入到圖像超分辨領(lǐng)域中。圖像的紋理被視為不同特征通道之間的相關(guān)性。

紋理損失可使SR 模型創(chuàng)建更真實的紋理，并在視覺上產(chǎn)生更令人滿意的結(jié)果[44，76]。然而，確定圖塊大小以匹配紋理仍然是經(jīng)驗性的問題。由于紋理統(tǒng)計信息是在不同紋理區(qū)域取平均值，過小的補(bǔ)丁會導(dǎo)致紋理區(qū)域出現(xiàn)偽影現(xiàn)象，而過大的補(bǔ)丁會導(dǎo)致整個圖像出現(xiàn)偽影現(xiàn)象。

3.2.4 對抗損失

在基于生成對抗網(wǎng)絡(luò)的超分辨領(lǐng)域中，通常超分辨模型為生成器，而判別器根據(jù)判斷條件來進(jìn)行判別。而損失函數(shù)則通常在像素?fù)p失或感知損失的基礎(chǔ)上再結(jié)合對抗損失，從而通過判別器使得生成器生成的圖像能有更逼真的高分辨率圖片。在對抗損失計算方面，SRGAN[38]和EnhanceNet[76]等方法使用交叉熵?fù)p失函數(shù)。而后，Wang等[77]和Yuan等[78]使用最小二乘方法[79]進(jìn)行損失計算，可以生成質(zhì)量更高的圖像。RaGAN[80]和WGAN-GP[81]等變體GAN 模型使用新的距離度量方式改進(jìn)生成對抗學(xué)習(xí)的性能，例如FID（Fréchet Inception Distance）和Wasserstein距離。

目前GAN的訓(xùn)練過程還比較困難和不穩(wěn)定。盡管已有一些關(guān)于如何穩(wěn)定GAN 訓(xùn)練的研究，但如何保證整合到超分辨模型中的GAN得到正確訓(xùn)練并發(fā)揮積極作用仍是一個問題。

3.3 上采樣方法和模型框架

上采樣指從低分辨率（LR）圖像輸出高分辨率（HR）圖像的操作。在圖像超分辨深度網(wǎng)絡(luò)模型中，依據(jù)上采樣層的位置和上采樣操作的基本方式，大致分為4類模型框架，包括預(yù)定義上采樣模型框架、后端上采樣模型框架、漸進(jìn)式上采樣模型框架和上下采樣迭代式模型框架。所使用的上采樣方法主要可分為兩大類，基于插值的上采樣方法和基于學(xué)習(xí)的上采樣方法。

3.3.1 上采樣方法

基于插值的上采樣方法指通過傳統(tǒng)的圖像插值操作進(jìn)行圖像尺寸的放大。常用的插值方法主要有最近鄰插值、雙線性插值和雙立方插值?；趯W(xué)習(xí)的上采樣方法指以端到端學(xué)習(xí)的方式進(jìn)行上采樣，可以通過在網(wǎng)絡(luò)結(jié)構(gòu)中加入轉(zhuǎn)置卷積層或者亞像素卷積層實現(xiàn)。表2給出了上采樣方法的分類和相應(yīng)的描述。

表2 上采樣方法分類和簡單描述Table 2 Category and descirption of upsampling methods

傳統(tǒng)基于插值的上采樣方法原理比較簡單，也容易實現(xiàn)。其中，雙立方插值還經(jīng)常應(yīng)用在預(yù)定義上采樣模型框架中，但是也增加了模型的計算復(fù)雜度。另外，插值方法還會引起噪聲被放大等副作用，因此可以使用端到端學(xué)習(xí)的方式進(jìn)行上采樣，以避免這些問題的發(fā)生。例如，轉(zhuǎn)置卷積應(yīng)用在SRDenseNet[39]等多個超分辨網(wǎng)絡(luò)模型中，亞像素卷積應(yīng)用在RDN[40]和SRGAN[38]等多種不同的網(wǎng)絡(luò)模型中。亞像素卷積比轉(zhuǎn)置卷積有更大的感受野，因此能夠提供更多的鄰域相關(guān)信息，重建圖像細(xì)節(jié)部分更真實。

3.3.2 模型框架

4種模型框架如圖7所示。圖7（a）給出了預(yù)定義上采樣框架示意圖，如圖可知，該框架是先使用傳統(tǒng)的插值方法將圖像尺寸放大到要求的倍數(shù)，然后再使用深度學(xué)習(xí)網(wǎng)絡(luò)模型重建圖像細(xì)節(jié)。該框架所使用的上采樣方法簡單，但深度神經(jīng)網(wǎng)絡(luò)的很多操作都需要在高維空間進(jìn)行，占用空間大，時間效率低。圖7（b）給出了后上采樣框架示意圖，如圖所示，上采樣層位于網(wǎng)絡(luò)結(jié)構(gòu)末端。這樣，深度神經(jīng)網(wǎng)絡(luò)的很多操作在低維空間進(jìn)行，極大提高了訓(xùn)練速度和算法效率。網(wǎng)絡(luò)可以自適應(yīng)地學(xué)習(xí)上采樣過程，進(jìn)行端到端可學(xué)習(xí)的上采樣。圖7（c）給出了逐步上采樣框架示意圖，基于該框架的深度網(wǎng)絡(luò)模型通過多次上采樣逐步獲得目標(biāo)尺寸的超分辨圖像。這樣，學(xué)習(xí)難度降低，并且在不需要過多時間和空間成本的情況下，能夠滿足多尺度超分辨的需求。圖7（d）給出了迭代上下采樣框架示意圖，交替進(jìn)行上采樣和下采樣操作，通過反向映射不斷地改進(jìn)超分辨重建圖像的質(zhì)量。最后，基于全部中間上采樣層得到的高分辨率特征圖，重建最終的超分辨圖像。

圖7 上采樣模型框架比較Fig.7 Comparison of upsampling frameworks

4 數(shù)據(jù)集及實驗分析

4.1 數(shù)據(jù)集介紹

目前，有很多公用數(shù)據(jù)集可用于基于深度學(xué)習(xí)的單幅圖像超分辨重建任務(wù)。這些數(shù)據(jù)集包含的圖像數(shù)量和圖像內(nèi)容各不相同，可以綜合測試超分辨重建方法的性能。表3 列出了常用的數(shù)據(jù)集，并進(jìn)行了簡單介紹。一些數(shù)據(jù)集已被劃分為固定的訓(xùn)練集、驗證集和測試集，也有一些較大的數(shù)據(jù)集經(jīng)常作為訓(xùn)練集，如ImageNet[89]、DIV2K[87]和Flickr2K[88]等。研究人員也可以根據(jù)使用需求在數(shù)據(jù)集上自行劃分訓(xùn)練集、驗證集和測試集，或者通過圖像旋轉(zhuǎn)等方式進(jìn)行訓(xùn)練集擴(kuò)增，或者聯(lián)合多個數(shù)據(jù)集進(jìn)行訓(xùn)練。

表3 常用數(shù)據(jù)集介紹Table 3 Description of widely used datasets

4.2 典型方法實驗結(jié)果及分析

依據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)，本文選取8種較為典型的深度學(xué)習(xí)單幅圖像超分辨重建方法進(jìn)行實驗，并與傳統(tǒng)的雙立方插值方法進(jìn)行比較。這8 種方法包括屬于線性網(wǎng)絡(luò)結(jié)構(gòu)的SRCNN[34]和FSRCNN[53]，屬于殘差網(wǎng)絡(luò)結(jié)構(gòu)的VDSR[36]，屬于遞歸網(wǎng)絡(luò)結(jié)構(gòu)的DRCN[37]，屬于密集連接結(jié)構(gòu)的RDN[40]，使用注意力機(jī)制的SAN模型[42]，基于生成對抗網(wǎng)絡(luò)學(xué)習(xí)的SRGAN[38]、USRGAN[90]。然后選取了4個常用的數(shù)據(jù)集，包括Set5、Set14、BSD100和Urban100，并采用4倍放大因子進(jìn)行了測試。訓(xùn)練數(shù)據(jù)集使用T91和DIV2K。

本文從Set14 和Urban100 各選取了1 張圖片，用于展示和比較不同算法的重建效果，如圖8 和圖9 所示。其中，GT（Ground Truth）表示從原圖像中截取的部分。表4 給出了這些方法在4 個常用數(shù)據(jù)集上的PSNR 和SSIM評價指標(biāo)，實驗結(jié)果表現(xiàn)各有差異。

表4 不同方法在4個數(shù)據(jù)集上的PSNR/SSIM評價指標(biāo)比較（×4）Table 4 Comparison of PSNR and SSIM for different methods on 4 datasets（×4）

圖8 Set14數(shù)據(jù)集的示例圖片實驗結(jié)果比較Fig.8 Results comparison of different methods for sample image from Set14 dataset

圖9 Urban100數(shù)據(jù)集的示例圖片實驗結(jié)果比較Fig.9 Results comparison of different methods for sample image from Urban100 dataset

由圖8 和圖9 可看出，主觀視覺特性較好的有RDN、SAN 和USRGAN 三種網(wǎng)絡(luò)模型，從表4 中可知，其相應(yīng)的評價指標(biāo)也較高。這幾種網(wǎng)絡(luò)模型是近幾年（2018年及以后）發(fā)表的，與前些年發(fā)表的方法相比，在超分辨重建質(zhì)量和效果上確實有了很大的提升。SRGAN模型的PSNR和SSIM評價指標(biāo)在表4中較低，甚至低于最開始的超分辨深度學(xué)習(xí)模型SRCNN。但是從主觀感知上看，觀察圖8 和圖9，SRGAN 的重建性能表現(xiàn)優(yōu)于其他早期（2018 年之前）的方法。由此說明，GAN 網(wǎng)絡(luò)的生成對抗學(xué)習(xí)方式可以增強(qiáng)超分辨重建圖像的逼真程度，但也會引起圖像結(jié)構(gòu)上的一些變形。因此，基于GAN 網(wǎng)絡(luò)的多種改進(jìn)模型近年來不斷被提出，這也是目前深度學(xué)習(xí)在圖像超分辨領(lǐng)域的發(fā)展趨勢。

5 結(jié)束語

本文主要歸納和分析了近年來單幅圖像超分辨重建的深度學(xué)習(xí)方法。從早期的淺層模型SRCNN 開始，到越來越深的殘差網(wǎng)絡(luò)模型VDSR、遞歸網(wǎng)絡(luò)模型DRCN 和密集連接網(wǎng)絡(luò)模型RDN 等，并結(jié)合注意力機(jī)制，使得圖像超分辨重建質(zhì)量不斷得到提高。質(zhì)量評價客觀指標(biāo)PSNR 和SSIM 從SRCNN 開始就優(yōu)于傳統(tǒng)方法，并且重建圖像的主觀感受質(zhì)量也比傳統(tǒng)方法高。研究學(xué)者們不斷把新出現(xiàn)的CNN網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計策略應(yīng)用在SISR 領(lǐng)域，并進(jìn)行改進(jìn)，以進(jìn)一步提高PSNR 和SSIM指標(biāo)值。但是重建圖像的主觀視覺感受質(zhì)量卻沒有得到同步提升，不能達(dá)到理想的效果。

而基于GAN 網(wǎng)絡(luò)結(jié)構(gòu)的SISR 方法，盡管PSNR 和SSIM 客觀質(zhì)量評價值較低，卻可以生成主觀評價質(zhì)量高的HR圖像，這是由于GAN網(wǎng)絡(luò)模型方便結(jié)合感知損失函數(shù)。因此，近兩年來，基于GAN 網(wǎng)絡(luò)的SISR 方法迅速發(fā)展，并在解決實際問題中得到了應(yīng)用。隨著基于深度學(xué)習(xí)的SISR 技術(shù)越來越成熟和穩(wěn)定，研究人員希望超分辨重建能夠在視覺高層任務(wù)中得到更多的應(yīng)用。但目前仍存在一些問題，這也是未來的研究方向和發(fā)展趨勢：

（1）算法的效率?，F(xiàn)有方法雖然可以重建生成較高質(zhì)量的HR圖像，但是往往需要較長的時間，特別是在縮放因子較大（×8和×16）的情況下。同時，還需要占用很多的內(nèi)存資源完成模型的訓(xùn)練。為了能夠滿足實際應(yīng)用的需求，需要在保證重建質(zhì)量的前提下，進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，降低模型參數(shù)數(shù)量，對算法進(jìn)行輕量化改進(jìn)，提高時間效率。

（2）真實圖像超分辨。在真實的應(yīng)用場景中，圖像退化模型經(jīng)常是未知的，難以獲得匹配的LR-HR 圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，直接進(jìn)行盲超分辨效果也不夠好。因此，可結(jié)合指定任務(wù)情景下的先驗信息進(jìn)行無監(jiān)督的學(xué)習(xí)，這將是亟待發(fā)展的研究方向。

（3）重建結(jié)果評價。目前的重建結(jié)果評價指標(biāo)仍然以PSNR 和SSIM 為主，作為客觀評價指標(biāo)有時候不能準(zhǔn)確評估圖像的重建逼真程度，與人眼視覺的主觀感知有差異。而常用的主觀評價MOS 不能很方便地被使用，現(xiàn)在也有一些研究人員提出了新的評價指標(biāo)，但是沒有受到廣泛的認(rèn)可。因此，急需進(jìn)一步找到更合適的圖像超分辨重建評價指標(biāo)體系。

（4）合適的損失函數(shù)。損失函數(shù)在整個算法模型中其實也占據(jù)著很重要的地位，而目前對于SR任務(wù)而言，尚無明確的最合適的損失函數(shù)。現(xiàn)在使用最多的是多種損失函數(shù)的加權(quán)組合，目的是增強(qiáng)重建圖像的主觀感知程度，實際上這是SR 的根本目標(biāo)。損失函數(shù)決定了算法網(wǎng)絡(luò)模型學(xué)習(xí)的方向，而學(xué)習(xí)的目的是提高SR 的結(jié)果評價指數(shù)。因此，本文認(rèn)為，可以將評價指標(biāo)和損失函數(shù)結(jié)合進(jìn)行選擇，這也是未來的一個研究趨勢。