米 恒 賈振堂

(上海電力大學(xué)電子與信息工程學(xué)院 上海 200090)

0 引 言

圖像超分辨率重建是機(jī)器視覺領(lǐng)域的經(jīng)典應(yīng)用分支，基于低分辨率圖像(LR)，重構(gòu)得到一幅高分辨率圖像(HR)，并還原低分辨率圖像(LR)中的細(xì)節(jié)信息。該技術(shù)被廣泛應(yīng)用于高清成像、軍事衛(wèi)星、醫(yī)學(xué)構(gòu)圖等領(lǐng)域，所以圖像超分辨率技術(shù)一直廣受學(xué)術(shù)界關(guān)注。

深度學(xué)習(xí)技術(shù)出現(xiàn)于2006年，并發(fā)表于《科學(xué)》雜志，近年來得到快速發(fā)展[1-3]。2014年，Dong等[9-11]應(yīng)用深度學(xué)習(xí)方法來完成圖像超分辨率，將卷積神經(jīng)網(wǎng)絡(luò)(CNN)用于圖像超分辨率，即SRCNN。該神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)集中大量的HR、LR圖像對數(shù)據(jù)，可以建立一個輸入低分辨率圖像(LR)，輸出高分辨率圖像(HR)的函數(shù)映射關(guān)系[6-8]。SRCNN算法的提出，證明了深度學(xué)習(xí)應(yīng)用于圖像超分辨率領(lǐng)域的理論可行性。

自SRCNN問世以來，前人增加了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層數(shù)，圖像超分辨率重建性能也隨之提高。研究結(jié)果表明，增加網(wǎng)絡(luò)的層數(shù)可以得到更好的重建效果，但也會增加數(shù)據(jù)的維度和計算量，容易導(dǎo)致網(wǎng)絡(luò)訓(xùn)練梯度過大或消失，使網(wǎng)絡(luò)不易收斂，在一定程度上限制了網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展[5]。Kim等[4]引入了殘差網(wǎng)絡(luò)(Resnet)思想，在深層網(wǎng)絡(luò)結(jié)構(gòu)上采用跳躍連接(skip connection)的方式，通過將特征圖累加的方式來解決梯度過大和消失的問題，極大地改善了深層次網(wǎng)絡(luò)收斂難的問題，也可以加入更多深層次的網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)大了網(wǎng)絡(luò)層數(shù)。基于殘差網(wǎng)絡(luò)思想，Ledig等[20]提出了基于生成式對抗網(wǎng)絡(luò)的圖像超分辨率(SRGAN)。SRGAN設(shè)計了深層次的生成網(wǎng)絡(luò)重建圖像(SR)，鑒別網(wǎng)絡(luò)將重建圖像(SR)與高清圖像(HR)進(jìn)行比較，給出鑒別結(jié)果[11-13]。經(jīng)過生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)的相互博弈，重建圖像(SR)的質(zhì)量不斷朝著更像真實圖像(HR)的方向改進(jìn)。與SRCNN相比，SRGAN使重建效果更加真實，質(zhì)量更好。

然而，在實驗中發(fā)現(xiàn)，SRGAN的重建圖像觀感仍然不夠真實，與真實圖像仍有差距。本文對SRGAN的組成部分進(jìn)行研究，并對損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。首先，SRGAN的感知損失函數(shù)仍然以像素差異為目標(biāo)進(jìn)行優(yōu)化，并且損失函數(shù)的主體是均方誤差形式的L2型損失函數(shù)，因此該形式的損失函數(shù)不符合人類視覺系統(tǒng)(human visual system，HVS)的定義。該形式的損失函數(shù)一味追求極小的像素值均方誤差，而忽略了圖像的SSIM指標(biāo)，導(dǎo)致仍然存在結(jié)果過度平滑、缺少高頻信息、圖像觀感不真實等問題。本文在SRGAN的感知損失函數(shù)基礎(chǔ)上設(shè)計了L1型的基于SSIM優(yōu)化的損失函數(shù)，使重建效果更符合人眼能夠接受的本質(zhì)特征。在SRGAN中，LR圖像的特征信息都是通過單一尺度的特征提取層提取的，這樣會導(dǎo)致無法充分提取LR圖像的特征信息，遺漏掉某些頻段的信息[16-17]。本文在SRGAN生成網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上加入3種不同尺度的卷積核，通過多個不同尺度的卷積核提取LR圖像更多層次的特征信息，然后將提取到的特征圖輸入到殘差網(wǎng)絡(luò)中進(jìn)行全局殘差學(xué)習(xí)，輸出特征與低分辨率圖像特征融合初步重建出HR圖像。接著去除生成網(wǎng)絡(luò)中的批規(guī)范化層(BN層)，引入圖像上采樣步驟，再加入1×1像素值尺度的卷積核對高頻信息降維，最終輸出HR圖像。

1 理論基礎(chǔ)

1.1 生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)(GAN)理論基礎(chǔ)受博弈論啟發(fā)[18]，GAN網(wǎng)絡(luò)中博弈雙方分別為生成器(Generator)和鑒別器(Discriminator)。生成器不斷學(xué)習(xí)真實數(shù)據(jù)的分布，基于該分布的噪聲生成一個類似于真實數(shù)據(jù)的樣本。而鑒別器目的是判別樣本數(shù)據(jù)是否是真實數(shù)據(jù)，如果是，則輸出1，反之，則輸出0?；谶@種博弈思想，生成器不斷學(xué)習(xí)并生成和真實數(shù)據(jù)一樣的數(shù)據(jù)樣本，使鑒別器無法分辨真假，達(dá)到騙過鑒別器的目的，而鑒別器則試著鑒別生成器生成的樣本[14-15]。在這個過程中，雙方不斷更新網(wǎng)絡(luò)權(quán)值配置，最終雙方達(dá)到一個動態(tài)平衡的狀態(tài)，此時生成器生成了和真實數(shù)據(jù)一樣的樣本，鑒別器無法準(zhǔn)確判別出結(jié)果，優(yōu)化過程目標(biāo)函數(shù)為：

minGmaxDV(D,G)=Ex～pdata[logD(x)]+

Ez～pz[log(1-D(G,Z))]

(1)

在更新參數(shù)時，采用交替更新，即采用固定一邊，更新另一邊的方式，更新方式如下：

當(dāng)固定G更新D時，對于來自真實數(shù)據(jù)pdata的樣本x而言，通常希望D確定為真實數(shù)據(jù)樣本，即D的輸出接近1的大概率，logD(x)數(shù)值比較大。對于生成器學(xué)習(xí)生成的數(shù)據(jù)G(z)，通常希望D能夠分辨出真假數(shù)據(jù)，即D輸出接近0的小概率，D(G(z))數(shù)值比較小，接近于0，所以log(1-D(G(z)))數(shù)值應(yīng)該比較大，也需要最大化更新。

當(dāng)固定D更新G時，通常希望生成數(shù)據(jù)G(z)盡可能接近真實數(shù)據(jù)，即pg=pdata，此時要求D(G(z))盡量接近1，即log(1-D(G(z)))數(shù)值應(yīng)該比較小，因此需要最小化G。

1.2 基于生成式對抗網(wǎng)絡(luò)的圖像超分辨率重建

基于GAN的架構(gòu)，Goodfellow等[21]將GAN與圖像超分辨率重建結(jié)合，提出了用于圖像超分辨率重建的GAN網(wǎng)絡(luò)(SRGAN)。與SRCNN相比，由于引用了殘差網(wǎng)絡(luò)思想，SRGAN能夠加入更多網(wǎng)絡(luò)層數(shù)，處理較大的放大倍數(shù)，網(wǎng)絡(luò)性能優(yōu)于SRCNN。并且SRGAN重新定義了生成模型G和鑒別器D，網(wǎng)絡(luò)對生成器G進(jìn)行訓(xùn)練生成重建高分辨率圖像(SR)，再通過訓(xùn)練鑒別器D鑒別生成圖像(SR)是否是真實圖像，通過GAN網(wǎng)絡(luò)里的博弈思想使生成重建圖像(SR)騙過鑒別器D，使輸出重建圖像SR的視覺效果更加真實，一定程度上改善了SRCNN重建圖像過度平滑、缺少高頻的問題。

如圖1所示，生成器網(wǎng)絡(luò)結(jié)構(gòu)由3個3×3卷積層，2個完成上采樣的視覺層，1個特征融合層以及1個殘差網(wǎng)絡(luò)構(gòu)成。其中，殘差網(wǎng)絡(luò)由若干個殘差塊相互跳躍連接組成,每個殘差塊中包含2個3×3的卷積層，卷積層后接批規(guī)范層，激活函數(shù)為LeakyRelu，2層上采樣層被用來增大尺寸，特征融合層與LR短接用來重建生成圖像。在鑒別器網(wǎng)絡(luò)中，網(wǎng)絡(luò)中有多層卷積層，激活函數(shù)采用LeakyRelu，最后由2層全連接層輸出判定概率，輸出激活函數(shù)為sigmoid函數(shù)。

圖1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

SRGAN的損失函數(shù)為：

(2)

(3)

式中：r、W、H是單幅圖像的尺度數(shù)據(jù)，分別是圖像通道數(shù)、寬度、高度。

(4)

式中：φi,j是通過VGG19網(wǎng)絡(luò)得到的特征圖；i表示VGG19網(wǎng)絡(luò)中的第i個最大池化層;j表示卷積層的層數(shù)，VGG損失函數(shù)定義了重建圖像特征分布GθG(ILR)和真實圖像IHR之間的歐式距離。相應(yīng)地，Wi,j和Hi,j是VGG網(wǎng)絡(luò)中對應(yīng)特征圖的維數(shù)。通過VGG損失函數(shù)，可以準(zhǔn)確提取VGG19網(wǎng)絡(luò)上某一層的特征圖，并將提取的特征圖和真實圖像的特征圖進(jìn)行比較。對抗損失函數(shù)就是GAN模型定義的鑒別器在所有的生成重建圖像樣本上的概率判斷：

(5)

由式(3)-式(5)可以看出，SRGAN定義了基于內(nèi)容損失與對抗損失加權(quán)和的感知損失函數(shù)，并將VGG損失引入到內(nèi)容損失中，使網(wǎng)絡(luò)能夠根據(jù)VGG19網(wǎng)絡(luò)提取的特征圖之間的歐式距離來進(jìn)行優(yōu)化，并且能夠?qū)⒉┺乃枷胫械膶剐再|(zhì)的相似性引入到傳統(tǒng)的像素空間的像素差異中，基于這些改進(jìn)，達(dá)到改善效果的目的。

2 改進(jìn)方法設(shè)計

2.1 方法介紹

通過研究發(fā)現(xiàn)，SRGAN重建圖像效果相比SRCNN模型在紋理細(xì)節(jié)和觀感上均有提升，但與真實圖像相比，效果仍然還有提升空間。通常對于圖像超分辨率，特征提取網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)定和損失函數(shù)的定義至關(guān)重要。因此，本文從網(wǎng)絡(luò)的特征提取結(jié)構(gòu)和損失函數(shù)這兩個關(guān)鍵組件入手。首先，雖然SRGAN網(wǎng)絡(luò)引入了VGG損失函數(shù)，使網(wǎng)絡(luò)更容易提取圖像的高層特征圖，相比以MSE為目標(biāo)優(yōu)化的損失函數(shù)提升了細(xì)節(jié)，但是在損失函數(shù)的定義上是針對空間像素值差異進(jìn)行優(yōu)化的，沒有將圖像更多的觀察特性定義到損失函數(shù)中去，并且損失函數(shù)形式是基于均方誤差的L1形式導(dǎo)致重建圖像在實際觀感上和真實圖像仍然有差距。其次，單一尺度的卷積核進(jìn)行特征提取會造成LR圖像細(xì)節(jié)信息丟失。本文對SRGAN的感知損失函數(shù)和生成器網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，基于SSIM設(shè)計L1形式的損失函數(shù)并加入到現(xiàn)有的感知損失函數(shù)中，替換掉基于MSE的L2型損失函數(shù)，保留VGG損失函數(shù)，將SSIM損失函數(shù)、VGG損失函數(shù)以及對抗損失函數(shù)進(jìn)行加權(quán)求和作為改進(jìn)后的感知損失函數(shù)。在SRGAN的生成器網(wǎng)絡(luò)結(jié)構(gòu)里加入多尺度卷積核對輸入圖像進(jìn)行特征提取，使SRGAN從LR圖像里提取更多細(xì)節(jié)信息。

2.2 損失函數(shù)的改進(jìn)

本文基于結(jié)構(gòu)相似性(SSIM)設(shè)計損失函數(shù)，在深度學(xué)習(xí)中，處理真值和預(yù)測值的歐式距離等回歸問題通常采用L2形式的損失函數(shù)，非凸形式而且可微分[19]，例如常用的MSE損失函數(shù)。這種形式的損失函數(shù)問題在于沒有考慮人類的視覺系統(tǒng)HVS(human visual system)，HVS包含了圖像局部光照、顏色變化等細(xì)微變化信息，基于像素值差異的損失函數(shù)沒有將符合HVS的指標(biāo)，所以，本文設(shè)計了以SSIM為目標(biāo)的損失函數(shù)，SSIM損失函數(shù)形式上屬于L1形式，沒有均方誤差項，并且SSIM的理論設(shè)計和HVS一致，即可以體現(xiàn)圖像局部結(jié)構(gòu)、色彩、光照等變化，損失函數(shù)形式可導(dǎo)，可以用作損失函數(shù)。通常，PSNR定義為：

(6)

可以看出，PSNR的計算是以MSE為基本進(jìn)行計算的，這就造成了SRGAN網(wǎng)絡(luò)在訓(xùn)練時過度追求極小的MSE，得到較高的PSNR值，但重建出來的圖片通常缺乏高頻內(nèi)容，細(xì)節(jié)紋理過于平滑，圖像整體觀感失真。而本文基于人眼對圖像局部光照、灰度變和結(jié)構(gòu)化敏感的光學(xué)特性，設(shè)計了SSIM損失函數(shù)，定義如下：

(7)

對于兩個圖像之間的結(jié)構(gòu)相似性，0表示完全不同，1表示完全相似。其中：μxμy是圖像X，Y所有像素的平均值；σxy是圖像X，Y像素值的方差；C1、C2和C3均為常數(shù)。SSIM可以看作3個比較部分，分別是：

圖像照明度比較部分：

(8)

圖像對比度比較部分：

(9)

圖像結(jié)構(gòu)比較部分：

(10)

可以看出，因為SSIM加入了圖像照明度、圖像對比度、圖像結(jié)構(gòu)這3個更加符合人類眼球觀感的衡量指標(biāo)，所以重建出來的圖像更貼近人眼的光學(xué)觀測特性。SSIM數(shù)值大小通常在0～1之間，越接近1表示兩幅圖像之間的差異性越小，由于在網(wǎng)絡(luò)訓(xùn)練的過程中損失函數(shù)是朝著不斷變小直至收斂的方向迭代優(yōu)化的，要使重建圖像和真實圖像之間的SSIM數(shù)值隨著迭代次數(shù)增加接近1，可以設(shè)計SSIM損失函數(shù)如下：

(11)

式中：Xi與Yi表示重建圖像SR與真實圖像HR；θ表示網(wǎng)絡(luò)權(quán)值參數(shù)和偏置；i表示遍歷整個訓(xùn)練集的序號。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

在生成器網(wǎng)絡(luò)結(jié)構(gòu)上，本文基于SRGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上引入了多尺度底層特征提取結(jié)構(gòu)，如圖2所示。

圖2 改進(jìn)的生成器網(wǎng)絡(luò)結(jié)構(gòu)

本文使用尺度分別為3×3、5×5、7×7像素值的卷積核提取特征?；贕ooglenet思想進(jìn)行直接連接，會造成經(jīng)過多尺度卷積層后，輸出維度過大的狀況，故本網(wǎng)絡(luò)采用Maxout激活函數(shù)，使最終的輸出維度不會很大，并對輸出特征經(jīng)過一個1×1大小的卷積核，再次起到降維的作用。將提取到的底層特征圖輸入密集殘差網(wǎng)絡(luò)進(jìn)行處理，由于密集殘差網(wǎng)絡(luò)內(nèi)部每一層的卷積層之間采用跳躍連接的方式，每一層之間都可以保證短接，這樣最終輸出特征既不會維度過大導(dǎo)致梯度爆炸，也不會出現(xiàn)梯度消失的情況。另外，去除BN層，使用上采樣層替代，因為根據(jù)He等的實驗結(jié)果，使用BN層來歸一化特征會大量增加網(wǎng)絡(luò)計算量，占用較多內(nèi)存。

F=H3×3(ILR)

(12)

式中：H3×3表示用3×3像素的卷積核進(jìn)行卷積操作得到低分辨率圖像特征圖。同理，基于式(12)可以提取到5×5像素和7×7像素卷積核的圖像特征圖。

如圖3所示，殘差塊網(wǎng)絡(luò)內(nèi)部的特征提取單元由多個卷積層和激活層的組合單元構(gòu)成，加深了網(wǎng)絡(luò)的結(jié)構(gòu)層數(shù)。

圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)

同時，網(wǎng)絡(luò)內(nèi)部采用跳躍連接的連接方式，即各個單元之間相互串接。具有相同特征映射大小的所有特征映射通過此方式連接，并且每個層的輸入被添加到所有先前層的輸出。從前層到后續(xù)層的這條短路徑不僅減輕了梯度消失的問題，而且增強(qiáng)了特征傳播，促進(jìn)了特征重用，并保留了前向傳播的特性將卷積層和活動層的輸出附加到后續(xù)卷積層的輸入。這種方法使網(wǎng)絡(luò)具有連續(xù)存儲功能并連續(xù)發(fā)送每層的狀態(tài)。這樣可以高效地利用每一層網(wǎng)絡(luò)，防止網(wǎng)絡(luò)梯度冗雜，造成梯度爆炸。

經(jīng)過殘差網(wǎng)絡(luò)里的卷積層和激活層后，第一個殘差塊的輸出為：

F1=max(c(RDBn-1),0)

(13)

后續(xù)特征圖經(jīng)過d個特征提取單元后的結(jié)果為:

Fd=Fd-1(…(F1)…)

(14)

特征圖輸入到殘差塊網(wǎng)絡(luò)中，殘差塊網(wǎng)絡(luò)的內(nèi)部殘差塊之間也采用跳躍連接的方式，即上一個殘差塊的輸出會接入到下一層殘差塊的輸出，達(dá)到內(nèi)部殘差學(xué)習(xí)的效果。

fRDBn+1=fRDBn-1+F1×1(PFF(F1,F2,…,Fm))

(15)

式(15)表示經(jīng)過n+1個殘差塊的殘差網(wǎng)絡(luò)后的輸出；m表示提取特征單元的數(shù)目；n表示殘差塊的數(shù)目；PFF表示特征融合；F1×1表示用1×1像素值的卷積核卷積，進(jìn)行降維。

在殘差網(wǎng)絡(luò)提取到圖像多層局部密集特征后，進(jìn)行全局特征融合，在重建前與未經(jīng)過殘差網(wǎng)絡(luò)處理的特征圖再次融合，形成全局殘差學(xué)習(xí)，有利于保持網(wǎng)絡(luò)訓(xùn)練時的梯度，防止梯度彌散或梯度消失。

3 實 驗

3.1 實驗參數(shù)設(shè)置

本文實驗基于Google云服務(wù)器完成，配置為Kaggle k80圖形處理器，12 GB運行內(nèi)存，運行環(huán)境為Windows 10系統(tǒng)，深度學(xué)習(xí)環(huán)境框架為TensorFlow，CUDA加速版本為CUDA Toolkit 8.0，OpenCV3.4版本。本文將學(xué)習(xí)率設(shè)置初始值為0.000 1，當(dāng)訓(xùn)練到一半的epoch時更新學(xué)習(xí)率，學(xué)習(xí)率會適當(dāng)衰減以防止訓(xùn)練時間過長。本文優(yōu)化器采用隨機(jī)梯度下降法(SGD)來訓(xùn)練網(wǎng)絡(luò)。

3.2 訓(xùn)練過程

本文的訓(xùn)練集和測試集采用DIV2K數(shù)據(jù)集，該數(shù)據(jù)集包括了1 000幅HR圖像，圖像細(xì)節(jié)部分比較清晰，適合用作圖像超分辨率。

在訓(xùn)練過程中，訓(xùn)練每個LR圖像生成重建的SR圖像，并且在數(shù)據(jù)集中使用相應(yīng)的HR圖像來計算兩個圖像之間的損失值。神經(jīng)網(wǎng)絡(luò)模型通過這種從LR到SR再到HR這種端到端的映射關(guān)系學(xué)習(xí)網(wǎng)絡(luò)中的權(quán)值參數(shù)配置。

3.3 實驗結(jié)果及分析

為了具體評價本文方法的效果，在同一數(shù)據(jù)集下分別對比測試了SRCNN方法、SRGAN方法和本文方法。實驗結(jié)果采用主觀觀感感受評價和客觀數(shù)據(jù)指標(biāo)評價。主觀觀感感受評價就是直接通過人眼觀察給出評價意見，客觀數(shù)據(jù)指標(biāo)評價是以目前主流的峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM來評價分析。

峰值信噪比是用來衡量兩幅圖像之間的像素值差的量度，可以用于評價圖像質(zhì)量，單位為dB，定義如下：

(16)

(17)

式中：m和n分別為圖像的長和寬。

結(jié)構(gòu)相似性衡量兩幅圖像的相似度，度量范圍[0,1]，值越大就表示兩幅圖像相似度越大

(18)

表1和表2分別表示本文方法和對比測試方法的PSNR和SSIM值，本文選取了部分圖像作為展示效果。從圖4(a)和圖4(b)的展示結(jié)果可以看出，SRGAN相比于SRCNN的效果，在圖片明亮度、清晰度、對比度上均有提升。例如對城堡墻壁的還原，使用SRCNN方法還原得到的圖像較模糊，而使用SRGAN方法還原得到的細(xì)節(jié)較清晰真實，相比SRCNN有明顯提升。對于本文方法，從圖片展示效果可以看出，在圖4(c)城堡頂部的陰影處的紋理和背景紋理過度的地方，本文方法的銳化處理更加自然一些，在圖5(c)蝴蝶背部翅膀的花紋圖案上，本文方法相比SRCNN和SRGAN都更加柔和真實、觀感更加舒適、翅膀上的斑點細(xì)節(jié)還原的最多，也是這幾種方法中最接近真實圖像的。同樣，從圖6(c)與圖6(a)和圖6(b)的對比也可以看出，企鵝后腦部位的黃色羽毛細(xì)節(jié)也是本文方法還原較多，黑白兩色羽毛間的紋理過度也處理得較好。

表1 重建圖像的PSNR值 dB

表2 重建圖像的SSIM值

(c) 本文方法 (d) 真實圖像圖4 城堡圖結(jié)果對比

(a) SRCNN方法 (b) SRGAN方法

(c) 本文方法 (d) 真實圖像圖5 蝴蝶背部結(jié)果對比

(a) SRCNN方法 (b) SRGAN方法

(c) 本文方法 (d) 真實圖像圖6 企鵝圖結(jié)果對比

而在客觀評價指標(biāo)下，本文方法的表現(xiàn)均優(yōu)于其他主流方法，相比SRGAN模型本文模型在峰值信噪比(PSNR)上提高了1.22、1.23、0.93 dB，在結(jié)構(gòu)相似性(SSIM)上提高了0.013 3、0.024 5、0.010 4，可以證明本文方法訓(xùn)練的模型測試得到的效果顯著好于其他方法。

4 結(jié) 語

本文對前人提出的SRGAN網(wǎng)絡(luò)算法上進(jìn)行了改進(jìn)，重新設(shè)計了損失函數(shù)的形式并引入了多尺度卷積核模型，改善了圖像超分辨率后過度平滑，丟失細(xì)節(jié)的問題，提升了圖像重建效果。實驗結(jié)果表明，使用本文方法得到的重建效果在主觀評價和客觀指標(biāo)評價上均好于SRCNN和SRGAN，證明了其有效性。