王冬冬，王 力,2+，姜 敏，王可新，欒 浩

(1.貴州大學 大數(shù)據(jù)與信息工程學院，貴州 貴陽 550025；2.貴州工程應(yīng)用技術(shù)學院 信息工程學院，貴州 畢節(jié) 551700)

0 引 言

圖像分辨率主要取決于采集圖像的硬件設(shè)備性能，提升其性能復(fù)雜且難度大、成本高。因此，圖像超分辨率(super-resolution image reconstruction，SR或SRIR)重建技術(shù)應(yīng)運而生，即從軟件角度，利用相應(yīng)的重建算法將單幀或序列低分辨率圖像(low resolution，LR)生成高分辨率圖像(high resolution，HR)[1]。SR分為基于插值[2]、基于重建[3,4]以及基于學習[5]三大類。傳統(tǒng)SR方法(基于插值、重建)雖簡單快速但重建結(jié)果有棋盤效應(yīng)，視覺上過于平滑，且依賴HR的先驗知識，當圖像放大超過4倍時重建的效果并不好。基于學習是通過訓練HR和LR之間的關(guān)聯(lián)性構(gòu)建出算法模型，將LR送入模型后得到相應(yīng)的HR，此方法更符合實際應(yīng)用，更具優(yōu)勢。Dong等[6]提出基于深度學習下的卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(super-resolution using convolutional neural network，SRCNN)算法改善了重建圖像效果，但網(wǎng)絡(luò)結(jié)構(gòu)單一局部感受野受限。同年，Goodfellow等提出生成對抗網(wǎng)絡(luò)(generative adversa-rial network，GAN)[7]掀起一股熱潮。之后Ledig等[8]將GAN引入SR重建中，提出基于生成對抗網(wǎng)絡(luò)的圖像超分辨率(SRGAN)算法，豐富了重建圖像的高頻細節(jié)，但網(wǎng)絡(luò)訓練不穩(wěn)定。本文在此基礎(chǔ)上提出一種優(yōu)化的生成對抗網(wǎng)絡(luò)的超分辨率算法，穩(wěn)定網(wǎng)絡(luò)訓練性能，同時也提升了圖像評價指標。

1 生成對抗網(wǎng)絡(luò)(GAN)

1.1 GAN模型理論

原始GAN模型由生成器(generator，G)和判別器(discriminator，D)兩個模型構(gòu)成，訓練的思想源于二人零和博弈[9]，G先通過初始輸入的信息去偽造數(shù)據(jù)，D判斷偽造數(shù)據(jù)和真實數(shù)據(jù)，即判斷一個在真假概率數(shù)值為0～1之間的問題。二者通過相互對抗不斷更新優(yōu)化來各自網(wǎng)絡(luò)能力，直到D對于G生成的假數(shù)據(jù)難以正確判斷時，即D輸出的概率為0.5時，就構(gòu)造了一個能生成以假亂真數(shù)據(jù)的GAN模型。

GAN訓練的最終目標是希望D能正確判斷同時又希望G能強大到去混淆D的判斷，可以用以下的公式來表示此目標函數(shù)

(1)

式中：Pdata(x) 表示真實樣本分布，P(z) 表示生成器分布。第一項表示將真實數(shù)據(jù)作為輸入送進D中進行判別真?zhèn)谓Y(jié)果的熵，D希望最大化該結(jié)果為“1”。第二項表示輸入隨機噪聲到G中生成偽造數(shù)據(jù)，再送入到D中判別結(jié)果的熵，而D試圖將結(jié)果最小化為“0”。GAN訓練學習時，G和D是交替優(yōu)化的，先固定G，優(yōu)化D，式(1)可以寫成如下形式

(2)

其中，Pr表示真實樣本，Pg表示生成樣本。上式還可以轉(zhuǎn)化為最小形式

(3)

固定D，優(yōu)化G，則相當于最小優(yōu)化下面式子

(4)

也相當于最小優(yōu)化

(5)

文中的網(wǎng)絡(luò)訓練也基于GAN原理，首先將HR通過預(yù)處理降采樣得到LR，其次將LR作為輸入送入G學習，并輸出生成“偽造”的高分辨率樣本圖像(SR)，最后將SR和HR送到D中學習，輸出判斷后反饋給網(wǎng)絡(luò)，直到D難以區(qū)分真假，即最終獲得的SR為圖像超分辨率重建結(jié)果。通過訓練GAN構(gòu)造學習庫產(chǎn)生模型，對LR進行恢復(fù)的過程中引入由學習模型獲得的先驗知識，以得到圖像的高頻細節(jié)，獲得較好的圖像恢復(fù)效果。流程框架如圖1所示。

圖1 SRGAN訓練流程

1.2 GAN目前存在的問題

原始GAN需要G生成的假數(shù)據(jù)分布不停地去逼近真實數(shù)據(jù)的分布，直到達到最終目標。G的能力強弱直接反應(yīng)了生成數(shù)據(jù)和真實數(shù)據(jù)之間分布相似度的高低。理論上來說，GAN訓練生成的假數(shù)據(jù)可以無限逼近真實數(shù)據(jù)，即GAN模型能到達納什均衡[10]，但實際上只有在梯度下降在凸函數(shù)的情況下才能實現(xiàn)該均衡性。若實際中無法達到這樣的均衡性時，用神經(jīng)網(wǎng)絡(luò)構(gòu)建的D和G則會持續(xù)在一個更新優(yōu)化的調(diào)整狀態(tài)，即也就是GAN模型難以收斂。若訓練途中模型崩潰，模型無法繼續(xù)學習，G會退化導(dǎo)致總生成相同的樣本，D也無法更新判斷，同時無法獲知訓練進程。所以GAN訓練不穩(wěn)定，易造成模型崩潰。

2 方 法

2.1 改進思路

原始GAN是利用本身不連續(xù)性的JS散度[11]去表示生成數(shù)據(jù)和真實數(shù)據(jù)的距離，存在著訓練困難、網(wǎng)絡(luò)的loss無法指示訓練進程、生成樣本缺乏多樣性等問題，因此文獻[12]中提出的WGAN來代替GAN訓練網(wǎng)絡(luò)。不管生成數(shù)據(jù)和真實數(shù)據(jù)分布是否重疊，可以利用Wasserstein 距離描述二者的差異程度，反映出它們之間的相似性。可提高訓練的穩(wěn)定性，避免梯度消失、模型奔潰的問題，且能根據(jù)一個唯一loss監(jiān)控到模型訓練的程度，Wasserstein 距離定義如下

(6)

(7)

其中，θ表示D網(wǎng)絡(luò)的參數(shù)，L為HR圖像和SR圖像分布之間的Wasserstein距離。因此可以轉(zhuǎn)換成擬合函數(shù)Dθ去最大化Wasserstein距離。D的目標從分類任務(wù)變成了回歸任務(wù)，G的目標就是盡力縮短樣本間的Wasserstein距離，解決了原始GAN存在的問題。文獻[14]中提到由多個殘差塊結(jié)構(gòu)疊加構(gòu)成的殘差網(wǎng)絡(luò)，其殘差塊(residual block)和跳躍連接的結(jié)構(gòu)在深層網(wǎng)絡(luò)中能緩解隨著網(wǎng)絡(luò)結(jié)構(gòu)深度增加而帶來的網(wǎng)絡(luò)退化和梯度消失的問題。因此借鑒殘差結(jié)構(gòu)在一定程度上能提高提取特征能力的思想，在D中加入了殘差塊并對其優(yōu)化。在文獻[15]中提出自歸一化神經(jīng)網(wǎng)絡(luò)(self-normalizing neural networks，SNNs)，SNNs具有一定的收斂性，研究發(fā)現(xiàn)其激勵值能逼近零均值和單位方差，其效果類似于批歸一化。其激活函數(shù)：縮放指數(shù)型線性單元(SELU)具有自標準化的特性，不需要進行批量規(guī)范化。因此文中將原始結(jié)構(gòu)中激活函數(shù)relu換為selu，提升網(wǎng)絡(luò)訓練，同時考慮到網(wǎng)絡(luò)結(jié)構(gòu)中過多的冗余層對網(wǎng)絡(luò)訓練性能的影響，參考了文獻[16]中對殘差網(wǎng)絡(luò)結(jié)構(gòu)中的去除歸一化層(bath normalization)提升性能的思想，文中采用該思想用于構(gòu)建新網(wǎng)絡(luò)。

2.2 改進網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)2.1節(jié)的改進思想，具體設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。G網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，為提取LR特征時能擴大其感受野范圍，將LR先送入一層有64個9×9的卷積核，步長為(1，1)的卷積層提取特征后再經(jīng)過16層的殘差網(wǎng)絡(luò)，將殘差塊中的BN層去掉，并將激活函數(shù)relu替換成selu，有利于網(wǎng)絡(luò)訓練加快收斂速度，G中的核心部分就是用于生成高分辨率的16塊相同的殘差塊，同時在殘差塊的輸入與下一層的輸出之間采用殘差直連(skip connection，跳躍連接)，再通過一層卷積，該卷積層的輸出與第一層卷積的輸出同樣采用跳躍連接，接著上層輸出通過兩個Sub-pixel Layer(亞像素卷積層)恢復(fù)出4倍高分辨率圖像的尺寸，最后經(jīng)過一層卷積層后輸出結(jié)果為tf.nn.tanh()，即為-1,1,因為圖像進行了-1,1的預(yù)處理。

D網(wǎng)絡(luò)結(jié)構(gòu)如圖2(b)所示，判別的圖像經(jīng)過一層64個4×4，圖像特征通道數(shù)為3，步長為2×2的卷積層提取特征，加入殘差學習單元，有效的深度提取出SR和HR之間的細節(jié)特征，并對殘差塊做了優(yōu)化，即將兩個3×3的卷積層替1×1+3×3+1×1，先經(jīng)一層1×1卷積層降維減少計算，然后再經(jīng)一層1×1的卷積層下做還原，既保持精度又減少了計算量，經(jīng)多次實驗仿真測試，最終加入3塊優(yōu)化殘差塊較好(注：圖2(b)中由于結(jié)構(gòu)圖過長只畫出一個殘差塊，省略了另外的部分，實際有3塊)，同樣也去除了BN層，激活函數(shù)lrelu替換成selu。再將上層輸出經(jīng)過 5層 卷積層，因為增大局部感受野并且增加圖像特征數(shù)便于提取特征圖細節(jié)，所以卷積層的卷積核大小為4×4，步長為2×2，特征通道數(shù)從64個以2倍的方式遞增至2048個。然后再經(jīng)過三層卷積層對上層輸出進行降維，并采用跳躍連接方式。經(jīng)兩層卷積輸出后通過Flatten Layer壓平圖像維度，原始GAN的D網(wǎng)絡(luò)最后一層是sigmoid函數(shù)用于輸出一個0-1之間的置信度，判斷輸入圖像是生成圖像還是真實圖像。改進的結(jié)構(gòu)去掉原始結(jié)構(gòu)D中的sgmoid層，直接用非線性層Dense Layer(全連接層)對圖像輸出結(jié)果。還用預(yù)訓練好的VGG19來提取生成圖片和真實圖片的conv5層卷積層的特征輸出結(jié)果，比較兩者之間的特征差異，用于生成局部部位的損失值。

圖2 改進網(wǎng)絡(luò)結(jié)構(gòu)

2.3 損失函數(shù)

SRGAN的損失函數(shù)在傳統(tǒng)的代價函數(shù)的基礎(chǔ)上加入了對抗損失能有效提升圖像視覺效果，公式如下

(8)

(9)

SR的算法中大多以優(yōu)化上式(9)得到較高的信噪比，但是圖像缺失高頻細節(jié)，因此引入基于預(yù)訓練好的VGG19網(wǎng)絡(luò)提取特征的損失值

(10)

式(10)表示HR送入預(yù)VGG19后輸出結(jié)果與SR送入VGG19后輸出結(jié)果像素之間的損失，其中W表示圖像的長，H表示圖像的寬。φi,j表示VGG網(wǎng)絡(luò)中第i層最大池化層后的第j個卷積層得到的特征圖。Wi,j和Hi,j表示特征圖的維度。

式(8)第三項表示基于D網(wǎng)絡(luò)輸出的概率的對抗損失，表示LR圖像輸入G網(wǎng)絡(luò)后生成的結(jié)果再送入D網(wǎng)絡(luò)的判別結(jié)果與實際值的交叉熵，可表示為

(11)

其中，DθD是圖像屬于真實HR圖像的概率GθG(ILR)， 表示SR圖像。改進的模型引入Wasserstein距離進行優(yōu)化，若使得下面公式

L=EIHR～Pr(IHR)[DθD(IHR)]-EILR～PG(ILR)[DθD(ILR)]

(12)

達到最大時，或

L=-(EIHR～Pr(IHR)[DθD(IHR)]+EILR～PG(ILR)[DθD(ILR)])

(13)

到達最小時，那Wasserstein距離就可以用L來表示，G網(wǎng)絡(luò)的目標就是最小化L。

3 實驗仿真及結(jié)果對比分析

實驗環(huán)境是顯卡為GTX1080Ti，處理器為i7 7800x，運行內(nèi)存為32 G，CUDA8.0，CUDNN7.1.4的硬件環(huán)境，以及以TensorFlow相關(guān)的庫為框架搭建，以Python3.5為編寫語言的軟件環(huán)境。實驗中訓練集來自NTIRE2018的DIV2K數(shù)據(jù)集中的800張高清圖(2K分辨率)，通過Matlab工具箱對其翻轉(zhuǎn)放縮等方法擴充訓練集。測試集采用Set5，Set14以及BSD100這3個公開的基準數(shù)據(jù)集。為驗證文中的SR方法重建效果，實驗仿真選取了幾種較為經(jīng)典且常見的不同的SR方法進行對比，有傳統(tǒng)方法中的最近鄰插值(nearest)和雙三次插值(Bicubic)[17]，有深度學習下的SRCNN，以及原始SRGAN。

3.1 網(wǎng)絡(luò)訓練參數(shù)

實驗硬件設(shè)備受限，batch_size設(shè)為16，開始訓練GAN之前，先初始化優(yōu)化G，即對G先迭代100輪，之后才開始訓練整個網(wǎng)絡(luò)，迭代30 000次，初始化學習率為0.0001，衰減率為0.1，每迭代15 000次學習率就下降為原來的0.1倍，同時每迭代500次就保存一次模型。在模型代碼中加入Tensorboard可視化監(jiān)控loss的下降情況，掌握模型訓練程度。

3.2 主客觀評價指標

常使用客觀評價指標評價圖像超分辨率的效果?？陀^評價注重的是重構(gòu)圖像與真實圖像在數(shù)據(jù)上的差距，常見的有峰值信噪比(PSNR，單位是dB)和結(jié)構(gòu)相似性(SSIM，在0～1的范圍)。PSNR和SSIM的數(shù)值越大代表效果好，常以二者數(shù)值的高低來評判圖像效果，但文獻[18,19]中研究實驗結(jié)果表明其客觀數(shù)值與人的視覺感官是有很大差別的，有時其數(shù)值低的圖像視覺效果反而比數(shù)值高的要好[20]，因此需要結(jié)合主觀評價，通常以人感官為主體，用肉眼感受圖像，以及對圖像本身的認知特點，對圖像的好壞給出評價，常見的有平均意見指數(shù)(MOS)。本文分別采用PSNR、SSIM和MOS對實驗結(jié)果綜合評價并分析。

3.3 結(jié)果分析

訓練模型時通過Tensorboard可視化監(jiān)控網(wǎng)絡(luò)訓練的程度如圖3所示。圖3中橫坐標表示訓練時間，縱坐標表示loss值(模型代碼loss值以負值表示)。從圖3看出，在訓練5個小時之前，曲線波動比較大，訓練5個小時之后圖中的曲線基本上沒有較大的波動，網(wǎng)絡(luò)迭代大概9525次之后，loss值在-7.047之間極小范圍的浮動，基本不再變化，模型進入穩(wěn)定訓練的狀態(tài)，說明改進的網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過一段時間的訓練后loss值趨于收斂，模型達到穩(wěn)定的狀態(tài)。

圖3 利用Tensorboard監(jiān)控到的loss

3.3.1 客觀結(jié)果及分析

分別計算3個基準數(shù)據(jù)集各個SR方法下的每張HR和SR之間的PSNR和SSIM的值，最終并計算出各個測試集下的PSNR(dB)平均值和SSIM的平均值，得到不同SR方法下的客觀評價標準結(jié)果見表1。

表1中可以看到，在3個測試集中，Nearest、Bicubic、SRCNN方法的PSNR和SSIM的數(shù)值呈逐漸增加的一個趨勢。在Set5、Set14中，原始的SRGAN下的PSNR和SSIM雖比SRCNN低，但均高于Nearest和Bicubic；在BSD100中，SRGAN的PSNR和SSIM略低于Nearest和Bicubic。在Set5中，文中改進SR方法的PSNR和SSIM數(shù)值是最高的。在Set14和BSD100中，文中改進SR方法下的PSNR和SSIM雖然略低于SRCNN，但是高于SRGAN?？梢姳疚母倪M的網(wǎng)絡(luò)結(jié)構(gòu)不僅能穩(wěn)定訓練網(wǎng)絡(luò)，而且綜合3個測試集的評價指標并求平均值來看，在SRGAN基礎(chǔ)上PSNR提高了1.311 dB以及SSIM提高了5.47%。

表1 3個測試集下不同SR方法客觀評價指標結(jié)果對比

3.3.2 主觀結(jié)果及分析

由于客觀評價數(shù)值與人的視覺感官存在一定的差別，需結(jié)合主觀的評價來對重建圖像的整體視覺效果進行評價，因此，此小節(jié)采用MOS作為主觀評價指標分析重建圖像，即隨機讓30個評分者根據(jù)個人的主觀感受對測試集上的每張圖像中不同SR方法重建出的圖像進行評分(1～5分，分數(shù)1表示圖像質(zhì)量差，視覺效果差，分數(shù)5表示圖像質(zhì)量較好，視覺效果好)，計算出其平均分，得到主觀下的MOS評價結(jié)果見表2。

表2 3個測試集下不同SR方法主觀評價(MOS)結(jié)果對比

3.3.3 綜合評價

結(jié)合表1的客觀數(shù)值和表2的MOS值以及圖4細節(jié)對比圖來看：Nearest的MOS值最低，重建結(jié)果視覺上看起來比較模糊，有比較明顯的方塊。Bicubic的MOS雖然比Nearest高一些，但重建結(jié)果并不好，圖像過于平滑，視覺上也顯得模糊。SRCNN的MOS值相比于前兩者有所提高，重建效果也比Nearest和Bicubic有明顯的改善，但是與SRGAN相比細節(jié)上又缺少了些真實感。SRGAN和改進的方法的MOS比前幾種SR方法高出許多，改進的方法只比SRGAN略低一點，差別不大，重建結(jié)果都顯示出逼真的紋理細節(jié)。綜合客觀和主觀分析結(jié)果來看，傳統(tǒng)方法Nearest和Bicubic視覺效果不佳，重建效果明顯低于基于學習方法下的SRCNN和SRGAN以及文中改進的方法，可見基于學習的SR方法更具優(yōu)勢。文中改進的方法的PSNR和SSIM數(shù)值雖比SRCNN偏低些，但是就主觀MOS視覺對比來看，細節(jié)方面明顯處理得比SRCNN好，紋理細節(jié)相對來說更豐富，視覺效果更真實，而且PSNR和SSIM的值比原始SRGAN均有所提升，說明提出的改進方法是可行的。

圖4 測試集中某張圖片下不同SR方法重建結(jié)果的細節(jié)放大對比

4 結(jié)束語

文中提出改進的GAN圖像超分辨率方法，用Wasserstein代替JS散度優(yōu)化穩(wěn)定網(wǎng)絡(luò)的訓練，加入優(yōu)化殘差塊有效提取深層特征，并在網(wǎng)絡(luò)結(jié)構(gòu)中替換激活函數(shù)SELU提高網(wǎng)絡(luò)訓練性能，加快收斂；去除殘差塊中的冗余層保證精度的同時減少計算量。實驗結(jié)果表明，改進的方法的評價指標的結(jié)果相對于原始SRGAN的PSNR提高了1.311 dB，SSIM提高了5.47%。網(wǎng)絡(luò)訓練穩(wěn)定性也比原始的SRGAN好。下一步的目標繼續(xù)研究基于學習方法下SR的高效方法，希望能重建出更好的高分辨率圖像。