黃力

（福州職業(yè)技術(shù)學(xué)院信息技術(shù)工程系 福建省福州市 350108）

1 引言

隨著圖像處理與計(jì)算機(jī)視覺研究的深入，圖像超分辨率重建逐漸成為了研究重點(diǎn)和難點(diǎn)[1]。該問題的任務(wù)就是采用機(jī)器學(xué)習(xí)方法，從單幅或多幅低分辨率圖像中重建出高分辨率圖像。深度學(xué)習(xí)的崛起使得圖像超分辨率重建出現(xiàn)了更多的解決方法。在卷積神經(jīng)網(wǎng)絡(luò)上構(gòu)建的超分辨率重建方法(SRCNN)[2]，通過多層神經(jīng)網(wǎng)絡(luò)映射低分辨率和高分辨率圖像之間的聯(lián)系，重建出的圖像比傳統(tǒng)方法性能更好。在此基礎(chǔ)上，由于3 層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，無法構(gòu)建深層特征，快速的SRCNN 方法[3]則通過8 層卷積神經(jīng)網(wǎng)絡(luò)提升SRCNN 的性能，通過深度神經(jīng)網(wǎng)絡(luò)的反卷積過程，代替?zhèn)鹘y(tǒng)的插值方法完成上采樣過程，極大的提升了超分辨率重建的效率。深度遞歸神經(jīng)網(wǎng)絡(luò)通過遞歸的方式大量減少網(wǎng)絡(luò)參數(shù)，提升超分辨率重建效果的同時(shí)也能夠極大的改善訓(xùn)練效率[4]。

如今，生成式對(duì)抗網(wǎng)絡(luò)已經(jīng)成為了神經(jīng)網(wǎng)絡(luò)的又一個(gè)研究熱點(diǎn)[5]，基于生成式對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建帶來了更好的結(jié)果，更清晰的邊緣與紋理，獲得了更佳的圖像超分辨率重建性能。首先使用改進(jìn)的帶Wasserstein 距離和梯度懲罰的生成式對(duì)抗網(wǎng)絡(luò)模型(WGAN-GP)，并在該模型基礎(chǔ)上建立深度特征均方誤差，用于圖像超分辨率重建工作。通過這些改進(jìn)的過程，解決訓(xùn)練生成式對(duì)抗網(wǎng)絡(luò)的梯度消失問題。在判別器誤差上引入了基于深度模型特征圖的均方誤差，用于提升重建后圖像的邊緣與紋理強(qiáng)度，從而獲得更好的重建效果。

2 改進(jìn)的WGAN-GP圖像超分辨率重建模型

2.1 圖像超分辨率重建模型

在改進(jìn)的GANs 圖像超分辨率重建模型設(shè)計(jì)中，我們采用多個(gè)深度殘差網(wǎng)絡(luò)塊[6]，提升生成器和判別器訓(xùn)練時(shí)的效率和準(zhǔn)確度。圖1 給出了本文改進(jìn)的WGAN-GP圖像超分辨率重建模型。生成器模型包含有初始卷積層，6個(gè)DRNB，兩個(gè)重建層和一個(gè)結(jié)束卷積層。在生成器中，我們采用ReLU 作為神經(jīng)網(wǎng)絡(luò)層的激活函數(shù)，在生成器中采用批歸一化處理提升樣本的多樣性[7]。判別器模型包含有兩個(gè)初始卷積層，6 個(gè)DRNB，兩個(gè)全連接層以及一個(gè)sigmoid 判斷層。在判別器中，我們采用LeakyReLU 作為神經(jīng)網(wǎng)絡(luò)層的激活函數(shù)[8]，并且也采用BN 提升樣本的多樣性。

圖1：改進(jìn)的WGAN-GP圖像超分辨率重建模型

2.2 基于深度特征均方誤差函數(shù)

2.3 算法流程

本文構(gòu)建的改進(jìn)的WGAN-GP圖像超分辨率重建算法流程如下：

（1）分別基于深度神經(jīng)網(wǎng)絡(luò)平臺(tái)，構(gòu)建如圖1所示的生成器和判別器；

（2）將低分辨率樣本輸入至生成器中，并將真實(shí)的高分辨率樣本輸入至判別器中，而且生成器的輸出將傳遞至判別器中；

（3）根據(jù)當(dāng)前生成器的生成樣本與真實(shí)樣本，結(jié)合預(yù)訓(xùn)練的VGG 模型，計(jì)算公式（8），（9）和（10）的內(nèi)容誤差、對(duì)抗誤差和正則化誤差；

（4）將GANs 的判別誤差、原始圖像的內(nèi)容誤差，以及梯度懲罰的正則化誤差進(jìn)行加權(quán)，作為圖像超分辨率重建的損失函數(shù)lSR，并使用公式（5）給出的改進(jìn)梯度懲罰的基于WGANs-GP 的損失函數(shù)優(yōu)化，通過優(yōu)化該損失函數(shù)獲取最小值，并保留損失函數(shù)最優(yōu)情況下的生成器、判別器網(wǎng)絡(luò)參數(shù)；

（5）停止條件包含最大迭代次數(shù)或者誤差函數(shù)達(dá)到最小值，二者達(dá)到一個(gè)即可獲得最佳的生成器，產(chǎn)生最佳的圖像超分辨率重建結(jié)果。

（6）通過若干次迭代后達(dá)到最大迭代次數(shù)或損失函數(shù)lSR達(dá)到最小閾值，生成器達(dá)到最佳，可以用于對(duì)圖像的超分辨率重建。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)初始化

為了驗(yàn)證本文提出圖像超分辨率重建算法的可行性與有效性，我們?cè)趫D像分割和重建的常用數(shù)據(jù)集BSD100 上進(jìn)行對(duì)比實(shí)驗(yàn)。為了進(jìn)行橫向?qū)Ρ?，所有的?shí)驗(yàn)均是將縮小了4×被的圖像進(jìn)行超分辨率重建為原始圖像大小?？陀^驗(yàn)證指標(biāo)采用信號(hào)重建常用的兩個(gè)經(jīng)典指標(biāo)，峰值信噪比和結(jié)構(gòu)相似性[11]。為了橫向?qū)Ρ人惴ǎ覀儗?dāng)前效果最佳的算法SRCNN[3],DRCN[4],SRGAN[5]以及SRWGAN[12]算法，與本文提出的改進(jìn)圖像超分辨率重建算法進(jìn)行主觀重建映像和客觀指標(biāo)的橫向?qū)Ρ取?shí)驗(yàn)的硬件環(huán)境為Intel(R) Core(TM) i7-6500U CPU，并搭配兩塊NVIDIA GeForece GTX 1080Ti GPU,內(nèi)存為64GB。在訓(xùn)練中，我們從低樣本的圖像中每次隨機(jī)截取96*96 的圖像子塊(mini-batch)輸入至GANs 中進(jìn)行訓(xùn)練。在訓(xùn)練GANs 中優(yōu)化損失函數(shù)時(shí)，我們采用WGANs 中給出的采用RMSprop 優(yōu)化方式。在GANs 中由降采樣后的低分辨率圖像構(gòu)造高分辨率圖像的卷積層，我們采用上卷積操作完成圖像的上采樣，并用生成器的最后一層獲得超分辨率重建內(nèi)容。

3.2 實(shí)驗(yàn)結(jié)果

在橫向?qū)Ρ雀鱾€(gè)算法的實(shí)驗(yàn)中，我們采用圖像數(shù)量相同的訓(xùn)練集和測(cè)試集，訓(xùn)練的迭代次數(shù)均設(shè)置為1.2 萬次。圖2 給出了迭代過程中的生成器誤差和判別器誤差。其中，生成器誤差越接近于0，說明超分辨率重建后生成的結(jié)果越接近真實(shí)圖像；判別器誤差越接近于0.5，說明判別器無法判斷生成樣本與真實(shí)樣本，也就是生成的結(jié)果越接近真實(shí)圖像。從圖中的結(jié)果可以看出，隨著迭代次數(shù)的進(jìn)行，低分辨率圖像的超分辨率重建逐漸獲得穩(wěn)定的結(jié)果。

圖2：SRWGAN-GP 算法的迭代誤差圖

表1 給出了PSNR 以及SSIM 兩個(gè)圖像超分辨率重建的客觀指標(biāo)對(duì)比結(jié)果。表中給出的結(jié)果是測(cè)試數(shù)據(jù)集上所有測(cè)試結(jié)果的平均值。從兩個(gè)客觀評(píng)價(jià)圖像重建效果的指標(biāo)上可以看出，本文提出的SRWGAN-GP 優(yōu)于SRCNN,ExSR,DRCN 等算法，與采用傳統(tǒng)GAN 的SRGAN 以及SRWGAN 相比，本文算法在兩個(gè)客觀評(píng)價(jià)指標(biāo)上也獲得了一定的提升。圖3 給出了在BSD100 數(shù)據(jù)集上SRGAN，WSRGAN 以及本文提出的SRWGAN-GP 的超分辨率圖像重建結(jié)果。

表1：BSD100 數(shù)據(jù)集上圖像超分辨率重建PSNR 及SSIM 結(jié)果對(duì)比

圖3：BSD100 數(shù)據(jù)集超分辨率圖像重建結(jié)果

3.3 結(jié)果分析

根據(jù)對(duì)比實(shí)驗(yàn)中的結(jié)果可以看出，本文改進(jìn)的WGAN-GP圖像超分辨率重建模型能夠獲得比現(xiàn)有算法更好的性能。SRWGANGP 在圖像超分辨率重建上的結(jié)果優(yōu)于SRGAN 以及SRWGAN 的結(jié)果，且能夠在訓(xùn)練過程中保證很好的誤差梯度，在訓(xùn)練中不存在誤差精度出現(xiàn)消失的情況。在內(nèi)容誤差的對(duì)比探索結(jié)果中，PSNR與SSIM 兩個(gè)客觀評(píng)價(jià)指標(biāo)無法準(zhǔn)確給出重建圖像的質(zhì)量評(píng)價(jià)，與人類視覺系統(tǒng)給出的重建圖像質(zhì)量評(píng)價(jià)出現(xiàn)了違背情況。實(shí)際上，PSNR 只能給出峰值的信噪比，無法給出超分辨率重建圖像的整體質(zhì)量評(píng)價(jià)。因此，在后續(xù)的工作中我們應(yīng)該將圖像質(zhì)量評(píng)價(jià)指標(biāo)作為研究重點(diǎn)。另外，由于本研究采用的是生成式對(duì)抗網(wǎng)絡(luò)，在圖像超分辨率重建時(shí)的效率還不高，不能給出實(shí)時(shí)的視頻流圖像超分辨率重建。一方面，這是因?yàn)槲覀儾捎昧溯^多的深度殘差網(wǎng)絡(luò)層來提升圖像超分辨率重建的精度，進(jìn)一步研究的重點(diǎn)還可以放在構(gòu)建更有意義的損失函數(shù)以較少深度殘差網(wǎng)絡(luò)層數(shù)，以期獲得更低的訓(xùn)練和重建效率，保證圖像超分辨率重建達(dá)到實(shí)時(shí)的效果。

4 總結(jié)

在本研究中，通過基于梯度懲罰的改進(jìn)生成式對(duì)抗網(wǎng)絡(luò)以及基于深度特征圖的均方誤差作為損失函數(shù)，完成了對(duì)圖像超分辨率的重建工作。與現(xiàn)有算法相比，本研究構(gòu)建的SRWGAN-GP 算法具有穩(wěn)定的梯度與交替迭代收斂能力，提供的深度模型特征圖的均方誤差能夠?yàn)槌直媛手亟▓D像提供良好的邊緣和紋理細(xì)節(jié)。與現(xiàn)有主流算法相比，本研究提出的算法獲得了更好的圖像超分辨率重建性能，以及更優(yōu)秀的圖像超分辨率重建的效果。并且，傳統(tǒng)的刻畫圖像超分辨率重建質(zhì)量評(píng)價(jià)指標(biāo)PSNR 與SSIM 效果不佳。今后的研究包括，構(gòu)建更可靠的圖像質(zhì)量評(píng)價(jià)指標(biāo)，以及構(gòu)建更有意義的損失函數(shù)以較少深度殘差網(wǎng)絡(luò)層數(shù)，從而讓圖像超分辨率重建能夠應(yīng)用至更廣泛的領(lǐng)域。