姜玉寧，李勁華，2，趙俊莉

（1.青島大學(xué)數(shù)據(jù)科學(xué)與軟件工程學(xué)院，山東青島 266071；2.青島市船舶建造智能精度測量工程研究中心，山東青島 266071）

0 概述

單幀圖像超分辨率（Single Image Super-Resolution，SISR）重建作為低層次計(jì)算機(jī)視覺處理任務(wù)，在軍事、遙感、醫(yī)學(xué)和視頻監(jiān)控等領(lǐng)域應(yīng)用廣泛。SISR 的目標(biāo)是從單幅低分辨率（Low Resolution，LR）圖像中恢復(fù)出高分辨率（High Resolution，HR）圖像，主要有基于插值的算法、基于重建的算法和基于學(xué)習(xí)的算法?；诓逯档乃惴ǎ?-3］是利用相鄰像素點(diǎn)的信息預(yù)估HR 圖像像素值，其計(jì)算較簡單，可在線性時(shí)間內(nèi)生成圖像的超分辨率（Super-Resolution，SR），但其未考慮整張圖像的語義，導(dǎo)致生成的圖像缺少原始圖像高頻細(xì)節(jié)信息且無法實(shí)現(xiàn)圖像銳化，即使增加圖像的像素點(diǎn)視覺效果也較模糊，存在嚴(yán)重的失真現(xiàn)象?；谥亟ǖ乃惴ㄊ窃贚R 圖像與HR 圖像之間引入圖像先驗(yàn)或約束條件，利用樣本信息計(jì)算得到真實(shí)數(shù)據(jù)的分布情況?；谥亟ǖ乃惴òㄍ辜队胺ǎ?］、迭代反投影法［5］和最大后驗(yàn)概率估計(jì)法［6］，該算法由于受計(jì)算資源和先驗(yàn)條件約束，因此無法生成高質(zhì)量圖像。

近年來，基于深度學(xué)習(xí)的算法相繼出現(xiàn)。文獻(xiàn)［7］采用SRCNN方法將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）應(yīng)用于SISR 重建，隨后多種基于CNN 的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)［8-9］和訓(xùn)練策略［10-11］被提出，然而這些方法均傾向于輸出過度平滑且高頻細(xì)節(jié)缺失的結(jié)果。針對(duì)該問題，文獻(xiàn)［12］提出在特征空間而非像素空間計(jì)算的感知損失優(yōu)化超分辨率模型，有效避免了輸出過度平滑與高頻細(xì)節(jié)缺失問題。文獻(xiàn)［9，13］將生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）［14］引入超分辨率重建任務(wù)，以促使網(wǎng)絡(luò)生成更真實(shí)自然的圖像。文獻(xiàn)［15］在超分辨率生成式對(duì)抗網(wǎng)絡(luò)（Super-Resolution Generative Adversarial Networks，SRGAN）結(jié)構(gòu)的基礎(chǔ)上使用去除批量歸一化（Batch Normalization，BN）層的殘差塊（Residual Block，RB）并提出增強(qiáng)深度殘差網(wǎng)絡(luò)，獲得更豐富的高頻細(xì)節(jié)信息。文獻(xiàn)［16］以殘差密集塊（Residual Dense Block，RDB）作為生成網(wǎng)絡(luò)的主體，雖然可提升圖像重建效果，但圖像偽影較多。

為提高圖像重建質(zhì)量，本文提出一種紋理增強(qiáng)的生成式對(duì)抗網(wǎng)絡(luò)超分辨率（Texture Enhanced Super-Resolution Generative Adversarial Networks，TESRGAN）重建算法。使用去除批量歸一化層的殘差密集塊構(gòu)成生成網(wǎng)絡(luò)，以VGG19 網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)的基本框架，在加強(qiáng)前向特征復(fù)用、減少參數(shù)量的同時(shí)控制生成圖像的訓(xùn)練方向，融合紋理損失函數(shù)、感知損失函數(shù)、對(duì)抗損失函數(shù)和內(nèi)容損失函數(shù)構(gòu)成生成器的目標(biāo)函數(shù)，并在Set5、Set14 和BSD100 數(shù)據(jù)集上重建圖像。

1 相關(guān)理論

1.1 生成式對(duì)抗網(wǎng)絡(luò)

GAN 是一種通過對(duì)抗過程估計(jì)深度學(xué)習(xí)中生成模型的新框架，其結(jié)構(gòu)如圖1 所示，主要包括生成器G和判別器D。GAN 的基本思想是零和博弈論，其采取對(duì)抗學(xué)習(xí)的方式訓(xùn)練和優(yōu)化模型達(dá)到納什平衡［17］，估測數(shù)據(jù)樣本的潛在分布并生成新的數(shù)據(jù)樣本目標(biāo)。GAN 的生成器和判別器用任意可微分的函數(shù)表示，分別以隨機(jī)變量z和真實(shí)數(shù)據(jù)x作為輸入。G（z）表示由生成器生成的服從真實(shí)樣本分布pdata的數(shù)據(jù)。判別器D可視為二分類器，如果判別器D的輸入為真實(shí)數(shù)據(jù)，則其輸出1，否則其輸出0。生成器G的目標(biāo)是迷惑判別器D使其對(duì)生成器G輸出的評(píng)價(jià)結(jié)果接近1。生成器G與判別器D相互對(duì)抗迭代優(yōu)化，直到判別器D無法區(qū)分輸入樣本是來自生成器G還是來自pdata，此時(shí)可認(rèn)為已獲得目標(biāo)生成器G。

圖1 GAN 結(jié)構(gòu)Fig.1 GAN structure

GAN 目標(biāo)函數(shù)的表達(dá)式為：

生成器G要最小化目標(biāo)函數(shù)以生成能更好地迷惑判別器D的樣本數(shù)據(jù)，而判別器D要最大化目標(biāo)函數(shù)，使判別器D能更好地分辨樣本數(shù)據(jù)的真?zhèn)巍?/p>

1.2 密集卷積網(wǎng)絡(luò)

在深度學(xué)習(xí)網(wǎng)絡(luò)中，梯度消失和梯度彌散問題常隨網(wǎng)絡(luò)層數(shù)的增加而加重。針對(duì)該問題，ResNets［18］、Highway Networks［19］和Stochastic depth［20］等網(wǎng)絡(luò)應(yīng)運(yùn)而生。雖然這些網(wǎng)絡(luò)的結(jié)構(gòu)與訓(xùn)練過程不同，但其關(guān)鍵點(diǎn)都在于創(chuàng)建了從前期特征層到后期特征層的短路徑。為保證不同特征層之間信息流的最大程度傳遞，文獻(xiàn)［21］提出一種密集卷積網(wǎng)絡(luò)（Dense Convolutional Networks，DenseNet）。DenseNet 的每一層均從其所有前饋層中獲得額外的特征輸入，并將其自身的特征圖傳到后續(xù)所有層中進(jìn)行有效訓(xùn)練。假設(shè)DenseNet 有L層，則其中有（L+1）/2 個(gè)連接，而L層的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有L個(gè)連接。因此，DenseNet 是一種更深層和有效的卷積網(wǎng)絡(luò)，其密集連接機(jī)制如圖2 所示（其中C表示級(jí)連接操作）。該網(wǎng)絡(luò)可顯著緩解梯度消失問題，其增強(qiáng)特征傳播、鼓勵(lì)特征復(fù)用的結(jié)構(gòu)設(shè)計(jì)可大幅減少參數(shù)量。目前DenseNet 已廣泛應(yīng)用于圖像分類［21］、語義切割［22］和語音識(shí)別［23］等領(lǐng)域。

圖2 DenseNet 的密集連接機(jī)制Fig.2 Dense connection mechanism of DenseNet

1.3 WGAN-GP

為解決GAN 訓(xùn)練不穩(wěn)定與網(wǎng)絡(luò)易崩潰的問題，文獻(xiàn)［24］提出Wasserstein 生成式對(duì)抗網(wǎng)絡(luò)（Wasserstein GenerativeAdversarial Networks，WGAN），用Wasserstein距離代替JS 散度來度量真實(shí)樣本和生成樣本之間的距離，無需平衡生成器與判別器的訓(xùn)練程度并可確保生成樣本的多樣性。但WGAN 采取的權(quán)重剪枝策略會(huì)導(dǎo)致參數(shù)集中化以及調(diào)參時(shí)梯度爆炸與梯度消失問題。為此，文獻(xiàn)［25］在WGAN 基礎(chǔ)上提出梯度懲罰Wasserstein 生成式對(duì)抗網(wǎng)絡(luò)（Wasserstein Generative Adversarial Nets-Gradient Penalty，WGAN-GP），進(jìn)一步改進(jìn)網(wǎng)絡(luò)的目標(biāo)函數(shù)并懲罰判別器對(duì)輸入的梯度，其性能優(yōu)于WGAN。WGAN-GP 可穩(wěn)定訓(xùn)練針對(duì)圖像生成和語言模型的GAN 架構(gòu)，不需調(diào)整超參數(shù)，并能以更快的收斂速度生成比WGAN 質(zhì)量更高的樣本。WGAN-GP 未改變GAN 結(jié)構(gòu)，僅從目標(biāo)函數(shù)的表達(dá)式及優(yōu)化方法的選擇上對(duì)WGAN 進(jìn)行改進(jìn)。

2 TESRGAN 算法

本文提出的TESRGAN 算法以生成式對(duì)抗網(wǎng)絡(luò)為框架，主要包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，TESRGAN算法結(jié)構(gòu)如圖3 所示。生成網(wǎng)絡(luò)的輸入是LR 圖像，經(jīng)卷積提取特征后輸入殘差模型進(jìn)行非線性映射，再通過上采樣層和卷積層重建圖像后輸出生成的HR 圖像，并將其與真實(shí)HR 圖像輸入判別網(wǎng)絡(luò)，經(jīng)由卷積（Conv）層、LeakyReLU 函數(shù)和BN 層構(gòu)成的特征提取模塊以及由全局平均池化（GlobalAverage Pooling，GAP）操作、LeakyReLU 函數(shù)、全連接層（Dense（1））與Sigmoid 函數(shù)構(gòu)成的線性分類模塊處理后，可判別輸入樣本的真假。

圖3 TESRGAN 算法結(jié)構(gòu)Fig.3 Structure of TESRGAN algorithm

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 生成網(wǎng)絡(luò)

網(wǎng)絡(luò)的BN 層在訓(xùn)練期間易引入偽影并限制泛化能力，去除BN 層可降低網(wǎng)絡(luò)的計(jì)算復(fù)雜性，并提高網(wǎng)絡(luò)在超分辨率任務(wù)［15］和去模糊任務(wù)［26］上的重建性能。為提高圖像重建質(zhì)量，本文提出的TESRGAN在SRGAN生成網(wǎng)絡(luò)的結(jié)構(gòu)上進(jìn)行改進(jìn)，移除SRGAN中所有BN層，用LeakyReLU 函數(shù)代替ReLU 函數(shù)作為網(wǎng)絡(luò)的非線性激活函數(shù)以避免梯度消失，LeakyReLU 函數(shù)的計(jì)算公式如下：

其中，x為輸入，y為輸出，a為范圍為（0，1）的實(shí)數(shù)。

由于深層次網(wǎng)絡(luò)與多級(jí)連接可提高網(wǎng)絡(luò)性能［23，27-28］，因此本文使用殘差密集塊代替SRGAN的殘差塊構(gòu)成生成網(wǎng)絡(luò)基本單元。殘差密集塊比殘差塊結(jié)構(gòu)更深且更復(fù)雜，其兼具殘差網(wǎng)絡(luò)與密集連接的優(yōu)勢，能在增加網(wǎng)絡(luò)深度的同時(shí)提升圖像特征信息利用率，最終提高重建圖像的質(zhì)量，殘差塊和殘差密集塊的結(jié)構(gòu)如圖4 所示。本文TESRGAN 算法的生成網(wǎng)絡(luò)為包含36 個(gè)殘差塊的深層網(wǎng)絡(luò)，因此其具有更大的容量和更強(qiáng)的語義信息捕捉能力，能減少重建圖像的噪音，生成具有真實(shí)精細(xì)紋理的圖像。

圖4 殘差塊和殘差密集塊的結(jié)構(gòu)Fig.4 Structure of residual block and residual dense block

2.1.2 判別網(wǎng)絡(luò)

TESRGAN 算法的判別網(wǎng)絡(luò)以經(jīng)典的VGG19 網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)，包括特征提取模塊和線性分類模塊。特征提取模塊共有16 個(gè)卷積層，在每個(gè)卷積層后使用LeakyReLU 作為激活函數(shù)。為避免梯度消失并增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性，特征提取模塊中除了首個(gè)卷積層之外，其他每個(gè)卷積層后均設(shè)置BN 層。判別網(wǎng)絡(luò)需對(duì)輸入的樣本圖像進(jìn)行真假判斷。為避免網(wǎng)絡(luò)訓(xùn)練速度過慢與增大過擬合風(fēng)險(xiǎn)，本文使用全局平均池化［29］操作代替全連接層，計(jì)算特征提取模塊中每層特征圖的像素平均值，并對(duì)其進(jìn)行線性融合后輸入Sigmoid 激活函數(shù)，最終網(wǎng)絡(luò)輸出判別器對(duì)輸入樣本圖像的分類結(jié)果。判別網(wǎng)絡(luò)的訓(xùn)練有助于生成網(wǎng)絡(luò)重建出更接近真實(shí)圖像的高分辨率圖像。

2.2 損失函數(shù)

損失函數(shù)是影響圖像重建質(zhì)量的重要因素。為恢復(fù)圖像高頻信息，提升圖像直觀視覺體驗(yàn)，本文采用調(diào)整的感知損失函數(shù)Lper、紋理損失函數(shù)Ltex、內(nèi)容損失函數(shù)Lcon以及對(duì)抗損失函數(shù)Ladv的加權(quán)值作為訓(xùn)練生成網(wǎng)絡(luò)的目標(biāo)函數(shù)LG，并在優(yōu)化過程中分別從高頻、低頻兩個(gè)角度完成目標(biāo)圖像重建，損失函數(shù)表達(dá)式如下：

其中，λ和η為損失函數(shù)的平衡系數(shù)。

1）內(nèi)容損失

為保證重建圖像與低分辨率圖像之間低頻信息的一致性，本文采用均方誤差（Mean Squared Error，MSE）損失函數(shù)作為網(wǎng)絡(luò)的內(nèi)容損失函數(shù)，用于優(yōu)化生成的HR 圖像與真實(shí)HR 圖像對(duì)應(yīng)像素之間的平方差，縮小像素之間的差值能有效保證重建圖像信息的準(zhǔn)確性，從而使重建圖像獲得較高的峰值信噪比。內(nèi)容損失函數(shù)的計(jì)算公式為：

2）對(duì)抗損失

基于生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的對(duì)抗博弈機(jī)制，生成網(wǎng)絡(luò)輸出一張HR 圖像后利用判別網(wǎng)絡(luò)可得到該圖像真假概率。為使重建圖像通過判別器D甄別的概率最大化，本文采用WGAN-GP 的對(duì)抗損失函數(shù)替代GAN 的對(duì)抗損失函數(shù)以懲罰判別器D對(duì)輸入的梯度，對(duì)抗損失函數(shù)的計(jì)算公式為：

優(yōu)化后的對(duì)抗損失函數(shù)可穩(wěn)定訓(xùn)練針對(duì)圖像生成和語言模型的GAN，無需調(diào)整超參數(shù)，能以更快的收斂速度生成質(zhì)量更高的樣本。

3）感知損失

為獲得亮度信息準(zhǔn)確與紋理逼真的圖像，本文設(shè)置基于VGG 網(wǎng)絡(luò)的感知損失函數(shù)Lper，使用激活前的特征層信息進(jìn)行計(jì)算，在預(yù)訓(xùn)練深度網(wǎng)絡(luò)激活層上定義Lper以最小化兩個(gè)激活特征之間的距離，感知損失函數(shù)的計(jì)算公式為：

其中，Wij和Hij為VGG 網(wǎng)絡(luò)中特征圖的維度，φij為VGG 網(wǎng)絡(luò)中第j次卷積后第i次最大池化操作前得到的特征圖。感知損失函數(shù)Lper改進(jìn)了原始設(shè)計(jì)的不足：（1）對(duì)深層次網(wǎng)絡(luò)，激活后的特征會(huì)很稀疏，而稀疏特征只能提供弱監(jiān)督造成圖像質(zhì)量低劣；（2）使用激活后的特征層信息導(dǎo)致重建圖像的亮度與真實(shí)HR 圖像不一致。

4）紋理損失

感知損失雖然能整體提升重建圖像的質(zhì)量，但會(huì)引入多余的高頻結(jié)構(gòu)，本文采用文獻(xiàn)［13］提出的紋理損失函數(shù)構(gòu)成生成器總損失函數(shù)。紋理損失函數(shù)Ltex可促進(jìn)紋理信息進(jìn)行局部匹配，分別提取生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)卷積中間層輸出的特征映射圖并計(jì)算相應(yīng)的Gram 矩陣，利用得到的中間層Gram 矩陣值和損失函數(shù)L2計(jì)算網(wǎng)絡(luò)的紋理損失函數(shù)，其計(jì)算公式為：

其中，G為Gram 矩陣，G(F)=FFT。紋理損失函數(shù)為減少圖像偽影以及產(chǎn)生更逼真的紋理提供了有效監(jiān)督。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本文通過圖像重建實(shí)驗(yàn)對(duì)TESRGAN 算法進(jìn)行驗(yàn)證。實(shí)驗(yàn)環(huán)境為NVIDIA 顯卡GeForceMX150、Intel?CoreTMi7-8550U CPU@2.00 GHz、8 GB RAM，編譯軟件為Pycharm 2017 和MATLAB 2018a。實(shí)驗(yàn)采用DIV2K 數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該數(shù)據(jù)集有1 000 張RGB 圖像，分別取其中的800 張、100 張和100 張圖像作為訓(xùn)練集、驗(yàn)證集與測試集，通過將圖像隨機(jī)水平翻轉(zhuǎn)和垂直旋轉(zhuǎn)對(duì)訓(xùn)練集進(jìn)行擴(kuò)展。在常用的基準(zhǔn)數(shù)據(jù)集Set5、Set14 以及BSD100 上進(jìn)行測試實(shí)驗(yàn)，HR圖像與LR圖像之間的下采樣因子為4，HR圖像被裁切為128像素×128 像素的圖像塊，輸入批量大小設(shè)置為16。

實(shí)驗(yàn)訓(xùn)練過程如下：先訓(xùn)練以損失L1為目標(biāo)函數(shù)的生成網(wǎng)絡(luò)，以此網(wǎng)絡(luò)作為生成器G的初始化設(shè)置，使用損失函數(shù)LG訓(xùn)練生成器G，其中λ=5.0×10－3，η=1.0×10－2，初始學(xué)習(xí)率為1.0×10－4。訓(xùn)練過程中使用Adam 算法進(jìn)行優(yōu)化，交替更新生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)直到網(wǎng)絡(luò)模型收斂。此外，為保證深層次網(wǎng)絡(luò)的穩(wěn)定訓(xùn)練，在TESRGAN 算法中采用殘差縮放策略通過乘以常數(shù)β∈（0，1）來縮小殘差（本文中β=0.2），再將其添加到主路徑，以防止訓(xùn)練過程不穩(wěn)定并修正錯(cuò)誤的初始化參數(shù)，從而避免因初始參數(shù)設(shè)置不合理造成網(wǎng)絡(luò)輸入信號(hào)的錯(cuò)誤被放大的可能性。

為準(zhǔn)確評(píng)價(jià)圖像質(zhì)量并證明TESRGAN 算法的有效性，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為圖像質(zhì)量評(píng)價(jià)指標(biāo)。PSNR 從像素點(diǎn)差異衡量圖像的失真度，SSIM 從亮度、對(duì)比度和結(jié)構(gòu)衡量圖像的相似度。若PSNR 值與SSIM 值越大，則表示圖像重建結(jié)果越接近原始高分辨率圖像，其計(jì)算公式如下：

3.2 結(jié)果分析

3.2.1 客觀效果

本文在Set5 數(shù)據(jù)集和Set14 數(shù)據(jù)集上進(jìn)行超分辨率實(shí)驗(yàn)，對(duì)比分析引入RDB 結(jié)構(gòu)、紋理損失函數(shù)Ltex和改進(jìn)對(duì)抗損失函數(shù)Ladv、感知損失函數(shù)Lper對(duì)圖像超分辨率重建算法性能的影響。表1 為不同條件下圖像超分辨率重建算法在Set5 和Set14 數(shù)據(jù)集上的PSNR，可以看出上述措施均可提高算法的超分辨率重建性能，且4 種措施聯(lián)合使用時(shí)效果最佳。

表1 不同條件下圖像超分辨率重建算法在Set5 和Set14 數(shù)據(jù)集上的PSNRTable 1 PSNR of image super-resolution reconstruction algorithm on Set5 and Set14 datasets under different conditionsdB

將本文TESRGAN 算法與Bicubic［2］、SRGAN［9］、EDSR［15］以及ESRGAN［16］等算法在Set5 數(shù)據(jù)集、Set14 數(shù)據(jù)集和BSD100 數(shù)據(jù)集上的圖像重建結(jié)果進(jìn)行對(duì)比，結(jié)果如表2 所示?？梢钥闯?，TESRGAN 算法在上述3 個(gè)數(shù)據(jù)集上的PSNR 值均高于其他算法，其SSIM 值除了在Set14 數(shù)據(jù)集上略低于ESRGAN算法外，在其他兩個(gè)數(shù)據(jù)集上均高于對(duì)比算法。

表2 5 種算法在Set5、Set14 和BSD100 數(shù)據(jù)集上的圖像重建結(jié)果Table 2 Image reconstruction results of five algorithms on Set5，Set14 and BSD100 datasets

上述5 種算法在Set5 數(shù)據(jù)集、Set14 數(shù)據(jù)集和BSD100 數(shù)據(jù)集上的運(yùn)行時(shí)間如表3 所示?？梢钥闯觯築icubic 算法因僅有插值操作而耗時(shí)最短，其他算法含有大量卷積層造成網(wǎng)絡(luò)訓(xùn)練速度較慢，其中SRGAN 算法因網(wǎng)絡(luò)結(jié)構(gòu)中未去除BN 層導(dǎo)致重建速度最慢；TESRGAN 算法因引入深層次網(wǎng)絡(luò)與紋理損失函數(shù)的計(jì)算，速度略慢于EDSR 算法和ESRGAN 算法。結(jié)合表2 和表3 可知，TESRGAN 算法在未延長較多運(yùn)行時(shí)間的情況下，其PSNR 值和SSIM 值較其他算法更高，表明本文算法具有更好的圖像重建效果。

表3 5 種算法在Set5、Set14 和BSD100 數(shù)據(jù)集上的運(yùn)行時(shí)間Table 3 Running time of five algorithms on Set5，Set14 and BSD100 datasetss

3.2.2 主觀效果

從Set5 數(shù)據(jù)集和Set14 數(shù)據(jù)集中各選取一張圖像，將上述5 種算法的圖像重建效果進(jìn)行對(duì)比，結(jié)果分別如圖5 和圖6 所示。可以看出：Bicubic 算法的重建細(xì)節(jié)信息太少，生成的圖像很模糊；SRGAN 算法和EDSR算法雖然恢復(fù)了部分高頻信息，但圖像邊緣銳化效果較差；ESRGAN 算法重建圖像整體效果較好，卻引入偽影和噪音信息；TESRGAN 算法的重建效果在銳度和細(xì)節(jié)方面均優(yōu)于其他算法。由圖5 中放大的細(xì)節(jié)可以看出，TESRGAN 算法圖像重建后得到的帽子紋理更清晰。由圖6 中放大的細(xì)節(jié)可以看出TESRGAN 算法得到的圖像紋理細(xì)節(jié)更清晰且亮度信息更準(zhǔn)確。

圖5 不同算法在Set5 數(shù)據(jù)集上的圖像重建效果Fig.5 Image reconstruction effect of different algorithms on Set5 dataset

圖6 不同算法在Set14 數(shù)據(jù)集上的圖像重建效果Fig.6 Image reconstruction effect of different algorithms on Set14 dataset

4 結(jié)束語

本文在生成式對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上，提出一種圖像超分辨率重建算法。通過去除批量歸一化層并引入殘差密集塊增加生成網(wǎng)絡(luò)深度，根據(jù)WGAN-GP 理論改進(jìn)對(duì)抗損失加快網(wǎng)絡(luò)模型收斂，使用激活前的特征計(jì)算感知損失并引入紋理損失，以提高圖像局部紋理細(xì)節(jié)匹配度。實(shí)驗(yàn)結(jié)果表明，與SRGAN 和EDSR 等算法相比，該算法在未延長較多運(yùn)行時(shí)間的情況下，重建結(jié)果的紋理細(xì)節(jié)更清晰且亮度信息更準(zhǔn)確。后續(xù)將針對(duì)特定領(lǐng)域與場景的圖像進(jìn)行超分辨率重建，進(jìn)一步提升重建質(zhì)量。