段友祥，張含笑*，孫歧峰，孫友凱

（1.中國(guó)石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東青島 266580；2.中國(guó)石化勝利油田分公司物探研究院，山東東營(yíng) 257000）

0 引言

超分辨（Super-Resolution，SR）技術(shù)是指從一幅或多幅低分辨率（Low Resolution，LR）圖像中重建高分辨率（High Resolution，HR）圖像的過(guò)程，在現(xiàn)實(shí)世界中應(yīng)用廣泛，如醫(yī)學(xué)成像［1］、監(jiān)視與安全［2］等。目前超分辨率算法大致分為三類：基于插值、基于重建和基于學(xué)習(xí)?；诓逯档乃惴ㄒ子诓僮?，計(jì)算快捷，如雙三次插值、最近鄰插值［3-4］，但這類算法重建效果較差，鋸齒狀邊緣明顯［5］；基于重建的算法利用圖像自相似性特點(diǎn)加以約束，重建效果較好，但無(wú)法滿足較大分辨率圖像重建的需求［6］；基于學(xué)習(xí)特別是深度學(xué)習(xí)［7-9］的算法克服前兩種算法的局限性，通過(guò)設(shè)計(jì)、改進(jìn)多種網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略，極大地提高了超分辨率重建的效率和質(zhì)量。

Dong 等［10］首次提出了用于超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)（Super Resolution Convolutional Neural Network，SRCNN），直接學(xué)習(xí)低分辨率與高分辨率圖像之間的端到端映射，重建效果優(yōu)于傳統(tǒng)算法；但SRCNN 使用雙三次插值后的圖像作為輸入，增加了計(jì)算時(shí)間和內(nèi)存消耗，不利于較大尺度因子圖像的高質(zhì)量重建［11］。Lai 等［12］設(shè)計(jì)了深度拉普拉斯金字塔超分辨率重建網(wǎng)絡(luò)（fast and accurate image Super-Resolution with deep Laplacian pyramid Network，LapSRN），以漸進(jìn)上采樣的方式提高網(wǎng)絡(luò)重建大尺度因子的能力，在多個(gè)尺度的圖像重建工作中取得了突破，也給予我們很大的啟發(fā)。但采用CNN模型重建后的HR 圖像大多會(huì)產(chǎn)生過(guò)于平滑的結(jié)果，重建圖像缺少高頻細(xì)節(jié)，導(dǎo)致較差的視覺(jué)質(zhì)量［13］。近年來(lái)，得益于強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［14］在超分辨率重建領(lǐng)域中取得了突破性進(jìn)展。Ledig 等［15］構(gòu)建了用于超分辨率重建的生成對(duì)抗網(wǎng)絡(luò)（Super-Resolution Generative Adversarial Network，SRGAN），在恢復(fù)更加真實(shí)紋理細(xì)節(jié)的同時(shí)很好地避免了邊緣偽影，是追求視覺(jué)效果的里程碑之一。Wang 等［16］在SRGAN 框架的基礎(chǔ)上改進(jìn)了特征提取和對(duì)抗損失函數(shù)等模塊，提出了增強(qiáng)的超分辨率生成對(duì)抗網(wǎng)絡(luò)（Enhanced Super-Resolution Generative Adversarial Network，ESRGAN），進(jìn)一步提高了重建圖像的視覺(jué)質(zhì)量。Wang 等［17］提出了單幅圖像超分辨的全漸進(jìn)方法（fully Progressive approach to single-image Super-Resolution，ProGANSR），以殘差學(xué)習(xí)的方式穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練，再次證明了GAN 應(yīng)用于超分辨率重建領(lǐng)域中的可行性。

盡管生成對(duì)抗網(wǎng)絡(luò)在超分辨率重建中表現(xiàn)優(yōu)秀，但仍未能完全解決重建大尺度因子困難、不同尺度的圖像重建均需要單獨(dú)訓(xùn)練的難題［18］。為解決以上難題，增強(qiáng)超分辨率網(wǎng)絡(luò)的靈活性，本文基于GAN 框架，提出了基于拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法。該算法的意義在于：將拉普拉斯金字塔結(jié)構(gòu)的生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于超分辨率工作中，降低了大尺度因子的學(xué)習(xí)難度，滿足了單個(gè)網(wǎng)絡(luò)重建不同尺度圖像的需求；算法利用金字塔結(jié)構(gòu)相似性實(shí)現(xiàn)參數(shù)共享，通過(guò)層與層之間的密集連接改善梯度傳播，結(jié)合殘差學(xué)習(xí)的方法加快了網(wǎng)絡(luò)收斂；將馬爾可夫判別器PatchGAN［19］作為網(wǎng)絡(luò)判別器，改變傳統(tǒng)判別器單一數(shù)值輸出的特點(diǎn)，以輸出矩陣的方式引導(dǎo)更高質(zhì)量的圖像重建。

1 相關(guān)工作

1.1 圖像金字塔

圖像金字塔是一種以多分辨率進(jìn)行圖像解釋的概念結(jié)構(gòu)，主要有向下采樣的高斯金字塔（Gaussian Pyramid，GP）［20］和向上采樣的拉普拉斯金字塔（Laplacian Pyramid，LP）［21］兩種類型。高斯金字塔是通過(guò)對(duì)一張圖像逐級(jí)下采樣而獲得的圖像集合；拉普拉斯金字塔是一系列殘差圖像的集合，記錄了高斯金字塔相鄰兩層的信息差值（下采樣后再上采樣與下采樣前的差異）。假設(shè)I為R×C大小的數(shù)字圖像：

高斯金字塔定義為：G(I)=(G0(I)，G1(I)，…，GN(I))，其中，G0(I)=I，是金字塔的最底層（即原始圖像），第N層是最高層。已知高斯金字塔第l-1 層圖像為Gl-1(I)，則第l層的圖像Gl(I)由式（1）生成得到。

其中：(i，j)表示像素值，0 ＜i≤Rl，0 ＜j≤Cl，Rl為金字塔第l層圖像的行數(shù)，Cl為金字塔第l層圖像的列數(shù)；w為高斯低通濾波器；(m，n)為高斯核大小。

拉普拉斯金字塔定義為：L(I)=(L1(I)，L2(I)，…，LN(I))，其中N是層數(shù)。金字塔第l層圖像Ll(I)由式（2）生成：

其中：expand(·)是放大算子；?是卷積操作；?5×5是5× 5大小的高斯內(nèi)核。拉普拉斯金字塔可用于從金字塔底層圖像中重構(gòu)上層未采樣圖像，是以多分辨率解釋圖像的有效手段，被廣泛應(yīng)用于超分辨率、紋理合成［22］、圖像生成［23］等視覺(jué)任務(wù)中。

1.2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是用于訓(xùn)練生成模型的機(jī)器學(xué)習(xí)框架，由蒙特利爾大學(xué)的Ian Goodfellow等學(xué)者提出。

如圖1所示，GAN 結(jié)構(gòu)將兩個(gè)網(wǎng)絡(luò)對(duì)立起來(lái)：用于捕獲數(shù)據(jù)分布的生成器網(wǎng)絡(luò)（G），用于判斷接受樣本是否“真實(shí)自然”的判別器網(wǎng)絡(luò)（D）。D與G二者作為互相對(duì)抗的目標(biāo)，利用單獨(dú)交替迭代訓(xùn)練的方式，不斷優(yōu)化生成器模型，達(dá)到以假亂真的效果。GAN 訓(xùn)練的目標(biāo)函數(shù)V(D，G)定義如式（3）所示。

其中：x為真實(shí)數(shù)據(jù)；z為噪聲數(shù)據(jù)；G(z)表示生成器生成的圖片；D(x)表示判別器判斷圖片為真的概率；E為真實(shí)數(shù)據(jù)x和噪聲數(shù)據(jù)z的數(shù)學(xué)期望。

圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Generative adversarial network structure

2 本文模型結(jié)構(gòu)

本文方法受文獻(xiàn)［12］的啟發(fā)，設(shè)計(jì)生成器為拉普拉斯金字塔結(jié)構(gòu)，由特征提取分支和圖像重建分支兩部分組成，兩者互相配合實(shí)現(xiàn)多個(gè)尺度圖像的超分辨率重建。為了豐富重建圖像的細(xì)節(jié)特征，本文設(shè)計(jì)判別器為全卷積神經(jīng)網(wǎng)絡(luò)，將輸入數(shù)據(jù)映射為N×N的判定矩陣，并以聯(lián)合內(nèi)容損失與對(duì)抗損失的方式引導(dǎo)優(yōu)化網(wǎng)絡(luò)參數(shù)。

2.1 生成器網(wǎng)絡(luò)

與文獻(xiàn)［12］中使用簡(jiǎn)單堆疊卷積層提取特征的方式不同，本文生成器將密集的跳躍連接［24］引入到特征提取模塊，充分利用原始低分辨率圖像的分層信息，避免了深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失問(wèn)題。生成器使用亞像素卷積［25］作為上采樣層，將低維特征映射到高維空間，與文獻(xiàn)［12］中使用的轉(zhuǎn)置卷積相比，亞像素卷積增加了感受野大小，有利于梯度的優(yōu)化，并為高分辨率圖像的重建提供了更多的上下文信息。具體生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，包括特征提取和圖像重建兩個(gè)分支。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure

2.1.1 特征提取分支

如圖2 所示，特征提取分支將網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分級(jí)，逐步預(yù)測(cè)lbS級(jí)的殘差圖像，其中，S為尺度因子。網(wǎng)絡(luò)首先使用64個(gè)大小為3×3 的卷積核學(xué)習(xí)低分辨率圖像的淺層特征，并將運(yùn)算得到的特征圖作為金字塔第一層的輸入。金字塔每一層的結(jié)構(gòu)均保持一致，由密集塊、殘差學(xué)習(xí)層、亞像素卷積層、殘差圖像提取層組成，具體介紹如下：

1）密集塊：密集塊結(jié)構(gòu)如圖3 所示，由批規(guī)范化、LeakyReLU 激活函數(shù)、3×3 卷積重復(fù)串聯(lián)而成，且層與層之間均建立了連接，方便前面層的輸出以特征級(jí)聯(lián)的方式傳遞給后面每一個(gè)層，進(jìn)而加強(qiáng)特征的復(fù)用和傳播。隨著網(wǎng)絡(luò)的加深，密集連接的方式難免會(huì)造成特征的冗余，為了減輕網(wǎng)絡(luò)負(fù)擔(dān)、降低特征映射的數(shù)量，本文在密集塊后端加入過(guò)渡層。過(guò)渡層由批規(guī)范化，LeakyReLU 激活函數(shù)、1×1 卷積和2×2 平均池化組合而成，卷積和池化操作可以對(duì)數(shù)據(jù)進(jìn)行壓縮降維。假設(shè)輸入過(guò)渡層的特征圖數(shù)量為m，則經(jīng)過(guò)渡層后輸出的數(shù)量為θm，其中θ為壓縮系數(shù)，取值范圍（0，1］，為平衡特征數(shù)量，本文實(shí)驗(yàn)設(shè)定θ=0.5。

圖3 密集塊結(jié)構(gòu)Fig.3 Dense block structure

2)殘差學(xué)習(xí)層：在對(duì)特征圖進(jìn)行上采樣之前，利用跳躍連接的方式，將淺層卷積學(xué)習(xí)到的低階特征疊加到經(jīng)密集塊后學(xué)習(xí)到的高階特征中，進(jìn)行殘差判斷，這有利于梯度的保持和網(wǎng)絡(luò)模型的收斂。

3)亞像素卷積層：本文選用5×5 大小的亞像素卷積層作為上采樣層，對(duì)輸入的低分辨率特征圖FLR進(jìn)行擴(kuò)充處理，可以有效縮短圖像重建的時(shí)間。上采樣過(guò)程如式（4）:

其中：ISR為上采樣后得到的高分辨率圖像；PS(·)為周期性混洗算子。該層的結(jié)果一方面輸出到金字塔下一層繼續(xù)提取特征，另一方面用于該層級(jí)殘差圖像的學(xué)習(xí)。

4）殘差圖像提取層：使用3 個(gè)3×3 大小的卷積核對(duì)上采樣后的特征圖進(jìn)行殘差預(yù)測(cè)，并將殘差圖像用于圖像重建中。

2.1.2 圖像重建分支

圖像重建分支使用亞像素卷積層對(duì)輸入的低分辨率圖像進(jìn)行2 倍上采樣，并與卷積運(yùn)算后得到的殘差圖像結(jié)合生成高分辨率圖像，最后將本層級(jí)生成的高分辨率圖像作為金字塔下一層級(jí)上采樣的基礎(chǔ)圖像，執(zhí)行相同的操作。定義目標(biāo)上采樣因子為s，則金字塔共有P=lbs層，假設(shè)第p層輸入的低分辨率圖像為xp，經(jīng)卷積運(yùn)算后得到的殘差圖像為rp，重建得到的高分辨率圖像為y′p，則圖像重建過(guò)程由式（5）可得。

其中up為上采樣運(yùn)算。利用這種漸進(jìn)式重建的特點(diǎn)，在得到放大8 倍后的圖像重建結(jié)果時(shí)，也可以得到放大2 倍、4 倍后的重建圖像，實(shí)現(xiàn)了單個(gè)網(wǎng)絡(luò)生成多個(gè)尺度圖像的超分辨率重建。

2.2 判別器網(wǎng)絡(luò)

判別器設(shè)計(jì)為5 層全卷積神經(jīng)網(wǎng)絡(luò)，選用卷積核大小為4×4、步幅為2的卷積層，用于增加感受野大小，加強(qiáng)模型探索重要信息的能力；同時(shí)利用最大池化操作縮減特征規(guī)模，提高網(wǎng)絡(luò)計(jì)算速度，結(jié)構(gòu)如圖4 所示。本文判別器借鑒PatchGAN［20］的思想，將輸入映射為N×N的矩陣M，其中，矩陣上每一個(gè)元素Mi，j對(duì)應(yīng)原圖中某個(gè)特定圖像塊Patchi，j的判定，判別器網(wǎng)絡(luò)取矩陣均值得最終判斷結(jié)果。

相比傳統(tǒng)GAN 的判別器，本文判別器允許任意大小的圖像作為輸入，網(wǎng)絡(luò)設(shè)計(jì)更加靈活，且通過(guò)對(duì)每個(gè)Patch進(jìn)行判定，實(shí)現(xiàn)了局部圖像特征的提取，更加注重重建圖像的高頻信息，有利于促進(jìn)生成器重建更高質(zhì)量、更多細(xì)節(jié)的高分辨率圖像。

圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Discriminator network structure

2.3 損失函數(shù)

本文采用聯(lián)合對(duì)抗損失和內(nèi)容損失的方式訓(xùn)練生成器網(wǎng)絡(luò)，并針對(duì)金字塔的每一層級(jí)（即每一個(gè)尺度）均計(jì)算損失，用以指導(dǎo)多個(gè)尺度圖像的超分辨率重建。假設(shè)金字塔共p層，網(wǎng)絡(luò)整體損失函數(shù)LG如式（6）所示：

其中：LCont為內(nèi)容損失函數(shù)；LAdv為對(duì)抗損失函數(shù)；λ為加權(quán)系數(shù)權(quán)重。

常用于超分辨率重建的內(nèi)容損失函數(shù)有L1 損失［26］和L2損失［27］。為避免引入不必要的訓(xùn)練技巧，本文選擇L1損失作為內(nèi)容損失函數(shù)，其對(duì)于任意大小的異常值均使用固定的懲罰，受離群點(diǎn)影響較小，相比L2 損失可以獲得更加穩(wěn)定的梯度和更快的收斂速度。內(nèi)容損失函數(shù)如式（7）所示：

其中：s是目標(biāo)上采樣因子；ILR是大小為R×C的低分辨率圖像。

本文算法參考SRGAN［16］的對(duì)抗損失函數(shù)，基于生成器和判別器的對(duì)抗機(jī)制，設(shè)計(jì)對(duì)抗損失LAdv如式（8）所示：

其中：DθD(GθG(ILR))為判別器將生成器生成的圖像判斷為真的概率。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)過(guò)程

本文實(shí)驗(yàn)在CPU 為Intel Xeon Gold 6126 @ 2.60 GHz，GPU 為NVIDIA Tesla P100，顯存為16 GB 的主機(jī)上進(jìn)行。實(shí)驗(yàn)平臺(tái)搭載的操作系統(tǒng)為CentOS 7.0、深度學(xué)習(xí)框架TensorFlow 1.12、CUDA 10.0。

實(shí)驗(yàn)訓(xùn)練使用的數(shù)據(jù)集為NTIRE2017 提供的DIV2K 訓(xùn)練集，其中包含800 張訓(xùn)練圖像、100 張驗(yàn)證圖像和100 張測(cè)試圖像，訓(xùn)練時(shí)利用雙三次插值算法得到下采樣8 倍的LR 圖像，作為生成器網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)采用基準(zhǔn)數(shù)據(jù)集Set5、Set14、BSD100、Urban100進(jìn)行測(cè)試，以檢驗(yàn)算法的可行性。為保證高效的計(jì)算以及穩(wěn)定的訓(xùn)練，實(shí)驗(yàn)選擇Adam 算法作為網(wǎng)絡(luò)優(yōu)化器，批大?。╞atch_size）設(shè)置為16，epochs 設(shè)置為150，學(xué)習(xí)率初始值為10-4，并伴隨訓(xùn)練的過(guò)程進(jìn)行微調(diào)。本文出現(xiàn)的超參數(shù)分別為：θ=0.5，λ=0.1。

本文使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）作為重建圖像質(zhì)量的客觀評(píng)價(jià)指標(biāo)。峰值信噪比是基于圖像間的均方誤差（Mean Square Error，MSE）［28］進(jìn)行計(jì)算，數(shù)值越高則表示圖像失真度越小。結(jié)構(gòu)相似性分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性，更加能反映出人眼的真實(shí)視覺(jué)感受，且SSIM 的取值越接近1 則表示重建效果越好。PSNR、SSIM 計(jì)算公式見(jiàn)式（9）、（10）。

其中：y為原HR圖像；y′為生成器重建后的HR圖像；R、C分別為HR 圖像的行數(shù)、列數(shù)；fMSE為均方誤差函數(shù)。fMSE的表達(dá)式為：

其中：μy、μy′代表圖像y與圖像y′的平均灰度值；σy、σy′代表圖像y與圖像y′的方差；σy′y為協(xié)方差；A1、A2為常數(shù)。

此外，本文在Set5、Set14 等4 個(gè)測(cè)試集上，以重建全部圖像時(shí)間的平均值作為比較對(duì)象，對(duì)不同超分辨率算法的重建時(shí)間效率進(jìn)行了比較，重點(diǎn)測(cè)試了當(dāng)放大倍數(shù)為4 時(shí)各算法的時(shí)間性能表現(xiàn)。

3.2 結(jié)果分析

首先，為驗(yàn)證本文算法的有效性，將其與Bicubic、SRCNN、LapSRN、SRGAN、ESRGAN、ProGANSR 共6 種算法進(jìn)行了客觀數(shù)據(jù)PSNR、SSIM的比較，結(jié)果見(jiàn)表1～3。

從表1～3 可看出：基于深度學(xué)習(xí)的SR 算法性能明顯優(yōu)于Bicubic 傳統(tǒng)算法，且基于GAN 框架的SR 算法可以獲得較高的PSNR、SSIM 值，本文算法在以上數(shù)據(jù)集的測(cè)試中均優(yōu)于其他算法。從表2 可以看出，當(dāng)放大尺度為4 時(shí)：相比SRCNN、LapSRN，本文算法的PSNR、SSIM 值均有大幅度提升；相比SRGAN、ProGANSR，本文算法的平均PSNR 值大約提升0.2～1.0 dB，SSIM值大約提升0.01～0.04；相比ESRGAN，本文算法提升并不明顯，僅有略微增加。但當(dāng)放大尺度為8時(shí)，其他SR算法的性能均下降明顯，本文算法仍取得了較高的PSNR、SSIM 值，且相比ESRGAN，PSNR 值也提升了大約0.06～0.15 dB，如表3所示。實(shí)驗(yàn)結(jié)果表明，本文算法重建的多尺度HR 圖像擁有更高的PSNR、SSIM 值，在重建較大尺度因子的圖像時(shí)更具優(yōu)勢(shì)，滿足了不同尺度的圖像超分辨率重建的需求。

其次，對(duì)算法的運(yùn)行效率進(jìn)行了測(cè)試，表4 給出了當(dāng)放大尺度為4 時(shí)，本文算法與其他SR 算法在4 個(gè)測(cè)試集上的平均運(yùn)行時(shí)間比較。從表4可看出，Bicubic算法用時(shí)最短，這與其簡(jiǎn)單的插值方式有關(guān)，而基于深度學(xué)習(xí)的SR 算法，由于包含大量的卷積計(jì)算，導(dǎo)致重建圖像的耗時(shí)較多。在基于GAN 框架的SR 算法中，本文算法的平均處理速度最高，相比卷積神經(jīng)網(wǎng)絡(luò)中耗時(shí)最少的SRCNN僅增加了大約0.02 s，PSNR值卻提高了約1.7 dB；相比生成對(duì)抗網(wǎng)絡(luò)中耗時(shí)最多的ProGANSR，本文算法用時(shí)縮短了大約0.07 s，PSNR 值提高了約0.62 dB。實(shí)驗(yàn)結(jié)果表明，本文算法在保證重建圖像質(zhì)量的前提下耗費(fèi)了較少的運(yùn)行時(shí)間，擁有良好的運(yùn)行效率。

表1 不同SR算法在重建2倍圖像時(shí)的PSNR、SSIM值比較Tab.1 Comparison of PSNR and SSIM of different SR algorithms in 2-times image reconstruction

表2 不同SR算法在重建4倍圖像時(shí)的PSNR、SSIM值比較Tab.2 Comparison of PSNR and SSIM of different SR algorithms in 4-times image reconstruction

表3 不同SR算法在重建8倍圖像時(shí)的PSNR、SSIM值比較Tab.3 Comparison of PSNR and SSIM of different SR algorithms in 8-times image reconstruction

最后，從主觀視覺(jué)效果角度對(duì)本文算法與其他SR算法的重建進(jìn)行了實(shí)驗(yàn)比較。分別從Set5、Set14、Urban100 測(cè)試集中選擇一張圖像作為測(cè)試對(duì)象，并分別下采樣至不同的大小，進(jìn)行多尺度的超分辨率重建，重建效果如圖5～7。圖5是各算法在Set5測(cè)試集上重建放大尺度為2時(shí)的HR 效果圖，可以看出：本文算法重建的嬰兒面部細(xì)節(jié)更加豐富，睫毛根根分明；Bicubic 算法效果最差，重建圖像模糊；ProGANSR 與LapSRN重建效果較好，但圖像過(guò)度平滑。圖6 是各算法在Set14 測(cè)試集上重建放大尺度為4 時(shí)的HR 效果圖，可以看出：本文算法與SRGAN、ESRGAN 主觀效果相當(dāng)，更加貼合真實(shí)的HR 圖像；但SRGAN、ESRGAN 重建的狒狒胡須在放大后會(huì)出現(xiàn)非期望的偽影。圖7 是在Urban100 測(cè)試集上重建放大尺度為8時(shí)各算法的表現(xiàn)，可以看出：其他算法重建質(zhì)量明顯下降，無(wú)法得到更多的細(xì)節(jié)，盡管ESRGAN、LapSRN 重建的建筑圖像中能夠看到網(wǎng)格形狀，卻十分模糊；而本文算法重建的建筑邊緣清晰且網(wǎng)格明顯，細(xì)節(jié)更加顯著。

圖5 Set5（Img_001）圖像在放大尺度為2時(shí)的超分辨率重建效果Fig.5 Two-times super-resolution reconstruction effect of Set5（Img_001）image

圖6 Set14（Img_001）圖像在放大尺度為4時(shí)的超分辨率重建效果Fig.6 Four-times super-resolution reconstruction effect of Set14（Img_001）image

圖7 Urban100（Img_001）圖像在放大尺度為8時(shí)的超分辨率重建效果Fig.7 Eight-times super-resolution reconstruction effect of Urban100（Img_001）image

4 結(jié)語(yǔ)

為解決超分辨率算法中重建大尺度因子效果較差以及多個(gè)尺度的圖像重建均需要單獨(dú)訓(xùn)練等問(wèn)題，本文提出了基于拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建算法。該算法構(gòu)建了金字塔結(jié)構(gòu)的生成器實(shí)現(xiàn)多個(gè)尺度的圖像重建，以漸進(jìn)上采樣的方式重建大尺度因子圖像，將密集模塊作為提取特征的核心模塊加強(qiáng)特征的傳播；算法采用PatchGAN 判別器以輸出矩陣的方式得到更加精準(zhǔn)的判斷，引導(dǎo)生成器更高質(zhì)量、高細(xì)節(jié)地重建圖像；此外，算法以聯(lián)合L1損失與對(duì)抗損失的方式指導(dǎo)優(yōu)化網(wǎng)絡(luò)參數(shù)，進(jìn)一步穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練，加快網(wǎng)絡(luò)收斂。實(shí)驗(yàn)結(jié)果表明：與其他SR 算法相比，本文算法降低了大尺度因子的學(xué)習(xí)難度，在不引入過(guò)多空間和時(shí)間代價(jià)的情況下，解決了多個(gè)尺度圖像的重建問(wèn)題，且重建的圖像具有較高的PSNR、SSIM 值和較少的邊緣偽影。未來(lái)研究工作的重點(diǎn)在于進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，降低訓(xùn)練的難度，并將圖像超分辨率重建算法在油氣資源勘探等特定領(lǐng)域中實(shí)際應(yīng)用。