段友祥,張含笑*,孫歧峰,孫友凱
(1.中國(guó)石油大學(xué)(華東)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東青島 266580;2.中國(guó)石化勝利油田分公司物探研究院,山東東營(yíng) 257000)
超分辨(Super-Resolution,SR)技術(shù)是指從一幅或多幅低分辨率(Low Resolution,LR)圖像中重建高分辨率(High Resolution,HR)圖像的過(guò)程,在現(xiàn)實(shí)世界中應(yīng)用廣泛,如醫(yī)學(xué)成像[1]、監(jiān)視與安全[2]等。目前超分辨率算法大致分為三類(lèi):基于插值、基于重建和基于學(xué)習(xí)?;诓逯档乃惴ㄒ子诓僮?,計(jì)算快捷,如雙三次插值、最近鄰插值[3-4],但這類(lèi)算法重建效果較差,鋸齒狀邊緣明顯[5];基于重建的算法利用圖像自相似性特點(diǎn)加以約束,重建效果較好,但無(wú)法滿足較大分辨率圖像重建的需求[6];基于學(xué)習(xí)特別是深度學(xué)習(xí)[7-9]的算法克服前兩種算法的局限性,通過(guò)設(shè)計(jì)、改進(jìn)多種網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略,極大地提高了超分辨率重建的效率和質(zhì)量。
Dong 等[10]首次提出了用于超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)(Super Resolution Convolutional Neural Network,SRCNN),直接學(xué)習(xí)低分辨率與高分辨率圖像之間的端到端映射,重建效果優(yōu)于傳統(tǒng)算法;但SRCNN 使用雙三次插值后的圖像作為輸入,增加了計(jì)算時(shí)間和內(nèi)存消耗,不利于較大尺度因子圖像的高質(zhì)量重建[11]。Lai 等[12]設(shè)計(jì)了深度拉普拉斯金字塔超分辨率重建網(wǎng)絡(luò)(fast and accurate image Super-Resolution with deep Laplacian pyramid Network,LapSRN),以漸進(jìn)上采樣的方式提高網(wǎng)絡(luò)重建大尺度因子的能力,在多個(gè)尺度的圖像重建工作中取得了突破,也給予我們很大的啟發(fā)。但采用CNN模型重建后的HR 圖像大多會(huì)產(chǎn)生過(guò)于平滑的結(jié)果,重建圖像缺少高頻細(xì)節(jié),導(dǎo)致較差的視覺(jué)質(zhì)量[13]。近年來(lái),得益于強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力,生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[14]在超分辨率重建領(lǐng)域中取得了突破性進(jìn)展。Ledig 等[15]構(gòu)建了用于超分辨率重建的生成對(duì)抗網(wǎng)絡(luò)(Super-Resolution Generative Adversarial Network,SRGAN),在恢復(fù)更加真實(shí)紋理細(xì)節(jié)的同時(shí)很好地避免了邊緣偽影,是追求視覺(jué)效果的里程碑之一。Wang 等[16]在SRGAN 框架的基礎(chǔ)上改進(jìn)了特征提取和對(duì)抗損失函數(shù)等模塊,提出了增強(qiáng)的超分辨率生成對(duì)抗網(wǎng)絡(luò)(Enhanced Super-Resolution Generative Adversarial Network,ESRGAN),進(jìn)一步提高了重建圖像的視覺(jué)質(zhì)量。Wang 等[17]提出了單幅圖像超分辨的全漸進(jìn)方法(fully Progressive approach to single-image Super-Resolution,ProGANSR),以殘差學(xué)習(xí)的方式穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練,再次證明了GAN 應(yīng)用于超分辨率重建領(lǐng)域中的可行性。
盡管生成對(duì)抗網(wǎng)絡(luò)在超分辨率重建中表現(xiàn)優(yōu)秀,但仍未能完全解決重建大尺度因子困難、不同尺度的圖像重建均需要單獨(dú)訓(xùn)練的難題[18]。為解決以上難題,增強(qiáng)超分辨率網(wǎng)絡(luò)的靈活性,本文基于GAN 框架,提出了基于拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法。該算法的意義在于:將拉普拉斯金字塔結(jié)構(gòu)的生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于超分辨率工作中,降低了大尺度因子的學(xué)習(xí)難度,滿足了單個(gè)網(wǎng)絡(luò)重建不同尺度圖像的需求;算法利用金字塔結(jié)構(gòu)相似性實(shí)現(xiàn)參數(shù)共享,通過(guò)層與層之間的密集連接改善梯度傳播,結(jié)合殘差學(xué)習(xí)的方法加快了網(wǎng)絡(luò)收斂;將馬爾可夫判別器PatchGAN[19]作為網(wǎng)絡(luò)判別器,改變傳統(tǒng)判別器單一數(shù)值輸出的特點(diǎn),以輸出矩陣的方式引導(dǎo)更高質(zhì)量的圖像重建。
圖像金字塔是一種以多分辨率進(jìn)行圖像解釋的概念結(jié)構(gòu),主要有向下采樣的高斯金字塔(Gaussian Pyramid,GP)[20]和向上采樣的拉普拉斯金字塔(Laplacian Pyramid,LP)[21]兩種類(lèi)型。高斯金字塔是通過(guò)對(duì)一張圖像逐級(jí)下采樣而獲得的圖像集合;拉普拉斯金字塔是一系列殘差圖像的集合,記錄了高斯金字塔相鄰兩層的信息差值(下采樣后再上采樣與下采樣前的差異)。假設(shè)I為R×C大小的數(shù)字圖像:
高斯金字塔定義為:G(I)=(G0(I),G1(I),…,GN(I)),其中,G0(I)=I,是金字塔的最底層(即原始圖像),第N層是最高層。已知高斯金字塔第l-1 層圖像為Gl-1(I),則第l層的圖像Gl(I)由式(1)生成得到。
其中:(i,j)表示像素值,0 <i≤Rl,0 <j≤Cl,Rl為金字塔第l層圖像的行數(shù),Cl為金字塔第l層圖像的列數(shù);w為高斯低通濾波器;(m,n)為高斯核大小。
拉普拉斯金字塔定義為:L(I)=(L1(I),L2(I),…,LN(I)),其中N是層數(shù)。金字塔第l層圖像Ll(I)由式(2)生成:
其中:expand(·)是放大算子;?是卷積操作;?5×5是5× 5大小的高斯內(nèi)核。拉普拉斯金字塔可用于從金字塔底層圖像中重構(gòu)上層未采樣圖像,是以多分辨率解釋圖像的有效手段,被廣泛應(yīng)用于超分辨率、紋理合成[22]、圖像生成[23]等視覺(jué)任務(wù)中。
生成對(duì)抗網(wǎng)絡(luò)是用于訓(xùn)練生成模型的機(jī)器學(xué)習(xí)框架,由蒙特利爾大學(xué)的Ian Goodfellow等學(xué)者提出。
如圖1所示,GAN 結(jié)構(gòu)將兩個(gè)網(wǎng)絡(luò)對(duì)立起來(lái):用于捕獲數(shù)據(jù)分布的生成器網(wǎng)絡(luò)(G),用于判斷接受樣本是否“真實(shí)自然”的判別器網(wǎng)絡(luò)(D)。D與G二者作為互相對(duì)抗的目標(biāo),利用單獨(dú)交替迭代訓(xùn)練的方式,不斷優(yōu)化生成器模型,達(dá)到以假亂真的效果。GAN 訓(xùn)練的目標(biāo)函數(shù)V(D,G)定義如式(3)所示。
其中:x為真實(shí)數(shù)據(jù);z為噪聲數(shù)據(jù);G(z)表示生成器生成的圖片;D(x)表示判別器判斷圖片為真的概率;E為真實(shí)數(shù)據(jù)x和噪聲數(shù)據(jù)z的數(shù)學(xué)期望。
圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Generative adversarial network structure
本文方法受文獻(xiàn)[12]的啟發(fā),設(shè)計(jì)生成器為拉普拉斯金字塔結(jié)構(gòu),由特征提取分支和圖像重建分支兩部分組成,兩者互相配合實(shí)現(xiàn)多個(gè)尺度圖像的超分辨率重建。為了豐富重建圖像的細(xì)節(jié)特征,本文設(shè)計(jì)判別器為全卷積神經(jīng)網(wǎng)絡(luò),將輸入數(shù)據(jù)映射為N×N的判定矩陣,并以聯(lián)合內(nèi)容損失與對(duì)抗損失的方式引導(dǎo)優(yōu)化網(wǎng)絡(luò)參數(shù)。
與文獻(xiàn)[12]中使用簡(jiǎn)單堆疊卷積層提取特征的方式不同,本文生成器將密集的跳躍連接[24]引入到特征提取模塊,充分利用原始低分辨率圖像的分層信息,避免了深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失問(wèn)題。生成器使用亞像素卷積[25]作為上采樣層,將低維特征映射到高維空間,與文獻(xiàn)[12]中使用的轉(zhuǎn)置卷積相比,亞像素卷積增加了感受野大小,有利于梯度的優(yōu)化,并為高分辨率圖像的重建提供了更多的上下文信息。具體生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示,包括特征提取和圖像重建兩個(gè)分支。
圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure
2.1.1 特征提取分支
如圖2 所示,特征提取分支將網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分級(jí),逐步預(yù)測(cè)lbS級(jí)的殘差圖像,其中,S為尺度因子。網(wǎng)絡(luò)首先使用64個(gè)大小為3×3 的卷積核學(xué)習(xí)低分辨率圖像的淺層特征,并將運(yùn)算得到的特征圖作為金字塔第一層的輸入。金字塔每一層的結(jié)構(gòu)均保持一致,由密集塊、殘差學(xué)習(xí)層、亞像素卷積層、殘差圖像提取層組成,具體介紹如下:
1)密集塊:密集塊結(jié)構(gòu)如圖3 所示,由批規(guī)范化、LeakyReLU 激活函數(shù)、3×3 卷積重復(fù)串聯(lián)而成,且層與層之間均建立了連接,方便前面層的輸出以特征級(jí)聯(lián)的方式傳遞給后面每一個(gè)層,進(jìn)而加強(qiáng)特征的復(fù)用和傳播。隨著網(wǎng)絡(luò)的加深,密集連接的方式難免會(huì)造成特征的冗余,為了減輕網(wǎng)絡(luò)負(fù)擔(dān)、降低特征映射的數(shù)量,本文在密集塊后端加入過(guò)渡層。過(guò)渡層由批規(guī)范化,LeakyReLU 激活函數(shù)、1×1 卷積和2×2 平均池化組合而成,卷積和池化操作可以對(duì)數(shù)據(jù)進(jìn)行壓縮降維。假設(shè)輸入過(guò)渡層的特征圖數(shù)量為m,則經(jīng)過(guò)渡層后輸出的數(shù)量為θm,其中θ為壓縮系數(shù),取值范圍(0,1],為平衡特征數(shù)量,本文實(shí)驗(yàn)設(shè)定θ=0.5。
圖3 密集塊結(jié)構(gòu)Fig.3 Dense block structure
2)殘差學(xué)習(xí)層:在對(duì)特征圖進(jìn)行上采樣之前,利用跳躍連接的方式,將淺層卷積學(xué)習(xí)到的低階特征疊加到經(jīng)密集塊后學(xué)習(xí)到的高階特征中,進(jìn)行殘差判斷,這有利于梯度的保持和網(wǎng)絡(luò)模型的收斂。
3)亞像素卷積層:本文選用5×5 大小的亞像素卷積層作為上采樣層,對(duì)輸入的低分辨率特征圖FLR進(jìn)行擴(kuò)充處理,可以有效縮短圖像重建的時(shí)間。上采樣過(guò)程如式(4):
其中:ISR為上采樣后得到的高分辨率圖像;PS(·)為周期性混洗算子。該層的結(jié)果一方面輸出到金字塔下一層繼續(xù)提取特征,另一方面用于該層級(jí)殘差圖像的學(xué)習(xí)。
4)殘差圖像提取層:使用3 個(gè)3×3 大小的卷積核對(duì)上采樣后的特征圖進(jìn)行殘差預(yù)測(cè),并將殘差圖像用于圖像重建中。
2.1.2 圖像重建分支
圖像重建分支使用亞像素卷積層對(duì)輸入的低分辨率圖像進(jìn)行2 倍上采樣,并與卷積運(yùn)算后得到的殘差圖像結(jié)合生成高分辨率圖像,最后將本層級(jí)生成的高分辨率圖像作為金字塔下一層級(jí)上采樣的基礎(chǔ)圖像,執(zhí)行相同的操作。定義目標(biāo)上采樣因子為s,則金字塔共有P=lbs層,假設(shè)第p層輸入的低分辨率圖像為xp,經(jīng)卷積運(yùn)算后得到的殘差圖像為rp,重建得到的高分辨率圖像為y′p,則圖像重建過(guò)程由式(5)可得。
其中up為上采樣運(yùn)算。利用這種漸進(jìn)式重建的特點(diǎn),在得到放大8 倍后的圖像重建結(jié)果時(shí),也可以得到放大2 倍、4 倍后的重建圖像,實(shí)現(xiàn)了單個(gè)網(wǎng)絡(luò)生成多個(gè)尺度圖像的超分辨率重建。
判別器設(shè)計(jì)為5 層全卷積神經(jīng)網(wǎng)絡(luò),選用卷積核大小為4×4、步幅為2的卷積層,用于增加感受野大小,加強(qiáng)模型探索重要信息的能力;同時(shí)利用最大池化操作縮減特征規(guī)模,提高網(wǎng)絡(luò)計(jì)算速度,結(jié)構(gòu)如圖4 所示。本文判別器借鑒PatchGAN[20]的思想,將輸入映射為N×N的矩陣M,其中,矩陣上每一個(gè)元素Mi,j對(duì)應(yīng)原圖中某個(gè)特定圖像塊Patchi,j的判定,判別器網(wǎng)絡(luò)取矩陣均值得最終判斷結(jié)果。
相比傳統(tǒng)GAN 的判別器,本文判別器允許任意大小的圖像作為輸入,網(wǎng)絡(luò)設(shè)計(jì)更加靈活,且通過(guò)對(duì)每個(gè)Patch進(jìn)行判定,實(shí)現(xiàn)了局部圖像特征的提取,更加注重重建圖像的高頻信息,有利于促進(jìn)生成器重建更高質(zhì)量、更多細(xì)節(jié)的高分辨率圖像。
圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Discriminator network structure
本文采用聯(lián)合對(duì)抗損失和內(nèi)容損失的方式訓(xùn)練生成器網(wǎng)絡(luò),并針對(duì)金字塔的每一層級(jí)(即每一個(gè)尺度)均計(jì)算損失,用以指導(dǎo)多個(gè)尺度圖像的超分辨率重建。假設(shè)金字塔共p層,網(wǎng)絡(luò)整體損失函數(shù)LG如式(6)所示:
其中:LCont為內(nèi)容損失函數(shù);LAdv為對(duì)抗損失函數(shù);λ為加權(quán)系數(shù)權(quán)重。
常用于超分辨率重建的內(nèi)容損失函數(shù)有L1 損失[26]和L2損失[27]。為避免引入不必要的訓(xùn)練技巧,本文選擇L1損失作為內(nèi)容損失函數(shù),其對(duì)于任意大小的異常值均使用固定的懲罰,受離群點(diǎn)影響較小,相比L2 損失可以獲得更加穩(wěn)定的梯度和更快的收斂速度。內(nèi)容損失函數(shù)如式(7)所示:
其中:s是目標(biāo)上采樣因子;ILR是大小為R×C的低分辨率圖像。
本文算法參考SRGAN[16]的對(duì)抗損失函數(shù),基于生成器和判別器的對(duì)抗機(jī)制,設(shè)計(jì)對(duì)抗損失LAdv如式(8)所示:
其中:DθD(GθG(ILR))為判別器將生成器生成的圖像判斷為真的概率。
本文實(shí)驗(yàn)在CPU 為Intel Xeon Gold 6126 @ 2.60 GHz,GPU 為NVIDIA Tesla P100,顯存為16 GB 的主機(jī)上進(jìn)行。實(shí)驗(yàn)平臺(tái)搭載的操作系統(tǒng)為CentOS 7.0、深度學(xué)習(xí)框架TensorFlow 1.12、CUDA 10.0。
實(shí)驗(yàn)訓(xùn)練使用的數(shù)據(jù)集為NTIRE2017 提供的DIV2K 訓(xùn)練集,其中包含800 張訓(xùn)練圖像、100 張驗(yàn)證圖像和100 張測(cè)試圖像,訓(xùn)練時(shí)利用雙三次插值算法得到下采樣8 倍的LR 圖像,作為生成器網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)采用基準(zhǔn)數(shù)據(jù)集Set5、Set14、BSD100、Urban100進(jìn)行測(cè)試,以檢驗(yàn)算法的可行性。為保證高效的計(jì)算以及穩(wěn)定的訓(xùn)練,實(shí)驗(yàn)選擇Adam 算法作為網(wǎng)絡(luò)優(yōu)化器,批大?。╞atch_size)設(shè)置為16,epochs 設(shè)置為150,學(xué)習(xí)率初始值為10-4,并伴隨訓(xùn)練的過(guò)程進(jìn)行微調(diào)。本文出現(xiàn)的超參數(shù)分別為:θ=0.5,λ=0.1。
本文使用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)作為重建圖像質(zhì)量的客觀評(píng)價(jià)指標(biāo)。峰值信噪比是基于圖像間的均方誤差(Mean Square Error,MSE)[28]進(jìn)行計(jì)算,數(shù)值越高則表示圖像失真度越小。結(jié)構(gòu)相似性分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性,更加能反映出人眼的真實(shí)視覺(jué)感受,且SSIM 的取值越接近1 則表示重建效果越好。PSNR、SSIM 計(jì)算公式見(jiàn)式(9)、(10)。
其中:y為原HR圖像;y′為生成器重建后的HR圖像;R、C分別為HR 圖像的行數(shù)、列數(shù);fMSE為均方誤差函數(shù)。fMSE的表達(dá)式為:
其中:μy、μy′代表圖像y與圖像y′的平均灰度值;σy、σy′代表圖像y與圖像y′的方差;σy′y為協(xié)方差;A1、A2為常數(shù)。
此外,本文在Set5、Set14 等4 個(gè)測(cè)試集上,以重建全部圖像時(shí)間的平均值作為比較對(duì)象,對(duì)不同超分辨率算法的重建時(shí)間效率進(jìn)行了比較,重點(diǎn)測(cè)試了當(dāng)放大倍數(shù)為4 時(shí)各算法的時(shí)間性能表現(xiàn)。
首先,為驗(yàn)證本文算法的有效性,將其與Bicubic、SRCNN、LapSRN、SRGAN、ESRGAN、ProGANSR 共6 種算法進(jìn)行了客觀數(shù)據(jù)PSNR、SSIM的比較,結(jié)果見(jiàn)表1~3。
從表1~3 可看出:基于深度學(xué)習(xí)的SR 算法性能明顯優(yōu)于Bicubic 傳統(tǒng)算法,且基于GAN 框架的SR 算法可以獲得較高的PSNR、SSIM 值,本文算法在以上數(shù)據(jù)集的測(cè)試中均優(yōu)于其他算法。從表2 可以看出,當(dāng)放大尺度為4 時(shí):相比SRCNN、LapSRN,本文算法的PSNR、SSIM 值均有大幅度提升;相比SRGAN、ProGANSR,本文算法的平均PSNR 值大約提升0.2~1.0 dB,SSIM值大約提升0.01~0.04;相比ESRGAN,本文算法提升并不明顯,僅有略微增加。但當(dāng)放大尺度為8時(shí),其他SR算法的性能均下降明顯,本文算法仍取得了較高的PSNR、SSIM 值,且相比ESRGAN,PSNR 值也提升了大約0.06~0.15 dB,如表3所示。實(shí)驗(yàn)結(jié)果表明,本文算法重建的多尺度HR 圖像擁有更高的PSNR、SSIM 值,在重建較大尺度因子的圖像時(shí)更具優(yōu)勢(shì),滿足了不同尺度的圖像超分辨率重建的需求。
其次,對(duì)算法的運(yùn)行效率進(jìn)行了測(cè)試,表4 給出了當(dāng)放大尺度為4 時(shí),本文算法與其他SR 算法在4 個(gè)測(cè)試集上的平均運(yùn)行時(shí)間比較。從表4可看出,Bicubic算法用時(shí)最短,這與其簡(jiǎn)單的插值方式有關(guān),而基于深度學(xué)習(xí)的SR 算法,由于包含大量的卷積計(jì)算,導(dǎo)致重建圖像的耗時(shí)較多。在基于GAN 框架的SR 算法中,本文算法的平均處理速度最高,相比卷積神經(jīng)網(wǎng)絡(luò)中耗時(shí)最少的SRCNN僅增加了大約0.02 s,PSNR值卻提高了約1.7 dB;相比生成對(duì)抗網(wǎng)絡(luò)中耗時(shí)最多的ProGANSR,本文算法用時(shí)縮短了大約0.07 s,PSNR 值提高了約0.62 dB。實(shí)驗(yàn)結(jié)果表明,本文算法在保證重建圖像質(zhì)量的前提下耗費(fèi)了較少的運(yùn)行時(shí)間,擁有良好的運(yùn)行效率。
表1 不同SR算法在重建2倍圖像時(shí)的PSNR、SSIM值比較Tab.1 Comparison of PSNR and SSIM of different SR algorithms in 2-times image reconstruction
表2 不同SR算法在重建4倍圖像時(shí)的PSNR、SSIM值比較Tab.2 Comparison of PSNR and SSIM of different SR algorithms in 4-times image reconstruction
表3 不同SR算法在重建8倍圖像時(shí)的PSNR、SSIM值比較Tab.3 Comparison of PSNR and SSIM of different SR algorithms in 8-times image reconstruction
最后,從主觀視覺(jué)效果角度對(duì)本文算法與其他SR算法的重建進(jìn)行了實(shí)驗(yàn)比較。分別從Set5、Set14、Urban100 測(cè)試集中選擇一張圖像作為測(cè)試對(duì)象,并分別下采樣至不同的大小,進(jìn)行多尺度的超分辨率重建,重建效果如圖5~7。圖5是各算法在Set5測(cè)試集上重建放大尺度為2時(shí)的HR 效果圖,可以看出:本文算法重建的嬰兒面部細(xì)節(jié)更加豐富,睫毛根根分明;Bicubic 算法效果最差,重建圖像模糊;ProGANSR 與LapSRN重建效果較好,但圖像過(guò)度平滑。圖6 是各算法在Set14 測(cè)試集上重建放大尺度為4 時(shí)的HR 效果圖,可以看出:本文算法與SRGAN、ESRGAN 主觀效果相當(dāng),更加貼合真實(shí)的HR 圖像;但SRGAN、ESRGAN 重建的狒狒胡須在放大后會(huì)出現(xiàn)非期望的偽影。圖7 是在Urban100 測(cè)試集上重建放大尺度為8時(shí)各算法的表現(xiàn),可以看出:其他算法重建質(zhì)量明顯下降,無(wú)法得到更多的細(xì)節(jié),盡管ESRGAN、LapSRN 重建的建筑圖像中能夠看到網(wǎng)格形狀,卻十分模糊;而本文算法重建的建筑邊緣清晰且網(wǎng)格明顯,細(xì)節(jié)更加顯著。
圖5 Set5(Img_001)圖像在放大尺度為2時(shí)的超分辨率重建效果Fig.5 Two-times super-resolution reconstruction effect of Set5(Img_001)image
圖6 Set14(Img_001)圖像在放大尺度為4時(shí)的超分辨率重建效果Fig.6 Four-times super-resolution reconstruction effect of Set14(Img_001)image
圖7 Urban100(Img_001)圖像在放大尺度為8時(shí)的超分辨率重建效果Fig.7 Eight-times super-resolution reconstruction effect of Urban100(Img_001)image
為解決超分辨率算法中重建大尺度因子效果較差以及多個(gè)尺度的圖像重建均需要單獨(dú)訓(xùn)練等問(wèn)題,本文提出了基于拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建算法。該算法構(gòu)建了金字塔結(jié)構(gòu)的生成器實(shí)現(xiàn)多個(gè)尺度的圖像重建,以漸進(jìn)上采樣的方式重建大尺度因子圖像,將密集模塊作為提取特征的核心模塊加強(qiáng)特征的傳播;算法采用PatchGAN 判別器以輸出矩陣的方式得到更加精準(zhǔn)的判斷,引導(dǎo)生成器更高質(zhì)量、高細(xì)節(jié)地重建圖像;此外,算法以聯(lián)合L1損失與對(duì)抗損失的方式指導(dǎo)優(yōu)化網(wǎng)絡(luò)參數(shù),進(jìn)一步穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練,加快網(wǎng)絡(luò)收斂。實(shí)驗(yàn)結(jié)果表明:與其他SR 算法相比,本文算法降低了大尺度因子的學(xué)習(xí)難度,在不引入過(guò)多空間和時(shí)間代價(jià)的情況下,解決了多個(gè)尺度圖像的重建問(wèn)題,且重建的圖像具有較高的PSNR、SSIM 值和較少的邊緣偽影。未來(lái)研究工作的重點(diǎn)在于進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),降低訓(xùn)練的難度,并將圖像超分辨率重建算法在油氣資源勘探等特定領(lǐng)域中實(shí)際應(yīng)用。