歐奕敏,魏朝勇,梁 艷,江世杰

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

在日常生活中,圖像隨處可見.但受成像設(shè)備分辨率、物體與成像設(shè)備距離等因素影響,獲得的圖像分辨率較低,無法滿足實際應(yīng)用的需求.因此,圖像超分辨率重建技術(shù)應(yīng)運而生.該技術(shù)可以將模糊低分辨率圖像重建為高分辨率圖像[1],目前已被廣泛應(yīng)用于人臉識別[2]、社會安全[3]、醫(yī)學(xué)成像[4]、軍事遙感[5]等領(lǐng)域.

早期的圖像超分辨率重建算法以基于傳統(tǒng)機器學(xué)習(xí)的方法為主[6],常見的包括基于重建[7]和基于插值[8]等方法.這些方法具有較大的局限性,例如,基于重建方法[7]只能處理結(jié)構(gòu)比較簡單的圖像;基于插值方法[8]得到的重建圖像的邊緣容易出現(xiàn)模糊現(xiàn)象.近年來,隨著深度學(xué)習(xí)的蓬勃發(fā)展,越來越多學(xué)者將深度學(xué)習(xí)的方法引入該領(lǐng)域[9].Dong 等人[10]最早從事相關(guān)研究,采用一個3 層卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)單張圖像的超分辨率重建,該方法提高了重建圖像的質(zhì)量,但無法滿足實時性要求,且網(wǎng)絡(luò)訓(xùn)練難于收斂.針對該問題,Dong 等人[11]在此基礎(chǔ)上對網(wǎng)絡(luò)進行改進,縮小網(wǎng)絡(luò)的輸入特征維數(shù),采用更小的過濾器尺寸,使網(wǎng)絡(luò)結(jié)構(gòu)更為緊湊,從而有效地加快了網(wǎng)絡(luò)的訓(xùn)練過程.為了減少網(wǎng)絡(luò)的參數(shù)量,Tai 等人[12]引入了殘差學(xué)習(xí)和遞歸學(xué)習(xí),有效防止梯度爆炸或消失問題.Lai 等人[13]提出基于拉普拉斯金字塔結(jié)構(gòu)的 LapSRN 算法,采用逐級放大來感知更多信息,通過參數(shù)共享能夠較高質(zhì)量地實現(xiàn)實時超分辨率重建.Zhang 等人[14]提出能夠充分融合低分辨率圖像中所有層次特征的殘差密集網(wǎng)絡(luò)(residual dense network,RDN),該算法取得較好的重建效果,但模型參數(shù)量過多,存在特征冗余.

受生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[15]啟發(fā),Ledig 等人[16]提出了超分辨率生成對抗網(wǎng)絡(luò)(super-resolution generative adversarial networks,SRGAN),通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)不斷交替對抗訓(xùn)練,并引入感知損失函數(shù)提高圖像的視覺效果,使得重建圖像的紋理細節(jié)更為清晰.但SRGAN 模型的參數(shù)量過多,導(dǎo)致訓(xùn)練收斂速度較慢,此外,重建圖像的高頻紋理往往過于銳化,導(dǎo)致部分細節(jié)出現(xiàn)扭曲現(xiàn)象,而且在一些原本光滑的地方也產(chǎn)生尖銳的噪聲.針對SRGAN 算法存在的問題,本文提出了一種改進的SRGAN 算法,一方面,優(yōu)化了它的網(wǎng)絡(luò)結(jié)構(gòu),另一方面,提出了聯(lián)合感知損失,從而獲得更優(yōu)的圖像超分辨率重建性能.本文主要工作如下:

(1)針對模型參數(shù)量多而導(dǎo)致訓(xùn)練收斂速度慢的問題,本文提出了稀疏殘差密集網(wǎng)絡(luò)(sparse residual dense network,SRDN),并將其代替?zhèn)鹘y(tǒng)的 SRResNet作為生成網(wǎng)絡(luò);此外,采用深度可分離卷積[17]思想改進生成網(wǎng)絡(luò),進一步降低參數(shù)量;移除生成網(wǎng)絡(luò)的 BN(batch normalization)層,提高模型的泛化能力.

(2)針對重建圖像的高頻紋理過于銳化而導(dǎo)致部分細節(jié)扭曲、噪聲過多的問題,本文分析并改進了感知損失函數(shù),提出融合 VGG[18]的低頻特征和高頻特征的聯(lián)合感知損失,并結(jié)合均方誤差損失來定義總損失.

(3)分別在Set5[19]、 Set14[20]、BSD100[21]數(shù)據(jù)集進行實驗,對本文算法的性能進行評價,證明本文算法的優(yōu)越性.

1 SRGAN 網(wǎng)絡(luò)模型

SRGAN 網(wǎng)絡(luò)由一個生成網(wǎng)絡(luò)和一個判別網(wǎng)絡(luò)組成.生成網(wǎng)絡(luò)的主要作用是將低分辨率圖像重建成高分辨率圖像;判別網(wǎng)絡(luò)的主要作用則是判斷給定圖像是真實圖像還是生成圖像[16].兩個網(wǎng)絡(luò)通過相互對抗的訓(xùn)練過程,使得生成網(wǎng)絡(luò)最終可以將低分辨率圖像重建為高分辨率圖像.SRGAN 網(wǎng)絡(luò)框架如圖1所示.

圖1 SRGAN 網(wǎng)絡(luò)框架

SRGAN 網(wǎng)絡(luò)模型能夠提高重建圖像的感知質(zhì)量,但其參數(shù)量過多,訓(xùn)練收斂速度較慢,重建圖像高頻紋理過度銳化,導(dǎo)致部分細節(jié)扭曲、產(chǎn)生噪聲.因此,本文對 SRGAN 的網(wǎng)絡(luò)結(jié)構(gòu)進行改進,采用 SRDN(移除了 BN 層)代替?zhèn)鹘y(tǒng)的 SRResNet 作為生成網(wǎng)絡(luò),以實現(xiàn)對低分辨率圖像特征的充分利用,同時利用 SRDN稀疏性的連接方式和深度可分離卷積[17]思想,減少模型的參數(shù)量;此外,融合 VGG 中低頻特征和高頻特征的聯(lián)合感知損失,結(jié)合均方誤差損失對網(wǎng)絡(luò)的感知損失函數(shù)進行改進.

2 基于改進的SRGAN圖像超分辨率重建算法

2.1 利用SRDN 網(wǎng)絡(luò)構(gòu)建生成網(wǎng)絡(luò)模型

本文采用稀疏殘差密集網(wǎng)絡(luò) SRDN 代替?zhèn)鹘y(tǒng)的SRResNet 作為生成網(wǎng)絡(luò),同時,為了進一步減少計算量,在稀疏殘差密集塊(sparse residual dense block,SRDB)中融入深度可分離卷積[17]的思想,即將 SRDB中3×3 的卷積替換為1×3 和3×1 的卷積.SRDN 以及SRDB 的構(gòu)成將在第3.1.1 節(jié)詳細闡述.

傳統(tǒng)的 SRGAN 網(wǎng)絡(luò)利用卷積層加 BN 層的方式,讓每一層的值在一個有效范圍內(nèi)進行傳遞,加快網(wǎng)絡(luò)收斂速度.然而,研究表明[22],在 GAN 框架下進行訓(xùn)練或者在模型的網(wǎng)絡(luò)層數(shù)較多時,BN 層很容易引入偽影問題,并且會對模型的泛化能力產(chǎn)生一定的限制.這些偽影一般情況下可能會出現(xiàn)在迭代時或者是不同設(shè)置之間,不利于性能的穩(wěn)定.因此,我們移除生成網(wǎng)絡(luò)中的BN 層,從而保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性,同時令模型的泛化能力得到提高.此外,移除BN 層也有利于減少計算復(fù)雜度.本文采用的SRDN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 SRDN 網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 稀疏殘差密集網(wǎng)絡(luò)

稀疏殘差密集網(wǎng)絡(luò) SRDN 是在殘差密集網(wǎng)絡(luò)RDN[14]的基礎(chǔ)上改進而來.RDN 結(jié)合殘差網(wǎng)絡(luò)和密集網(wǎng)絡(luò)兩者的特性,其中,殘差網(wǎng)絡(luò)[23]利用殘差學(xué)習(xí)的思想,對低頻特征和通過卷積層提取的特征進行加權(quán)求和,有效降低了訓(xùn)練誤差;密集網(wǎng)絡(luò)[24]則引入了密集跳躍連接,從而實現(xiàn)低頻和高頻特征的有效結(jié)合,緩解了梯度消失的問題.

RDN 的網(wǎng)絡(luò)主體架構(gòu)是利用殘差密集塊 RDB,通過特征相連的方式聚合輸出,其連接方式包含殘差連接和密集連接.殘差連接和密集連接有一定的差異,因而RDN 通過這兩種連接進行聚合存在以下問題:(1)密集連接的數(shù)量和參數(shù)量的增長速率為O(n2),n是網(wǎng)絡(luò)深度,這表明隨著網(wǎng)絡(luò)的加深,網(wǎng)絡(luò)的參數(shù)量將爆炸性增長.(2)密集連接很大一部分都用于處理先前的特征表示,這表明密集聚合將始終保持一些不相關(guān)的狀態(tài),存在特征冗余.

針對 RDN 網(wǎng)絡(luò)在聚合連接上的問題,本文結(jié)合稀疏聚合網(wǎng)絡(luò)的思想對 RDN 進行改進,提出了稀疏殘差密集網(wǎng)絡(luò) SRDN.對于RDN 中單個模塊的聚合連接,其公式如下:

式中,x表示輸入特征,F表示卷積操作,k表示網(wǎng)絡(luò)層數(shù),滿足k≤n(n為最大模塊數(shù)),yi(0 ≤i≤k)表示第i層的輸出.由公式可以看出,每層的輸入都聚合了之前所有層的特征,但是這種連接方式容易造成特征冗余.因此,本文提出了一種新的聚合方式,其公式如下:

式中,c表示正整數(shù),k表示滿足的最大非負整數(shù).這種改進的密集連接方式能夠?qū)⒚總€輸出特征進行稀疏性的密集連接,使得網(wǎng)絡(luò)結(jié)構(gòu)更加簡單,從而大大減少網(wǎng)絡(luò)的參數(shù)和計算量,提供更好的性能.

SRDN 的網(wǎng)絡(luò)結(jié)構(gòu)和 RDN 類似,但我們以式(3)聚合每一個輸出塊,從而達到相同的計算資源可以構(gòu)建更多網(wǎng)絡(luò)層的目的.

類似的,我們采用基于稀疏聚合網(wǎng)絡(luò)的思想對殘差密集塊 RDB 進行改進,提出了稀疏殘差密集塊SRDB.與 RDB 類似,SRDB 允許將前一個 SRDB 的狀態(tài)與接下來的其他層相連接,從而形成連續(xù)內(nèi)存機制,不同之處在于采用式(3)進行不同層之間的特征傳遞,這種連接方式有利于避免無關(guān)特征參與到網(wǎng)絡(luò)的運算中造成特征冗余.SRDB 的連接方式如圖3所示.

圖3 SRDB 的連接方式

2.1.2 深度可分離卷積

傳統(tǒng)的 SRGAN 模型存在參數(shù)量過多而導(dǎo)致訓(xùn)練收斂速度較慢的問題,為了減少計算量,本文在稀疏性連接的基礎(chǔ)上進一步采用深度可分離卷積(depthwise separable convolution,DSC)[17]的思想來改進生成網(wǎng)絡(luò),將稀疏殘差密集塊 SRDB 中3×3 的卷積替換為1×3和3×1 的卷積.

深度可分離卷積包含深度卷積和逐點卷積[17].卷積過程通常是先進行深度卷積,再進行逐點卷積.圖4分別展示了標準卷積和深度可分離卷積的卷積核結(jié)構(gòu).

圖4 標準卷積和深度可分離卷積的卷積核結(jié)構(gòu)

為了比較兩種卷積的參數(shù)計算量,我們假設(shè)輸入K通道大小為A×B的特征圖,采用大小為C×C的卷積核進行卷積后,輸出L通道大小為A×B的特征圖.那么,標準卷積的參數(shù)計算量為:

深度可分離卷積的參數(shù)計算量為:

因此,兩種結(jié)構(gòu)參數(shù)計算量之比為:

由式(6)可以看出,當輸出通道和卷積核的大小遠大于1 的時候,采用深度可分離卷積代替標準卷積,可顯著降低模型的參數(shù)量.

2.2 判別網(wǎng)絡(luò)模型的構(gòu)建

本文的判別網(wǎng)絡(luò)模型如圖5所示,參考了 Ledig等人[16]提出的 SRGAN 模型中的判別器網(wǎng)絡(luò)結(jié)構(gòu).判別器網(wǎng)絡(luò)包含8次卷積過程,所有的卷積層,除用于接收圖像的前端卷積層外,其它均連接 BN 層,同時選取Leaky ReLU 作為激活函數(shù).隨著卷積次數(shù)的增多,提取的特征圖數(shù)量不斷增多,而特征圖的大小在持續(xù)變小,最后的連接層則是對網(wǎng)絡(luò)所有的特征作統(tǒng)一處理,并通過最終的激活函數(shù) Sigmoid 來對輸出的圖像進行概率的預(yù)測.

為生產(chǎn)優(yōu)質(zhì)乳產(chǎn)品，公司不斷提升檢測能力，配置國際先進檢測設(shè)備，對產(chǎn)品全過程進行檢測，每批次原料奶需經(jīng)過62項檢測，生產(chǎn)過程關(guān)鍵控制點54個，成品出廠檢測項目23項。產(chǎn)品出廠，全程冷鏈配送至終端賣場。如今，雪蘭牛奶已經(jīng)成為我省甚至是全國區(qū)域型乳企的發(fā)展模板，為“云乳”產(chǎn)業(yè)發(fā)展貢獻著自己的力量。

圖5 判別網(wǎng)絡(luò)模型

2.3 聯(lián)合感知損失

SRGAN 沒有對傳統(tǒng)的均方誤差損失(MSE)作優(yōu)化,而是提出一種新的感知損失函數(shù),其中包括內(nèi)容損失和對抗損失.由于較深的網(wǎng)絡(luò)層表示的特征更加抽象,因此 SRGAN 將內(nèi)容損失定義在 VGG-54(VGG19網(wǎng)絡(luò)中第5 次池化前的第4 個卷積層之前的特征圖)的高頻特征的特征圖上,這些深層的特征圖只關(guān)注內(nèi)容,而對抗損失則關(guān)注紋理細節(jié).VGG-22(VGG19網(wǎng)絡(luò)中第2 次池化前的第2 個卷積層之前的特征圖)定義在較淺的網(wǎng)絡(luò)層,提取的特征大部分為輪廓、形狀等低頻特征[25],這些特征無法體現(xiàn)出明顯的細節(jié)差別.文獻[16]通過實驗證明了使用高頻特征作為內(nèi)容損失的有效性.

然而,僅以 VGG-54 定義損失會使重建圖像的紋理過于銳化,從而導(dǎo)致細節(jié)部分扭曲,容易產(chǎn)生尖銳的噪聲,偽影也較為嚴重;而傳統(tǒng)的MSE 雖然能使重建圖像的細節(jié)較為平滑,但不能有效重構(gòu)圖像的高頻紋理細節(jié)信息.為了有效地解決以上問題,本文引入 VGG-22 和 MSE 兩個部分,與 VGG-54 一起定義為聯(lián)合感知損失,使得重建圖像既能具備細節(jié)平滑的特性,抵消一部分產(chǎn)生的噪聲,在主觀上具有較好的視覺效果,同時在客觀評價中也能取得較好的指標結(jié)果.

研究表明[22],激活函數(shù)激活后的特征非常稀疏,而稀疏特征只能提供非常弱的監(jiān)督效果,會導(dǎo)致性能低下.因此,本文均采用激活函數(shù)前的特征來計算 VGG-22 和 VGG-54 兩種特征圖,并對其賦予不同的權(quán)重值來對整體的對比損失進行調(diào)整,使得重建圖像的高頻特征和低頻特征更加均衡.改進后的內(nèi)容損失函數(shù)如式(7)所示.

式中,lVGG-22表示 VGG19 網(wǎng)絡(luò)中第2 次池化前的第2 個卷積層之前的特征圖,即低頻特征;lVGG-54表示VGG19 網(wǎng)絡(luò)中第5 次池化前的第4 個卷積層之前的特征圖,即高頻特征;α和β為超參數(shù),本文將在第4.4 節(jié)設(shè)計交叉驗證實驗來確定兩個超參數(shù)的取值.

本文改進后的損失函數(shù)如式(8)所示:

式中,lMSE表示均方誤差損失,表示對抗損失.對于,其主要作用是使生成網(wǎng)絡(luò)重建的圖像能夠盡可能地欺騙判別網(wǎng)絡(luò).為了使重建圖像在視角感知方面更具表現(xiàn)力,l權(quán)重占比較小,具體取值參考了文獻[16]中對抗損失的權(quán)重選取.

3 實驗及分析

3.1 實驗環(huán)境

3.2 實驗數(shù)據(jù)集

對于訓(xùn)練數(shù)據(jù),本文采用DIV2K 數(shù)據(jù)集[26],利用雙三次插值對其中的800 幅高分辨率RGB 圖像進行降采樣,得到低分辨率圖像作為訓(xùn)練數(shù)據(jù).其中,降采樣因子r為 4,Batch_size 設(shè)置為16.使用Adam 優(yōu)化器對每次的更新進行優(yōu)化,學(xué)習(xí)率初始值設(shè)為0.000 1.

對于測試數(shù)據(jù),本文選用Set5[19]、Set14[20]和BSD100[21]3 個數(shù)據(jù)集,對網(wǎng)絡(luò)模型進行評價.

3.3 評價指標

為了客觀評價本文算法的性能,我們使用了峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)[9]作為評價指標.其中,PSNR 使用均方誤差損失(MSE)來衡量兩幅圖像像素點之間的區(qū)別,PSNR 值愈高,說明圖像失真度愈小.SSIM 則結(jié)合了亮度、對比度、結(jié)構(gòu)對圖像相似性進行度量,SSIM 值愈高,說明兩幅圖像的相似度愈高.

此外,本文引用文獻[16] 提出的平均選項得分(mean option score,MOS)作為主觀評價指標,量化不同算法的重建效果.具體評價操作如下,我們讓20 個評分員在未知圖像版本的前提下使用1～5 五個分數(shù)對圖像質(zhì)量進行評分,分數(shù)越高代表圖像質(zhì)量越好,最后求分數(shù)平均值作為評價指標.20 個評分員分別對Set5、Set14 和BSD100 三個數(shù)據(jù)集的每張圖片的6 個版本,即:原始高分辨率圖像(HR)、Bicubic[8]、SRCNN[10]、SRResNet[16]、SRGAN[16]和本文方法得到的超分辨率圖像進行打分.

3.4 交叉驗證實驗

為了確定式(7)中低頻特征權(quán)重α和高頻特征權(quán)重β的取值,本文在Set5 數(shù)據(jù)集上測試,計算在不同的α和β取值下獲得的 PSNR 值和 SSIM 值.

表1 展示了不同特征權(quán)重下獲得的結(jié)果.由表1可知,當α和β都較小時,導(dǎo)致所得的內(nèi)容損失權(quán)重占比較小,而均方誤差損失的權(quán)重占比也很小,因此計算損失時沒有偏重的一面,不僅導(dǎo)致計算得到的 PSNR值和 SISM 值過小,而且重建圖像的視覺感知效果也并不理想.當α較大而β較小時(如α=0.1,β=0.01),雖然計算得到的 PSNR 值和 SSIM 值取得最好的結(jié)果,但是高頻特征損失的占比較小,會導(dǎo)致重建圖像在細節(jié)特征上的表現(xiàn)有所不足;當α和β都較大時,計算得到的 PSNR 值和 SSIM 值都有較好的結(jié)果,且計算損失時偏重于感知損失上,重建圖像會有較好的視覺效果.經(jīng)過綜合比較,當α和β的值分別為0.01 和1 時,無論是在視角效果上還是高頻細節(jié)上,重建圖像都表現(xiàn)較好.因此,本文最終確定α和β值分別為0.01 和1.

表1 特征權(quán)重選取表

3.5 重建結(jié)果與評價

3.5.1 實驗分析

本文采用客觀評價和主觀評價兩種方式,在3 個公開數(shù)據(jù)集上測評Bicubic[8]、SRCNN[10]、SRResNet[16]、SRGAN[16]以及本文方法的重建效果.表2 展示了在不同數(shù)據(jù)集上采用不同算法獲得的評價指標值.表中的HR 表示原始高分辨率圖像.

表2 不同算法的評價指標對比(最優(yōu)者以粗體表示)

由表2 可知,深度殘差網(wǎng)絡(luò) SRResNet 在 PSNR 和SSIM 兩個客觀評價指標上取得了最好的結(jié)果,但是在主觀評價指標 MOS 上卻表現(xiàn)不佳,這是因為客觀評價指標是基于對應(yīng)像素點計算亮度顏色等差異,并未考慮到人眼的視覺特性,因而導(dǎo)致客觀評價指標與人眼視覺感受不一致的情況.而 SRResNet 以均方誤差損失MSE 作為損失函數(shù),能夠取得較好的 PSNR 和 SSIM值,但是重建圖像丟失了高頻細節(jié)信息,不能很好的符合人眼主觀感受,因而在主觀評價指標 MOS 上表現(xiàn)不佳.

由于 MSE 損失函數(shù)會讓模型過多關(guān)注圖像像素之間的差異,而忽略重建圖像的固有特征.因而,SRGAN 較多關(guān)注圖像感知質(zhì)量上的提高,利用感知損失和對抗損失來提升重建圖像的真實感,能夠在主觀評價指標MOS 上表現(xiàn)較好.本文提出的基于改進SRGAN 的圖像超分辨率重建算法,相對于視覺感官效果較好的SRGAN 而言,其客觀評價指標PSNR 和SSIM 值均有所提升,且主觀評價指標MOS 也明顯高于其他算法,證明本文算法具有更優(yōu)的綜合性能.

3.5.2 視覺效果對比

為了更加有效地證明本文方法的重建效果,本文選取了部分圖像細節(jié)特征進行對比.圖6 和圖7 中的原圖分別是來自Set14 數(shù)據(jù)集的圖像baboon 和comic.在這兩幅圖中,我們還展示了5 種不同算法重建后的圖像細節(jié)特征對比.從圖6、圖7 可以清晰地看出,與其他算法相比,SRResNet 雖然在客觀評價指標上表現(xiàn)較好,但視覺效果并不理想;SRGAN 雖然能夠提升重建圖像的細節(jié)信息,但與HR 圖像相比仍然存在部分紋理細節(jié)模糊、噪聲過多、偽影也較為嚴重等問題.而本文提出來的方法能夠很好地彌補SRGAN 的不足,例如圖6 中baboon 的胡須部分,本文方法重建出來的圖像,胡須清晰可見,根根分明;圖7 中comic 頭上的鎖飾紋理細節(jié)更加飽滿,充分證明本文方法能夠更好地處理圖像細節(jié)信息,使重建圖像更加清晰,視覺效果更加優(yōu)秀.

圖6 圖像baboon 的重建效果對比

圖7 圖像comic 的重建效果對比

4 總結(jié)

本文提出了一種基于改進的 SRGAN圖像超分辨率重建算法,針對模型參數(shù)量多而導(dǎo)致訓(xùn)練收斂速度慢的問題,采用稀疏殘差密集網(wǎng)絡(luò) SRDN 來代替?zhèn)鹘y(tǒng)的 SRResNet 作為生成網(wǎng)絡(luò),同時采用深度可分離卷積的思想來改進生成網(wǎng)絡(luò).針對重建圖像的高頻紋理過于銳化而導(dǎo)致部分細節(jié)扭曲、噪聲過多等問題,本文分析并改進了感知損失函數(shù),提出融合 VGG 的低頻特征和高頻特征的聯(lián)合感知損失,并結(jié)合均方誤差損失來定義總損失.實驗結(jié)果表明,本文算法的PSNR、SSIM和MOS 這3 個評價指標結(jié)果均優(yōu)于傳統(tǒng)SRGAN 算法,重建圖像的細節(jié)部分更加清晰,整體表現(xiàn)出較好的魯棒性和綜合性能.

雖然本文提出的超分辨率重建算法取得了一定的效果,但仍有待改進的地方:(1)本文提出的 SRDN 網(wǎng)絡(luò)主要調(diào)整了密集連接方式,但對殘差連接的研究較少,并且本文的稀疏性網(wǎng)絡(luò)架構(gòu)未應(yīng)用到其他算法上,難以證明架構(gòu)的可移植性;(2)本文僅研究了基于VGG 的感知損失,但未深入探討所有維度特征的有效性.今后將會在此基礎(chǔ)上研究如何進一步提升圖像重建效果.