張賀舒，李 濤，宋公飛，2，3

1.南京信息工程大學 自動化學院，南京210044

2.化工過程先進控制和優(yōu)化技術(shù)教育部重點實驗室，上海200237

3.南京信息工程大學 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京210044

1 引言

超分辨率（Super-Resolution，SR）[1]技術(shù)是指從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像。高分辨率圖像具有更高的像素密度，能提供更多的色調(diào)、形狀、紋理等細節(jié)信息，帶來更好的視覺體驗?，F(xiàn)有SR根據(jù)輸入信息不同可分為兩類：從多張低分辨率圖像重建出高分辨率圖像（多幀圖像超分辨）和從單張低分辨率圖像重建出高分辨率圖像（單幀圖像超分辨）。單幀圖像超分辨（Single Image Super-Resolution，SISR）利用單幅圖像進行超分辨重建，克服了圖像序列難以獲得和時序性不夠的問題。單幀圖像由于缺乏多幀圖像間的關(guān)聯(lián)信息，難以獲取圖像降質(zhì)的先驗信息而成為圖像超分辨重建的難點。SISR 是一個逆問題，對于一張低分辨率圖像可能存在許多不同的高分辨率圖像與之對應(yīng)，為了讓逆向圖片的結(jié)果更接近真實圖片，需要讓模型在現(xiàn)有的低分辨率像素的色度信息和位置信息約束條件下，在指定領(lǐng)域中來進行可逆訓練。傳統(tǒng)方法如頻域、插值、最大后驗概率法等用于SISR時，往往只能提高圖像中局部區(qū)域的清晰度，對圖像整體則會產(chǎn)生鈍化、模糊的效果?；谏疃葘W習的SR主要是SISR，為了讓模型能夠更好地學習和利用約束條件，神經(jīng)網(wǎng)絡(luò)直接優(yōu)化低分辨率圖像到高分辨率圖像的損失函數(shù)進行端到端訓練。文獻[2]最先提出使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像超分辨（Super-Resolution Convolutional Neural Network，SRCNN），SRCNN包含特征提取層、非線性映射層和重建層，實驗效果明顯優(yōu)于傳統(tǒng)算法，但該方法使得網(wǎng)絡(luò)計算量大、運算周期長。文獻[3]提出快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Fast Super-Resolution Convolutional Neural Network，F(xiàn)SRCNN），增加了網(wǎng)絡(luò)的深度，以低分辨率圖像作為網(wǎng)絡(luò)的輸入，使用反卷積運算將低尺寸的高維特征圖轉(zhuǎn)換為高分辨率圖像，效果和速度較SRCNN 均有提升。

在圖像放大四倍及以上時，上述網(wǎng)絡(luò)所得到的結(jié)果會顯得有些平滑，缺少一些細節(jié)上的真實感。原因是這些網(wǎng)絡(luò)使用的代價函數(shù)是基于像素點的最小均方差（Mean Square Error，MSE），使得重建結(jié)果有較高的信噪比，但缺少高頻信息，出現(xiàn)過度平滑的紋理。2016年Ledig等人提出了基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的圖像超分辨重建算法（Super Resolution Generative Adversarial Network，SRGAN）[4]，利用生成對抗網(wǎng)絡(luò)和感知損失函數(shù)使得重建的高分辨率圖像與真實的高分辨率圖像無論是在低層次的像素值還是高層次的抽象特征及整體概念和風格上都很接近。文獻[5]提出了一種可以無監(jiān)督學習聯(lián)合分布的耦合生成對抗網(wǎng)絡(luò)（Coupled Generative Adversarial Networks，CoGAN）。Berthelot等人針對GAN在訓練中難以收斂、容易出現(xiàn)模式坍塌[6]等缺點，提出一種邊界平衡生成對抗網(wǎng)絡(luò)（Boundary Equilibrium Generative Adversarial Networks，BEGAN）[7]。

受以上工作啟發(fā)，本文提出一種改進的單幀圖像超分辨率重建算法，主要工作和創(chuàng)新點為：（1）將CoGAN經(jīng)調(diào)整改進后應(yīng)用于圖像超分辨重建；（2）引入自注意力增強卷積，兼顧圖像中每個位置及其遠端的細節(jié)，提升圖像的重建效果；（3）對生成器和判別器的學習能力做出平衡，在圖像的多樣性和生成質(zhì)量間做出平衡；（4）使用相對判別損失函數(shù)作為來自對抗神經(jīng)網(wǎng)絡(luò)的目標函數(shù)，使得網(wǎng)絡(luò)結(jié)構(gòu)更加穩(wěn)定，生成更高質(zhì)量的圖片；（5）與傳統(tǒng)對抗神經(jīng)網(wǎng)絡(luò)使用隨機向量作為網(wǎng)絡(luò)輸入不同，將低分辨率圖像作為輸入，實現(xiàn)四倍上采樣的圖像超分辨率。

2 相關(guān)工作

2.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)由Goodfellow 等[8]在2014 年第一次提出，是生成式模型最新也是目前最為成功的一項技術(shù)。

GAN的主要思想是自由博弈論[9]中的零和博弈，通過兩個玩家的對抗實現(xiàn)學習。博弈雙方為生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，生成器的主要工作是學習訓練樣本的數(shù)據(jù)分布，生成樣本，盡可能使其看上去與訓練樣本一致。判別器是一個二分類模型，目的是準確判斷輸入樣本是否屬于真實的訓練樣本。假設(shè)網(wǎng)絡(luò)輸入為z，則生成器的輸出為G(z)，判別器的輸出根據(jù)輸入不同可分為D(x)和D(G(z))，理想情況下D(x)=1,D(G(z))=0。上述博弈過程可表示為如下目標函數(shù)：

式（1）中V(D,G) 是生成對抗網(wǎng)絡(luò)整體的目標函數(shù)，V(D,G)是生成器的目標函數(shù)，V(D,G)是判別器的目標函數(shù)。生成器和判別器的訓練過程交替進行，更新一方參數(shù)時，另一方參數(shù)固定住不更新。固定住生成器，對判別器進行更新：優(yōu)化判別器D網(wǎng)絡(luò)，使其對真實輸入判別結(jié)果D(x)盡可能大，對生成器輸出判別結(jié)果D(G(z))盡可能小，即求目標函數(shù)V(D,G)的最大值；固定住判別器，對生成器進行更新：優(yōu)化生成器G網(wǎng)絡(luò)，盡可能欺騙判別器，讓判別器判斷生成器生成結(jié)果為真的概率D(G(z))趨于1，即求目標函數(shù)V(D,G)的最小值。具體實現(xiàn)流程如圖1所示。

圖1 生成對抗網(wǎng)絡(luò)

通常情況下，判別器的學習能力優(yōu)于生成器[10]，且生成器和判別器的學習能力并不固定，會隨著學習程度而變化，本文在訓練網(wǎng)絡(luò)時使用了動態(tài)學習率來改善這一問題，盡可能保持生成器和判別器訓練同步。

2.2 耦合生成對抗網(wǎng)絡(luò)

耦合生成對抗網(wǎng)絡(luò)將兩個GAN 組合在一起，每個GAN 針對一個圖像域（image domain），本質(zhì)上GAN 學習的圖像分布p(x′)要足夠逼近訓練樣本分布p(x)，則任意輸入噪聲到訓練好的生成器中，都能生成足夠像訓練樣本的圖像。在CoGAN 中，因為涉及到域自適應(yīng)（domain adaption）問題，將單個分布p(x)拓展到聯(lián)合分布p(x,y)上。在傳統(tǒng)domain adaption 中，需要學習或訓練一個域適配器（domain adaptor），而domain adaptor需要用源域（source domain）和對應(yīng)的目標域（target domain）的訓練圖片來訓練。如果直接訓練這兩個GAN，那么CoGAN得到的是這兩個邊際分布的內(nèi)積而不是聯(lián)合分布即p(x,y)!=p(x)p(y)。因此CoGAN 通過對網(wǎng)絡(luò)加上無監(jiān)督的權(quán)值共享約束同時求解邊界分布的內(nèi)積分布解使得其可以在兩個domain不存在對應(yīng)圖像（corresponding images）的情況下實現(xiàn)無監(jiān)督的學習一個聯(lián)合分布，如可以學習圖片的顏色和深度兩個不同屬性的聯(lián)合分布。

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)圖

3 方法

3.1 生成對抗網(wǎng)絡(luò)

受以上文獻所做工作的啟發(fā)，本文設(shè)計了耦合生成式對抗超分辨率重建算法來完成單幀圖像超分辨重建任務(wù)。通過構(gòu)建兩個生成器和兩個判別器，共享輸入進行同步訓練，訓練方法與經(jīng)典GAN 網(wǎng)絡(luò)類似。為了實現(xiàn)更好的圖像超分辨重建效果通過“耦合”的方式對生成器2進行指導，“耦合”穿插在正常訓練中。D1(Gen_1)和D2(Gen_2)分別為生成器1和生成器2的生成數(shù)據(jù)是否為真的判別結(jié)果，定義：

當e≤0 時認為生成器1重建后圖像更為真實，此時拉近生成器2 到生成器1 的距離，將生成器1 網(wǎng)絡(luò)層前幾層的權(quán)值共享給生成器2，使得生成器2 獲得更優(yōu)的高頻細節(jié)特征。當e ＞0 時認為生成器2 重建后的圖像更加真實，則不進行權(quán)值共享。

本文中設(shè)計每單獨訓練生成器兩次（無權(quán)值共享），根據(jù)e的大小判斷是否“耦合”訓練（e≤0 權(quán)值共享，e ＞0 不發(fā)生改變）一次。經(jīng)典的對抗式訓練能夠拉近生成器生成的分布和真實的數(shù)據(jù)分布之間的距離，而本文中穿插“耦合”訓練的方式不僅能夠拉近生成器1 和生成器2分布之間的距離，指導生成器2的數(shù)據(jù)生成，提高生成器2 的學習能力，而且降低了網(wǎng)絡(luò)的參數(shù)量，提高模型的收斂速度。

由于本文設(shè)計的生成網(wǎng)絡(luò)中生成器間共享輸入且會發(fā)生“耦合”即權(quán)值共享的情況，很可能會發(fā)生兩個生成器間生成的分布重合，因此，設(shè)計網(wǎng)絡(luò)時進行了隨機權(quán)值初始化，對于不會發(fā)生權(quán)值共享的生成網(wǎng)絡(luò)卷積層使用不同尺寸的卷積核，訓練過程中兩個生成器始終保持生成結(jié)果的差異，沒有發(fā)生重合的情況。判別器的輸出很大程度上影響了網(wǎng)絡(luò)訓練過程中是否會出現(xiàn)“耦合”訓練的情況，設(shè)計兩判別器具有完全相同的網(wǎng)絡(luò)結(jié)構(gòu)。

以下從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)設(shè)置兩個部分進行詳細介紹。

使用深度殘差網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)，深度卷積網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)。網(wǎng)絡(luò)框架結(jié)構(gòu)如圖2、圖3所示。

如圖2所示，生成網(wǎng)絡(luò)由淺層特征提取[11]模塊、基于殘差塊[12]的特征提取模塊、基于自注意力增強卷積[13]的深層特征提取模塊、圖像上采樣模塊和圖像重建模塊五部分組成。當生成器間發(fā)生“耦合”時，生成網(wǎng)絡(luò)中高層語義信息進行權(quán)值共享，一方面保證GAN 的生成器能夠解碼出高層的語義信息，另一方面使得生成器中解碼底層細節(jié)的層可以將共性的表達轉(zhuǎn)換成各自domain中不同的內(nèi)容，進而混淆判別器。由此生成網(wǎng)絡(luò)學習低分辨輸入圖像ILR到高分辨圖像IHR之間的映射關(guān)系，進而重建出與ILR對應(yīng)的超分辨圖像ISR，具體操作如下。

（1）淺層特征提?。簭牡头直鎴D像ILR中提取小塊，將每個小塊表示為相應(yīng)的高維向量，這些向量即為提取的淺層特征。通過一組卷積核對圖像進行卷積操作，激活函數(shù)為PReLU。

（2）深層特征提取：將上一步驟中的高維向量非線性映射到另一高維向量，得到的每個映射向量為重建的高分辨率圖像小塊的表示。通過16組殘差塊（Residual Block）、一組自注意力增強卷積（Augmentedconv）、批歸一化實現(xiàn)。傳統(tǒng)卷積操作通過低分辨率圖像中的空間局部點來生成高分辨率細節(jié)特征，僅在局部鄰域上工作，可能會錯失全局信息。自注意力機制則可以在不增加參數(shù)的前提下獲取長范圍多層次的依賴交互關(guān)系，生成圖像時能夠協(xié)調(diào)好每個位置的細節(jié)和遠端的細節(jié)。自注意力增強卷積使用自注意力機制來增強卷積，將卷積特征圖（強制局部性）連接到自注意特征圖（能夠建模更長程的依賴），聯(lián)合注意空間子空間和特征子空間，引入額外的特征圖而不是進行精細化處理，納入相對位置信息的同時維持平移等效性。

（3）圖像上采樣：聚集高分辨小塊，利用兩個上采樣塊將圖像放大四倍。上采樣塊為“卷積+BN+PixelShuffle+PRELU 激活函數(shù)”操作，其中，PixelShuffle 算法[14]將大小為H×W的低分辨率輸入圖像經(jīng)過Sub-Pixel操作轉(zhuǎn)變?yōu)閞H×rW的高分辨率圖像，參數(shù)r為上采樣因子（upscaling factor）即圖像的擴大倍率，本文中r設(shè)置為2。

（4）圖像重建：經(jīng)上采樣操作后的特征圖通過一層卷積層進行重建，生成高分辨率圖像ISR。

如圖3 所示，判別網(wǎng)絡(luò)由七層卷積層構(gòu)成，前六層卷積層中每兩層的卷積核由64×64 遞增至512，提取圖像特征，最后將提取的512維特征輸入到一個卷積核為1的卷積層。判別網(wǎng)絡(luò)的輸入是生成器的輸出IHR或真實的高分辨圖像ISR，與以往GAN中判別器作為分類器輸出真或假的結(jié)果不同，本文中判別器的輸出仍是與輸入同樣尺寸的圖像形式。

圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 損失函數(shù)

生成對抗網(wǎng)絡(luò)的性能的發(fā)揮很大程度上取決于損失函數(shù)的定義和使用。針對本文設(shè)計的網(wǎng)絡(luò)模型，最終的損失值由輸入圖片自身內(nèi)容方面的損失值和來自對抗神經(jīng)網(wǎng)絡(luò)的損失值共同組成。自身內(nèi)容方面的損失值包括基于像素點的損失值和基于特征空間的損失值。

3.2.1 生成器損失函數(shù)

設(shè)計生成器損失函數(shù)如式（3）所示，各項具體含義如下：

IHR(x,y)為真實高分辨率圖像，ILR(x,y)為低分辨率圖像，h、w、r為圖像的長、寬、通道數(shù)，G(ILR(x,y))為生成器重建后的圖像。

（2）基于特征空間[15]的感知損失函數(shù)，利用訓練好的VGG19 網(wǎng)絡(luò)[16]計算網(wǎng)絡(luò)生成的圖像IHR和真實高分辨率圖像ISR的相應(yīng)特征值，然后通過特征圖歐式距離來計算相應(yīng)的損失函數(shù)：

φ(i,j)為第i個池化層之前第j個卷積所得到的特征映射，W(i,j)、H(i,j)為φ的維度。

（3）來自對抗神經(jīng)網(wǎng)絡(luò)的損失值能夠評價生成器生成的圖片IHR和真實圖片ISR之間的相似性。本文采用相對損失函數(shù)，評估給定的實際數(shù)據(jù)比隨機抽樣的假數(shù)據(jù)更真實的概率，融合兩層特征更好地明確了損失函數(shù)改進的方向，GAN的結(jié)構(gòu)更加穩(wěn)定。

假設(shè)傳統(tǒng)GAN 中生成器的損失函數(shù)為如式（6）所示，結(jié)合相對判別本文改進為式（7）形式：

g1、g2為標量函數(shù)，ISR為重建后的高分辨率圖像，D(ISR)為判別器判斷重建后的圖像是真實圖像的。

3.2.2 判別器損失函數(shù)

在對抗網(wǎng)絡(luò)訓練中，判別器的學習能力遠遠強于生成器，針對這一問題，本文除了在訓練過程中使用動態(tài)學習率以外，在設(shè)置判別器損失函數(shù)時對生成器和判別器的能力做出平衡。具體損失函數(shù)lD設(shè)計如式（8）～（12）：

f1、f2為標量函數(shù)。L(.)為L1 范數(shù)損失函數(shù)。pi+1為pi的更新，參數(shù)p平衡生成器和判別器的學習能力。γ是生成樣本損失的期望和真實樣本損失的期望的比值，能夠在生成圖像的多樣性和生成質(zhì)量間做出平衡。

4 實驗

4.1 實驗準備

實驗中使用數(shù)據(jù)集為針對本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，使用DIV2K數(shù)據(jù)集中的800張訓練圖片作為訓練集，分別在Set5 數(shù)據(jù)集、Set14 數(shù)據(jù)集、BSD100 數(shù)據(jù)集上進行測試。將訓練集中的圖片使用雙三次插值方法進行4 倍下采樣操作得到的低分辨率圖片作為網(wǎng)絡(luò)輸入。使用Adam 優(yōu)化器，每迭代2 000 次，學習率衰減為1/10。對重建結(jié)果使用評價指標圖像峰值信噪比（Peak Signalto-Noise Ratio，PSNR）和圖像結(jié)構(gòu)相似度（Structural Similarity，SSIM）進行量化評估。與代表方法如雙三次線性插值（Bicubic）方法、SRCNN方法、FSRCNN方法以及SRGAN重建效果進行對比。運行環(huán)境為Pytorch1.0，16 GB RAM，顯卡為NVIDIA GeForce 2080。

4.2 消融實驗

本文算法中生成器生成結(jié)果分別用Gen_1和Gen_2表示，Gen_2為網(wǎng)絡(luò)中接收權(quán)值共享的對抗網(wǎng)絡(luò)生成器的輸出。

4.2.1 自注意力增強對模型性能的影響

為了驗證生成網(wǎng)絡(luò)中自注意力增強的使用對模型最終重建能力的影響，在保證其他條件相同的情況下，使用卷積代替本文中的自注意力增強卷積的模型attent在Set5數(shù)據(jù)集上進行測試，如圖4所示。計算得到重建4倍后的圖像與真實圖像的PSNR和SSIM值，結(jié)果如表1。

由表1可知，使用自注意力增強模塊使得生成圖像的PSNR和SSIM值都有一定提高。

4.2.2 相對損失對模型性能的影響

損失函數(shù)設(shè)置的好壞很大程度上影響了模型的最終重建效果，為此在Set14 數(shù)據(jù)集上訓練了本文模型和未使用相對判別器的輸出為損失的模型relat 進行損失函數(shù)選擇的對比實驗。實驗對比圖如圖5所示，量化指標對比如表2所示。

圖4 自注意力增強模塊使用的重建效果對比圖

表1 自注意力增強模塊在Set5數(shù)據(jù)集上的測試結(jié)果

圖5 相對損失使用的重建效果對比圖

表2 相對損失在Set14數(shù)據(jù)集上的測試結(jié)果

由圖5可知，模型使用相對損失重建出的花朵圖像高頻信息更加豐富，邊緣銳化效果較好。由表2 中可知，模型使用相對損失重建出的圖像取得更高的PSNR、SSIM值。從視覺效果和量化指標均證明相對損失更加適合超分辨重建任務(wù)。

4.2.3 平衡學習能力對模型性能的影響

生成器和判別器訓練程度的差異直接影響模型最終重建效果，將平衡了生成器和判別器學習能力的本文模型和未平衡的模型balan進行對比，如圖6所示，定性對比如表3所示。

圖6 平衡學習能力方法使用的重建效果對比圖

表果

圖6 中，紅色方框標出為感興趣部分，本文方法中在重建花瓣等高頻細節(jié)中做得更好。由表3 可知本文方法重建的圖像在PSNR 和SSIM 指標上較模型balan都有提高。以上均證明了平衡生成器和判別器學習能力這一方法在實現(xiàn)圖像超分辨重建上的有效性。

4.3 實驗結(jié)果與分析

網(wǎng)絡(luò)訓練共進行了20 萬次左右迭代，經(jīng)過16 萬次迭代后，各項參數(shù)逐步收斂。本文方法較雙線性插值（Bicubic）方法在PSNR 和SSIM 值上提升約2.8 dB、0.08，和SRGAN相比提升約0.75 dB、0.04。實驗說明了本文提出的耦合生成式對抗超分辨率重建算法在單幀圖像超分辨重建上的有效性。

超分辨重建視覺結(jié)果對比如圖7～9，對圖像細節(jié)部分進行了局部放大，被紅色矩形框標注的是感興趣區(qū)域。從圖中可以看出，本文方法重建后的圖像和Bicubic、SRCNN、FSRCNN 方法重建的圖像相比，輪廓更加清晰；和SRGAN方法相比，Set5數(shù)據(jù)集中選取示例圖像baby（圖7），本文算法中圖像眼部的睫毛以及帽子上的線條更加清晰；Set14 數(shù)據(jù)集中選取圖像baboon（圖8），本文生成圖像面部的毛發(fā)和嘴部的胡須細節(jié)更加明顯；BSD100 數(shù)據(jù)集中選取1 號石像（圖9），本文算法生成的石像的眼部上方和底部鋸齒花紋的紋理細節(jié)信息更加豐富，且SRGAN 生成的石像眼部上方類似于牙齒的形狀處出現(xiàn)了明顯的模糊和缺陷，這也是GAN網(wǎng)絡(luò)在生成圖像結(jié)果方面的一個顯著缺陷，本文算法在一定程度上改善了這一問題。結(jié)合在Set5、Set14 和Set100數(shù)據(jù)集上的實驗結(jié)果，本文算法生成的圖像更接近真實的高分辨圖片。

使用Inception Score（IS）評估標準針對本文提出的方法和SRGAN生成的圖像做平均評估，評估結(jié)果如表4所示，與SRGAN 相比本文算法中IS 值提升約0.4，這說明了本文算法模型具有優(yōu)良性質(zhì)，生成圖片的清晰度和多樣性更好，能夠增強生成圖像的質(zhì)量。

圖7 Set5數(shù)據(jù)集超分辨重建效果對比圖

圖8 Set14數(shù)據(jù)集超分辨重建效果對比圖

圖9 BSD100數(shù)據(jù)集超分辨重建效果對比圖

表4 IS值對比圖

本文使用評價指標圖像峰值信噪比PSNR 和圖像結(jié)構(gòu)相似度SSIM對重建結(jié)果進行量化評估。PSNR反映兩幅圖像間像素點的誤差，值越高，誤差越小，則重建圖像質(zhì)量越高。

SSIM 代表重建圖像和真實圖像間的結(jié)構(gòu)相似性，其值越接近于1，兩者結(jié)構(gòu)越相似，重建效果越好。

l(x,y)、c(x,y)、s(x,y)表示圖像的亮度、對比度、結(jié)構(gòu)相似性。

在放大因子為4的情況下，將本文算法重建后的圖像與bicubic、SRCNN、FSRCNN方法重建圖像的PSNR、SSIM值進行對比，如表5、表6所示?？梢?，本文方法在數(shù)據(jù)集Set5、Set14、BSD100上均取得了優(yōu)異的結(jié)果，本文方法較結(jié)果最好的SRGAN 在PSNR 和SSIM 值上提高約0.75 dB、0.04。由此可證明本文算法結(jié)果優(yōu)異。在Set14 和BSD100 數(shù)據(jù)集上，Gen_2 較Gen_1 結(jié)果更好，證明了本文方法在實現(xiàn)圖像超分辨重建上的有效性。

表5 各數(shù)據(jù)集上超分辨重建結(jié)果PSNR值對比 dB

表6 各數(shù)據(jù)集上超分辨重建結(jié)果SSIM值對比

5 結(jié)束語

本文提出了一種耦合生成式對抗超分辨率重建算法對單幀圖像進行超分辨重建。生成器中使用了自注意力增強卷積，判別器中使用相對損失函數(shù)，提高生成樣本的多樣性和生成質(zhì)量。對生成器和判別器的能力做出平衡，使得網(wǎng)絡(luò)訓練更加穩(wěn)定快速。在Set5 數(shù)據(jù)集、Set14數(shù)據(jù)集、BSD100數(shù)據(jù)集上進行實驗，相較于其他超分辨方法，本文提出的方法在重建細節(jié)和圖像邊緣銳化方面做得更好，在PSNR 值和SSIM 值上都有一定的提升。使用IS 值作為GAN 生成圖像評估標準，將本文方法與SRGAN生成圖像做對比，在IS值上提升超過0.4，提高了生成圖像的多樣性。以上均證明了本文提出的方法在圖像超分辨率重建方面的有效性。在大多數(shù)情況下本文方法中生成器2 表現(xiàn)優(yōu)于生成器1，但在數(shù)據(jù)集Set5上生成器1表現(xiàn)較好，后期工作將探究這一現(xiàn)象的原因。