李天成 何 嘉

(成都信息工程大學(xué)計(jì)算機(jī)學(xué)院 四川 成都 610225)

0 引 言

圖像修復(fù)是介于計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域中的一個熱點(diǎn)問題，它通過使用圖像已有的信息修復(fù)圖像中缺失的部分。圖像修復(fù)技術(shù)的發(fā)展不僅推動了計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究，也被廣泛應(yīng)用于數(shù)字藝術(shù)品修復(fù)、公安刑偵面部修復(fù)等種種實(shí)際場景中。傳統(tǒng)圖像修復(fù)算法最具代表性的是基于結(jié)構(gòu)和基于紋理兩種方法?；诮Y(jié)構(gòu)的修復(fù)算法應(yīng)用于小尺寸的破損區(qū)域修復(fù)，其中具有代表性的是Bertalmio等[1]提出的BSCB修復(fù)模型和Chan等[2]提出的基于曲率擴(kuò)散的圖像修復(fù)模型CDD(Curvature-Driven Diffusion)，而基于紋理的修復(fù)算法應(yīng)用于較大區(qū)域破損的修復(fù)任務(wù)中，例如Criminisi等[3]提出的基于樣塊的紋理合成算法。這兩種傳統(tǒng)的圖像修復(fù)算法可以修復(fù)小塊區(qū)域的破損，但是修復(fù)效果隨著破損區(qū)域的增大而直線下降，并且修復(fù)結(jié)果存在圖像模糊和缺乏視覺連貫性等問題。

近年來，由于計(jì)算機(jī)硬件特別是GPU性能的飛速提升，深度學(xué)習(xí)這種需要巨大計(jì)算量的方法在計(jì)算機(jī)視覺領(lǐng)域和自然語言處理領(lǐng)域被廣泛應(yīng)用。而在圖像修復(fù)方面，基于深度學(xué)習(xí)的圖像修復(fù)算法相對于傳統(tǒng)的基于結(jié)構(gòu)和紋理的修復(fù)算法能夠捕獲更多圖像的高級特征。但是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)[4]的圖像修復(fù)算法會出現(xiàn)修復(fù)區(qū)域與周圍區(qū)域圖像語義不相關(guān)、邊界偽影、結(jié)構(gòu)扭曲模糊等現(xiàn)象。

生成對抗網(wǎng)絡(luò)[5]自2014年由Ian Goodfellow提出以來已廣泛應(yīng)用于半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)領(lǐng)域。其生成的樣本相對于編碼-解碼器[6]質(zhì)量更好，并且擬合速度更快，在圖像修復(fù)方面具有得天獨(dú)厚的優(yōu)勢。文獻(xiàn)[7]提出的Context Encoder是對抗學(xué)習(xí)在圖像修復(fù)領(lǐng)域的開山之作，該算法使用了對抗損失訓(xùn)練一個上下文編碼器預(yù)測圖像的破損區(qū)域。文獻(xiàn)[8]的圖像修復(fù)條件生成對抗網(wǎng)絡(luò)(Image Inpainting Conditional Generative Adversarial Network,IICGAN)使用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)，直接從數(shù)據(jù)中學(xué)習(xí)受損和修復(fù)圖像細(xì)節(jié)層之間的映射關(guān)系。文獻(xiàn)[9]提出了一個優(yōu)秀的人臉修復(fù)深度生成模型，結(jié)合重構(gòu)損失、兩個對抗損失和語義分析損失進(jìn)行訓(xùn)練，保證了生成像素的準(zhǔn)確性和局部-全局內(nèi)容的一致性。

本文提出的圖像修復(fù)算法基于文獻(xiàn)[10]提出的具有全局和局部判別器的生成對抗網(wǎng)絡(luò)修復(fù)算法，該算法相較于一個生成器、一個判別器的傳統(tǒng)生成對抗網(wǎng)絡(luò)，額外增加了一個負(fù)責(zé)判斷破損區(qū)域修復(fù)后的全局圖像是否符合視覺連貫性的全局判別器。算法先通過訓(xùn)練生成網(wǎng)絡(luò)來完成初步的圖像修復(fù)，然后不斷通過負(fù)責(zé)鑒別全局圖像視覺連貫性的全局鑒別網(wǎng)絡(luò)和負(fù)責(zé)鑒別生成網(wǎng)絡(luò)輸出的修復(fù)圖像真實(shí)性的局部鑒別網(wǎng)絡(luò)與生成網(wǎng)絡(luò)進(jìn)行對抗訓(xùn)練，在迭代訓(xùn)練中一步一步產(chǎn)生較好修復(fù)效果。

自2017年起，國內(nèi)外提出的基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法中大部分都采用了具有雙判別器的網(wǎng)絡(luò)結(jié)構(gòu)，在大多數(shù)情況下可以較好地完成圖像修復(fù)任務(wù)。但是在修復(fù)復(fù)雜缺損的情況下會出現(xiàn)例如修補(bǔ)區(qū)域與其他區(qū)域沒有連貫性、無法修復(fù)大面積缺損、圖片邊緣修復(fù)效果不好、模型崩潰以及訓(xùn)練時間過長等問題。文獻(xiàn)[9]的人臉修復(fù)深度生成模型需要使用目標(biāo)檢測技術(shù)，而文獻(xiàn)[10]提出的具有全局和局部判別器的生成對抗網(wǎng)絡(luò)雖然模型簡單，但在大量訓(xùn)練中容易出現(xiàn)特征過度學(xué)習(xí)導(dǎo)致過擬合問題，并且由于判別器中仍然使用原始的生成對抗網(wǎng)絡(luò)損失函數(shù)，訓(xùn)練不穩(wěn)定，會出現(xiàn)模型崩潰的情況，導(dǎo)致修復(fù)結(jié)果嚴(yán)重惡化。

本文的方法針對如何在修補(bǔ)區(qū)域生成與周圍圖像更加符合視覺連貫性的圖像，解決生成對抗網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定導(dǎo)致模型崩潰的問題和如何減少訓(xùn)練時間三個問題上，提出的主要思想和創(chuàng)新之處體現(xiàn)在以下幾處：

1) 在使用雙判別器的生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，改進(jìn)上下文內(nèi)容損失，增加L2正則化項(xiàng)，防止過擬合，增強(qiáng)圖片的局部和全局的連續(xù)性，提高修復(fù)質(zhì)量。

2) 將WGAN-GP的損失函數(shù)引入全局和局部判別器中，大幅提高訓(xùn)練穩(wěn)定性，防止模型崩潰。

3) 使用更多的空洞卷積核替代部分標(biāo)準(zhǔn)卷積核，減少參數(shù)量，結(jié)合WGAN-GP損失函數(shù)提高模型收斂速度，減少訓(xùn)練時間。

1 相關(guān)內(nèi)容

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)是加拿大蒙特利爾大學(xué)的Ian Goodfellow博士于2014年提出的一種生成模型，以“零和博弈”為核心思想，網(wǎng)絡(luò)通過對抗訓(xùn)練讓生成器和判別器同時得到增強(qiáng)。GAN由生成器Generator和判別器Discriminator組成，生成器G通過大量學(xué)習(xí)訓(xùn)練集中真實(shí)數(shù)據(jù)的概率分布Pdata，將輸入的隨機(jī)噪聲z轉(zhuǎn)化為可以“以假亂真”的圖片G(z)。判別器D判斷輸入圖片為真實(shí)圖片的概率，其目標(biāo)是將生成器生成的圖片與訓(xùn)練集中的真實(shí)圖片盡可能地區(qū)分開，在大量學(xué)習(xí)真實(shí)數(shù)據(jù)x的特征之后，鑒別能力也會隨之提高。判別器D的輸出圖像是真實(shí)圖像的概率。GAN的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 GAN基本網(wǎng)絡(luò)結(jié)構(gòu)

生成對抗網(wǎng)絡(luò)的訓(xùn)練任務(wù)最小化生成器的生成圖像與真實(shí)圖像概率分布的差距，即令Pz趨近于Pdata，并且最大化判別器鑒別圖像真?zhèn)蔚哪芰?即令判別器D的輸出D(G(z))趨近于0,D(x)趨近于1。這種對抗學(xué)習(xí)的思想可以表示為:

minGmaxDV(D,G)=Ex～Pdata(x)[logD(x)]+

Ez～Pz(z)[log(1-D(G(z)))]

(1)

式中：E代表數(shù)學(xué)期望值。

在同時訓(xùn)練生成器和判別器的情況下，訓(xùn)練的目標(biāo)是達(dá)到生成器和判別器的“納什均衡點(diǎn)”，即生成器生成的圖片已經(jīng)“以假亂真”，令判別器無法判別圖片的真?zhèn)?。在最?yōu)情況下，判別器輸出結(jié)果D(x)應(yīng)該恒為1/2。

1.2 Wasserstein GAN-GP

為解決原始GAN訓(xùn)練不穩(wěn)定的問題，近年來出現(xiàn)了針對很多生成對抗網(wǎng)絡(luò)的改進(jìn)模型，其中比較有代表性的有以下幾種GAN的衍生類型:條件生成對抗網(wǎng)絡(luò)(CGAN)[11]在輸入數(shù)據(jù)中加入前置條件防止訓(xùn)練崩潰,并且可以控制生成器的圖片生成任務(wù)；深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)[12]融合CNN和GAN，通過設(shè)計(jì)獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，以帶步長的卷積取代上采樣，使得訓(xùn)練更加穩(wěn)定。在損失函數(shù)的改進(jìn)方面，原始GAN的生成器的兩種損失函數(shù)如下：

Ez～Pz(z)[log(1-D(G(z)))]

(2)

Ez～Pz(z)[-logD(G(z))]

(3)

大量實(shí)驗(yàn)證明使用這兩種損失函數(shù)訓(xùn)練模型時會出現(xiàn)梯度消失和梯度爆炸而導(dǎo)致模型崩潰等嚴(yán)重問題。文獻(xiàn)[8-9]提出的Wasserstein GAN(WGAN)采用Wasserstein距離(或稱EM距離)替代KL和JS散度衡量生成數(shù)據(jù)分布和真實(shí)數(shù)據(jù)分布之間的距離，Wasserstein距離公式如下：

(4)

-Ez～Pz(z)[D(G(z))]

(5)

Ez～Pz(z)[D(G(z))]-Ex～Pdata(x)[D(x)]

(6)

WGAN從理論上解決了訓(xùn)練不穩(wěn)定的問題，但是文獻(xiàn)[15]發(fā)現(xiàn)將權(quán)重剪切到一定范圍之后，大多數(shù)的權(quán)重都在-0.01和0.01上，意味著網(wǎng)絡(luò)的大部分權(quán)重只有兩個可能數(shù)。對于深度神經(jīng)網(wǎng)絡(luò)來說不能充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)的擬合能力，是極大的浪費(fèi)，并且強(qiáng)制剪切權(quán)重容易導(dǎo)致梯度消失或者梯度爆炸。之后文獻(xiàn)[16]提出了對于WGAN的改進(jìn)算法WGAN-GP，使用梯度懲罰(gradient penalty)的方式，限制判別器的梯度不超過K，以滿足lipschitz連續(xù)性條件。WGAN-GP判別器的損失函數(shù)為：

Ez～Pz(z)[D(G(z))]-Ex～Pdata(x)[D(x)]+

(7)

WGAN-GP從損失函數(shù)的角度改進(jìn)了原始生成對抗網(wǎng)絡(luò)，增加了梯度懲罰項(xiàng)之后，神經(jīng)網(wǎng)絡(luò)權(quán)重的分布更加平滑，即模型訓(xùn)練時梯度更平滑，訓(xùn)練更加穩(wěn)定，生成的樣本質(zhì)量更好。

2 網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)

2.1 網(wǎng)絡(luò)整體架構(gòu)

本文采用具有雙判別器的生成對抗網(wǎng)絡(luò)進(jìn)行圖像修復(fù)任務(wù)，整體網(wǎng)絡(luò)架構(gòu)如圖2所示。生成器網(wǎng)絡(luò)的輸入為破損圖像和指示破損位置的二值掩碼，在經(jīng)過卷積層、空洞卷積層和反卷積層的處理之后輸出修復(fù)后的圖像，并綜合局部判別器網(wǎng)絡(luò)和全局判別器的判別結(jié)果判斷圖像修復(fù)效果并反饋調(diào)整生成器中的參數(shù)。

圖2 本文GAN模型

2.2 生成器網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)中的生成器的優(yōu)勢體現(xiàn)在輸入數(shù)據(jù)可以從任意的分布中采樣，并且網(wǎng)絡(luò)模型也不受任何限制，可以采用多層感知機(jī)(MLP)、卷積神經(jīng)網(wǎng)絡(luò)、自編碼器等。

在圖像修復(fù)任務(wù)中，只需要修復(fù)圖像破損的區(qū)域，而不是由輸入的隨機(jī)噪聲經(jīng)過卷積和反卷積生成一張完整圖像，所以生成器的輸入是由破損圖片和該圖片的二值掩碼(Binary Mask)組成。二值掩碼可以指示圖片中需要修復(fù)的區(qū)域(1代表需要修復(fù)的區(qū)域，0代表不需要修復(fù)的區(qū)域)，輸出是修復(fù)后的圖像。

生成器網(wǎng)絡(luò)采用卷積操作降低輸入圖片的分辨率來減少內(nèi)存使用和計(jì)算時間，然后使用反卷積操作將輸出恢復(fù)到原始分辨率。中間有五層采用空洞卷積核代替標(biāo)準(zhǔn)卷積核，由于同樣大小的空洞卷積核比標(biāo)準(zhǔn)卷積核有更大的感受野，并且參數(shù)量相同。在圖片的上下文信息的真實(shí)性尤為重要的圖像修復(fù)任務(wù)中，空洞卷積核擁有更大的感受野可以提高輸出像素的真實(shí)性，并且減少了參數(shù)量，提高計(jì)算速度。本文生成器的網(wǎng)絡(luò)層結(jié)構(gòu)除最后一層輸出層的激活函數(shù)為Tanh以外，其余層的激活函數(shù)均使用ReLU。

2.3 生成器的損失函數(shù)

生成對抗網(wǎng)絡(luò)作為一種優(yōu)秀的生成模型，生成器生成的樣本需要滿足真實(shí)性、多樣性等原則以生成更高質(zhì)量的樣本，提高被判別器判定為真實(shí)樣本的概率。本文算法的核心任務(wù)是使修復(fù)后的破損區(qū)域圖像盡量達(dá)到與真實(shí)圖像同一區(qū)域更高的相似度，所以除了WGAN對抗損失以外，還需要增加圖像上下文內(nèi)容損失。

由于文獻(xiàn)[10]中的模型簡單，在大量訓(xùn)練中容易出現(xiàn)特征過度學(xué)習(xí)導(dǎo)致過擬合問題。本文使用的上下文內(nèi)容損失函數(shù)在圖像像素均方誤差函數(shù)的基礎(chǔ)上添加L2正則化項(xiàng)，防止過擬合。上下文內(nèi)容損失衡量生成器生成的破損區(qū)域圖像與真實(shí)圖像中同一區(qū)域的差異，并且由于只需要生成破損區(qū)域圖像，其他圖像與原圖保持一致，所以添加了二值掩碼指示破損區(qū)域位置：

(8)

式中：M為二值掩碼；⊙代表矩陣逐元素相乘；n為訓(xùn)練集的樣本數(shù)量；θ為生成器網(wǎng)絡(luò)中的所有參數(shù)；λ1為正則項(xiàng)系數(shù)。

2.4 全局判別器和局部判別器網(wǎng)絡(luò)

本文提出的圖像修復(fù)算法基于文獻(xiàn)[10]提出的具有全局和局部判別器的生成對抗網(wǎng)絡(luò)的圖像修復(fù)算法，該方法在傳統(tǒng)的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)上額外增加了一個全局判別器，負(fù)責(zé)鑒別破損區(qū)域修復(fù)后的全局圖像是否符合視覺連貫性。相較于文獻(xiàn)[7]提出的Context Encoder直接預(yù)測圖像破損區(qū)域而言，雙判別器的生成對抗網(wǎng)絡(luò)算法可以在很大程度上增加修補(bǔ)區(qū)域和其余區(qū)域的聯(lián)系性。

全局和局部判別器網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)是基于卷積神經(jīng)網(wǎng)絡(luò)，利用卷積層提取圖片的特征。通過全連接層各輸出長度為1 024的向量，并拼接為一個長度為2 048的向量輸入一個全連接層，最終輸出圖像為真實(shí)圖像的概率值，即通過綜合兩個判別器對圖像的鑒別結(jié)果來判斷圖像的修復(fù)效果。由于WGAN-GP使用Wasserstein距離而不是KL或JS散度來衡量兩個分布之間的差距，需要對判別器的每一個輸入樣本進(jìn)行獨(dú)立的Lipschitz限制，所以在判別器的所有層中均不采用批量規(guī)范化。本文算法選擇層規(guī)范化，這樣可以避免同一個批次中的不同樣本之間存在相互依賴，同時將原算法中局部判別器網(wǎng)絡(luò)的第三層中的標(biāo)準(zhǔn)卷積核和全局判別器的第三層、第四層中的標(biāo)準(zhǔn)卷積核替換為空洞卷積核，并去掉原網(wǎng)絡(luò)結(jié)構(gòu)中最后一層的Sigmoid激活函數(shù)。

2.5 判別器的損失函數(shù)

生成對抗網(wǎng)絡(luò)的判別器需要拉高真實(shí)樣本x的評分，降低生成樣本G(z)的評分。本文引入WGAN-GP的損失函數(shù)替代文獻(xiàn)[10]中的原始GAN損失函數(shù)。WGAN-GP的損失函數(shù)使用梯度懲罰的方式滿足lipschitz連續(xù)性條件，理論上幾乎徹底解決了訓(xùn)練梯度消失或爆炸的問題。判別器的損失函數(shù)如下：

Lossd=Ez～Pz(z)[D(G(z))]-Ex～Pdata(x)[D(x)]+

(9)

式中：λ2為梯度懲罰項(xiàng)系數(shù)。

3 算法流程

本文算法經(jīng)過多次實(shí)驗(yàn)結(jié)果比較后，選擇使用ADAM優(yōu)化器訓(xùn)練生成器網(wǎng)絡(luò)，學(xué)習(xí)率為0.000 2，使用RMSProp優(yōu)化器訓(xùn)練兩個判別器網(wǎng)絡(luò)，momentum為0.5。訓(xùn)練過程共進(jìn)行200輪迭代，每輪迭代共有s步(s=訓(xùn)練集樣本總數(shù)/每批次樣本數(shù)量(batch_size))。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，前100輪迭代先訓(xùn)練生成器，100輪迭代之后同時訓(xùn)練生成器和兩個判別器產(chǎn)生的修復(fù)結(jié)果較好。算法具體流程如下：

1) ifn<=100 do

2) For (k=1;k<=s;k++)

3) 從訓(xùn)練集中取出每批次樣本數(shù)量個樣本{x1,x2,…,xn}并生成具有隨機(jī)破損區(qū)域的相對應(yīng)的二值掩碼，組成數(shù)據(jù){(x1,m1),(x2,m2),…,(xn,mn)}作為輸入數(shù)據(jù){c1,c2,…,cn}輸入生成器，并生成相應(yīng)的修復(fù)完成后的圖像{G(c1),G(c2),…,G(cn)}

4) 計(jì)算輸入與真實(shí)圖片的上下文內(nèi)容損失

5) 使用ADAM優(yōu)化器更新生成器網(wǎng)絡(luò)的參數(shù)θ:

6) end

7) else if 100

8) For (k=1;k<=s;k++)

9) 從訓(xùn)練集中取出每批次樣本數(shù)量個樣本{x1,x2,…,xn}并生成具有隨機(jī)破損區(qū)域的相對應(yīng)的二值掩碼組成數(shù)據(jù){(x1,m1),(x2,m2),…,(xn,mn)}作為輸入數(shù)據(jù){c1,c2,…,cn}輸入生成器，并生成相應(yīng)的修復(fù)完成后的圖像{G(c1),G(c2),…,G(cn)}

10) 使用RMSProp優(yōu)化器更新局部判別器網(wǎng)絡(luò)的參數(shù)β1和全局判別器網(wǎng)絡(luò)的參數(shù)β2:

11) 根據(jù)兩個判別器的結(jié)果反饋，使用ADAM優(yōu)化器更新生成器網(wǎng)絡(luò)的參數(shù)θ:

12) end

13) end

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集

本文中的實(shí)驗(yàn)使用CelebA數(shù)據(jù)集，該數(shù)據(jù)集由202 599幅178×218×3大小的人臉圖像組成。在本實(shí)驗(yàn)中，采用CelebA數(shù)據(jù)集中已經(jīng)將人臉位置對齊并裁剪到128×128×3大小的107 301幅圖像，選取其中101 936幅圖像為訓(xùn)練集來訓(xùn)練網(wǎng)絡(luò)，5 365幅圖像為測試集來檢測訓(xùn)練完畢后的修復(fù)效果。

4.2 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的平臺是系統(tǒng)為Ubuntu 16.04.1，內(nèi)存大小為32 GB的深度學(xué)習(xí)服務(wù)器，使用其中一塊顯存為12 GB,時鐘頻率為1.112 GHz的Nvidia Telsla M40 GPU。采用編程語言Python 3.6.8,利用深度學(xué)習(xí)框架Tensorflow-gpu 1.12.0進(jìn)行實(shí)驗(yàn)。

4.3 實(shí)驗(yàn)細(xì)節(jié)

在本文提出的用于圖像修復(fù)的生成對抗網(wǎng)絡(luò)訓(xùn)練方面，訓(xùn)練中的學(xué)習(xí)率為0.000 2，上下文內(nèi)容損失的L2正則項(xiàng)權(quán)重λ1為0.000 1，梯度懲罰的系數(shù)λ2為10，實(shí)驗(yàn)中會對每張圖片生成大小為24×24～48×48大小的隨機(jī)破損和相應(yīng)的二值掩碼。

4.4 實(shí)驗(yàn)結(jié)果分析

為分析本文方法在人臉圖像上的修復(fù)效果，在CelebA人臉圖像數(shù)據(jù)集上選擇隨機(jī)的小面積破損進(jìn)行修復(fù)效果評估。并與近年來基于生成對抗網(wǎng)絡(luò)并具有代表性的兩種算法(文獻(xiàn)[7]和文獻(xiàn)[10])在中等面積破損情況下以峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM兩個指標(biāo)為標(biāo)準(zhǔn)使用測試集5 365幅圖片進(jìn)行實(shí)驗(yàn)對比，計(jì)算圖像修復(fù)結(jié)果的PSNR平均值和SSIM平均值，PSNR與SSIM的數(shù)值大小與修復(fù)質(zhì)量成正比。圖3為本文算法在小面積破損情況下的修復(fù)結(jié)果。圖4為中等面積破損的各算法修復(fù)結(jié)果。

(a) 原始圖像 (b) 破損圖像 (c) 修復(fù)效果圖3 小面積破損修復(fù)結(jié)果

(a) 原始圖像 (b) 破損圖像 (c) 文獻(xiàn)[7]算法 (d) 文獻(xiàn)[10]算法 (e) 本文算法圖4 各算法修復(fù)結(jié)果示例

在小面積破損的情況下，本文算法的修復(fù)結(jié)果良好，與原始圖像沒有明顯的差異，只在一些極小的細(xì)節(jié)處，例如眉毛末端和眼角處有少許差異。

從視覺感受方面來看，在中等面積破損的情況下本文算法對于人臉圖片的修復(fù)效果更好。文獻(xiàn)[7]的算法沒有全局判別器鑒別修補(bǔ)區(qū)域和其余區(qū)域的視覺連貫性，并且由于使用原始的GAN損失函數(shù)會出現(xiàn)訓(xùn)練不穩(wěn)定的情況，導(dǎo)致修補(bǔ)區(qū)域會產(chǎn)生圖像扭曲，在鼻子和眼睛等重要細(xì)節(jié)上的修復(fù)效果很差。文獻(xiàn)[10]的算法相對于文獻(xiàn)[7]的算法來說生成的圖片質(zhì)量更好，但同樣是由于損失函數(shù)的選擇和網(wǎng)絡(luò)模型細(xì)節(jié)上的一些缺點(diǎn)，導(dǎo)致修補(bǔ)區(qū)域的圖像出現(xiàn)模糊的現(xiàn)象。本文算法在面部細(xì)節(jié)的修復(fù)效果上有了比較明顯的提升。以上三種修復(fù)方法在測試集上的修復(fù)結(jié)果的PSNR和SSIM平均數(shù)值分別如表1和表2所示。

表2 圖像修復(fù)結(jié)果的SSIM平均值

可以看出，對于中等面積的人臉圖像破損，本文提出的算法修復(fù)質(zhì)量高于其余兩種算法。

文獻(xiàn)[7]、文獻(xiàn)[10]和本文提出的算法訓(xùn)練200輪的時間對比如表3所示。

表3 各算法訓(xùn)練總時間 h

綜上可知，文獻(xiàn)[7]提出的算法雖然訓(xùn)練時間相對較少，但是圖像修復(fù)后的視覺感受和PSNR、SSIM指標(biāo)所展示的結(jié)果均遠(yuǎn)低于文獻(xiàn)[10]算法和本文算法。本文算法在訓(xùn)練時間上相較于文獻(xiàn)[10]算法減少了18%，并得到了更好的修復(fù)效果。

本文將WGAN-GP的損失函數(shù)引入全局和局部判別器中，對模型的訓(xùn)練起到了加速和防止崩潰的效果。全局和局部判別器損失總和的變化如圖5所示。

圖5 判別器損失的變化情況

可以看出，文獻(xiàn)[10]使用的原始GAN損失函數(shù)在訓(xùn)練過程中經(jīng)常會出現(xiàn)較大波動，并且收斂速度較慢。而本文算法中使用的WGAN-GP損失函數(shù)從訓(xùn)練一開始就很少出現(xiàn)大幅波動，訓(xùn)練穩(wěn)定性的提高會降低模型崩潰的概率，在大約300 000次迭代后已經(jīng)趨近于收斂狀態(tài)，收斂速度明顯提高。圖6的結(jié)果充分顯示了WGAN-GP損失函數(shù)在提高訓(xùn)練穩(wěn)定性和收斂速度上的優(yōu)越性。

(a) 原始圖像 (b) 破損圖像 (c) 修復(fù)效果圖6 面部表情修復(fù)結(jié)果

經(jīng)過大量實(shí)驗(yàn)觀察，可能是由于CelebA數(shù)據(jù)集的人臉圖像絕大部分的表情是微笑，在某些其他表情的人臉圖像嘴部缺失的情況下，修復(fù)后的結(jié)果表情仍然是微笑，與實(shí)際表情有一定差距。在以后的工作中將繼續(xù)改進(jìn)修復(fù)的細(xì)節(jié)部分，以達(dá)到更完善的修復(fù)效果。

5 結(jié) 語

本文提出了一種用于圖像修復(fù)任務(wù)的基于生成對抗網(wǎng)絡(luò)的算法，在修復(fù)小區(qū)域和中等區(qū)域破損的情況下有良好的效果。通過實(shí)驗(yàn)結(jié)果表明了本文算法在基于雙判別器的生成對抗網(wǎng)絡(luò)的圖像修復(fù)算法上有了明顯的改進(jìn)，但是在處理復(fù)雜細(xì)節(jié)的修復(fù)任務(wù)上仍會出現(xiàn)圖像模糊等不足，在今后的研究中將會著重解決這些問題。