徐姝琪,楊會成,潘 玥,何 野

(1.安徽工程大學(xué) 電氣工程學(xué)院，安徽 蕪湖 241000)

0 引言

人工智能技術(shù)在以較快的速度不斷發(fā)展，圖像修復(fù)早已是電腦視覺方面的一項(xiàng)核心任務(wù).在當(dāng)今這個(gè)信息時(shí)代，全球經(jīng)濟(jì)獲得了快速的發(fā)展并且科技得到了深層面的發(fā)展，人們對數(shù)字圖像進(jìn)行獲取和存儲等操作的時(shí)候均會更加簡單，這樣的話人們在生活中通過數(shù)字圖像這一關(guān)鍵媒介實(shí)施相關(guān)數(shù)據(jù)的傳送.不過其獲取、貯存、傳送等一系列相關(guān)流程內(nèi)，很多因素會造成數(shù)字圖像受損，就會造成數(shù)字圖像中涵蓋的數(shù)據(jù)產(chǎn)生丟失的情況[1].為確保數(shù)字圖像在視覺方面比較優(yōu)良并且確保其涵蓋的數(shù)據(jù)比較完整，那么要求對受損的數(shù)字圖像實(shí)施相應(yīng)的修復(fù)處理.因此可以推斷，對于怎樣對受損數(shù)字圖像實(shí)施更加有效的修復(fù)這方面做出的研究早已是一項(xiàng)非常至關(guān)重要的工作.圖像修復(fù)是恢復(fù)損壞圖像中缺失或損壞區(qū)域的任務(wù)，它在圖像編輯，遮擋去除和舊照片還原中具有許多應(yīng)用,例如: 影視制作、成像設(shè)備開發(fā)、醫(yī)療診斷等.如果想要對比較大的缺失區(qū)域進(jìn)行修復(fù)或是對隨意形狀的缺失圖像實(shí)施相應(yīng)的修復(fù)，那么將較多用以深度學(xué)習(xí)為基礎(chǔ)的方法，這主要是因?yàn)樯疃葘W(xué)習(xí)等技術(shù)不斷發(fā)展，很多方法都能完成內(nèi)容的感知填充，另外還能完成對圖像的修復(fù).近年來提出了很多關(guān)于數(shù)字圖像的修復(fù)方法：例如，通過使用偏微分方程[2](Partial Differential Equations,PDE)對有關(guān)的幾何模型進(jìn)行處置，考慮到這類方法對圖像局部數(shù)據(jù)的依賴度非常高，故而適合用來對非紋理的圖像，還有尺寸比較小的受損圖像實(shí)施相應(yīng)的修復(fù).如果要對面積比較大的缺失圖像實(shí)施修復(fù)處理，那么會有非常顯著的模糊現(xiàn)象[3].至于PM(patch match)算法[4]，它使用圖像中可用的部分搜尋出近似的補(bǔ)丁，考慮到它的品質(zhì)與效率都比較高，故而變成了一種非常成功的修復(fù)方法，但是假如圖像的紋理較為繁雜，想要找到匹配模塊的難度要大很多.Pathak 等[5]指出上下文編碼器(CE)屬于一種開創(chuàng)性的語義修復(fù)方式.它通過給出1個(gè)缺失部分的掩碼從而訓(xùn)練1個(gè)神經(jīng)網(wǎng)絡(luò)，對上下文信息實(shí)施相應(yīng)的編碼處理并且對受損部分實(shí)施相應(yīng)的預(yù)估，然而如果是架構(gòu)性非常強(qiáng)的細(xì)節(jié)方面的修復(fù)工作，那么時(shí)常造成模糊、偽影等一系列相關(guān)的情況.近年來,人臉表情識別方法大多采用 CNN 作為特征提取器,以獲得具有魯棒性的特征[6].至于生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)，它主要是以深度學(xué)習(xí)為基礎(chǔ)完成對圖像的修復(fù)，它對圖像的修復(fù)功能比其他方法要更為完善一些.GAN 是目前這些年提出的較好的生成模型，它相當(dāng)于避免了馬爾科夫鏈?zhǔn)降膶W(xué)習(xí)機(jī)制，所以它能夠更好地區(qū)別于傳統(tǒng)的概率生成模型.對于傳統(tǒng)概率的生成模型，通常情況下要求實(shí)施馬爾科夫鏈?zhǔn)饺优c相應(yīng)的推測判定，至于GAN，它能夠有效防止這種運(yùn)算復(fù)雜度非常高的流程，從而直接實(shí)施相關(guān)的取樣與推測判定，由此提升GAN 的使用效率，故而其真實(shí)的使用場景越來越普遍.其中一種方式就是深度卷積對抗網(wǎng)絡(luò)(Deep Convolution Generative Adversarial Networks，DCGAN)[7].當(dāng)前，以GAN為基礎(chǔ)的圖像修復(fù)技術(shù)依舊要面對需要妥善處理的問題：首先，GAN在網(wǎng)絡(luò)訓(xùn)練里面缺乏穩(wěn)定性而且收斂的難度相對更大；其次，編解碼中的全連接層致使解碼無法精確恢復(fù)有關(guān)信息，因此無法確保架構(gòu)的連續(xù)性，另外也無法確保紋理的一致性.故而，我們應(yīng)當(dāng)對原有的GAN實(shí)施相應(yīng)的改良，相關(guān)的試驗(yàn)流程重點(diǎn)如下：首先將缺失的圖像輸入改進(jìn)的生成器G中，其次是將真實(shí)數(shù)據(jù)和生成器輸出的圖像放入改進(jìn)了的判別器模型中，進(jìn)行頻譜歸一化處理，然后將輸出的圖像進(jìn)行損失函數(shù)的計(jì)算，然后重新帶入生成器中再次進(jìn)行修復(fù).實(shí)驗(yàn)顯示該方法修復(fù)的圖像在圖像結(jié)構(gòu)和色彩一致性方面的表現(xiàn)更佳.

1 方法

此方法的重點(diǎn)思路為：先訓(xùn)練1個(gè)生成模型學(xué)習(xí)到真實(shí)圖像的概率分布，另外經(jīng)過改良后的GANs中的對抗學(xué)習(xí)這種樣式去改良生成模型的學(xué)習(xí)效果.經(jīng)過訓(xùn)練以后的生成模型依據(jù)等候修復(fù)的圖像形成和其接近的完整圖像，接著從獲取圖像中的對應(yīng)切片實(shí)施相應(yīng)的補(bǔ)全，然后將其輸入判別器進(jìn)行判別，從而確保等候修復(fù)的圖像中缺失的內(nèi)容得到最佳的修復(fù).GAN 模型主要由兩部分組成：其一，圖像生成網(wǎng)絡(luò)G(Generator)，它經(jīng)過導(dǎo)入1組隨機(jī)性的噪聲 z 以最大限度形成逼真度比較高的樣品；第二部分是判別網(wǎng)絡(luò)，其能夠經(jīng)過對生成網(wǎng)絡(luò)產(chǎn)生的圖像x進(jìn)行判別并更新判別網(wǎng)絡(luò)參數(shù)，以加強(qiáng)對網(wǎng)絡(luò)的判別能力.生成器G、判別器 D 經(jīng)過持續(xù)對抗訓(xùn)練，由此對對抗損失函數(shù)實(shí)施相應(yīng)的優(yōu)化.GAN 的目標(biāo)函數(shù)是關(guān)于 D 與 G 的一個(gè)零和游戲，也是一個(gè)最小和最大化問題.先是從暗藏的空間獲取 d 維噪聲向量并且能夠反饋至相關(guān)的G網(wǎng)絡(luò)中.G能夠把此向量轉(zhuǎn)化成圖像并且傳送至D網(wǎng)絡(luò)中實(shí)施相應(yīng)的分類操作[8].D網(wǎng)絡(luò)能夠持續(xù)從實(shí)際數(shù)據(jù)集與經(jīng)過G網(wǎng)絡(luò)獲取圖像從而獲得新的圖像.它重點(diǎn)對真、假圖像進(jìn)行區(qū)分，所有的GAN構(gòu)架遵循的設(shè)計(jì)規(guī)則是相同的,如圖1所示.

1.1 生成模型

關(guān)于生成模型，重點(diǎn)是已知圖像上被遮擋的內(nèi)容并且依照其中正常顯現(xiàn)的部分預(yù)估被遮擋的內(nèi)容進(jìn)而實(shí)施相應(yīng)的修補(bǔ).如果導(dǎo)入圖像存在遮擋物，那么此模型能夠把它預(yù)先處置成存在部分缺省的圖像.至于待修復(fù)圖像導(dǎo)入到編碼器中一些編碼數(shù)據(jù)，此流程能夠當(dāng)成是把這類圖像實(shí)施層層抽象處理從而形成隱層表征[9].之后將其導(dǎo)入到解碼器中從而形成預(yù)估圖像.對于生成器而言，它運(yùn)用接到的梯度數(shù)據(jù)對相關(guān)的模型參數(shù)進(jìn)行更新處置并且能夠形成相應(yīng)的向量分布，故而它不但能夠形成圖像，另外還能夠確定形成圖像的品質(zhì)，對網(wǎng)絡(luò)的修復(fù)性產(chǎn)生了一定的影響.和一般的自動(dòng)編碼器在架構(gòu)方面存在一定的差別，此次設(shè)計(jì)的模型在編、解碼器的中間層換掉了全連接(channel-wised fully-connection)的樣式，最終選用了逐信道全連接的樣式.在生成模型里面為確保成功，增大模型深度，在編、解碼環(huán)節(jié)分別運(yùn)用卷積核 3×3并且步長是2的卷積、反卷積操控去替換掉池化操控，結(jié)果能夠最大限度精簡模型的實(shí)施流程，卷積層能夠?qū)D像特征抽取出來，至于卷積核的權(quán)重則能夠進(jìn)行相應(yīng)的學(xué)習(xí)，故而在高層神經(jīng)網(wǎng)絡(luò)里面，卷積操控可以沖破傳統(tǒng)層面的濾波器裝置的各種制約，參照目標(biāo)函數(shù)抽取得到所需的特征數(shù)據(jù).在卷積層中通常會用到填充操作(padding)，而填充操作分為0和1這兩種比較常見的手段，該操作有兩層功效：1)能夠盡可能使用處置導(dǎo)入圖像(或是導(dǎo)入數(shù)據(jù))的邊緣數(shù)據(jù)；2)配備適宜的卷積層參數(shù)，這樣能夠確保導(dǎo)出、導(dǎo)入具有一樣的大小，防止在網(wǎng)絡(luò)深度不斷增大的過程中導(dǎo)入大小以較快的速度降低.另外為確保深層面濾除無用的特征數(shù)據(jù)且能夠提升模型收斂的速度，在解碼環(huán)節(jié)將卷積層的后方加放1個(gè)歸一化層.這樣的話，編碼器能夠涵蓋2個(gè)卷積層和4個(gè)激活層，并且能夠涵蓋2個(gè)卷積層和1個(gè)歸一化層.對于 G 里面的激活函數(shù)而言，第1層運(yùn)用到Sigmoid函數(shù)，最終一層運(yùn)用到tanh函數(shù)，余下的均用到了ReLU函數(shù).生成器模型如圖2所示.

Sigmoid函數(shù)(S型函數(shù))是常用的一種非線性的激活函數(shù)，它的函數(shù)表達(dá)式如式(1)所示.

(1)

原始的GAN是由信息理論[10]而來的，我們先來回顧一下熵的概念，如式(2)所示.

(2)

式中:k表示一個(gè)正常數(shù).在GAN里面，要求pi一直為有效值.至于Sigmoid激活函數(shù)則能夠確保導(dǎo)入值符合pi的相關(guān)條件，不過此函數(shù)具備1個(gè)非常狹小的非飽和區(qū)塊，0.25是此函數(shù)的導(dǎo)數(shù)最高值，在多層神經(jīng)網(wǎng)絡(luò)中實(shí)施參數(shù)乘積計(jì)算的時(shí)候，最終的結(jié)果勢必呈現(xiàn)出指數(shù)級下降的態(tài)勢，由此造成梯度消失的現(xiàn)象.故而，此文講到1個(gè)改良過的Sigmoid激活函數(shù)，從而對那些不飽和區(qū)塊進(jìn)行相應(yīng)的擴(kuò)展，如式(3)所示.

(3)

其中:α代表1個(gè)超參數(shù)，經(jīng)過對應(yīng)的調(diào)參操作確保改良的Sigmoid函數(shù)在導(dǎo)數(shù)正數(shù)部分能夠大概維持到1，故而能夠改良梯度消失這種現(xiàn)象，另外在具體的試驗(yàn)中設(shè)置α=0.1.考慮到最后1層要求導(dǎo)出圖像，故而運(yùn)用到tanh函數(shù)，至于圖像像素值則具備1個(gè)選值區(qū)間，比如 0～255.關(guān)于ReLU函數(shù)的導(dǎo)出也許非常大，不過tanh函數(shù)的導(dǎo)出則在-1～1這個(gè)區(qū)間，如果把tanh函數(shù)的導(dǎo)出實(shí)施加1操作之后再乘上127.5，這樣能夠獲得0～255這個(gè)區(qū)間的像素值.通過運(yùn)用tanh函數(shù)替換掉傳統(tǒng)層面的ReLU函數(shù)，這樣數(shù)據(jù)集的收斂速度會更高，另外能夠得到更加清晰的圖像.tanh(Hyperbolic tangent)實(shí)際上是雙曲線函數(shù)之一，tanh()則是激活函數(shù)，能夠使用在隱層神經(jīng)元的導(dǎo)出中，與Sigmoid相比，它的輸出均值是0，這使得它的收斂速度要比Sigmoid快.tanh函數(shù)如式(4)所示.

(4)

1.2 判別模型

判別模型與真實(shí)的生成圖像之間存在一定的相關(guān)性.它們之間的關(guān)系僅由判別器一個(gè)接一個(gè)地運(yùn)算，另外梯度數(shù)據(jù)能夠傳回至生成器，由它參照判別器傳送的梯度數(shù)據(jù)去調(diào)節(jié)模型參數(shù)并且調(diào)節(jié)隨機(jī)噪聲的具體分布情況[11].

本文中的判別器D在場景不一樣的情況下能夠完成的功能同樣具有差別.如果導(dǎo)入生成的圖像，那么能夠執(zhí)行生成判別器這項(xiàng)操作，如果導(dǎo)入修復(fù)之后的圖像，那么能夠執(zhí)行全局判別器這項(xiàng)操作.在 D中添加卷積核是 3×3、步長是 1 的卷積層，本文中的判別器總共有3個(gè)卷積層，在第1、3個(gè)卷積層中，卷積核是 4×4并且步長是2，另外同時(shí)為確保深層面篩查出無效的特征數(shù)據(jù)添加到激活層中，激活函數(shù)為LeakyReLU，斜率設(shè)置為0.2.另外為提升模型收斂的速度從而避免過擬合實(shí)施頻譜歸一化的處置，在第2個(gè)卷積層中需要添加歸一化層.

判別器的具體結(jié)構(gòu)如圖3 所示，當(dāng)中模型導(dǎo)入能夠涵蓋兩個(gè)方面，G(z)代表G形成的圖像，關(guān)于模型導(dǎo)出，它代表的是導(dǎo)入圖像的真實(shí)度或虛假度.D能夠把導(dǎo)出的概率數(shù)據(jù)回傳至G，從而為G的更新供應(yīng)相關(guān)的梯度數(shù)據(jù).對于激活函數(shù)，它實(shí)際上用于加強(qiáng)網(wǎng)絡(luò)的表述實(shí)力，它們能夠在網(wǎng)絡(luò)中引進(jìn)非線性.此外在神經(jīng)元里面的導(dǎo)入值inputs在實(shí)施加權(quán)操作、求和操作之后能生成激活函數(shù)[12].引進(jìn)此函數(shù)重點(diǎn)是提升神經(jīng)網(wǎng)絡(luò)模型的非線性.假如并未用到激活函數(shù)，那么不管神經(jīng)網(wǎng)絡(luò)具備多少個(gè)層級，每層導(dǎo)出均會是上層導(dǎo)入的線性函數(shù)，其導(dǎo)出均是導(dǎo)入的線性組合，此類狀況其實(shí)是最初的感知機(jī)(Perceptron).經(jīng)過選用激活函數(shù)能在非線性因素中引入神經(jīng)元，由此保證神經(jīng)網(wǎng)絡(luò)與所有的非線性函數(shù)可以任意逼近，這種情況下神經(jīng)網(wǎng)絡(luò)能夠使用在諸多非線性模型里面.

1.3 損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練和圖像生成過程中重點(diǎn)就是對于優(yōu)化形成網(wǎng)絡(luò)中損失函數(shù)的設(shè)計(jì).損失函數(shù)在深度特征學(xué)習(xí)中起著非常重要的作用：它是整個(gè)網(wǎng)絡(luò)模型的“指揮棒”.它可以反向傳播預(yù)測樣本和實(shí)際樣本標(biāo)簽所產(chǎn)生的誤差，從而指導(dǎo)網(wǎng)絡(luò)參數(shù)學(xué)習(xí).此函數(shù)主要用來度量神經(jīng)網(wǎng)絡(luò)導(dǎo)出的預(yù)估值和真實(shí)值這兩者間的差別.常見的損失函數(shù)包括：最小二乘損失函數(shù)、log對數(shù)損失函數(shù)、交叉熵?fù)p失函數(shù)等有關(guān)內(nèi)容.

筆者把重建損失、TV 損失聯(lián)合起來當(dāng)作訓(xùn)練網(wǎng)絡(luò)的總損失，用來提升網(wǎng)絡(luò)的平穩(wěn)性還有修復(fù)的最終效果.關(guān)于聯(lián)合損失函數(shù)，相應(yīng)的定義參見式(5).

L=λrecLrec+λTVLTV.

(5)

其中，λrec、λTV依次代表相應(yīng)損失項(xiàng)的權(quán)重.

經(jīng)過重建損失[13],Lrec可以得到缺失區(qū)塊的總體架構(gòu)并且可以得到它的上下文的一致性，當(dāng)作是重點(diǎn)損失函數(shù)的優(yōu)化形成網(wǎng)絡(luò).此處，經(jīng)過選用模擬缺失圖像的保留區(qū)塊和生成圖像的對應(yīng)區(qū)塊的差的L2范數(shù)當(dāng)作重建損失，參見式(6).

(6)

x——導(dǎo)入的實(shí)際圖像；

G——生成網(wǎng)絡(luò)；

M——二進(jìn)制掩碼，值是 1、0 的部分分別為保留區(qū)塊、缺失區(qū)塊.

經(jīng)過TV 損失[14],LTV可以對圖像強(qiáng)度的平滑性實(shí)施一定程度的制約，結(jié)果導(dǎo)出圖像能夠更加平滑，這樣的話可以妥善處理生成圖像的修復(fù)區(qū)塊和殘缺圖像在進(jìn)行疊加時(shí)周圍出現(xiàn)的偽影現(xiàn)象，其具體的定義如式(7)所示.

|Gi,j+1(M⊙x)-Gi,j(M⊙x)|.

(7)

其中，i和j表示像素點(diǎn)的坐標(biāo).

2 實(shí)驗(yàn)結(jié)果與分析

筆者在CelebA人臉數(shù)據(jù)集中對于指出的算法具備的有效性實(shí)施了相關(guān)的測試，結(jié)果證實(shí)本文中改良的圖像修復(fù)法具備有效性.實(shí)驗(yàn)平臺是python 3.6的編程環(huán)境.生成器G 選用在[-1,1]的勻稱分布中以隨機(jī)方式形成的 100 維向量，經(jīng)過相關(guān)的反向卷積操作從而形成64×64×3的圖像，本文用到的數(shù)據(jù)集CelebA，其涵蓋10 177個(gè)名人身份的202 599張圖像，并且都做好了特征標(biāo)記.測試集共 1 000 張圖片，其中男性和女性各 500 張，它們包含了不同的表情.在網(wǎng)絡(luò)中，輸入圖像的尺寸是 96×96的圖像，提前將這些圖片裁剪為64×64大小，如圖4所示.

將數(shù)據(jù)集里所選的多個(gè)訓(xùn)練模型和之前使用相同的預(yù)處理步驟，同樣進(jìn)行上述試驗(yàn)，截取第10 000次迭代的圖片為最終修復(fù)結(jié)果，我們能得到如圖6所示的結(jié)果圖.

關(guān)于圖像修復(fù)的效果進(jìn)行的評定屬于相對主觀的流程，不同的人對于相同的結(jié)果具有不一樣的看法[15].所以，我們需要把本文算法與Auto-encoder和DCGAN從PSNR和SSIM兩方面實(shí)施相關(guān)的對比實(shí)驗(yàn)，從而證實(shí)提出的算法是有效的.經(jīng)過定量分析能夠合理補(bǔ)充視覺定性評測，使用2個(gè)尺度針對CelebA數(shù)據(jù)集里面的試驗(yàn)結(jié)果實(shí)施相應(yīng)的定量評測.峰值信噪比(Peak Signal to Noise Ratio,PSNR)作為第1個(gè)尺度，它是以偏差敏感為基礎(chǔ)的圖像品質(zhì)評價(jià).通常情況下，假如PSNR值偏大，則表明修復(fù)之后的圖像和初始圖像更加逼近.第2個(gè)尺度則是結(jié)構(gòu)相似性(Structural Similarity Index，SSIM)，用來評測2張圖像在總體上的近似性，它能夠從亮度、對比度、架構(gòu)這些方面去度量圖像的近似性.至于SSIM 的選值區(qū)間為[0,1]，如果數(shù)據(jù)比較大，那么表明圖像的近似性比較高.經(jīng)過應(yīng)用PSNR和SSIM從而對于模型不一樣的圖像修復(fù)結(jié)果實(shí)施相應(yīng)的對比剖析，如果它們的分值比較大，那么表明圖像修復(fù)的效果比較優(yōu)良.

通過對不同算法的修復(fù)效果進(jìn)行比較，得出質(zhì)量評價(jià)評分表如表1 所示，本文的峰值信噪比和結(jié)構(gòu)相似性值都比Auto-encoder和DCGAN略高一些，可以看出本文中改良的模型對圖像破損區(qū)域較大的圖像修復(fù)效果比另外兩種算法更加優(yōu)良.本文的算法以DCGAN為基礎(chǔ)模型，將原Sigmoid函數(shù)進(jìn)行了改進(jìn)使其擴(kuò)大了不飽和的區(qū)域，并且和增加的tanh函數(shù)相互作用使得梯度易消失的問題得到改善，以及改進(jìn)的損失函數(shù)也使圖像的修復(fù)效果更加接近原始圖像.經(jīng)過試驗(yàn)數(shù)據(jù)進(jìn)行驗(yàn)證，發(fā)現(xiàn)運(yùn)用改良之后的模型確實(shí)能夠獲得更優(yōu)的效果.

表1 不同算法的PSNR和SSIM

3 結(jié)論

以深度學(xué)習(xí)為基礎(chǔ)的數(shù)字圖像修復(fù)技術(shù)提出的時(shí)間并不長，但是發(fā)展的速度非?？?由于研究持續(xù)深入，大面積被損壞與語義數(shù)據(jù)被損壞的圖像實(shí)施修復(fù)的效果得到了持續(xù)的改良，其中修復(fù)網(wǎng)絡(luò)的繁雜度具有一定程度的提升.雖然數(shù)字圖像修復(fù)技術(shù)已有較佳的成效，不過依然需要面對多方的挑戰(zhàn).筆者指出改良后的相關(guān)算法用于人臉圖像的修復(fù)工作中，先經(jīng)過編-解碼器的架構(gòu)改良后的卷積神經(jīng)網(wǎng)絡(luò)作為生成模型，經(jīng)過運(yùn)用改良的激活函數(shù)以及加入tanh函數(shù)解決了其他算法不同程度的修復(fù)結(jié)構(gòu)失真問題，同時(shí)，引進(jìn) TV 損失、重建損失對于生成網(wǎng)絡(luò)進(jìn)行相應(yīng)的改良，由此提升細(xì)節(jié)圖像實(shí)施修復(fù)的實(shí)力.筆者在CelebA數(shù)據(jù)集里面實(shí)施定性方面與定量方面的比對試驗(yàn)，從而證實(shí)本文中提出的算法具備一定的有效性.