孫 琪,翟 銳,左 方,張玉濤

(1.河南大學(xué)軟件學(xué)院，河南 開封 475000；2.河南省智能網(wǎng)絡(luò)理論與關(guān)鍵技術(shù)國際聯(lián)合實(shí)驗(yàn)室,河南 開封 475000； 3.河南省高等學(xué)校學(xué)科創(chuàng)新引智基地，河南 開封 475000；4.河南省智能數(shù)據(jù)處理工程研究中心,河南 開封 475000)

1 引言

人臉識(shí)別通過提取人臉的面部特征實(shí)現(xiàn)身份識(shí)別，因其非接觸性、簡(jiǎn)便性等優(yōu)勢(shì)，成為生物特征識(shí)別領(lǐng)域的熱門研究內(nèi)容。實(shí)際應(yīng)用場(chǎng)景中，若出現(xiàn)人臉被遮擋的現(xiàn)象，將嚴(yán)重影響識(shí)別成功率，這是目前人臉識(shí)別面臨的主要問題之一。針對(duì)該問題，可采用圖像修復(fù)進(jìn)行人臉信息補(bǔ)全。圖像修復(fù)是指利用完好部分的關(guān)聯(lián)信息對(duì)缺失部分進(jìn)行修復(fù)的過程，有助于恢復(fù)圖像的完整信息。但是人臉五官細(xì)節(jié)個(gè)性化明顯，幾何結(jié)構(gòu)復(fù)雜，包含了大量的語義信息，人臉圖像修復(fù)的難度較大。

傳統(tǒng)的圖像修復(fù)方法對(duì)于受損面積較小、結(jié)構(gòu)簡(jiǎn)單的受損圖像修復(fù)具有良好的效果。Barnes等[1]使用迭代的方法搜索最合適的補(bǔ)丁來填充破損區(qū)域。但是，該方法修復(fù)的背景大多是平滑的區(qū)域，難以捕捉到高級(jí)的語義信息。

近年來，基于深度學(xué)習(xí)的圖像修復(fù)方法取得了良好的效果。基于深度學(xué)習(xí)的圖像修復(fù)方法除了利用受損圖像的自身信息以外，還結(jié)合了圖像的結(jié)構(gòu)特征和語義特征，合理性進(jìn)一步提高，并取得了更好的修復(fù)質(zhì)量和視覺效果。

Liu等[2]提出了一種基于部分卷積PConv(Partial Convolution)和自動(dòng)掩膜更新的模型，對(duì)缺失的圖像進(jìn)行識(shí)別。其中，與普通卷積相比，部分卷積更注重獲取圖像完整區(qū)域的特征信息。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，無效像素逐漸變成有效像素，導(dǎo)致深層網(wǎng)絡(luò)無法學(xué)習(xí)掩膜與圖像之間的關(guān)系，使修復(fù)后的圖像存在邊界偽影和局部色差問題。Liu等[3]提出了一種多級(jí)人臉圖像修復(fù)網(wǎng)絡(luò)模型MLGN(Multi-Level Generative Network)，使用多級(jí)結(jié)構(gòu)對(duì)缺失圖像進(jìn)行修復(fù)，可以獲取更多特征信息。但是，特征信息之間的關(guān)聯(lián)性不足，導(dǎo)致修復(fù)后的圖像出現(xiàn)模糊、細(xì)節(jié)缺陷等問題。

針對(duì)上述問題，本文開展了相關(guān)研究，對(duì)不規(guī)則掩膜的人臉圖像進(jìn)行修復(fù)，并消除模糊現(xiàn)象，提出了基于部分卷積和多尺度特征融合的人臉圖像修復(fù)模型MS-FIIM(Multi-Scale feature integration Facial Image Inpainting Model)，主要內(nèi)容如下：

(1)MS-FIIM包括多尺度修復(fù)網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)。多尺度修復(fù)網(wǎng)絡(luò)由主分支模塊(Main Branch)和多級(jí)特征提取模塊MS-FEM(Multi-Scale Feature Extraction Module)組成，負(fù)責(zé)獲取面部的多尺度特征信息。其中，在多級(jí)特征提取模塊中使用SE(Squeeze and Excitation)注意力機(jī)制提升有用特征信息的重要程度，抑制無用的特征信息。使用多尺寸卷積核的Inception塊獲取不同感受野上的人臉圖像特征信息。此外，通過加入跳躍連接，使下采樣過程中的特征再次被利用，以有效解決圖像破損部分的特征損失，緩解梯度消失的問題。判別器網(wǎng)絡(luò)由多種卷積神經(jīng)網(wǎng)絡(luò)組合而成，通過與多尺度修復(fù)網(wǎng)絡(luò)的相互對(duì)抗，保證修復(fù)圖像的紋理結(jié)構(gòu)和色彩的一致性，達(dá)到消除局部色差和邊界偽影的目的。

(2) 使用多尺度結(jié)構(gòu)相似度MS-SSIM(Multi-Scale StructuralSIMilarity)[4]和L1距離改進(jìn)的內(nèi)容損失、生成圖像與修復(fù)圖像的對(duì)抗損失、感知損失、風(fēng)格損失、全變分損失共同組成聯(lián)合損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練，提高對(duì)圖像特征的捕捉能力，保證修復(fù)圖像的全局一致性。

2 相關(guān)工作

圖像修復(fù)的目的是將圖像中缺失的部分補(bǔ)全，并使其與周圍情景保持一致性。圖像修復(fù)技術(shù)不斷發(fā)展，在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛應(yīng)用。本節(jié)主要從傳統(tǒng)方法和基于深度學(xué)習(xí)的方法出發(fā)，對(duì)圖像修復(fù)方法進(jìn)行簡(jiǎn)要的分析，并基于現(xiàn)有研究和現(xiàn)存問題，提出了一種更有效的解決方案。

2.1 傳統(tǒng)圖像修復(fù)方法

傳統(tǒng)的圖像修復(fù)方法可以分為基于擴(kuò)散(diffusion-based)[5]的方法和基于紋理(patch-based)[6,7]的方法2種。

2.1.1 基于擴(kuò)散的方法

Bertalmio等[5]提出了基于擴(kuò)散的方法填充損壞的區(qū)域，將相鄰像素的特征信息傳播到破損區(qū)域，使缺失的信息得以填補(bǔ)。但是，該方法僅適用于處理小面積的破損區(qū)域，并要求破損區(qū)域與周圍像素之間的色彩和紋理差異較小。當(dāng)破損區(qū)域過大且含有豐富紋理時(shí)，能利用的圖像塊的相似性減弱，導(dǎo)致匹配到合適紋理塊的難度加大，從而使修復(fù)區(qū)域變得模糊，無法達(dá)到理想的修復(fù)結(jié)果。

2.1.2 基于紋理的方法

針對(duì)基于擴(kuò)散的方法無法修復(fù)大面積破損區(qū)域的問題，Criminisi等[6]于2003年提出了基于紋理的目標(biāo)移除和區(qū)域填充方法，改善了修復(fù)后的結(jié)構(gòu)和紋理。此后，眾多研究人員在Criminisi方法的基礎(chǔ)上提出了許多改進(jìn)方法。Tang等[7]提出的CBLS(Coherence-Based Local Searching)方法，提升了對(duì)背景復(fù)雜的大塊破損區(qū)域的修復(fù)效果。Barnes等[1]提出了一種用于快速匹配圖像塊之間的近似臨近點(diǎn)的隨機(jī)算法，通過采樣找到匹配點(diǎn)，然后利用自然圖像中的連貫性將匹配點(diǎn)快速傳播到周圍區(qū)域。

總體來說，針對(duì)小區(qū)域遮擋，圖像信息與缺損區(qū)域相似度較高的圖像，傳統(tǒng)的修復(fù)方法能夠取得較好的修復(fù)效果。但是，當(dāng)圖像的缺損區(qū)域較大，圖像的內(nèi)容和層次缺乏連貫性時(shí)，可能會(huì)造成關(guān)鍵信息的丟失，修復(fù)結(jié)果較差。對(duì)于被遮住的人臉圖像，上述方法無法根據(jù)圖像的語義信息生成對(duì)應(yīng)的圖像目標(biāo)。

2.2 基于深度學(xué)習(xí)的修復(fù)方法

基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)憑借其優(yōu)異的性能逐漸成為業(yè)內(nèi)的主流研究方向。其中，最具有代表性的圖像修復(fù)方法包括基于卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的方法[8]和基于生成對(duì)抗網(wǎng)絡(luò)GAN(Generative Adversarial Network)的方法[9]。

基于CNN的圖像修復(fù)方法在早期基于深度學(xué)習(xí)的圖像修復(fù)方法中占據(jù)重要地位。Pathak等[10]首先將深度學(xué)習(xí)用于圖像修復(fù)，使用編碼器-解碼器結(jié)構(gòu)，通過編碼器將待修復(fù)的圖像特征映射到低維特征空間，解碼器通過反卷積重建輸出信號(hào)。由于該編解碼網(wǎng)絡(luò)使用普通的卷積網(wǎng)絡(luò)，在修復(fù)任意形狀的掩碼圖像時(shí)，會(huì)出現(xiàn)視覺偽影。Liu等[2]提出了基于部分卷積和自動(dòng)更新掩膜的方法對(duì)缺失的圖像進(jìn)行修復(fù)，但修復(fù)后的圖像存在邊界偽影和局部色差問題。Ronneberger等[11]在2015年提出了U-Net，因其網(wǎng)絡(luò)結(jié)構(gòu)類似于U形，因此被稱為U-Net，在醫(yī)學(xué)圖像分割以及語義分割方面得到了廣泛應(yīng)用。它采用編碼-解碼的方法，將底層信息與高層信息相融合。此后，Hong等[12]通過引入特征融合網(wǎng)絡(luò)與U-Net網(wǎng)絡(luò)結(jié)合進(jìn)行圖像修復(fù)；楊文霞等[13]將U-Net網(wǎng)絡(luò)與密集連接塊相結(jié)合對(duì)人臉圖像進(jìn)行修復(fù)。

對(duì)于遮擋區(qū)域較大、結(jié)構(gòu)復(fù)雜的圖像，使用基于CNN的方法修復(fù)后的圖像存在區(qū)域色差過大、圖像紋理缺失等問題。2014年，Goodfellow等[9]提出了由2個(gè)深層神經(jīng)網(wǎng)絡(luò)組成的GAN，具有自生成的能力，被廣泛應(yīng)用于圖像生成、風(fēng)格遷移和超分辨率重建等。與CNN相比，GAN對(duì)語義結(jié)構(gòu)復(fù)雜的圖像修復(fù)效果較好，尤其是面部圖像修復(fù)[14]。

Iizuka等[15]使用擴(kuò)張卷積，通過引入一個(gè)局部和全局性的判別器，保留圖像的空間結(jié)構(gòu)，對(duì)于大塊的結(jié)構(gòu)狀遮擋區(qū)域，修復(fù)效果較差。Yu等[16]引入由粗到細(xì)的兩階段修復(fù)方法，首先得到破損區(qū)域的粗略估計(jì)，然后引入注意力機(jī)制，再對(duì)粗略結(jié)果精細(xì)化，但會(huì)存在失真現(xiàn)象。Yu等[17]在部分卷積的基礎(chǔ)上進(jìn)一步提出了門卷積，使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)掩膜的大小和參數(shù)，更好地完成圖像修復(fù)，但門控卷積需要內(nèi)嵌在多層生成對(duì)抗網(wǎng)絡(luò)中才能發(fā)揮作用。Liu等[3]使用多級(jí)生成網(wǎng)絡(luò)對(duì)人臉圖像進(jìn)行修復(fù)，但修復(fù)部分會(huì)產(chǎn)生模糊現(xiàn)象，與非缺失部分人臉細(xì)節(jié)的匹配度不高。

為解決破損人臉圖像的修復(fù)問題，本文提出了一種基于部分卷積和多尺度特征融合的人臉圖像修復(fù)模型，包括多尺度修復(fù)網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)2大模塊。多尺度修復(fù)網(wǎng)絡(luò)利用部分卷積的特性得到與破損區(qū)域更接近原圖語義信息的紋理結(jié)構(gòu)，通過多尺度網(wǎng)絡(luò)架構(gòu)，獲取多尺度的特征信息。此外，通過多尺度修復(fù)網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)之間的對(duì)抗訓(xùn)練使修復(fù)圖像更加逼真，提高了圖像修復(fù)的質(zhì)量和真實(shí)度，解決了生成圖像的局部色差問題，使修復(fù)圖像的全局一致性得到保障，視覺效果進(jìn)一步增強(qiáng)。

3 本文提出的模型

本節(jié)詳細(xì)介紹所提出的基于部分卷積和多尺度特征融合的人臉圖像修復(fù)模型MS-FIIM的網(wǎng)絡(luò)結(jié)構(gòu)和工作原理。模型主要分為2部分：多尺度修復(fù)網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，結(jié)構(gòu)如圖1所示。其中，Iin和Imask分別表示輸入圖像和掩膜，Igen表示生成器生成的圖像，Igt表示真實(shí)圖像，Icomp表示修復(fù)后的圖像，Lvalid表示非破損區(qū)域的損失，Lhole表示破損區(qū)域的損失，Ltv表示全變分損失，Lperceptual表示感知損失，Lstyle表示風(fēng)格損失，Ladv_gen表示生成圖像的對(duì)抗損失，Ladv_comp表示修復(fù)圖像的對(duì)抗損失。多尺度修復(fù)網(wǎng)絡(luò)主要采用部分卷積的自動(dòng)掩膜更新策略，可以根據(jù)卷積過程中掩膜的變化進(jìn)行調(diào)整。在進(jìn)行掩膜率較大的修復(fù)任務(wù)時(shí)，可以避免虛假信息的誤用，生成接近真實(shí)圖像的結(jié)果。但是，由于修復(fù)網(wǎng)絡(luò)不斷加深，淺層特征信息無法得到充分利用，導(dǎo)致修復(fù)結(jié)果出現(xiàn)邊界偽影和局部色差問題，因此本文設(shè)計(jì)了多尺度修復(fù)網(wǎng)絡(luò)，用于提取不同尺度的特征信息對(duì)受損圖像進(jìn)行修復(fù)。其中，使用SE注意力機(jī)制學(xué)習(xí)每個(gè)特征通道的重要程度，并根據(jù)重要程度提升有用的特征信息，抑制對(duì)人臉修復(fù)作用較小的特征信息。使用多尺寸卷積核的Inception模塊聚合多種不同感受野上的特征獲取人臉圖像的特征信息。另外在多尺度修復(fù)網(wǎng)絡(luò)中加入跳躍連接，用于融合深層特征和淺層特征，確保提取的特征信息得到充分利用。判別器網(wǎng)絡(luò)則通過與多尺度修復(fù)網(wǎng)絡(luò)的對(duì)抗訓(xùn)練，解決修復(fù)圖像存在的偽影模糊問題，確保圖像破損區(qū)域與全局區(qū)域的一致性。

Figure 1 Structure of MS-FIIM model圖1 MS-FIIM模型結(jié)構(gòu)

3.1 多尺度修復(fù)網(wǎng)絡(luò)

多尺度修復(fù)網(wǎng)絡(luò)包括主分支模塊(Main Branch)和多級(jí)特征提取模塊，如圖2所示。主分支模塊用于提取圖像的高分辨率特征并融合不同層次的分辨率特征。多級(jí)特征提取模塊由中空間分辨率分支(Middle Spatial Branch)和低空間分辨率分支(Low Spatial Branch)組成，用于提取不同尺度的特征，增強(qiáng)對(duì)不同特征的表達(dá)能力。

Figure 2 Structure of multi-scale inpainting network圖2 多尺度修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)

3.1.1 主分支模塊

主分支模塊是一個(gè)15層U-Net結(jié)構(gòu)的網(wǎng)絡(luò)。對(duì)任意不規(guī)則掩膜進(jìn)行修復(fù)時(shí)，與普通卷積相比，部分卷積可以將掩膜與圖像同時(shí)卷積，以提高修復(fù)的生成效果。對(duì)人臉圖像修復(fù)時(shí)，使用多尺寸卷積核的Inception模塊[18]獲取人臉的多尺度特征信息。Inception模塊結(jié)構(gòu)如圖3所示，圖中S1表示卷積核的步長為2。通過不同大小的卷積核融合多尺度特征信息，增強(qiáng)了圖像破損區(qū)域與完好區(qū)域的關(guān)聯(lián)性，提升了修復(fù)后圖像的完整性，增大了網(wǎng)絡(luò)感受野。使用編碼器-解碼器結(jié)構(gòu)可以提高輸入圖像的平移、旋轉(zhuǎn)等基本變換的魯棒性，這對(duì)具有姿態(tài)變化的人臉圖像的修復(fù)非常重要。

Figure 3 Structure of Inception module 圖3 Inception模塊結(jié)構(gòu)

下采樣階段共包含8層，由部分卷積層、批量歸一化層BN(Batch Normalization)和LeakyReLU(Leaky Rectified Linear Unit)激活函數(shù)層組成。部分卷積層的內(nèi)核大小分別為3，4，4，4，4，4，4，4，通道數(shù)分別為32，64，128，256，256，512，512，512。第2層到第6層網(wǎng)絡(luò)中，先經(jīng)過卷積層進(jìn)行下采樣操作，再經(jīng)過Inception模塊提取多層次特征。使用Concatenate操作連接多級(jí)特征提取模塊，實(shí)現(xiàn)多個(gè)尺度特征的融合。加入BN層可以增加網(wǎng)絡(luò)的泛化能力。隨著通道數(shù)的增加，特征圖的尺寸逐漸減小，實(shí)現(xiàn)逐層獲取修復(fù)圖像的特征信息。

上采樣階段共包含7層，由部分卷積層、BN層和ReLU激活函數(shù)層組成。部分卷積層的內(nèi)核大小為3，通道數(shù)分別為512，512，256，256，128，64，3。在圖像進(jìn)入卷積層前，上采樣操作先使用最近鄰插值法放大圖像尺寸。最后一層使用Sigmoid激活函數(shù)生成最終的修復(fù)圖像。與下采樣階段相似，上采樣階段使用Concatenate連接中空間分辨率分支和低空間分辨率分支提取的特征，獲取多尺度的特征信息。為了使網(wǎng)絡(luò)有效融合深層的語義信息和淺層的空間局部信息，搜尋和提取圖像破損區(qū)域的語義信息，在下采樣和上采樣階段，相同分辨率的特征圖之間使用跳躍連接，以改進(jìn)訓(xùn)練速度，提升網(wǎng)絡(luò)性能。

3.1.2 多級(jí)特征提取模塊

特征金字塔網(wǎng)絡(luò)FPN(Feature Pyramid Network)[19]是一個(gè)利用多層特征處理的卷積神經(jīng)網(wǎng)絡(luò)，利用金字塔池捕捉上下文信息。受FPN啟發(fā)，本文在多尺度修復(fù)網(wǎng)絡(luò)中設(shè)置MS-FEM。通過特征提取模塊(FEM)對(duì)圖像進(jìn)行編碼，將編碼后的特征分成2個(gè)分支，即中空間分辨率分支和低空間分辨率分支。中空間分辨率分支共包含8層，由卷積核大小為5×5和3×3的部分卷積以及LeakyReLU激活函數(shù)組成，并在部分卷積層和LeakyReLU激活函數(shù)層之間加入BN層。此外，在2個(gè)分支網(wǎng)絡(luò)中，卷積層間隔使用最近鄰插值法對(duì)圖像尺寸進(jìn)行放大。

Figure 4 Structure of SE attention mechanism圖4 SE注意力機(jī)制結(jié)構(gòu)

3.2 判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)用于判別輸入圖像是真實(shí)圖像還是修復(fù)圖像，并通過與修復(fù)網(wǎng)絡(luò)的對(duì)抗訓(xùn)練，改善修復(fù)圖像中存在的邊界偽影問題，以此提高破損區(qū)域與非破損區(qū)域內(nèi)紋理結(jié)構(gòu)的一致性。判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

Figure 5 Structure of discriminator圖5 判別器網(wǎng)絡(luò)結(jié)構(gòu)

判別器網(wǎng)絡(luò)共包括7層，前6層使用卷積核大小為4×4、步長為2(圖中表示為S1)的卷積對(duì)特征圖的大小進(jìn)行縮減，并在每一層卷積后，加入BN和LeakyReLU激活函數(shù)；最后1層使用卷積核大小為4×4、步長為1(圖中表示為S2)的卷積以及Sigmoid激活函數(shù)輸出判別器結(jié)果。判別器結(jié)構(gòu)如圖5所示。

3.3 損失函數(shù)

為了保持修復(fù)圖像的全局一致性和細(xì)節(jié)精細(xì)化，本文構(gòu)造了一個(gè)聯(lián)合損失函數(shù)。由于L1損失僅僅懲罰像素之間的差異，并未考慮到圖像自身潛在的結(jié)構(gòu)信息，因此本文引入多尺度結(jié)構(gòu)相似度MS-SIM，構(gòu)造了新的內(nèi)容損失(L1+MS-SSIM)。此外，還引入對(duì)抗損失用于判別器與多尺度修復(fù)網(wǎng)絡(luò)之間的對(duì)抗訓(xùn)練，使修復(fù)效果更具有真實(shí)感。本文所設(shè)計(jì)的聯(lián)合損失函數(shù)共由6個(gè)損失函數(shù)組成：內(nèi)容損失(非破損區(qū)域的損失Lvalid、破損區(qū)域的損失Lhole)、感知損失Lperceptual、風(fēng)格損失Lstyle、全變分損失Ltv和對(duì)抗性損失Ladv，如式(1)所示:

Ltotal=λ1Lhole+λ2Lvalid+λ3Lperceptual+

λ4Lstyle+λ5Ltv+λ6Ladv

(1)

其中，λ1,λ2,λ3,λ4,λ5和λ6分別為相應(yīng)損失項(xiàng)的權(quán)重系數(shù)。

通過對(duì)100幅驗(yàn)證圖像執(zhí)行超參數(shù)搜索確定各損失項(xiàng)的權(quán)重系數(shù)，λ1,λ2,λ3,λ4,λ5和λ6分別取值6.0，1.0，0.05，120，0.1和0.1。

3.3.1 內(nèi)容損失

內(nèi)容損失包括破損區(qū)域的損失Lhole和非破損區(qū)域的損失Lvalid。本文使用L1距離和MS-SSIM組合構(gòu)建內(nèi)容損失，分別如式(2)和式(3)所示：

Lhole=(1-a)‖(E-M)⊙(Igen-Igt)‖1+

a(1-MSSIM)((E-M)⊙(Igen-Igt))

(2)

Lvalid=(1-a)‖M⊙(Igen-Igt)‖1+

a(1-MSSIM)(M⊙(Igen-Igt))

(3)

其中,M表示初始圖像掩膜，⊙表示Hadamard乘積，Igen表示生成器生成的圖像，Igt表示真實(shí)圖像，MSSIM為多尺度結(jié)構(gòu)相似指數(shù)[4]，α=0.16表示超參數(shù)。MSSIM計(jì)算如式(4)和式(5)所示：

l(x,y)·cs(x,y)

(4)

(5)

其中，μx和μy分別表示圖像x和y中所有像素的均值；σx和σy為圖像的方差；σxy為圖像x和y的協(xié)方差；C1和C2是為避免分母出現(xiàn)0而設(shè)置的常數(shù)，lM(·,·)表示在尺度M下2幅圖像的亮度；csj(·,·)表示在尺度j下2幅圖像的對(duì)比度和結(jié)構(gòu)相似度;M表示最大尺度。

3.3.2 感知損失

為了保留全局圖像的結(jié)構(gòu)信息，保證高層結(jié)構(gòu)的相似性，圖像修復(fù)需要采用類似真實(shí)圖像的特征表示，而不僅是圖像之間的像素匹配。感知損失使用在ImageNet數(shù)據(jù)集[20]上預(yù)訓(xùn)練的VGG-16特征提取器[21]分別提取生成圖像和真實(shí)圖像的特征圖，并根據(jù)兩者之間的L1距離來計(jì)算，如式(6)所示:

(6)

3.3.3 風(fēng)格損失

感知損失有助于獲得更高層次的結(jié)構(gòu)，避免生成圖像偏離真實(shí)圖像。為了保持風(fēng)格一致性，本文在聯(lián)合損失函數(shù)中增加了風(fēng)格損失。風(fēng)格損失計(jì)算圖像經(jīng)過VGG-16生成的特征圖的克萊姆矩陣的L1距離。風(fēng)格損失如式(7)所示：

(7)

3.3.4 總變分損失

總變分損失用來增強(qiáng)圖像的空間平滑度,如式(8)所示:

(8)

3.3.5 對(duì)抗損失

感知損失和風(fēng)格損失是圖像語義和特征信息的組合，但它們?cè)谔幚砑?xì)節(jié)方面還有欠缺。因此，在聯(lián)合損失函數(shù)中增加對(duì)抗損失，通過判別生成的修復(fù)圖像是來自生成器還是來自真實(shí)的圖像，使修復(fù)的效果具有真實(shí)感。對(duì)抗損失包括生成圖像的對(duì)抗損失Ladv_gen和修復(fù)圖像的對(duì)抗損失Ladv_comp，并通過系數(shù)權(quán)衡二者的重要程度。實(shí)驗(yàn)中使用交叉熵定義對(duì)抗損失。對(duì)抗損失如式(9)所示:

Ladv=0.7Ladv_gen(ygen,ygt)+

0.3Ladv_comp(ycomp,ygt)

(9)

其中,ycomp為修復(fù)后的圖像經(jīng)過判別器網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，ygen為生成圖像經(jīng)過判別器網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，ygt為真實(shí)圖像的標(biāo)簽。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置

本文使用人臉數(shù)據(jù)集CelebA-HQ[22]對(duì)模型進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集共包含30 000幅圖像，按訓(xùn)練集與測(cè)試集9∶1的比例，使用隨機(jī)分配方法將27 000幅圖像作為訓(xùn)練集，3 000幅圖像作為測(cè)試集，訓(xùn)練集與測(cè)試集的圖像不重復(fù)，沒有交集。使用NVIDIA提供的掩膜數(shù)據(jù)集，按照尺寸分為(0.01,0.1]，(0.1,0.2]，(0.2,0.3]，(0.3,0.4]，(0.4,0.5]和(0.5,0.6]共6種比例，其中每種比例按照有、無邊界各分1 000幅，因此掩膜測(cè)試集的數(shù)量共為12 000幅。不同掩膜率的數(shù)據(jù)集樣例如圖6所示。在實(shí)驗(yàn)中，所有訓(xùn)練和測(cè)試的掩膜和圖像尺寸為256×256，并使用隨機(jī)的水平和垂直翻轉(zhuǎn)對(duì)掩膜數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。輸入圖像的批大小設(shè)為8。生成器和判別器的初始學(xué)習(xí)率分別設(shè)置為0.000 5和0.000 02。訓(xùn)練過程共設(shè)置150個(gè)epochs。所有的實(shí)驗(yàn)均在Python和Ubuntu 16.4系統(tǒng)上進(jìn)行。

Figure 6 Samples mask images with different proportions 圖6 不同掩膜率樣例圖

4.2 實(shí)驗(yàn)結(jié)果和分析

本節(jié)從定性和定量2個(gè)方面分析本文提出的模型MS-FIIM與2種基于深度學(xué)習(xí)的圖像修復(fù)模型的對(duì)比結(jié)果。

4.2.1 定性比較

本節(jié)討論所提出模型MS-FIIM與PConv和MLGN的定性比較，結(jié)果分別如圖7和圖8所示。

Figure 7 Comparison of image inpainting results with boundary masks圖7 有邊界掩膜的圖像修復(fù)結(jié)果比較

Figure 8 Comparison of image inpainting results with no-boundary masks圖8 無邊界掩膜的圖像修復(fù)結(jié)果比較

實(shí)驗(yàn)結(jié)果表明，當(dāng)掩膜率較小時(shí)，PConv、MLGN和MS-FIIM對(duì)受損人臉圖像的修復(fù)效果均取得了較好的效果。當(dāng)掩膜率增大時(shí)，PConv和MLGN修復(fù)的人臉圖像與真實(shí)人臉圖像的差異較大，圖像中出現(xiàn)瑕疵、模糊等現(xiàn)象。PConv模型修復(fù)的圖像細(xì)化了紋理結(jié)構(gòu)，獲得了合理的上下文語義，但無法保證局部一致性，存在邊界偽影和局部色差問題。MLGN模型修復(fù)的圖像雖然填充區(qū)域像素與周圍像素在語義上有一定的相似性，但產(chǎn)生的圖像較模糊，修復(fù)區(qū)域的紋理細(xì)節(jié)不夠精細(xì)，例如眼睛、皮膚等紋理細(xì)節(jié)不清晰，人臉比例和表情視覺效果不夠好。本文提出的模型MS-FIIM，修復(fù)后圖像具有合理的紋理結(jié)構(gòu)和上下文的語義信息，保證了全局一致性，局部色差問題有明顯改善，在視覺效果上極大提高了修復(fù)圖像的真實(shí)性，增強(qiáng)了修復(fù)圖像的質(zhì)量，體現(xiàn)出MS-FIIM在任意比例不規(guī)則掩膜情況下圖像修復(fù)的優(yōu)越性。

4.2.2 定量比較

本文采用3個(gè)定量評(píng)價(jià)指標(biāo)，分別為結(jié)構(gòu)相似度SSIM(Structural SIMilarity)[23]、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)[23]和L1損失。在圖像修復(fù)的定量分析中，通過比較修復(fù)圖像和真實(shí)圖像之間的相似度衡量所提出模型的性能。

如表1所示，本文比較了在CelebA-HQ數(shù)據(jù)集[22]上，結(jié)合6種掩膜率(0.01,0.1],(0.1,0.2],(0.2,0.3],(0.3,0.4],(0.4,0.5]和(0.5,0.6]，本文提出的MS-FIIM與PConv和MLGN修復(fù)結(jié)果的PSNR、SSIM和L1損失值。表1中，加粗?jǐn)?shù)字代表單列上最優(yōu)，N表示無邊界，B表示有邊界。

Table 1 Comparison of PSNR, SSIM and L1 of various models on CelebA-HQ dataset表1 各模型在CelebA-HQ數(shù)據(jù)集上的PSNR、SSIM和L1損失值

從表1可以看出，本文模型在掩膜率較小的情況下修復(fù)效果提高并不明顯，與PConv和MLGN的修復(fù)結(jié)果相比差距較小。出現(xiàn)該情況可能存在的原因是，當(dāng)掩膜率較小時(shí)，破損區(qū)域的面積較小，PConv和MLGN生成圖像的局部色差、邊界偽影和區(qū)域模糊問題不明顯，因此都取得了較好的效果。當(dāng)掩膜率較大時(shí)，本文所提出的模型MS-FIIM在PSNR、SSIM和L1損失3個(gè)指標(biāo)上表現(xiàn)更好。與PConv和MLGN的修復(fù)結(jié)果相比有較大的提升，大幅度減輕局部色差，使生成的圖像具有細(xì)致的紋理結(jié)構(gòu)和更好的視覺效果，這也證明了所提出模型的可行性和優(yōu)越性。

5 結(jié)束語

本文針對(duì)人臉圖像修復(fù)存在的局部色差、邊界偽影等問題，提出了一種基于部分卷積和多尺度特征融合的人臉圖像修復(fù)模型，實(shí)現(xiàn)對(duì)人臉圖像中不同比例、形狀和位置的破損區(qū)域的修復(fù)。通過與其他先進(jìn)修復(fù)模型進(jìn)行實(shí)驗(yàn)對(duì)比，本文提出的模型能夠得到具有更合理的紋理結(jié)構(gòu)和上下文語義信息的修復(fù)圖像。引入SE注意力殘差塊和跳躍連接的多尺度特征融合，使修復(fù)圖像具有更好的視覺效果，彌補(bǔ)了部分卷積在深層網(wǎng)絡(luò)中因其自身局限性造成的局部色差問題。同時(shí)，結(jié)合生成對(duì)抗網(wǎng)絡(luò)思想，利用判別器與修復(fù)網(wǎng)絡(luò)的對(duì)抗訓(xùn)練，改善了圖像中邊界偽影的問題，使圖像的破損區(qū)域與全局區(qū)域具有視覺一致性。另一方面，模型也存在局限性，當(dāng)掩膜率較大時(shí)，修復(fù)圖像仍有細(xì)節(jié)缺陷，比如眼睛顏色不一致和牙齒模糊等問題。但是，從修復(fù)圖像的整體質(zhì)量和視覺效果而言，本文模型在很大程度上提高了修復(fù)的性能。本文下一步的工作是針對(duì)細(xì)節(jié)缺陷問題，提出新的解決方案。