◆丁一鳴 黃晨 孔聰 孔祥懿 龐毅林

一種基于VAE的人臉修復(fù)式生成方法

◆丁一鳴 黃晨 孔聰 孔祥懿 龐毅林通訊作者

（華東理工大學(xué)信息科學(xué)與工程學(xué)院 上海 200237）

如今互聯(lián)網(wǎng)中的人臉圖像信息繁多，這些信息如果運(yùn)用不當(dāng)則會(huì)觸及網(wǎng)民的信息安全問題。人臉生成技術(shù)是一種人像使用場(chǎng)景中的替代性方法。本文提出了一種人臉生成方法，首先采用變分自編碼器（VAE）對(duì)輸入的基準(zhǔn)人像進(jìn)行低程度的人臉重構(gòu)，然后將真實(shí)的基準(zhǔn)人像和低清晰度重構(gòu)人像通過隱空間轉(zhuǎn)換進(jìn)行域?qū)R，在該隱空間中學(xué)習(xí)人像修復(fù)，在保留人像的基本構(gòu)圖后重新得到一張全新的高清細(xì)節(jié)人像。

變分自編碼器；人臉生成；深度學(xué)習(xí)

如今互聯(lián)網(wǎng)中的人臉圖像信息繁多，這些信息如果運(yùn)用不當(dāng)則會(huì)觸及網(wǎng)民的信息安全問題。人臉生成技術(shù)是一種人像使用場(chǎng)景中的替代性方法。Goodfellow于2014年提出生成對(duì)抗網(wǎng)絡(luò)[1]，為人臉圖像生成提供了一種好的解決方案，人臉圖像合成的研究變得熱門起來。人臉圖像生成常常分為兩類[2]：由無條件的噪聲輸入生成人臉圖像和有一定條件的輸入，例如側(cè)臉、佩戴眼鏡的人臉等生成人臉圖像。對(duì)于第二類，目前的人臉圖像生成技術(shù)已經(jīng)可以很好地解決多屬性生成的問題[3]，但是生成圖像依然存在例如扭曲、模糊、背景干擾等問題，且多屬性控制有時(shí)難以生成期望的人像構(gòu)圖。

本文提出了一種人臉生成方法，首先采用VAE對(duì)輸入的基準(zhǔn)人像進(jìn)行低程度的人臉重構(gòu)，并根據(jù)現(xiàn)有的隱空間圖像修復(fù)算法對(duì)生成后的圖像扭曲、模糊等問題進(jìn)行修復(fù)，新生成的圖像在保留原人像的基本結(jié)構(gòu)后重新得到全新的高清細(xì)節(jié)，使生成人像具有一定的可控性和實(shí)用性。

1 變分自編碼器

其中：

2 隱空間修復(fù)算法

2.1 通過隱空間轉(zhuǎn)換進(jìn)行域?qū)R

最終，VAE的總的目標(biāo)函數(shù)定義為：

2.2 通過隱映射進(jìn)行修復(fù)

利用VAE捕獲的隱空間編碼，利用重構(gòu)圖像并通過映射它們的隱空間來學(xué)習(xí)人像的生成。隱空間還原的優(yōu)點(diǎn)在于：其一，在緊湊的低維隱空間中的映射在原理上比高維圖像空間中更容易學(xué)習(xí)。其二，由于兩個(gè)VAE是獨(dú)立訓(xùn)練的，重建不會(huì)彼此干擾。

3 網(wǎng)絡(luò)結(jié)構(gòu)

本文沿用了文獻(xiàn)[5]中提出的網(wǎng)絡(luò)，優(yōu)化了映射網(wǎng)絡(luò)T的部分結(jié)構(gòu)。如圖1所示：

圖1 修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

4.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為Win 10操作系統(tǒng)、8G內(nèi)存，在配置了NVIDIA GPU （1660Ti）的pyTorch框架下實(shí)現(xiàn)。

4.3 實(shí)驗(yàn)方法

實(shí)驗(yàn)分為兩個(gè)階段。第一階段，輸入基準(zhǔn)人臉圖像，在VAE上進(jìn)行10個(gè)epoch的訓(xùn)練得到低程度的人臉重構(gòu)生成圖像；第二階段，將生成的人臉圖像和原圖像作為新的訓(xùn)練數(shù)據(jù)對(duì)，在隱空間學(xué)習(xí)人像的修復(fù)和生成，最終通過一個(gè)VAE映射回真實(shí)圖像，得到新的高清人像圖。

4.4 實(shí)驗(yàn)結(jié)果與分析

第一階段VAE的低程度人臉重構(gòu)效果如下圖2所示。

圖2 VAE的人臉重構(gòu)效果樣例（batchsize=64）

同一圖片各階段得到人像結(jié)果如下圖3所示，從左到右依次為輸入基準(zhǔn)人像、VAE生成人像和修復(fù)得到的高清生成人像。

圖3 各階段得到的人像結(jié)果

為了進(jìn)一步評(píng)價(jià)生成器的人像生成質(zhì)量，引入兩種客觀質(zhì)量評(píng)價(jià)指標(biāo)：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（Structural Similarity index，SSIM），這兩個(gè)指標(biāo)數(shù)值越高，表示效果越好。下表1是一個(gè)batch的重構(gòu)人像與生成人像的平均PSNR和SSIM數(shù)值與其他方法的比較[7]：

表1 質(zhì)量評(píng)價(jià)表

修復(fù)方法PSNRSSIM 本文方法19.790.786 DCGAN18.270.829 LSGAN18.430.824

表1的實(shí)驗(yàn)結(jié)果表明，本文方法相比DCGAN和LSGAN的方法，生成人像的PSNR和SSIM的評(píng)價(jià)指標(biāo)更好。本文方法最終在保留了人像基本結(jié)構(gòu)的同時(shí)，生成的人像質(zhì)量更高。

5 結(jié)束語

本文研究了一種基于VAE的人臉生成方法，根據(jù)現(xiàn)有的隱空間圖像修復(fù)算法提出了一種根據(jù)輸入的基準(zhǔn)人臉進(jìn)行人像修復(fù)式生成方法。實(shí)驗(yàn)結(jié)果表明。本文復(fù)現(xiàn)并改進(jìn)的方法具有可行性和有效性。在下一步工作中，該方法在網(wǎng)絡(luò)結(jié)構(gòu)等、邊緣模糊問題方面可進(jìn)一步改進(jìn)。

[1]Goodfellow I，Pouget-Abadie J， Mirza M， et al. Generative adversarial nets[J]. Advances in neural information processing systems， 2014，27.

[2]曹仰杰，賈麗麗，陳永霞，等.生成式對(duì)抗網(wǎng)絡(luò)及其計(jì)算機(jī)視覺應(yīng)用研究綜述[J].中國圖像圖形學(xué)報(bào)，2018，23（10）：1433-1449.

[3]張皓，周鳳.基于生成對(duì)抗網(wǎng)絡(luò)的多屬性人臉圖像生成[J].計(jì)算機(jī)與數(shù)字工程，2021，49（08）：1642-1646+1701.

[4]Larsen A B L，S?nderby S K，Larochelle H，et al. Autoencoding beyond pixels using a learned similarity metric[C]//International conference on machine learning. PMLR，2016：1558-1566.

[5]Wan Z，Zhang B，Chen D，et al. Bringing old photos back to life[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020：2747-2757.

[6]Liu Z，Luo P，Wang X，et al. Large-scale celebfaces attributes （celeba） dataset[J]. Retrieved August，2018，15（2018）：11.

[7]謝卓然，寸怡鵬，姜德航，王菲.基于最小二乘生成對(duì)抗網(wǎng)絡(luò)的人臉圖像修復(fù)研究[J].科技視界，2020（22）：1-6.

大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目