陶玲玲，劉 波*，李文博，何希平

（1.重慶工商大學 人工智能學院，重慶 400067；2.智能感知與區(qū)塊鏈技術(shù)重慶市重點實驗室（重慶工商大學），重慶 400067）

0 引言

人臉編輯是人臉分析的重要研究內(nèi)容，它通過操縱人臉圖像的單個或多個屬性來生成新的人臉圖像［1］。人臉編輯被廣泛應(yīng)用于娛樂、社交以及公共安全等領(lǐng)域。例如：在娛樂領(lǐng)域，人臉編輯軟件通過編輯人臉圖像的面部屬性來實現(xiàn)人像美顏、妝造編輯等效果［2］；在公共安全領(lǐng)域，可根據(jù)受害者和目擊者的描述來創(chuàng)建與編輯嫌疑人圖像，從而提高辦案效率［3-4］。

人臉編輯模型和可控性是人臉編輯的主要研究內(nèi)容。主流的人臉編輯模型以生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）為基礎(chǔ)，并取得了豐碩的成果。比如：用于屬性交換與重組的生成對抗網(wǎng)絡(luò)GeneGAN（Learning Object Transfiguration and Attribute Subspace from Unpaired Data）［5］、通過改變目標內(nèi)容進行屬性編輯的生成對抗網(wǎng)絡(luò)AttGAN（Facial Attribute Editing by Only Changing What You Want）［6］、基于條件的生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）［7］等。盡管這些模型能較好地生成人臉圖像，但編輯過程中的可控性仍然面臨很多問題。例如：人臉不同屬性之間高度耦合導致編輯的可控性差；編輯結(jié)果不自然，生成圖像的變化過小或過大導致可控性難度較大等。

針對這些問題，本文基于潛在空間（latent space）的可解釋方向提出一種高效的可控人臉編輯算法。該算法首先在現(xiàn)有的人臉編輯模型（例如：一種基于風格的生成對抗網(wǎng)絡(luò)生成器架構(gòu)（Style-based generator architecture for Generative Adversarial Networks，StyleGAN）［8］、為提高質(zhì)量、穩(wěn)定性和變化性的漸進式生成對抗網(wǎng)絡(luò)（Progressive Growing of GANs for improved quality，stability，and variation，ProGAN）［9］、StyleGAN 圖像質(zhì)量的分析與改善（Analyzing and Improving the Image Quality of StyleGAN，StyleGAN2）［10］）的潛在空間中采樣構(gòu)造一個樣本矩陣，并計算出樣本矩陣的主成分［11］，再結(jié)合人臉屬性的語義邊界（semantic boundary）來計算人臉編輯的可解釋方向向量，該向量要盡可能地靠近對可控性編輯有利的主成分向量，同時還要盡量遠離人臉屬性的語義邊界向量，以便減少編輯過程中屬性之間的相互影響，本文所提出的算法具有閉解（closed-form solution）。實驗結(jié)果表明，該算法能很好地實現(xiàn)可控人臉編輯。

1 相關(guān)工作

早期的人臉編輯主要利用自編碼器（AutoEncoder，AE）來實現(xiàn)［12］?；谧跃幋a器結(jié)構(gòu)，人臉屬性編輯任務(wù)通過將給定人臉圖像的屬性進行編碼以獲得各個屬性的特征向量，然后對這些特征向量進行編輯，最后將其進行解碼以實現(xiàn)人臉編輯［13-14］，但這類模型生成的圖像容易模糊。當前，人臉編輯模型的研究逐漸轉(zhuǎn)向生成對抗網(wǎng)絡(luò)，并取得了大批顯著性成果。例如：StyleGAN 可以將潛在空間經(jīng)過仿射變換得到解糾纏的中間潛在空間（intermediate latent space），實現(xiàn)了人臉編輯時的無監(jiān)督屬性分離［8］；ProGAN 可以生成1 024×1 024 分辨率的高質(zhì)量圖像［9］；BigGAN（Large scale GAN training for high fidelity natural image synthesis）［15］可以生成高質(zhì)量、多樣性的結(jié)果。在人臉編輯的研究中，可控性作為關(guān)鍵技術(shù)得到了廣泛、深入的研究。下面從5 個方面介紹人臉編輯可控性的研究工作。

1）基于對比學習的可控人臉編輯。這方面的研究工作主要采用對比學習來研究人臉編輯的可控性。比如：文獻［16］中將人臉圖像的屬性逐一進行對比，通過將相似屬性盡量靠近，不同屬性盡量分離來實現(xiàn)人臉屬性編輯的可控性；文獻［17］中結(jié)合三維人臉模型參數(shù)（3D Morphable Model，3DMM）和對比學習來進行可控性人臉編輯的研究。

2）基于條件向量的可控人臉編輯。這類方法在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上加入了條件向量來控制人臉編輯過程。比如：CGAN 在生成器與判別器的輸入中均引入了條件向量來指導模型的生成過程，從而控制人臉編輯的結(jié)果；條件Wassertein 生成對抗網(wǎng)絡(luò)（Conditional-Wassertein Generative Adversarial Network，C-WGAN）［18］模型融合了CGAN 和WGAN（Wassertein Generative Adversarial Network）［19］，將條件向量加入網(wǎng)絡(luò)中的生成模型用來生成滿足約束條件的樣本進而控制圖像生成；InfoGAN（interpretable representation learning by Information maximizing Generative Adversarial Nets）［20］不僅引入條件向量來指導模型的生成結(jié)果，還進一步引入互信息來約束條件向量和生成數(shù)據(jù)之間的關(guān)聯(lián)程度來提高人臉編輯的可控性。

3）基于輔助分類器的可控人臉編輯。這類方法通常會在生成模型的基礎(chǔ)上加入一個分類器，比如：ACGAN（Auxiliary Classifier GAN）［21］，通過讓判別網(wǎng)絡(luò)在判別圖像真假時，同時對圖像進行分類，從而實現(xiàn)人臉編輯的可控性。文獻［22］中獲取圖像不同屬性的語義特征向量，然后通過分類器確定可解釋方向來實現(xiàn)人臉編輯的可控性。

4）基于潛在空間解耦的可控人臉編輯。這類方法在生成對抗網(wǎng)絡(luò)的潛在空間中得到豐富的人臉屬性的特征向量，通過識別并利用各屬性相對應(yīng)的特征向量來實現(xiàn)可控的人臉編輯。比如，文獻［23］中將潛在空間劃分為多個線性子空間，使每個子空間控制一個屬性變化來控制的人臉編輯操作。StyleGAN 在潛在空間的基礎(chǔ)上，經(jīng)過仿射變化提出了一個中間潛在空間，該空間與潛在空間相比耦合性更低，在人臉編輯過程中引起的變化更少，從而提高了可控性［8］。文獻［24］中發(fā)現(xiàn)可以對潛在空間的特征向量進行線性插值，使得插值后的特征向量耦合性更低，所以在一定程度上可以更好地實現(xiàn)人臉編輯任務(wù)中的可控性。

5）基于語義內(nèi)容的可控人臉編輯。這類方法對人臉屬性語義內(nèi)容進行人臉編輯，從而獲得更好的控制性。比如，文獻［25］通過分解模型權(quán)重來識別出潛在空間中語義層面上有意義的可解釋性編輯方向，這些方向可以提高人臉編輯的可控性；文獻［26］將語義候選矩陣與分類器結(jié)合來實現(xiàn)基于語義的可控人臉編輯。

2 本文算法

2.1 算法原理

在人臉編輯模型的可控性研究中，人們發(fā)現(xiàn)隨機采樣n個潛在向量（latent vector）z∈Rd構(gòu)成矩陣Z=[z1，z2，…，zn]∈Rd×n，并計算Z的前k(k

圖1 改變主成分向量導致的人臉圖像變化Fig.1 Changes of face image caused by changing principal component vectors

文獻［23］中通過訓練支持向量機（Support Vector Machine，SVM）來得到人臉各屬性的語義邊界。首先通過ResNet-50 網(wǎng)絡(luò)［27］和CelebA 數(shù)據(jù)集［28］來訓練出一個屬性預(yù)測模型（ResNet-50 predictor），然后通過預(yù)訓練生成模型（例如StyleGAN）合成50 000 張圖像，使用ResNet-50 predictor 來對每幅人臉圖像的屬性進行預(yù)測并得出每個屬性（本文實驗選取姿態(tài)、微笑、年齡、性別以及發(fā)型5 種屬性進行預(yù)測）在圖像上出現(xiàn)的概率值作為預(yù)測結(jié)果。每個屬性根據(jù)預(yù)測值對50 000 張圖像進行排序，從排好序的圖像中選出前1 000張圖像和后1 000 張圖像作為候選樣本集（前1 000 張圖像為正樣本，標簽為1；后1 000 張圖像為負樣本，標簽為0）。從候選集中選取70%的樣本作為訓練集，30%作為測試集。使用訓練集來訓練支持向量機，從而得到語義邊界。

由于ProGAN、StyleGAN、StyleGAN2 會合成不同的圖像，所以對于不同的預(yù)訓練模型而言，都需要使用ResNet-50 predictor 對樣本進行預(yù)測，從而獲得相應(yīng)的語義邊界。

設(shè)人臉第i個屬性的語義邊界表示為bi∈Rd，若有k個屬性，它們的語義邊界就構(gòu)成了邊界矩陣B=[b1，b2，…，bk]∈R(d×k)，這些邊界可以很好地區(qū)分人臉的各個屬性，對降低人臉編輯過程中屬性之間的相互糾纏起著重要作用。具體而言，在語義邊界同一側(cè)的屬性具有相同的語義內(nèi)容，并且在語義邊界附近的屬性所對應(yīng)的語義內(nèi)容不夠明確，因此人臉屬性特征向量離語義邊界越遠，針對該屬性的編輯結(jié)果就越明顯。如圖2 所示，語義邊界向量b3將潛在空間分為包含屬性的不同語義的兩部分，當u3向兩端移動而遠離語義邊界b3時，人臉屬性的耦合度變低。例如：在年齡這一屬性上，當沿著正方向（+u3）移動時，年齡逐漸增大，人臉圖像逐漸衰老；朝著負方向（-u3）移動時，年齡逐漸減少，人臉圖像逐漸年輕。

圖2 人臉屬性語義邊界向量的編輯Fig.2 Editing of semantic boundary vector of face attribute

本文結(jié)合潛在空間的主成分和語義邊界在人臉編輯中的優(yōu)點，提出一種具有閉解的可控人臉編輯算法。具體而言，為了編輯l個人臉屬性，所提出的算法要學習l個可解釋方向向量[u1，u2，…，ul]∈Rd×l，使這些向量能夠?qū)θ四樉庉嬈鸬胶芎每刂谱饔?。為了實現(xiàn)這一目標，讓第i個可解釋方向向量ui盡量靠近第i個潛在空間主成分向量vi，同時又能盡量遠離人臉第i個屬性的語義邊界bi，以此來減少編輯人臉時各屬性之間的糾纏，同時保證人臉編輯的質(zhì)量。

這種思想可用式（1）來表示：

其中：‖·‖2表示向量的2 范數(shù)，ui表示在潛在空間中對人臉編輯有精確控制作用的第i個可解釋方向向量；vi表示潛在空間中n個隨機向量構(gòu)成的樣本矩陣Z的第i個主成分向量；bi表示人臉第i個屬性的語義邊界；λ、β為正則化參數(shù)。

根據(jù)向量2 范數(shù)的定義，式（1）可計算為如下形式：

式（2）是一個無約束優(yōu)化問題，通過對ui求導并令它等于0 來得到最優(yōu)解：

進一步化簡得到：

所以ui的最優(yōu)解為：

本文所提算法的具體實現(xiàn)步驟如下：

算法1 本文算法。

輸入 隨機數(shù)種子s，主成分向量的數(shù)量k；

輸出 生成圖像Image。

1）根據(jù)s隨機采樣n個潛在向量z1，z2，…，zn，由此得到樣本矩陣Z。

2）計算Z的主成分v1，v2，…，vk。

3）對屬性進行分類并利用支持向量機得到其語義邊界b1，b2，…，bk。

4）對第i個屬性利用式（4）計算出可解釋方向向量ui。

5）通過ui編輯樣本圖像zi：Image= G(zi+ui)

6）返回編輯后的人臉圖像Image。

其中，一個隨機數(shù)種子s，為標量且是正整數(shù)類型，通過numpy 中的隨機數(shù)函數(shù)random.randint（）生成，范圍通過numpy 中的iinfo（numpy.int32）.max 限定，具體數(shù)值為［0，231-1）。隨機采樣n個潛在向量時，則需要生成n個不重復的隨機數(shù)種子。

2.2 實驗

2.2.1 實驗環(huán)境與參數(shù)設(shè)置

1）硬件環(huán)境：CPU 為Intel Xeon Gold 5118 CPU@2.30 GHz，GPU 為NVIDIA Corporation P40。

2）軟件環(huán)境：操作系統(tǒng)為Ubuntu 20.04.1 LTS；開發(fā)環(huán)境：PyTorch 1.3.1，Python 3.7.10，CUDA 10.1.243。

3）參數(shù)設(shè)置。算法1 中的λ、β為正則化參數(shù)，其主要目的是防止模型過擬合，通過大量實驗發(fā)現(xiàn)參數(shù)β對實驗結(jié)果的影響較小，本文將其設(shè)置為1；而參數(shù)λ對實驗結(jié)果起著關(guān)鍵作用，通過交叉驗證的方式，本文計算出不同屬性在不同模型上的λ值，具體取值如表1 所示。

表1 參數(shù)λ的取值Tab.1 Values of parameter λ

2.2.2 實驗?zāi)Ｐ?、?shù)據(jù)集以及比較算法

本文采用的數(shù)據(jù)集為CelebA 與FFHQ［8］。CelebA 數(shù)據(jù)集包含202 599 張人臉圖片，由10 177 位不同身份的人組成，每張圖片總有40 個二分屬性標簽；FFHQ 數(shù)據(jù)集由70 000 張分辨率為1 024×1 024 的高質(zhì)量人物圖像組成，在年齡、種族和背景方面有著較大的差異，并且在眼鏡、帽子等配件上有良好的覆蓋范圍。

本文采用的模型為 StyleGAN［8］、ProGAN［9］和StyleGAN2［10］，其中ProGAN 在CelebA 數(shù)據(jù)集上進行實驗，StyleGAN 與StyleGAN2 在FFHQ 數(shù)據(jù)集上進行實驗。

為了驗證本文算法對可控人臉編輯的有效性，在相同的實驗環(huán)境下，與SeFa（closed-form Factorization of latent Semantics in GANs）算法［25］和 GANSpace（Discovering Interpretable GAN Controls）算法［11］進行了比較。其中，SeFa算法是通過對不同生成模型的權(quán)重求特征向量來得到人臉編輯時的可解釋方向，GANSpace 算法是通過在生成模型的潛在空間中對樣本矩陣進行主成分分析得到人臉編輯時的可解釋方向。

2.2.3 評價指標

本文采用初始分數(shù)（Inception Score，IS）［29］、弗雷歇距離（Fréchet Inception Distance，F(xiàn)ID）［30］、最大平均差異（Maximum Mean Discrepancy，MMD）［31］這三個指標來評價本文算法與SeFa 算法和GANSpace 算法所生成的圖像質(zhì)量。

3 實驗結(jié)果與分析

將本文所提算法與SeFa 算法和GANSpace 算法從生成圖像的質(zhì)量和編輯效果兩方面進行了對比分析。大量的實驗證明，本文算法優(yōu)于SeFa 算法和GANSpace 算法。

3.1 分析比較生成圖像的質(zhì)量

比較本文所提算法與SeFa 算法和GANSpace 算法在不同模型上的IS、FID 以及MMD 值，實驗選擇人臉圖像中較為重要的姿態(tài)（pose）、微笑（smile）、年齡（age）、性別（gender）以及發(fā)型（hairstyle）這5 種屬性分析比較，這5 種屬性所對應(yīng)的語義邊界向量依次為b1，b2，b3，b4，b5，所對應(yīng)的可解釋方向向量依次為u1，u2，u3，u4，u5。本文將三種生成模型（ProGAN、StyleGAN、StyleGAN2）的實驗結(jié)果詳細展示在表2 中。

表2 預(yù)訓練生成模型所生成圖像的定量比較Tab.2 Quantitative comparison of images generated by pre-trained generation models

從表2 中可看出，本文算法通?？梢陨少|(zhì)量更好的編輯結(jié)果，具體表現(xiàn)為本文算法所生成的圖像質(zhì)量與SeFa 算法和GANSpace 算法相比，本文算法的IS 值均高于SeFa 算法和 GANSpace 算法，F(xiàn)ID 值與MMD 值均低于SeFa 算法和GANSpace 算法。

對于ProGAN 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上與SeFa 算法相比平均升高了0.18，與GANSpace 算法相比平均升高了0.21；在FID 值上，與SeFa 算法相比平均降低了0.08，與GANSpace 算法相比平均降低了0.35；在MMD值上，與SeFa 算法相比平均降低了0.05，與GANSpace 算法相比平均降低了0.25。

對于StyleGAN 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上與SeFa 算法相比平均升高了0.43，與GANSpace 算法相比平均升高了0.65；在FID 值上，與SeFa 算法相比平均降低了0.01，與GANSpace 算法相比平均降低了0.88；在MMD 值上，與SeFa 算法相比平均降低了0.01，與GANSpace算法相比平均降低了0.23。

對于StyleGAN2 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上，與SeFa 算法相比平均升高了0.58，與GANSpace算法相比平均升高了0.69；在FID 值上，與SeFa 算法相比平均降低了0.02，與GANSpace 算法相比平均降低了0.01；在MMD 值上，與SeFa 算法相比平均降低了0.07，與GANSpace算法相比平均降低了0.16。

綜上所述，本文所生成的圖像質(zhì)量更好、更接近于真實圖像。

3.2 分析比較生成圖像的編輯效果

3.2.1 比較在ProGAN上編輯效果

圖3 為SeFa 算法、GANSpace 算法和本文算法在ProGAN模型上生成的人臉圖像。

圖3 ProGAN模型的實驗結(jié)果Fig.3 Experimental results of ProGAN model

從圖3 可以觀察到，本文算法生成的結(jié)果明顯優(yōu)于SeFa算法和GANSpace 算法所生成的結(jié)果，具體如下：

1）編輯性別（樣本圖像從女性轉(zhuǎn)變?yōu)槟行裕r，觀察圖3中第2 列可以看出，本文算法很精確地實現(xiàn)了這一目標，且未引起除性別之外的其他變化；而SeFa 算法雖然也改變了原圖的性別屬性，但原圖的黑框眼鏡被改變?yōu)榱藷o框眼鏡，原圖的微笑程度從高至低被改變了；GANSpace算法在將樣本圖像從女性編輯為男性時，原圖的表情也從微笑被改變?yōu)椴恍Γ瓐D的黑框眼鏡被改變?yōu)闊o框眼鏡。

2）編輯發(fā)型時，從圖3 中的第3 列發(fā)現(xiàn)，本文算法很好地改變了原圖的發(fā)型，并且與SeFa 算法和GANSpace 算法相比與原圖更加貼近。SeFa 算法不僅改變了原圖的發(fā)型，還讓頭部產(chǎn)生了向右偏轉(zhuǎn)，同時還讓眼鏡框架變得模糊；GANSpace算法在改變發(fā)型的同時也改變了面部表情，并讓原圖的眼鏡消失。

3）編輯姿態(tài)（頭部姿態(tài)從左向右偏轉(zhuǎn)）時，觀察圖3 中的第4 列發(fā)現(xiàn)本文算法只是簡單地將原圖的頭部姿態(tài)從左向右進行了偏轉(zhuǎn)，并未改變其他屬性。而SeFa 算法不僅對原圖的頭部姿態(tài)產(chǎn)生了影響，使其向右偏轉(zhuǎn)，還去掉了原圖的眼鏡；GANSpace 算法同樣如此，在編輯頭部姿態(tài)的同時消除了原圖的眼鏡，改變了原圖的發(fā)型等。

4）編輯微笑時（從微笑變?yōu)椴恍Γ^察圖3 中第5 列發(fā)現(xiàn)本文算法相較于SeFa 算法和GANSpace 算法而言能夠?qū)崿F(xiàn)更加精準的控制。本文算法僅編輯了微笑這一個重要屬性并未改變其他屬性；而SeFa 算法在改變微笑的同時還改變了原圖的姿態(tài)，使其由右偏轉(zhuǎn)變?yōu)檎嫫D(zhuǎn)，原圖發(fā)型的發(fā)色變深；通過定性比較可以發(fā)現(xiàn)GANSpace 算法在編輯微笑屬性時直接改變了人臉的身份特征，從發(fā)型、眉毛、人臉輪廓等重要屬性處直接體現(xiàn)了這一點。

5）編輯年齡時，觀察圖3 中第6 列發(fā)現(xiàn)，本文算法在編輯年齡屬性時的解耦性明顯優(yōu)于其他兩種算法。例如：本文算法在改變年齡時并未改變發(fā)型、姿態(tài)等其他較為重要的屬性。而SeFa 算法在編輯年齡這一屬性的同時還改變了姿態(tài)、發(fā)型和眼鏡等，使編輯后的圖像頭部向左偏轉(zhuǎn)的程度加大，頭發(fā)的卷度變大，長度變短，眼鏡的清晰度變低；GANSpace算法也非常明顯地產(chǎn)生了耦合，在改變原圖年齡的同時還改變了原圖的發(fā)型與眼鏡，使得編輯后的圖像頭發(fā)變短，眼鏡變得不太明顯，導致生成圖像和原圖相差較遠。

3.2.2 比較在StyleGAN上所生成的圖像

圖4 為SeFa 算法、GANSpace 和本文算法在StyleGAN 模型上生成的人臉圖像。從圖4 中可以觀察到本文算法所生成的結(jié)果優(yōu)于其他兩種算法生成的結(jié)果，具體如下：

1）編輯性別時，觀察圖4中的第2列發(fā)現(xiàn)本文算法非常精確地實現(xiàn)了性別的轉(zhuǎn)換，且將原圖從女性編輯為男性時并未引起其他屬性的變化。SeFa算法在改變原圖的性別時還改變了嘴巴的動作單元，由原來的閉合狀態(tài)轉(zhuǎn)變?yōu)槲⑽堥_的狀態(tài)，GANSpace算法在改變原圖性別的同時還改變了原圖的面部表情，且瞳孔顏色的深淺程度發(fā)生了變化。另外，通過定性分析發(fā)現(xiàn)，GANSpace算法編輯后的圖像和原圖的身份特征相差較遠。

2）編輯發(fā)型時，觀察圖4中的第3列發(fā)現(xiàn)本文算法和SeFa算法都非常精確地改變了原圖的發(fā)型，但是仔細觀察可以發(fā)現(xiàn)，本文算法生成圖像的頭部姿態(tài)更符合原圖，而SeFa 算法編輯后圖像的頭部姿態(tài)微微向下偏轉(zhuǎn)，且本文算法所生成的圖片在發(fā)型上的改變大于SeFa 算法。GANSpace 算法在改變原圖發(fā)型的同時還引起了其他面部屬性的改變。例如：和原圖相比，編輯后圖像的面部表情更加嚴肅，嘴角的上揚程度小于原圖。另外通過定性分析發(fā)現(xiàn)GANSpace 算法編輯后的人臉與原圖的身份特征有明顯區(qū)別。

3）編輯姿態(tài)時，觀察圖4中的第4列發(fā)現(xiàn)三種算法均很好地將原圖的頭部姿態(tài)向左偏轉(zhuǎn)了一定角度，但是仔細比較可發(fā)現(xiàn)，SeFa 算法在編輯原圖姿態(tài)的同時還將原圖的直發(fā)變?yōu)槲⒕?；GANSpace 算法較為明顯了改變了發(fā)型，將原圖的劉海由右分改變?yōu)樽蠓?，發(fā)型顏色由深變淺。本文算法也對發(fā)型造成了一定程度的影響，使原圖的發(fā)色變深，但所生成的圖像和原圖的相似度明顯優(yōu)于SeFa算法和GANSpace算法。

4）編輯微笑時，觀察圖4中第5列發(fā)現(xiàn)三種算法均很好地改變了人臉的面部表情，但是SeFa 算法和GANSpace 算法均引起了除微笑以外的其他屬性的變化。SeFa 算法對于發(fā)型，眼睛的影響明顯大于本文算法，編輯的發(fā)色由原圖的深色變?yōu)闇\色，編輯后的眼睛大于原圖的眼睛；GANSpace 算法引起了微弱的頭部姿態(tài)的偏轉(zhuǎn)，使得編輯后的圖像向左偏轉(zhuǎn)了一定角度，編輯后的發(fā)型也發(fā)生了微弱變化。

5）編輯年齡時，觀察圖4中第6列發(fā)現(xiàn)本文算法在編輯年齡時優(yōu)于SeFa 算法和GANSpace 算法。SeFa 算法在編輯年齡的同時還改變了原圖的發(fā)型，將原圖的發(fā)型由長發(fā)變?yōu)槎贪l(fā)，直發(fā)變?yōu)榫戆l(fā)。GANSpace 在編輯年齡的同時引起了面部動作單元的變化，例如：眉毛的上挑程度大于原圖，眼睛的大小大于原圖，原圖的長發(fā)變?yōu)槎贪l(fā)，原圖的發(fā)色由深色變?yōu)闇\色。本文算法和SeFa 在編輯年齡屬性時均引起了微弱的頭部姿態(tài)的偏轉(zhuǎn)，但仍然可以看出本文算法在編輯原圖的年齡后，身份特征和原圖更加相近，面部動作和原圖更加符合。

圖4 StyleGAN模型的實驗結(jié)果Fig.4 Experimental results of StyleGAN model

3.2.3 比較在StyleGAN2上所生成的圖像

圖5 為SeFa 算法、GANSpace 算法和本文算法在StyleGAN2 模型上生成的人臉圖像。

圖5 StyleGAN2模型的實驗結(jié)果Fig.5 Experimental results of StyleGAN2 model

從圖5 中可以明顯地觀察到，本文算法的編輯結(jié)果優(yōu)于其他兩種算法。具體如下：

1）編輯性別時，觀察圖5 中第2 列發(fā)現(xiàn)本文算法并不會造成其他屬性的變化，編輯后的人臉圖像和原圖相比具有相同的面部表情和頭部姿態(tài)。而SeFa 在編輯性別時還改變了人臉的頭部姿態(tài)，將原圖的頭部姿態(tài)由左轉(zhuǎn)改變?yōu)檎妗?/p>

2）編輯姿態(tài)時，觀察圖5 中第4 列發(fā)現(xiàn)本文算法很好地將原圖的頭部姿態(tài)由向左偏轉(zhuǎn)編輯為向右偏轉(zhuǎn)。而SeFa 算法盡管也實現(xiàn)了頭部姿態(tài)由左向右的偏轉(zhuǎn)，但是編輯后的人臉面部特征明顯和原圖相差較遠；GANSpace 算法雖然很好地實現(xiàn)了頭部姿態(tài)由左向右的偏轉(zhuǎn)，但偏轉(zhuǎn)后人臉圖像的面部出現(xiàn)了由發(fā)型引起的裂痕。

3）編輯微笑時，觀察圖5 中第5 列發(fā)現(xiàn)本文算法將原圖的面部表情由微笑變?yōu)椴恍?，且保持其他屬性不變。而SeFa算法在實現(xiàn)微笑編輯時還造成了皮膚紋理的細粒度的改變，并且通過定性分析發(fā)現(xiàn)，SeFa 算法編輯后圖像的年齡和原圖不符，身份特征和原圖相差較遠；GANSpace 算法除改變面部表情外還改變了原圖的發(fā)型，從有劉海變?yōu)闊o劉海。

4）編輯年齡時，觀察圖5 中第6 列發(fā)現(xiàn)本文算法非常精確地將原圖的年齡增大了。SeFa 算法雖然明顯地增加了原圖的年齡，但也非常明顯地改變了原圖的頭部姿態(tài)，由原圖的向左偏轉(zhuǎn)變?yōu)檎妫籊ANSpace 算法在編輯原圖的年齡屬性的同時還改變了原圖的發(fā)型，由原圖的有劉海變?yōu)闊o劉海。本文算法和SeFa 算法與GANSpace 算法在改變了原圖的年齡時均產(chǎn)生了不同程度的耦合，造成其他屬性不同程度的變化，但從定性分析的角度來看，本文算法所生成圖片的身份特征與原圖更加貼近。

4 結(jié)語

針對人臉編輯過程中的可控性問題，本文提出了一種新的人臉編輯模型。該模型結(jié)合了潛在空間的主成分和人臉屬性語義邊界的優(yōu)點來降低人臉圖像編輯過程中屬性之間的耦合性，本文建立了模型對應(yīng)的目標函數(shù)和相應(yīng)的求解方法。由于目標函數(shù)存在閉式解，因此整個求解過程簡單、高效。實驗結(jié)果表明，本文提出的算法能提升人臉編輯的質(zhì)量和可控性，然而人臉圖像的編輯是一項非常精細的工作，涉及到表情、身份等多種信息的改變，所以在未來的工作中，將進一步在保持身份不變的情況下研究細粒度的人臉編輯內(nèi)容，并且為了提高語義邊界向量的求解效率，考慮將多個二分類支持向量機整合為一個多分類支持向量機，實現(xiàn)同時訓練多個語義邊界向量的目標。