張鵬升 解 易 劉 釗

1(中國(guó)人民公安大學(xué)信息技術(shù)與網(wǎng)絡(luò)安全學(xué)院 北京 102623)2(北京燧原智能科技有限公司 北京 100191)3(中國(guó)人民公安大學(xué)網(wǎng)絡(luò)空間安全與法治協(xié)同創(chuàng)新中心 北京 100038)

0 引 言

人臉正面化是根據(jù)側(cè)面人臉生成相同身份的正面人臉。這為人臉識(shí)別中經(jīng)典的姿態(tài)不一致問(wèn)題(Pose-Invariant Face Recognition,PIFR)[1]提供了有效的解決辦法。不僅如此，生成的正面人臉可以應(yīng)用到一系列與人臉相關(guān)的任務(wù)，如人臉重建、人臉屬性分析、面部動(dòng)畫制作等[2]。隨著卷積神經(jīng)網(wǎng)絡(luò)可以在大型人臉數(shù)據(jù)集上訓(xùn)練[3]和產(chǎn)生式模型[4-6]的快速發(fā)展，人臉正面化取得顯著的成果。但因?yàn)閭?cè)臉本身信息的缺失使得人臉正面化依然是一個(gè)極具挑戰(zhàn)性的問(wèn)題。目前基于產(chǎn)生式模型的人臉正面化方法主要集中在使用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)和變分自編碼器(Variational Auto-Encoder,VAE)。

GAN網(wǎng)絡(luò)是目前產(chǎn)生式模型中最為熱門的方向之一。GAN的思想是通過(guò)博弈的方法交替訓(xùn)練生成器和判別器，從而使得生成樣本和真實(shí)樣本在分布上越來(lái)越相近?；贕AN的拓展網(wǎng)絡(luò)模型在人臉正面化上取得不錯(cuò)的效果。DR-GAN[7]能夠?qū)W習(xí)解耦的身份表示，實(shí)現(xiàn)任意角度人臉的生成。CAPG-GAN[8]使用人臉全局拓?fù)湫畔⒆鳛橹笇?dǎo)，保證生成的圖片更加逼真。但是，GAN無(wú)法對(duì)樣本進(jìn)行編碼，不涉及對(duì)潛在變量空間的計(jì)算，因此缺乏對(duì)數(shù)據(jù)的全面支持。同時(shí)，GAN的訓(xùn)練不穩(wěn)定以及模式崩塌[9]現(xiàn)象一直以來(lái)是困擾GAN的問(wèn)題，在訓(xùn)練中判別器過(guò)于嚴(yán)格，而且直接在像素級(jí)別進(jìn)行判別往往會(huì)導(dǎo)致生成樣本的多樣性受限。

VAE網(wǎng)絡(luò)是基于似然的方法，由編碼器和解碼器兩部分組成，通過(guò)讓圖像編碼的潛在向量服從高斯分布從而實(shí)現(xiàn)圖像的生成。在人臉正面化領(lǐng)域，VAE發(fā)揮了重要的作用。如SPAE[10]通過(guò)堆疊自編碼器將非正臉旋轉(zhuǎn)為正面人臉。IntroVAE[11]在不引入額外的對(duì)抗判別器的情況下，克服了變分自編碼器固有的合成圖像趨于模糊的問(wèn)題。但是，VAE是優(yōu)化了數(shù)據(jù)對(duì)數(shù)似然的下界，屬于近似模型，不能實(shí)現(xiàn)精確的推理，而且VAE只能用來(lái)產(chǎn)生確定分布的圖片，如伯努利分布和高斯分布，這限制了產(chǎn)生式模型生成樣本的能力。

針對(duì)以上問(wèn)題，本文設(shè)計(jì)了基于流的條件生成對(duì)抗網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成。生成網(wǎng)絡(luò)采用流模型，glow模型[12]出色的實(shí)驗(yàn)效果使基于流的產(chǎn)生式模型得到了人們的重視。在生成網(wǎng)絡(luò)中，通過(guò)采用條件實(shí)例歸一化層(Conditional Instance Normalization,CIN)[13]控制角度，生成正面人臉。判別網(wǎng)絡(luò)采用變分判別器瓶頸(Variational Discriminator Bottleneck,VDB)[14]更好地利用生成網(wǎng)絡(luò)得到的潛在變量對(duì)身份進(jìn)行判別，保證生成身份一致的正面人臉?？傮w而言，本文進(jìn)行了以下創(chuàng)新：① 采用glow模型作為生成網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)潛在變量的精確推理，而不是近似的推理，從而保證生成效果；② 采用條件實(shí)例歸一化層控制生成，根據(jù)不同的角度對(duì)歸一化層選擇不同的縮放和平移參數(shù)；③ 采用VDB作為判別網(wǎng)絡(luò)，提高判別器的判別難度，緩解GAN訓(xùn)練時(shí)判別器過(guò)于強(qiáng)勢(shì)的問(wèn)題，提高訓(xùn)練的穩(wěn)定性。

1 相關(guān)研究

1.1 人臉正面化

人臉正面化常見(jiàn)的方法可以大體分為兩類：一是利用圖形學(xué)的方法從側(cè)臉獲得正臉；二是通過(guò)產(chǎn)生式模型根據(jù)側(cè)臉生成正臉。因?yàn)閭?cè)面人臉和正面人臉的差異主要在進(jìn)行二維投影時(shí)產(chǎn)生的紋理發(fā)生的壓縮形變和自遮擋，所以圖形學(xué)方法是最直接的方法[15]。常見(jiàn)的三維圖形學(xué)方法有光流法[16]、三維形變模型法[17]、非剛體模型法[18]等。圖形學(xué)方法雖然直接，但是生成的圖片容易存在畸變較大的情況，如圖1(a)所示。隨著產(chǎn)生式模型不斷的發(fā)展，網(wǎng)絡(luò)性能不斷提高，第二類方法得到人們更多的關(guān)注。如前文提及的DR-GAN、CAPG-GAN和SPAE等網(wǎng)絡(luò)都在人臉正面化上取得了不錯(cuò)的效果，如圖1(b)所示。目前基于產(chǎn)生式模型的人臉正面化方法對(duì)于流模型的關(guān)注較少，但實(shí)際上流模型具有高效的合成和推斷能力，生成圖片的效果可以與GAN相比。本文采用流模型并利用判別器判別身份，既發(fā)可以揮傳統(tǒng)產(chǎn)生式模型的優(yōu)點(diǎn)保持身份一致，又能實(shí)現(xiàn)逼真圖像的合成。

(a) 文獻(xiàn)[17]三維形變模型法的人臉正面化效果

(b) 文獻(xiàn)[10]SPAE的人臉正面化效果圖1 部分人臉正面化方法的效果

1.2 變分判別器瓶頸

本文的判別網(wǎng)絡(luò)采用變分判別器瓶頸來(lái)解決GAN訓(xùn)練中存在的問(wèn)題。在對(duì)抗學(xué)習(xí)中，判別器一直過(guò)于強(qiáng)勢(shì)，當(dāng)判別器訓(xùn)練到最優(yōu)時(shí)，生成器的梯度消失，造成了對(duì)抗中的不平衡，而且直接在像素級(jí)別判別會(huì)影響生成樣本的多樣性。文獻(xiàn)[14]提出了變分判別器瓶頸，通過(guò)對(duì)數(shù)據(jù)樣本和編碼得到的潛在空間的互信息進(jìn)行限制，削弱判別器的能力，從而平衡網(wǎng)絡(luò)的訓(xùn)練。在本文中，互信息反映了樣本x和潛在變量z的相關(guān)程度。理論上，z是由x編碼得到，所以x和z是完全相關(guān)的，所以二者的互信息是很大的。限制二者互信息的值，從而限制了二者相關(guān)性較低的部分，保留x和z最具有辨別力的特征，增強(qiáng)了訓(xùn)練過(guò)程中身份的一致性。同時(shí)，VDB是對(duì)樣本編碼得到的潛在空間進(jìn)行判別保證了生成樣本的多樣性。為了實(shí)現(xiàn)對(duì)互信息的限制，通過(guò)生成網(wǎng)絡(luò)E(z|x)對(duì)樣本x編碼為潛在變量z，通過(guò)對(duì)二者的互信息I(X,Z)進(jìn)行限制，正則化目標(biāo)為：

(1)

s.t.I(X,Z)≤Ic

式中：y代表標(biāo)簽；p(x,y)為樣本和標(biāo)簽的分布；q(y|z)代表z到y(tǒng)的映射。互信息定義如下：

(2)

Ex～p(x)[KL[E(z|x)‖r(z)]

(3)

(4)

s.t.Ex～p(x)[KL[E(z|x)‖r(z)]]≤Ic

優(yōu)化時(shí)可以采取拉格朗日系數(shù)。

1.3 Glow流模型

流模型早在2014年就已經(jīng)提出，先后經(jīng)歷了NICE[6]和RealNVP[19]兩個(gè)階段，Glow正是在這兩個(gè)模型的基礎(chǔ)上進(jìn)行了改進(jìn)，展現(xiàn)了強(qiáng)大的圖像生成能力。相比GAN不涉及潛在變量的計(jì)算和VAE只是近似的推理，Glow在圖像編碼得到的潛在變量上可以做到精確的推理，而且可以計(jì)算樣本的準(zhǔn)確對(duì)數(shù)似然。流模型選擇直接計(jì)算數(shù)據(jù)樣本的分布，所以可以產(chǎn)生任意的分布樣本，彌補(bǔ)了VAE只能產(chǎn)生確定分布的圖片的缺點(diǎn)。Glow通過(guò)學(xué)習(xí)一個(gè)確定的非線性轉(zhuǎn)換，能將高維數(shù)據(jù)映射到潛在空間，同時(shí)這個(gè)過(guò)程是可逆的，可以將潛在空間的數(shù)據(jù)映射到高維。因此，關(guān)鍵在于確定一個(gè)可逆的函數(shù)f，使得z=f(x)，生成過(guò)程可以表示如下：

z～pz(z)x=f-1(z)

(5)

pz(z)為可選擇的先驗(yàn)分布；z為潛在變量通過(guò)可逆函數(shù)f生成樣本。為了保證樣本信息充分混合，選取f為一系列轉(zhuǎn)換函數(shù)的組合f=f1°f2°…°fk。

(6)

正是因?yàn)榇嬖谥@樣一系列可逆的轉(zhuǎn)換過(guò)程，像流水一般，所以模型被稱為流模型。對(duì)于式(5)，其似然函數(shù)可以表示為：

(7)

文獻(xiàn)[6]通過(guò)對(duì)輸入進(jìn)行分組，構(gòu)建了便于求雅克比矩陣的可逆映射函數(shù)f，從理論上證明流模型可以優(yōu)化求解。

在Glow模型中，單步流操作包括Actnorm層、可逆1×1卷積層和仿射耦合層。Glow采用可逆的1×1卷積層替代固定的置換操作，保證對(duì)輸入圖片信息的充分混合。在訓(xùn)練過(guò)程中，隨機(jī)生成旋轉(zhuǎn)矩陣W，對(duì)其進(jìn)行LU分解,即W=PLU。其中：P為置換矩陣；L為下三角陣，對(duì)角元素均為1；U為上三角陣。因此矩陣W的值容易求得：

log|det(w)|=∑log|diag(U)|

(8)

在訓(xùn)練時(shí)，需要固定P，約束為L(zhǎng)對(duì)角元素均為1，U為上三角陣，對(duì)其他參數(shù)進(jìn)行優(yōu)化訓(xùn)練。

在仿射耦合層確定了可逆函數(shù)f，具體包括分割、仿射變換和連接操作。對(duì)于給定人臉圖片x，在通道方向上將其分為兩部分(xa,xb)，仿射變換操作如下：

ya=xa

yb=xb⊙exp(s(xa))+t(xa)

(9)

式中：函數(shù)s和t代表縮放和平移操作，可以為任意復(fù)雜的函數(shù)，保證公式的可計(jì)算性和模型的非線性能力；⊙代表哈達(dá)瑪乘積操作。文獻(xiàn)[19]已經(jīng)證明該仿射變換是可逆的，而且雅克比矩陣是易求的，為exp∑s。連接操作屬于分割操作的逆操作，將分割開(kāi)的兩部分張量合為一個(gè)張量y=(ya,yb)。

2 基于流的條件生成對(duì)抗生成網(wǎng)絡(luò)

本文設(shè)計(jì)的模型由兩部分組成:采用流模型的生成網(wǎng)絡(luò)；采用變分判別器瓶頸的判別網(wǎng)絡(luò)。因?yàn)榱髂Ｐ褪腔诳赡孀儞Q的模型，所以訓(xùn)練完成時(shí)會(huì)同時(shí)得到一個(gè)編碼模型和生成模型。判別網(wǎng)絡(luò)通過(guò)判別身份，進(jìn)一步加強(qiáng)生成圖片的身份一致性。

2.1 生成網(wǎng)絡(luò)

本文在Glow模型的基礎(chǔ)上提出了新的條件流模型。整體結(jié)構(gòu)沿用了文獻(xiàn)[19]的多尺度框架，保證模型的非線性能力。在單步流操作中通過(guò)采用條件實(shí)例歸一化層對(duì)傳統(tǒng)Glow模型進(jìn)行創(chuàng)新。傳統(tǒng)的Glow模型是非條件的生成模型，不能做到生成指定角度的人臉圖片。通過(guò)對(duì)單步流操作進(jìn)行改進(jìn)，采用條件實(shí)例歸一化層，在訓(xùn)練過(guò)程中加入標(biāo)簽與人臉圖片進(jìn)行訓(xùn)練，從而控制生成圖片的方向，生成正面的人臉圖片。單步流操作具體包括條件實(shí)例歸一化層、可逆1×1卷積層和仿射耦合層。生成網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

(a) 多尺度框架(沿用文獻(xiàn)[19]的多尺度框架)

(b) 單步流操作結(jié)構(gòu)圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)

圖2(a)中的壓縮(squeeze)層實(shí)現(xiàn)了輸入圖片在通道軸上具有更高的維度，使得在之后的操作中輸入數(shù)據(jù)在空間上仍具有局部相關(guān)性。一個(gè)完整的流操作需要K次單步流來(lái)完成，完整流操作結(jié)束后進(jìn)行分割操作，經(jīng)過(guò)L-1次多尺度循環(huán)得到最終的潛在變量z=(z1,z2,…,zL)。

2.1.1條件實(shí)例歸一化層

在訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)，使用批歸一化層(Batch Normalization，BN)[20]或者實(shí)例歸一化層(Instance Normalization,IN)[21]可以讓訓(xùn)練過(guò)程更加容易和穩(wěn)定。文獻(xiàn)[13]提出了條件實(shí)例歸一化層，在每次歸一化操作時(shí)使用縮放和平移參數(shù)可以有效地控制生成。每次歸一化的目標(biāo)函數(shù)如下：

(10)

式中：μ和σ是輸入x均值和標(biāo)準(zhǔn)差；γd和βd代表縮放和平移參數(shù)；d代表標(biāo)簽。在本文設(shè)計(jì)的模型中，d代表人臉角度標(biāo)簽ypose，不同的人臉角度選擇不同的縮放和平移參數(shù)以此來(lái)控制生成。采用條件實(shí)例歸一化層既能保證訓(xùn)練過(guò)程的穩(wěn)定性，同時(shí)起到了控制正面人臉生成的作用。

2.1.2生成網(wǎng)絡(luò)的目標(biāo)函數(shù)

對(duì)于本文設(shè)計(jì)的生成網(wǎng)絡(luò)，將高維數(shù)據(jù)映射到潛在空間時(shí)相當(dāng)于編碼模型E(z|x)，將潛在空間的數(shù)據(jù)映射到高維空間時(shí)相當(dāng)于生成模型G(x)，對(duì)于潛在變量z，希望生成真實(shí)圖片xL，因此根據(jù)式(7)可得目標(biāo)函數(shù)為：

(11)

式中：px為真實(shí)數(shù)據(jù)分布；pz為生成模型的先驗(yàn)分布；fi(x;θi)為第i個(gè)轉(zhuǎn)換函數(shù)。

2.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)采用變分判別器瓶頸可以更好地利用生成網(wǎng)絡(luò)中編碼模型E(z|x)得到的潛在變量z，不再是傳統(tǒng)上在像素級(jí)別進(jìn)行判別，而是在互信息上進(jìn)行瓶頸限制，實(shí)現(xiàn)平衡網(wǎng)絡(luò)的訓(xùn)練并保證生成圖片的身份一致性。根據(jù)原始GAN的目標(biāo)函數(shù)，判別網(wǎng)絡(luò)希望最大化識(shí)別出真實(shí)圖片為真和生成圖片不為真的概率，因此加入變分判別瓶頸的判別網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

Ex～G(x)[Ez～E(z|x)[log(1-D(z))]]

(12)

Ex～G(x)[Ez～E(z|x)[log(1-D(z))]]+

(13)

因此，我們可以根據(jù)具體的限制Ic來(lái)更新β實(shí)現(xiàn)對(duì)互信息的約束。在實(shí)際訓(xùn)練過(guò)程中需要對(duì)編碼模型E(z|x)得到的z求均值和標(biāo)準(zhǔn)差，從而可以求解與r(z)～N(0,1)的KL散度。

3 實(shí) 驗(yàn)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖3 Cflow-GAN網(wǎng)絡(luò)結(jié)構(gòu)

3.2 實(shí)驗(yàn)設(shè)計(jì)

本文使用Multi-PIE數(shù)據(jù)集進(jìn)行訓(xùn)練，選取數(shù)據(jù)集中300位具有中性表情的參與者的人臉進(jìn)行實(shí)驗(yàn)，角度選取±60°共9種。其中200名參與者的人臉圖片作為訓(xùn)練集，共32 238幅圖片。剩余100名參與者的人臉圖片作為測(cè)試集，共9 000幅圖片。

在實(shí)驗(yàn)中，生成網(wǎng)絡(luò)的每個(gè)耦合層采用三層卷積，前兩層采用ReLU激活函數(shù)，第一層和最后一層是3×3的卷積核。中間一層是1×1的卷積核，通道數(shù)為512。與文獻(xiàn)[12]不同之處在于將Actnorm層替換為條件實(shí)例歸一化層(CIN)，通過(guò)CIN層實(shí)現(xiàn)控制正面人臉的生成。

因?yàn)楸疚牟捎玫纳删W(wǎng)絡(luò)既屬于編碼器又屬于解碼器，所以判別網(wǎng)絡(luò)不需要像文獻(xiàn)[14]中的VGAN一樣分為兩部分，可以直接使用生成網(wǎng)絡(luò)所得的潛在變量z，只需要承擔(dān)線性分類器的功能。對(duì)于變量z采用VAE中重參數(shù)技巧，傳遞給判別網(wǎng)絡(luò)，保證網(wǎng)絡(luò)可以計(jì)算KL散度。對(duì)于β的更新，采用αβ=10-5的步長(zhǎng)進(jìn)行更新。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置

實(shí)驗(yàn)采用了文獻(xiàn)[19]中的squeezing操作，讓通道軸具有更高的維度，使得生成網(wǎng)絡(luò)在對(duì)輸入信息進(jìn)行打亂和分割時(shí)，可以只對(duì)通道軸進(jìn)行操作，保證圖片空間的局部相關(guān)性。表1中的C代表經(jīng)過(guò)squeezing操作后的通道軸數(shù)。編碼得到z經(jīng)過(guò)判別網(wǎng)絡(luò)中的FC1和FC2得到其均值和標(biāo)準(zhǔn)差，從而可以采用重參數(shù)技巧進(jìn)行訓(xùn)練。在實(shí)驗(yàn)中，單步流操作次數(shù)K=48，循環(huán)次數(shù)L=4。

3.3 實(shí)驗(yàn)結(jié)果

在定量分析中,首先根據(jù)負(fù)對(duì)數(shù)似然函數(shù)值進(jìn)行定量分析，將本文設(shè)計(jì)的模型與Glow[12]進(jìn)行比較。根據(jù)文獻(xiàn)[22]將負(fù)對(duì)數(shù)似然函數(shù)值轉(zhuǎn)換為bits/dim進(jìn)行度量。負(fù)對(duì)數(shù)似然函數(shù)值可以衡量基于流模型的不同網(wǎng)絡(luò)框架的生成效果。該值轉(zhuǎn)換為bits/dim后，數(shù)值越小代表生成圖片質(zhì)量的越高。根據(jù)表2可以看出，相比Glow，本文設(shè)計(jì)的網(wǎng)絡(luò)模型(Cflow-GAN)加入采用變分判別器瓶頸的判別網(wǎng)絡(luò)后，在生成圖片時(shí)能得到較低的負(fù)對(duì)數(shù)似然函數(shù)值。

表2 負(fù)對(duì)數(shù)似然函數(shù)值 bits·dim-1

此外，通過(guò)Top-1 Accuracy對(duì)生成圖片的可區(qū)別性進(jìn)行評(píng)估，根據(jù)文獻(xiàn)[23]采用Inception Score生成圖片的真實(shí)性和多樣性進(jìn)行評(píng)估。根據(jù)表3可以看出，相比DR-GAN[7]，本文設(shè)計(jì)的網(wǎng)絡(luò)模型可以生成更具區(qū)別性的正面人臉，而且根據(jù)第三列Inception score的結(jié)果，可以看出Cflow-GAN能夠生成更具真實(shí)性的圖片。

表3 生成圖片的定量分析結(jié)果

對(duì)于定性分析，本文與DR-GAN生成的正面人臉進(jìn)行比較。圖4和圖5分別是同一身份及不同身份在不同角度下生成的正面人臉。其中：第一行均為輸入的側(cè)臉人臉；第二行均為DR-GAN生成的正面人臉；第三行均為本文設(shè)計(jì)的網(wǎng)絡(luò)模型生成的正面人臉。通過(guò)圖4可以看出在相同身份下，本文設(shè)計(jì)的模型采用VDB作為判別網(wǎng)絡(luò)，可以較好地保證生成圖片身份的一致性。通過(guò)圖5可以看出本文設(shè)計(jì)的模型不同角度和不同身份下仍可以生成質(zhì)量較高的人臉圖片。

圖4 同一身份不同角度生成的正面人臉

圖5 不同身份不同角度生成的正面人臉

4 結(jié) 語(yǔ)

本文設(shè)計(jì)了基于流的條件生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)流模型的控制生成，將流模型高效的推理與生成對(duì)抗的思想結(jié)合在一起，在互信息層面上對(duì)潛在變量進(jìn)行限制，提升了網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，保證了生成圖片的真實(shí)程度。但是，基于流模型的生成網(wǎng)絡(luò)訓(xùn)練運(yùn)算量較大、訓(xùn)練時(shí)間較長(zhǎng)，需要進(jìn)一步在模型方面考慮減少運(yùn)算量，更加高效地進(jìn)行推理和生成。