李凱旋 曹 林 杜康寧

(北京信息科技大學(xué)通信工程系 北京 100101)

0 引 言

隨著計算機視覺技術(shù)的快速發(fā)展，素描人臉合成在刑偵領(lǐng)域與數(shù)字娛樂領(lǐng)域發(fā)揮著至關(guān)重要的作用[1]。就刑偵領(lǐng)域而言，犯罪嫌疑人的光學(xué)面部照片一般難以直接獲得，只能由法醫(yī)素描專家通過錄制的監(jiān)控視頻或目擊者的描述來繪制簡單的素描圖像，從而對嫌疑人的身份進行辨識。但由于素描人臉和照片屬于異構(gòu)圖像，兩者模態(tài)間存在差異,很難直接進行匹配識別。為解決這個問題，可先用素描人臉合成將光學(xué)面部照片轉(zhuǎn)換為素描人臉圖像，再與犯罪嫌疑人的素描人臉圖像進行匹配識別[2]。

目前，素描人臉合成方法主要分為模型驅(qū)動和數(shù)據(jù)驅(qū)動兩類。數(shù)據(jù)驅(qū)動方法認(rèn)為光學(xué)面部照片與素描人臉圖像數(shù)據(jù)是一一對應(yīng)的。如果兩張光學(xué)面部照片中某個照片塊相似則其對應(yīng)的素描圖像塊也應(yīng)該相似。通常先將訓(xùn)練集中的“照片-素描”圖像對分塊，然后進行近鄰選擇、計算權(quán)重、選擇最優(yōu)圖像塊，最后進行拼接合成整幅素描人臉圖像。這種方法需要遍歷訓(xùn)練集中的所有圖像數(shù)據(jù)，為訓(xùn)練集中的每個圖像數(shù)據(jù)選擇其對應(yīng)的最近鄰圖像塊。主要代表方法有：局部線性嵌入(Locally Linear Embedding，LLE)方法[3]和馬爾可夫隨機場(Markov Random Field，MRF)方法[4]等。模型驅(qū)動方法主要是以離線的方式學(xué)習(xí)訓(xùn)練集中光學(xué)面部照片到素描人臉圖像的映射關(guān)系。當(dāng)輸入一張光學(xué)面部照片時，通過訓(xùn)練得到的映射函數(shù)將輸入的光學(xué)面部照片轉(zhuǎn)換為素描人臉圖像。主要代表方法有：基于貝葉斯學(xué)習(xí)[5]的方法和基于貪婪搜索稀疏表示[6]的方法等。這些方法都取得了不錯的結(jié)果，但合成的素描人臉圖像面部細(xì)節(jié)清晰度較低，而且需要對光學(xué)面部照片與素描人臉圖像進行復(fù)雜繁瑣的分塊訓(xùn)練。此外，當(dāng)對選出的最優(yōu)圖像塊進行拼接時，容易出現(xiàn)相鄰塊連接處不平滑的現(xiàn)象，導(dǎo)致最終合成的圖像質(zhì)量不是十分理想。并且，在處理光學(xué)面部照片中一些配飾等非人臉的特征時，這些方法也不具備很好的魯棒性。

近年來，深度學(xué)習(xí)得到快速發(fā)展，基于生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks, GANs)[7]的深度學(xué)習(xí)模型在計算機視覺研究領(lǐng)域掀起一片浪潮，引起廣大研究者的濃厚興趣，成為該領(lǐng)域熱點研究方向之一。經(jīng)典的生成對抗網(wǎng)絡(luò)及其不同變體[8-10]在圖像風(fēng)格轉(zhuǎn)化、圖像生成等應(yīng)用中取得了突破性的進展。DiscoGAN[11]是一種基于生成對抗網(wǎng)絡(luò)的學(xué)習(xí)模型，用來尋找跨域之間的關(guān)系。其克服了傳統(tǒng)GANs難收斂、模式易崩潰的問題，并能夠使圖像在不同域轉(zhuǎn)化時保留圖像的關(guān)鍵屬性。

光學(xué)面部照片與素描人臉圖像屬于兩種不同的模態(tài)，從光學(xué)面部照片合成素描人臉圖像屬于跨模態(tài)圖像合成，且光學(xué)面部照片合成素描人臉圖像可以看成類似機器翻譯的問題。為提高合成素描人臉圖像的清晰度、完整性以及整體合成效果，本文采用生成對抗網(wǎng)絡(luò)對抗訓(xùn)練的策略，結(jié)合機器翻譯中對偶學(xué)習(xí)[12]的思想，在DiscoGAN框架的基礎(chǔ)上進行改進，提出一種雙層生成對抗網(wǎng)絡(luò)的素描人臉合成方法。該方法無需使用傳統(tǒng)方法中繁冗的分塊步驟，從而避免了圖像塊拼接過程造成的柵格現(xiàn)象與拼接邊緣不平滑現(xiàn)象。并且該方法在處理光學(xué)面部照片中一些配飾等非人臉特征時也有很好的魯棒性。

1 生成對抗網(wǎng)絡(luò)

傳統(tǒng)的生成對抗網(wǎng)絡(luò)包含一個生成模型和一個判別模型，其結(jié)構(gòu)如圖1所示。生成模型與判別模型通常由深層神經(jīng)網(wǎng)絡(luò)構(gòu)成。生成器用來構(gòu)建滿足一定分布的隨機噪聲和真實數(shù)據(jù)分布的映射關(guān)系。判別器則用于判別輸入的數(shù)據(jù)是否為真實數(shù)據(jù)并提供給生成器一個反饋信息。生成器用可微函數(shù)G(z;θ(g))表示，z為輸入數(shù)據(jù)，θ(g)為生成器G待訓(xùn)練參數(shù)集合。判別器用可微函數(shù)D(x;θ(d))表示，x為輸入數(shù)據(jù)，θ(d)為判別器D待訓(xùn)練參數(shù)集合。訓(xùn)練過程中，交替迭代訓(xùn)練生成模型和判別模型，不斷更新參數(shù)θ(g)與θ(d)，使得θ(g)為生成器損失函數(shù)的最小值點，同時θ(d)為判別器損失函數(shù)的最小值點，最終達(dá)到納什均衡，使判別器無法判別生成模型生成數(shù)據(jù)的真?zhèn)?。GANs的目標(biāo)函數(shù)定義為：

圖1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖

(1)

式中:第一項表示判別網(wǎng)絡(luò)輸入真實數(shù)據(jù)時的目標(biāo)函數(shù)值;第二項為輸入生成數(shù)據(jù)時的目標(biāo)函數(shù)值。x代表真實數(shù)據(jù)，G(z)代表生成的數(shù)據(jù)；D(x)為判別網(wǎng)絡(luò)判斷真實數(shù)據(jù)是否真實的概率；D(G(z))為判別網(wǎng)絡(luò)判斷生成網(wǎng)絡(luò)生成的數(shù)據(jù)是否真實的概率。優(yōu)化過程：在給定G的情況下最大化V(D,G)得到D，然后固定D最小化V(D,G)，得到G。

從理論上講，GANs可以生成與目標(biāo)域相同分布的映射，雖然在圖像到圖像轉(zhuǎn)換的問題中GANs產(chǎn)生的結(jié)果已獲得普遍的認(rèn)同，但它們往往生成的圖像會產(chǎn)生不同程度的模糊。這些細(xì)節(jié)模糊部分對面部識別性能會產(chǎn)生不利影響。因此，生成清晰完整的圖像至關(guān)重要。

2 算法設(shè)計

本文提出的方法由兩個GANs網(wǎng)絡(luò)組成，生成器與判別器采用深度卷積神經(jīng)網(wǎng)絡(luò)，并在生成器中添加跳躍連接來提升生成圖像的質(zhì)量。通過對抗損失對生成器與判別器進行訓(xùn)練，對抗損失相比L1與L2范數(shù)可以克服生成器生成圖片模糊的問題。網(wǎng)絡(luò)中添加兩個重建損失，計算生成器輸出圖片與真實圖片之間的差異，用以約束生成器生成圖像的質(zhì)量，提高生成器的合成能力。

2.1 素描人臉合成模型

假設(shè)數(shù)據(jù)集為光學(xué)面部照片和素描人臉圖像數(shù)據(jù)集，Mp表示光學(xué)面部照片域中的數(shù)據(jù)i到素描人臉圖像域中的映射網(wǎng)絡(luò)，Ms表示素描人臉圖像域中的數(shù)據(jù)j到光學(xué)面部照片域中的映射網(wǎng)絡(luò)。為了找到光學(xué)面部照片與素描人臉圖像的對應(yīng)關(guān)系，通過雙層網(wǎng)絡(luò)將網(wǎng)絡(luò)的映射限制為一對一映射，避免出現(xiàn)合成素描人臉圖像缺乏多樣性的問題。網(wǎng)絡(luò)在訓(xùn)練的過程中同時學(xué)習(xí)Mp和Ms兩個映射，達(dá)到P(Gps(Gsp(i))≈i以及S(Gsp(Gps(j))≈j。

素描人臉合成框架如圖2所示，整個框架中有四個生成模型，兩個判別模型。兩個Gsp為相同的生成器，兩個Gps為相同的生成器，各自分別共享參數(shù)；判別器用以區(qū)分光學(xué)面部照片域和素描人臉圖像域的真假圖像，判別器Ds用于判別Gps合成的素描人臉圖像的真實性,判別器Dp用于判別Gsp合成光學(xué)面部照片的真實性。

圖2 素描人臉合成框架

2.2 損失函數(shù)

根據(jù)素描人臉圖像合成中面部屬性及細(xì)節(jié)特征清晰度的重要性，本文采用L1范數(shù)作為重建損失函數(shù)，來描述經(jīng)過兩個生成器之后的圖像重建效果與原始真實圖像的差距。L1損失函數(shù)相比其他函數(shù)能更好地約束模型合成清晰、高質(zhì)量的圖像，更容易滿足素描人臉圖像合成中面部細(xì)節(jié)特征高清晰度的要求，重建損失函數(shù)定義如下：

LREC(i,j) =Εi～S[‖Gsp(Gps(i))-i‖1]

(2)

本文中生成模型G的損失函數(shù)采用最小二乘損失函數(shù)：

(3)

式中：n為常數(shù)，表示生成模型為了讓判別器談判生成的數(shù)據(jù)是真實數(shù)據(jù)而設(shè)定的值。

GANs的生成損失函數(shù)以S形交叉熵作為損失，當(dāng)判別器達(dá)到最優(yōu)的情況下，生成損失函數(shù)等價為最小化真實分布與生成分布之間的JS散度，而JS散度并不能拉近真實分布和生成分布之間的距離，會使得在訓(xùn)練過程中生成器不再優(yōu)化那些被判別器識別為真實圖像的生成圖像，即使這些生成圖像距離判別器的決策邊界還很遠(yuǎn)，這就會導(dǎo)致最終生成器生成的圖像質(zhì)量不高。而最小二乘損失函數(shù)在混淆判別器的前提下還可以保證讓生成器把距離決策邊界比較遠(yuǎn)的生成圖像拉向決策邊界，這樣就可以使生成模型繼續(xù)優(yōu)化，不斷提高生成圖像的質(zhì)量。同樣，判別模型D的損失函數(shù)也采用最小二乘損失函數(shù)：

(4)

式中:k、m為常數(shù)，分別表示真實數(shù)據(jù)和生成數(shù)據(jù)的標(biāo)記。

本文方法的全局目標(biāo)函數(shù)為總生成網(wǎng)絡(luò)損失與總判別網(wǎng)絡(luò)損失之和:

LSFS_GAN=LSum_GAN(D)+LSum_GAN(G)

(5)

總生成網(wǎng)絡(luò)損失為：

LSum_GAN(G)=LREC(i,j)+LREC(j,i)+

LGAN(Gps)+LGAN(Gsp)

(6)

總判別網(wǎng)絡(luò)損失為：

LSum_GAN(D)=LGAN(Dp)+LGAN(Ds)

(7)

2.3 生成模型與判別模型的設(shè)計

首先，對比重建光學(xué)面部照片域的數(shù)據(jù)分布與真實光學(xué)面部照片的數(shù)據(jù)分布，當(dāng)二者分布一致時，合成的素描人臉圖像域數(shù)據(jù)為預(yù)期結(jié)果。要使重建光學(xué)面部照片域的數(shù)據(jù)與真實光學(xué)面部照片的數(shù)據(jù)達(dá)到一致分布，需要嚴(yán)格的約束，而這種約束在訓(xùn)練過程中很難優(yōu)化。在本文中，兩個生成模型采用最小化重建損失來滿足這種近似的分布一致。其次，對兩個網(wǎng)絡(luò)采用生成對抗損失進行約束，通過生成對抗網(wǎng)絡(luò)“零和博弈”的訓(xùn)練過程不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，使最終合成的素描人臉圖像在視覺上更真實，更符合素描圖像的紋理風(fēng)格。

生成模型采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)可以達(dá)到降低模型參數(shù)的功能。在本文提出的方法中，生成模型加入了跳躍連接，區(qū)別于傳統(tǒng)的編碼器-解碼器結(jié)構(gòu)，如圖3所示。跳躍連接將經(jīng)過卷積層后的特征映射和反卷積層后對應(yīng)相同尺寸的特征映射按通道連接在一起，充分利用了卷積層中的位置結(jié)構(gòu)特征信息，更好地提升了合成圖像的效果。

圖3 生成模型結(jié)構(gòu)圖

判別模型采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，用以區(qū)分輸入的圖像是否為真實圖像。通過對抗訓(xùn)練不斷強化自身的判別能力以及優(yōu)化生成模型的輸出，保證生成模型合成的圖像更真實，更清晰。

生成模型由14層卷積神經(jīng)網(wǎng)絡(luò)組成，并在部分卷積層與反卷積層之間采用了跳躍連接。在本文方法中，為了提高模型的執(zhí)行效率，設(shè)置了7層步長為2的卷積層與7層步長為1的反卷積層來替代傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的池化層。每層網(wǎng)絡(luò)都進行了Padding(補零)操作，用于保持邊界信息，防止圖像邊緣像素點信息遺失，并保持輸出圖片與輸入圖片尺寸一致。卷積層中的激活函數(shù)設(shè)置為Leaky ReLU函數(shù)，反卷積層中的激活函數(shù)設(shè)置為ReLU函數(shù)，判別模型由五層卷積神經(jīng)網(wǎng)絡(luò)組成，激活函數(shù)設(shè)置為Leaky ReLU函數(shù)。生成模型與判別模型中卷積核尺寸大小為4×4，具體參數(shù)設(shè)計如表1、表2所示。

表1 生成模型參數(shù)設(shè)計

表2 判別模型參數(shù)設(shè)計

3 實驗結(jié)果與分析

為驗證本文方法合成素描人臉圖像的有效性,采用香港中文大學(xué)CUHK學(xué)生人臉數(shù)據(jù)庫[13]進行實驗。將CUHK學(xué)生人臉數(shù)據(jù)庫中的150對光學(xué)面部照片-素描人臉圖像作為訓(xùn)練集，38對光學(xué)面部照片-素描人臉圖像作為測試集。

實驗過程中，輸入圖像的大小為200×250像素，輸出圖像的大小為128×128像素。本文素描人臉合成方法中的兩個網(wǎng)絡(luò)同時開始訓(xùn)練，采用對抗訓(xùn)練的策略，交替迭代訓(xùn)練生成模型和判別模型。生成模型與判別模型相互對抗，不斷“博弈”，最終使全局目標(biāo)函數(shù)與模型參數(shù)達(dá)到最優(yōu)。整個網(wǎng)絡(luò)采用Adam算法進行優(yōu)化，網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 2，式(3)中參數(shù)設(shè)置為n=1，式(4)中參數(shù)設(shè)置為m=1、k=0。本文選擇批處理大小(batch-size)為1,并保存迭代30、40、50和60個epoch的合成結(jié)果，模型的損失變化如圖4所示，合成結(jié)果如圖5所示。

圖4 模型各損失函數(shù)變化圖

圖4、圖5的結(jié)果表明隨著迭代次數(shù)的增加，模型逐步優(yōu)化，損失值呈現(xiàn)穩(wěn)定下降，合成的圖像質(zhì)量不斷提高。當(dāng)?shù)降?0個epoch時，損失函數(shù)已經(jīng)基本收斂，合成的素描人臉圖像不僅面部細(xì)節(jié)更完整、圖像清晰度更高而且風(fēng)格特征與真實素描圖像更相近。因此，在本文方法的對比實驗中選擇60個epoch的模型參數(shù)進行實驗。

圖5 不同迭代epoch結(jié)果圖

3.1 合成結(jié)果定性分析

本文方法在香港中文大學(xué)CUHK學(xué)生人臉數(shù)據(jù)庫中合成素描人臉圖像的結(jié)果如圖6所示，并分別與LLE方法[3]、MRF方法[4]、馬爾可夫權(quán)重場(Markov Weight Field，MWF)方法[14]、DiscoGAN方法[11]進行了對比。

由圖6可以看出其他方法合成的素描人臉圖像清晰度低，細(xì)節(jié)不夠完整。本文方法合成的素描人臉圖像面部特征與原圖像更相近，風(fēng)格特征更符合原素描圖像，而且清晰度更高，細(xì)節(jié)更完整。

圖6 CUHK數(shù)據(jù)庫上合成素描人臉圖像的效果

為了進一步驗證本文方法的合成效果，利用AR人臉數(shù)據(jù)庫對本文方法進行測試驗證，合成結(jié)果如圖7所示。

由圖7可以看出，本文方法在AR人臉數(shù)據(jù)庫中的合成效果也優(yōu)于其他素描人臉合成方法。從合成結(jié)果來看，傳統(tǒng)方法合成的素描人臉圖像出現(xiàn)了面部失真以及面部特征(如：眼鏡、胡須等)不同程度的缺失。而本文方法的合成結(jié)果則未出現(xiàn)面部失真、特征缺失等問題，面部輪廓更加完整，對眼鏡、胡須等面部特征的合成效果更優(yōu)。

圖7 AR數(shù)據(jù)庫上合成素描人臉圖像的效果

通過與不同方法在不同人臉數(shù)據(jù)庫中的合成效果比較分析。傳統(tǒng)方法在訓(xùn)練過程中對照片-素描對進行分塊處理，然后采用局部搜索或者全局搜索來尋找最優(yōu)圖像塊集合。但在局部搜索過程中會限制圖像塊的范圍使得最優(yōu)圖像塊在全局范圍內(nèi)可能不是最優(yōu)的，全局搜索過程雖然可以增大尋找最優(yōu)圖像塊的范圍卻缺乏了對最優(yōu)圖像塊局部信息的約束，導(dǎo)致了最終合成的素描人臉圖像模糊，細(xì)節(jié)不完整。DiscoGAN方法采用S形交叉熵作為對抗訓(xùn)練的損失函數(shù)，訓(xùn)練過程中很難使生成模型達(dá)到最優(yōu)，生成的圖像清晰度低。同時，生成模型與判別模型的設(shè)計中采用卷積層與反卷積層直接相連，不能充分提取卷積層中圖像的位置特征信息。而本文方法通過深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入光學(xué)面部照片-素描人臉圖像對的特征，合成對應(yīng)的素描人臉圖像。采用最小二乘損失作為對抗訓(xùn)練的損失函數(shù)及L1范數(shù)作為重建損失函數(shù)，在對抗訓(xùn)練過程中可以有效提高判別模型的判別能力，以及生成模型的合成能力即合成素描人臉圖像的清晰度與視覺真實性。因此本文方法的合成結(jié)果不僅面部細(xì)節(jié)更加完整，而且發(fā)飾等非人臉部分也得到清晰的呈現(xiàn)。

3.2 合成結(jié)果定量分析

為了對本文方法合成的素描人臉圖像進行定量分析，采用結(jié)構(gòu)相似度SSIM(Structural Similarity Index)[15]值和特征相似度FSIM(Feature Similarity Index)[16]值來綜合評判本文方法合成的素描人臉圖像的質(zhì)量。

本文對不同方法合成的素描人臉圖像與其對應(yīng)的原始素描圖像進行計算，得到的SSIM值與FSIM值越大，則證明合成的素描人臉圖像與原始素描人臉圖像更相似，合成的素描人臉圖像質(zhì)量更優(yōu)。在不同數(shù)據(jù)庫中不同方法合成素描人臉圖像的SSIM值與FSIM值如表3、表4所示。

表3 CUHK數(shù)據(jù)庫中SSIM值與FSIM值

通過表3、表4可以看出本文方法合成素描人臉圖像的SSIM值與FSIM值明顯高于其他方法，說明本文方法的合成結(jié)果與原始素描圖像更相似，合成效果更好。

表4 AR數(shù)據(jù)庫中SSIM值與FSIM值

為了對本文方法合成素描人臉圖像的可適用性進行分析，采用主成分分析的方法，計算合成素描人臉圖像在原素描人臉圖像數(shù)據(jù)庫中的識別率。本文方法與其他方法在不同數(shù)據(jù)庫中合成素描人臉圖像的識別率如圖8、圖9所示。

圖8 在CUHK人臉庫上的識別率

通過圖8、圖9識別率曲線可以看出，在CUHK人臉數(shù)據(jù)庫與AR人臉數(shù)據(jù)庫中本文方法合成的素描人臉圖像識別率高于其他方法。當(dāng)Rank值為4時，本文方法合成的素描人臉圖像識別率已經(jīng)達(dá)到100%。這是因為本文方法采用深度卷積神經(jīng)網(wǎng)絡(luò)，能夠更好地、更深層次地提取圖像特征信息。而且在生成模型的設(shè)計中，卷積層與反卷積層之間采用了跳躍連接，利用了卷積層中的位置結(jié)構(gòu)特征信息，并將此作為部分結(jié)構(gòu)特征增加到對應(yīng)的反卷積層。這樣保留了不同尺寸特征映射下圖像的細(xì)節(jié)信息，強化了整個生成模型對合成圖像的預(yù)測能力，從而能夠保證圖像細(xì)節(jié)信息的完整性。

圖9 在AR人臉庫上的識別率

通過視覺感知以及不同實驗的數(shù)據(jù)分析，可以證明本文方法的合成能力更強，合成的素描人臉圖像質(zhì)量更高，可適用性更廣。

4 結(jié) 語

本文提出了一種基于雙層生成對抗網(wǎng)絡(luò)的素描人臉合成方法。利用深度神經(jīng)網(wǎng)絡(luò)來設(shè)計生成模型與判別模型，并在生成模型中加入了跳躍連接，以此提升整個網(wǎng)絡(luò)合成圖像的效果。在訓(xùn)練過程中采用對抗訓(xùn)練的思想，通過兩個生成對抗網(wǎng)絡(luò)中的生成模型與判別模型的對抗訓(xùn)練，不斷“博弈”，使整個模型達(dá)到最優(yōu)，最終合成一幅面部細(xì)節(jié)更完整、清晰度更高的素描人臉圖像。實驗過程中，利用不同的人臉數(shù)據(jù)庫，分別與不同的素描人臉合成方法進行對比。綜合定性分析與定量分析，說明了本文方法可以合成整體結(jié)構(gòu)性更強、清晰度更高、質(zhì)量更好的素描人臉圖像，解決了傳統(tǒng)方法合成素描人臉圖像清晰度低、細(xì)節(jié)缺失等問題。在今后的研究中希望可以進一步優(yōu)化模型，使其在面對復(fù)雜的圖像處理問題時有更好的魯棒性。