湯 旭

（1.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.上?？萍即髮W(xué)上海201210；3.中國(guó)科學(xué)院大學(xué)北京100049）

人臉老化，又稱為人臉的年齡生成，該課題正在吸引越來越多研究者的注意。如何在審美角度將自然而然的老化渲染到人臉圖像上，并且保留它關(guān)于身份的信息是我們需要關(guān)注的。人臉老化過程的建模對(duì)于人臉識(shí)別和驗(yàn)證都是至關(guān)重要的。人臉識(shí)別在計(jì)算機(jī)視覺領(lǐng)域是最活躍的領(lǐng)域之一。許多論文[1-6]專注于通用人臉識(shí)別。然而，據(jù)我們了解，很少有工作專注于研究人臉的老化生成和跨年齡人臉識(shí)別。人臉老化可以有廣闊的應(yīng)用，比如，一旦有了某人幼年時(shí)候的照片，它可以用來幫助尋找迷失兒童。同時(shí)，做一個(gè)手機(jī)應(yīng)用程式來預(yù)測(cè)某人若干年后的長(zhǎng)相也是一件很有趣的事情。除此之外，跨年齡人臉識(shí)別可以為多年前發(fā)生的犯罪提供關(guān)鍵線索。目前人臉老化的論文較少的可能的原因是因?yàn)?，缺乏合適的人臉老齡化數(shù)據(jù)庫，尤其是當(dāng)我們需要訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的時(shí)候。大部分已有的數(shù)據(jù)庫[7-9]里面，相同的人擁有大量的圖片，但是這些人的年齡跨度往往很小。對(duì)于同一個(gè)人的人臉圖片來說，往往僅僅覆蓋很窄的年齡范圍（通常是0～10歲）。因此，我們需要提出一個(gè)引入目標(biāo)領(lǐng)域里面的其他人臉圖片來幫助源領(lǐng)域指定人老化生成的模型。

1 相關(guān)研究

大量的人臉老化的模型[10-11]對(duì)動(dòng)態(tài)老化模板進(jìn)行建模，模型大體可以分為兩種類型：原型方法[12]和物理建模方法[13-14]。原型方法用源領(lǐng)域（更年輕的年紀(jì)）的重構(gòu)的平均臉作為原型，然后移動(dòng)原型之間的差異性到測(cè)試圖片上。物理建模方法以參數(shù)化模型的方式模擬人臉老化的過程，在參數(shù)化模型中皮膚、肌肉、或者頭顱的老化過程可以被建模。

我們的方法與生成模型息息相關(guān)，比如變分自動(dòng)編碼器[15]和對(duì)抗生成網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[16-17]都在生成模型領(lǐng)域占據(jù)主要地位。像素點(diǎn)重建的目標(biāo)函數(shù)往往用來訓(xùn)練變分自動(dòng)編碼器，但是其生成的圖像看上去很模糊?；趯?duì)抗生成網(wǎng)絡(luò)生成的圖像往往看上去很自然。深度卷積對(duì)抗生成網(wǎng)絡(luò)（Deep Convolutional Generative Adversarial Networks，DCGAN）的思想[18]可以幫助引入更深的網(wǎng)絡(luò)生成圖像。

我們的工作屬于一種條件對(duì)抗生成網(wǎng)絡(luò)（conditional Generative Adversarial Networks， cGAN）[19]。cGAN通過引入先驗(yàn)信息來生成需要的結(jié)果，是GAN的延伸。諸如圖像年齡標(biāo)簽等的條件通過全連接層的形式引入到對(duì)抗生成網(wǎng)絡(luò)中。文獻(xiàn)[20]證明了可以通過文本描述的形式生成對(duì)應(yīng)的真實(shí)的圖片。

目前最好的老化建模方法IcGAN目前是達(dá)到藝術(shù)水準(zhǔn)的。首先，它將先驗(yàn)條件轉(zhuǎn)換為獨(dú)熱的（onehot）年齡標(biāo)簽來訓(xùn)練年齡有關(guān)的cGAN。為了生成沒有丟失身份信息的人臉，他提出使用L-BFGS-B進(jìn)行優(yōu)化的隱變量?jī)?yōu)化方法。

2 基于對(duì)抗生成網(wǎng)絡(luò)的身份保持人臉老化

給定輸入-目標(biāo)對(duì)（xi,m，xj,n），其中xi,m是第i個(gè)人的第m個(gè)年齡組的人臉照片，xj,n表示第j個(gè)人的第n個(gè)年齡組的人臉照片。在本論文中，人臉的年齡被劃分成5個(gè)年齡段區(qū)間：0-20，21-30，31-40，41-50，51+，并且m,n∈ [0，1，2，3，4]，且m≤n。因此，年齡有關(guān)的條件以5維熱編碼向量（one-hot vector）的形式結(jié)合到特征空間。本文中，輸入-目標(biāo)對(duì)（xi,m，xj,n）給定后，我們的目標(biāo)是生成第i個(gè)人的第n個(gè)年齡段的老化人臉xi,n′。同時(shí)，我們的模型可以保持住原始圖片的身份相關(guān)的信息。

2.1 目標(biāo)函數(shù)

我們提出IPGAN的方法，如圖1所示。我們的IPGAN的方法提出多個(gè)損失函數(shù)結(jié)合的目標(biāo)項(xiàng)：對(duì)抗損失函數(shù)LGAN，特征空間損失函數(shù)Lfeat以及圖像空間損失函數(shù)Limage。具體公式如下：

此多任務(wù)學(xué)習(xí)過程有諸多優(yōu)點(diǎn)。聯(lián)合優(yōu)化對(duì)于身份保持的年齡生成有益。聯(lián)合的目標(biāo)函數(shù)由以下部分組成：最小化源圖片xi,m和重構(gòu)圖片xi,m′之間像素級(jí)別的歐氏距離（給定年齡編碼y0），最小化真實(shí)隱向量z和估計(jì)隱向量z′之間的歐式距離（給定年齡編碼y1），實(shí)現(xiàn)對(duì)抗生成網(wǎng)絡(luò)雙玩家的最小化最大化目標(biāo)[16]。

2.1.1 身份保持的隱空間

特征空間的損失函數(shù)旨在重構(gòu)出輸入圖片，同時(shí)，在生成的圖像中可以保持住原始人臉圖像跟身份有關(guān)的信息。編碼器E不僅可以將源領(lǐng)域的人臉圖片映射到身份保持的特征空間，同時(shí)，E能夠把生成的老化圖像映射到相同的特征空間。我們定義：

其中G表示生成器，y1是和老化有關(guān)的年齡先驗(yàn)，xi,n′是生成的位于第n個(gè)年齡段的人臉圖像。通過實(shí)現(xiàn)這部分，隨著年齡的變化，身份有關(guān)的信息將保持完整。我們使用文獻(xiàn)[21]的AlexNet模型作為我們的編碼器，其他卷積神經(jīng)網(wǎng)絡(luò)的模型亦可[22-24]。

2.1.2 條件對(duì)抗生成網(wǎng)絡(luò)

對(duì)抗生成網(wǎng)絡(luò)用于生成最可信，并且最真實(shí)的圖片。條件對(duì)抗生成網(wǎng)絡(luò)用于根據(jù)特定的條件先驗(yàn)有關(guān)的屬性來生成圖片。我們需要將源圖片以及其錯(cuò)誤的年齡條件的類型作為cGAN的第3種輸入。因此，差分器可以學(xué)會(huì)對(duì)假造圖片進(jìn)行排名。損失函數(shù)如下：

其中，θG和θD分別是生成器G和差分器D的參數(shù)。其中生成的標(biāo)簽y′對(duì)應(yīng)生成的圖像xi,n′。

2.1.3 圖像空間的損失函數(shù)

IPGAN模型引入圖像空間的損失函數(shù)，具體的定義如下：

其中y0是和重建有關(guān)的年齡先驗(yàn)，引入圖像空間的損失函數(shù)可以幫助重建源圖片。值得注意的是，Limage的引入可以幫助解決GAN訓(xùn)練過程中不穩(wěn)定以及對(duì)超參數(shù)敏感的問題。

圖1 生成器G的輸入端改變年齡條件來展示年齡老化的生成

2.2 模型框架

編碼器部分使用經(jīng)過預(yù)訓(xùn)練的AlexNet[21]，它由5個(gè)卷積層和兩個(gè)全連接層組成。激活函數(shù)使用ReLU。生成器和差分器的具體結(jié)構(gòu)參考圖2。

圖2 生成器和差分器的具體結(jié)構(gòu)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)細(xì)節(jié)

所提出的IPGAN的模型基于tensorflow的深度學(xué)習(xí)框架。模型優(yōu)化使用的是帶沖量的ADAM算法，其中沖量項(xiàng)設(shè)置為0.5，網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.000 2，批處理的大小為64，權(quán)重衰減設(shè)置為0.000 01。為了防止差分器在訓(xùn)練的過程中出現(xiàn)過擬合的情況，當(dāng)生成器的損失是差分器的損失的10倍的時(shí)候，我們停止更新差分器D的部分。

3.2 數(shù)據(jù)庫

跨年齡名人數(shù)據(jù)集（CACD）[9]包括了2 000個(gè)名人的超過160，000張照片，數(shù)據(jù)庫的整體年齡跨度為16～62歲。所有的人臉圖片數(shù)據(jù)都有年齡相關(guān)的標(biāo)簽。在實(shí)驗(yàn)設(shè)置中，我們將CACD數(shù)據(jù)集劃分為兩部分：訓(xùn)練集和測(cè)試集。我們隨機(jī)選取每個(gè)人的80%的照片劃分到訓(xùn)練集部分，剩下的作為測(cè)試集。

3.3 身份保持的人臉老化

實(shí)驗(yàn)優(yōu)先考慮將生成樣本的視覺質(zhì)量作為評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果如表3所示，展示了我們的IPGAN模型在不同年齡的老化生成圖片。第一列對(duì)應(yīng)的是五個(gè)不同的人的原始圖片，每一行表示的是同一個(gè)人的不同年齡。第二列到第五列分別表示21-30歲，31-40歲，41-50歲，51歲以上的老化生成效果展示圖。通過圖示，我們可以分析得到，隨著年齡先驗(yàn)信息的增大，生成圖像的發(fā)際線往后移動(dòng)、臉部皺紋增多、臉部輪廓出現(xiàn)些許變化。但是，在生成老化圖片的過程中，局部的信息會(huì)保持不變，比如鼻子形狀，眼睛的大小等等。顯然，身份保持的隱變量z編碼人的身份信息，年齡條件y編碼特定的年齡信息。

圖3 生成老化圖片效果展示

實(shí)際上，使用IPGAN模型，我們的生成器可以根據(jù)未知樣本生成老化的圖片。如圖4是IPGAN模型生成的圖片，可以看出它具有很強(qiáng)的泛化能力，并且沒有受到過擬合的影響。

3.4 數(shù)據(jù)擴(kuò)充和人臉識(shí)別

IPGAN模型的實(shí)驗(yàn)結(jié)果可以保持住源圖片和生成圖片的身份有關(guān)的信息。所以，我們用人臉識(shí)別的方法來驗(yàn)證身份保持性。在表格1中，我們比較了兩種訓(xùn)練集的結(jié)果，訓(xùn)練集1是生成老化樣本和原始訓(xùn)練數(shù)據(jù)的混合，訓(xùn)練集2僅僅含有原始的訓(xùn)練數(shù)據(jù)集。分別用訓(xùn)練集1和訓(xùn)練集2訓(xùn)練我們的人臉分類模型，然后比較模型在測(cè)試集上的分類效果（識(shí)別率）。實(shí)驗(yàn)結(jié)果表明，對(duì)于跨年齡人臉識(shí)別，我們的模型可以在該測(cè)試集上獲得識(shí)別率2.64%的增益。

表1 實(shí)驗(yàn)結(jié)果

僅僅是保持身份有關(guān)的信息是不夠的，年齡相關(guān)的老化過程也應(yīng)該被渲染到源圖片上。為了定量描述生成圖片的老化程度，我們訓(xùn)練了一個(gè)在訓(xùn)練集2上面年齡分類準(zhǔn)確率到達(dá)94%的年齡分類器（年齡分類為五組）。如預(yù)期，生成圖片的平均年齡估計(jì)僅僅比原始自然圖片的年齡估計(jì)準(zhǔn)確率低11.8%。這有效的證明了我們的老化生成圖像有很強(qiáng)的年齡相關(guān)性。

4 結(jié)論

文中提出了基于對(duì)抗生成網(wǎng)絡(luò)的身份保持的人臉老化（IPGAN），模型利用了加權(quán)重的3個(gè)損失函數(shù)：對(duì)抗損失函數(shù)LGAN，特征空間損失函數(shù)Lfeat以及圖像空間損失函數(shù)Limage。它解決了生成圖像中缺乏保持原始圖像身份信息的能力的問題。對(duì)抗生成網(wǎng)絡(luò)能夠充分利用特征的統(tǒng)計(jì)信息，使得生成圖片更顯真實(shí)。同時(shí)，我們的IPGAN允許通過簡(jiǎn)單的改變輸入到生成器G中的年齡條件，來控制生成人臉圖像的年齡老化屬性。通過引入特征空間損失函數(shù)Lfeat以及圖像空間損失函數(shù)Limage，模型可以解決訓(xùn)練過程收斂不穩(wěn)定和對(duì)超參數(shù)敏感的問題。大量的實(shí)驗(yàn)證明，我們的結(jié)果對(duì)于跨年齡人臉識(shí)別有很好的幫助，并且能夠在識(shí)別率上面獲得2.64%的增益，同時(shí)生成圖片的平均年齡估計(jì)與原始圖片的平均年齡估計(jì)僅僅相差11.8%。

圖4 IPGAN的泛化能力展示

參考文獻(xiàn)：

[1]Sandford A，Burton A M.Tolerance for distorted faces:Challenges to a configural processing account of familiar face recognition[J].Cognition，2014，132（3）:262-268.

[2]Yang M，Zhang L，Shiu S C K，et al.Gabor feature based robust representation and classification for face recognition with Gabor occlusion dictionary[J].Pattern Recognition，2013，46（7）:1865-1878.

[3]Han H，Shan S，Chen X，et al.A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition，2013，46（6）:1691-1699.

[4]Mike Burton A.Why has research in face recognition progressed so slowly?The importance of variability[J].The Quarterly Journal of Experimental Psychology，2013，66（8）:1467-1485.

[5]Xu Y，Zhu Q，F(xiàn)an Z，et al.Using the idea of the sparse representation to perform coarse-to-fine face recognition[J].Information Sciences，2013（238）:138-148.

[6]Yang M，F(xiàn)eng Z，Shiu S C K，et al.Fast and robust face recognition via coding residual map learning based adaptive masking[J].Pattern Recognition，2014，47（2）:535-543.

[7]Panis G，Lanitis A.An overview of research activities in facial age estimation using the FG-NET aging database[C]//European Conference on Computer Vision.Springer International Publishing，2014:737-750.

[8]Ricanek K，Tesafaye T.Morph:A longitudinal image database of normal adult age-progression[C]//Automatic Face and Gesture Recognition，2006.FGR 2006.7th International Conference on.IEEE，2006:341-345.

[9]Chen B C，Chen C S，Hsu W H.Cross-age reference coding for age-invariant face recognition and retrieval[C]//European Conference on Computer Vision.Springer International Publishing，2014:768-783.

[10]Wang W，Cui Z，Yan Y，et al.Recurrent face aging[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016:2378-2386.

[11]Fu Y，Guo G，Huang T S.Age synthesis and estimation via faces:A survey[J].IEEE transactions on pattern analysis and machine intelligence，2010，32（11）:1955-1976.

[12]Kemelmacher-Shlizerman I， Suwajanakorn S，Seitz S M.Illumination-aware age progression[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2014:3334-3341.

[13]Suo J，Zhu S C，Shan S，et al.A compositional and dynamic model for face aging[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（3）:385-401.

[14]Tazoe Y，Gohara H，Maejima A，et al.Facial aging simulator considering geometry and patch-tiled texture[C]//ACM SIGGRAPH 2012 Posters.ACM，2012:90.

[15]Angelino E，Johnson M J，Adams R P.Patterns of scalable Bayesian inference[J].Foundations and Trends? in Machine Learning，2016，9（2-3）:119-247.

[16]Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets[C]//Advances in neural information processing systems.2014:2672-2680.

[17]Chen J L，Summers J E.Deep neural networks for learning classification featuresand generative models from synthetic aperture sonar big data[J].The Journal of the Acoustical Society of America，2016，140（4）:3423-3423.

[18]Kataoka Y，Matsubara T，Uehara K.Image generation using generative adversarial networks and attention mechanism[C]//Computer and Information Science（ICIS），2016 IEEE/ACIS 15th International Conference on.IEEE，2016:1-6.

[19]Denton E L，Chintala S，F(xiàn)ergus R.Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]//Advances in neural information processing systems.2015:1486-1494.

[20]Reed S，Akata Z，Yan X，et al.Generative adver-sarial text to image synthesis[C]//Proceedings of The 33rd International Conference on Machine Learning.2016：1-3.

[21]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1097-1105.

[22]Zbontar J，LeCun Y.Stereo matching by training a convolutional neural network to compare image patches[J].Journal of Machine Learning Research，2016，17（1-32）:2.

[23]Wang H，Cruz-Roa A，Basavanhally A，et al.Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features[J].Journal of Medical Imaging，2014，1（3）:34003.

[24]Silver D，Huang A，Maddison C J，et al.Mastering the game of Go with deep neural networks and tree search[J].Nature，2016，529（7587）:484-489.