楊巨成，劉 娜,，房珊珊，謝 迎

(1. 天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222；2. 天津農(nóng)學(xué)院工程技術(shù)學(xué)院，天津 300384)

基于深度學(xué)習(xí)的人臉識(shí)別方法研究綜述

楊巨成1，劉 娜1,2，房珊珊1，謝 迎1

(1. 天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222；2. 天津農(nóng)學(xué)院工程技術(shù)學(xué)院，天津 300384)

針對(duì)基于深度學(xué)習(xí)的人臉識(shí)別這一生物特征識(shí)別領(lǐng)域的研究熱點(diǎn)進(jìn)行了綜述．闡釋了人臉識(shí)別及深度學(xué)習(xí)模型的基本結(jié)構(gòu)；總結(jié)了該技術(shù)在國(guó)內(nèi)外的研究現(xiàn)狀及其應(yīng)用，如基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉識(shí)別方法、深度非線性人臉形狀提取方法、基于深度學(xué)習(xí)的人臉姿態(tài)魯棒性建模、有約束環(huán)境中的全自動(dòng)人臉識(shí)別、基于深度學(xué)習(xí)的視頻監(jiān)控下的人臉識(shí)別、基于深度學(xué)習(xí)的低分辨率人臉識(shí)別以及其他基于深度學(xué)習(xí)的人臉信息的識(shí)別等；分析了當(dāng)前人臉識(shí)別技術(shù)在深度學(xué)習(xí)應(yīng)用中存在的問(wèn)題及發(fā)展趨勢(shì)．

深度學(xué)習(xí)；人臉識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；生物特征識(shí)別

人臉具有高度非剛性的特點(diǎn)，存在著大量體現(xiàn)個(gè)體差異的細(xì)節(jié)．人臉識(shí)別是通過(guò)從靜態(tài)圖像或者動(dòng)態(tài)視頻中檢測(cè)出的人臉圖像與數(shù)據(jù)庫(kù)中的人臉圖像進(jìn)行比對(duì)，找到與之匹配的人臉的過(guò)程，通常用于身份識(shí)別和鑒定的目的[1]，是屬于生物特征識(shí)別領(lǐng)域的課題．

人臉識(shí)別研究是從20世紀(jì)50年代開(kāi)始的，作為一種重要的生物特征識(shí)別技術(shù)，其具有直接、友好、方便、交互性好等優(yōu)點(diǎn)，一直被研究學(xué)者所關(guān)注[2].人臉識(shí)別技術(shù)在安防和金融支付等方面有許多實(shí)際的應(yīng)用，如視頻監(jiān)控、智能支付、訪問(wèn)控制等，是目前機(jī)器學(xué)習(xí)和模式識(shí)別中最熱門(mén)的研究方向．

目前，基于機(jī)器視覺(jué)的人臉識(shí)別方法已經(jīng)取得了豐碩成果．研究中需要考慮受到人面部表情、姿態(tài)、年齡、位置和遮蓋物等因素引起的類內(nèi)變化，及來(lái)自外界光照、背景等身份不同引起的類間變化，這兩種變化的分布是高度復(fù)雜且非線性的．傳統(tǒng)的基于淺層學(xué)習(xí)的人臉識(shí)別方法，對(duì)于類內(nèi)和類間這兩種變化的復(fù)雜分布和非線性的人臉數(shù)據(jù)進(jìn)行識(shí)別，往往達(dá)不到預(yù)期效果．深度學(xué)習(xí)是模擬人類視覺(jué)感知神經(jīng)系統(tǒng)的認(rèn)知學(xué)習(xí)，能夠獲得更具表征力的高層特征，可以用來(lái)解決人臉識(shí)別中的類內(nèi)和類間的變化分布這一難題．

本文對(duì)基于深度學(xué)習(xí)的人臉識(shí)別技術(shù)進(jìn)行了綜述，列舉了深度學(xué)習(xí)基本的模型結(jié)構(gòu)，總結(jié)了該技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀，介紹了深度學(xué)習(xí)進(jìn)行人臉識(shí)別的典型技術(shù)及常用的大規(guī)模人臉識(shí)別數(shù)據(jù)庫(kù)，最后對(duì)基于深度學(xué)習(xí)的人臉識(shí)別研究存在的問(wèn)題和發(fā)展趨勢(shì)進(jìn)行了分析與展望．

1 深度學(xué)習(xí)

近年來(lái)，隨著機(jī)器學(xué)習(xí)的不斷發(fā)展，深度學(xué)習(xí)作為一個(gè)嶄新的研究方向引起人工智能領(lǐng)域的廣泛關(guān)注．2012年12月29日《紐約時(shí)報(bào)》的頭版報(bào)道稱“深度學(xué)習(xí)讓機(jī)器執(zhí)行人類的活動(dòng)，如看、聽(tīng)和思考，為模式識(shí)別提供了可能性，促進(jìn)了人工智能技術(shù)的進(jìn)步”．2013年，《麻省理工科技評(píng)論》(MIT Technology Review)將深度學(xué)習(xí)列為世界十大技術(shù)突破之首．深度學(xué)習(xí)的輸入數(shù)據(jù)分布式表示，并具有強(qiáng)大的集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力，從而可以提高學(xué)習(xí)效率．

算法速度、系統(tǒng)性能以及易用性等是目前制約機(jī)器學(xué)習(xí)普及應(yīng)用的瓶頸問(wèn)題．2015年5月21日，由百度牽頭的分布式深度機(jī)器學(xué)習(xí)開(kāi)源平臺(tái)“深盟”正式面向公眾開(kāi)放，降低了分布式機(jī)器學(xué)習(xí)的門(mén)檻．騰訊深度學(xué)習(xí)優(yōu)圖團(tuán)隊(duì)也于2014年國(guó)際機(jī)器學(xué)習(xí)頂級(jí)會(huì)議ICML2014亮相．國(guó)內(nèi)的阿里巴巴、科大訊飛、搜狗、云知聲等公司也分別開(kāi)始在其產(chǎn)品中使用深度學(xué)習(xí)技術(shù)．典型的深度學(xué)習(xí)模型的結(jié)構(gòu)大致可以分為3類：

(1)生成性深度結(jié)構(gòu)．深度信念網(wǎng)絡(luò)(deep belief networks，DBN)[3]是目前研究比較廣泛的深度學(xué)習(xí)結(jié)構(gòu)．如圖1所示，DBN由一系列受限波爾茲曼機(jī)(restricted Boltzmann machine，RBM)單元組成，RBM是一個(gè)隨機(jī)無(wú)向圖模型，其可見(jiàn)層和隱層單元彼此互連，層內(nèi)無(wú)連接，隱層單元可獲取輸入可視單元的高階相關(guān)性．為了獲取生成性權(quán)值，預(yù)訓(xùn)練采用無(wú)監(jiān)督貪心逐層方式實(shí)現(xiàn)．DBN可獲取觀測(cè)數(shù)據(jù)和標(biāo)簽的聯(lián)合概率分布，這方便了對(duì)先驗(yàn)概率和后驗(yàn)概率的估計(jì)，而區(qū)分型模型僅能估計(jì)后驗(yàn)概率[4]．

DBN應(yīng)用廣泛、靈活性強(qiáng)、易于拓展，但其輸入是簡(jiǎn)單的圖像矩陣一維向量化，沒(méi)有考慮到圖像的二維結(jié)構(gòu)．卷積DBN網(wǎng)絡(luò)(convolutional deep belief networks，CDBN)[5-7]則利用了鄰域像素的空域關(guān)系，通過(guò)變換不變性變換到高維圖像．2011年，Liu等[8]提出一種新的半監(jiān)督學(xué)習(xí)算法，即判別深度置信網(wǎng)絡(luò)(discriminative deep belief networks，DDBN)，使用一個(gè)新的深層架構(gòu)，結(jié)合DBN的抽象能力和指數(shù)損失函數(shù)的區(qū)分能力，應(yīng)用于可視化數(shù)據(jù)分析中．

圖1 深度信念網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 DBN framework

(2)區(qū)分性深度結(jié)構(gòu)．卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)[9-11]是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法，利用BP算法設(shè)計(jì)并訓(xùn)練．CNN是一種適應(yīng)二維人臉圖像識(shí)別場(chǎng)景的有效學(xué)習(xí)方式，被大量文獻(xiàn)用于解決人臉識(shí)別問(wèn)題，主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖像．由于CNN的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，避免了顯式的特征提取，隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；而且由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是CNN相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的優(yōu)勢(shì)．其布局更接近實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，尤其是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)，避免了特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度．圖2是圖像分類的兩層卷積神經(jīng)網(wǎng)絡(luò)的示例．

(3)混合型結(jié)構(gòu)．混合型結(jié)構(gòu)[12-13]的學(xué)習(xí)過(guò)程包含生成性部分和區(qū)分性部分，一般使用最優(yōu)化和區(qū)分性深度網(wǎng)絡(luò)模型來(lái)解決．這種區(qū)分性網(wǎng)絡(luò)尋優(yōu)過(guò)程通常是附加一個(gè)頂層變量來(lái)估計(jì)任何深度生成模型或者非監(jiān)督深度網(wǎng)絡(luò)中的參數(shù)．BP算法用于優(yōu)化DBN權(quán)值，初始權(quán)值通過(guò)在RBM和DBN預(yù)訓(xùn)練中得到，而不是隨機(jī)產(chǎn)生的．這樣的網(wǎng)絡(luò)一般會(huì)比僅通過(guò)BP算法單獨(dú)訓(xùn)練的網(wǎng)絡(luò)性能優(yōu)越，與前饋神經(jīng)網(wǎng)絡(luò)相比加速了訓(xùn)練和收斂時(shí)間．

2 基于深度學(xué)習(xí)的人臉識(shí)別技術(shù)

傳統(tǒng)的人臉識(shí)別方法有多種，如主動(dòng)形狀模型(active shape model，ASM)[14]和主動(dòng)表觀模型(active appearance models，AAM)[15]；基于局部的方法，如利用局部描述子Gabor、局部二值模式(local binary pattern，LBP)等進(jìn)行識(shí)別；還有基于全局的方法，包括經(jīng)典的人臉識(shí)別算法，如特征臉?lè)椒?Eigenface)[16]、線性判別分析法(linear discriminant analysis，LDA)等子空間學(xué)習(xí)算法以及局部保持投影算法(locality preserving projection，LPP)等流行學(xué)習(xí)算法；3D人臉識(shí)別也是一個(gè)新的方向．但是，由于受到光照、姿態(tài)及表情變化、遮擋、海量數(shù)據(jù)等因素的影響，傳統(tǒng)的人臉識(shí)別方法由于自身的局限性，其識(shí)別精度受到制約．

在深度學(xué)習(xí)框架下，學(xué)習(xí)算法直接從原始圖像學(xué)習(xí)判別性的人臉特征．在海量人臉數(shù)據(jù)支撐下，基于深度學(xué)習(xí)的人臉識(shí)別在速度和精度方面已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人類．深度學(xué)習(xí)借助于圖形處理器(GPU)組成的運(yùn)算系統(tǒng)作大數(shù)據(jù)分析，人臉識(shí)別是圖像處理及人工智能的一個(gè)重要指標(biāo)，證明深度學(xué)習(xí)模型有助于推動(dòng)人工智能發(fā)展，將來(lái)甚至可能超越人類的智能水平．

2.1 國(guó)外研究現(xiàn)狀

2012年，勒尼德·米勒研究小組[17]率先將深度學(xué)習(xí)用于LFW(labeled face in the wild)數(shù)據(jù)庫(kù)的人臉識(shí)別．他們采用無(wú)監(jiān)督的特征學(xué)習(xí)方法，取得了87%,的識(shí)別率，與當(dāng)時(shí)最好的人臉識(shí)別算法相比還有一定差距．經(jīng)典的人臉識(shí)別算法Eigenface[17]在LFW中的識(shí)別率只有60%,，而最新深度學(xué)習(xí)算法的識(shí)別率是99.47%,，甚至超過(guò)了人眼的識(shí)別率(99.25%,)．近幾年，國(guó)際上許多項(xiàng)目將深度學(xué)習(xí)成功地運(yùn)用到人臉識(shí)別中，例如：DeepFace[18]、DeepID[19]、FaceNet[20]等．以上的算法都基于海量的訓(xùn)練數(shù)據(jù)，讓深度學(xué)習(xí)算法自己從海量的數(shù)據(jù)中學(xué)習(xí)到對(duì)于光照、表情、角度等不變的特性．在以上算法中，準(zhǔn)確率最高的是FaceNet，在LFW數(shù)據(jù)庫(kù)上已經(jīng)達(dá)到99.63%,的準(zhǔn)確率，超過(guò)了人眼的識(shí)別結(jié)果．

LFW[21]數(shù)據(jù)庫(kù)是由美國(guó)馬薩諸塞大學(xué)阿姆斯特分校計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室整理完成，用于研究非受限情形下的人臉識(shí)別問(wèn)題，已成為學(xué)術(shù)界評(píng)價(jià)識(shí)別性能的標(biāo)準(zhǔn)參照．其他數(shù)據(jù)庫(kù)如LFPW(labeled face parts in the wild)[22]數(shù)據(jù)庫(kù)，包含3,000張從互聯(lián)網(wǎng)采集到的人臉圖片，得到的圖像經(jīng)人臉檢測(cè)得到人臉在圖像中的位置，并給出3組人工標(biāo)注的35個(gè)人臉特征點(diǎn)的結(jié)果．WDRef[23]數(shù)據(jù)庫(kù)包含了2,995個(gè)人的99,773張圖片，其中有超過(guò)2,000個(gè)人有15張以上的圖片．

LFW項(xiàng)目是人臉識(shí)別技術(shù)從初始階段提升到原型系統(tǒng)階段的動(dòng)力，參加LFW測(cè)試的數(shù)據(jù)已經(jīng)成為現(xiàn)在論文驗(yàn)證的參照標(biāo)準(zhǔn)，該數(shù)據(jù)庫(kù)極大地推動(dòng)了人臉識(shí)別技術(shù)在深度學(xué)習(xí)上的進(jìn)步．表1和表2分別列出了深度學(xué)習(xí)及其他各種方法在LFW人臉數(shù)據(jù)庫(kù)中的識(shí)別率．

表1 深度學(xué)習(xí)在LFW人臉數(shù)據(jù)庫(kù)中的識(shí)別率Tab. 1Recognition rate of deep learning in the LFW face database

表2 各方法在LFW人臉數(shù)據(jù)庫(kù)中的識(shí)別率Tab. 2 Recognition rate of each method in the LFW face database

國(guó)際學(xué)術(shù)界的研究團(tuán)隊(duì)還有加拿大蒙特利爾大學(xué)的Yoshua Bengio研究組、英國(guó)謝菲爾德大學(xué)的Neil Lawrence研究組．此外，企業(yè)團(tuán)隊(duì)有Microsoft亞洲研究院，其在深度學(xué)習(xí)的研究上處于領(lǐng)先位置，不僅研究算法，還研究硬件結(jié)構(gòu)；Facebook的Yann LeCun成立了人工智能實(shí)驗(yàn)室；Google公司有Geoffrey Hinton團(tuán)隊(duì)．

深度學(xué)習(xí)的主流開(kāi)源項(xiàng)目同樣適用于人臉識(shí)別的檢測(cè)，對(duì)于在應(yīng)用中整合深度學(xué)習(xí)功能的開(kāi)發(fā)者，以下開(kāi)源項(xiàng)目在GitHub均可以免費(fèi)下載．Caffe是一個(gè)清晰而且高效的深度學(xué)習(xí)框架，應(yīng)用于Google公司于2015年開(kāi)發(fā)的DeepDream項(xiàng)目．Tensorflow是Google公司開(kāi)發(fā)，于2016年開(kāi)源，并公布了系統(tǒng)參數(shù)，此舉在深度學(xué)習(xí)領(lǐng)域影響巨大．另外，還有Torch7、Theano、Deeplearn Tool-Box、Deeplearning 4,j、Brainstorm、Chainer、Marvin、ConvNetJs、MXNet、Neon等開(kāi)源深度學(xué)習(xí)框架，為廣大研究人員研究深度學(xué)習(xí)算法提供了多種途徑．

2.2 國(guó)內(nèi)研究現(xiàn)狀

近年來(lái)，國(guó)內(nèi)研究機(jī)構(gòu)也在人臉識(shí)別領(lǐng)域進(jìn)行了大量深入的研究．在2014年的國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議上，來(lái)自Facebook人工智能實(shí)驗(yàn)室的Taigman等[18]和中國(guó)香港中文大學(xué)的團(tuán)隊(duì)，在允許利用有標(biāo)簽外部數(shù)據(jù)且非限定的測(cè)試條件下，均采用卷積神經(jīng)網(wǎng)絡(luò)，分別得到97.35%,和97.45%,的平均分類精度．香港中文大學(xué)湯曉鷗和王曉剛領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，研發(fā)了一套準(zhǔn)確度極高的自動(dòng)人臉識(shí)別系統(tǒng)，該系統(tǒng)在LFW數(shù)據(jù)庫(kù)中的識(shí)別率高達(dá)99.15%,．

此外，在深度學(xué)習(xí)和人臉識(shí)別領(lǐng)域，中國(guó)科學(xué)院陳熙霖和山世光等[30-35]利用深度學(xué)習(xí)在人臉特征識(shí)別和其他特征識(shí)別方面進(jìn)行了深入的探索．其研究不僅包括人臉識(shí)別，還包括人臉檢測(cè)與跟蹤、面部對(duì)準(zhǔn)(面部標(biāo)簽本地化)、性別識(shí)別、老齡化建模與評(píng)估、皮膚顏色分類等．李子青等[36-40]在人臉識(shí)別和智能視頻兩個(gè)技術(shù)領(lǐng)域，結(jié)合現(xiàn)在流行的深度學(xué)習(xí)理論，進(jìn)行了一定的研究．

在最權(quán)威的大規(guī)模人臉識(shí)別評(píng)測(cè)數(shù)據(jù)庫(kù)FRVT 2006(the face recognition vendor test，F(xiàn)RVT)上，清華大學(xué)丁曉青等所在的課題組完成的測(cè)試達(dá)到了國(guó)際領(lǐng)先水平；浙江大學(xué)何曉飛教授課題組[41-42]針對(duì)大數(shù)據(jù)時(shí)代機(jī)器學(xué)習(xí)開(kāi)展了一系列研究；南京大學(xué)周志華教授課題組在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等方面進(jìn)行了長(zhǎng)期研究，并提出了許多新的算法；西安電子科技大學(xué)陳渤教授[43-44]對(duì)基于分層超完備字典稀疏表示的深度學(xué)習(xí)算法研究及應(yīng)用開(kāi)展深入的研究．這些研究表明國(guó)內(nèi)學(xué)者對(duì)深度學(xué)習(xí)以及人臉識(shí)別相關(guān)領(lǐng)域已經(jīng)有很大的關(guān)注．

3 深度學(xué)習(xí)進(jìn)行人臉識(shí)別的典型應(yīng)用

深度學(xué)習(xí)的出現(xiàn)使人臉識(shí)別技術(shù)取得了突破性進(jìn)展．人臉識(shí)別的最新研究成果[21]表明，深度學(xué)習(xí)得到的人臉特征表達(dá)具有手工特征表達(dá)所不具備的重要特性，例如它是中度稀疏的、對(duì)人臉身份和人臉屬性有很強(qiáng)的選擇性、對(duì)局部遮擋具有良好的魯棒性．這些特性是通過(guò)大數(shù)據(jù)訓(xùn)練自然得到的，并未對(duì)模型加入顯式約束或后期處理，這也是深度學(xué)習(xí)能成功應(yīng)用在人臉識(shí)別中的主要原因．

深度學(xué)習(xí)在人臉識(shí)別上有7個(gè)方面的典型應(yīng)用：基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉識(shí)別方法，深度非線性人臉形狀提取方法，基于深度學(xué)習(xí)的人臉姿態(tài)魯棒性建模，有約束環(huán)境中的全自動(dòng)人臉識(shí)別，基于深度學(xué)習(xí)的視頻監(jiān)控下的人臉識(shí)別，基于深度學(xué)習(xí)的低分辨率人臉識(shí)別及其他基于深度學(xué)習(xí)的人臉相關(guān)信息的識(shí)別，具體見(jiàn)圖3．

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉識(shí)別方法

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，能挖掘數(shù)據(jù)局部特征，提取全局訓(xùn)練特征和分類，其權(quán)值共享結(jié)構(gòu)網(wǎng)絡(luò)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，在模式識(shí)別各個(gè)領(lǐng)域都得到成功應(yīng)用．CNN通過(guò)結(jié)合人臉圖像空間的局部感知區(qū)域、共享權(quán)重、在空間或時(shí)間上的降采樣來(lái)充分利用數(shù)據(jù)本身包含的局部性等特征，優(yōu)化模型結(jié)構(gòu)，保證一定的位移不變性[45]．

利用CNN模型，香港中文大學(xué)的DeepID項(xiàng)目[27]以及Facebook的DeepFace項(xiàng)目[18]在LFW數(shù)據(jù)庫(kù)上的人臉識(shí)別正確率分別達(dá)97.45%,和97.35%,，只比人類視覺(jué)識(shí)別97.5%,[46]的正確率略低．在取得突破性成果之后，香港中文大學(xué)的DeepID2項(xiàng)目[28]將識(shí)別率提高到了99.15%,．DeepID2通過(guò)學(xué)習(xí)非線性特征變換使類內(nèi)變化達(dá)到最小，而同時(shí)使不同身份的人臉圖像間的距離保持恒定，超過(guò)了目前所有領(lǐng)先的深度學(xué)習(xí)[18-19]和非深度學(xué)習(xí)算法[47]在LFW數(shù)據(jù)庫(kù)上的識(shí)別率以及人類在該數(shù)據(jù)庫(kù)的識(shí)別率[46]．深度學(xué)習(xí)已經(jīng)成為計(jì)算機(jī)視覺(jué)中的研究熱點(diǎn)，關(guān)于深度學(xué)習(xí)的新算法和新方向不斷涌現(xiàn)，并且深度學(xué)習(xí)算法的性能逐漸在一些國(guó)際重大評(píng)測(cè)比賽中超過(guò)了淺層學(xué)習(xí)算法．

圖3 基于深度學(xué)習(xí)的人臉識(shí)別算法Fig. 3 Face recognition methods based on deep learning

3.2 深度非線性人臉形狀提取方法

面部特征點(diǎn)定位(人臉形狀提取或人臉對(duì)齊)在人臉識(shí)別、表情識(shí)別、人臉動(dòng)畫(huà)合成等諸多任務(wù)中具有非常重要的作用．由于姿態(tài)、表情、光照和遮擋等因素的影響，在真實(shí)場(chǎng)景下的人臉對(duì)齊任務(wù)是非常困難的．

主動(dòng)形狀模型(active shape model，ASM)[14]和主動(dòng)表觀模型(active appearance models，AAM)[15-16]是經(jīng)典的人臉對(duì)齊方法．它們使用線性的主成分分析技術(shù)對(duì)人臉形狀和紋理變化建模，并通過(guò)優(yōu)化模型參數(shù)使之適配測(cè)試人臉圖像．由于線性模型難以刻畫(huà)復(fù)雜的人臉形狀和紋理變化，在大姿態(tài)、夸張表情、劇烈光照變化和部分遮擋下的效果欠佳．該問(wèn)題的最新進(jìn)展是通過(guò)級(jí)聯(lián)多個(gè)線性回歸模型直接從人臉紋理特征預(yù)測(cè)人臉形狀．

人臉識(shí)別中的主要難點(diǎn)在于人臉形態(tài)和紋理高度復(fù)雜性的特點(diǎn)，為進(jìn)一步提高算法的非線性回歸能力以獲得對(duì)形狀等變化的魯棒性，zhang等[32]提出了一種由粗到細(xì)的深度非線性人臉形狀提取方法(coarse-to-fine auto-encoders networks，CFAN)．CFAN級(jí)聯(lián)多個(gè)由棧式自編碼網(wǎng)絡(luò)實(shí)現(xiàn)的非線性回歸模型，每一級(jí)刻畫(huà)從人臉表觀到人臉形狀的部分非線性映射．在對(duì)人臉圖像識(shí)別過(guò)程中，深度學(xué)習(xí)方法不僅能夠提取有用的人臉紋理特征，而且能夠得到精確的人臉形狀和幾何結(jié)構(gòu)信息．

3.3 基于深度學(xué)習(xí)的人臉姿態(tài)魯棒性建模

人臉識(shí)別技術(shù)在可控條件及半可控條件下已經(jīng)基本趨于成熟，然而在非可控條件下，由于人臉容易受到姿態(tài)、表情、年齡和遮擋等因素的影響，識(shí)別率不高．其中，姿態(tài)變化會(huì)導(dǎo)致極大的面部表觀變化，是對(duì)人臉識(shí)別影響最大的因素之一．

姿態(tài)變化導(dǎo)致的人臉表觀變化是一種復(fù)雜的非線性變化，利用3D模型生成虛擬圖像的方式固然可以較好地解決不同姿態(tài)間的非線性變化問(wèn)題，但從2D圖像恢復(fù)準(zhǔn)確的3D模型非常困難．文獻(xiàn)[33]提出了一種棧式漸進(jìn)自編碼(SPAE)神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)較小規(guī)模數(shù)據(jù)下對(duì)姿態(tài)變化的非線性建模．側(cè)面圖像到正面圖像變化雖然非常復(fù)雜，但卻是緩慢平滑的．根據(jù)這一特點(diǎn)，將側(cè)面圖像到正面圖像的建模劃分為若干子任務(wù)，每個(gè)子任務(wù)僅負(fù)責(zé)將變化較大的姿態(tài)變換到變化較小的姿態(tài)而非直接變換到正面姿態(tài)，由此控制了每個(gè)子問(wèn)題的難度，使用一個(gè)淺層的神經(jīng)網(wǎng)絡(luò)即可有效建模，進(jìn)而將多個(gè)淺層的神經(jīng)網(wǎng)絡(luò)疊聯(lián)到一起即可得到一個(gè)深層的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)側(cè)面圖像到正面圖像的平滑變換．這種漸進(jìn)學(xué)習(xí)的思想將深度神經(jīng)網(wǎng)絡(luò)劃分為若干淺層的網(wǎng)絡(luò)，使其模型能力與有限的數(shù)據(jù)相匹配，避免數(shù)據(jù)規(guī)模小帶來(lái)的過(guò)學(xué)習(xí)問(wèn)題．文獻(xiàn)[2]是利用深度學(xué)習(xí)解決人臉識(shí)別姿態(tài)和分辨率上的問(wèn)題，具體研究了DBN在人臉姿態(tài)處理中的應(yīng)用，如姿態(tài)映射和姿態(tài)分類．人臉由于姿態(tài)的變化造成的旋轉(zhuǎn)在人臉成像中帶來(lái)的變化更不是一個(gè)簡(jiǎn)單的線性方法．而深度學(xué)習(xí)是一種多層的復(fù)雜神經(jīng)網(wǎng)絡(luò)，它是一個(gè)良好的非線性的生成模型，DBN可以學(xué)習(xí)側(cè)面人臉圖像到正面人臉圖像的一個(gè)全局映射，但個(gè)體細(xì)節(jié)差異易丟失．文獻(xiàn)[48]采用局部二值模式提取人臉紋理信息，將其紋理信息作為DBN的輸入實(shí)現(xiàn)分類，用以提供識(shí)別度更好的人臉特征，獲得非限制條件下人臉圖像的特征．文獻(xiàn)[49]在RBM堆棧的頂層增加了一個(gè)回歸層，用來(lái)在一個(gè)統(tǒng)一的深度學(xué)習(xí)框架下完成特征提取以及分類兩種任務(wù)．深度神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的非線性建模能力，可以采用深度學(xué)習(xí)來(lái)對(duì)人臉姿態(tài)魯棒性建模，這些文獻(xiàn)提供了一系列的解決思路．然而，深度學(xué)習(xí)需要大規(guī)模的有監(jiān)督、多姿態(tài)人臉圖像進(jìn)行訓(xùn)練，而這類數(shù)據(jù)在實(shí)際中很難收集．

3.4 有約束環(huán)境中的全自動(dòng)人臉識(shí)別

文獻(xiàn)[50]用噪聲調(diào)整線性單元組成的深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)應(yīng)用于目標(biāo)識(shí)別和人臉驗(yàn)證．文獻(xiàn)[51]中的DBN是非常善于在人臉圖像預(yù)測(cè)表達(dá)類別中應(yīng)對(duì)遮擋，并且可以執(zhí)行SIFT描述子用于區(qū)分不同類型的場(chǎng)景特征．基于SIFT分類的方法能得到較好的識(shí)別效果，缺點(diǎn)是特征計(jì)算過(guò)程復(fù)雜，點(diǎn)匹配過(guò)程時(shí)間長(zhǎng)，有一定的限制．文獻(xiàn)[52]將因式分解的三路RBM模型應(yīng)用到多人臉圖像匹配，匹配性均優(yōu)于以前同類生成模型．文獻(xiàn)[53]研究如何從局部遮擋的人臉圖像解析面部成分，人臉被劃分為若干互相重疊的塊，每個(gè)塊只與部分隱節(jié)點(diǎn)發(fā)生關(guān)聯(lián)，在塊等級(jí)上檢測(cè)人臉，通過(guò)DBN執(zhí)行訓(xùn)練過(guò)程，再用邏輯回歸進(jìn)行判別式調(diào)整，然后計(jì)算對(duì)像素敏感的標(biāo)記映射．從LFW、BioID和CUFSF三個(gè)數(shù)據(jù)集中挑選2,239個(gè)圖像進(jìn)行實(shí)驗(yàn)，說(shuō)明了該方法的有效性，不僅對(duì)局部遮擋的人臉圖像具有魯棒性，提供了更豐富的人臉表情分析的人臉合成，人臉關(guān)鍵點(diǎn)檢測(cè)．研究表明，在有約束環(huán)境中利用深度學(xué)習(xí)的方法可以自動(dòng)學(xué)習(xí)到人臉特征，與淺層方法相比，可使復(fù)雜的特征提取工作更加簡(jiǎn)單，并且可以學(xué)習(xí)到人臉圖像中的一些隱性規(guī)律和規(guī)則．

3.5 基于深度學(xué)習(xí)的視頻監(jiān)控下的人臉識(shí)別

在智能監(jiān)控環(huán)境下，對(duì)可疑人物進(jìn)行識(shí)別是人臉識(shí)別的一個(gè)重要用途．準(zhǔn)確、快速地識(shí)別視頻中人的身份對(duì)于視頻搜索和視頻監(jiān)控具有非常重要的意義．雖然已開(kāi)展了許多研究工作，但結(jié)果并不理想．近年出現(xiàn)了一些模擬相似場(chǎng)景的數(shù)據(jù)集，如美國(guó)NIST發(fā)布的(Point and Shoot Face Recognition Challenge，PaSC)視頻人臉數(shù)據(jù)庫(kù)[54]，在2014年生物特征識(shí)別國(guó)際聯(lián)合會(huì)議(International Joint Conference on Biometrics 2014，IJCB'14)上進(jìn)行首次測(cè)試，算法為特征概率彈性匹配模型，其中FAR為1%,時(shí)正確識(shí)別率僅為26%,．

2012年，文獻(xiàn)[55]把視頻數(shù)據(jù)里連續(xù)的幀作為卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，加上時(shí)間維度等信息，用來(lái)識(shí)別人的動(dòng)作．文獻(xiàn)[56]把視頻數(shù)據(jù)里連續(xù)的幀進(jìn)行數(shù)據(jù)整合，構(gòu)造數(shù)據(jù)立方體，調(diào)節(jié)RBM，然后對(duì)深度模型的反饋微調(diào)，達(dá)到識(shí)別人臉的目的．在第11屆國(guó)際人臉與姿態(tài)自動(dòng)識(shí)別會(huì)議(the 11th IEEE Conference on Automatic Face and Gesture Recognition，F(xiàn)G2015)組織的對(duì)PaSC的再次評(píng)測(cè)中，山世光帶領(lǐng)團(tuán)隊(duì)所采用的基于深度學(xué)習(xí)的技術(shù)方案有兩個(gè)核心步驟：針對(duì)視頻中每一幀人臉的卷積神經(jīng)網(wǎng)絡(luò)特征提取方法和集成視頻片段中所有視頻幀中人臉卷積神經(jīng)網(wǎng)絡(luò)特征的集合建模方法．該方法在FAR為1%,時(shí)驗(yàn)證率分別達(dá)到了58%,和59%,，明顯高于第二名的48%,和38%,．

深度學(xué)習(xí)的本質(zhì)是學(xué)習(xí)到多層的非線性的函數(shù)關(guān)系，這種多層的非線性的函數(shù)關(guān)系使得人們能更好地對(duì)視覺(jué)信息進(jìn)行建模，從而更好地理解圖像和視頻，更好地處理好諸如視頻人臉目標(biāo)和行為識(shí)別這類復(fù)雜的問(wèn)題．上述研究成果表明了深度學(xué)習(xí)在準(zhǔn)確、快速地視頻人臉識(shí)別中起到一定的作用．

3.6 基于深度學(xué)習(xí)的低分辨率人臉識(shí)別建模

在實(shí)際應(yīng)用中，采集到的人臉圖像有多種姿態(tài)變化，其圖像分辨率偏低，造成人臉圖像識(shí)別性能迅速下降．姿態(tài)變化將非線性因素引入人臉識(shí)別中，目標(biāo)對(duì)象具有豐富含義．

由于被監(jiān)控的人群距離攝像頭一般較遠(yuǎn)，導(dǎo)致被檢測(cè)到的人臉區(qū)域較小，因此小尺寸和低質(zhì)量的人臉圖像識(shí)別性能下降，此種情況稱為低分辨率人臉識(shí)別(low-resolution face recognition，LR FR)．因?yàn)榻^大多數(shù)的人臉識(shí)別算法在低分辨率人臉識(shí)別場(chǎng)合中的識(shí)別率不高，并且可供識(shí)別的人臉特征信息很少．應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻中的低分辨率人臉進(jìn)行處理，可以得到較好的實(shí)驗(yàn)效果[35]．文獻(xiàn)[57]圖像超分辨率的實(shí)驗(yàn)表明，該DNC(deep network cascade)方法可以逐漸迎合隨之增加的網(wǎng)絡(luò)層的低分辨率圖像，并實(shí)現(xiàn)更好的視覺(jué)質(zhì)量和數(shù)量性能．

現(xiàn)階段，基于深度學(xué)習(xí)的低分辨率人臉識(shí)別模型一般是將人臉識(shí)別的問(wèn)題歸結(jié)為感興趣區(qū)域的劃分和如何對(duì)感興趣區(qū)域進(jìn)行分類兩個(gè)子問(wèn)題，因此低分辨率人臉檢測(cè)問(wèn)題比分類問(wèn)題難度更大，更加復(fù)雜，對(duì)構(gòu)建模型的性能要求也更高．在這一領(lǐng)域的發(fā)展過(guò)程中，深度學(xué)習(xí)本身的結(jié)構(gòu)得到了改進(jìn)，更多的模型側(cè)重于優(yōu)化訓(xùn)練方法與流程．在低分辨率人臉識(shí)別的準(zhǔn)確率不斷提升的同時(shí)，運(yùn)行時(shí)間也相應(yīng)減少，從而使其能夠更好地投入到實(shí)際應(yīng)用中．

3.7 其他基于深度學(xué)習(xí)的人臉信息識(shí)別

人臉具有高度非剛性的特點(diǎn)，在成像中形成了一個(gè)復(fù)雜的非線性的人臉數(shù)據(jù)．而深度學(xué)習(xí)是一個(gè)有效的非線性的神經(jīng)網(wǎng)絡(luò)模型，在人臉的其他特征中也得到了廣泛的應(yīng)用．文獻(xiàn)[58]將卷積神經(jīng)網(wǎng)絡(luò)特征用于人臉表情識(shí)別．表情識(shí)別過(guò)去采用與人臉識(shí)別類似的局部特征(如HOG、SIFT、LBP、LGBP等)，并在此基礎(chǔ)上用支持向量機(jī)等分類器進(jìn)行分類[30]．由于某些數(shù)據(jù)庫(kù)缺少表情類別標(biāo)簽，有些模型并不是針對(duì)表情識(shí)別精調(diào)的，而是針對(duì)人臉識(shí)別精調(diào)的．文獻(xiàn)[59]將可變形部分學(xué)習(xí)到3D CNN框架，它可以檢測(cè)到特定的面部動(dòng)作部分下的結(jié)構(gòu)性空間限制，并同時(shí)獲得判別部分的代表性．文獻(xiàn)[60]引入深度信念網(wǎng)絡(luò)(DBN)來(lái)模擬輸入圖像的數(shù)據(jù)分布，完成對(duì)疲勞特征的分層自動(dòng)抽取，最后基于時(shí)間窗實(shí)現(xiàn)視頻流圖像的疲勞狀態(tài)識(shí)別．文獻(xiàn)[61]的基本思想是通過(guò)深度信念網(wǎng)絡(luò)(DBN)的非監(jiān)督貪心逐層訓(xùn)練來(lái)提取人臉圖像的高層特征，結(jié)合傳統(tǒng)的圖像預(yù)處理和相似性度量技術(shù)，達(dá)到人臉核實(shí)的目的．文獻(xiàn)[62]提出了融合深度信念網(wǎng)絡(luò)和多層感知機(jī)的人臉表情識(shí)別的方法．

深度學(xué)習(xí)提供的是分布式的特征表示．在最高的隱含層，每個(gè)神經(jīng)元代表一個(gè)屬性分類器，也可以用來(lái)進(jìn)行如男女性別[63]、人種和頭發(fā)顏色[64]等的識(shí)別和分類．

4 分析與展望

相對(duì)于利用其他機(jī)器學(xué)習(xí)的人臉識(shí)別技術(shù)而言，深度學(xué)習(xí)具有關(guān)鍵性的優(yōu)勢(shì)：首先，能從特征中檢測(cè)復(fù)雜的相互作用；其次，可以從幾乎沒(méi)有處理的原始數(shù)據(jù)中學(xué)習(xí)低層次的特征；而且，它既能處理高基數(shù)類數(shù)據(jù)，還可以處理未標(biāo)記的數(shù)據(jù)．因此，深度學(xué)習(xí)可以學(xué)習(xí)得到更有用的數(shù)據(jù)，并且能構(gòu)建更精確的模型．但是，深度學(xué)習(xí)也有一些缺點(diǎn)，例如訓(xùn)練模型的時(shí)間比較長(zhǎng)，需要不斷地迭代來(lái)進(jìn)行模型優(yōu)化，不能保證得到全局最優(yōu)解等，這些也需要在未來(lái)不斷地探索．

目前深度學(xué)習(xí)的理論方面需要解決的主要問(wèn)題有四個(gè)方面：首先，深度學(xué)習(xí)的理論極限在哪里，是否存在某個(gè)固定的層數(shù)，達(dá)到這個(gè)層數(shù)之后計(jì)算機(jī)可以真正實(shí)現(xiàn)人工智能；其次，如何決定某類問(wèn)題深度學(xué)習(xí)的層數(shù)和隱層節(jié)點(diǎn)的個(gè)數(shù)；再次，如何評(píng)價(jià)深度學(xué)習(xí)得到的特征的優(yōu)劣；最后，對(duì)于梯度下降法如何進(jìn)行改進(jìn)以達(dá)到更好的局部極值點(diǎn)甚至是全局最優(yōu)點(diǎn)．

在實(shí)際的應(yīng)用中，深度學(xué)習(xí)雖然能夠自動(dòng)學(xué)習(xí)模式的特征，并可以達(dá)到很好的識(shí)別精度，但這種學(xué)習(xí)算法工作的前提是用戶能夠提供“相當(dāng)大”量級(jí)的數(shù)據(jù)庫(kù)．所以在小數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景下，深度學(xué)習(xí)算法不能夠?qū)?shù)據(jù)的規(guī)律進(jìn)行無(wú)偏差的估計(jì)，因此在人臉識(shí)別效果上可能還不如一些已有的傳統(tǒng)人臉識(shí)別算法．

由于不同的識(shí)別系統(tǒng)適用于不同的實(shí)際環(huán)境，同時(shí)不同的深度學(xué)習(xí)結(jié)構(gòu)有不同的實(shí)際要求．利用深度學(xué)習(xí)的人臉識(shí)別在各個(gè)方面取得了一定的進(jìn)展，后續(xù)研究方向如下：

(1)在無(wú)標(biāo)記數(shù)據(jù)的特征學(xué)習(xí)方面，大規(guī)模人臉?biāo)阉飨嚓P(guān)應(yīng)用受到學(xué)術(shù)界和高科技企業(yè)越來(lái)越多的關(guān)注，除了利用人臉生物特征的特殊性進(jìn)行傳統(tǒng)的人臉識(shí)別，應(yīng)更多地關(guān)注對(duì)無(wú)標(biāo)記數(shù)據(jù)進(jìn)行自動(dòng)添加標(biāo)簽技術(shù)的研究，進(jìn)而快速準(zhǔn)確的在大規(guī)模人臉數(shù)據(jù)庫(kù)中搜索到相似的人臉．

(2)應(yīng)進(jìn)一步豐富數(shù)據(jù)庫(kù)的資源．在引入外部訓(xùn)練數(shù)據(jù)且無(wú)約束訓(xùn)練協(xié)議的情況下，鑒于在大規(guī)模人臉數(shù)據(jù)庫(kù)LFW人臉識(shí)別率已經(jīng)達(dá)到95%,以上，如果繼續(xù)擴(kuò)充此人臉數(shù)據(jù)庫(kù)，并設(shè)計(jì)一個(gè)更合理的全面評(píng)測(cè)協(xié)議，這將會(huì)是一個(gè)非常具有挑戰(zhàn)性的工作．

(3)利用深度學(xué)習(xí)的人臉識(shí)別要與其他方法結(jié)合．在允許使用特殊設(shè)備的情況下，可以考慮采用3D模型和深度信息以提高系統(tǒng)的穩(wěn)定性；對(duì)姿態(tài)變化、遮擋及表情變化引起的表觀變化，也許需要重新設(shè)計(jì)目前的人臉設(shè)計(jì)方式，采用多個(gè)局部模型而非一個(gè)整體模型來(lái)進(jìn)行表示[65]；深度學(xué)習(xí)還可以結(jié)合一些人臉姿態(tài)或表情矯正方法，進(jìn)行相關(guān)的探索．

就目前的發(fā)展趨勢(shì)來(lái)看，深度學(xué)習(xí)將是未來(lái)人臉識(shí)別的發(fā)展方向．新的方法如強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合，已經(jīng)取得了很大成功[66]．由于目前深度學(xué)習(xí)的計(jì)算復(fù)雜度較高，在訓(xùn)練過(guò)程中，需要GPU等并行設(shè)備支持，而且訓(xùn)練時(shí)間比較長(zhǎng)．在測(cè)試過(guò)程中，由于模型參數(shù)過(guò)多，并不方便在嵌入式設(shè)備上直接運(yùn)行．使用快速的學(xué)習(xí)方法如極限學(xué)習(xí)[67-68]等方法構(gòu)建深度學(xué)習(xí)單元將會(huì)是一個(gè)研究方向．現(xiàn)在基于深度學(xué)習(xí)的算法一般是通過(guò)云服務(wù)提供，如Face+,+、Microsoft Project Oxford等，這些也是未來(lái)的趨勢(shì)．

致謝：本文受天津食品安全低碳制造協(xié)同創(chuàng)新中心資助，特此感謝！

［1］ 吳巾一，周德龍. 人臉識(shí)別方法綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2009，26(9)：3205-3209.

［2］ 林妙真. 基于深度學(xué)習(xí)的人臉識(shí)別研究[D]. 大連：大連理工大學(xué)，2013.

［3］ Hinton G，Osindero S，Teh Y. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18(7)：1527-1554.

［4］ 孫志軍，薛磊，許陽(yáng)明，等. 深度學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2012，29(8)：2806-2810.

［5］ Lee H，Grosse R，Ranganath R，et al. Unsupervised learning of hierarchical representations with convolutional deep belief networks[J]. Communications of the ACM，2011，54(10)：95-103.

［6］ Huang G B，Lee H，Miller E L. Learning hierarchical representations for face verification with convolution deep belief networks[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2012：223-226.

［7］ Lee H，Grosse R，Ranganath R，et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of International Conference on Machine Learning. 2009：21-30.

［8］ Liu Y，Zhou S S，Chen Q C. Discriminative deep belief for visual data classification[J]. Pattern Recognition，2011，44(10/11)：2287-2296.

［9］ Lecun Y，Boser L，Denker J S，et al. Backpropagation applied to handwritten zip code Recognition[J]. Neural Computation，1989，1(4)：541-551.

［10］ Lecun Y，Botou L，Bengio Y，et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86(11)：2278-2324.

［11］ Zhou S S，Chen Q C，Wang X L. Convolutional deep networks for visual data classification[J]. Neural Process Letters，2013，38(1)：17-27.

［12］ Ouyang W，Wang X. Joint deep learning for pedestrian detection[C]//Proceedings of International Conference on Computer Vision. Piscataway：IEEE，2013：2056-2063.

［13］ Ouyang W，Luo P，Zeng X，et al. DeepID-Net：Multistage and deformable deep convolutional neural networks for object detection[EB/OL]. (2014-09-11)[2016-02-23]. http：//arxiv.org/abs/1409.3505v1.

［14］ Cootes T F，Taylar C J，Cooper D H，et al. Active shape models：Their training and application[J]. Computer Vision and Image Understanding，1995，61(1)：38-59.

［15］ Cootes T F，Taylor C J. Statistical models of appearance for medical image analysis and computer vision[J]. Proceedings of SPIE，2004，4322(1)：236-248.

［16］ Turk M，Pentland A. Eigenfaces for recognition[J]. Journal of Cognitve Neuroscience，1991，3(1)：71-86.

［17］ Huang G B．Lee H，Learned-Miller E．Learning hierarchical representations for face verification with convolutional deep belief netwoks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2012：2518-2525．

［18］ Taigman Y，Yang M，Ranzato M，et al. Deepface：Closing the gap to human-level performance in face verification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2014：1701-1708.

［19］ Sun Y，Wang X，Tang X. Deep learning face representation from predicting 10000 classes[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2014：1891-1898.

［20］ Schroff F，Kalenichenko D，Philbin J. FaceNet：A unified embedding for face recognition and clustering [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2015：815-823.

［21］ Huang G B，Ramesh M，Berg T，et al. Labeled Faces in the Wild：A Database for Studying Face Recognition in Unconstrained Environments[R]. Workshop on Faces in‘Real-Life’ Images：Detection，Alignment，and Recognition，2007：1-14.

［22］ Belhumeur P N，Jacobs D W，Kriegman D J，et al. Localizing parts of faces using a consensus of exemplars[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(12)：2930-2940.

［23］ Chen D，Cao X D，Wang L，et al. Bayesian face revisited：A joint formulation[J]. European Conference on Computer Vision，2012，7574(1)：566-579.

［24］ Sun Y，Wang X，Tang X. Hybrid deep learning for computing face Verification[C]// Proceedings of IEEE International Conference on Computer Vision. Piscataway：IEEE，2013：1489-1496.

［25］ Taigman Y，Yang M，Ranzato M，et al. Web-scale train-ing for face identification[EB/OL]. (2014-06-20) [2016-02-23]. http：//arxiv.org/abs/1406.5266.

［26］ Sun Y，Wang X D，Tang X. Deep learning face representation from predicting 10，000 classes[C]//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2014：1891-1898.

［27］ Sun Y，Wang X G，Tang X. Deeply learned face representations are sparse，selective，and robust[EB/OL]. (2014-12-03)[2016-02-23]. http：//arxiv.org/abs/1412. 1265.

［28］ Sun Y，Wang X D，Tang X. Deep learning face representation by joint identification-verification[J]. Advances in Neural Information Processing Systems，2014，27：1988-1996.

［29］ Best-Rowden L，Han H，Otto C，et al. Unconstrained face recognition：Identifying a person of interest from a media collection[J]. IEEE Transactions on Information Forensics and Security，2014，9(12)：2144-2157.

［30］ Liu M Y，Li S X，Shan S G. AU-inspired deep networks for facial expression feature learning[J]. Neurocomputing，2015，159(1)：126-136.

［31］ Chen J，Chen X L，Yang J，et al. Optimization of a training set for more robust face detection[J]. Pattern Recognition，2009，42(11)，2828-2840.

［32］ Zhang J，Shan S G，Kan M N，et al. Coarse-to-fine autoencoder networks(CFAN)for real-time face alignment [M]//Computer Vision-ECCV 2014. Springer International Publishing，2014：1-16.

［33］ Kan M N，Shan S G，Chang H，et al. Stacked progressive auto-encoder(SPAE)for face recognition across poses [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2014，1883-1890.

［34］ Liu M Y，Shan S G，Wang R P，et al. Learning expressionlets on spatio-temporal manifold for dynamic facial expression recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2014：1749-1756.

［35］ 李紹欣，山世光，闞美娜，等. 基于多視統(tǒng)一子空間的跨姿態(tài)人臉識(shí)別應(yīng)用技術(shù)研究[J]. 警察技術(shù)，2014 (5)：8-11.

［36］ Liao S C，Lei Z，Yi D，et al. A benchmark study of largescale unconstrained face recognition[C]//Proceedings of IEEE International Joint Conference on Biometrics. Piscataway：IEEE，2014：1749-1756.

［37］ Yi D，Lei Z，Liao S C，et al. Deep metric learning for person re-identification[C]//Proceedings of the 22nd International Conference on Pattern Recognition. Piscataway：IEEE，2014：24-28.

［38］ Yan J J，Lei Z，Yi D，et al. Learn to combine multiple hypotheses for accurate face alignment[C]//Proceedings of IEEE International Conference on Computer Vision Workshops. Piscataway：IEEE，2013：392-396.

［39］ Hu Y，Liao S C，Lei Z，et al. Exploring structural information and fusing multiple features for person reidentification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway：IEEE，2013：794-799.

［40］ Yi D，Lei Z，Li S Z. Towards Pose Robust Face Recognition[C]//Proceedings of the 26th IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2013：3539-3545.

［41］ Zhao J D，Lu K，He X F. Locality sensitive semisupervised feature selection[J]. Neurocomputing，2008，71(10)：1842-1849.

［42］ He X F，Sun C Y. Special issue on advances in intelligence science and intelligent data engineering[J]. Neurocomputing，2014，139(4860)：1-2.

［43］ Chen B，Polatkan G，Sapiro G，et al. Deep Learning with hierarchical convolutional factor analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1887-1901.

［44］ Chen B，Polatkan G，Sapiro G，et al. The hierarchical beta process for convolutional factor analysis and deep learning[C]//Proceedings of the 28th International Conference on Machine Learning. Piscataway：IEEE，2011：361-368.

［45］ 許可. 卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D].杭州：浙江大學(xué)，2012.

［46］ Kumar N，Berga A C，Belhumeur P N，et al. Attribute and simile classifiers for face verification[C]//Proceedings of the 12th International Conference on Computer Vision，Piscataway：IEEE，2009：365-372.

［47］ Lu C C，Tang X. Surpassing human-level face verification performance on LFW with GaussianFace [EB/OL]. (2014-04-15)[2016-02-23]. http：//arxiv.org/abs/1404. 3840.

［48］ 梁淑芬，劉銀華，李立琛. 基于LBP和深度學(xué)習(xí)的非限制條件下人臉識(shí)別算法[J]. 通信學(xué)報(bào)，2014，35(6)：154-160.

［49］ 王瑩，樊鑫，李豪杰，等. 基于深度網(wǎng)絡(luò)的多形態(tài)人臉識(shí)別[J]. 計(jì)算機(jī)科學(xué)，2015，42(9)：61-65.

［50］ Nair V，Hinton G E. Rectified linear units improve restricted Boltzmann machines[C]//Proceedings of the 27,th International Conference on Machine Learning. Piscataway：IEEE，2010：807-814.

［51］ Ranzato M，Susskind J，MnihV，et al. On deep generative models with applications to recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2011：2857-2864.

［52］ Susskind J，Hinton GE，Memisevic R，et al. Modeling the joint density of two images under a variety of transformations[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2011：2793-2800.

［53］ Luo P，Wang X G，Tang X. Hierarchical face parsing via deep learning[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2012：2480-2487.

［54］ Beveridge J R，Phillips P J，Bolme D S，et al. The challenge of face recognition from digital point-and-shoot cameras[C]//Proceedings of the 6th International Conference on Biometrics：Theory，Applications and Systems. Piscataway：IEEE，2013：1-8.

［55］ Ji S，Xu W，Yang M，et al. 3D convolutional neural networks for human action recognition[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2013，35(1)：221-231.

［56］ 由清圳. 基于深度學(xué)習(xí)的視頻人臉識(shí)別方法[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

［57］ Cui Z，Chang H，Shan S，et al. Deep network cascade for image super-resolution[M]//Computer Vision-ECCV 2014. Springer International Publishing，2014：49-64.

［58］ 王劍云，李小霞. 一種基于深度學(xué)習(xí)的表情識(shí)別方法[J]. 計(jì)算機(jī)與現(xiàn)代化，2015(1)：84-87.

［59］ Liu M Y，Li S X，Shan S G，et al. Deeply learning feformable facial action parts model for dynamic expression analysis[M]//Computer Vision-ACCV 2014. Springer International Publishing，2014：143-157.

［60］ 周慧，周良，丁秋林. 基于深度學(xué)習(xí)的疲勞狀態(tài)識(shí)別算法[J]. 計(jì)算機(jī)科學(xué)，2015，42(3)：191-200.

［61］ 張媛媛，霍靜，楊婉琪，等. 深度信念網(wǎng)絡(luò)的二代身份證異構(gòu)人臉核實(shí)算法[J]. 智能系統(tǒng)學(xué)報(bào)，2015，10(2)：193-200.

［62］ 施徐敢，張石清，趙小明. 融合深度信念網(wǎng)絡(luò)和多層感知器的人臉表情識(shí)別[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2015，36(7)：1629-1632.

［63］ Li S X，Xing J L，Niu Z H，et al. Shape driven kernel adaptation in convolutional neural network for robust facial traits recognition[C]//Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2015：222-230.

［64］ 王丹，山世光，張洪明，等. 一種由粗到細(xì)的頭發(fā)分割方法[J]. 軟件學(xué)報(bào)，2013，24(10)：2391-2404.

［65］ Chen D，Cao X，Wen F，et al. Blessing of dimensionality：High-dimensional feature and its efficient compression for face verification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition．Piscataway：IEEE，2013：3025-3032.

［66］ Mnih V，Kavukcuoglu K，Silver D，et al. Human-level control through deep reinforcement learning[J]. Nature，2015，518(7540)：529-533.

［67］ Wang Y Q，Xie Z G，Xu K，et al. An efficient and effective convolutional auto-encoder extreme learning machine network for 3d feature learning[J]. Neurocomputing，2016，174：988-998.

［68］ Tissera M D，McDonnell M D. Deep extreme learning machines：Supervised autoencoding architecture for classification[J]. Neurocomputing，2016，174：42-49.

責(zé)任編輯：常濤

Review of Face Recognition Methods Based on Deep Learning

YANG Jucheng1，LIU Na1,2，F(xiàn)ANG Shanshan1，XIE Ying1
(1．College of Computer Science and Information Engineering，Tianjin University of Science & Technology，Tianjin 300222，China；2．College of Engineering and Technology，Tianjin Agricultural University，Tianjin 300384，China)

Face recognition based on deep learning，which has already become a hot research topic in the field of biometric recognition at present，was reviewed．Firstly，face recognition and the basic structure of deep learning were introduced．Then，the current international and domestic research status quo and application of the technology were summarized，such as face recognition method based on convolutional neural network(CNN)，deep nonlinear face shape extraction method，robust modeling of face pose based on deep learning，fully automatic face recognition in the constrained environment，face recognition based on deep learning under video surveillance，low resolution face recognition based on deep learning，and other face information recognition based on deep learning．Finally，a general analysis was made on the existing problems and future development trend of face recognition in the application of deep learning.

deep learning；face recognition；convolutional neural network；biometric recognition

TP301.6

A

1672-6510(2016)06-0001-10

10.13364/j.issn.1672-6510.20160050

2016-02-23；

2016-06-10

國(guó)家自然科學(xué)基金資助項(xiàng)目(61502338)；天津市科技支撐計(jì)劃重點(diǎn)資助項(xiàng)目(15ZCZDGX00200)

楊巨成（1980—），男，湖北天門(mén)人，教授，jcyang@tust.edu.cn.