邢 玲，馮 倩，穆國旺

（河北工業(yè)大學(xué) 理學(xué)院，天津 300401）

基于卷積神經(jīng)網(wǎng)絡(luò)和PCA的人臉識別

邢 玲，馮 倩，穆國旺

（河北工業(yè)大學(xué) 理學(xué)院，天津 300401）

主要研究了在基于深度學(xué)習(xí)的人臉識別算法中，對于由深度卷積神經(jīng)網(wǎng)絡(luò)提取得到的人臉特征進(jìn)行降維處理是否有助于提高人臉識別的準(zhǔn)確率．利用VGG網(wǎng)絡(luò)模型提取人臉圖像的深度特征，然后利用主成分分析（PCA）對提取到的深度特征進(jìn)行降維，最后利用余弦分類器進(jìn)行分類識別，并在LFW人臉庫上進(jìn)行實(shí)驗(yàn)．實(shí)驗(yàn)結(jié)果表明通過PCA降維后的深度特征具有較高識別率．

模式識別；人臉識別；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；主成分分析

0 引言

人臉識別作為一種生物特征識別技術(shù)，是近年來模式識別、圖像處理、機(jī)器視覺、神經(jīng)網(wǎng)絡(luò)以及認(rèn)知科學(xué)等領(lǐng)域研究的熱點(diǎn)課題之一．同時(shí)人臉識別作為一種高穩(wěn)定性、難以復(fù)制、精度高、易于被人接受的生物特征識別技術(shù)，在身份認(rèn)證、安防監(jiān)控、人機(jī)交互等領(lǐng)域具有廣泛的應(yīng)用前景．目前人臉識別算法主要可以分為以下幾類：

1）基于幾何結(jié)構(gòu)的方法．基本思想是利用一組幾何特征矢量來表示人臉面部拓?fù)浣Y(jié)構(gòu)的幾何關(guān)系，從而將識別過程轉(zhuǎn)換為特征矢量之間的匹配，并采用歐式距離進(jìn)行相似性度量．這種方法對特征點(diǎn)對齊的準(zhǔn)確性要求較高，因此這種方法的實(shí)用性具有一定的限制．

2）基于子空間的方法．將高維的人臉圖像特征通過空間變換壓縮到一個(gè)低維的子空間中，使原始樣本特征在這個(gè)低維子空間中更易于分類是基于子空間方法的基本思想．代表算法有主成分分析（PCA）[1]、線性鑒別分析（LDA）[2]、獨(dú)立分量分析（ICA）[3]等．子空間方法是目前人臉識別的主流算法．

3）基于局部特征的方法．該方法用局部特征組成的拓?fù)浣Y(jié)構(gòu)描述人臉的整體特征，通過統(tǒng)計(jì)所有局部特征的相似度來完成最終識別．典型的局部特征有LBP特征[4]，HOG特征[5]和Gabor[6]特征等．

近年來，深度學(xué)習(xí)成為了機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)，并且在計(jì)算機(jī)視覺、圖像識別、語音識別、自然語言理解等領(lǐng)域得到了廣泛的應(yīng)用，取得了非常好的效果．基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在人臉識別方面也受到了人們的重視，并得到了應(yīng)用[7-10]．

卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)．1989年，LeCun等人[11]在手寫數(shù)字識別中采用神經(jīng)網(wǎng)絡(luò)誤差反向傳播算法，在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中加入特征圖像與權(quán)值共享．1998年，LeCun等人[12]提出用于文檔識別的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），為了保證一定程度的平移、尺度、畸變不變性，CNN設(shè)計(jì)了局部感受野，共享權(quán)重以及空間和時(shí)間下采樣，提出用于字符識別的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5．2012年，Krizhevsky等人[13]采用稱為A lexNet的CNN在ImageNet競賽圖像分類任務(wù)中取得了最好的成績，是CNN在大規(guī)模圖像分類中的巨大成功．在A lexNet之后，研究者又進(jìn)一步改善網(wǎng)絡(luò)性能，提出能有效分類檢測的R-CNN[14]，SPP-net[15]GoogLeNet[16]和VGG[17]等模型．

在利用深度學(xué)習(xí)方法進(jìn)行人臉識別時(shí)，一般的做法是直接利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)得到識別結(jié)果，或者利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)提取圖像特征，然后利用分類器進(jìn)行識別．因?yàn)橐话阏J(rèn)為通過深度學(xué)習(xí)得到的圖像特征已經(jīng)具有很好的稀疏性和特征表達(dá)能力，因而一般不對其進(jìn)行降維處理．

本文將研究在基于深度學(xué)習(xí)的人臉識別中，對于由深度網(wǎng)絡(luò)提取得到的特征向量進(jìn)行降維處理是否能夠進(jìn)一步提高識別率．本文采用VGG網(wǎng)絡(luò)提取人臉特征，然后分別對其進(jìn)行PCA降維處理，并在LFW人臉數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)．

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種為了處理二維輸入數(shù)據(jù)而特殊設(shè)計(jì)的多層人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的每層都由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立的神經(jīng)元組成，相鄰兩層的神經(jīng)元之間存在連接，而同一層中的神經(jīng)元沒有連接關(guān)系．CNN是深度神經(jīng)網(wǎng)絡(luò)的一種，它的底層主要提取一些與邊緣、角度、輪廓相關(guān)信息，具有一定的通用性．它的高層逐漸提取出一些圖像的結(jié)構(gòu)信息．通常而言，層數(shù)越多，提取到的信息越全面．CNN和其它網(wǎng)絡(luò)的主要區(qū)別在于，一方面，相鄰兩層之間的神經(jīng)元之間的連接是非全連接的，另一方面，同一層上的神經(jīng)元同其它層的神經(jīng)元的連接是權(quán)值共享的．這樣CNN能夠有效降低網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度，由于具有更少的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù)，從而更容易訓(xùn)練．

CNN是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，由多個(gè)卷積層和子采樣層交替組成，而每層由多個(gè)獨(dú)立神經(jīng)元組成,圖1所示是一個(gè)簡單的CNN網(wǎng)絡(luò)結(jié)構(gòu)．

圖1 一個(gè)簡單的CNN網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 A simple CNN network

1.1 卷積層

圖1中的CNN由2個(gè)卷積層和2個(gè)子采樣層交替組成．C標(biāo)識的為卷積層，也稱為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部的特征被提取后，它與其他特征向量間的位置關(guān)系也隨之確定下來．

1.2 子采樣層

S標(biāo)示層為子采樣層，也稱為特征映射層，負(fù)責(zé)將C層獲得的特征圖進(jìn)行子采樣，使提取的特征圖具有縮放、旋轉(zhuǎn)、平移等不變性．子采樣層能降低特征圖的維度，減少網(wǎng)絡(luò)訓(xùn)練參數(shù)、加快網(wǎng)絡(luò)收斂速度，防止過擬合．本文所用的VGG網(wǎng)絡(luò)的子采樣層采用最大值采樣，采樣大小為2×2，即把輸入的特征圖分割成不重疊的2×2大小的矩形，對每個(gè)矩陣取最大值，所以輸出特征圖的長和寬均是輸入特征圖的一半．比如卷積層大小為3×24×24，則在子采樣層的大小就成為3×12×12，如圖2所示.

圖2 子采樣示例Fig.2 Exampleof sub-sampling

1.3 全連接層

為增強(qiáng)網(wǎng)絡(luò)的非線性映射能力，同時(shí)限制網(wǎng)絡(luò)規(guī)模的大小，網(wǎng)絡(luò)在卷積層與子采樣層交替提取特征后，接著進(jìn)入一個(gè)全連接層，該層的每一個(gè)神經(jīng)元與前一層的所有神經(jīng)元互相連接，同層神經(jīng)元之間不連接．?dāng)?shù)學(xué)表達(dá)式[18]為

總之，卷積神經(jīng)網(wǎng)絡(luò)相比于一般神經(jīng)網(wǎng)絡(luò)在人臉識別中有突出的優(yōu)點(diǎn)：1）網(wǎng)絡(luò)結(jié)構(gòu)能夠較好的適應(yīng)圖像的結(jié)構(gòu)；2）同時(shí)進(jìn)行特征提取和分類，使得特征提取更加有效，有助于下一步的特征分類；3）非全連接以及權(quán)值共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得簡單、適應(yīng)性更強(qiáng)．

2 VGG網(wǎng)絡(luò)模型

VGG網(wǎng)絡(luò)[17，19]是一種深度卷積神經(jīng)網(wǎng)絡(luò)，深層的網(wǎng)絡(luò)能提取圖像中更深層的特征，有較高的特征提取能力．本文利用的VGG網(wǎng)絡(luò)配置如下：

卷積層濾波器的尺寸為3×3，卷積的間隔為s=1．這樣設(shè)置的目的是因?yàn)槎鄠€(gè)3×3的卷積層可以代替大的濾波器的尺寸，同時(shí)比一個(gè)大尺寸的濾波器有更少的參數(shù)，而且有更多的非線性，使得判決函數(shù)更加具有區(qū)分能力．然后通過激活函數(shù)對卷積層所提取的特征進(jìn)行非線性處理，增加網(wǎng)絡(luò)的非線性表達(dá)能力．下采樣層的濾波器大小為2×2，間隔s=2．VGG網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)如圖3.

這個(gè)模型有5個(gè)max-pooling層，所以是5階段卷積特征提?。繉拥木矸e個(gè)數(shù)從首階段的64個(gè)開始，每個(gè)階段增長一倍，直到達(dá)到最高的512個(gè)，然后保持．

基本結(jié)構(gòu)A：

B：在A的stage2和stage3分別增加一個(gè)3×3的卷基層，10個(gè)卷積層，總計(jì)13層．

C：在B的基礎(chǔ)上，stage3，stage4，stage5分別增加1×1的卷積層，13個(gè)卷基層，總計(jì)16層．

D：在C的基礎(chǔ)上，stage3，stage4，stage5分別增加3×3的卷積層，13個(gè)卷基層，總計(jì)16層．

E：在D的基礎(chǔ)上，stage3，stage4，stage5分別增加3×3的卷積層，16個(gè)卷基層，總計(jì)19層．

本文將網(wǎng)絡(luò)第35層的輸出向量作為特征向量，特征維數(shù)為4 096維，然后對提取得到的特征分別進(jìn)行PCA降維．

3 實(shí)驗(yàn)結(jié)果與分析

由于早期的人臉數(shù)據(jù)庫，例如Yale，ORL，AR等人臉庫，或者圖像數(shù)量太少，或者是在可控的實(shí)驗(yàn)室環(huán)境采集，光照、表情、姿勢變換不大，隨著人臉識別算法的成熟，在這些庫上識別率已經(jīng)很高．人臉識別的挑戰(zhàn)主要是當(dāng)光照、表情、姿勢、年齡變換比較大時(shí)，識別率還不是很理想．為此，近些年人們將研究的重點(diǎn)轉(zhuǎn)向了非約束的自然環(huán)境下人臉識別的研究．另外，近年來國內(nèi)外研究者提出了很多人臉識別算法．為了研究在自然環(huán)境下拍攝得到的人臉圖像的識別問題，并且對各種不同的人臉識別算法進(jìn)行比較，馬薩諸塞大學(xué)（University of Massachusetts）計(jì)算機(jī)視覺組采集了一個(gè)用于人臉識別的數(shù)據(jù)庫-LFW人臉數(shù)據(jù)庫[20]．本文采用LFW（Labeled Faces in the Wild）人臉庫[20]進(jìn)行實(shí)驗(yàn)．該數(shù)據(jù)庫包含了從網(wǎng)絡(luò)上收集得到的5749個(gè)人的13 000多幅圖像，其中，1 680人有2張以上的圖片．LFW包括2個(gè)視圖，視圖A用于算法設(shè)計(jì)階段，視圖B用于算法的評估．其中，視圖B由100個(gè)子集構(gòu)成，每個(gè)子集包含600對人臉圖像，其中300對屬于正樣本（每一對圖像來自同一個(gè)人），另外300對屬于負(fù)樣本（每一對圖像來自不同的人）．

圖3 VGG模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 VGG model of network structure diagram

圖4給出了經(jīng)過歸一化后的部分LFW圖像示例．

基于LFW的人臉識別實(shí)驗(yàn)有多種協(xié)議，包括無監(jiān)督（unsupervised）方式，限制（Restricted）的方式，和非限制（Unrestricted）方式等．本文采用非限制方式等，即：在訓(xùn)練樣本中，假設(shè)圖像對（A,B）和（B, C）都是正樣本，則可以將（A,C）作為正樣本添加到訓(xùn)練集中．和所有LFW的實(shí)驗(yàn)相同，本文采用10折交叉驗(yàn)證的方法．即：首先提取所有圖像的深度特征，然后，每次用視圖B中的9個(gè)子集作為訓(xùn)練樣本進(jìn)行基于PCA或者LDA的子空間學(xué)習(xí)和余弦分類器訓(xùn)練，并確定最佳的距離閾值，用剩下的一個(gè)子集進(jìn)行測試，重復(fù)10次，最后計(jì)算10次的正確識別率，用于對算法進(jìn)行評價(jià)．

圖4 歸一化的LFW圖像示例Fig.4 Examples of normalized LFW images

利用VGG模型對LFW數(shù)據(jù)庫中的人臉圖片進(jìn)行深度特征提取，選擇該模型中第35層的輸出作為特征，接著對提取到的深度特征分別進(jìn)行PCA降維，最后利用余弦距離進(jìn)行分類，實(shí)驗(yàn)結(jié)果如表1所示．

表1 PCA不同維數(shù)下識別率Tab.1 PCA under different dimensions recognition rate

從表1中可以看出，將得到的深度特征直接進(jìn)行分類識別，識別率為92.73%；將深度特征先進(jìn)行PCA降維，再進(jìn)行分類識別，則識別率隨著維數(shù)的不同而不同，但是都高于不降維的結(jié)果．當(dāng)將維數(shù)降為800時(shí)識別結(jié)果最好，為93.28%．

4 結(jié)論

本文首先通過卷積神經(jīng)網(wǎng)絡(luò)VGG模型提取了圖像的深度特征，接著對提取到的特征分別進(jìn)行PCA降維，最后通過余弦分類方法進(jìn)行人臉識別．將提出的方法在LFW人臉庫上進(jìn)行實(shí)驗(yàn)，結(jié)果表明將提取到的深度特征先進(jìn)行PCA降維再進(jìn)行識別，可以提高識別率．

[1]Perlibakas V．Measures for PCA-based Face Recognition[J]．Pattern Recognition Letters，2004，25（6）：711-724．

[2]Highleyman W H．Linear decision functions，with application to pattern recognition[J]．Proceedings of the IRE，1962，50（6）：1501-1514．

[3]Jutten C，Herault J．Blind separation of sources，Part I：Anadaptive algorithm based on neuromimetic architecture[J]．Signal processing，1991，24（1）：1-10．

[4]Ahonen T，Hadid A，Pietikainen M．Face Recognition With Local Binary Patterns[C]//Proc European Conf computer Vision，2004：469-481．

[5]Monzo D，Albiol A，Sastre J．HOG-EBGM vs Gabor-EBGM[C]//International conference on Image Processing．San Diego，2008：12-15．

[6]Yang M，Zhang L．Gabor feature based sparse representation for face recognition with gabor occlusion dictionary[C]//Proceedings of Computer Vision-ECCV 2010．Crete，Greece：Springer Berlin Heidelberg，2010：448-462．

[7]Taigman Y，Yang M，Ranzato M，et al．DeepFace:Closing the Gap to Human-Level Performance in Face Verification[C]//Proceedings of the IEEE Interna-tional Conference on Computer Vision and Pattern Recognition．Columbus，OH，USA，2014：1701-1708．

[8]Sun Y，Wang X，Tang X．Deeply learned face representations are sparse，selective，and robust[J]．Computer Science，2014：2892-2900．

[9]Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//IEEE Conference on Computer Vision&Pattern Recognition．IEEE，2015：1-9．

[10]Schroff F，Kalenichenko D，Philbin J．FaceNet:A unified embedding for face recognition and clustering[C]//IEEE Conference on Computer Vision&Pattern Recognition．IEEE，2015：815-823．

[11]Lecun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition[J]．Neural Computation，1989，1（4）：541-551．

[12]Lecun Y，Bottou L，Bengio Y，et al．Gradient-based learning applied to document recognition[J]．Proceedings of the IEEE，1998，86（11）：2278-2324．

[13]Krizhevsky A，Sutskever I，Hinton GE．Image Net Classification with Deep Convolutional Neural Networks[J]．Advances in Neural Information Processing Systems，2012，25（2）：2012．

[14]Girshick R，Donahue J，Darrell T，et al．Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]．Computer Science，2014：580-587．

[15]He K，Zhang X，Ren S，et al．Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]．IEEE Transactions on Pattern Analysis&Machine Intelligence，2014，37（9）：1904-1916．

[16]Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//IEEE Conference on Computer Vision&Pattern Recognition．Boston，IEEE，2015：1-9．

[17]Simonyan K， Zisserman A．Very deep convolutional networks for large-scale image recognition[EB/OL]．[2016-03-16]．http://arxiv.org/ abs/1409.1556．

[18]Syafeeza A R，Khalil-Hani M，Liew S S，et al．Convolutional Neural Network for Face Recognition with Pose and Illumination Variation[J]．International Journal of Engineering&Technology(0975-4024)，2014，6（1）：498-519．

[19]Parkhi O M，Vedaldi A，Zisserman A．Deep Face Recognition[C]//British Machine Vision Conference．2015．

[20]Huang G B，Ramesh M，Berg T，et al．Labeled faces in thew ild:A database for studying face recognition in unconstrained environments[R]．Technical Report07-49，University of Massachusetts，Amherst，2007．

[責(zé)任編輯 楊 屹]

Face recognition based on convolution neural network and PCA

XING Ling，F(xiàn)ENG Qian，MU Guowang

(School of Science,Hebei University of Technology,Tianjin 300401,China)

The paper mainly discusses whether dimension reduction is useful for improving the accuracy of face recognition when the features are extracted using deep neural network in face recognition.The deep features of facial images are extract with pre-trained VGG network,and then the dimension of the features is reduced with principal component analysis (PCA)method,finally,cosine classifier is used for face recognition.Experiments on LFW face database are conducted. Experimental results show that the deep feature after dimension reduction with PCA has a high recognition rate.

pattern recognition;face recognition;deep learning;convolutional neural network(CNN);principle component analysis(PCA)

TP387

A

1007-2373(2015)05-0044-06

10.14081/j.cnki.hgdxb.2015.05.007

2016-08-10

邢玲（1990-），女（漢族），碩士生．通訊作者：穆國旺（1970-），男（漢族），教授．