鄧宗平，趙啟軍，陳 虎

(四川大學(xué) 計(jì)算機(jī)學(xué)院 視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065)

基于深度學(xué)習(xí)的人臉姿態(tài)分類(lèi)方法

鄧宗平，趙啟軍，陳 虎

(四川大學(xué) 計(jì)算機(jī)學(xué)院 視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065)

人臉姿態(tài)通常表達(dá)著有用的信息，準(zhǔn)確地把握人臉的姿態(tài)，往往在人臉對(duì)齊、人類(lèi)行為分析以及司機(jī)疲勞駕駛監(jiān)控等方面有著重要的作用。文中方法與以往姿態(tài)估計(jì)方法不一樣，是一種基于卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用深度學(xué)習(xí)做人臉姿態(tài)分類(lèi)的方法。首先，第一次網(wǎng)絡(luò)對(duì)姿態(tài)在yaw方向上進(jìn)行5分類(lèi)，同時(shí)在roll方向具有魯棒性。之后，將第一次輸出正臉的結(jié)果進(jìn)入第二次網(wǎng)絡(luò)，對(duì)姿態(tài)在pitch方向進(jìn)行3分類(lèi)。所有的輸出結(jié)果對(duì)光照都具有魯棒性。文中采用級(jí)聯(lián)的方法在公開(kāi)庫(kù)上做測(cè)試，準(zhǔn)確率高達(dá)95%以上。在實(shí)際監(jiān)控視頻中，姿態(tài)估計(jì)不僅有較高的準(zhǔn)確率，而且有驚人的速度。由于本身實(shí)驗(yàn)的設(shè)計(jì)獨(dú)特性，只做了自身實(shí)驗(yàn)對(duì)比。結(jié)果充分展示了用合理的神經(jīng)網(wǎng)絡(luò)與網(wǎng)絡(luò)級(jí)聯(lián)的方法在姿態(tài)估計(jì)上面的發(fā)展?jié)摿Α?/p>

姿態(tài)分類(lèi)；級(jí)聯(lián)；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

0 引 言

人臉姿態(tài)估計(jì)是模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域重要的研究課題。人臉姿態(tài)估計(jì)在人臉對(duì)齊、人臉識(shí)別方面有著重要的影響。比如，在已知不同的姿態(tài)前提下可以有更精確的算法來(lái)進(jìn)行對(duì)齊或匹對(duì)工作。此外，人臉姿態(tài)自身也具有重要的實(shí)際應(yīng)用價(jià)值，比如疲勞駕駛監(jiān)控[1]、消費(fèi)者購(gòu)物行為分析等。

研究人員提出了很多姿態(tài)估計(jì)的方法，比如：基于模型的方法[2]、基于人臉外觀的方法[3]、基于3維人臉的方法[4]。同時(shí)在文獻(xiàn)[5]中，還提出了一種基于橢圓模板和眼睛嘴巴位置的人臉姿態(tài)估計(jì)方法。常用算法包括支持向量機(jī)、基于特征空間的方法[6]，以及使用神經(jīng)網(wǎng)絡(luò)[7]的姿態(tài)估計(jì)，等等。

文中運(yùn)用深度學(xué)習(xí)的方法對(duì)人臉姿態(tài)進(jìn)行大角度分類(lèi)。首先用第一級(jí)網(wǎng)絡(luò)進(jìn)行5種姿態(tài)分類(lèi)(左+，左，正，右，右+)，在第一級(jí)分類(lèi)為正臉的前提下進(jìn)行第二層網(wǎng)絡(luò)，再區(qū)分3種姿態(tài)(俯，正，仰)，然后進(jìn)行相關(guān)參數(shù)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，用深度學(xué)習(xí)的方法進(jìn)行姿態(tài)分類(lèi)是可行的，而且可以得到令人滿(mǎn)意的效果。實(shí)驗(yàn)的關(guān)鍵在于合理的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，有效的數(shù)據(jù)處理與級(jí)聯(lián)方式，以及在訓(xùn)練網(wǎng)絡(luò)過(guò)程中選擇合適的參數(shù)。

1 深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的概念源自人工神經(jīng)網(wǎng)絡(luò)，其是包含多隱藏層的多層感知器(MLP)。它通過(guò)對(duì)輸入數(shù)據(jù)的低層特征學(xué)習(xí)來(lái)形成更加抽象的高層特征表示，從而學(xué)習(xí)到數(shù)據(jù)的分布規(guī)律[8]。文獻(xiàn)[9]揭示了深度學(xué)習(xí)的發(fā)展?jié)摿Α４撕?，文獻(xiàn)[10-12]也展示了深度學(xué)習(xí)在圖片分類(lèi)、人臉識(shí)別、行人檢測(cè)、信號(hào)處理等領(lǐng)域所取得的成果。深度學(xué)習(xí)之所以稱(chēng)之為“深度”是相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法而言的，比如支持向量機(jī)(SVM)[13]、提升方法(boosting)、最大熵方法等。

深度學(xué)習(xí)網(wǎng)絡(luò)的非線性操作的層數(shù)比較多，屬于非監(jiān)督的學(xué)習(xí)。深度學(xué)習(xí)常用的算法包括：自動(dòng)編碼器、稀疏自動(dòng)編碼器、受限玻爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)[14]等。實(shí)驗(yàn)選用卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，是計(jì)算機(jī)視覺(jué)與模式識(shí)別、語(yǔ)音分析等領(lǐng)域研究的熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)是由多層的神經(jīng)網(wǎng)絡(luò)構(gòu)成，每一層又可以有多個(gè)二維平面，每一個(gè)平面有多個(gè)獨(dú)立的神經(jīng)元。典型的卷積神經(jīng)網(wǎng)絡(luò)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)

文中實(shí)驗(yàn)也按照這樣的“卷積-pooling-卷積-pooling”設(shè)計(jì)模式進(jìn)行網(wǎng)絡(luò)設(shè)置，并且采用兩層級(jí)聯(lián)的方法進(jìn)行相應(yīng)的姿態(tài)分類(lèi)。

2 實(shí)驗(yàn)評(píng)估參數(shù)

測(cè)試實(shí)驗(yàn)評(píng)估包括兩個(gè)方面：一方面是訓(xùn)練模型實(shí)時(shí)輸出性能指標(biāo)，包括損失函數(shù)(loss)、訓(xùn)練中測(cè)試準(zhǔn)確率(accuracy)；另一方面是模型測(cè)試性能指標(biāo)，包括分類(lèi)準(zhǔn)確率、姿態(tài)分類(lèi)時(shí)間。

2.1 訓(xùn)練實(shí)時(shí)輸出性能指標(biāo)分析

假設(shè)網(wǎng)絡(luò)最后的全連接層輸出5維數(shù)據(jù)是θi(i=0,1,…,4)，則輸出概率函數(shù)可表示為：

(1)

損失函數(shù)定義如下：

loss=-log(σi(θ))

(2)

其中，σi(θ)表示屬于第i類(lèi)的概率大小，即預(yù)測(cè)出來(lái)的屬于每一類(lèi)的概率大小。由于σi(θ)在[0,1]之間，則對(duì)應(yīng)的loss值就應(yīng)該取值在(0,+∞)。因此，loss值越小，表明學(xué)習(xí)到的特征越好。

網(wǎng)絡(luò)最后接accuracy層輸出，其為評(píng)判分類(lèi)準(zhǔn)確度，accuracy越接近1，說(shuō)明訓(xùn)練分類(lèi)效果越好。

對(duì)比實(shí)驗(yàn)主要是調(diào)節(jié)三個(gè)參數(shù)，它們分別是學(xué)習(xí)率(base_lr)、學(xué)習(xí)步長(zhǎng)(stepsize)、最大迭代次數(shù)(max_iter)。學(xué)習(xí)率是指神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)特征的能力，學(xué)習(xí)步長(zhǎng)是每學(xué)習(xí)一定次數(shù)之后相應(yīng)改變學(xué)習(xí)率的次數(shù)大小，最大迭代次數(shù)是學(xué)習(xí)總的次數(shù)。

2.2 測(cè)試結(jié)果性能指標(biāo)

對(duì)訓(xùn)練好的模型進(jìn)行性能評(píng)估，包含了兩個(gè)重要指標(biāo)：一是測(cè)試已知類(lèi)型的姿態(tài)圖片獲取的準(zhǔn)確率；二是進(jìn)行姿態(tài)分類(lèi)估計(jì)所需要耗費(fèi)的時(shí)間(ms)。

3 實(shí)驗(yàn)與測(cè)試

3.1 數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)分別來(lái)源于FERET，Multi-pie，Cas-peal和point-04公開(kāi)數(shù)據(jù)庫(kù)。四個(gè)數(shù)據(jù)庫(kù)的共同特點(diǎn)在于，它們的數(shù)據(jù)是按照不同角度進(jìn)行的分類(lèi)，因此便于對(duì)數(shù)據(jù)集進(jìn)行加標(biāo)簽分類(lèi)。實(shí)驗(yàn)第一個(gè)網(wǎng)絡(luò)把姿態(tài)角分為5類(lèi)，第二個(gè)網(wǎng)絡(luò)姿態(tài)分為3類(lèi)。

3.2 數(shù)據(jù)處理方式

由于原始數(shù)據(jù)的數(shù)量有限性，實(shí)驗(yàn)需要對(duì)原始數(shù)據(jù)進(jìn)行擴(kuò)充。實(shí)驗(yàn)之前，對(duì)相應(yīng)的原始數(shù)據(jù)按1:5的比例劃分測(cè)試集與訓(xùn)練集，然后對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充。數(shù)據(jù)處理方法如下：

(1)人臉檢測(cè)；

(2)獲取人臉框之后，用旋轉(zhuǎn)、平移、縮放的方式對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充；

(3)同時(shí)為了讓姿態(tài)分類(lèi)模型適應(yīng)不同的環(huán)境條件，實(shí)驗(yàn)對(duì)部分圖片進(jìn)行加光照、加噪聲的處理。

在各種處理方式下，最終數(shù)據(jù)分布均勻，訓(xùn)練圖片全部歸一化為32*32大小的灰度圖，如圖2所示。

圖2 實(shí)驗(yàn)灰度圖(旋轉(zhuǎn)角(上)，俯仰角(下))

3.3 網(wǎng)絡(luò)設(shè)置

實(shí)驗(yàn)網(wǎng)絡(luò)使用3層卷積層，3層下采樣，網(wǎng)絡(luò)層之間加適當(dāng)?shù)淖儞Q層，最后的網(wǎng)絡(luò)進(jìn)行兩次全連接。第一次網(wǎng)絡(luò)輸出一組5維向量，第二次網(wǎng)絡(luò)在第一次預(yù)測(cè)結(jié)果為正臉的情況下進(jìn)行再分類(lèi)，精細(xì)姿態(tài)角是俯仰還是平視角度，最后的輸出都是3維向量。最終經(jīng)過(guò)兩層網(wǎng)絡(luò)，實(shí)驗(yàn)得到的結(jié)果是7分類(lèi)問(wèn)題。級(jí)聯(lián)方式如圖3所示。

圖3 級(jí)聯(lián)示意圖

3.4 對(duì)比訓(xùn)練方法與評(píng)估

表1是實(shí)驗(yàn)對(duì)部分參數(shù)的嘗試并且修改部分參數(shù)

后獲取的結(jié)果。進(jìn)行了多組實(shí)驗(yàn)，結(jié)果表明，當(dāng)初始base_lr設(shè)置過(guò)大(大于0.01)，網(wǎng)絡(luò)很快出現(xiàn)飽和狀態(tài)，反之，學(xué)習(xí)能力很弱，獲取的有效信息很少。同時(shí)，對(duì)學(xué)習(xí)步長(zhǎng)和學(xué)習(xí)迭代次數(shù)的設(shè)置也會(huì)直接影響學(xué)習(xí)的效果。因此，設(shè)計(jì)了5組實(shí)驗(yàn)進(jìn)行對(duì)比，對(duì)比結(jié)果如表1所示，兩層網(wǎng)絡(luò)的訓(xùn)練方法是一致的。

3.5 測(cè)試方法與結(jié)果

根據(jù)上面的實(shí)驗(yàn)比較，把實(shí)驗(yàn)4訓(xùn)練出的模型作為測(cè)試模型，測(cè)試方法是根據(jù)已知角度的圖片進(jìn)行定量分析，測(cè)試集不僅包括訓(xùn)練的各種角度，而且包含了光照、旋轉(zhuǎn)的變化。所有的測(cè)試圖片預(yù)處理方法與訓(xùn)練數(shù)據(jù)一致。同時(shí)，實(shí)驗(yàn)對(duì)人臉由輸入網(wǎng)絡(luò)到輸出結(jié)果的所需時(shí)間進(jìn)行計(jì)算，準(zhǔn)確地記錄姿態(tài)估計(jì)所需要的時(shí)間。實(shí)驗(yàn)取得了較高的準(zhǔn)確率，在測(cè)試速度上也同樣令人滿(mǎn)意。測(cè)試結(jié)果與測(cè)試環(huán)境如表2所示。

表1 參數(shù)對(duì)比實(shí)驗(yàn)及結(jié)果

注：Mean-loss表示平均誤差，參數(shù)越小越好；Max-accuracy表示訓(xùn)練中最大準(zhǔn)確率；Last-accuracy表示最終收斂的準(zhǔn)確率。

表2 網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果與時(shí)間統(tǒng)計(jì)

注：測(cè)試電腦配置，4核cpu處理器：intel i5-4690 3.50 GHz，顯卡：NVIDIA GeForce GTX750。

3.6 實(shí)驗(yàn)總結(jié)

由實(shí)驗(yàn)結(jié)果可知，使用深度學(xué)習(xí)方法進(jìn)行姿態(tài)估計(jì)，不管在數(shù)據(jù)庫(kù)還是在實(shí)際應(yīng)用場(chǎng)景都是可行的。

4 結(jié)束語(yǔ)

文中應(yīng)用深度學(xué)習(xí)在人臉姿態(tài)問(wèn)題上進(jìn)行了嘗試，結(jié)果表明，深度學(xué)習(xí)是一種高效、高準(zhǔn)確度的新方法。但是，實(shí)驗(yàn)還存在不足之處，有待進(jìn)一步研究?？偟恼f(shuō)來(lái)，深度學(xué)習(xí)下進(jìn)行人臉姿態(tài)估計(jì)，是一個(gè)可行且高效的方法。為了突破已有成果與應(yīng)用的限制，更大的數(shù)據(jù)、更深的網(wǎng)絡(luò)將會(huì)是一個(gè)契機(jī)，在大數(shù)據(jù)的支持下，把更多更好的人臉姿態(tài)估計(jì)應(yīng)用到實(shí)際生活中，比如：場(chǎng)景監(jiān)控、司機(jī)駕駛監(jiān)控，甚至是物體形態(tài)分析，都將成為可能，相信在深度學(xué)習(xí)的浪潮中人臉姿態(tài)估計(jì)會(huì)有更好的發(fā)展。

[1] Ghaffari A,Rezvan M,Khodayari A,et al.A robust head pose tracking and estimating approach for driver assistant system[C]//Proc of IEEE international conference on vehicular electronics and safety.[s.l.]:IEEE,2011:180-186.

[2] Yang R,Zhang Z.Model-based head pose tracking with stereovision[C]//Proceedings of fifth IEEE international conference on automatic face and gesture recognition.[s.l.]:IEEE,2002:255-260.

[3]NgJ,GongS.Compositesupportvectormachinesfordetectionoffacesacrossviewsandposeestimation[J].Image&VisionComputing,2002,20(5):359-368.

[4]BaggioDL,EmamiS,EscrivaDM,etal.MasteringOpenCVwithpracticalcomputervisionprojects[M].Birminghan:PacktPublishingLtd,2012:208-254.

[5] 施 華.頭部姿態(tài)估計(jì)與跟蹤系統(tǒng)的研究與實(shí)現(xiàn)[D].上海:華東師范大學(xué),2015.

[6]DarrellT,MoghaddamB,PentlandAP.Activefacetrackingandposeestimationinaninteractiveroom[C]//Procof2013IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEEComputerSociety,1996:67-67.

[7]HoggT,ReesD,TalhamiH.Three-dimensionalposefromtwo-dimensionalimages:anovelapproachusingsynergeticnetworks[C]//ProceedingsofIEEEinternationalconferenceonneuralnetworks.[s.l.]:IEEE,1995:1140-1144.

[8] 余 凱,賈 磊,陳雨強(qiáng),等.深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展,2013,50(9):1799-1804.

[9]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[M]//Advancesinneuralinformationprocessingsystems.[s.l.]:[s.n.],2012:1097-1105.

[10]LuoP.Hierarchicalfaceparsingviadeeplearning[C]//ProcofIEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2480-2487.

[11]SunY,WangX,TangX.Deepconvolutionalnetworkcascadeforfacialpointdetection[C]//ProceedingsofIEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2013:3476-3483.

[12]ZhuZ,LuoP,WangX,etal.Deeplearningidentity-preservingfacespace[C]//Proceedingsof2013IEEEinternationalconferenceoncomputervision.[s.l.]:IEEEComputerSociety,2013:113-120.

[13] 王 輝.主成分分析及支持向量機(jī)在人臉識(shí)別中的應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2006,16(8):24-26.

[14]HuangGB.Learninghierarchicalrepresentationsforfaceverificationwithconvolutionaldeepbeliefnetworks[C]//ProcofIEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2518-2525.

Face Pose Classification Method Based on Deep Learning

DEND Zong-ping，ZHAO Qi-jun，CHEN Hu

(National Key Laboratory of Fundamental Science on Synthetic Vision，School of Computer Science，Sichuan University，Chengdu 610065,China)

Face pose usually contains useful information,so detecting it accurately plays an important role in face alignment,human behavior analysis and drivers’ fatigue driving monitoring.A novel method is proposed in this paper which applies deep learning to human face pose classification based on convolutional neural networks.It can be divided into two steps mainly.First,layer one classifies pose into 5 categories at direction yaw,and it’s of robustness at direction roll.Then layer two takes the result of step one as input to classify pose into 3 categories at direction pitch.All outputs are robust to illumination.The cascade connection is used to test on public benchmark,and the result shows that its accuracy is 95%.In real surveillance video,it has both high accuracy and fast estimating speed.Due to the particularity of experiment,it only contrasts the result to itself.Experimental results show that well-designed cascade connection of neural network can estimate pose well.

pose classification;cascade;deep learning;convolutional neural network

2015-11-12

2016-03-09

時(shí)間：2016-06-22

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202160，61202161)；科技部重大儀器專(zhuān)項(xiàng)(2013YQ49087904)

鄧宗平(1990-)，男，碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別、計(jì)算機(jī)視覺(jué)；趙啟軍，副教授，碩士生導(dǎo)師，研究方向?yàn)樯疃葘W(xué)習(xí)、模式識(shí)別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等；陳 虎，講師，碩士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、圖像處理等。

http://www.cnki.net/kcms/detail/61.1450.TP.20160622.0845.060.html

TP301

A

1673-629X(2016)07-0011-03

10.3969/j.issn.1673-629X.2016.07.003