曹元鵬，周大可，楊 欣，方三勇

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

基于測地線采樣的三維表情人臉識別

曹元鵬，周大可，楊 欣，方三勇

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

針對測地線類人臉識別算法速度慢的問題，提出了一種基于測地線環(huán)帶特征點采樣的三維人臉識別方法。首先根據(jù)測地線距離以鼻尖點為中心在人臉表面繪制一系列等距測地線環(huán);再對測地線環(huán)帶進行特征點采樣構(gòu)成人臉描述特征，并進行PCA(Principal Component Analysis)運算和去相關(guān)處理;最終使用投票法融合各環(huán)帶單獨結(jié)果以識別人臉。在FaceWareHouse表情三維人臉數(shù)據(jù)集上進行的識別實驗表明，該方法識別準確率與傳統(tǒng)測地線法相當(dāng)，而識別時間有明顯減少，平均識別時間由2.55 s降至0.624 3 s。

人臉識別;測地線;特征抽取;主成份分析

0 引 言

人臉識別技術(shù)是模式識別與計算機視覺方向的研究熱點之一，隨著圖像處理、機器視覺、模式識別和統(tǒng)計學(xué)習(xí)等眾多相關(guān)學(xué)科領(lǐng)域的不斷發(fā)展和研究深入，人臉識別技術(shù)得到了越來越廣泛的關(guān)注［1，2］。近年來，三維人臉識別的研究也非?；钴S。利用人臉形狀信息的三維人臉識別能有效處理二維人臉識別中的一些難點問題，如姿態(tài)、光照等問題;但對于表情問題，由于表情變化會改變?nèi)S人臉的局域形狀［3，4］，導(dǎo)致難以提取穩(wěn)健的三維特征。因此表情問題也成為了三維人臉識別研究中熱點問題［5-7］。

Wang等［8］提出了一種基于LDA(Linear Discriminant Analysis)的人臉分類系統(tǒng)，利用三維人臉的幾何形狀，并且在BU-3DFE(3D Facial Expression Database-Binghamton University)人臉庫上達到了83.6%的識別率。Kyong等［9］首先在鼻子周邊區(qū)域劃分出多個相互重疊的區(qū)域，然后利用 ICP(Iterative Closest Point)匹配各個區(qū)域，最終將各區(qū)域的匹配結(jié)果相融合。實驗結(jié)果表明，通過多區(qū)域投票匹配對表情有一定適應(yīng)性，平均識別率為86.1%。文獻［10］提出了一種基于多階段匹配技術(shù)的全自動的三維人臉識別方法，利用形變圖像對面部形狀的變化和小波特征分別進行匹配識別，在FRGC v2數(shù)據(jù)庫上識別率達到97%。Ajmal等［11］同時使用模型二維和三維信息，采用基于特征匹配和全局匹配的混合方式進行識別，平均識別率達到98.3%。Ocegueda等［12］利用馬可夫隨機場模型檢測人臉有/無區(qū)別能力的信息，提出了一種新穎的三維人臉特征信息提取思路。

Berretti等［13］提出了一種基于三維測地線的方法。首先定義以鼻尖點為中心的一系列等間距測地環(huán)帶，然后通過計算測地線環(huán)帶間的內(nèi)部距離和外部距離(3DWW距離［14］)進行局域匹配，最后融合多個測地線環(huán)的匹配結(jié)果。該方法對有表情人臉的識別率達到97.7%，明顯優(yōu)于其他的三維人臉識別方法。但3DWW距離計算量大、十分耗時，文獻［13］雖然通過一些預(yù)處理方法減少計算量，但相對于其他人臉識別方法，其處理時間仍是難以接受的。2014年，Lei等人［15］提出了一種快速三維人臉識別方法，通過提取人臉上半部分(ARS:Angular Radial Signature)特征，再經(jīng)過K-PCA進一步處理將特征投影到非線性空間，最后經(jīng)過支持向量機進行人臉識別。

考慮到測地線特征對人臉表情變化穩(wěn)健性較好，只是3DWW距離度量方式計算量巨大。為了處理三維人臉識別中的表情問題，筆者提出了一種融合測地線特征和ARS特征的人臉識別方法。該方法首先提取以鼻尖點為中心的一系列等間距測地線，并在等距測地線進行類ARS的離散點采樣;然后使用PCA進行去相關(guān)處理及匹配，并利用投票法融合各等距測地線的匹配結(jié)果。實驗結(jié)果表明，該方法在達到原方法識別率相當(dāng)?shù)那闆r下，速度大大提升。

1 三維人臉特征提取

1.1 人臉測地線特征

測地線又稱大地線或短程線，數(shù)學(xué)上可視作直線在彎曲空間中的推廣。在有距離函數(shù)定義存在時，測地線可定義為空間中兩點的局域最短路徑。簡言之，兩點間測地線距離就是曲面上兩點延曲面表面的最短距離。Berretti等［13］將每個三維人臉樣本劃分為固定數(shù)目的、形同寬度且以鼻尖點為中心的環(huán)帶。通過計算任意點與鼻尖點間的標準測地線距離，再將人臉分為N個區(qū)間:c1，c2，…，cN，得到人臉的測地線環(huán)帶，既第i個環(huán)帶為三維人臉樣本上所有與鼻尖點距離ˉr位于區(qū)間ci的點。其中上述過程中的測地線距離通過Dijkstra提出的算法實現(xiàn)，算法復(fù)雜度為O(n log n)。

通過合理的選擇環(huán)帶區(qū)間ci和環(huán)帶數(shù)目N，測地線環(huán)帶特征可明顯區(qū)分面部表情變化的不同個體。測地線特征對表情穩(wěn)健性基于以下兩個原因:1)兩點間的測地線距離在面部表情變化時，可保持充分的穩(wěn)定［16］，即使在表情變化時，一個環(huán)帶內(nèi)的大多數(shù)點仍然會在此環(huán)帶內(nèi)部;2)當(dāng)人臉的表情發(fā)生變化時，只有少部分的點的位置受到了明顯的影響。

Berretti通過實驗確定了環(huán)帶數(shù)量、寬度、權(quán)重及面部區(qū)域?qū)ψR別效果的影響后，建立了以鼻尖點為中心，10 mm寬的9個同心環(huán)帶，并以鼻尖點為原點將人臉劃分為上，左下，右下3部分。其采樣的9個同心環(huán)帶基本覆蓋了全部面部區(qū)域。通過計算3DWW(3DWeighted Walkthrough)距離比較模型相似性，兩模型間的3DWW距離定義如下

1．2 ARS特征

一般三維人臉模型由大量坐標點組成的三維點云組成。然而由這些坐標組成的點云原始數(shù)據(jù)通常包含大量對人臉識別無用的信息，以及對人臉表情變化敏感的信息，為了得到人臉的表情穩(wěn)健特征信息，Lei等［15］通過定義曲線采樣離散點作為人臉局部特征。ARS定義如下:以鼻尖點為圓心、以角度θ為間隔的一組射線(θ∈［0，π］，且ARS曲線的數(shù)量為N=π/θ+1)，通過每條射線的高度變化反映人臉特征的變化。為了提取ARS特征，文獻［16］在人臉深度圖上進行采樣:每條射線上間隔3 mm采樣，共采樣20個點，則每個樣本模型共采樣20N個點，即共提取N個特征，每個特征為20維;同時指出，由于人臉存在非線性，提取的特征很難進行線性分類。筆者使用K-PCA將樣本點投射到高維非線性空間中，解決提取特征線性不可分的問題，在進行K-PCA處理后，使用SVM進行一對多策略的分類進行識別。

1.3 筆者方法

根據(jù)Berretti的實驗論證［13］，測地線環(huán)帶表示人臉特征對表情變化具有一定的適應(yīng)性，其可以充分表示人臉特征信息。然而該方法存在兩個缺陷:1)9個同心環(huán)帶幾乎覆蓋全部人臉區(qū)域，包含人臉模型的所有三維點;2)需要計算各個環(huán)帶間的3DWW距離以表示人臉特征信息，而3DWW的計算過程十分耗時。Lei等［16］所提出的基于ARS的特征提取方式有較好識別率和不錯的速度，但ARS利用深度圖進行采樣，采樣點的穩(wěn)定性較差。

為兼顧測點線方式對表情變化的穩(wěn)健性以及ARS特征提取及分類的高效率，筆者將兩種方法相融合，提出基于測地線采樣的人臉特征提取方法。首先對同一人的不同表情模型以鼻尖點為中心，10 mm為半徑的間隔采樣人臉環(huán)帶(見圖1a)，在此環(huán)帶上以角度θ為間隔采樣M個點的高度信息(見圖1b)。如圖1b所示，同一個體的不同表情模型的采樣點高度變化趨勢相似。這是由于測地線對表情變化的穩(wěn)健性，不同表情人臉的采樣點高度信息表現(xiàn)出聚類效果，并通過實驗測定，當(dāng)θ=1/45π、M=30時，人臉識別效果最優(yōu)。

圖1 測地線環(huán)帶Fig.1 Iso-geodisic curve

為驗證采樣特征對表情變化的穩(wěn)健性，分別對同一個體的不同表情的人臉模型進行相同半徑的等間隔測地線特征點采樣，經(jīng)采樣后特征點的高度信息反映如圖2所示。圖2中相同個體不同表情模型的采樣點的高度變化趨勢相似，表明測地線上點的高度信息聚類性較強。

圖2 相同個體的不同表情模型的采樣點高度信息Fig.2 The height information of sampled points of same individual

雖然使用利用測地線特征已具有較好的聚類效果，但由于人臉幾何特征的相似性，不同人臉采樣點集間的區(qū)分度不高，故筆者利用PCA(Principal Component Analysis)對其進行去相關(guān)處理。在信號處理中，信號具有較大的方差，噪聲具有較小的方差，PCA將原始數(shù)據(jù)投影到其協(xié)方差最大的特征向量組成的低維空間中，舍棄方差較小的特征，以去除數(shù)據(jù)的相關(guān)性及冗余。在經(jīng)PCA處理前，同類數(shù)據(jù)間Pearson相關(guān)系數(shù)為0.99，異類間為0.7;處理后，同類數(shù)據(jù)間為0.99，異類間為0.4，降低了數(shù)據(jù)線性相關(guān)程度。

2 實驗過程及結(jié)果

根據(jù)上述討論，筆者提出的特征提取及人臉識別實現(xiàn)步驟如下:首先計算模型各點距鼻尖點測地線距離，提取距離為20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的6個測地線環(huán)帶;然后在環(huán)帶上對模型進行采樣，以采樣點高度信息作為人臉局部特征;再對采樣的局部特征進行PCA去相關(guān)處理，以增加其類間區(qū)分度;最后使用最鄰近分類器對處理過的特征進行分類，并通過各個距離不同的環(huán)帶的加權(quán)結(jié)果作為最終的識別依據(jù)。筆者實驗安排如下:首先通過不同采樣范圍識別實驗的識別率確定采樣范圍、再通過各個環(huán)帶的單獨識別率確定各個環(huán)帶權(quán)值。經(jīng)過上述實驗確定了各個最優(yōu)參數(shù)，通過與測地線方法和ARS方法對比，驗證筆者提出識別方法的效果。

實驗采用FaceWareHose［17］三維人臉數(shù)據(jù)庫進行測試，該數(shù)據(jù)庫包括150個個體，每個個體有19個有表情模型和1個無表情模型共3 000個樣本。數(shù)據(jù)庫中人臉模型為經(jīng)過重采樣和歸一化后可直接進行使用的樣本。筆者使用了每人1副無表情模型、4副有表情模型，100個人、共500個樣本。

由圖2可知，同一個體的不同表情模型在采樣后雖然有很好的相似性，但在圖2中［35-45］及［50-60］采樣點處不同表情的采樣點有較大偏差。筆者通過實驗選取對表情變化穩(wěn)健性較強的區(qū)域。實驗使用無表情人臉模型作為訓(xùn)練樣本，同時使用一組有表情模型作為測試樣本。分別在范圍內(nèi)的實驗結(jié)果如表1所示。

表1 測地線范圍實驗結(jié)果Tab.1 Result of Iso-geodesic range experiment

由表1可知，環(huán)帶范圍為2π時分類效果最不理想，因為該范圍包含了嘴部區(qū)域，對表情變化最為敏感。隨著環(huán)帶范圍的減小，分類正確率逐步上升，直到-附近，達到最高(95%)的分類正確率;當(dāng)采樣范圍進一步減小時，由于采樣區(qū)域范圍過小，丟失過多有用信息而使分類正確率下降。因此，選擇環(huán)帶范圍，該區(qū)域?qū)Ρ砬樽兓南鄬Ψ€(wěn)健且包含足夠的分類信息。

通過實驗確定各個采樣環(huán)帶的投票權(quán)重。分別單獨使用距鼻尖點為20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的環(huán)帶采樣點進行分類實驗，根據(jù)實驗結(jié)果分配各環(huán)帶權(quán)重，20 mm～70 mm環(huán)帶的權(quán)重分別為:0.17、0.13、0.11、0.15、0.14、0.15、0.15。

為了檢驗筆者算法的識別效果，與原ARS、測地線方法進行了對比試驗。實驗分別為:無表情人臉模型作為訓(xùn)練樣本，同時使用一組有表情模型作為測試樣本;隨機4組樣本訓(xùn)練、1組樣本識別;隨機3組樣本訓(xùn)練、隨機2組樣本識別;隨機2組樣本訓(xùn)練、3組樣本識別。其中，表1中正確率及訓(xùn)練識別時間以無表情人臉作訓(xùn)練樣本，另4組以表情人臉作測試樣本，共400次識別實驗的平均值。表2為3種方法的平均訓(xùn)練及識別時間對比。

表2 平均耗時對比Tab.2 Average time consuming

表3 平均識別率對比Tab.3 Average accuracy

由表2、表3可知，傳統(tǒng)測地線方法及筆者方法對有表情人臉的識別正確率明顯優(yōu)于ARS特征提取方法，但傳統(tǒng)測地線方法在樣本訓(xùn)練及識別過程中及其耗時;而筆者的改進方法在識別率和時間消耗上都優(yōu)于傳統(tǒng)測地線方法;而相對于ARS特征提取方法，筆者識別率高于ARS方法，但因筆者方法需要計算測地線距離，故訓(xùn)練時間和識別時間相對增加約0.5 s，但并不影響算法識別的實時性。

3 結(jié) 語

針對三維人臉識別中的表情變化問題，筆者提出了一種基于測地線采樣的表情不變?nèi)四樧R別算法。該算法首先對人臉模型進行測地線距離計算，然后提取等間距測地線環(huán)帶，并在環(huán)帶上進行采樣作為人臉局部特征信息;將采樣得到的特征進行PCA處理以減少類間相關(guān)度，最終使用加權(quán)投票的方式得到識別結(jié)果。實驗表明，相對于Berretti的3DWW距離的測地線分類方法，筆者方法達到了與其相當(dāng)?shù)淖R別率，并在保證對表情變化魯棒性的同時提升了算法識別速度，使識別時間由2.5 s左右下降為0.6 s左右。

［1］陳炳權(quán)，劉宏立.基于二次修正的LBP算子和稀疏表示的人臉表情識別［J］.中南大學(xué)學(xué)報:自然科學(xué)版，2014，45(5):1053-1058. CHEN Bingquan，LIU Hongli.Facial Expression Recognition Based on Improved IBPOperator and Sparse Representation［J］. Journal of Central South University:Science and Technology，2014，45(5):1053-1058.

［2］TEJA G P，RAVI S.Face Recognition Using Subspaces Techniques［C］∥Recent Trends in Information Technology (ICRTIT)，2012 International Conference on.Chennai，India:IEEE，2012:103-107.

［3］蔡澤民，閆敬文.人臉識別:從二維到三維［J］.計算機工程與應(yīng)用，2011，47(11):155-159. CAIZemin，YAN Jingwen.Face Recognition:from 2D to 3D［J］.Computer Engineering and Applications，2011，47(11): 155-159.

［4］SELLAHEWA H，JASSIM SA.Image-Quality-Based Adaptive Face Recognition［J］.IEEE Transactions on Instrumentation and Measurement，2010，59(4):805-813.

［5］LIU Ding，DING Xiaoqing，F(xiàn)ANG Chi.Continuous Pose Normalization for Pose-Robust Face Recognition［J］.Signal Processing Letters，2013，20(1):91-94.

［6］FALTEMIER，TIMOTHY C，KEVIN W，et al.A Region Ensemble for 3-D Face Recognition［J］.IEEE Transactions on Information Forensics and Security，2008，3(1):62-73.

［7］FALTEMIER，TIMOTHY C，KEVIN W，et al.Using Multi-Instance Enrollment to Improve Performance of 3D Face Recognition［J］.Computer Vision and Image Understanding，2008，112(2):114-125.

［8］WANG Jun，YIN Lijun，WEI Xiaozhou，et al.3D Facial Expression Recognition Based on Primitive Surface Feature Distribution［C］∥Computer Vision and Pattern Recognition.［S.l.］:IEEE，2006:1399-1406.

［9］KYONG ICHANG，KEVINW，PATRICK JFLYNN.Multiple Nose Region Matching for 3D Face Recognition under Varying Facial Expression［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(10):1695-1700.

［10］IOANNISA KAKADIARIS，GEORGIOS PASSALIS，GEORGE TODERIC，et al.Three-Dimensional Face Recognitionin the Presence of Facial Expressions:An Annotated Deformable Model Approach［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(4):642-649.

［11］AJMAL S MIAN，MOHAMMED BENNAMOUN，ROBYN OWENS.An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007，29(11):1927-1943.

［12］OCEGUEDA O，SHAH SK，KAKADIARIS IA.Which Parts of the Face Give Out Your Identity?［C］∥Computer Vision andPattern Recognition(CVPR).Milpitas，USA:IEEE，2011:641-648.

［13］BERRETTIS，BIMBO A D，PALA P.3D Face Recognition Using Isogeodesic Stripes［J］.IEEE Trans Pattern Anal Mach Intell，2010，32(12):2162-2177.

［14］BERRETTIS，BIMBO A D，PALA P.Weighted Walkthroughs between Extended Entities for Retrievalby Spatial Arrangement［J］.IEEE Transactions on Multimedia，2003，5(3):52-70.

［15］LEIY，BENNAMOUN M，HAYATM，et al.An Efficient3D Face Recognition Approach Using Local Geometrical Signatures［J］.Pattern Recognition，2014，47(2):509-524.

［16］BRONSTEIN A M，BRONSTEIN M，KIMMELM.Expression Invariant Representations of Faces［J］.IEEE Transactions on Image Processing，2007，16(1):188-197.

［17］CHEN Cao，WENG Yanlin，ZHOU Shun，etal.Facewarehouse:A 3D Facial Expression Database for Visual Computing［J］. Visualization and Computer Graphics，IEEE Transactions on，2014，20(3):413-425.

(責(zé)任編輯:張潔)

Expression Invariant3D Face Recognition Based on Geodesic Curve Features

CAO Yuanpeng，ZHOU Dake，YANG Xin，F(xiàn)ANG Sanyong

(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

A new 3D face recognition method is proposed aming to speed up traditional Iso-geodesic method based on Iso-geodesic curves and features extraction.Thismethod ismainly composed by the following 3 steps: generating a serious of equidistant Iso-geodesic curves by geodesic distance，extracting feature points on every curves of first step and using PCA(Principal Component Analysis)method and voting to final face recognizes. Thismethod has higher recognition speed than the traditional Iso-geodesic method when at the same recognition rate under Face WareHouse dataset.The average recognition time decreased from 2.55 s to 0.624 3 s.

face recognition;Iso-geodesic curves;features extraction;principal component analysis(PCA)

TP391

A

1671-5896(2015)04-0429-06

2014-06-24

國家自然科學(xué)基金資助項目(61172135);南京航空航天大學(xué)研究生創(chuàng)新基地(實驗室)開放基金資助項目(kfjj20130210)

曹元鵬(1990— )，男，呼和浩特人，南京航空航天大學(xué)碩士研究生，主要從事三維人臉重建與識別研究，(Tel)86-15850505602(E-mail)yp_cao@nuaa.edu.cn;周大可(1974— )，男，江蘇漣水人，南京航空航天大學(xué)副教授，碩士生導(dǎo)師，主要從事生物特征識別、計算機圖像處理研究，(Tel)86-25-84892305-5112(E-mail)dkzhou@nuaa.edu.cn。