王宏勇，王青青

(河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，河南 鄭州 450001)

在實際環(huán)境中，同一個人在不同光照和姿態(tài)下的人臉圖像會存在表觀上的差異，而這種差異通常比不同人在幾乎相同的光照和姿態(tài)下的差異還大。單一的二維圖像，不可避免地受到光照、背景和姿態(tài)表情的影響［1］，提取精度受到較大限制。而三維數(shù)據(jù)具有光照、姿態(tài)不變的特性［2］，對提高特征提取的精度有較為重要的意義，因而受到廣泛的研究。研究者大多是基于局部特征和整體特征進行特征提取。常用的局部特征有人臉曲線，幾何測量特征，以及剛性區(qū)域等。這些局部特征的提取一般是首先定位嘴角、鼻尖、額頭等特征點，在準(zhǔn)確定位特征點的基礎(chǔ)上，進一步提取有利于人臉識別的特征。整體特征提取主要是針對深度圖像和EGI圖。

1 局部特征提取

1.1 特征點定位

特征點能否準(zhǔn)確定位對進一步的研究工作具有重要意義。在特征點定位方面主要有兩類方法:一是基于對稱性的，從獲取人臉的對稱平面開始，進而定位其他的特征點;二是基于幾何特征的，利用特征點的深度、曲率等幾何特征進行定位特征點。

Wang Yingjie［3］等人將特征束的思想推廣到三維人臉特征點定位，首先是手工標(biāo)定訓(xùn)練集的特征點，計算特征點處的Point Signature，構(gòu)成特征束，同時判定人臉特征點的平均區(qū)域。對于新的模型，在平均區(qū)域內(nèi)尋找和特征束最匹配的點即為特征點。該方法允許人臉姿態(tài)和表情有少量變化。Moreno A B［4］等人使用平均曲率和高斯曲率對三維人臉模型進行分割，得到人臉特征點的候選區(qū)域，然后通過五官分布特征，去掉非標(biāo)準(zhǔn)區(qū)域，得到真正的標(biāo)志區(qū)域。該方法要求人臉為正面或近似正面。楊穎［5］使用區(qū)域生長的種子算法構(gòu)造器官輪廓區(qū)域。因為在Marr的視覺理論中，人類視覺對邊緣信息更為敏感，通過得到人臉器官輪廓的邊緣，就可利用各種方法進行人臉特征的精確提取和定位。而在使用區(qū)域生長算法構(gòu)造器官輪廓后，根據(jù)器官模板，使用最小二乘法擬合邊界，最終得到標(biāo)志點。該方法要求人臉的姿態(tài)恒定。王蜜宮、陳鍛生、林超等人［6］提出了基于局部形狀圖(Local Shape Map，LSM)的三維人臉特征點自動定位方法，所有人臉上的同一特征點能形成特殊且相似的LSM，因此可以考慮利用LSM來實現(xiàn)這些點的精確定位。一個點的LSM使用包含在以該點為球心的球體內(nèi)部點來構(gòu)造描述這一點的局部形狀的二維直方圖。該方法首先使用曲率表示的形狀索引與曲度來選擇特征候選點然后利用LSM統(tǒng)計模型，實現(xiàn)任意姿態(tài)下的三維人臉鼻尖和內(nèi)眼角的自動精確定位，該方法完全不受膚色和光照的影響，受方向、姿態(tài)和表情的變化影響也較小。

在特征點定位中比較重要的方法是采用Shape Index特征來定位特征點。Dorai［7］等人提出了 Shape Index特征，來表示每一點的凹凸程度，點p的Shape Index是由其最大和最小曲率計算的:一般鼻尖點候選點集中選取Shape Index值在0.85～1之間的點組成鼻尖區(qū)域，鼻尖點定位于區(qū)域的質(zhì)心，在內(nèi)眼角候選點集中選取Shape Index值在0～0.27之間的點組成內(nèi)眼角區(qū)域，內(nèi)眼角定位于區(qū)域的質(zhì)心

其中，k1為最大曲率;k2為最小曲率k2≤k1其取值范圍在0～1之間。

LU Xiaoguang［8］在柱面坐標(biāo)系下，重采樣為均勻網(wǎng)格來計算Shape Index特征，該特征在0～1之間分布，越接近0，表示該處曲面越凹，越接近1，表示該處曲面越凸。通過均值模板尋找特征最小點，即為眼窩點，然后利用標(biāo)志點之間的相對位置和曲率特征定位其他特征點。由于Shape Index特征具有姿態(tài)不變性，能夠較好地表示標(biāo)志點處的凹凸特性，故被廣泛使用。該方法要求三維數(shù)據(jù)為均勻網(wǎng)格，且為豎直分布，即只允許人臉繞豎直左右轉(zhuǎn)動。

張廣鵬，張艷寧［9］提出了一種新的基于連續(xù)Shape Index和幾何約束的特征點定位方法，通過對點的鄰域擬合二次曲面，來計算Shape Index，獲得了更為精確和魯棒的特征。在幾何約束方面，其采用通過訓(xùn)練樣本建立一個統(tǒng)一的人臉標(biāo)志區(qū)域分布模型。通過幾何約束，可實現(xiàn)真正與姿態(tài)無關(guān)的特征點定位。

李曉莉，達飛鵬［10］也是基于Shape Index特征提取人臉特征點，但在人臉候選點集的選取方面，由于人臉點云是一張上下方向較長，左右跨度劇中，前后厚度較小的曲面，因此采用了主元分析法PCA，提取了3個主方向的特征向量，形成人臉主軸坐標(biāo)系，而鼻尖點在人臉坐標(biāo)系附近，內(nèi)眼角的大致位置也可確定，這就將特征點的定位過程限定在一定范圍內(nèi)，不僅提高了特征點定位的精度，也減少了計算量。

1.2 局部特征提取

在準(zhǔn)確進行特征點的定位上，國內(nèi)外學(xué)者對局部特征的提取也進行了積極的研究。主要包括:曲線、幾何測量特征及剛性區(qū)域的提取。

人臉曲線主要包括人臉側(cè)面輪廓線，鼻尖處橫切輪廓線，額頭橫切輪廓線，眼睛下方的水平曲線和下巴輪廓線等，人臉曲面形狀可用若干條從人臉曲面提取的二維曲線近似表示。Nagamine T［11］等提出使用臉部曲線作為特征，首先使用啟發(fā)式方法提取臉部的幾個特征點，通過這些點可確定對稱平面，進而在統(tǒng)一的坐標(biāo)系中提取側(cè)面輪廓線、眼睛下方的水平曲線和鼻尖區(qū)域曲線，然后將這3條曲線離散成特征向量，通過比較最相近向量來完成人臉匹配。實驗結(jié)果表明側(cè)面輪廓線的識別能力最強，但對于局部的擾動變化，該方法不魯棒。Pan G［12］使用 ICP(Iterative Closest Point)的對稱平面檢測方法檢測對稱面，得到側(cè)面輪廓線，隨后進一步提取水平輪廓線，該方法可要求人臉任意變換。國內(nèi)學(xué)者宋曉冰、雷蘊奇［13］等根據(jù)在所有點云坐標(biāo)中，深度值最大的點，只可能是最凸起額頭點、鼻尖點、嘴巴點和下巴點，這幾個點均在人臉中分輪廓線上，使用最高深度點的垂直向點集來確定人臉中分輪廓線，得到了較為滿意的實驗結(jié)果。而且對人臉側(cè)面輪廓線做了進一步的分析發(fā)現(xiàn)，輪廓線嘴巴處受表情影響嚴(yán)重，因此將人臉側(cè)面輪廓線分成兩段:(1)額頭到嘴唇上點;(2)嘴唇上點到下巴，從而克服了嘴巴處的形變影響。

有不少學(xué)者基于幾何測量特征進行特征提取，該方法較為簡單。常用的幾何測量特征主要有距離特征、角度特征以及體積特征。距離特征如前額點到鼻尖點的距離、鼻根點到鼻尖的距離、鼻下點到嘴唇上點的距離、內(nèi)眼角點間距離、前額點到內(nèi)眼角的距離等，角度特征如前額點、鼻根、鼻尖形成的角度，鼻尖、鼻下根、上嘴唇點的角度。左眼內(nèi)眼角、鼻根、右眼內(nèi)眼角形成的角度等，體積特征如鼻子的體積。國內(nèi)學(xué)者雷云奇、宋曉冰［13］的研究發(fā)現(xiàn)利用幾何特征可區(qū)分不同的人臉，但由于人臉需要三庭五眼規(guī)則，較多特征值均極為接近，因此該方法對標(biāo)志點定位的精度要求極高，而且有的特征值之間相差較大，有些相差較小，這樣得到的歐式距離過于接近，容易造成錯誤識別。該方法要求對特征點定位的精度要求較高，降低了識別算法的穩(wěn)健性。因此可采用幾何測量特征和輪廓線特征分級使用來提高精度。

在對剛性區(qū)域的研究上發(fā)現(xiàn)人臉不同區(qū)域?qū)Ρ砬榈拿舾谐潭仁遣煌?，將同一對象在不同表情下的人臉分別與中性表情人臉進行剛性匹配，在所有匹配中均有較好效果的可認為是人臉剛性區(qū)域。國內(nèi)學(xué)者李曉莉、達飛鵬［10］在基于側(cè)面輪廓線和剛性區(qū)域的研究中發(fā)現(xiàn)鼻子和眼睛、額頭是人臉最穩(wěn)定的區(qū)域，在提取有價值輪廓線的基礎(chǔ)上，利用人臉剛性區(qū)域進行匹配，實驗表明可以降低表情對識別產(chǎn)生的影響。

2 整體特征提取

常用的整體特征有:用深度圖表示三維人臉數(shù)據(jù)，將三維人臉映射成EGI圖。文獻［14］闡述了根據(jù)深度圖像特征提取的形狀特征是與光照變化無關(guān)的。深度圖是將三維人臉的點云數(shù)據(jù)正交投影，按深度值重采樣為規(guī)整數(shù)據(jù)，就可得到三維人臉的深度圖像，所得每幅人臉深度圖像均蘊含了與其對應(yīng)的三維空間點之間的鄰接關(guān)系，由于深度圖像可以看作是一幅二維圖像，每一點的像素值代表對應(yīng)點的深度值，則二維人臉特征提取算法可以運用于深度圖上，如PCA等。EGI圖是通過曲面上任何一點的法向量將該點映射到一個單位球面上，利用這種將曲面轉(zhuǎn)換為單位球面上的質(zhì)量分布映射圖，變成擴展高斯圖(EGI)。

2.1 基于深度圖的PCA提取

Kirby和 Sirovich等人［15］討論了利用PCA進行人臉圖像的最優(yōu)表示問題，Turk和Pentland［16］發(fā)現(xiàn)K_L展開后的特征向量在還原成圖像矩陣時，是一張標(biāo)志化的人臉。因為以K_L變換為基礎(chǔ)的PCA算法是統(tǒng)計最優(yōu)的，其使得壓縮前后的圖像均方誤差最小，且變換后的低維空間有較好的分辨能力方法簡便、快速，在實際中得到了廣泛的應(yīng)用。但也有不足之處:首先，經(jīng)典的PCA算法是以所有樣本的最優(yōu)重建為目的，對于描述不同樣本間的差異而言，其不是最優(yōu)的描述。其次，當(dāng)采用主成份分析方法提取人臉特征時，人臉圖像的局部特征通常反映了人臉的內(nèi)在特性，圖像中的像素占有同等地位，對于人臉特征如嘴巴，鼻子，眼睛等特征未強調(diào)其重要性。最后一幅圖像的高階統(tǒng)計信息往往包含了圖像邊緣或曲線的多個像素之間的非線性關(guān)系，而PCA只考慮了二階統(tǒng)計信息，忽略了多個像素之間的非線性關(guān)系。

基于最后一個不足，國內(nèi)學(xué)者阮秋奇，田文君［17］等人提出了局部保持投影算法。該算法在拉普拉斯映射方法的基礎(chǔ)上提出，不僅具有保持?jǐn)?shù)據(jù)集非線性結(jié)構(gòu)不變的特點且繼承了線性方法計算方便快捷的優(yōu)點，又有一般的線性降維方法，而且還具有高維數(shù)據(jù)內(nèi)蘊特征或非線性結(jié)構(gòu)的自動發(fā)現(xiàn)功能。

2.2 基于EGI圖提取

Lee J C［18］首先將EGI應(yīng)用與人臉深度圖像的匹配，首先利用高斯曲率和平均曲率劃分人臉的凹凸區(qū)域，然后將凸區(qū)域映射在單位球上，將平均曲率作為單位球上對應(yīng)點的支撐函數(shù)值，形成EGI圖，然后用圖匹配算法計算兩個人臉模型的相似度量。Tanaka H T［19］計算三維人臉模型最大、最小主曲率以及相應(yīng)的方向，然后分別提取最小主曲率小于某個閾值的最大主方向的集合和最大主曲率大于某個閾值的最小主方向的集合，最后將兩個方向的集合分別映射到單位球面上，得到相應(yīng)的EGI圖，計算這兩個圖的Fisher球相關(guān)系數(shù)，將兩個系數(shù)相乘的結(jié)果作為兩個人臉的相似度量。該方法需要高分辨率的數(shù)據(jù)，否則曲率的計算將不精確、不可靠。

3 結(jié)束語

論述了國內(nèi)外眾多學(xué)者在三維人臉特征提取方面的研究，主要涉及到特征點的定位方法，局部特征提取方法和整體特征提取方法。大部分是基于正面和多姿態(tài)情況下的處理，對表情和遮擋等方面的考慮仍不夠完善，對于三維特征的研究還不夠透徹，而且每種特征提取方法均有其優(yōu)缺點，如何充分利用各種三維人臉的特征，將其有效地綜合，仍需要進一步的研究。

［1］KEVIN W B，KYONG C，PATRICK F.A survey of 3D and multi－ modal 3D+2D face recognition［R］.USA:Notre Dame Department of Computer Science and Engineering Technical Report，2004.

［2］BOWYER K W.CHANG K，F(xiàn)LYNN P.A survey of approaches and challenges in 3D and multimodal 2D+3D face recognition ［J］.Computer Vision and Image Understanding，2006，25(8):139 －147.

［3］WANG Yingjie，CHUA C S，HO Y K.Facial feature detection and face recognition from 2D and 3D images［J］.Pattern Recogniton Letters，2002，23(10):1191 －1202.

［4］MORENO A B，SANCHEZ A，VELEZ J F，et al.Face recognition using 3D face recognition［C］.International Conference on Audio－and－Video based Biometric Person Authentication，2005.

［5］楊穎，耿國華.人臉特征點自動標(biāo)定方法的研究［J］.計算機應(yīng)用與軟件，2007，31(6):62 －66.

［6］王蜜宮，陳鍛生，林超.基于局部形狀圖的三維人臉特征點自動定位［J］.計算機應(yīng)用，2010，29(9):19 －24.

［7］DORAI C，JAIN A K.COSMOS － A representation scheme for 3D free － form objects［J］.IEEE Transaction on PAMI，1997，19(10):1115 －1130.

［8］LU X，COLBRY D，JAIN A.Three － dimensional model based face recognition［C］.Cambrige，UK:InProc.International Conference on Pattern Recogniton，2004:362 －366.

［9］張廣鵬，張艷寧，郭哲.基于精確主軸分析及ICP的三維人臉配準(zhǔn)［J］.計算機工程與應(yīng)用，2009，31(5):98－101.

［10］李曉莉，達飛鵬.基于側(cè)面輪廓線和剛性區(qū)域的三維人臉識別［J］.中國圖象圖形學(xué)報，2010，34(2):367 －372.

［11］NAGAMINE T，UEMURA T，MASUDA I.3D facial image analysis for human identification［C］.International Conference on Pattern Recognition，1992:324 －327.

［12］PAN G，WU Z H.3D face recognition from range data［J］.International Journal of Image and Graghics，2005(5):573 －593.

［13］雷蘊奇，宋曉冰，袁美玲，等.雙目視覺中的一種人臉立體匹配及視差計算方法［J］.廈門大學(xué)學(xué)報:自然科學(xué)版，2009，32(1):191 －196.

［14］HESHER C，SRIVASTAVA A，ERLEBACHER G.A novel technique for face recognition using range images［C］.Seventh Int'l Symposium on Signal Processing and Its Application，2003.

［15］KIRBY M，SIROVICH L.Application of the Karhumen－loeve procedure for the characterization of human faces［J］.IEEE Transaction on PAMI，1990，12(1):103 －108.

［16］TURK M，PENTLAND A.Face processing:models for recognition［C］.Proc.Intelligent Robots and Computer Vision VIII，SPIE，1989，192:22 －32.

［17］阮秋琦，田文君.具有深度圖像的三維人臉特征提取［J］.鐵道學(xué)報，2009，33(4):87 －92.

［18］LEE J C，MILIOS E.Matching range images of human faces［C］.International Conference on Computer Vision，1990，39(1):1023－1036.

［19］TANAKA H T，IKEDA M，CHIAKI H.Curvature－ based face surface recognition using spherical correlation principal directions for curved object recognition［C］.Third International Conference on Automated Face and Gesture Recognition，1998:372 －277.