王宏勇，王青青

(河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，河南 鄭州 450001)

在實(shí)際環(huán)境中，同一個(gè)人在不同光照和姿態(tài)下的人臉圖像會(huì)存在表觀上的差異，而這種差異通常比不同人在幾乎相同的光照和姿態(tài)下的差異還大。單一的二維圖像，不可避免地受到光照、背景和姿態(tài)表情的影響［1］，提取精度受到較大限制。而三維數(shù)據(jù)具有光照、姿態(tài)不變的特性［2］，對(duì)提高特征提取的精度有較為重要的意義，因而受到廣泛的研究。研究者大多是基于局部特征和整體特征進(jìn)行特征提取。常用的局部特征有人臉曲線，幾何測(cè)量特征，以及剛性區(qū)域等。這些局部特征的提取一般是首先定位嘴角、鼻尖、額頭等特征點(diǎn)，在準(zhǔn)確定位特征點(diǎn)的基礎(chǔ)上，進(jìn)一步提取有利于人臉識(shí)別的特征。整體特征提取主要是針對(duì)深度圖像和EGI圖。

1 局部特征提取

1.1 特征點(diǎn)定位

特征點(diǎn)能否準(zhǔn)確定位對(duì)進(jìn)一步的研究工作具有重要意義。在特征點(diǎn)定位方面主要有兩類方法:一是基于對(duì)稱性的，從獲取人臉的對(duì)稱平面開(kāi)始，進(jìn)而定位其他的特征點(diǎn);二是基于幾何特征的，利用特征點(diǎn)的深度、曲率等幾何特征進(jìn)行定位特征點(diǎn)。

Wang Yingjie［3］等人將特征束的思想推廣到三維人臉特征點(diǎn)定位，首先是手工標(biāo)定訓(xùn)練集的特征點(diǎn)，計(jì)算特征點(diǎn)處的Point Signature，構(gòu)成特征束，同時(shí)判定人臉特征點(diǎn)的平均區(qū)域。對(duì)于新的模型，在平均區(qū)域內(nèi)尋找和特征束最匹配的點(diǎn)即為特征點(diǎn)。該方法允許人臉姿態(tài)和表情有少量變化。Moreno A B［4］等人使用平均曲率和高斯曲率對(duì)三維人臉模型進(jìn)行分割，得到人臉特征點(diǎn)的候選區(qū)域，然后通過(guò)五官分布特征，去掉非標(biāo)準(zhǔn)區(qū)域，得到真正的標(biāo)志區(qū)域。該方法要求人臉為正面或近似正面。楊穎［5］使用區(qū)域生長(zhǎng)的種子算法構(gòu)造器官輪廓區(qū)域。因?yàn)樵贛arr的視覺(jué)理論中，人類視覺(jué)對(duì)邊緣信息更為敏感，通過(guò)得到人臉器官輪廓的邊緣，就可利用各種方法進(jìn)行人臉特征的精確提取和定位。而在使用區(qū)域生長(zhǎng)算法構(gòu)造器官輪廓后，根據(jù)器官模板，使用最小二乘法擬合邊界，最終得到標(biāo)志點(diǎn)。該方法要求人臉的姿態(tài)恒定。王蜜宮、陳鍛生、林超等人［6］提出了基于局部形狀圖(Local Shape Map，LSM)的三維人臉特征點(diǎn)自動(dòng)定位方法，所有人臉上的同一特征點(diǎn)能形成特殊且相似的LSM，因此可以考慮利用LSM來(lái)實(shí)現(xiàn)這些點(diǎn)的精確定位。一個(gè)點(diǎn)的LSM使用包含在以該點(diǎn)為球心的球體內(nèi)部點(diǎn)來(lái)構(gòu)造描述這一點(diǎn)的局部形狀的二維直方圖。該方法首先使用曲率表示的形狀索引與曲度來(lái)選擇特征候選點(diǎn)然后利用LSM統(tǒng)計(jì)模型，實(shí)現(xiàn)任意姿態(tài)下的三維人臉鼻尖和內(nèi)眼角的自動(dòng)精確定位，該方法完全不受膚色和光照的影響，受方向、姿態(tài)和表情的變化影響也較小。

在特征點(diǎn)定位中比較重要的方法是采用Shape Index特征來(lái)定位特征點(diǎn)。Dorai［7］等人提出了 Shape Index特征，來(lái)表示每一點(diǎn)的凹凸程度，點(diǎn)p的Shape Index是由其最大和最小曲率計(jì)算的:一般鼻尖點(diǎn)候選點(diǎn)集中選取Shape Index值在0.85～1之間的點(diǎn)組成鼻尖區(qū)域，鼻尖點(diǎn)定位于區(qū)域的質(zhì)心，在內(nèi)眼角候選點(diǎn)集中選取Shape Index值在0～0.27之間的點(diǎn)組成內(nèi)眼角區(qū)域，內(nèi)眼角定位于區(qū)域的質(zhì)心

其中，k1為最大曲率;k2為最小曲率k2≤k1其取值范圍在0～1之間。

LU Xiaoguang［8］在柱面坐標(biāo)系下，重采樣為均勻網(wǎng)格來(lái)計(jì)算Shape Index特征，該特征在0～1之間分布，越接近0，表示該處曲面越凹，越接近1，表示該處曲面越凸。通過(guò)均值模板尋找特征最小點(diǎn)，即為眼窩點(diǎn)，然后利用標(biāo)志點(diǎn)之間的相對(duì)位置和曲率特征定位其他特征點(diǎn)。由于Shape Index特征具有姿態(tài)不變性，能夠較好地表示標(biāo)志點(diǎn)處的凹凸特性，故被廣泛使用。該方法要求三維數(shù)據(jù)為均勻網(wǎng)格，且為豎直分布，即只允許人臉繞豎直左右轉(zhuǎn)動(dòng)。

張廣鵬，張艷寧［9］提出了一種新的基于連續(xù)Shape Index和幾何約束的特征點(diǎn)定位方法，通過(guò)對(duì)點(diǎn)的鄰域擬合二次曲面，來(lái)計(jì)算Shape Index，獲得了更為精確和魯棒的特征。在幾何約束方面，其采用通過(guò)訓(xùn)練樣本建立一個(gè)統(tǒng)一的人臉標(biāo)志區(qū)域分布模型。通過(guò)幾何約束，可實(shí)現(xiàn)真正與姿態(tài)無(wú)關(guān)的特征點(diǎn)定位。

李曉莉，達(dá)飛鵬［10］也是基于Shape Index特征提取人臉特征點(diǎn)，但在人臉候選點(diǎn)集的選取方面，由于人臉點(diǎn)云是一張上下方向較長(zhǎng)，左右跨度劇中，前后厚度較小的曲面，因此采用了主元分析法PCA，提取了3個(gè)主方向的特征向量，形成人臉主軸坐標(biāo)系，而鼻尖點(diǎn)在人臉坐標(biāo)系附近，內(nèi)眼角的大致位置也可確定，這就將特征點(diǎn)的定位過(guò)程限定在一定范圍內(nèi)，不僅提高了特征點(diǎn)定位的精度，也減少了計(jì)算量。

1.2 局部特征提取

在準(zhǔn)確進(jìn)行特征點(diǎn)的定位上，國(guó)內(nèi)外學(xué)者對(duì)局部特征的提取也進(jìn)行了積極的研究。主要包括:曲線、幾何測(cè)量特征及剛性區(qū)域的提取。

人臉曲線主要包括人臉側(cè)面輪廓線，鼻尖處橫切輪廓線，額頭橫切輪廓線，眼睛下方的水平曲線和下巴輪廓線等，人臉曲面形狀可用若干條從人臉曲面提取的二維曲線近似表示。Nagamine T［11］等提出使用臉部曲線作為特征，首先使用啟發(fā)式方法提取臉部的幾個(gè)特征點(diǎn)，通過(guò)這些點(diǎn)可確定對(duì)稱平面，進(jìn)而在統(tǒng)一的坐標(biāo)系中提取側(cè)面輪廓線、眼睛下方的水平曲線和鼻尖區(qū)域曲線，然后將這3條曲線離散成特征向量，通過(guò)比較最相近向量來(lái)完成人臉匹配。實(shí)驗(yàn)結(jié)果表明側(cè)面輪廓線的識(shí)別能力最強(qiáng)，但對(duì)于局部的擾動(dòng)變化，該方法不魯棒。Pan G［12］使用 ICP(Iterative Closest Point)的對(duì)稱平面檢測(cè)方法檢測(cè)對(duì)稱面，得到側(cè)面輪廓線，隨后進(jìn)一步提取水平輪廓線，該方法可要求人臉任意變換。國(guó)內(nèi)學(xué)者宋曉冰、雷蘊(yùn)奇［13］等根據(jù)在所有點(diǎn)云坐標(biāo)中，深度值最大的點(diǎn)，只可能是最凸起額頭點(diǎn)、鼻尖點(diǎn)、嘴巴點(diǎn)和下巴點(diǎn)，這幾個(gè)點(diǎn)均在人臉中分輪廓線上，使用最高深度點(diǎn)的垂直向點(diǎn)集來(lái)確定人臉中分輪廓線，得到了較為滿意的實(shí)驗(yàn)結(jié)果。而且對(duì)人臉側(cè)面輪廓線做了進(jìn)一步的分析發(fā)現(xiàn)，輪廓線嘴巴處受表情影響嚴(yán)重，因此將人臉側(cè)面輪廓線分成兩段:(1)額頭到嘴唇上點(diǎn);(2)嘴唇上點(diǎn)到下巴，從而克服了嘴巴處的形變影響。

有不少學(xué)者基于幾何測(cè)量特征進(jìn)行特征提取，該方法較為簡(jiǎn)單。常用的幾何測(cè)量特征主要有距離特征、角度特征以及體積特征。距離特征如前額點(diǎn)到鼻尖點(diǎn)的距離、鼻根點(diǎn)到鼻尖的距離、鼻下點(diǎn)到嘴唇上點(diǎn)的距離、內(nèi)眼角點(diǎn)間距離、前額點(diǎn)到內(nèi)眼角的距離等，角度特征如前額點(diǎn)、鼻根、鼻尖形成的角度，鼻尖、鼻下根、上嘴唇點(diǎn)的角度。左眼內(nèi)眼角、鼻根、右眼內(nèi)眼角形成的角度等，體積特征如鼻子的體積。國(guó)內(nèi)學(xué)者雷云奇、宋曉冰［13］的研究發(fā)現(xiàn)利用幾何特征可區(qū)分不同的人臉，但由于人臉需要三庭五眼規(guī)則，較多特征值均極為接近，因此該方法對(duì)標(biāo)志點(diǎn)定位的精度要求極高，而且有的特征值之間相差較大，有些相差較小，這樣得到的歐式距離過(guò)于接近，容易造成錯(cuò)誤識(shí)別。該方法要求對(duì)特征點(diǎn)定位的精度要求較高，降低了識(shí)別算法的穩(wěn)健性。因此可采用幾何測(cè)量特征和輪廓線特征分級(jí)使用來(lái)提高精度。

在對(duì)剛性區(qū)域的研究上發(fā)現(xiàn)人臉不同區(qū)域?qū)Ρ砬榈拿舾谐潭仁遣煌?，將同一?duì)象在不同表情下的人臉?lè)謩e與中性表情人臉進(jìn)行剛性匹配，在所有匹配中均有較好效果的可認(rèn)為是人臉剛性區(qū)域。國(guó)內(nèi)學(xué)者李曉莉、達(dá)飛鵬［10］在基于側(cè)面輪廓線和剛性區(qū)域的研究中發(fā)現(xiàn)鼻子和眼睛、額頭是人臉最穩(wěn)定的區(qū)域，在提取有價(jià)值輪廓線的基礎(chǔ)上，利用人臉剛性區(qū)域進(jìn)行匹配，實(shí)驗(yàn)表明可以降低表情對(duì)識(shí)別產(chǎn)生的影響。

2 整體特征提取

常用的整體特征有:用深度圖表示三維人臉數(shù)據(jù)，將三維人臉映射成EGI圖。文獻(xiàn)［14］闡述了根據(jù)深度圖像特征提取的形狀特征是與光照變化無(wú)關(guān)的。深度圖是將三維人臉的點(diǎn)云數(shù)據(jù)正交投影，按深度值重采樣為規(guī)整數(shù)據(jù)，就可得到三維人臉的深度圖像，所得每幅人臉深度圖像均蘊(yùn)含了與其對(duì)應(yīng)的三維空間點(diǎn)之間的鄰接關(guān)系，由于深度圖像可以看作是一幅二維圖像，每一點(diǎn)的像素值代表對(duì)應(yīng)點(diǎn)的深度值，則二維人臉特征提取算法可以運(yùn)用于深度圖上，如PCA等。EGI圖是通過(guò)曲面上任何一點(diǎn)的法向量將該點(diǎn)映射到一個(gè)單位球面上，利用這種將曲面轉(zhuǎn)換為單位球面上的質(zhì)量分布映射圖，變成擴(kuò)展高斯圖(EGI)。

2.1 基于深度圖的PCA提取

Kirby和 Sirovich等人［15］討論了利用PCA進(jìn)行人臉圖像的最優(yōu)表示問(wèn)題，Turk和Pentland［16］發(fā)現(xiàn)K_L展開(kāi)后的特征向量在還原成圖像矩陣時(shí)，是一張標(biāo)志化的人臉。因?yàn)橐訩_L變換為基礎(chǔ)的PCA算法是統(tǒng)計(jì)最優(yōu)的，其使得壓縮前后的圖像均方誤差最小，且變換后的低維空間有較好的分辨能力方法簡(jiǎn)便、快速，在實(shí)際中得到了廣泛的應(yīng)用。但也有不足之處:首先，經(jīng)典的PCA算法是以所有樣本的最優(yōu)重建為目的，對(duì)于描述不同樣本間的差異而言，其不是最優(yōu)的描述。其次，當(dāng)采用主成份分析方法提取人臉特征時(shí)，人臉圖像的局部特征通常反映了人臉的內(nèi)在特性，圖像中的像素占有同等地位，對(duì)于人臉特征如嘴巴，鼻子，眼睛等特征未強(qiáng)調(diào)其重要性。最后一幅圖像的高階統(tǒng)計(jì)信息往往包含了圖像邊緣或曲線的多個(gè)像素之間的非線性關(guān)系，而PCA只考慮了二階統(tǒng)計(jì)信息，忽略了多個(gè)像素之間的非線性關(guān)系。

基于最后一個(gè)不足，國(guó)內(nèi)學(xué)者阮秋奇，田文君［17］等人提出了局部保持投影算法。該算法在拉普拉斯映射方法的基礎(chǔ)上提出，不僅具有保持?jǐn)?shù)據(jù)集非線性結(jié)構(gòu)不變的特點(diǎn)且繼承了線性方法計(jì)算方便快捷的優(yōu)點(diǎn)，又有一般的線性降維方法，而且還具有高維數(shù)據(jù)內(nèi)蘊(yùn)特征或非線性結(jié)構(gòu)的自動(dòng)發(fā)現(xiàn)功能。

2.2 基于EGI圖提取

Lee J C［18］首先將EGI應(yīng)用與人臉深度圖像的匹配，首先利用高斯曲率和平均曲率劃分人臉的凹凸區(qū)域，然后將凸區(qū)域映射在單位球上，將平均曲率作為單位球上對(duì)應(yīng)點(diǎn)的支撐函數(shù)值，形成EGI圖，然后用圖匹配算法計(jì)算兩個(gè)人臉模型的相似度量。Tanaka H T［19］計(jì)算三維人臉模型最大、最小主曲率以及相應(yīng)的方向，然后分別提取最小主曲率小于某個(gè)閾值的最大主方向的集合和最大主曲率大于某個(gè)閾值的最小主方向的集合，最后將兩個(gè)方向的集合分別映射到單位球面上，得到相應(yīng)的EGI圖，計(jì)算這兩個(gè)圖的Fisher球相關(guān)系數(shù)，將兩個(gè)系數(shù)相乘的結(jié)果作為兩個(gè)人臉的相似度量。該方法需要高分辨率的數(shù)據(jù)，否則曲率的計(jì)算將不精確、不可靠。

3 結(jié)束語(yǔ)

論述了國(guó)內(nèi)外眾多學(xué)者在三維人臉特征提取方面的研究，主要涉及到特征點(diǎn)的定位方法，局部特征提取方法和整體特征提取方法。大部分是基于正面和多姿態(tài)情況下的處理，對(duì)表情和遮擋等方面的考慮仍不夠完善，對(duì)于三維特征的研究還不夠透徹，而且每種特征提取方法均有其優(yōu)缺點(diǎn)，如何充分利用各種三維人臉的特征，將其有效地綜合，仍需要進(jìn)一步的研究。

［1］KEVIN W B，KYONG C，PATRICK F.A survey of 3D and multi－ modal 3D+2D face recognition［R］.USA:Notre Dame Department of Computer Science and Engineering Technical Report，2004.

［2］BOWYER K W.CHANG K，F(xiàn)LYNN P.A survey of approaches and challenges in 3D and multimodal 2D+3D face recognition ［J］.Computer Vision and Image Understanding，2006，25(8):139 －147.

［3］WANG Yingjie，CHUA C S，HO Y K.Facial feature detection and face recognition from 2D and 3D images［J］.Pattern Recogniton Letters，2002，23(10):1191 －1202.

［4］MORENO A B，SANCHEZ A，VELEZ J F，et al.Face recognition using 3D face recognition［C］.International Conference on Audio－and－Video based Biometric Person Authentication，2005.

［5］楊穎，耿國(guó)華.人臉特征點(diǎn)自動(dòng)標(biāo)定方法的研究［J］.計(jì)算機(jī)應(yīng)用與軟件，2007，31(6):62 －66.

［6］王蜜宮，陳鍛生，林超.基于局部形狀圖的三維人臉特征點(diǎn)自動(dòng)定位［J］.計(jì)算機(jī)應(yīng)用，2010，29(9):19 －24.

［7］DORAI C，JAIN A K.COSMOS － A representation scheme for 3D free － form objects［J］.IEEE Transaction on PAMI，1997，19(10):1115 －1130.

［8］LU X，COLBRY D，JAIN A.Three － dimensional model based face recognition［C］.Cambrige，UK:InProc.International Conference on Pattern Recogniton，2004:362 －366.

［9］張廣鵬，張艷寧，郭哲.基于精確主軸分析及ICP的三維人臉配準(zhǔn)［J］.計(jì)算機(jī)工程與應(yīng)用，2009，31(5):98－101.

［10］李曉莉，達(dá)飛鵬.基于側(cè)面輪廓線和剛性區(qū)域的三維人臉識(shí)別［J］.中國(guó)圖象圖形學(xué)報(bào)，2010，34(2):367 －372.

［11］NAGAMINE T，UEMURA T，MASUDA I.3D facial image analysis for human identification［C］.International Conference on Pattern Recognition，1992:324 －327.

［12］PAN G，WU Z H.3D face recognition from range data［J］.International Journal of Image and Graghics，2005(5):573 －593.

［13］雷蘊(yùn)奇，宋曉冰，袁美玲，等.雙目視覺(jué)中的一種人臉立體匹配及視差計(jì)算方法［J］.廈門大學(xué)學(xué)報(bào):自然科學(xué)版，2009，32(1):191 －196.

［14］HESHER C，SRIVASTAVA A，ERLEBACHER G.A novel technique for face recognition using range images［C］.Seventh Int'l Symposium on Signal Processing and Its Application，2003.

［15］KIRBY M，SIROVICH L.Application of the Karhumen－loeve procedure for the characterization of human faces［J］.IEEE Transaction on PAMI，1990，12(1):103 －108.

［16］TURK M，PENTLAND A.Face processing:models for recognition［C］.Proc.Intelligent Robots and Computer Vision VIII，SPIE，1989，192:22 －32.

［17］阮秋琦，田文君.具有深度圖像的三維人臉特征提?。跩］.鐵道學(xué)報(bào)，2009，33(4):87 －92.

［18］LEE J C，MILIOS E.Matching range images of human faces［C］.International Conference on Computer Vision，1990，39(1):1023－1036.

［19］TANAKA H T，IKEDA M，CHIAKI H.Curvature－ based face surface recognition using spherical correlation principal directions for curved object recognition［C］.Third International Conference on Automated Face and Gesture Recognition，1998:372 －277.