蔣建國， 胡珍珍， 詹 曙

（合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009）

人臉旋轉(zhuǎn)角度的估計是指確定輸入的人臉圖像在三維空間中對應于x、y、z3個坐標軸的旋轉(zhuǎn)角度。獲得準確的人臉姿態(tài)參數(shù)是智能人機交互、基于模型的視頻會議編碼、虛擬現(xiàn)實、智能控制以及人臉識別的前提條件，因而具有廣闊的應用前景。

近年來大部分人臉的姿態(tài)估計主要是基于二維人臉的灰度數(shù)據(jù)，對于姿態(tài)變化魯棒性較差。三維數(shù)據(jù)反映的人臉幾何信息，具有旋轉(zhuǎn)不變性，能夠克服姿態(tài)和光照變化的影響，因而受到越來越多的關(guān)注。當前三維數(shù)據(jù)的捕獲技術(shù)主要有[1]：基于立體視覺、結(jié)構(gòu)光和激光掃描儀3種?；诹Ⅲw視覺的捕獲技術(shù)是通過融合不同角度的二維圖像來合成三維人臉模型或三維圖像，通過各種光照模型，人臉表情模型和姿態(tài)估計消除光照條件，姿態(tài)和表情變化帶來的影響。結(jié)構(gòu)光技術(shù)是采用一組模式光，如光點、光條或光面，投影到人臉上，由模式光的形變可以得到人臉表面的深度信息。激光掃描儀獲取的3D數(shù)據(jù)較精確，但是儀器價格昂貴，采集速度較慢。國內(nèi)尹寶才、孫艷豐建立了目前國際上最大的中國人的三維人臉數(shù)據(jù)庫BJUT-3D，其中包括經(jīng)過預處理的1200名中國人的三維人臉數(shù)據(jù)，這一數(shù)據(jù)資源對于三維人臉識別與建模方面的研究有重要意義[2]。

目前國內(nèi)外對人臉旋轉(zhuǎn)角度估計的方法主要有兩類：基于表觀的方法和基于模型的方法。基于表觀的方法是假設(shè)3D人臉姿態(tài)與人臉圖像的某些特性（圖像密度、顏色、圖像梯度值等）存在唯一的對應關(guān)系，用大量已知3D人臉姿態(tài)的訓練樣本，通過統(tǒng)計方法來建立這種關(guān)系。國內(nèi)馬丙鵬、山世光等利用了一維Gabor濾波器提取頭部圖像特征再用局部Fisher判別分析估計姿態(tài)[3]。但這種方法需要大量的訓練樣本作為先驗集，精確度大大受限于訓練樣本的劃分策略數(shù)量。基于模型的方法利用某種幾何模型或結(jié)構(gòu)表示人臉的結(jié)構(gòu)和形狀，在模型和圖像之間建立起對應關(guān)系，然后通過幾何或者其他方法實現(xiàn)姿態(tài)的估計。Mazumdar等人使用兩個外眉點和嘴的中心點，形成一個T字型人臉模型實現(xiàn)了人臉姿態(tài)的估計[4]。Xiao 等人利用圓柱表示三維的頭部，并根據(jù)透視投影來估計頭部的姿態(tài)[5]。Park等利用AAM（Active Appearance Models，主動外觀模型）、期望最大化算法和3DMM（3D Morphable Model，3D形變模型）實現(xiàn)的單幅人臉圖像姿態(tài)預測[6]。Ebisawal以基于兩瞳孔和鼻孔的3D檢測來做人臉姿態(tài)估計[7]。國內(nèi)梁國遠、查紅彬等人利用人臉的三維模型生成特征點正面平行投影，根據(jù)圓和橢圓之間的仿射對應關(guān)系獲取人臉姿態(tài)[8]?；谀Ｐ头椒ǖ膬?yōu)點在于：人臉的幾何結(jié)構(gòu)通過投影模型清楚地揭示了3D人臉姿態(tài)和2D人臉圖像的關(guān)系。當人臉特征點被精確定位后，這種方法簡單易行，且具有高的精確度。但是這種方法的不足之處在于對于面部特征點的定位敏感。針對這一問題，本文利用相關(guān)型圖像傳感器所獲取的面部深度數(shù)據(jù)和一一對應的灰度數(shù)據(jù)，對人臉面部特征點進行精確定位，并利用定位的結(jié)果對人臉在三維空間的旋轉(zhuǎn)角度進行估算。實驗結(jié)果表明，該方法可以準確的估計面部旋轉(zhuǎn)角度，并對姿態(tài)的變化有著較好的魯棒性。

1 三維人臉數(shù)據(jù)

實驗所用三維數(shù)據(jù)采用基于圖像傳感器獲得的三維深度數(shù)據(jù)，以及與其一一對應的灰度圖像數(shù)據(jù)，如圖1、圖2所示。

圖1 三維人臉圖像

圖2 三維深度圖像

2 基于曲率的特征點定位

物體表面曲率具有幾何不變性[9]。為了分析三維人臉的曲率，定義人臉曲面S[9]，S是由二次可微的實值函數(shù)f定義的，令則曲面S可表示為

對于曲面S上的每一點(x,y, （fx,y）)的平均曲率H和Gauss曲率K可用式(1)-(2)計算

根據(jù)GaussK和H的符號，可以將局部曲面的形狀分為9類[10]，如下表所示。

表1 根據(jù)K和H符號確定的局部曲面分類

由微分幾何的知識可知：在人臉曲面中鼻子頂點處為頂面部分Gauss曲率最大處，而兩眼之間的鞍點部分則為鞍脊面部分Gauss曲率最小處。定位結(jié)果如圖3所示。

3 基于灰度的特征定位

人臉眼睛部位常見的遮擋物為眼鏡，由于眼鏡的影響會造成基于曲率特征對眼睛的定位不準確。而由CIS（Correlativn Image Sensor，相關(guān)類型圖像傳感器）所獲取的人臉深度數(shù)據(jù)和灰度數(shù)據(jù)是一一對應的，因此可以根據(jù)由深度數(shù)據(jù)所提取的鼻尖和鞍點為基準，再在灰度數(shù)據(jù)中提取出左右瞳孔的位置。人的瞳孔在亮度圖像中的灰度要明顯的小于人臉中其他部分，根據(jù)人臉的形態(tài)結(jié)構(gòu)知識，在鼻尖的上方、鞍點的左右區(qū)域設(shè)定搜索范圍，可以準確的找出灰度值最小點，確定左右瞳孔的位置。圖4的實驗結(jié)果表明，用亮度對眼睛的定位對于姿態(tài)變化和眼鏡遮擋的魯棒性較好，在光照不足的情況下也能夠?qū)崿F(xiàn)瞳孔準確定位。

圖3 利用曲率特征定位鼻尖點和鞍點

圖4 利用曲率和灰度對人臉鼻尖點、鞍點和左右瞳孔點定位的結(jié)果

4 基于特征點人臉旋轉(zhuǎn)角度估計

首先建立三維的人臉坐標系：水平方向為X方向，垂直方向為Y方向，垂直紙面指向外的方向為Z方向，如圖5所示。

圖5 人臉空間旋轉(zhuǎn)的3個方向

人臉面部的旋轉(zhuǎn)通常分成3種類型：平面內(nèi)旋轉(zhuǎn)（XOY平面內(nèi)旋轉(zhuǎn)）、左右旋轉(zhuǎn)（XOZ平面內(nèi)旋轉(zhuǎn)）和上下旋轉(zhuǎn)（YOZ平面內(nèi)旋轉(zhuǎn)）。

文獻[11]采用提取出的眼睛和嘴部的特征點建立等腰三角形來估計空間人臉的姿態(tài)。而實際上在空間中，面部的各個特征點很少在同一深度平面上，特別是在姿態(tài)發(fā)生偏轉(zhuǎn)時。本文根據(jù)CIS所獲取的人臉深度數(shù)據(jù)和灰度數(shù)據(jù)是一一對應的關(guān)系，在獲取特征點在灰度圖像中的位置的同時，也獲取了對應特征點的深度信息，通過對左右瞳孔、鼻尖點和鞍點空間位置坐標的計算，可以準確估計人臉在空間的旋轉(zhuǎn)角度。

以α、β、γ作為人臉分別繞X、Y、Z旋轉(zhuǎn)形成的角度。人臉面部每一點在空間中的坐標可表示為Xi,Yi,Zi。

γ的計算比較簡單，可直接通過左右瞳孔在圖像中的坐標計算出來，如圖6所示。令左右瞳孔的坐標分別為x1,y1,z1、 x2, y2,z2，則旋轉(zhuǎn)角度可由式(3)算出。

當人臉繞Y軸旋轉(zhuǎn)時，以鼻尖和鞍點的連線在空間中旋轉(zhuǎn)過的角度作為角度β。圖7中，saddle和nose點表示在中正面狀體下的鞍點和鼻尖點，saddle'和nose'則表示繞Y軸旋轉(zhuǎn)后的鞍點和鼻尖點。鼻尖的坐標為xn,yy,zn，鞍點的坐標為為xs,ys,zs。角度計算見式(4)。

圖6 旋轉(zhuǎn)角度γ

圖7 旋轉(zhuǎn)角度β

人臉繞X軸的旋轉(zhuǎn)角度α的計算也是通過鞍點和鼻尖點位置的變化來完成。圖8中，在中正面的狀態(tài)下，鼻尖與鞍點的連線與Y軸有一個夾角α0，當人臉圍繞X軸旋轉(zhuǎn)時，這一夾角會變成α'，兩個角度之間的差值即為人臉繞X軸的旋轉(zhuǎn)角度α。中正面時鞍點的坐標為xs,ys,zs，鼻尖點的坐標為xn,yn,zn，并且考慮到左右旋轉(zhuǎn)對上下旋轉(zhuǎn)的影響，旋轉(zhuǎn)角度可由式(5)算出。

圖8 旋轉(zhuǎn)角度α

同理可以計算出α′，則α=α′-α0

5 實 驗

實驗采用CIS采集的圖像包括7個人115組數(shù)據(jù)，每組數(shù)據(jù)可生成一幅深度圖和一幅灰度圖像，共有230幅圖像。這些人臉圖像包括：抬頭/低頭、左右偏轉(zhuǎn)等姿態(tài)和是否戴眼鏡不等人臉細節(jié)。圖像尺寸為64×64（單位：像素）。實驗中，令XOY平面內(nèi)逆時針旋轉(zhuǎn)為正，順時針旋轉(zhuǎn)為負；XOZ平面內(nèi)逆時針旋轉(zhuǎn)為正，順時針旋轉(zhuǎn)為負；YOZ平面內(nèi)逆時針旋轉(zhuǎn)為正，順時針旋轉(zhuǎn)為負。部分實驗結(jié)果如表9所示。實驗結(jié)果表明，本文的方法能夠?qū)Σ煌藨B(tài)人臉的旋轉(zhuǎn)角度作出正確估算。

6 結(jié) 論

本文提出了一種利用深度數(shù)據(jù)和灰度數(shù)據(jù)，通過特征點定位結(jié)果對人臉在空間里的旋轉(zhuǎn)角度進行估算的方法。根據(jù)微分幾何的知識，利用曲率特征的旋轉(zhuǎn)不變性，結(jié)合灰度特征，對不同姿態(tài)和遮擋條件下的人臉特征進行了定位，并根據(jù)定位的結(jié)果對人臉的旋轉(zhuǎn)角度進行了計算。對于115幅人臉圖像的實驗結(jié)果表明：本文的方法可以準確定位鼻尖點、鞍點和左右瞳孔，并能實現(xiàn)人臉角度的精確計算。

人臉旋轉(zhuǎn)角度的計算對于后續(xù)的人臉識別及相關(guān)計算，是一個重要的前處理過程，可作為表情分析、五官分割等方向的預處理。三維的數(shù)據(jù)克服了二維數(shù)據(jù)信息不足的缺點，在以后的人臉處理中會有更加廣泛的應用。

圖9 對不同人臉、不同姿態(tài)的實驗結(jié)果

[1]詹 曙, 常 虹, 蔣建國, 等. 基于相關(guān)型圖像傳感器三維人臉成像的三維AAMs人臉識別方法的研究[J]. 中國圖象圖形學報, 2008, 13(10): 2059-2063.

[2]尹寶才, 孫艷豐, 王成章, 等. BJUT-3D三維人臉數(shù)據(jù)庫及其處理技術(shù)[J]. 計算機研究與發(fā)展, 2009,46(6): 1009-1018.

[3]馬丙鵬, 山世光, 陳熙霖, 等. 一種基于圖像表觀的魯棒姿態(tài)估計方法[J].軟件學報, 2009, 20(6):1651- 1663.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, 2003: 505-511.

[5]Xiao J, Moriyama T, Kanade T, et al. Robust full-motion recovery of head by dynamic templates and registration techniques [J]. International Journal of Imaging Systems and Technology, 2003, 13: 85-94.

[6]Park S W, Heo J G, Savvides M. 3D face reconstruction from a single 2D face image [C]//Proceedins of Society Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 1-8.

[7]Ebisawal Y. Face pose estimation based on 3D detection of pupils and nostrils [C]//Proceedings of IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, Giardini Naxos, Itay, 2005:92-97.

[8]梁國遠, 查紅彬, 劉 宏. 基于三維模型和仿射對應原理的人臉姿態(tài)估計方法[J]. 計算機學報, 2005,28(5): 792-800.

[9]Colombo A, Cusano C, Schettini R. 3D face detection using curvature analysis [J]. Pattern Recognition, 2006,39: 444 - 455.

[10]Besl P J, Jain R C. Invariant surface characteristics for 3-d object recognition in range images [J].Comput, Vision, Graphics Image Process, 1986, 33:33-80.

[11]Nikolaidis A, Pitas I. Facial feature extraction and pose determination [J]. Attern Recognition, 2000, 33:1783-1791.