牛曉霞

（燕山大學(xué)信息科學(xué)與工程學(xué)院，秦皇島066004）

基于三維模型的人臉姿態(tài)估計(jì)?

牛曉霞

（燕山大學(xué)信息科學(xué)與工程學(xué)院，秦皇島066004）

提出了一種基于三維模型的人臉姿態(tài)估計(jì)方法。首先根據(jù)人臉特征點(diǎn)重建出稀疏的三維人臉模型，然后基于三維模型采用線性回歸的方法對人臉姿態(tài)進(jìn)行初步估計(jì)，確定姿態(tài)范圍，再對估計(jì)結(jié)果進(jìn)行修正，從而對人臉姿態(tài)進(jìn)行精確估計(jì)。實(shí)驗(yàn)表明，該方法具有較好的估計(jì)效果，提高了姿態(tài)估計(jì)精度。

三維模型；線性回歸；人臉姿態(tài)估計(jì)；稀疏模型

1 引 言

人臉姿態(tài)估計(jì)是指通過輸入單幅或多幅圖像以確定人臉在三維空間中姿態(tài)的過程。在人臉識別、虛擬現(xiàn)實(shí)、智能人機(jī)界面、司機(jī)疲勞檢測等領(lǐng)域，人臉姿態(tài)估計(jì)都有著廣泛的應(yīng)用。

現(xiàn)有的國內(nèi)外人臉姿態(tài)估計(jì)的方法大體可分為基于人臉特征的方法和基于模型的方法［1］?；谔卣鞯姆椒ǎ?］假設(shè)人臉的三維姿態(tài)與人臉圖像的某些特征（如灰度、色彩、圖像梯度等）之間存在著特定的對應(yīng)關(guān)系，將輸入圖像與姿態(tài)樣本進(jìn)行匹配得到姿態(tài)結(jié)果。Chen等人提出把人頭部看成人臉膚色和發(fā)色區(qū)域的組合，根據(jù)大量樣本數(shù)據(jù)建立起區(qū)域特性與人臉姿態(tài)之間的對應(yīng)關(guān)系［3］。這類方法在樣本不充分的情況下難以獲得滿意的結(jié)果?；谀Ｐ偷姆椒ㄊ侵咐脦缀文Ｐ徒Y(jié)構(gòu)來表示人臉形狀，并建立模型與圖像之間的對應(yīng)關(guān)系，然后基于此對應(yīng)求解姿態(tài)參數(shù)?；谀Ｐ偷姆椒ǖ淖畲髢?yōu)點(diǎn)就是方法簡單易行，且具有較高的精度［4－6］。Shimizu等人由統(tǒng)計(jì)方法定義了一個通用人臉模型，通過三維模型與人臉圖像上某些特定曲線的對應(yīng)進(jìn)行迭代優(yōu)化匹配得到人臉姿態(tài)參數(shù)估計(jì)［7］。

近年來，隨著三維人臉建模技術(shù)的發(fā)展，可以得到個性化稀疏的人臉模型［8－9］，并將個性化模型與人臉圖像之間對應(yīng)起來，基于此，提出一種個性化稀疏模型和優(yōu)化算法相結(jié)合的人臉姿態(tài)估計(jì)方法。對于重建的稀疏三維人臉，設(shè)計(jì)了兩步估計(jì)步驟：首先利用線性回歸的思想來對人臉姿態(tài)進(jìn)行初步估計(jì)［10］，然后將姿態(tài)估計(jì)結(jié)果作為初值，確定搜索范圍，再對估計(jì)角度參數(shù)進(jìn)行修正，最后得到人臉姿態(tài)的精確估計(jì)結(jié)果。

2 人臉模型重建

利用CVL Face Database人臉庫建立稀疏的三維人臉數(shù)據(jù)庫以及對應(yīng)的稀疏的二維人臉數(shù)據(jù)庫，根據(jù)主成分分析原理，可以將三維人臉以及二維人臉分別用以下公式表示：

主成分回歸算法就是利用相關(guān)模型的獨(dú)立與非獨(dú)立數(shù)據(jù)的關(guān)系來完成建模。最基本的要點(diǎn)就是將二維模型與三維模型分解到一個低維空間里，用主成分分析系數(shù)bs2D，i和bs3D，i來表示真實(shí)模型xi與Xi，然后用標(biāo)準(zhǔn)的線性回歸來聯(lián)系xi與Xi。

輸入提取的人臉特征點(diǎn)xinp，關(guān)于尺度因子與位移因子，可在對數(shù)據(jù)的預(yù)處理中求得S3D，這里輸入的人臉特征點(diǎn)即為與人臉庫對應(yīng)尺度的數(shù)據(jù)。對稀疏三維人臉數(shù)據(jù)庫進(jìn)行主成分分析得到。對相應(yīng)的二維人臉數(shù)據(jù)庫進(jìn)行主成分分析得到S2D，分別用各自的系數(shù)表示三維形狀樣本（X1，X2，...，Xn）和二維形狀樣本（x1，x2，...，xn），如式（3）和式（4）：

式中bs3D，i和bs2D，i分別為三維和二維人臉庫中能表示第i個人臉的形狀合成系數(shù)。然后令：

T＝［bs2D，1，bs2D，2，...，bs2D，m－1］，U＝［bs3D，1，bs3D，2，...，bs3D，m－1］，根據(jù)主成分回歸模型可得：

將人臉特征點(diǎn)xinp輸入，通過式（6）和式（7）求得形狀系數(shù)：

式中bs2D，inp為根據(jù)輸入特征點(diǎn)求取的二維形狀合成系數(shù)，然后通過式（7）求得三維形狀合成系數(shù)。

最后利用得到的三維形狀合乘系數(shù)通過式（8）得到三維稀疏人臉模型。

式中xr為恢復(fù)的稀疏人臉模型的形狀向量。

3 人臉姿態(tài)估計(jì)

3.1 基于線性回歸的初步估計(jì)

對于給定的任意姿態(tài)的人臉，首先選取7個特征點(diǎn)，分別為兩眼的內(nèi)外眼角、鼻下點(diǎn)和左右嘴角點(diǎn)。然后在建立的稀疏三維人臉模型上對這7個點(diǎn)進(jìn)行標(biāo)定，分別得到二維、三維坐標(biāo)為pi（xi，yi）和qi，（xi，yi，zi），其中i＝1，2，...，7。將人臉模型進(jìn)行姿態(tài)旋轉(zhuǎn)到特定角度，得到：

式中R（α），R（β），R（γ）為對應(yīng)的旋轉(zhuǎn)矩陣。將經(jīng)過旋轉(zhuǎn)后的特征點(diǎn)平行投影到二維平面即為pi（xi， yi）。將上式展開，把與相關(guān)的坐標(biāo)變換信息舍去，將xi，yi，zi視為自變量，視為因變量，則式（10）滿足多元線性回歸模型。

式中a1＝cosγcosβ；

a2＝sinγcosβ；

a3＝cosγsinβsinα－sinγcosα；

a4＝sinγsinβsinα＋cosγcosα；

a5＝cosγsinβcosα＋sinγsinα；

a6＝sinγsinβcosα－cosγsinα；

上次展開后的方程組為超定線性系統(tǒng)，可以用最小二乘法求解。令A(yù)＝（a1，a2，a3，a4，a5，a6）T表示回歸系數(shù)，Y＝（y1，y2，...，y14）T，矩陣B為：

則A＝B⊥Y。其中B⊥＝（B′B）－1，B′是B的偽逆轉(zhuǎn)置矩陣。

利用相關(guān)特征點(diǎn)以及回歸系數(shù)進(jìn)行姿態(tài)的初步估計(jì)：

（1）人臉繞z軸的旋轉(zhuǎn)角度γ可以通過內(nèi)外眼角點(diǎn)和左右嘴角點(diǎn)的坐標(biāo)計(jì)算得到。

（2）人臉繞y軸的旋轉(zhuǎn)角度β可先根據(jù)回歸系數(shù)a1，a2分別求得旋轉(zhuǎn)角度β1和β2，然后求取β1和β2的均值即得。

（3）人臉繞x軸的旋轉(zhuǎn)角度α與求β的方法相似，根據(jù)回歸系數(shù)a3，a4，a5，a6分別求出α1，α2，α3，α4，然后通過求取四者的平均值得到。

3.2 姿態(tài)角度修正

為了避免線性回歸算法得到結(jié)果誤差過大的現(xiàn)象，針對三維模型中所使用的七個點(diǎn)，將其做空間旋轉(zhuǎn)并進(jìn)行投影，得到相應(yīng)二維坐標(biāo)。由于人臉繞x軸的旋轉(zhuǎn)角度γ可以通過圖像直接進(jìn)行確定，而且精度較高，所以這里只針對繞x軸的旋轉(zhuǎn)角度α和繞y軸的旋轉(zhuǎn)角度β進(jìn)行校正約束。首先定義函數(shù)：

其中，xin為輸入的帶有姿態(tài)的特征點(diǎn)，xr為重構(gòu)的稀疏三維模型，LR代表將三維模型做旋轉(zhuǎn)投影變換。針對式（12），發(fā)現(xiàn)當(dāng)輸入的角度接近真實(shí)角度時，Θ（α，β）可以得到最小值，因此可以以此為判斷依據(jù)，將使用線性回歸算法得到的姿態(tài)估計(jì)角度作為參考，確定一個合理的角度范圍，然后對不同角度組合作為參數(shù)進(jìn)行輸入，對式（12）進(jìn)行求解，就可以得到相應(yīng)的Θ（α，β）。將所有Θ（α，β）的計(jì)算結(jié)果進(jìn)行搜索可以得到相應(yīng)的最小Θ（α，β），其對應(yīng)的α與β即為所求，也就意味著經(jīng)旋轉(zhuǎn)投影變換的三維特征點(diǎn)與給定的帶有姿態(tài)的特征點(diǎn)距離最為接近。

將人臉庫中三維人臉模型進(jìn)行旋轉(zhuǎn)投影之后得到的二維向量作為輸入進(jìn)行算法驗(yàn)證時發(fā)現(xiàn)：求解α?xí)r，當(dāng)α＜10°時線性回歸算法計(jì)算結(jié)果誤差較大，此時采用修正算法結(jié)果作為估計(jì)結(jié)果；當(dāng)α＞10°時線性回歸算法與修正方法得到的結(jié)果都接近真實(shí)值，這時為了使誤差穩(wěn)定，將兩個結(jié)果進(jìn)行加權(quán)平均處理得到估計(jì)結(jié)果，如式（13）。

其中α1為線性回歸估計(jì)結(jié)果，α2為調(diào)整后的結(jié)果，α為最終估計(jì)結(jié)果。求解β時，將線性回歸估計(jì)結(jié)果與修正結(jié)果進(jìn)行平均計(jì)算得到最終結(jié)果。

整個的姿態(tài)角度求解過程如下：

（1）輸入給定的人臉正面照片，進(jìn)行特征點(diǎn)提取，根據(jù)特征點(diǎn)進(jìn)行稀疏三維模型重建，得到相應(yīng)的3D人臉形狀模型；

（2）輸入相應(yīng)的帶有姿態(tài)的人臉圖片，標(biāo)定左右嘴角點(diǎn)、鼻下點(diǎn)和兩眼的內(nèi)外眼角7個特征點(diǎn)；

（3）建立線性回歸方程，進(jìn)行求解，并進(jìn)一步解出姿態(tài)角度的估計(jì)結(jié)果；

（4）以估計(jì)結(jié)果為參考確定搜索范圍，利用定義的函數(shù)Θ（α，β），對線性回歸算法得到的結(jié)果進(jìn)行修正約束，得到最終估計(jì)結(jié)果。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在3.11GHz AMD Athlon（tm）IIX2，1.75 GB內(nèi)存，MATLABR2010a環(huán)境下編程所得。為了驗(yàn)證實(shí)驗(yàn)結(jié)果，采用人臉庫中三維人臉模型經(jīng)過旋轉(zhuǎn)投影得到的二維坐標(biāo)作為輸入?yún)?shù)，進(jìn)行姿態(tài)計(jì)算。圖1為真實(shí)的人臉圖片，圖2為建立的稀疏三維人臉形狀模型，圖3為建立個性化稀疏的三維人臉模型與真實(shí)特征點(diǎn)的坐標(biāo)圖，其中紅色星號為人臉庫中人臉模型的真實(shí)坐標(biāo)，藍(lán)色點(diǎn)為重建的三維坐標(biāo)。可見重建結(jié)果令人滿意。

圖1 真實(shí)人臉圖片

圖2 建立的三維形狀模型

表1中分別給出了使用線性回歸算法和使用文中算法的姿態(tài)估計(jì)結(jié)果。可見，文中算法的估計(jì)結(jié)果比較精確，與單獨(dú)使用線性回歸算法相比，文中算法在估計(jì)精度上也有提高。

為了進(jìn)一步驗(yàn)證算法的有效性，在人臉庫中隨機(jī)抽取10個人臉樣本，分別使用角度α＝20°，β＝19°進(jìn)行測試。其中x軸方向的絕對平均誤差Δα＝0.5336°，y軸的絕對平均誤差Δβ＝0.3197°，從人臉形狀模型重建到兩步姿態(tài)估計(jì)結(jié)束平均用時1.6482s。

圖3 重建特征點(diǎn)與提取特征點(diǎn)

表1 姿態(tài)估計(jì)結(jié)果

5 結(jié)束語

提出一種基于三維模型的人臉姿態(tài)估計(jì)方法。首先對建立的人臉庫分別進(jìn)行主成分分析，建立稀疏的個性化人臉模型，然后采用兩步估計(jì)的方法對人臉姿態(tài)進(jìn)行估計(jì)。其中第一步采用線性回歸的方法進(jìn)行初步估計(jì)，確定姿態(tài)范圍，第二步對估計(jì)結(jié)果進(jìn)行修正，得到最終的姿態(tài)解。算法提取可見特征點(diǎn)，不依賴于人臉的紋理信息，所以對人臉圖像的光照條件無特殊要求，建模效果良好，姿態(tài)估計(jì)結(jié)果令人滿意，從建模到姿態(tài)估計(jì)結(jié)束用時較短，具有一定的實(shí)際應(yīng)用價值。

［1］Eric M C，Mohan M T.Head pose estimation in computer：A Survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（4）：607－626.

［2］葉航軍，白雪生，徐光.基于支持向量機(jī)的人臉姿態(tài)判定［J］.清華大學(xué)學(xué)報(bào)，2003，43（1）：67－70.

［3］Q Chen，H Wu，T Shioyama，T Shimada.3D Head Pose Estimation using Color Information［C］.In Proceedings of IEEE International Conference on Multimedia Computing and Systems，1999：697－702.

［4］Shafi M，Chung PW H.Face pose estimation from eyes and mouth［J］.Advanced Mechatronics Systems，2010，11（2）：132－138.

［5］梁國遠(yuǎn)，查紅彬，劉宏.基于三維模型和仿射對應(yīng)原理的人臉姿態(tài)估計(jì)方法［J］.計(jì)算機(jī)學(xué)報(bào)，2005，28（5）：792－800.

［6］曾慧，穆志純，袁立.基于三維模型的人臉姿態(tài)估計(jì)方法［J］.計(jì)算機(jī)工程，2011，37（9）：1－3.

［7］Shimizu I，Zhang Z，Akamatsu S，Deguchi K.Head pose determination from one image using a generic model［J］.Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition，Nara，1998，100－105.

［8］Rara H M，F(xiàn)arag A A，Davis T.Model－based 3D shape recovery from single images of unknown pose and illumination using a small number of feature points［C］.IEEE International Joint Conference on Biometrics Compendium，2011：1－7.

［9］王國胤，龔勛，等.基于認(rèn)知機(jī)理的三維人臉建模及應(yīng)用［J］.重慶郵電大學(xué)學(xué)報(bào)，2009，21（4）：555－560.

［10］熊黎麗，王國胤，龔勛，等.基于三維重建的人臉姿態(tài)估計(jì)［J］.重慶郵電大學(xué)學(xué)報(bào)，2010，22（3）：375－380

Face Pose Estimation Based on 3D Model

NIU Xiao－xia
（College of Information Science and Engineering，Yanshan University，Qinhuangdao 066004，China）

The face pose estimation method based on 3D model is proposed.First，the spare face model is built according to the feature points of the face.Then，based on the 3D face model，linear regression is used to estimate the face pose preliminarily and the 3D face pose is revised to acquire the accurate pose value.Finally，the face pose is estimated accurately.The experiment results show that the estimation method can obtain satisfying result and achieve better accuracy.

3D models；Linear regression；Face pose estimation；Sparsemodel

10.3969／j.issn.1002－2279.2014.06.018

TP391.4

：A

：1002－2279（2014）06－0062－04

秦皇島市科學(xué)技術(shù)研究與發(fā)展指導(dǎo)計(jì)劃資助項(xiàng)目（2012021A048）

牛曉霞（1981－），女，河北保定人，實(shí)驗(yàn)師，碩士，主研方向：計(jì)算機(jī)圖形圖像處理。

2014－09－15