徐國慶，吳云韜

（武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院 智能機器人湖北省重點實驗室，湖北 武漢430205）

0 引 言

在基于人臉跟蹤的智能人機交互控制中，如何有效地檢測跟蹤人臉的特征點，并根據(jù)跟蹤結(jié)果識別人臉動作是系統(tǒng)應(yīng)用的研究熱點和難點。

臉部運動可以通過頭部姿態(tài)變化得到，因此可以通過估計頭部姿態(tài)來獲取臉部運動信息。使用2D 形狀模型［1，2］對人臉姿態(tài)進(jìn)行估計，通過計算臉部中心點與左右輪廓邊界點的比例來計算人臉的偏轉(zhuǎn)角度，在人臉左右偏轉(zhuǎn)角度不大時，能夠獲得較為滿意的識別結(jié)果，由于其計算偏轉(zhuǎn)角度時使用了關(guān)鍵點位置量比較，當(dāng)人臉出現(xiàn)上下運動或者深度方向的變化時，關(guān)鍵點的位置量在橫向上變化不大，無法準(zhǔn)確進(jìn)行計算。

使用三維參數(shù)化網(wǎng)格簡化人臉柱狀模型［3，4］，在實現(xiàn)三維對齊時可以自動獲得3個偏轉(zhuǎn)角度。三維模型擬合需要較大的計算量，并且當(dāng)人臉出現(xiàn)較大角度的偏轉(zhuǎn)時，模型的失真度加大，會導(dǎo)致擬合失敗。利用眼睛的局部特征實現(xiàn)人臉跟蹤和定位［5－7］。利用相鄰圖像幀間的差分圖像提取運動信息［8，9］，作為臉部動作跟蹤的計算結(jié)果，由于相鄰幀間的運動信息容易受到變化的背景和光照的影響，處理的魯棒性和環(huán)境適應(yīng)性不高。針對膚色的個性化特征，使用動態(tài)匹配的在線膚色模板［10］，在算法的復(fù)雜度和計算效率上有較大的改進(jìn)。

本文在動態(tài)膚色模板的基礎(chǔ)上，考慮到人臉運動跟蹤的目標(biāo)是運動的人臉，可以使用人臉的關(guān)鍵點信息，并考慮人臉在運動視頻中的膚色信息，通過膚色重心跟蹤實現(xiàn)對人臉的快速跟蹤。結(jié)合主動表觀模型對膚色區(qū)域進(jìn)行約束，進(jìn)一步提高膚色跟蹤精度。提出一種基于膚色重心運動歷史圖的人臉跟蹤以及姿態(tài)識別，實驗結(jié)果表明，該算法可以較好地克服人臉膚色與背景接近導(dǎo)致的跟蹤飄移的影響，在人臉快速運動時能夠?qū)崿F(xiàn)實時魯棒跟蹤。

1 在線膚色算法

膚色檢測算法一般采用固定膚色模型參數(shù)，其檢測的膚色區(qū)域往往會出現(xiàn)加大范圍的誤檢獲漏檢，考慮到人臉在初次使用人臉定位時可以確定人臉范圍，在此范圍內(nèi)可以結(jié)合實際的膚色圖像進(jìn)行在線的膚色參數(shù)調(diào)整。

在人臉對齊中使用主動表觀模型能夠較為準(zhǔn)確地定位出人臉的邊緣輪廓，在人臉上定義了一系列關(guān)鍵點，可以通過下式的向量表示

給定一組標(biāo)記好形狀的人臉訓(xùn)練樣本，可以將訓(xùn)練集中任意一個形狀表示為平均形狀加上若干形狀基向量的線性組合

式中：s0——平均形狀，si——與前n 個相互正交的最大本征值對應(yīng)的本征向量，κi——形狀系數(shù)。這些關(guān)鍵點中處于輪廓線上的點可以構(gòu)成一個半封閉的區(qū)域，在該區(qū)域邊緣將人臉部分與背景分割開，可以此邊界提取膚色特征。對膚色分布采用二維高斯分布來描述，二維高斯分布的表達(dá)式為

式中：b——樣本在YCbCr顏色空間的值，μ——膚色在YCbCr顏色空間樣本均值，C——膚色相似度模型協(xié)方差矩陣。通用的統(tǒng)計方法針對于某一特定的膚色時會出現(xiàn)偏差，特別是當(dāng)背景中含有與膚色顏色接近的區(qū)域時，會使前景背景的運動出現(xiàn)混淆，導(dǎo)致運動估計出現(xiàn)較大的偏差。為在跟蹤圖像中將顏色區(qū)域限定在真實的臉部區(qū)域，可利用主動表觀模型的邊緣輪廓確定人臉膚色區(qū)域，并對該區(qū)域以外的其它非人臉區(qū)域進(jìn)行屏蔽，獲得在線的膚色模型。

圖1是使用在線膚色檢測的效果?？梢钥闯?，使用在線膚色檢測可以較好地適應(yīng)人臉的個性化特征，可以魯棒地檢測出一些由于局部高光 （如額頭）和遮擋陰影 （如脖子）導(dǎo)致的固定參數(shù)漏檢的區(qū)域。

2 膚色運動歷史圖像

圖1 在線膚色檢測效果

在視頻物體跟蹤算法中，運動歷史圖 （MHI）通過將連續(xù)幀中運動信息保留在同一幀中，從而能夠推算出圖像目標(biāo)的運動信息，針對人臉跟蹤的具體應(yīng)用，可以結(jié)合膚色區(qū)域的提取結(jié)果，將運動信息的計算限定在人臉區(qū)域內(nèi)，減少計算量，并能夠魯棒地對人臉的運動進(jìn)行跟蹤。

直接使用默認(rèn)的膚色檢測結(jié)果進(jìn)行計算時，由于區(qū)域內(nèi)可能含有類膚色的非人臉范圍，特別當(dāng)該像素位于背景內(nèi)時，此類像素會使計算的結(jié)果出現(xiàn)較大的偏差。因此使用主動表觀模型對人臉區(qū)域進(jìn)行限定，其算法流程如下：

（1）在初始幀中通過主動表觀模型獲取雙頰區(qū)域，并創(chuàng)建在線膚色特征參數(shù)，獲取準(zhǔn)確的在線膚色區(qū)域Ω，對該區(qū)域內(nèi)的每一個像素點I（x，y），計算其膚色概率p（x，y），確定膚色區(qū)域的質(zhì)心位置分量

膚色質(zhì)心的位置（xc，yc）通過下式計算

（3）跟蹤視頻的每幀圖像時刻用τk表示，計算相鄰幀之間的像素差可以獲得輪廓圖ψk

將當(dāng)前時刻與前一段時間的輪廓圖記錄在同一幅圖像內(nèi)，獲得運動歷史圖像H

式中：T——圖像幀保存時間，即在運動歷史圖中最早的輪廓圖像時刻為τk－T。

（4）在運動歷史圖中保存前幀圖像像素值的變化以及時間標(biāo)志，對運動歷史圖對應(yīng)的像素點計算梯度，獲得相鄰視頻幀中的運動信息。將這些像素點的運動信息進(jìn)行統(tǒng)計分析，獲得圖像中的膚色運動信息。

3 運動方向識別

通過膚色歷史圖跟蹤獲得人臉的實際運動軌跡，該軌跡可以作為真實人臉位置的預(yù)估區(qū)域Ω0。在預(yù)估的人臉區(qū)域內(nèi)進(jìn)行人臉對齊，并根據(jù)對齊的結(jié)果獲得主動表觀模型上對應(yīng)的相鄰兩幀上的關(guān)鍵點坐標(biāo)，則可以依據(jù)跟蹤的關(guān)鍵點的坐標(biāo)位置的變化獲取實際的關(guān)鍵點運動方向。由于實際的人臉運動方向與單一關(guān)鍵點的運動方向之間存在一定的誤差，因此使用關(guān)鍵點進(jìn)行人臉總運動方向計算時應(yīng)濾除與真實方向誤差較大的關(guān)鍵點方向。

對于每個匹配點，計算其運動矢量方向和幅值

在實際的跟蹤中，由于像素點的梯度方向并不完全相同，可以采用對（x，y）進(jìn)行平均來獲取總體的運動方向，但由于跟蹤的像素點中存在與實際運動方向偏差較大的關(guān)鍵點，直接使用平均值會將這些關(guān)鍵點的誤差進(jìn)行累積。因此，本文采用運動方向濾波方法，在跟蹤過程中不斷將誤匹配的關(guān)鍵點進(jìn)行去除，其步驟如下：

（2）統(tǒng)計Bk中最大值，作為運動匹配方向的主方向Θ；

（3）選擇對應(yīng)的匹配點的運動方向矢量及幅度值作為有效匹配點輸出。

使用上述方法獲得的運動方向可以比較魯棒地去除誤匹配的關(guān)鍵點，使最終的運動方向與實際人臉的運動方向一致。

在人臉運動過程中，記錄匹配的主方向，構(gòu)成觀測序列：｛Θi｝、｛λi｝，臉部運動的動作可以根據(jù)序列進(jìn)行判斷。將臉部運動的動作設(shè)定為上下點頭、左右搖頭，其動作對應(yīng)的概率為：pn、ps。使用觀測序列，計算者兩類動作概率，概率最大者即為當(dāng)前識別的動作。

點頭動作由連續(xù)的低頭抬頭構(gòu)成，搖頭動作由連續(xù)的左右交替的擺頭動作構(gòu)成，在動作序列中通過對連續(xù)動作的方向識別，實現(xiàn)對上述兩類動作的區(qū)分。在某一連續(xù)動作中，其動作方向呈交替變化，可以認(rèn)為在設(shè)定的動作序列范圍內(nèi)，兩個相對方向的序列統(tǒng)計個數(shù)相等，因此，定義下述的動作識別概率函數(shù)

式中：N——動作觀測序列的總幀數(shù)，Nu，Nd——觀測序列中抬頭、低頭幀數(shù)，Nsl，Nsr——觀測序列中左頭、右擺頭 幀 數(shù)，，，，為 大 于0 的 調(diào) 節(jié) 系 數(shù)，且＋＝1，＋＝1。分別計算點頭搖頭的識別概率并比較兩者大小即可以判斷當(dāng)前頭部動作類型。

4 實驗結(jié)果和討論

4.1 關(guān)鍵點跟蹤實驗

使用運動方向濾波算法能夠快速濾除匹配的關(guān)鍵點中與實際人臉運動方向明顯不符的點，使剩余的關(guān)鍵點的匹配結(jié)果正確反映實際的人臉運動。圖2是在運動人臉視頻中的實驗結(jié)果。

圖2 運動方向濾波的關(guān)鍵點匹配結(jié)果

圖2中左列為直接使用歷史圖像匹配在本幀上的關(guān)鍵點對齊結(jié)果，右列為使用運動方向濾波后去除了誤匹配點的跟蹤效果。從圖中可以看出，使用主方向濾波算法，能夠?qū)㈥P(guān)鍵點匹配結(jié)果中匹配矢量運動方向明顯偏離實際運動方向的點去除，如第一行的下嘴角處、第二行的左側(cè)臉頰處、第三四行的左眉角處、第五行的上嘴唇處、第六行的下巴處，這些點均明顯偏離臉部的真實運動方向，濾出后右列中的關(guān)鍵點均能夠反映實際的人臉運行方向。圖中線段為匹配的運動矢量，含圓點的端點表示運動矢量的前幀起始處，另一端點為當(dāng)前幀中的匹配點。矢量標(biāo)示了關(guān)鍵點的運動軌跡。

4.2 臉部動作跟蹤識別實驗

本文在測試的視頻上分別比較了運動方向濾波的動作識別算法和直接統(tǒng)計所有方向的算法。

圖3中橫軸12個區(qū)間為圓周角進(jìn)行12等分，即每一個區(qū)間的角度為30°。深灰色區(qū)域的多個bar顯示了沒有考慮主運動方向時，多個關(guān)鍵點的運動方向偏離大多數(shù)關(guān)鍵點的方向，這些點直接進(jìn)行運動方向平均會導(dǎo)致實際運動方向發(fā)生偏離。而淺灰色的bar顯示的是對原始的匹配結(jié)果進(jìn)行主運動方向濾波，將偏離主運動方向的關(guān)鍵點濾除，并且將最多匹配的方向兩側(cè)的30°內(nèi)匹配的關(guān)鍵點保留累加進(jìn)主方向，最終得到一個方向（每幅圖中的最高的bar）。這個方向明確地指示了人臉的實際運動方向。使用這種算法可以在運動視頻關(guān)鍵點匹配過程中及時濾除誤匹配點，避免誤差累積。

圖3 人臉運動方向匹配對比

圖4給出了本文算法在臉部動作識別上的結(jié)果，上下兩條曲線為同一段視頻中分別使用點頭、搖頭動作概率算法計算的結(jié)果。視頻幀中的動作分別為連續(xù)點頭抬頭、連續(xù)搖頭、間斷點頭抬頭以及連續(xù)搖頭、間斷點頭抬頭，從兩條概率曲線上，可以明顯地區(qū)分出這兩類動作。從圖中曲線可以看出，使用主方向濾波的動作識別能夠獲得更為精確的識別結(jié)果。

5 結(jié)束語

圖4 視頻幀臉部運動識別結(jié)果

在視頻中魯棒識別臉部動作是自然人機交互的主要研究問題之一，本文使用在線膚色模型實現(xiàn)快速的人臉跟蹤位置預(yù)估，使用主動表觀模型關(guān)鍵點匹配算法實現(xiàn)運動過程中的精確位置計算。根據(jù)跟蹤的動作序列，結(jié)合動作概率算法實現(xiàn)對運動視頻中的人臉動作的精確識別。實驗結(jié)果表明，該算法能夠在人臉多方向運動過程中較為魯棒地識別人臉的準(zhǔn)確動作，能夠較好地區(qū)分點頭、搖頭兩類動作。算法的不足點在于使用在線膚色模型初始階段需要初始化膚色參數(shù)，以及在關(guān)鍵點濾波過程中需要實時更新關(guān)鍵點，在P42.4Ghz－CPU 的計算機上實測的計算效率為18fps，算法的實時性還有待進(jìn)一步提高。

［1］CHEN Ying，AI Chunlu.Face features tracking with conditional active appearance model［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （4）：510－518 （in Chinese）. ［陳瑩，艾春璐.條件主動外觀模型下的人臉特征點跟蹤 ［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25 （4）：510－518.］

［2］Lin SD，Lin Jia－Jen.Sleepy eye’s recognition for drowsiness detection ［C］／／International Symposium on Biometrics and Security Technologies，2013：176－179.

［3］HU Min，ZHU Hong，WANG Xiaohua.Expression recognition method based on gradient Garbor histogram features［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （12）：1856－1861 （in Chinese）.［胡敏，朱弘，王曉華.基于梯度Gabor直方圖特征的表情識別方法 ［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25 （12）：1856－1861.］

［4］Xu Guoqing.Real time detection of eye corners and iris center from images acquired by usual camera［J］.International Journal of Intelligent Engineering ＆Systems，2010，3 （1）：25－32.

［5］ZHOU Mingcai，LIANG Lin，SUN Jian.AAM based face tracking with temporal matching and face segmentation ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2010：673－680.

［6］Roberto Valenti，Theo Gevers.Accurate eye center location and tracking using isophote curvature［C］／／Proceedings of the 21st IEEE International Conference on Computer Vision and Pattern Recognition，Anchoage，2010.

［7］WANG Kejun，ZOU Guofeng，F(xiàn)U Guixia，et al.An approach to fast eye location and face plane rotation correction［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （6）：865－879 （in Chinese）.［王科俊，鄒國鋒，傅桂霞，等.一種快速眼睛定位與人臉平面旋轉(zhuǎn)校正方法 ［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25 （6）：865－879.］

［8］XU Guoqing.Real time face alignment using online features model［J］.Computer Engineering and Design，2013，34 （11）：4021－4026 （in Chinese）.［徐國慶.在線模板的人臉特征點對齊 ［J］.計算機工程與設(shè)計，2013，34 （11）：4021－4026.］

［9］Audrius Bukis Rimvydas Simutis.Face orientation normalization using eye positions［J］.Computer Technology and Application，2013，7 （10）：513－521.

［10］XU Guoqing.Eye center location using composite features［J］.Computer Engineering and Design，2014，35 （10）：3598－3601 （in Chinese）. ［徐國慶.復(fù)合特征的眼睛中心定位 ［J］.計算機工程與設(shè)計，2014，35 （10）：3598－3601.］