宋懷波,齊關(guān)鋒,錢 程
(西北農(nóng)林科技大學(xué)機械與電子工程學(xué)院,陜西楊凌712100)
面部主要特征點的精確定位是判斷面部表情的關(guān)鍵,在駕駛員疲勞駕駛[1]、生物特征識別[2-3]、視頻監(jiān)控[4]、信息安全[5]、訪問控制[6]、智能機器人[7]等領(lǐng)域有著廣泛的應(yīng)用前景。但是,受光線明暗、攝像角度、膚色差異、性別、年齡等因素影響,同一個人在不同地點和時間內(nèi)拍攝到的人臉圖像存在很大的差異。因此,實現(xiàn)不同場景下的面部主要特征點的有效定位成為模式識別研究領(lǐng)域最富挑戰(zhàn)性的研究課題之一,受到了越來越多的關(guān)注。
面部主要特征點很多,目前的研究主要集中在眼部與嘴部的精確定位上。在眼部區(qū)域定位研究方面,主要采用模板匹配法[8]、特征臉方法[9]、神經(jīng)網(wǎng)絡(luò)法[10]、基于對稱性的方法[11]和 Hough變換方法等。模板匹配方法、特征臉方法以及神經(jīng)網(wǎng)絡(luò)方法著重于眼部區(qū)域的整體特征,后兩種方法主要考慮幾何特性。上述方法在光照均勻、背景簡單時可行,但其計算量較大,不利于實時處理,且對光照、旋轉(zhuǎn)角度等的影響極為敏感,很難實現(xiàn)準確定位。在嘴部區(qū)域定位研究方面,多采用局部梯度算子法[12]、主元特征矢量分析法[13]、積分投影與色度匹配相結(jié)合的方法[14]以及色素分布的方法[15]等。上述方法在提取嘴唇形狀時,容易造成非嘴唇邊緣信息的殘留以及嘴唇邊緣不完整等問題[16],影響嘴部特征點的定位精度。
為了實現(xiàn)不同場景下的人臉面部主要特征點的精確定位,結(jié)合YUV顏色空間理論與差分投影技術(shù),在完成人臉區(qū)域定位的基礎(chǔ)上,利用YUV顏色空間中的紅色差分量實現(xiàn)嘴部區(qū)域的提取,利用差分投影技術(shù),并以嘴部區(qū)域的提取結(jié)果作為眼部區(qū)域定位的基礎(chǔ)實現(xiàn)眼部區(qū)域的定位。
受各種因素的影響,人臉圖像一般處于一個極度復(fù)雜的場景中,實現(xiàn)其準確分割具有一定難度。以往的研究多利用顏色信息進行人臉區(qū)域的分割,分割結(jié)果往往不夠準確。本文提出了一種基于直方圖擬合的人臉圖像分割方法,將圖像直方圖擬合出具有多峰特性的效果,以達到抑制噪聲,便于面部目標(biāo)分割的目的。
1.1.1 曲線擬合的最小二乘法原理
給定一組數(shù)據(jù)(xi,yi)(i=0,1,…,m),在函數(shù)類φ=(φ1,φ2,…,φn)中尋找一個函數(shù) y= S*(x),使得誤差平方和最小
式中:S(x)=a0φ0(x)+a1φ1(x)+…+anφn(x) (n<m)。
用最小二乘法求曲線擬合,就是在S(x)中求一函數(shù)y=S*(x),使誤差平方和取得最小的問題。通常,函數(shù)類多采用多項式進行,因此,它轉(zhuǎn)化為求多項式S(x)系數(shù)的極小值點的問題。
1.1.2 基于最小二乘法的直方圖自適應(yīng)曲線擬合
圖1是拍攝的1幅彩色人臉圖像,圖2是其所對應(yīng)的灰度圖像的灰度直方圖。由圖2可以看出,其直方圖并不呈現(xiàn)明顯的雙峰狀態(tài),且存在過多的極值點,很難采用常規(guī)的分割算法進行處理。
圖1 拍攝到的原始人臉圖像Fig.1 O riginal human face image
圖2 圖1的灰度直方圖Fig.2 The histogram of fig.1
為解決這一問題,提出了一種基于最小二乘法的灰度直方圖擬合算法,通過設(shè)定一個足夠大的迭代階次N,并分別計算各階次下的擬合誤差,選取擬合誤差最小的擬合階次作為最優(yōu)擬合曲線。擬合后的曲線較好地表達了原始直方圖的灰度分布并呈現(xiàn)出較好的多峰特性,便于圖像的分割。
在絕大部分情況下,人臉區(qū)域占整幅圖像的比例有限,不可能占據(jù)直方圖曲線的最大峰值,同時根據(jù)人臉圖像的先驗知識,面部區(qū)域三基色值表現(xiàn)為R>G>B,即人臉區(qū)域的像素灰度值偏亮??紤]到人臉區(qū)域易受光照等因素的影響,本文將大于最大峰值右側(cè)的所有區(qū)域均定義為人臉區(qū)域。該方法可以有效地降低算法的復(fù)雜度,雖然有可能造成分割準確度的下降,但由于采用YUV顏色空間來進行后續(xù)處理,并不影響主要特征點的定位。圖1的分割結(jié)果如圖3所示。由圖3可以看出,利用該方法可以有效地分割出人臉目標(biāo)區(qū)域。
圖3 人臉分割結(jié)果Fig.3 The results of face segmentation
唇色是人臉彩色圖像中數(shù)據(jù)量相對集中且穩(wěn)定的區(qū)域,利用唇色檢測人嘴部區(qū)域具有魯棒性高、簡單易行等特點。研究表明,不同性別、不同年齡、不同膚色的人雖然在彩色空間分布上存在差異,但人類的唇色在彩色空間確實有很好的聚類性,因此可以利用唇色信息實現(xiàn)魯棒的嘴唇定位。
相對于RGB模型,YUV顏色模型更符合人眼特性,其轉(zhuǎn)換公式如下
式中:c1、c2為藍、紅基色色差壓縮系數(shù),取值分別為c1=0.493,c2=0.877;Y表示顏色的亮度信息,(B-Y)、(R-Y)為色差信號;U、V為相互正交的色度分量;Fm代表彩色的色飽和度;φ代表色調(diào)。
統(tǒng)計結(jié)果表明,嘴部區(qū)域的相角在87°~103°之間[15],利用相位信息得到的人嘴部區(qū)域結(jié)果如圖4(a)所示。去噪后嘴部區(qū)域如圖4(b)所示,標(biāo)記出的嘴部區(qū)域如圖4(c)所示。可以看出,利用該方法可以有效地提取出嘴部區(qū)域。
圖4 定位的嘴唇區(qū)域Fig.4 The positioning lips area
人的眼部區(qū)域包含大量的不同信息(如睫毛、瞳孔等),因此眼睛區(qū)域內(nèi)橫縱向灰度變化較大,眼睛區(qū)域的差分投影具有較大值。設(shè)人臉圖像為
式中:W和H分別為圖像的寬和高。圖像的水平差分投影P_h(y)、豎直差分投影P_v(x)計算如下
其橫向差分投影如圖5(a)所示,在嘴部縱坐標(biāo)左右,存在兩個明顯的峰值,代表左右眼睛的縱坐標(biāo)位置。圖5(b)為其水平差分投影,利用眼睛橫坐標(biāo)小于嘴部橫坐標(biāo)這一先驗知識,即可提取出樣布的橫坐標(biāo)。眼部區(qū)域的定位結(jié)果如圖5(c)所示。
圖5 差分投影方法提取眼睛候選區(qū)域Fig.5 Differential projection of eyes candidate region
面部主要特征點的定位實驗主要由圖像采集、結(jié)果分析和討論三部分組成。
以面部姿態(tài)為主要拍攝部位,共拍攝8位受試者的測試樣本98幅。其中,未發(fā)生視覺分散的樣本10幅,輕度視覺分散32幅,臨界狀態(tài)樣本32幅,嚴重視覺分散樣本24幅,部分樣本示例如圖6所示。
圖6 拍攝到的部分試驗圖像Fig.6 Som e sam p les of experim ental images
試驗所使用的樣本統(tǒng)計信息及嘴部、眼部識別結(jié)果如表1所示。
表1 特征點定位試驗樣本數(shù)分布及其結(jié)果Table 1 Experimental sample distribution and the results
由表1可以看出,采用基于YUV顏色矢量圖的方法對嘴部區(qū)域進行檢測具有很高的魯棒性,但隨著視覺分散的加劇以及遮擋的影響,檢測率會明顯下降。在眼部識別時,具有相似的規(guī)律,由于眼部區(qū)域受到諸多因素的影響,其精度比嘴部區(qū)域的定位效果偏低。
根據(jù)上述算法,在完成嘴部、眼睛區(qū)域的定位后,繪制的面部特征三角形如圖7所示。從圖7中可以看出,當(dāng)測試對象發(fā)生姿態(tài)變化時,其特征三角形也發(fā)生了相應(yīng)的變化,為接下來進行面部姿態(tài)的識別奠定了良好的基礎(chǔ)。
圖7 繪制出的人面部特征三角形實例Fig.7 Facial features triangle exam p les
為了實現(xiàn)面部主要特征點的精確定位,首先采用直方圖擬合的方法并結(jié)合先驗知識,實現(xiàn)了一種簡化的臉部區(qū)域提取方法。在此基礎(chǔ)上,提出了一種基于YUV顏色空間與差分投影相結(jié)合的人臉區(qū)域主要特征點定位方法,有效地實現(xiàn)了面部主要特征點的精確定位。由于眼部區(qū)域的定位是在嘴部區(qū)域定位的基礎(chǔ)上進行的,因此,當(dāng)無法準確實現(xiàn)嘴部區(qū)域定位時,本算法的精度會受到較大影響。
[1]彭召意,周玉,朱文球.用于疲勞駕駛檢測的人眼快速跟蹤方法[J].計算機工程,2010,36(15):191-193.
Peng Zhao-yi,Zhou Yu,Zhu Wen-qiu.Fast human eyes trackingmethod for drowsy driving detection[J].Computer Engineering,2010,36(15):191-193.
[2]王蘊,朱勇,譚鐵牛.基于虹膜識別的身份鑒別[J].自動化學(xué)報,2002,28(1):1-10.
Wang Yun,Zhou Yu,Tan Tie-niu.Biometrics personal identification based on iris pattern[J].ACTA Automatica Sinica,2002,28(1):1-10.
[3]嚴嚴,章毓晉.基于視頻的人臉識別研究進展[J].計算機學(xué)報,2009,32(5):878-886.
Yan Yan,Zhang Yu-jin.State of the art on video-based face recognition[J].Chinese Journal of Computers,2009,32(5):878-886.
[4]Chellappa R,Wilson C,Sirohey S.Human and machine recognition of faces:A survey[J].Proceedings of the IEEE,1995,83(5):705-740.
[5]Li SZ,Jain A K.Handbook of Face Recognition[M]. New York:Springer,2005.
[6]Zhao W,Chellappa R,Rosenfeld A,et al.Face recognition:A literature survey[J].ACM Computation Survey,2003,35(4):399-458.
[7]楊佳,黃玉清,陳小寧.基于區(qū)域生長的機器人路標(biāo)識別方法研究[J].計算機工程與設(shè)計,2008,29 (13):3410-3418.
Yang Jia,Huang Yu-qing,Chen Xiao-ning.Study on robot landmark recognition based on region growing[J]. Computer engineering and design,2008,29(13):3410-3418.
[8]Brunelli R,Poggio T.Face recognition:Features vemus templates[J].IEEE Trans PAMI,1993,15(10):1042-1052.
[9]Pentland A,Moghaddam B,Starner T.View based and modular eigen spaces for face recognition[C]//Proceedings of the IEEE Conference on CVPR,Seattle,Washington,1994:84-91.
[10]劉艷梅,薛定宇,徐心和.基于人工神經(jīng)網(wǎng)絡(luò)的立體視覺定位方法[J].計算機工程與應(yīng)用,2005,41 (22):33-35.
Liu Yan-mei,Xue Ding-yu,Xu Xin-h(huán)e.Stereovision measurement method based on neural network[J]. Computer Engineering and Applications,2005,41(22): 33-35.
[11]Reisfeld D,Yeshurun Y.Robust detection of facial features by generalized symmetry[C]//IEEE Proceedings.11th IAPR International Conference,1992:117-120.
[12]靳薇,張建奇,張翔.基于局部梯度算子的嘴部檢測與定位[J].光電工程,2009,36(10):135-140.
Jin Wei,Zhang Jian-qi,Zhang Xiang.Detection and localization of themouth based on local gradient operator[J].Opto-Electronic engineering,2009,36(10):135-140.
[13]王琢玉,賀前華.基于主元分析的人臉特征點定位算法的研究[J].計算機應(yīng)用,2005,25(11):2581-2583.
Wang Zhuo-yu,He Qian-h(huán)ua.PCA-based location algorithm of human face features[J].Computer applications,2005,25(11):2581-2583.
[14]陶丹,馮驍宇.一種基于積分投影與色度匹配相結(jié)合的快速人眼嘴定位算法[J].計算機應(yīng)用研究,2009,26(4):1578-1588.
Tao Dan,F(xiàn)eng Xiao-yu.Fast eye and mouth location algorithm based on integral projection and colormatching[J].Application Research of Computers,2009,26(4): 1578-1588.
[15]Tang C Y,Chen Z,Huang Y P.Automatic detection and tracking of human heads using an active stereo system[J].International Journal of Pattern Recognition and Artificial Intelligence,2000,14(2):137-166.
[16]Shan SG,Cao B,Gao W.Extended fisherface for face recognition from a single example image person[J]. IEEE International Symposium on Circuits and Systems,2002,(2):81-84.