宋懷波,史建強,2
(1.西北農林科技大學機械與電子工程學院,陜西楊凌712100;2.西安交通大學機械工程學院,西安710049)
人臉姿態(tài)識別通過確定二維圖像中的人臉在三維空間中的姿態(tài),近似地計算人臉對應于三維空間坐標軸的偏轉角度[1]。人臉姿態(tài)識別是多姿態(tài)人臉識別的關鍵步驟,只有確定了人臉姿態(tài)信息,才能實現(xiàn)對人臉姿態(tài)的正確識別。人臉姿態(tài)識別在人機交互[2]、智能監(jiān)控[3]、虛擬現(xiàn)實[4]和司機疲勞檢測系統(tǒng)[5]等方面有著廣泛的應用。
人臉姿態(tài)識別的方法大致分為基于模型的方法和基于人臉特征的方法兩類[6]?;谀P偷姆椒ǎ?-8]通過建立人臉與幾何模型的對應關系,提取人臉的某些特征,利用已知幾何模型實現(xiàn)人臉姿態(tài)的識別。這種方法的準確率和效率較高,但由于姿態(tài)的多樣性,二維與三維特征點之間的幾何對應關系建立比較困難;基于人臉特征的方法[9-10]假設人臉姿態(tài)和人臉圖像的某些特征間存在某種對應關系,通過建立人臉姿態(tài)與這些特征的對應關系進行人臉姿態(tài)的識別。為確定這些關系,需要對大量不同姿態(tài)的人臉圖像通過統(tǒng)計方法建立特定的對應關系。這種算法簡單,由于以整個人臉圖像作為研究對象,對人臉圖像的考慮更細致,對表情、光照等條件的影響魯棒性更強,但由于需要建立大量訓練樣本,其計算量一般較大。
本文提出了一種基于PCA算法的人臉姿態(tài)識別方法,即利用大量的圖像樣本得到人臉姿態(tài)和人臉圖像在特征空間投影之間特定的對應關系。使數(shù)據(jù)可在一個低維的空間進行處理,同時保持了原始數(shù)據(jù)的絕大部分有效信息,從而解決了人臉特征方法中數(shù)據(jù)空間維數(shù)過高的問題,降低了運算量也提高了運算速度,而且該方法的準確率和效率也較高。
PCA作為一種降維方法,將高維空間上的數(shù)據(jù)投影到低維子空間中,并使得在最小二乘意義下的低維表示能夠更好的描述高維空間上的原始數(shù)據(jù)[11-12]。如設已知變量X為k維,欲將維數(shù)壓縮為g(g<k),需求得輸入向量的相關矩陣的特征值和特征向量,并對其特征值由小到大進行排列,將保留大部分能量信息的g個特征值對應的特征向量構成特征子空間。
由于圖像的維數(shù)較高,在求解特征值和特征向量時,其求解過程比較耗時,一般采用奇異分解方法實現(xiàn)[13]。其基本原理為:設A是秩為P的N ×P維矩陣,則存在兩個正交矩陣
已知對角矩陣
且λ1≥λ2≥…,≥λP,使得
式中:λi(i=1,2,…,P)為矩陣AAT和ATA的非零特征值,ui、vi分別是AAT和ATA對應的正交歸一特征向量。
式中:ui(i=1,2,…,P)即為求得的特征向量。
對于一幅m×n大小的樣本圖像,按列排列構成一個m×n維的列向量,即:X=[x1,x2,…,xm×n]T,則對于同一類樣本中的N個樣本圖像集合可用矩陣[X1,X2,…,XN]表示,設這N張樣本圖像的均值為μ,對集合中的樣本進行處理,將各樣本減去μ,計算離散差值,組成矩陣
X的協(xié)方差矩陣
特征值等式如下
通過式(6)可求出矩陣Ψ的特征值λj和特征向量wj。將特征值由大到小的順序進行排序,則對應的特征向量組成的矩陣為
至此,m×n維特征子空間構造完成。
研究表明,人臉圖像處于一個低維線性空間中,且不同姿態(tài)的人臉在該低維線性空間具有可分性,其重點是找到該低維線性空間。在PCA方法中,通過對讀入的人臉圖像進行訓練,得到各自類別的特征子空間來進行處理。在完成該步驟后,即可將測試樣本分別向訓練好的各個子空間進行投影,根據(jù)其在子空間內投影距離的大小進行姿態(tài)的估計。
人臉姿態(tài)數(shù)據(jù)庫由23類共690個樣本組成,每類姿態(tài) 30個樣本,部分樣本來自 http:// download.csdn.net/down/2591527/tinypeter。所有樣本均歸一化為32×24大小。多姿態(tài)人臉樣本庫在豎直方向有平視、仰視30°、仰視60°、俯視30°、俯視60°五種姿態(tài)類型。各類中還包括水平方向旋轉不同角度的類型,其中平視類中各有直視0°、左右旋轉30°、左右旋轉60°和左右旋轉90°七類姿態(tài),仰視30°、仰視60°類中各有直視0°、左右旋轉45°和左右旋轉90°五類姿態(tài),俯視30°、俯視60°類中各有直視0°和左右旋轉45°三類姿態(tài)。圖1給出了仰視30°向右旋轉45°及左旋轉90°姿態(tài)的示例。
圖1 仰視30°向右旋轉45°及左旋轉90°姿態(tài)庫中的人臉Fig.1 faces of looking up at 30 degrees,rotating right 45 degrees,rotating left 45 degrees in poses atlas
應用PCA理論進行姿態(tài)估計的關鍵是尋求各類別樣本集的子空間維數(shù),目前還沒有一個通用的計算方法。為了保證獲取足夠多的信息而又不會使信息丟失過多,本文采用計算信息量的方法求取子空間的維數(shù)[14]
這種子空間維數(shù)確定方法有效地保持了訓練樣本集的主要信息,而又使得其始終處于一個較低的線性維數(shù)之中,便于信息的快速處理。在姿態(tài)估計階段,將待測樣本按下式投影到各子空間
通過計算測試樣本在該空間內的投影大小即可獲得其姿態(tài)估計的結果,其分類方法按2.4節(jié)處理。
經過特征提取后,測試樣本最終成為特征空間中的一個點,通過計算距離或角度即可實現(xiàn)姿態(tài)的識別。采用歐式距離測度進行姿態(tài)分類的公式如下
式中:x,y為n維特征空間的兩個點。分別計算測試樣本在各子空間中的投影距離并選擇距離最小的一類子空間即可實現(xiàn)其姿態(tài)的估計工作。
為了驗證本方法的有效性,在每一類姿態(tài)樣本中隨即選擇30個樣本進行訓練,并選取75張不同于訓練樣本的不同姿態(tài)的樣本進行測試。部分樣本示例如圖2所示。
圖2 部分測試樣本圖像Fig.2 Partial testing samples
為了驗證姿態(tài)子空間維數(shù)對識別結果的影響,在式(8)中,分別選取不同的截取閾值進行處理,已得到不同的子空間維數(shù),不同子空間維數(shù)下的姿態(tài)估計結果如圖3所示。
圖3 不同的貢獻率對于其識別率曲線圖Fig.3 Estimation rate by choosing different subspace dimensions
由圖3可以明顯發(fā)現(xiàn),隨著方差貢獻率的增大,姿態(tài)估計準確率也穩(wěn)步提高。同時可以看出,在貢獻率較小時,微小的變換也會造成姿態(tài)估計結果的顯著變化,如貢獻率從0.5增加到0.6,識別率提高了近10%。之后隨著方差貢獻率的進一步增加,姿態(tài)估計準確率也隨之提高并趨于平穩(wěn)。當貢獻率達到0.95后,人臉姿態(tài)的正確估計率基本趨于穩(wěn)定。
利用PCA算法所具有的計算方法簡單和計算效率高的特點,將其應用于多人臉姿態(tài)估計中。實驗結果表明,該方法的最高姿態(tài)估計準確率可達84%;方差貢獻率對識別結果具有較大影響,方差貢獻率越大則姿態(tài)估計正確率越高,但當貢獻率達到一定值時,姿態(tài)估計準確率將趨于穩(wěn)定。
不足之處在于,文中采取能量信息截取的方法來選取子空間維數(shù),未能實現(xiàn)最優(yōu)子空間維數(shù)的選取,如何去除無效的特征向量以及如何選取最優(yōu)的子空間維數(shù)是下一步研究的重點。
[1]JiQiang,Hu Rong.3D face pose estimation and tracking from amonocular camera[J].Image and Vision Computing,2002,20(7):499-511.
[2]薛雨麗,毛峽,郭葉,等.人臉交互中的人臉表情識別研究進展[J].中國圖象圖形學報,2009,14(5):764-772.
Xue Yu-li,Mao Xia,Guo Ye,et al.The research advance of facial expression recognition in human computer interaction[J].Journal of image and graphics,2009,14(5):746-772.
[3]宋紅,石峰.基于人臉檢測與跟蹤的智能監(jiān)控系統(tǒng)[J].北京理工大學學報,2004,24(11):966-970.
Song H,Shi F.Face detection and tracking for intelligent surveillance system[J].Journal of Beijing Institute of Technology,2004,24(11):966-970.
[4]李旭東.用于人臉表情圖像與動畫合成的圖像變形方法[J].武漢大學學報信息科學版,2007,32(9): 796-799.
Li Xu-dong.Image morphing method for facial expression image and animation synthesis[J].Journal of Geomatics and Information Science of Wuhan University,2007,32(9):796-799.
[5]李志春.駕駛員疲勞狀態(tài)檢測技術研究與工程實現(xiàn)[D].鎮(zhèn)江:江蘇大學,2009.
Li Zhi-chun.Research on driver’s fatigue status detection technology and realization in engineering[D]. Zhenjiang:Jiangsu University,2009.
[6]Yun Fu,Thomas Huang.Graph embedded analysis for head pose estimation[C]//7th International Conference on Automatic Face and Gesture Recognition,2006:3-8.
[7]劉金葵.正面人臉判別的方法研究[D].廣州:中山大學,2009.
Liu Jin-kui.The research of the positive face discrimination[D].Guangzhou:Central South University,2009.
[8]孫昊翔.關于人臉姿態(tài)估計方法的研究[D].長春:吉林大學,2007.
Sun Hao-xiang.The research of the face pose estimation[D].Changchun:Jilin University,2007.
[9]Chen Q,Wu H,Shimada T.A robust algorithm for 3D head pose estimation[C]//International Conference on Multimedia Computing and Systems,Nara,1999:697-702.
[10]Hu Y X,Chen L B,Zhou Y,et a1.Estimating face pose by facial asymmetry and geometry[C]//IEEEConf.on FG’04,2004:651-656.
[11]Hu F,Wang Y,Wu H.Mobile telemedicine sensor networks with low-energy data query and network lifetime considerations[J].Mobile Computing,2007,5(4): 404-417.
[12]張媛,張燕平.一種PCA算法及其應用[J].微機發(fā)展.2005,15(2):69-72.
Zhang Yuan,Zhang Yan-ping.An algorithm of PCA and its application[J].Microcomputer Development,2005,15(2):69-72.
[13]王宏擁,廖海斌,段新華,等.基于奇異值與特征融合矩陣的自適應人臉識別[J].計算機工程與應用,2010,46(7):162-164.
Wang H Y,Liao H B,Duan X H,et al.Weighted adaptive face recognition using singular value and featurematrix[J].Computer Engineering and Applications,2010,46(7):162-164.
[14]孫即祥.現(xiàn)代模式識別[M].北京:國防科技大學出版社,2002.