張尤賽, 楊 姝

(江蘇科技大學(xué) 電子信息學(xué)院, 江蘇 鎮(zhèn)江 212003)

目前,人臉識別研究主要集中在正面人臉識別,隨著人臉識別技術(shù)和應(yīng)用的發(fā)展,多姿態(tài)人臉識別開始受到關(guān)注．多姿態(tài)人臉是由人臉與攝相機(jī)之間的角度不確定性所造成的,由于不同姿態(tài)下人臉成像出現(xiàn)變形,使得同一人臉圖像在不同姿態(tài)下的相關(guān)性迅速下降,從而給不同姿態(tài)下的人臉圖像匹配造成困難．多姿態(tài)人臉識別主要有兩條技術(shù)途徑:一條途徑是由幾幅多姿態(tài)人臉圖像合成一幅正面人臉圖像,然后利用一般的人臉識別方法,配合正面人臉圖像庫進(jìn)行人臉識別;另一條途徑是由圖像庫中的正面人臉或正面、側(cè)面人臉小樣本圖像生成若干典型姿態(tài)的人臉圖像,形成一個多姿態(tài)的人臉圖像庫,再利用一般的人臉識別方法直接進(jìn)行多姿態(tài)人臉識別．前者由于在實際應(yīng)用中很難一次得到多幅不同姿態(tài)的人臉圖像,其實用性受到限制,且一幅姿態(tài)人臉圖像所包含的人臉特征信息不完全,所以僅用一幅姿態(tài)人臉圖像來生成正面人臉圖像,會造成圖像的較大失真,從而使得人臉的識別性能降低;后者由于正面人臉圖像全面反映了人臉的特征信息,因此在生成多姿態(tài)人臉圖像時可以較好地保留人臉特征信息,不足的是圖像庫的多姿態(tài)人臉圖像生成量較大．文獻(xiàn)[1]采用第一條技術(shù)途徑,利用獨立成分和主成分分析法提取不同姿態(tài)人臉的特征子空間,然后利用通過訓(xùn)練得到的姿態(tài)轉(zhuǎn)換矩陣來合成其相對應(yīng)的正面人臉圖像,該算法可以達(dá)到較高的人臉識別率,但需要大量的多姿態(tài)人臉,計算復(fù)雜度高,可擴(kuò)展性和實用性受到限制．文獻(xiàn)[2-3]采用了第二條技術(shù)途徑，其中文獻(xiàn)[2]提出了一種二元高次多項式函數(shù)最小二乘擬合方法,通過變形由正面人臉單視圖生成多姿態(tài)人臉圖像,然后基于該單視圖和生成的多姿態(tài)圖像進(jìn)行多姿態(tài)人臉識別,該方法算法簡單,但是人臉的局部信息表達(dá)不全面,影響了識別效果；文獻(xiàn)[3]以人臉圖像的中心垂線為界,兩邊采用不同的尺度變換,通過壓縮一邊和擴(kuò)展另一邊的方法來生成多姿態(tài)人臉圖像,該方法算法簡單,但是生成的人臉失真度較大．總體來看,人臉生成算法已成為多姿態(tài)人臉識別的技術(shù)瓶頸,現(xiàn)有的算法存在的問題主要有:人臉生成精確度不高、人臉合成的計算復(fù)雜度高、可擴(kuò)展性和實用性不強(qiáng)．

文中提出了一種局部加權(quán)平均多姿態(tài)人臉生成算法,采用局部加權(quán)平均算法,用人臉正面單視圖生成多姿態(tài)人臉圖像,構(gòu)成多姿態(tài)人臉樣本庫;然后利用主成分分析提取人臉特征矢量；最后由經(jīng)過訓(xùn)練的支持向量機(jī)(support vector machine, SVM)來完成多姿態(tài)的人臉識別．局部加權(quán)平均算法利用人臉局部特征點的映射函數(shù)集的加權(quán)平均來生成人臉像素的形變函數(shù),每個人臉像素的形變函數(shù)都不相同,充分考慮了人臉的局部信息特征,所生成的多姿態(tài)人臉精確度高,并具有計算復(fù)雜度低和擴(kuò)展性好的優(yōu)點．為了驗證該算法的性能,將局部加權(quán)平均算法生成的多姿態(tài)人臉與ORL人臉庫的多姿態(tài)人臉進(jìn)行了相似度實驗對比分析,證明了該算法比參考文獻(xiàn)[2]的算法具有更高的精確度．最后,通過多姿態(tài)人臉識別的實驗,證明了本文方法要比基于正面單視圖的人臉識別方法具有更高的人臉識別率．

1 局部加權(quán)平均多姿態(tài)人臉生成算法

1.1 基本原理

多姿態(tài)人臉生成可以看成正面人臉圖像的非線性幾何形變問題．由于人臉的器官分布的相似性以及明顯的結(jié)構(gòu)特征和豐富的局部特征點,所以完全可以利用這種相似性和結(jié)構(gòu)特征來建立不同姿態(tài)下人臉的幾何形變函數(shù),以生成多姿態(tài)的人臉圖像．

據(jù)此,提出了一種基于多項式擬合的局部加權(quán)平均多姿態(tài)人臉生成算法．其基本原理是針對所選取的一組人臉局部特征點集,分別對每一個特征點利用多項式擬合的方法,得到人臉不同姿態(tài)下相對應(yīng)的特征點之間的映射函數(shù),從而構(gòu)造出一組特征點的映射函數(shù)集．人臉圖像每個像素的形變函數(shù)則采用對函數(shù)集中映射函數(shù)加權(quán)平均的方法來確定,即依據(jù)像素與各個特征點距離的歸一化函數(shù)得到一組權(quán)值,并用這組權(quán)值對相應(yīng)的特征點映射函數(shù)進(jìn)行加權(quán)平均,形成該像素的形變函數(shù)．在利用多項式擬合不同姿態(tài)下特征點的映射函數(shù)時,利用該特征點及其相鄰的多個特征點,通過最小二乘法求得相應(yīng)的多項式．

1.2 數(shù)學(xué)描述

1.2.1 映射函數(shù)集

設(shè)正面人臉圖像上的像素點坐標(biāo)為(x,y),調(diào)整姿態(tài)后的虛擬圖像相對應(yīng)像素點的坐標(biāo)為(X,Y);正面人臉上的特征點集為{(xi,yi),i=0,2,…,N-1},其所對應(yīng)的映射函數(shù)集為{Xi=fi(x,y),Yi=gi(x,y),i=0,2,…,N-1}．從多項式的擬合精度和計算量綜合考慮,這里選取二元二次多項式來擬合映射函數(shù)．

設(shè)特征點(xi,yi)所對應(yīng)的映射函數(shù)為:

(1)

式中:ajk,bjk為待定系數(shù),至少需要n≥6個特征點才能確定．因此,除了特征點(xi,yi)以外,為使多項式體現(xiàn)局部特性,可選取與(xi,yi)相鄰的其它n-1個特征點共同確定多項式系數(shù)．這里采用最小二乘方準(zhǔn)則求解,為了使映射函數(shù)的擬合誤差平方和ε最小,即

(2)

(3)

解此方程組可得待定系數(shù)ajk,bjk,將其代入式(1)即可得到特征點(xi,yi)的映射函數(shù)．對所有特征點重復(fù)上述步驟即可構(gòu)成映射函數(shù)集．

1.2.2 形變函數(shù)

在人臉任意像素的形變函數(shù)中,為了體現(xiàn)像素及相鄰特征點的局部特性,采用該像素(x,y)與特征點(xi,yi)的歐氏距離的歸一化函數(shù)作為映射函數(shù)fi(x,y)，gi(x,y)的加權(quán)值Wi(x,y)[4],如式(4)所示,即距離像素較近的特征點的映射函數(shù)對該像素形變函數(shù)的貢獻(xiàn)值較大,反之則較?。?/p>

(4)

式中:Rn是像素(x,y)與相鄰的n個特征點(xi,yi)中最遠(yuǎn)的特征點的距離值．式(4)保證了非相鄰的特征點(R>1)對像素的形變函數(shù)沒有影響．利用Wi(x,y)對映射函數(shù)集作加權(quán)平均,可以得到像素(x,y)的形變函數(shù):

(5)

按照式(5)對正面人臉圖像每一像素點進(jìn)行形變,可以得到虛擬姿態(tài)圖像的坐標(biāo)位置(X,Y),然后將正面人臉圖像的像素與坐標(biāo)(X,Y)配對,即完成了從正面人臉圖像到虛擬姿態(tài)人臉圖像的變形過程．

2 多姿態(tài)人臉的特征提取算法

采用主成分分析法提取多姿態(tài)人臉圖像的特征[5-7]．設(shè)某人臉共有K幅多姿態(tài)圖像,每幅圖像的行、列數(shù)為M，N．將每幅圖像的像素按列相聯(lián)構(gòu)成L(=M×N)維列矢量Fi(i=1,2,…,K),將其表示為矩陣形式F=[F1,F2,…FK]L×K．構(gòu)造矩陣(F-μ)的外積St′:

(6)

(7)

由于能量主要集中在特征值λi大的系數(shù)中,所以可以對特征值從大到小進(jìn)行排序,取前m個特征值對應(yīng)的特征矢量Wm∈RL×m,將人臉圖像Fi向其投影,得到主成分:

(8)

主成分Gi可以作為人臉圖像Fi的m維特征矢量,用于人臉識別．經(jīng)過主成分分析,人臉圖像Fi從L(=M×N)維被降低到m維,引入的均方誤差為:

(9)

3 多姿態(tài)人臉的分類識別算法

由于支持向量機(jī)本身是一種處理二類問題的方法[8-9],因此對于N類多姿態(tài)人臉,構(gòu)建了一個由N(N-1)/2個SVM構(gòu)成的分類器[10],將主成分分析提取的已知人臉特征矢量Gi作為該分類器的輸入矢量,完成SVM的學(xué)習(xí)訓(xùn)練．然后,針對待識別人臉圖像的特征矢量G,采用一對一分類算法作投票判決,最終以類別得票的多寡來判別G的屬類．該分類器的本質(zhì)是構(gòu)造一個最優(yōu)超平面集,使所有人臉特征矢量G均能被該超平面集正確劃分,并使不同人臉之間的分類距離最大．將構(gòu)造最優(yōu)超平面的問題歸結(jié)為在約束條件下求解二次規(guī)劃問題,則最優(yōu)分類函數(shù)為:

(10)

式中:sgn(·)為符號函數(shù)；exp(-γ‖·‖2)為SVM的徑向基核函數(shù)；γ為核參數(shù)；G為待識別的人臉特征矢量；αi為在約束條件下求最優(yōu)值引入的拉格朗日乘數(shù)；yi∈{-1,1}為類標(biāo)簽；b為設(shè)超平面方程時產(chǎn)生的參數(shù),可由距離超平面最近的樣本確定其數(shù)值．

4 實驗結(jié)果分析

為了驗證所提出算法的性能,利用標(biāo)準(zhǔn)ORL人臉數(shù)據(jù)庫[11],進(jìn)行了局部加權(quán)平均多姿態(tài)人臉生成算法和基于該算法的多姿態(tài)人臉識別實驗,并分別將上述2類實驗與參考文獻(xiàn)[2]算法和正面人臉識別的結(jié)果進(jìn)行了比較．ORL人臉數(shù)據(jù)庫共有40個人臉圖像,每個人臉由10幅具有不同姿態(tài)、表情和光照的112×92圖像組成,共計400幅圖像．

4.1 多姿態(tài)人臉生成實驗

實驗以O(shè)RL人臉數(shù)據(jù)庫的40個人臉的正面圖像為基礎(chǔ),利用所提出的局部加權(quán)平均多姿態(tài)人臉生成算法,分別生成右偏15°和右偏30°的人臉圖像,并根據(jù)人臉的對稱性,采用鏡像的方法得到左偏15°和左偏30°的人臉圖像,共計生成了(40個人臉,4個姿態(tài))160幅虛擬人臉圖像．圖1分別給出了ORL人臉庫中8個代表性的人臉以及文中算法和參考文獻(xiàn)[2]算法生成人臉的對比圖,其中圖1a)為ORL人臉庫的正面、左偏15°和左偏30°的人臉圖像,圖1b)，c)分別為文中算法和參考文獻(xiàn)[2]算法所生成的左偏15°和左偏30°的人臉圖像．表1分別給出了本文算法和參考文獻(xiàn)[2]算法生成的姿態(tài)人臉圖像相對ORL圖像庫人臉圖像的峰值信噪比．

a) ORL人臉庫圖像

b)本文算法圖像

c)文獻(xiàn)[2]圖像

圖1ORL庫人臉與本文算法和參考文獻(xiàn)[2]生成的多姿態(tài)人臉比較
Fig.1ContrastbetweenfacesinORLandgeneratingmulti-posefaces

表1 生成的姿態(tài)人臉圖像相對ORL庫人臉圖像的峰值信噪比Table 1 Peak value SNR of generating multi-pose faces relative to original faces in ORL

由圖1可見,文獻(xiàn)[2]算法生成的姿態(tài)人臉的五官和邊緣部分變形較大;文中算法生成的人臉變形較小,視覺效果更好．表1中的數(shù)據(jù)表明,無論是生成小姿態(tài)和大姿態(tài)的人臉,文中算法所生成的人臉比文獻(xiàn)[2]算法生成人臉都有更高的峰值信噪比,因此與ORL人臉庫的原始姿態(tài)人臉具有更高的相似度和更好的擬合效果,進(jìn)而在SVM的訓(xùn)練和識別過程中,可以使SVM達(dá)到更高的人臉識別率．

在算法的計算量方面,文獻(xiàn)[2]利用全局特征點集最小二乘法的方法來獲得每個像素的形變函數(shù)．而文中算法則采用局部相鄰特征點映射函數(shù)加權(quán)平均的方法來獲得每個像素的形變函數(shù)．因此,與文獻(xiàn)[2]算法相比,文中算法在生成形變函數(shù)時多了加權(quán)平均的步驟,計算量比文獻(xiàn)[2]算法略大．從提高多姿態(tài)人臉圖像生成精度的效果來看,文中算法所增加的計算量是值得的．表2給出了上述2種算法生成圖1所示多姿態(tài)人臉圖像所需的時間數(shù)據(jù)．

表2 生成多姿態(tài)人臉圖像所需的時間Table 2 Time of generating multi-pose faces

4.2 多姿態(tài)人臉的識別實驗

為了檢驗多姿態(tài)人臉的識別性能,分別進(jìn)行了兩組實驗．第一組實驗從ORL人臉數(shù)據(jù)庫的40個人臉中選取正面圖像,利用文中提出的局部加權(quán)平均人臉生成算法分別生成左偏15°,30°和右偏15°,30°的4幅人臉圖,并與正面人臉圖像一起構(gòu)成一個多姿態(tài)人臉圖像庫,共計40類40×(1+4)=200幅個人臉圖像,作為SVM的訓(xùn)練樣本;另外再從ORL人臉庫每類人臉中任意選取除正面以外的5幅多姿態(tài)的人臉圖像,共計40×5=200幅人臉圖像作為SVM的測試樣本,進(jìn)行人臉識別實驗．第二組實驗僅將正面人臉作為訓(xùn)練樣本,并采用與第一組實驗相同的測試集,目的是便于與第一組實驗結(jié)果進(jìn)行對比．在兩組實驗中均采用PCA提取人臉圖像的20維主成分構(gòu)成人臉特征矢量,用于SVM的訓(xùn)練和識別．實驗結(jié)果顯示,第一組實驗的人臉平均識別率為62.9%,第二組實驗的人臉平均識別率為44.5%,即利用文中算法的多姿態(tài)人臉識別率要比僅基于正面人臉的多姿態(tài)人臉識別率提高了18.4%．

綜上,可以將本文提出的算法優(yōu)點歸納如下:

1)多姿態(tài)人臉生成精度高．采用局部加權(quán)平均算法來擬合姿態(tài)人臉,使得每個像素的形變函數(shù)由與其相鄰的特征點的映射函數(shù)及其距離的加權(quán)來決定,一方面保證了形變函數(shù)的局部特征,避免了不同的局部幾何差異擴(kuò)展到整幅圖像中,另一方面保證了距離較近的特征點對形變函數(shù)的貢獻(xiàn)值比距離較遠(yuǎn)的特征點的貢獻(xiàn)值更大,而非相鄰的特征點對形變函數(shù)無影響,從而更精確地表達(dá)了人臉圖像上的局部特征信息．

2)實用性和可擴(kuò)展性強(qiáng)．由于采用基于正面人臉的多姿態(tài)人臉生成方法,因此只要得到正面人臉圖像,就可以通過生成多姿態(tài)人臉,擴(kuò)充人臉訓(xùn)練樣本集,并通過SVM的學(xué)習(xí)訓(xùn)練,應(yīng)用到多姿態(tài)的人臉識別中以提高識別率．

3)良好的人臉識別效果．用文中算法擴(kuò)充了訓(xùn)練樣本庫,使得測試人臉姿態(tài)變化時,仍然能得到較好的識別率,比僅僅用正面人臉作訓(xùn)練樣本的識別率得到了較大的提高．在人臉姿態(tài)變化更多、更大的情況下效果更加明顯．

5 結(jié)論

在采用學(xué)習(xí)訓(xùn)練型的人臉識別算法的情況下,人臉識別率的高低與每個人臉的訓(xùn)練樣本數(shù)成正相關(guān)的關(guān)系[12]．文中提出的局部加權(quán)平均多姿態(tài)人臉生成算法,通過將正面單樣本的人臉識別問題轉(zhuǎn)化為擴(kuò)大訓(xùn)練樣本集問題,即轉(zhuǎn)化為每人有多個訓(xùn)練樣本情況下的人臉識別問題,從而達(dá)到多姿態(tài)人臉識別的目的．該方法對姿態(tài)變化敏感性較小,能在只擁有少量正面訓(xùn)練樣本甚至單樣本的情況下對多姿態(tài)的人臉進(jìn)行識別,因而在實際應(yīng)用中具有良好的適應(yīng)性．

在實際中,影響人臉圖像特征的因素很多,除了姿態(tài)變化外,還有光照、表情、覆蓋物、化妝、年齡變化等．由于訓(xùn)練樣本與測試樣本的一致性越高,其識別率也相應(yīng)越高,因此在多姿態(tài)人臉識別中,如何生成高質(zhì)量的多姿態(tài)人臉以及克服光照、表情、覆蓋物和年齡等因素的影響是未來人臉識別研究的一個重要方向．

參考文獻(xiàn)(References)

[1] 孫志遠(yuǎn), 吳小俊, 王士同,等.基于多姿態(tài)人臉圖像合成的識別方法研究[J].計算機(jī)工程與應(yīng)用, 2008, 44(23): 197-200.

Sun Zhiyuan,Wu Xiaojun,Wang Shitong.Face recognition based on synthesis of face images with pose variations[J].ComputerEngineeringandApplications, 2008, 44(23): 197-200.(in Chinese)

[2] 朱長仁, 王潤生.基于單視圖的多姿態(tài)人臉識別算法[J].計算機(jī)學(xué)報, 2003, 26(1): 1-6.

Zhu Changren,Wang Runsheng.Multi-pose face recognition based on a single view[J].ChineseJournalofComputers, 2003, 26(1): 1-6.(in Chinese)

[3] 張生亮.單樣本多姿態(tài)人臉識別研究[J].計算機(jī)應(yīng)用, 2006, 26(12): 2851-2853.

Zhang Shengliang.Various pose face recognition with one front training sample[J].JournalofComputerApplications, 2006, 26(12): 2851-2853.(in Chinese)

[4] Goshtasby A.Image registration by local approximation methods[J].ImageandVisionComputing,1988, 6(4): 255-261.

[5] Lee Byung-Gook, Liliana, Shin Dong-Hak, et al.Enhanced computational integral imaging system for partially occluded 3D objects using occlusion removal technique and recursive PCA reconstruction[J].OpticsCommunications, 2010, 283(10): 2084-2091.

[6] 王宏漫, 歐宗瑛.采用PCA/ICA特征和SVM分類的人臉識別[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2003, 15(4): 416-420.

Wang Hongman, Ou Zongying.Face recognition based on features by PCA/ICA and classification with SVM[J].JournalofComputerAidedDesign&ComputerGraphics, 2003, 15(4): 416-420.(in Chinese)

[7] 范燕,吳小俊,祁云嵩,等.基于結(jié)構(gòu)化Fisherface的人臉識 別新方法[J].江蘇科技大學(xué)學(xué)報:自然科學(xué)版,2007,21(5):69-72.

Fan Yan,Wu Xiaojun,Qi Yunsong,et al.Novel face recognition based on structurized fisherface[J].JournalofJiangsuUniversityofScienceandTechnology:NaturalScienceEdition, 2007,21(5):69-72.(in Chinese)

[8] Zhou Xiaofei, Jiang Wenhan, Tian Yingjie,et al.Kernel subclass convex hull sample selection method for SVM on face recognition[J].Neurocomputing, 2010, 73(10/12): 2234-2246.

[9] 王衛(wèi)東,鄭宇杰,楊靜宇.智能分類器方法[J].江蘇科技大學(xué)學(xué)報:自然科學(xué)版,2007,21(1):42-47.

Wang Weidong,Zheng Yujie,Yang Jingyu.Intelligence classifier method[J].JournalofJiangsuUniversityofScienceandTechnology:NaturalScienceEdition, 2007,21(1):42-47.(in Chinese)

[10] 李曉東, 費(fèi)樹岷, 張濤.基于奇異值特征和支持向量機(jī)的人臉識別[J].東南大學(xué)學(xué)報:自然科學(xué)版, 2008, 38(6): 981-985.

Li Xiaodong Fei Shumin, Zhang Tao.Face recognition based on singular value feature and support vector machines[J].JournalofSoutheastUniversity:NaturalScienceEdition, 2008, 38(6): 981-985.(in Chinese)

[11] AT&T Laboratories Cambridge.The orl database of faces [EB/OL].[2010-08-15].http://www.cl.cam.ac.uk/research/dtg/attarchive:pub/data/att_faces.zip.

[12] 張生亮, 陳伏兵, 楊靜宇.對單訓(xùn)練樣本的人臉識別問題的研究[J].計算機(jī)科學(xué), 2006, 33(2): 225-229.

Zhang Shengliang, Chen Fubing, Yang Jingyu.Some researches for face recognition with one training image per person[J].ComputerScience, 2006, 33(2): 225-229.(in Chinese)