鄧　星　達(dá)飛鵬　楊喬生

(東南大學(xué)自動(dòng)化學(xué)院,南京210096)(東南大學(xué)復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室,南京210096)

基于自適應(yīng)人臉切割的三維人臉識(shí)別算法

鄧星達(dá)飛鵬楊喬生

(東南大學(xué)自動(dòng)化學(xué)院,南京210096)(東南大學(xué)復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室,南京210096)

摘要:為克服表情變化對(duì)人臉識(shí)別的影響,提出了一種基于自適應(yīng)人臉切割的三維人臉識(shí)別算法．首先,采用一種自動(dòng)預(yù)處理技術(shù)來去除離群點(diǎn)、填補(bǔ)孔洞和歸一化姿態(tài),以提高三維人臉數(shù)據(jù)的質(zhì)量;其次,通過簡(jiǎn)化meshSIFT特征的規(guī)范化方向并加入形狀直徑函數(shù)描述符,討論了方向分配和特征描述符的設(shè)計(jì)問題,改進(jìn)了meshSIFT特征;最后,通過運(yùn)用字典構(gòu)造、壓縮與自適應(yīng)區(qū)域切割稀疏分類,提出了一種基于多任務(wù)稀疏表示分類最小殘差和的自適應(yīng)人臉切割算法．FRGC v2.0人臉數(shù)據(jù)庫上的實(shí)驗(yàn)分析結(jié)果表明,所提算法對(duì)三維人臉識(shí)別具有較高的識(shí)別率．

關(guān)鍵詞:三維人臉識(shí)別;自動(dòng)預(yù)處理技術(shù);改進(jìn)的meshSIFT特征;自適應(yīng)人臉切割;多任務(wù)稀疏表示分類

三維人臉形狀本質(zhì)上是一個(gè)非剛性自由曲面,表情的變化會(huì)導(dǎo)致曲面局部產(chǎn)生非剛性形變,特別是包含嘴部區(qū)域的下半張人臉,這將影響基于形狀匹配的三維人臉識(shí)別算法的性能．因此,研究表情魯棒的三維人臉識(shí)別方法具有重要的理論和實(shí)際意義[1]．根據(jù)處理表情變化的方式,可將三維人臉識(shí)別方法分為以下3類:① 利用人臉中對(duì)表情不敏感的剛性區(qū)域進(jìn)行匹配．Lü等[2]去掉嘴巴等非剛性區(qū)域,對(duì)剛性和非剛性區(qū)域采用特征融合,同時(shí)使用帶權(quán)重的稀疏表示分類器進(jìn)行決策級(jí)融合．此類方法的缺點(diǎn)在于,難于找到所有表情變化下都穩(wěn)定的區(qū)域．② 通過對(duì)帶有不同表情形變的人臉進(jìn)行學(xué)習(xí),建立人臉曲面的統(tǒng)計(jì)模型．Al-Osaimi等[3]通過對(duì)庫集中每個(gè)有表情人臉和無表情人臉的形狀殘差進(jìn)行學(xué)習(xí),建立了表情形變模型,然后利用測(cè)試人臉與庫集人臉的形狀殘差向表情形變模型進(jìn)行投影,去除形狀殘差中的表情成分,并利用去除表情后的中性人臉的形狀殘差進(jìn)行識(shí)別．此類方法的不足之處在于,當(dāng)系統(tǒng)中需要對(duì)許多不同表情進(jìn)行處理時(shí),計(jì)算量巨大且變形過程缺乏足夠的理論依據(jù)．③ 將三維人臉看作一個(gè)剛性物體,認(rèn)為表情變化引起的人臉曲面形變近似于等距變換[4],但人臉表情下等距不變的假設(shè)實(shí)際并不總是成立的．

針對(duì)以上問題,本文提出了一種自適應(yīng)人臉切割的全自動(dòng)三維人臉識(shí)別方法,以克服表情變化對(duì)人臉識(shí)別的影響．利用人臉自動(dòng)預(yù)處理技術(shù)、改進(jìn)的meshSIFT特征和基于稀疏表示分類殘差和的自適應(yīng)人臉切割方法,提升表情變化下算法的識(shí)別率．

1人臉預(yù)處理

本文采用FRGC v2.0人臉數(shù)據(jù)庫[5],該數(shù)據(jù)庫包含466個(gè)不同個(gè)體組成的具有不同表情的4 007幅三維人臉模型．原始三維人臉模型不僅包含諸多孔洞和離群值,還包括頸部、耳朵和肩膀等干擾部分,這將影響人臉識(shí)別．因此,本文采用自動(dòng)預(yù)處理技術(shù),對(duì)原始三維人臉進(jìn)行預(yù)處理．

1.1離群點(diǎn)平滑及孔洞填補(bǔ)

1.2鼻尖點(diǎn)檢測(cè)及人臉切割

首先,根據(jù)形狀指數(shù)特征確定鼻尖點(diǎn)候選區(qū)域;然后,由幾何特征區(qū)域獲取更為準(zhǔn)確的候選區(qū)域,從而獲得較精確的鼻尖點(diǎn)．令點(diǎn)p的最大、最小主曲率分別為kmax(p)和kmin(p),其形狀指數(shù)為

(1)

p=(x,y,z)∈F→

p′=(SF(p)x,SF(p)y,SF(p)z)∈F′

(2)

maxS2nt(p)

(3)

s.t.p∈R2nt

S2nt(p) ?S1nt(p)

若pnt=(xnt,ynt,znt)∈F←max(S1nt(p)),則pnt即為定位的鼻尖點(diǎn)．以鼻尖點(diǎn)pnt為球心、r=90 mm為半徑作球,球內(nèi)區(qū)域即為切割的人臉區(qū)域．

1.3姿態(tài)歸一化

對(duì)切割后的人臉進(jìn)行主成分分析,得到最大、最小特征值及其相應(yīng)的特征向量．以鼻尖點(diǎn)pnt為坐標(biāo)原點(diǎn),最大、最小特征值對(duì)應(yīng)的特征向量分別為Y軸和Z軸,建立新的右手姿勢(shì)坐標(biāo)系．每幅人臉在新坐標(biāo)系中都有一個(gè)正面姿態(tài),每個(gè)三維點(diǎn)云都有唯一的坐標(biāo)(x,y,z)．

2改進(jìn)的meshSIFT特征

提取有效不變的特征是三維人臉識(shí)別的關(guān)鍵．Smeets等[6]把SIFT特征推廣到三維人臉網(wǎng)格上,取得了較高的識(shí)別率,該特征即為meshSIFT特征,但是其對(duì)表情的魯棒性有待改善．為此,本文提出了改進(jìn)的meshSIFT特征．

2.1關(guān)鍵點(diǎn)提取

與meshSIFT特征相似,首先構(gòu)建一個(gè)包含平滑處理過的輸入網(wǎng)格尺度空間:

Ms=M s=0^Gσs?M s>0{

(4)

圖1　平滑處理后的三維人臉

(5)

選擇在尺度s下的極值點(diǎn)作為局部特征位置．極值點(diǎn)所在的尺度σs即為每個(gè)關(guān)鍵點(diǎn)的尺度．圖2(a)和(b)分別展示了中性表情和驚訝表情下同一人臉的極值點(diǎn)分布．

圖2　不同表情下同一人臉的極值點(diǎn)分布

2.2方向分配

為了獲得一個(gè)方向不變的描述符,為每個(gè)關(guān)鍵點(diǎn)分配一個(gè)規(guī)范方向．利用關(guān)鍵點(diǎn)所在的表面法線構(gòu)建局部參考系,使得領(lǐng)域內(nèi)的點(diǎn)不受面部表情影響．為得到一個(gè)尺度不變的描述符,僅考慮每個(gè)關(guān)鍵點(diǎn)周圍半徑為9σs的球形區(qū)域內(nèi)的頂點(diǎn)(見圖3)．利用文獻(xiàn)[7]方法計(jì)算相鄰區(qū)域內(nèi)每個(gè)頂點(diǎn)的法向量,并采用三角域快速匹配算法計(jì)算得到各自關(guān)鍵點(diǎn)的測(cè)地距離．如圖4所示,將鄰域內(nèi)所有計(jì)算得到的法向量投影到包含關(guān)鍵點(diǎn)的網(wǎng)格切平面上．這些被投影的法向量集中在由360個(gè)直條組成的加權(quán)直方圖內(nèi)．每個(gè)直方圖的條目由關(guān)鍵點(diǎn)的測(cè)地距離的高斯權(quán)重組成,其寬度σ與指定尺度σs成比例,即σ=4.5σs．為使規(guī)范方向具有更好的魯棒性,通過3次高斯濾波卷積平滑,獲得最終的直方圖,其最高峰即被選作規(guī)范方向．

圖3　極值點(diǎn)鄰域

圖4　方向分配

原始meshSIFT特征中,選取直方圖最高峰及達(dá)到最高峰80%以上的值對(duì)應(yīng)的方向作為規(guī)范方向,導(dǎo)致一個(gè)關(guān)鍵點(diǎn)可能對(duì)應(yīng)多個(gè)規(guī)范方向,需當(dāng)作多個(gè)關(guān)鍵點(diǎn)進(jìn)行處理,由此產(chǎn)生了多個(gè)特征描述符．實(shí)際上大多數(shù)關(guān)鍵點(diǎn)都有多個(gè)規(guī)范方向,這樣不僅增加了描述符的計(jì)算量,還會(huì)影響算法的識(shí)別性能．為此,本文簡(jiǎn)化了規(guī)范方向,僅選取直方圖最高峰所在方向?yàn)橐?guī)范方向,一個(gè)關(guān)鍵點(diǎn)只對(duì)應(yīng)一個(gè)規(guī)范方向,減少了特征描述符,提高了計(jì)算效率．

2.3特征描述符

圖5給出了不同拓?fù)浜蛶缀巫兓曼c(diǎn)的SDF值．圖中,紅色部分表示具有較大的SDF值．圖5(a)～(c)展示了中性、大笑和驚訝3種不同表情下人臉1的SDF值分布．圖5(d)展示了中性表情下人臉2的SDF值分布．由圖可知,三維人臉模型的SDF特征在不同表情下仍然具有良好的表征性．把每個(gè)直方圖標(biāo)準(zhǔn)化后串成一個(gè)直方圖特征向量fk={Psw,1,Paw,1,Pdw,1,…,Psw,9,Paw,9,Pdw,9}T,w=1,2,…,W,其中Psw,t,Paw,t和Pdw,t(t=1,2,…,9)分別表示第w個(gè)特征點(diǎn)在區(qū)域t中的形狀指數(shù)直方圖、傾斜角度直方圖和SDF直方圖．對(duì)每個(gè)關(guān)鍵點(diǎn)計(jì)算一個(gè)特征描述符,再把W個(gè)特征點(diǎn)的描述符級(jí)聯(lián)成一個(gè)特征向量f={f1,f2,…,fW}．

圖5　不同拓?fù)湎氯S人臉模型的SDF值分布

3基于自適應(yīng)人臉切割的稀疏分類

Liao等[9]提出了多個(gè)關(guān)鍵點(diǎn)描述符的稀疏表示分類,Zhang等[8]將其應(yīng)用于三維人臉識(shí)別中,認(rèn)為稀疏表示最小殘差和對(duì)應(yīng)的結(jié)果即為測(cè)試對(duì)象的識(shí)別結(jié)果．然而通過本文實(shí)驗(yàn)發(fā)現(xiàn),有些大表情待測(cè)人臉的最小殘差和對(duì)應(yīng)的測(cè)試結(jié)果并不屬于正確結(jié)果．故本文對(duì)最小殘差和進(jìn)行了后續(xù)處理,在Zhang等[8]提出的3DMKDSRC算法的基礎(chǔ)上,添加了自適應(yīng)切割人臉區(qū)域的步驟,使得帶有大表情的人臉識(shí)別率有所提高．

3.1字典構(gòu)造

由改進(jìn)的meshSIFT特征計(jì)算得到庫里每個(gè)三維人臉樣本的局部描述符,串聯(lián)這些描述符構(gòu)成庫字典．假設(shè)庫中有C個(gè)對(duì)象,其中每個(gè)對(duì)象包含唯一的三維人臉模型,每個(gè)對(duì)象c包含Q個(gè)關(guān)鍵點(diǎn)(即派生描述符)．對(duì)于每個(gè)對(duì)象c構(gòu)建字典Dc,即

Dc={Sc,1,Sc,2,…,Sc,Q}∈Rm×Q

(6)

式中,m為描述符的維度;Sc,Q為對(duì)象c在第Q個(gè)關(guān)鍵點(diǎn)的特征．

將式(6)中的Dc(c=1,2,…,C)級(jí)聯(lián)為D,則

D={D1,D2,…,DC}∈Rm×K

(7)

式中,K為庫里描述符的總數(shù)．待測(cè)人臉中的所有關(guān)鍵點(diǎn)描述符都可以表示為字典D中各項(xiàng)的稀疏線性組合．

3.2多任務(wù)稀疏表示

給定一個(gè)含有n個(gè)3D關(guān)鍵點(diǎn)描述符的待測(cè)人臉Y,即

Y={y1,y2,…,yn}

(8)

多任務(wù)稀疏表示問題等同于如下的優(yōu)化問題:

s.t.Y=DX

(9)

式中,X={x1,x2,…,xn}為稀疏稀疏矩陣;‖·‖1表示向量的l1-范數(shù)．式(9)是一個(gè)多任務(wù)問題,相當(dāng)于要處理n個(gè)l1-最小化問題,對(duì)于每個(gè)待測(cè)人臉的描述符yi有

s.t.yi=Dxi

i=1,2,…,n

(10)

利用Homotopy算法求解式(10)．通常情況下,如果待測(cè)人臉包含在庫里,其局部描述符的系數(shù)向量分布相對(duì)稀疏．本文采用3DMKDSRC算法來確定輸入的待測(cè)人臉的身份,即

(11)

式中，δc(·)為一個(gè)只選擇與c類對(duì)應(yīng)的系數(shù)的函數(shù)．

3.3字典壓縮與稀疏準(zhǔn)則

(12)

3.4自適應(yīng)區(qū)域切割的稀疏分類

通過測(cè)試發(fā)現(xiàn),絕大多數(shù)中性表情人臉的最小殘差和都在4以內(nèi),而大表情的最小殘差和都大于4,故認(rèn)為最小殘差和大于4時(shí)所對(duì)應(yīng)的人臉為帶有大表情的人臉．而大表情一般表現(xiàn)為大笑、驚訝等,其共同特點(diǎn)為嘴部周圍區(qū)域發(fā)生較大形變．若通過3DMKDSRC算法測(cè)得待測(cè)人臉的最小殘差和大于4,則對(duì)該待測(cè)人臉進(jìn)行切割,去除嘴部周圍區(qū)域的關(guān)鍵點(diǎn)特征描述符．切割完成后,利用3DMKDSRC算法重新識(shí)別切割后的待測(cè)人臉．由此便可有效去除部分影響識(shí)別的特征描述符,提高了帶有大表情人臉的識(shí)別率．圖6給出了人臉微笑表情和驚訝表情的自適應(yīng)區(qū)域切割前后極值點(diǎn)分布．

4實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本文算法的性能,在FRGCv2.0人臉數(shù)據(jù)庫上進(jìn)行了2種身份識(shí)別實(shí)驗(yàn):① 實(shí)驗(yàn)1.將466個(gè)不同個(gè)體的中性人臉組成庫集,剩下的所有人臉構(gòu)成測(cè)試集.② 實(shí)驗(yàn)2.庫集同實(shí)驗(yàn)1,測(cè)試集采用Berretti等[10]從FRGCv2.0人臉數(shù)據(jù)庫中手動(dòng)選擇的816個(gè)嘴巴張開的大表情三維人臉．采用以下3種方法進(jìn)行實(shí)驗(yàn):① 基于meshSIFT[6]特征和自適應(yīng)切割的多個(gè)關(guān)鍵點(diǎn)描述子的稀疏分類[8]方法;② 基于簡(jiǎn)化規(guī)范方向后的meshSIFT特征和自適應(yīng)切割的多個(gè)關(guān)鍵點(diǎn)描述子的稀疏分類方法;③ 基于增加了SDF特征并簡(jiǎn)化規(guī)范方向后的meshSIFT特征和自適應(yīng)切割的多個(gè)關(guān)鍵點(diǎn)描述子的稀疏分類方法．相應(yīng)的實(shí)驗(yàn)結(jié)果見表1．

圖6　自適應(yīng)區(qū)域切割前后人臉的極值點(diǎn)分布

表1　不同方法在2組實(shí)驗(yàn)中的識(shí)別率　%

由表1可知,方法2的識(shí)別率略低于方法1．但是,方法2簡(jiǎn)化了規(guī)范方向,使得描述符更加簡(jiǎn)潔,故其所需的識(shí)別時(shí)間僅為方法1的1/2．SDF是一個(gè)有效的特征,在實(shí)驗(yàn)1和實(shí)驗(yàn)2中,方法3的識(shí)別率都高于方法1和方法2．這3種方法在實(shí)驗(yàn)1中的識(shí)別率相比于實(shí)驗(yàn)2分別降低了2.1%,2.2%和1.9%．文獻(xiàn)[10]方法和文獻(xiàn)[11]方法在實(shí)驗(yàn)2中的識(shí)別率分別比實(shí)驗(yàn)1低2.4%和4.0%．而本文方法(方法3)在實(shí)驗(yàn)1和實(shí)驗(yàn)2中的識(shí)別率都高于文獻(xiàn)[10]方法和文獻(xiàn)[11]方法,特別是在實(shí)驗(yàn)2中,其識(shí)別率較文獻(xiàn)[10] 方法高3.6%,較文獻(xiàn)[11]方法高1.8%．由此表明,本文所提出的基于自適應(yīng)區(qū)域切割的多任務(wù)稀疏分類方法具有較好的魯棒性和較高的識(shí)別精度．

5結(jié)語

本文提出了一種基于自適應(yīng)人臉切割的三維人臉識(shí)別算法．首先,采用一種自動(dòng)預(yù)處理技術(shù)來提高三維人臉數(shù)據(jù)的質(zhì)量;其次,簡(jiǎn)化了meshSIFT的規(guī)范化方向,同時(shí)加入了形狀直徑函數(shù)描述符,提出了改進(jìn)的meshSIFT特征;最后,提出了基于多任務(wù)稀疏表示分類最小殘差和的自適應(yīng)人臉切割算法．實(shí)驗(yàn)結(jié)果表明,所提算法對(duì)三維人臉識(shí)別具有較高的識(shí)別率．

參考文獻(xiàn) (References)

[1]PatilH,KothariA,BhurchandiK. 3-Dfacerecognition:Features,databases,algorithmsandchallenges[J]. Artificial Intelligence Review, 2015, 44(3): 393-441.

[2]LüSW,DaFP,DengX.A3Dfacerecognitionmethodusingregion-basedextendedlocalbinarypattern[C]//IEEE International Conference on Image Processing.Quebec,Canada, 2015: 3635-3639.

[3]Al-OsaimiF,BennamounM,MianA.Anexpressiondeformationapproachtonon-rigid3Dfacerecognition[J]. International Journal of Computer Vision, 2009, 81(3): 302-316.DOI:10.1007/s11263-008-0174-0.

[4]BronsteinAM,BronsteinMM,KimmelR.Three-dimensionalfacerecognition[J]. International Journal of Computer Vision, 2005, 64(1): 5-30.DOI:10.1007/s11263-005-1085-y.

[5]PhillipsPJ,FlynnPJ,ScruggsT,etal.Overviewofthefacerecognitiongrandchallenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.SanDiego,CA,USA, 2005: 947-954.

[6]SmeetsD,KeustermansJ,VandermeulenD,etal.meshSIFT:Localsurfacefeaturesfor3Dfacerecognitionunderexpressionvariationsandpartialdata[J]. Computer Vision and Image Understanding, 2013, 117(2): 158-169.DOI:10.1016/j.cviu.2012.10.002.

[7]ShapiraL,ShamirA,Cohen-OrD.Consistentmeshpartitioningandskeletonisationusingtheshapediameterfunction[J]. The Visual Computer, 2008, 24(4): 249-259.DOI:10.1007/s00371-007-0197-5.

[8]ZhangL,DingZ,LiH,etal. 3Dfacerecognitionbasedonmultiplekeypointdescriptorsandsparserepresentation[J]. PLoS One, 2014, 9(6):e100120.DOI:10.1371/journal.pone.0100120.

[9]LiaoS,JainAK,LiSZ.Partialfacerecognition:Alignment-freeapproach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(5): 1193-1205.DOI:10.1109/TPAMI.2012.191.

[10]BerrettiS,BimboAD,PalaP. 3Dfacerecognitionusingisogeodesicstripes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2162-2177.DOI:10.1109/TPAMI.2010.43.

[11]LeiY,BennamounM,El-SallamAA.Astructuredtemplatebased3Dfacerecognitionapproach[C]//Proceedings of the 27th Conference on Image and Vision Computing.Dunedin,NewZealand：ACM, 2012:61-66.

3D face recognition algorithm based on adaptive face cutting

Deng XingDa FeipengYang Qiaosheng

(School of Automation, Southeast University, Nanjing 210096, China)(Key Laboratory of Measurement and Control of Complex Systems of Engineering of Ministry of Education, Southeast University, Nanjing 210096, China)

Abstract:In order to overcome the effects of expression variation on face recognition, a three-dimensional (3D) face recognition algorithm based on adaptive face cutting is proposed. First, an automatic preprocessing technique is used to remove the outliers, fill the holes and normalize the pose to improve the quality of 3D facial data. Secondly, by simplifying the canonical orientation of the mesh scale invariant feature transform (meshSIFT) as well as jointing the shape diameter function (SDF) descriptor, the direction assignment and the feature descriptor are discussed and the meshSIFT is improved. Finally, by using the dictionary calculation, compression and adaptive region cutting sparse classification, an adaptive face cutting algorithm based on the minimum residual sum associated to the multitask sparse representation classification is proposed. The experimental results on the FRGC v2.0 face database indicate that the proposed algorithm has a high recognition rate for 3D face recognition.

Key words:three-dimensional face recognition; automatic preprocessing technology; improved mesh scale invariant feature transform(meshSIFT); adaptive face cutting; multi-task sparse representation classification

doi:10.3969/j.issn.1001-0505.2016.02.006

收稿日期:2015-08-05.

作者簡(jiǎn)介:鄧星(1987—), 女, 博士生; 達(dá)飛鵬(聯(lián)系人), 男, 博士, 教授, 博士生導(dǎo)師, dafp@seu.edu.cn.

基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(51175081, 51475092, 61405034)、教育部博士點(diǎn)基金資助項(xiàng)目(20130092110027).

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001-0505(2016)02-0260-05

引用本文: 鄧星,達(dá)飛鵬,楊喬生.基于自適應(yīng)人臉切割的三維人臉識(shí)別算法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,46(2):260-264. DOI:10.3969/j.issn.1001-0505.2016.02.006.