白利敏 賈明興

（1.國家知識產(chǎn)權(quán)局審查協(xié)作天津中心 天津 300304）（2.東北大學(xué) 沈陽 110819）

1 引言

解決多姿態(tài)人臉識別的方法主要可以分為三類：基于2D圖形的方法、基于3D圖像的方法和基于2D和3D混合方法，3D主要有如V.Blanz和T.Vetter［1］提出的 3D Morphable Model（3DMM）方法，利用3D人臉庫對輸入圖像進(jìn)行3D重構(gòu)，后利用重構(gòu)得到的紋理和形狀特征進(jìn)行識別；2D方法解決姿態(tài)人臉識別主要利用姿態(tài)矯正的技術(shù)路線，如Hyung-Soo Lee等［2］提出TAAM方法來合成人臉圖像，Huang 等［3］提出ME流型方法，蔡秀娟等［4］提出的LLR（局部線性回歸），將姿態(tài)人臉先矯正到正面人臉，后按正面人臉進(jìn)行識別；而2D與3D融合方法如Lei zhen等［5］提出的姿態(tài)自適應(yīng)方法。雖然基于3D方法在姿態(tài)人臉識別識別性能可以得到很大提升，但由于其在人臉3D建模時(shí)計(jì)算量大，重構(gòu)一張三維人臉需要幾分鐘或十幾分鐘，所以無法應(yīng)用于實(shí)際實(shí)時(shí)人臉識別系統(tǒng)中，而基于2D圖像矯正方法，本身來說由一幅單獨(dú)的圖像去重構(gòu)其對應(yīng)的3D的形狀和紋理是一個(gè)病態(tài)問題，所以姿態(tài)矯正方法不能保證取得很好的矯正效果，尤其當(dāng)姿態(tài)在三個(gè)自由度同時(shí)旋轉(zhuǎn)難以取得很好的效果。

本文深入研究了姿態(tài)作為影響人臉識別的最有挑戰(zhàn)因素導(dǎo)致識別率降低的本質(zhì)原因，識別方法避開計(jì)算量大且復(fù)雜的3D人臉重建方法和姿態(tài)矯正，提出一種多特征點(diǎn)姿態(tài)人臉識別方法。方法首先利用zhu等提出的混合樹人臉檢測和特征點(diǎn)定位方法得到初略的特征點(diǎn)，后建立對應(yīng)的13種姿態(tài)的 AAM（active appearance model），用 zhu_detec?tor得到的初始點(diǎn)作為AAM收索的初始點(diǎn)，進(jìn)一步收索得到精確的關(guān)鍵點(diǎn)，利用多個(gè)關(guān)鍵點(diǎn)局部特征來表示人臉，并按照姿態(tài)差值和作為閾值提取遮擋最小半臉特征的原則提取對應(yīng)關(guān)鍵點(diǎn)區(qū)域特征，最后進(jìn)行直方圖統(tǒng)計(jì)特征對比，得出識別結(jié)果。

文章主要貢獻(xiàn)有如下三點(diǎn)：

1）深入研究了基于LBP特征提取方法的全局人臉和局部關(guān)鍵點(diǎn)局部特征隨姿態(tài)變化的統(tǒng)計(jì)規(guī)律。

2）提出zhu-detector與多姿態(tài)AAM結(jié)合的多姿態(tài)人臉關(guān)鍵點(diǎn)定位方法，實(shí)驗(yàn)表明該方法對多姿態(tài)人臉具有良好特征點(diǎn)定位性能。

3）提出一種姿態(tài)人臉識別方法：“基于多關(guān)鍵點(diǎn)特征最優(yōu)匹配姿態(tài)人臉識別方法”。

2 姿態(tài)人臉識別分析

影響人臉識別率最大的兩個(gè)因素為光照和姿態(tài)，而光照技術(shù)已經(jīng)能較好得到解決，然而對于人臉姿態(tài)問題始終沒有得到很好的解決，姿態(tài)成為了識別系統(tǒng)魯棒與否的決定因素，F(xiàn)ERET項(xiàng)目三次測試得出的第二條結(jié)論：對于姿態(tài)變化的情況，在姿態(tài)角度小于25°的時(shí)候，性能基本穩(wěn)定，但是當(dāng)角度超過40°，識別性能急劇下降。姿態(tài)人臉識別成為了人臉識別最大的技術(shù)挑戰(zhàn)。

采用數(shù)據(jù)庫位pointing‘04人臉數(shù)據(jù)庫，該人臉數(shù)據(jù)庫包含15個(gè)人正臉在內(nèi)的93種人臉姿態(tài)，我們選取15個(gè)人只包含水平旋轉(zhuǎn)的13種姿態(tài)（-90°～90°）共195張圖片，如圖2所示，圖像經(jīng)人臉檢測將人臉歸一到120*96像素大小，經(jīng)光照預(yù)處理，提取其LBP特征，每個(gè)人得到13個(gè)特征向量，每個(gè)人非正面人臉與正面人臉距離隨旋轉(zhuǎn)角度的統(tǒng)計(jì)規(guī)律如下圖1所示：

圖1 13種姿態(tài)實(shí)驗(yàn)樣本示例

分別提取從0°～90°人臉圖像的人眼中心30*24 LBP特征，得到每個(gè)7個(gè)局部特征向量，求取統(tǒng)計(jì)直方圖，得到各個(gè)姿態(tài)下人眼局部特征統(tǒng)計(jì)直方圖與正面人眼特征直方圖之間距離的變化規(guī)律，如下圖2所示：

圖2 姿態(tài)人臉與正面人臉距離隨旋轉(zhuǎn)角度的統(tǒng)計(jì)規(guī)律

圖3 人臉全局、局部特征隨姿態(tài)變化規(guī)律（左）及姿態(tài)人臉空間流行分布（右）

由上圖3可以看到無論是全局整幅人臉特征或局部關(guān)鍵點(diǎn)特征距離總體隨姿態(tài)增大而變大，但在旋轉(zhuǎn)超過60°（左右）距離保持最大值，增幅變小。這與prince等得出的姿態(tài)人臉圖像在姿態(tài)子空間里呈流形分布結(jié)果一致。不同人臉相同姿態(tài)下距離要小于同一個(gè)人不同姿態(tài)的人臉圖像，這樣會使得常規(guī)算法失效，誤判率增大，最終導(dǎo)致在有較大姿態(tài)變化的人臉庫上難以取得較高的識別率。對比全局人臉和特征點(diǎn)局部區(qū)域人臉在姿態(tài)變化時(shí)，明顯可以看出，姿態(tài)變化在一定范圍內(nèi)，局部特征變化較小，可以得出人臉的某些局部區(qū)域特征在人臉有姿態(tài)變化時(shí)對識別更有意義。

3 本文提出的特征點(diǎn)定位算法

3.1 AAM特征點(diǎn)定位算法與Zhu-detector特征點(diǎn)定位算法

AAM特征點(diǎn)定位方法最早由T.F.Cootes等［9］提出，該方法分別對人臉的形狀和紋理建立統(tǒng)計(jì)模型，由一組處于初始位置的形狀特征點(diǎn)，通過迭代匹配的方法，精確地獲得圖像中人臉的特征位置，是目前使用最廣泛的特征點(diǎn)定位方法。AAM模型對收索的初始位置都要求在接近目標(biāo)物體的粗略位置上，雖然通?？梢耘浜弦恍┤四槞z測器得到特征點(diǎn)位置，但模型通常搜索不到正確的位置。所以很多時(shí)候初始點(diǎn)都是以人為利用計(jì)算機(jī)鼠標(biāo)給定初略區(qū)域，算法無法達(dá)到特征點(diǎn)自動定位。

Zhu-detector［8］也叫混合樹結(jié)構(gòu)檢測定位方法，該算法通過定義了不同姿態(tài)下樹結(jié)構(gòu)Tm，m為姿態(tài)類別。類似AAM和ASM模型對人臉分別建立形狀模型Appm(I ， L )和紋理模型Shapem(L )，I為輸入圖像，L為特征點(diǎn)位置。在不同姿態(tài)m下建立的多姿態(tài)混合樹結(jié)構(gòu)如下圖4所示。

圖4 13種不同姿態(tài)下的混合樹結(jié)構(gòu)

最后利用一個(gè)得分Score建立人臉的形狀和紋理模型，如下式所示：其中，APP代表紋理模型，Shape代表形狀模型，在利用該模型對一幅圖像進(jìn)行人臉檢測和特征點(diǎn)定位時(shí)，收索策略為圖像金字塔模式，比較人臉在不同姿態(tài)模型下的擬合情況，利用下式來決定最后結(jié)果。

通過比較在m種姿態(tài)模型下得到的結(jié)果，比較得分最高與訓(xùn)練得到閾值，大于閾值的所有位置即為檢測得到的人臉及特征點(diǎn)。

3.2 本文多姿態(tài)人臉特征點(diǎn)定位算法

本文提出zhu-detector與多姿態(tài)AAM結(jié)合的特征點(diǎn)定位方法，方法的主要思想是分別建立多個(gè)姿態(tài)下的AAM模型以提高模型對人臉姿態(tài)的適應(yīng)性，定位過程中利用zhu-detector檢測得到特征點(diǎn)AAM作為初始點(diǎn)，利用建立好多個(gè)姿態(tài)AAM模型進(jìn)一步進(jìn)行擬合，按最小擬合誤差輸出定位結(jié)果。二者的結(jié)合，既解決了AAM的初始特征點(diǎn)位置要求，又能進(jìn)一步提高特征點(diǎn)準(zhǔn)確性。實(shí)驗(yàn)表明該方法對多姿態(tài)人臉具有良好特征點(diǎn)定位性能，算法流程圖如圖5。

Zhu-detector與多姿態(tài)AAM結(jié)合的特征點(diǎn)定位算法流程：

step1：輸入待測圖像，經(jīng)zhu-detector得到初略特征點(diǎn)位置，求出模型初始參數(shù)c0；

step2：循環(huán)分別利用13種姿態(tài)模型進(jìn)行特征點(diǎn)收索

step3：第i種姿態(tài)AAM模型擬合

step4：循環(huán)j=1：T每種姿態(tài)下收索T次

step5：計(jì)算對應(yīng)模型形狀紋理擬合誤差Ei

step6：比較在13個(gè)姿態(tài)模型下AAM擬合誤差Ei，按誤差最小輸出。

圖5 Zhu-detector與多姿態(tài)AAM結(jié)合的姿態(tài)人臉特征點(diǎn)定位流程示意圖

3.3 多姿態(tài)AAM模型建立具體步驟

本文在建立AAM模型階段，對應(yīng)zhu-detector的多姿態(tài)模型，分別建立13個(gè)姿態(tài)下的AAM模型。訓(xùn)練集對30個(gè)不同身份，每個(gè)人13種不同視角共計(jì)390幅人臉圖像進(jìn)行特征點(diǎn)的標(biāo)記。每幅圖像標(biāo)記68個(gè)特征點(diǎn)，分布在人臉的五個(gè)特征區(qū)域，眉毛、眼睛外輪廓及瞳孔、鼻梁及鼻翼、嘴唇外輪廓、臉頰外輪廓及額頭。如下圖6所示。

圖6 標(biāo)記的13種姿態(tài)圖像特征點(diǎn)樣本

分別對不同視角下的樣本建立獨(dú)立的統(tǒng)計(jì)模型。選取一個(gè)特定視角，采用主成分分析的方法，構(gòu)建該視角下人臉的形狀模型。

S是該視角下的一幅人臉圖像的形狀信息，sˉ是同一視角下不同身份人形狀的均值，Ps是利用PCA方法求出的一組形狀特征向量，bs為S在這組特征向量下的投影，即形狀參數(shù)。建立模型之前需要對原始圖像進(jìn)行預(yù)處理，并對不同視角的圖像分別構(gòu)建樣本集合，針對不同視角的灰度圖像，采用PCA的方法，建立人臉紋理模型，式（6）中T表示訓(xùn)練集中指定視角下的一幅圖像，T表示該視角下所有訓(xùn)練圖像灰度的值，Pt表示利用PCA生成的能夠集中反應(yīng)圖像灰度變化的一組紋理特征向量，bt代表圖像在特征向量上的投影，即紋理參數(shù)，可以重新構(gòu)建出原圖像。

形狀和紋理模型建立之后，圖像可以分別表示成在各自特征向量上的一組形狀參數(shù)與紋理參數(shù)，為了使后續(xù)的優(yōu)化過程更加簡便，我們需要將上述兩種參數(shù)合二而一，尋找到一種能同時(shí)反映形狀和紋理變化的復(fù)合參數(shù)［52］，以及當(dāng)參數(shù)變化時(shí)特征向量的新形式。將上述兩組參數(shù)進(jìn)行連接，得到一組復(fù)合參數(shù)b。

從該模型當(dāng)中可以看出，形狀與紋理數(shù)據(jù)可以由同一個(gè)參數(shù)c來表示，在訓(xùn)練模型階段如果能準(zhǔn)確地求出特征相量與均值，在匹配階段，只需要對混合參數(shù)c進(jìn)行迭代直至收斂，就可以實(shí)現(xiàn)新圖像形狀的構(gòu)建。

3.4 實(shí)驗(yàn)（experiments）

將本文特征點(diǎn)定位方法與混合樹結(jié)構(gòu)zhu-de?tector方法與單一AAM模型在LPFW庫進(jìn)行實(shí)驗(yàn)，LPFW庫test集含有經(jīng)手工標(biāo)記了68個(gè)特征點(diǎn)不同姿態(tài)人臉共224張，實(shí)驗(yàn)主要通過比較三種特征點(diǎn)定位方法得到的68特征點(diǎn)位置與手工標(biāo)注位置歐式距離作為定位誤差。假設(shè)庫里有N張人臉圖像，每種方法定位累積誤差可由下式表示：

結(jié)果由圖7給出，其中橫坐標(biāo)代表累積誤差，縱坐標(biāo)代表人臉圖像個(gè)數(shù)。

經(jīng)比較，可以得出本文方法定位誤差要遠(yuǎn)小于單一AAM模型和zhu-detector方法，尤其在人臉有較大變化時(shí)能得到較精確特征點(diǎn)位置。圖8為不同姿態(tài)人臉特征點(diǎn)定位結(jié)果示例：每行從上到下方法分別為混合樹Zhu-detector、單一AAM模型方法，本文定位方法?？梢钥闯?，本文方法在較大姿態(tài)變化時(shí)能取得較精確特征點(diǎn)位置坐標(biāo)，而單一AAM模型和zhu-detector定位算法都出現(xiàn)了人臉嚴(yán)重變形，特征點(diǎn)收斂到錯(cuò)誤的位置。

圖7 不同人臉特征點(diǎn)定位方法在LPFW庫上定位誤差曲線對比

圖8 三種特征點(diǎn)定位方法在不同人臉姿態(tài)下定位結(jié)果

4 本文特征最優(yōu)匹配策略的姿態(tài)人臉識別方法

本文首先對輸入圖像進(jìn)行關(guān)鍵點(diǎn)定位，得到68特征點(diǎn)圖9（a）由于在姿態(tài)變化人臉圖像中，關(guān)鍵點(diǎn)局部特征能保持不變或變化很小，如本文第二部分實(shí)驗(yàn)得出結(jié)論，所以提出多關(guān)鍵點(diǎn)局部區(qū)域特征（多關(guān)鍵點(diǎn)特征）來代替原來整幅人臉圖像特征。選取的其中34個(gè)如圖9（a），并以選取的關(guān)鍵點(diǎn)為圓心，提取以R為半徑范圍的LBP［10，11，12］特征如圖9（b）。

圖9 多關(guān)鍵點(diǎn)特征提取示意

由于關(guān)鍵點(diǎn)定位無法做到像素級精確定位，尤其在人臉姿態(tài)發(fā)生變化時(shí)，在以該關(guān)鍵點(diǎn)作為圓心提取周圍特征時(shí)，可能會出現(xiàn)錯(cuò)位，因此本文提出的特征最優(yōu)匹配策略，來彌補(bǔ)因圓心位置誤差引起誤匹配。所謂的特征最優(yōu)匹配策略為：例如對輸入的兩幅圖像，一幅作為probe，另一幅作為gallery，對于選取的關(guān)鍵點(diǎn)，例如25點(diǎn)如圖10鼻梁位置，對gallery圖像對應(yīng)特征點(diǎn)為圓心，在c1*c2區(qū)域內(nèi)，圓心以間隔像素1進(jìn)行上下左右移動如圖10矩陣型包含的點(diǎn)，得到n=c1*c2個(gè)特征向量，尋找與probe對應(yīng)位置最近鄰的特征向量，作為gallery圖像在該關(guān)鍵點(diǎn)的特征向量。特征最優(yōu)匹配策略如下圖10示意圖：

圖10 最有特征匹配策略示意圖

對比圓形區(qū)域與其它形狀的特征，圓形在對于人臉旋轉(zhuǎn)有一定的不變性，且圓形區(qū)域特征計(jì)算方便簡潔，可以隨意調(diào)整半徑R，所以我們選取圓形區(qū)域特征。Probe圖像在其以關(guān)鍵點(diǎn)為圓心統(tǒng)計(jì)其LBP統(tǒng)一模式下的直方圖h，而gallery圖像則按照如上圖10在對應(yīng)的圓形區(qū)域特征，按照特征最優(yōu)匹配原則，在所有統(tǒng)計(jì)直方圖h1～hn中選取與probe對應(yīng)直方圖h距離最小的作為gallery圖像直方圖。將所有選取的關(guān)鍵點(diǎn)區(qū)域的特征級聯(lián)作為該張人臉的表示，最后得出兩張輸入圖像多特征點(diǎn)直方圖距離，若該值大于閾值θ，則判斷為

不同人，若小于閾值θ則判斷為相同人。本文提出的基于多關(guān)鍵點(diǎn)最優(yōu)特征匹配的姿態(tài)人臉識別方法整體流程框圖11如下。

圖11 基于多關(guān)鍵點(diǎn)最優(yōu)特征匹配的姿態(tài)人臉識別方法流程框圖

5 實(shí)驗(yàn)

本文采用的數(shù)據(jù)庫為目前最具挑戰(zhàn)性的LFW（Labeled Faces in the Wild），該庫人臉照片都在戶外非受限情況下采集得到，所以人臉包含多種姿態(tài)、光照等不確定變化，而目前姿態(tài)人臉庫如FE?RET 人臉只包含戶內(nèi)拍攝的6種（±15°±40°±60°）固定姿態(tài)，對于姿態(tài)人臉測試。LFW包含5749個(gè)人共13233幅圖像。包含兩種測試協(xié)議view1和view2。view1用于做算法測試的參數(shù)選擇，view2用于得出最后算法報(bào)告，包含類內(nèi)圖像3000對，類間圖像3000對，將之均分為10折，每折包含300對類內(nèi)圖像，300對類間圖像。識別率為10折交叉驗(yàn)證識 別 率 pi均 值

參數(shù)選擇（圓半徑R，特征點(diǎn)個(gè)數(shù)N）：本文人臉歸一到120*96大小，半徑取R=6像素，特征點(diǎn)個(gè)數(shù)N=34。本文特征提取采用LBP算法，所有實(shí)驗(yàn)主要對比了目前在LFW特征提取算法與本文相同方法。也同時(shí)與目前在LFW庫按LFW-restrict（無監(jiān)督?jīng)]有訓(xùn)練下）較好的方法進(jìn)行了比較。表1為本文識別率及誤差對比結(jié)果。

表1 LFW-view2協(xié)議下識別率對照

對比所有使用LBP特征提取的識別方法，可以看出本文識別方法取得了最高識別率 ，遠(yuǎn)高于其他基于LBP特征識別方法。無論全局LBP如何分塊或改進(jìn)如TPLBP、FLBP等識別率在有姿態(tài)因素干擾時(shí)都無法取得較高識別率。比較本文方法（屬于同一測試協(xié)議）與其較高識別率方法［20，22～25］，本文識別率高于多特征融合［24］和MRF-MLBP，僅略低PEM SIFT。本文識別方法對于姿態(tài)人臉識別取得很好的識別效果。

6 結(jié)語

本文主要就姿態(tài)人臉識別中關(guān)鍵幾個(gè)問題進(jìn)行研究，首先，本文提出的zhu-detector與多姿態(tài)AAM結(jié)合的關(guān)鍵點(diǎn)定位方法，通過訓(xùn)練多個(gè)姿態(tài)下的AAM模型以適應(yīng)姿態(tài)的變化，并充分利用了各自定位算法的優(yōu)勢，彌補(bǔ)了二者的缺陷，實(shí)現(xiàn)了對多姿態(tài)人臉特征點(diǎn)自動定位，實(shí)驗(yàn)也表明該方法對多姿態(tài)人臉特征點(diǎn)定位具有較高的準(zhǔn)確性和較強(qiáng)的魯棒性，為本文多關(guān)鍵點(diǎn)局部特征識別方法的提出提供了基礎(chǔ)。最后，本文提出“基于多關(guān)鍵點(diǎn)特征最優(yōu)匹配”姿態(tài)解決方法在LFW庫上按view2測試協(xié)議得出識別率及標(biāo)準(zhǔn)差，對比利用LBP特征提取的其他識別方法，本文方法識別率遠(yuǎn)高于其它方法。證明了本文方法在非受限環(huán)境下、姿態(tài)有較大變化情況下仍能取得良好的識別效果。