黃 飛，譚守標(biāo)

HUANG Fei,TAN Shoubiao

安徽大學(xué) 電子信息工程學(xué)院，合肥230601

College of Electrical and Information Engineering,Anhui University,Hefei 230601,China

1 引言

人臉特征點定位[1-3]一直就是人臉圖像處理中至關(guān)重要的部分。主動表觀模型（AAM）是人臉特征點提取領(lǐng)域的經(jīng)典算法之一。AAM 算法最早由F T Cootes等人于1998 年提出[4]，AAM 擬合是一個非線性優(yōu)化問題，難以快速有效地求解。直到卡納基梅隆大學(xué)的Sion Baker等人提出了反向組合算法[5]，它有效地減小了迭代過程中的計算量，大大提高了AAM 算法的擬合速度。

AAM 算法的擬合效率與模型的初始位置有著密切的關(guān)系，初始參數(shù)的好壞會直接影響AAM 算法的實際應(yīng)用。初始位置參數(shù)包括坐標(biāo)平移、縮放、旋轉(zhuǎn)和深度旋轉(zhuǎn)以及內(nèi)部特征點的形狀參數(shù)。基于Adaboost 的人臉檢測方法自從被提出，就廣泛應(yīng)用于AAM 算法的初始位置確定[6-7]，但是這種方法只能提供大致的位置，初始形狀參數(shù)的估計并沒有達到最優(yōu)。

本文將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)的優(yōu)化，充分利用局部紋理模型對單個特征點定位的快速精確性[4]，同時使用全局紋理信息加以約束，并在形狀參數(shù)最優(yōu)化的基礎(chǔ)上對AAM 匹配模板進行升級。在得到最優(yōu)化的初始參數(shù)和升級的匹配模板后，利用反向組合AAM 算法做最終的特征點定位。

2 初始形狀參數(shù)的最優(yōu)化

本文在基于Adaboost算法人臉檢測[8-9]的基礎(chǔ)上，將特征點局部紋理模型和AAM 全局紋理約束應(yīng)用到初始形狀參數(shù)的優(yōu)化，保證AAM 算法在匹配時有最優(yōu)的初始形狀參數(shù)以提高AAM 算法的匹配精度。

2.1 局部紋理模型簡介

局部紋理模型是在ASM（Active Shape Models）算法[10-11]中提出來的針對每個特征點建立的一種模型。模型訓(xùn)練時以特征點為中心，在法線方向上取一定范圍內(nèi)的像素點組成該特征點的局部特征向量，那么對于N個樣本就由N個這樣的局部特征向量。對這些特征向量進行歸一化，并計算該特征點的平均特征向量及協(xié)方差矩陣。在匹配過程中，采取當(dāng)前關(guān)鍵點的局部特征向量，利用訓(xùn)練得到的平均特征向量和協(xié)方差矩陣計算特征點的最佳位置。局部紋理模型對特征點定位時具有速度快，低噪聲情況下精度高的優(yōu)點，但在噪聲較大的情況下，局部紋理模型定位時容易陷入局部極小。

2.2 局部紋理模型收斂和全局紋理模型收斂法則分析

局部紋理模型是針對ASM 算法提出來的，在一次迭代過程中，對于初始形狀sinit，對每個特征點做局部紋理模型處理，得到的一個目標(biāo)形狀sinit+ds，目的就是保持初始形狀sinit形變程度不過分的情況下盡量接近sinit+ds；先對sinit進行剛體變換，將sinit向sinit+ds對齊，可以計算到平移量dxc，縮放量dz，旋轉(zhuǎn)角度dθ[4]。但是這實際上還是剛體變換，得到的還是初始平均形狀。理論上應(yīng)該對開始的初始形狀做一個形狀變化：

其中是平均形狀，P是特征矩陣，b是形狀參數(shù)。在新形狀的基礎(chǔ)上再去做剛性變換。利用公式（1）求得形狀參數(shù)b：

在計算到形狀參數(shù)b后確定新的形狀并作為下一次迭代的初始形狀，整個迭代過程的收斂條件是：

其中i為迭代次數(shù)，ξ為設(shè)定的閾值。

這種方法一定會收斂，這是由算法的收斂函數(shù)決定，但是很明顯的缺點是收斂函數(shù)過于簡單，而且從本質(zhì)上說收斂只是針對形狀參數(shù)而言，并且形狀參數(shù)收斂并不等同于對應(yīng)的形狀也收斂，原因是紋理信息利用得太少，這是ASM 算法的主要缺點。AAM 算法正是為了克服這個缺點提出來的，AAM 算法利用的當(dāng)前形狀中的所有紋理信息，并利用這些信息來更新形狀參[5]。AAM 算法的收斂法則是：

局部紋理模型對單個特征點定位比較準確，但可能由于噪聲陷入局部極小值，AAM 對于整體形狀有很好的定位效果，但對每個特征點定位精度不夠。

2.3 局部紋理模型應(yīng)用于AAM 初始參數(shù)優(yōu)化

由于局部紋理模型只是利用了關(guān)鍵點法線方向上的紋理信息[12]，在搜索過程中易受噪聲影響而陷入局部極小問題。對于當(dāng)前形狀s，對每個特征點進行局部紋理模型匹配之后形狀變?yōu)閟+ds，其中ds=(dX1,dX2,…，dXn)。顯然，經(jīng)過局部紋理模型處理后特征點之間的整體形狀約束消失了，每個特征點都是獨立的，要將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)優(yōu)化去，首先要解決局部紋理模型可能帶來的局部極小問題。通過2.2 節(jié)分析可知，局部極小問題的發(fā)生主要是由于特征點之間的約束被削弱，錯誤的特征點在剛性變換的時候強制將整體形狀拉偏而導(dǎo)致的，AAM 全局紋理模型能有效地加強特征點之間的形狀約束關(guān)系，AAM 算法在匹配過程中始終使用全局紋理差來作為參數(shù)更新的動力：

其中H是Hessian 矩陣，SDk(x) 是最快下降圖，ΔA(x)是全局紋理差。結(jié)合局部紋理模型對單個特征點定位的精確性和全局紋理模型對整體形狀的約束來抑制局部極小情況的發(fā)生。

為了將局部紋理模型和AAM 全局紋理約束有效結(jié)合起來，需要將經(jīng)局部紋理模型處理過的形狀投影到AAM 形狀模型坐標(biāo)系中。

設(shè)初始形狀為平均形狀s0，Adaboost 算法確定的相似變換參數(shù)為q，則當(dāng)前形狀為：

其中N(…;q) 是整體相似變換，W(…;p) 是形狀變化。對每個特征點進行局部紋理模型搜索，得到變形的形狀s+ds，將s+ds投影到AAM 形狀模型坐標(biāo)系中，目標(biāo)函數(shù)為：

該過程與ASM 匹配過程相同，是一個反復(fù)迭代的過程，求出參數(shù)增Δp,Δq，更新參數(shù)p←p+Δp,q←q+Δq，此時s+ds已成功投影到AAM 形狀模型坐標(biāo)系中。s+ds在AAM 形狀模型坐標(biāo)系中的近似表達式為：

其中s0是AAM 形狀模型的平均形狀，si是形狀模型的特征向量。

解決了變形后的形狀向AAM 形狀模型坐標(biāo)投影的問題，下面說明如何將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)的估計中：

（1）采用Adaboost算法確定初始形狀sinit=+Pb，并提取當(dāng)前紋理A(x)，計算與AAM平均紋理的差ΔAinit(x)。

（2）對sinit用局部紋理模型進行搜索，得到變形形狀sinit+ds，將sinit+ds利用公式（6）（7）投影到AAM 形狀模型中，確定參數(shù)p，q。利用公式（5）計算新的形狀，并在新形狀下提取紋理差ΔA(x)。若‖ΔA(x) ‖＜‖ ΔAinit(x) ‖則接受此次局部紋理模型更新的參數(shù)，否則認為參數(shù)已經(jīng)達到最優(yōu)并退出。

（3）計算參數(shù)增量：

其中H是AAM 模型平局紋理模型的Hessian 矩陣，SDk是相應(yīng)的最快下降圖像。更新參數(shù)并計算最新形狀s，將sinit←s，ΔAinit(x)←ΔA(x)，重復(fù)步驟（2），（3）直至收斂。這里收斂的準則是紋理差ΔA(x)不再減小，在每次迭代過程中通過局部紋理得到一個局部收斂的變形的形狀，再通過全局紋理模型將變形后的形狀投影到訓(xùn)練的形狀模型之下，所以最終的初始形狀優(yōu)化過程是全局收斂的。這個初始參數(shù)優(yōu)化的過程一定是收斂的，在迭代的過程中最壞的情況是平均形狀對應(yīng)的紋理差最小，只要紋理差在減小就一定會收斂于一個形狀參數(shù)向量，原理類似于AAM 迭代收斂，如果是在迭代過程中陷入了局部極小收斂，就直接采用平均形狀作為初始形狀。

上述過程將局部紋理模型和AAM 全局紋理約束有效結(jié)合到一起，利用局部紋理模型對形狀參數(shù)做優(yōu)化，從而在整體上使得初始參數(shù)的估計達到最優(yōu)。

由于本文算法提出了參數(shù)優(yōu)化的過程，會在時間效率上比AAM 算法要低。原始AAM 算法在使用Adaboost算法確定初始形狀之后直接利用紋理差來迭代更新參數(shù)直到收斂。現(xiàn)在要在Adaboost 確定初始形狀之后做一個優(yōu)化過程，增加的時間體現(xiàn)在局部紋理模型匹配和利用紋理差更新參數(shù)的過程。

3 AAM 匹配模板的改進

3.1 AAM 匹配模板改進的原理

AAM 算法的擬合過程采用的是基于反向組合算法的L-K 算法[13-14]，L-K 算法的目標(biāo)函數(shù)為：

其中W(x;p)是仿射變換，T(x)是固定的匹配模板。從式（9）可知，L-K 算法要求待匹配圖像和模板之間只有大小、位置和扭曲的差異[13]，而基于反向組合算法的AAM 擬合過程中，假設(shè)待匹配圖像平均形狀下的真實紋理信息為Aface(x)，那么最精確的匹配模板T(x)應(yīng)該滿足（10）、（11）兩式：

即最終的紋理參數(shù)使得匹配模板和待匹配圖像在紋理細節(jié)上差異最小。

但是由于紋理模型參數(shù)λ在每次迭代過程中都要更新，這就導(dǎo)致模板的梯度，Hessian 矩陣，最快下降圖像都需要重新計算，這樣會帶來巨大的計算量，降低了算法的時間效率。故反向組合AAM 算法采用張量空間投影的方法[15]，將匹配模板固定為平均紋理向量A0(x)，這樣就可以在匹配之前，提前計算必要的參數(shù)量，從而大大提高了時間效率。

由公式（10）可知，如果在匹配前對紋理參數(shù)做一個初始值λ0的估計，使得模板的在紋理細節(jié)上與待匹配圖像更加接近，那么在匹配過程中會提高最終的特征點匹配精度。分析反向組合AAM 算法的匹配過程可知，紋理信息提取的準確與否與形狀的精確定位成正比關(guān)系。所以，利用上一章中對初始形狀參數(shù)最優(yōu)估計的結(jié)果，在待匹配圖像上提取紋理信息并投影到AAM 紋理模型坐標(biāo)下，即更新后的匹配模板為：

因為初始形狀的位置要比平均形狀好，所以升級后的模板比平均紋理模板在紋理細節(jié)上更接近待匹配圖像。

3.2 AAM 匹配模板改進的流程

針對上述問題，本文在初始形狀參數(shù)最優(yōu)化的基礎(chǔ)上對AAM 匹配模板進行升級改進。在2.3 節(jié)介紹方法的基礎(chǔ)上，確定最優(yōu)化的初始形狀參數(shù)p0，q0，利用公式（5）可以確定形狀s，從當(dāng)前形狀s中提取紋理信息并仿射到平均形狀s0中，得到紋理向量A(x)，將該紋理向量投影到AAM 紋理模型中，計算對應(yīng)的紋理參數(shù)：

根據(jù)初始紋理參數(shù)計算新的紋理模板：

Hessian 矩陣的計算公式如下：

改進前的模板為平均紋理模板，改進后的模板包含了待匹配圖像紋理的細節(jié)信息，這樣更符合L-K 的算法要求。

4 算法的整體流程

綜合前面兩章的內(nèi)容，現(xiàn)將本文改進算法的整體流程描述如下：

（1）采用Adaboost 算法確定AAM 形狀模型的初始位置，計算并記錄當(dāng)前形狀下的紋理差ΔA(x)。

（2）對當(dāng)前形狀應(yīng)用局部紋理形狀并用AAM 全局紋理進行約束，利用公式（8）、（5）對形狀參數(shù)進行更新，計算新形狀，計算紋理差，迭代此過程直到紋理差ΔA(x)不再減小，如果在迭代過程中始終是平均紋理差最小，那么就以平均形狀作為初始形狀。

（3）在得到最優(yōu)化的形狀參數(shù)p，q，根據(jù)公式（15）～（17）來計算新的匹配模板以及相關(guān)量。

（4）在優(yōu)化的形狀參數(shù)和更新后的紋理模板下，采用反向組合算法AAM 做最后的人臉特征定位。

5 實驗結(jié)果

實驗選用IMM 人臉數(shù)據(jù)庫，該數(shù)據(jù)庫有40 人6 個不同的角度的樣本圖像，每幅圖像標(biāo)定58 個特征點。本文采用120 幅圖像作為訓(xùn)練樣本集，其余的圖像用于測試。

實驗主要對反向組合AAM 算法和本文改進的算法以及現(xiàn)有改進的PAAM[16]算法在特征點定位精度上和時間效率上做出比較。實驗采用經(jīng)過算法定位的特征點坐標(biāo)和樣本手動標(biāo)定的特征點坐標(biāo)的差值作為誤差標(biāo)準，誤差計算函數(shù)為：

其中N是每個樣本的特征點數(shù)目，(xi，yi)是算法定位的特征點坐標(biāo)，(xi0，yi0)是手動標(biāo)定的特征點坐標(biāo)。為了對三種算法有更直觀的比較，進一步計算本文算法相對其余兩種算法的整體匹配精度：

其中EAAM代表傳統(tǒng)反向AAM算法或是PAAM算法的平均誤差，E′AAM代表本文算法的平均誤差。實驗記錄了三種算法對IMM 人臉庫中測試圖片的特征點定位誤差和時間效率，并做出三種算法的時間效率分布和誤差值分布（正面、左側(cè)、右側(cè)）的散點圖。記錄如圖1～圖4所示。

圖1 三種算法的時間效率比較散點圖

圖2 三種算法的正面人臉誤差比較散點圖

圖3 三種算法的左側(cè)45°誤差比較散點圖

圖4 三種算法的右側(cè)45°誤差比較散點圖

圖1 為三種算法的時間效率比較（單位為秒），圖2、3、4 為不同噪聲下三種算法的定位誤差比較圖（單位為像素），對于圖1 中的第3 和第16 幅檢測圖是擬合失敗的結(jié)果，擬合失敗如圖5 所示。

圖5 本文算法擬合失敗的圖例

從測試樣本中選取8 幅圖像的實驗數(shù)據(jù)記錄特征定位誤差得到表1 以及時間效率比較得到表2。

表1 三種算法特征定位誤差比較

表2 三種算法時間效率比較s

從表1 計算三種算法的平均誤差依次為，AAM：8.45，PAAM：6.30，本文算法：5.04。

從表2 計算三種算法的平均時間依次為，AAM：11.71，PAAM：11.32，本文算法：14.07。從實驗數(shù)據(jù)可知，改進后的算法在特征點定位精度上要比傳統(tǒng)反向組合AAM 算法高出約40%左右，比改進的PAAM 算法高出約20%左右，在時間效率上，改進的算法比反向組合AAM 算法降低約20%。實驗還記錄了反向組合算法、PAAM 算法和本文算法對四張同一個人不同角度和表情的人臉擬合圖（如圖6 所示）以及四個不同人的人臉擬合的結(jié)果（如圖7 所示）。

圖6 三種算法人臉擬合結(jié)果

圖7 不同人的三種算法人臉擬合結(jié)果

實驗部分的最后為了充分比較本算法和其他的結(jié)合ASM 和AAM 的算法，本文選取的最新的算法文獻[17]所示。通過分析，該算法是在擬合的前部分時間使用ASM 算，在擬合的后部分使用AAM 算法那，與該算法比較，本文算法的除了有效地融合ASM 和AAM 算法之外還再此基礎(chǔ)上對匹配模板進行了升級。比較該文獻最終的實驗結(jié)果[17]，該算法比AAM 算法誤差減小4%，本文算法比AAM 算法誤差減小20%。

6 結(jié)束語

本文在深入分析AAM 算法的基礎(chǔ)上，提出了將局部紋理模型應(yīng)用于AAM 初始參數(shù)的最優(yōu)化。在分析L-K 算法的基礎(chǔ)上，提出了對AAM 匹配模板進行升級的改進。本文將二者有效結(jié)合起來，從理論和實驗結(jié)果可以證明，改進后的算法在人臉特征點定位精度上有很大提高。但由于局部紋理模型的加入，使得改進算法在時間效率上比反向AAM 算法低，今后的工作可以考慮如何在保證高時間效率的同時也保證高定位精度；另外，不同角度的多模板AAM 算法也是下一步重點的研究內(nèi)容。

[1] 陳章樂，蔡茂國，劉凡秀.一種結(jié)合膚色及類人臉特征的人臉檢測[J].計算機工程與應(yīng)用，2013，49（3）：194-197.

[2] Wang C Y，Qu M J，Bi H Z，et al.Facial feature detection algorithm based on main characteristics of eyes[J].Applied Mechanics and Materials，2013，303：1402-1405.

[3] Fan B，Yang X，Zhou X，et al.A coarse to fine facial key landmark points locating algorithm based on Active Shape Model[C]//Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology-Volume 03.IEEE Computer Society，2012：39-43.

[4] Edwards G J，Taylor C J，Cootes T F.Interpreting face images using active appearance models[C]//Third IEEE International Conference on Automatic Face and Gesture Recognition.IEEE，1998：300-305.

[5] Iain M，Simon B.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[6] Ma S，Du T.Improved Adaboost Face Detection[C]//2010 International Conference on Measuring Technology and Mechatronics Automation（ICMTMA）.IEEE，2010，2：434-437.

[7] Suo C G，Zhang W B，Sun G.Face gabor feature selection based on Adaboost[J].Advanced Materials Research，2013，694：1906-1909.

[8] Qian X，Yan Tang Y，Yan Z，et al.ISABoost：A weak classifier inner structure adjusting based adaboost algorithm—ISABoost based application in scene categorization[J].Neurocomputing，2012，103：104-113.

[9] 黃興，王小濤，陸麗華.一種快速高效的人臉檢測方法[J].計算機工程與應(yīng)用，2013，49（3）：198-201.

[10] Cootes T F，Taylor C J，Cooper D H，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding，1995，61（1）：38-59.

[11] Wu J，Mei L.A face recognition algorithm based on ASM and Gabor features of key points[C]//2012 International Conference on Graphic and Image Processing.International Society for Optics and Photonics，2013.

[12] Elshoura S M，Megherbi D B.Secure high capacity fullgray-scale-level multi-image information hiding and secret image authentication scheme via Tchebichef moments [J].Signal Processing：Image Communication，2013，28（5）：531-552.

[13] Baker S，Matthews I.Lucas-kanade 20 years on：A unifying framework[J].International Journal of Computer Vision，2004，56（3）：221-255.

[14] Antink C H，Singh T，Singla P，et al.Advanced Lucas Kanada optical flow for deformable image registration[J].Journal of Critical Care，2012，27（3）.

[15] 張培，吳亞鋒.AAM 反向合成匹配算法及其性能分析[J].計算機工程與應(yīng)用，2007，43（18）：47-50.

[16] Kim D，Kim J，Cho S，et al.Progressive AAM based robust face alignment[C]//Proc of World Academy of Science，Engineering and Technology，2007，21：488-492.

[17] 王智.基于AAM 和ASM 的面部特征點提取研究[J].電子設(shè)計工程，2013，21（10）：169-170.