許進(jìn)文，趙啟軍，陳 虎

(四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065)

一種改進(jìn)的三維局部約束模型初始化方法

許進(jìn)文，趙啟軍，陳 虎

(四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065)

三維局部約束模型(3D Constrained Local Model，CLM-Z)算法，綜合利用灰度和深度信息檢測三維人臉數(shù)據(jù)中的特征點(diǎn)(如眼角、鼻尖和嘴角)，實(shí)現(xiàn)了較高的檢測精度。CLM-Z方法一般使用人臉位置和平均三維人臉模型進(jìn)行初始化。設(shè)計(jì)了四個(gè)實(shí)驗(yàn)定量地分析CLM-Z參數(shù)初始化對(duì)算法精度的影響：在BU-4DFE庫上評(píng)估CLM-Z算法精度；通過平移人臉邊界框擾動(dòng)平移參數(shù)的初始值；通過縮放人臉邊界框擾動(dòng)尺度參數(shù)的初始值；通過給定繞y軸和z軸的旋轉(zhuǎn)角擾動(dòng)旋轉(zhuǎn)參數(shù)的初始值。實(shí)驗(yàn)結(jié)果表明，CLM-Z算法可容忍平移擾動(dòng)約為人臉寬的1/6，在(0.75,1.50)縮放范圍內(nèi)算法精度不會(huì)下降，可容忍y軸和z軸旋轉(zhuǎn)角約20°。基于以上評(píng)估結(jié)果，進(jìn)一步提出在紋理圖像上檢測特征點(diǎn)作為初始化，然后再進(jìn)行CLM-Z迭代。在BU-4DFE數(shù)據(jù)庫上的評(píng)估結(jié)果證明，該初始化方法能有效提升CLM-Z方法的特征點(diǎn)定位精度。

三維人臉特征點(diǎn)定位；三維局部約束模型；初始化；魯棒級(jí)聯(lián)姿態(tài)回歸

0 引 言

人臉特征點(diǎn)檢測是人臉識(shí)別[1-4]、表情分析[5-6]、人臉動(dòng)畫[7]等一個(gè)關(guān)鍵的中間步驟。由于光照、姿態(tài)、遮擋、表情等因素的影響，人臉特征點(diǎn)檢測成為一個(gè)充滿挑戰(zhàn)的研究課題。為了解決這一問題，學(xué)術(shù)界做出了很多有價(jià)值的嘗試，提出了不少方法，其中包括CLM(Constrained Local Model)[8]和它之后的各種擴(kuò)展模型[9-10]。這些方法均構(gòu)建于人臉檢測之上，但是沒有評(píng)估人臉檢測誤差對(duì)特征點(diǎn)定位結(jié)果的影響。

Baltru?aitis等提出的CLM-Z算法[10]，綜合利用灰度和深度信息檢測三維人臉上的特征點(diǎn)，其優(yōu)勢在于引入深度信息不僅可以降低光照變化的影響，而且還能減少孔徑問題的干擾。初始化是應(yīng)用CLM-Z的一個(gè)關(guān)鍵過程，涉及4個(gè)參數(shù)[s,R,q,t]。其中，[s,t]的初始化依賴于所使用的人臉檢測器[11]得到的人臉位置，而且人臉檢測偏差普遍存在于現(xiàn)實(shí)應(yīng)用中。因此，文中認(rèn)為研究初始化改變對(duì)CLM-Z檢測精度的影響很有必要。

文中通過平移和縮放人臉邊界框改變參數(shù)[s,t]的初始值，通過給定繞y軸和z軸的旋轉(zhuǎn)角改變參數(shù)R的初始值，在BU-4DFE數(shù)據(jù)庫[12]上系統(tǒng)地評(píng)估初始化對(duì)CLM-Z精度的影響和CLM-Z對(duì)初始化擾動(dòng)的魯棒性。基于以上評(píng)估結(jié)果，進(jìn)一步提出使用RCPR[13]在灰度圖上檢測結(jié)果的近似值初始化CLM-Z的參數(shù)[s,t]，使得這些特征點(diǎn)的初始位置更接近其真實(shí)值，達(dá)到提升CLM-Z檢測精度的目的。

1 CLM-Z方法

CLM-Z方法的思想是將灰度和深度信息結(jié)合起來應(yīng)用于人臉特征點(diǎn)檢測，該模型可以使用參數(shù)集p=[s,R,q,t]來描述。其中，s表示縮放因子；R表示旋轉(zhuǎn)矩陣；t表示二維平移量；q表示人臉形狀的非剛性變化參數(shù)。模型表達(dá)式如下：

(1)

CLM-Z擬合目標(biāo)的概率表達(dá)式如下：

(2)

1.1 Patch Experts

PatchExperts的作用是計(jì)算以人臉特征點(diǎn)為中心的周圍鄰域的響應(yīng)圖，Patch Experts可以選用距離矩陣(如馬氏距離)、分類器(如線性支持向量機(jī))或者回歸器。CLM-Z選用基于分類器的Patch Experts，表達(dá)式為：

P(li|xi,I,Z)=0.5×(P(li|xi,I)+P(li|xi,Z))

(3)

其中

(4)

(5)

(6)

(7)

1.2 初始化方法

參數(shù)初始化是應(yīng)用CLM-Z的必要步驟，該方法的初始化過程構(gòu)建于人臉檢測結(jié)果之上，如下：

R=E

2 初始化對(duì)CLM-Z精度影響的評(píng)估

2.1 實(shí)驗(yàn)數(shù)據(jù)集

文中選用包含101個(gè)對(duì)象的BU-4DFE數(shù)據(jù)庫，每個(gè)對(duì)象有6種基本表情：生氣、厭惡、害怕、快樂、悲傷以及驚訝。每個(gè)表情序列擁有約100幀三維模型以及83個(gè)特征點(diǎn)的三維真實(shí)位置。由于CLM-Z算法的輸入是成對(duì)的具有像素級(jí)對(duì)應(yīng)關(guān)系的灰度和深度圖像，因此需要對(duì)庫中的數(shù)據(jù)進(jìn)行預(yù)處理。首先，間隔20幀選取三維模型，讀取并輸出每個(gè)三維模型對(duì)應(yīng)的灰度圖和深度圖。然后，記錄紋理和深度有效的位置，得到新的紋理圖和深度圖(如圖1所示)，以及預(yù)處理后所有特征點(diǎn)的二維真實(shí)位置。因?yàn)镃LM-Z方法使用66個(gè)特征點(diǎn)，所以評(píng)估實(shí)驗(yàn)將在兩個(gè)特征點(diǎn)集的交集上進(jìn)行。圖1中灰度圖展示了文中使用的20個(gè)特征點(diǎn)及其序號(hào)，并定義8個(gè)白點(diǎn)為關(guān)鍵特征點(diǎn)，初始化改進(jìn)實(shí)驗(yàn)將在8個(gè)關(guān)鍵特征點(diǎn)上進(jìn)行。

圖1 預(yù)處理后的灰度圖和深度圖以及20個(gè)

2.2 評(píng)估指標(biāo)

計(jì)算每個(gè)特征點(diǎn)自動(dòng)檢測得到的坐標(biāo)與二維真實(shí)位置之間的歐氏距離，并使用內(nèi)眼角距離歸一化，稱作平均歸一化擬合誤差(簡稱MNFE)：

(8)

2.3 參數(shù)t初始化對(duì)CLM-Z檢測精度影響的評(píng)估

為了定量地評(píng)估參數(shù)t產(chǎn)生的影響，將通過沿x軸和y軸平移人臉邊界框來擾動(dòng)參數(shù)t的初始值，平移范圍是(-30,+30)像素，平移步長是10像素。圖2(a)展示了沿x軸和y軸分別平移-30像素的情形，結(jié)果如表1所示。

假定將CLM-Z使用的人臉檢測器[11]返回的人臉區(qū)域看作人臉位置的真實(shí)值，那么CLM-Z算法能夠容忍的人臉邊界框偏離范圍大約是人臉大小的1/6，如果偏離誤差更大，將會(huì)導(dǎo)致CLM-Z的檢測精度下降。

2.4 參數(shù)s初始化對(duì)CLM-Z檢測精度影響的評(píng)估

為了定量地評(píng)估參數(shù)s初始化擾動(dòng)對(duì)CLM-Z檢測精度的影響，將通過縮放人臉邊界框來擾動(dòng)參數(shù)s，縮放比例是(0.5,2)，縮放步長是0.05。

表1 在伴有平移參數(shù)初始化擾動(dòng)的情況下

圖2為參數(shù)初始化擾動(dòng)示例。

(a)將人臉(黑框)沿x軸和y軸分別平移-30像素(白框)

(b)將人臉(黑框)縮小到原始的0.75倍(白框)

(c)將初始位置(黑點(diǎn))繞z軸旋轉(zhuǎn)15o(白點(diǎn))

圖3展示了參數(shù)s初始值改變對(duì)CLM-Z算法擬合精度的影響。

圖3 尺度參數(shù)初始化擾動(dòng)對(duì)CLM-Z檢測精度的影響

由圖3可以看出，將原始人臉邊界框的寬和高縮小至原來的0.75倍以下，所有特征點(diǎn)MNFE的平均值將會(huì)逐漸增大，誤差增大幅度也會(huì)加大；而將原始人臉邊界框的寬和高逐漸放大，直至1.5倍，CLM-Z算法的精度都幾乎沒有受到影響。但是，當(dāng)放大比例超過1.5倍時(shí)，擬合誤差將會(huì)再次增大，檢測精度的下降速度逐漸加快。這主要是因?yàn)楫?dāng)人臉邊界框的寬和高縮小至原來的0.5倍時(shí)，所有特征點(diǎn)的初始位置變得更接近，CLM-Z算法區(qū)分出人臉不同部位的難度將會(huì)更大；同樣地，當(dāng)人臉邊界框的寬和高放大倍數(shù)超過1.5倍時(shí)，人臉邊界框?qū)⒉煌潭鹊卦竭^圖像邊界，使得特征點(diǎn)的初始位置偏離圖像過遠(yuǎn)，最終導(dǎo)致擬合誤差變大。

由實(shí)驗(yàn)可知，CLM-Z算法在(0.75,1.5)縮放范圍內(nèi)擬合精度穩(wěn)定，這也說明了它對(duì)參數(shù)s的初始化擾動(dòng)具有較強(qiáng)的魯棒性。

2.5 參數(shù)R初始化對(duì)CLM-Z檢測精度影響的評(píng)估

設(shè)計(jì)該實(shí)驗(yàn)的目的是明確參數(shù)R初始化對(duì)CLM-Z算法精度的影響。CLM-Z的旋轉(zhuǎn)矩陣R與變量orientation一一對(duì)應(yīng)。傳統(tǒng)CLM-Z初始化參數(shù)R為單位矩陣，即orientation=[0;0;0]，三個(gè)0分別表示繞x軸、y軸以及z軸的旋轉(zhuǎn)角。文中將在初始化R時(shí)，給定繞y軸和z軸的旋轉(zhuǎn)角，旋轉(zhuǎn)范圍是(-30o,+30o)，旋轉(zhuǎn)步長是10o。圖2(c)為參數(shù)R初始化為單位矩陣和繞z軸旋轉(zhuǎn)15o的特征點(diǎn)初始位置的示例，評(píng)估結(jié)果如表2所示。

表2 在伴有旋轉(zhuǎn)參數(shù)初始化擾動(dòng)的情況下，

由表2可知，給定y軸旋轉(zhuǎn)[-10o,+10o]同時(shí)z軸旋轉(zhuǎn)[-20o,+20o]，對(duì)CLM-Z的精度幾乎不會(huì)產(chǎn)生影響；在z軸[-10o,+10o]范圍內(nèi)，將y軸的旋轉(zhuǎn)角擴(kuò)展至[-20o,+20o]也沒有導(dǎo)致CLM-Z精度的下降。而在y=±30°，z軸在[-30o,+30o]范圍內(nèi)，CLM-Z算法都呈現(xiàn)出較高的擬合誤差。

3 初始化方法的改進(jìn)

文中將利用與圖1中8個(gè)關(guān)鍵特征點(diǎn)對(duì)應(yīng)的CLM-Z參數(shù)(稱8點(diǎn)CLM-Z)進(jìn)行測試，評(píng)估實(shí)驗(yàn)結(jié)果，并與原始CLM-Z(稱66點(diǎn)CLM-Z)的8個(gè)關(guān)鍵特征點(diǎn)的檢測精度進(jìn)行比較，對(duì)比結(jié)果見表3。使用66點(diǎn)CLM-Z檢測人臉特征點(diǎn)時(shí)，其中8個(gè)關(guān)鍵特征點(diǎn)的擬合誤差遠(yuǎn)遠(yuǎn)低于使用8點(diǎn)CLM-Z時(shí)的誤差，即當(dāng)模型特征點(diǎn)數(shù)減少時(shí)，CLM-Z算法的檢測精度也隨之下降，這很可能是因?yàn)樘卣鼽c(diǎn)數(shù)的減少使有價(jià)值的相對(duì)位置信息減少，并且人臉的全局幾何約束和各人臉部位上特征點(diǎn)的交互也無法得到充分利用[14]。

表3 關(guān)鍵特征點(diǎn)的MNFE比較

因此基于上述實(shí)驗(yàn)對(duì)初始化影響的評(píng)估結(jié)果，文中進(jìn)一步提出使用RCPR[13]在灰度圖上檢測29個(gè)特征點(diǎn)，然后提取其中8個(gè)關(guān)鍵特征點(diǎn)的檢測結(jié)果,并用其近似值初始化8點(diǎn)CLM-Z的參數(shù)[s,t]以使特征點(diǎn)的初始位置更接近其真實(shí)值。當(dāng)分別使用兩種初始化方法時(shí)，8個(gè)關(guān)鍵特征點(diǎn)初始位置偏離其真實(shí)值的歸一化距離見表4。緊接著評(píng)估在使用文中提出的初始化方法后8點(diǎn)CLM-Z的檢測誤差，并與使用傳統(tǒng)初始化方法時(shí)的誤差作比較，如表5所示。

表4 使用不同初始化方法時(shí)每個(gè)關(guān)鍵特征點(diǎn)

表5 使用不同初始化方法時(shí)的檢測誤差比較

從表4、5可以看出，當(dāng)使用文中提出的初始化方法時(shí)，8點(diǎn)CLM-Z在序號(hào)1、4、12以及18上的擬合誤差盡管略高于初始化的誤差，但是總體來說，所有特征點(diǎn)MNFE的平均值比初始化誤差的平均值降低了0.03。更重要的是，8點(diǎn)CLM-Z使用文中提出的初始化方法后總體誤差比使用原始初始化方法降低0.47，可見文中提出的初始化方法能夠顯著提升8點(diǎn)CLM-Z的檢測精度，這也充分證明了該方法的有效性。

4 結(jié)束語

在BU-4DFE數(shù)據(jù)庫上系統(tǒng)地評(píng)估了CLM-Z模型對(duì)參數(shù)初始化誤差的敏感程度，詳細(xì)地評(píng)估了原始CLM-Z算法的檢測精度，并將其作為后續(xù)實(shí)驗(yàn)的對(duì)比基準(zhǔn)，緊接著通過三個(gè)實(shí)驗(yàn)定量地評(píng)估了參數(shù)初始化對(duì)CLM-Z算法精確度的影響?；趯?shí)驗(yàn)對(duì)初始化影響的評(píng)估結(jié)果，進(jìn)一步提出采用RCPR檢測結(jié)果的近似值初始化CLM-Z參數(shù)的方法，實(shí)驗(yàn)結(jié)果證明該方法能夠有效提升CLM-Z的檢測精度。

[1] 謝文浩,翟素蘭.基于加權(quán)稀疏近鄰表示的人臉識(shí)別[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(2):22-25.

[2] 祝 磊,朱善安.基于二維廣義主成分分析的人臉識(shí)別[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版,2007,41(2):264-267.

[3] 孔萬增,朱善安.基于正交補(bǔ)空間的人臉識(shí)別[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版,2008,42(4):571-573.

[4] 趙武鋒,嚴(yán)曉浪.基于多尺度梯度角和SVM的正面人臉識(shí)別方法[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版,2008,42(4):590-592.

[5] 李文書,何芳芳,錢沄濤,等.基于Adaboost-高斯過程分類的人臉表情識(shí)別[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2012,46(1):79-83.

[6] 高 文,金 輝.面部表情圖像的分析與識(shí)別[J].計(jì)算機(jī)學(xué)報(bào),1997,20(9):782-789.

[7] 姜大龍,高 文,王兆其,等.面向紋理特征的真實(shí)感三維人臉動(dòng)畫方法[J].計(jì)算機(jī)學(xué)報(bào),2004,27(6):750-757.

[8]CristinacceD,CootesTF.Featuredetectionandtrackingwithconstrainedlocalmodels[C]//Britishmachinevisionconference.[s.l.]:[s.n.],2006:929-938.

[9]GuL,KanadeT.Agenerativeshaperegularizationmodelforrobustfacealignment[C]//Europeanconferenceoncomputervision.Berlin:Springer,2008:413-426.

[10]Baltru?aitisT,RobinsonP,MorencyLP.3Dconstrainedlocalmodelforrigidandnon-rigidfacialtracking[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2610-2617.

[11]ZhuX,RamananD.Facedetection,poseestimation,andlandmarklocalizationinthewild[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2879-2886.

[12]YinL,ChenX,SunY,etal.Ahigh-resolution3Ddynamicfacialexpressiondatabase[C]//8thIEEEinternationalconferenceonautomaticface&gesturerecognition.Amsterdam:IEEE,2008:1-6.

[13]Burgos-ArtizzuXP,PeronaP,DollárP.Robustfacelandmarkestimationunderocclusion[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.Sydney:IEEE,2013:1513-1520.

[14]ZhouE,FanH,CaoZ,etal.Extensivefaciallandmarklocalizationwithcoarse-to-fineconvolutionalnetworkcascade[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervisionworkshops.Sydney:IEEE,2013:386-391.

An Improved Initialization Method for 3D Constrained Local Model

XU Jin-wen,ZHAO Qi-jun,CHEN Hu

(National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University, Chengdu 610065,China)

3D Constrained Local Model (CLM-Z) achieves high accuracy in detecting 3D facial landmarks (e.g., eye corners,nose tip and mouth corners) via taking full advantage of both intensity and depth information.CLM-Z is conventionally initialized based on the location of face and mean 3D facial model.The effect of CLM-Z initialization on detection accuracy is evaluated quantitively by carrying out the following experiments:assessing the accuracy of CLM-Z with the conventional initialization method on the BU-4DFE database,translating the face to perturb the initial value of translation parameter,varying the size of detected face to perturb the initial value of scale parameter,varying the rotation angles around y-axis and z-axis to perturb the initial value of rotation parameter.Experimental results show that CLM-Z can tolerate translations up to approximately 1/6of the width of the face,scalings between 0.75 and 1.50,and rotations within 20 degrees.Based on the above evaluation results,a novel initialization method is proposed further that exploits facial landmarks detected firstly on 2D texture images.Experiments on the BU-4DFE database show that the proposed initialization method can successfully improve the 3D landmark localization accuracy of CLM-Z approach.

3D facial landmark localization;3D Constrained Local Model (CLM-Z);initialization;Robust Cascaded Pose Regression (RCPR)

2016-03-18

2016-06-22

時(shí)間：2017-01-04

國家自然科學(xué)基金資助項(xiàng)目(61202160，61202161)；科技部重大儀器專項(xiàng)(2013YQ49087904)

許進(jìn)文(1992-)，女，碩士生，研究方向?yàn)槿S人臉特征點(diǎn)檢測；趙啟軍，副教授，碩士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)以及計(jì)算機(jī)視覺等；陳 虎，講師，碩士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、圖像處理等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1102.090.html

TP

A

1673-629X(2017)01-0030-04

10.3969/j.issn.1673-629X.2017.01.007