陳得恩，張建偉，柯文俊

(中國(guó)航天科工集團(tuán)第二研究院 七〇六所，北京 100854)

0 引 言

自20世紀(jì)90年代以來(lái)，頭部姿態(tài)估計(jì)一直是較為活躍的研究方向，各國(guó)學(xué)者提出了大量算法以提高方法的準(zhǔn)確性[1-4]。但上述算法均沒(méi)有考慮應(yīng)用于視頻數(shù)據(jù)時(shí)能否反映頭部姿態(tài)的變化趨勢(shì)，這使得姿態(tài)估計(jì)值相對(duì)于真實(shí)值可能具有較大的波動(dòng)性，為一些安全關(guān)鍵系統(tǒng)帶來(lái)潛在的安全隱患，例如實(shí)時(shí)監(jiān)測(cè)駕駛員疲勞和注意力分散情況的駕駛輔助系統(tǒng)。

而傳統(tǒng)基于特征點(diǎn)的頭部姿態(tài)估計(jì)方法受人臉特征點(diǎn)檢測(cè)和姿態(tài)估計(jì)采用的3D人臉模型的準(zhǔn)確性等因素影響[3]，容易導(dǎo)致姿態(tài)估計(jì)值不精確、波動(dòng)性較大(應(yīng)用于視頻數(shù)據(jù)時(shí))的問(wèn)題。針對(duì)估計(jì)值不精確問(wèn)題，設(shè)計(jì)了一種誤差補(bǔ)償方法，利用極端梯度提升XGBoost機(jī)器學(xué)習(xí)模型[5]，擬合該頭部姿態(tài)估計(jì)值的誤差。針對(duì)姿態(tài)估計(jì)值波動(dòng)性較大的問(wèn)題，提出僅與姿態(tài)角增量方向有關(guān)的穩(wěn)定性度量CSS(cosine similarity based stability metric)，同時(shí)引入自適應(yīng)移動(dòng)平均方法對(duì)姿態(tài)估計(jì)值進(jìn)行平滑處理。本文方法僅使用RGB圖像作為輸入，圖1顯示其頭部姿態(tài)估計(jì)示例結(jié)果，可以看出估計(jì)結(jié)果較為準(zhǔn)確。

圖1 本文方法的頭部姿態(tài)估計(jì)結(jié)果

1 相關(guān)工作

1.1 穩(wěn)定性

傳統(tǒng)基于特征點(diǎn)的頭部姿態(tài)估計(jì)方法包含人臉檢測(cè)、人臉對(duì)齊(又稱(chēng)人臉特征點(diǎn)定位)和姿態(tài)估計(jì)3個(gè)步驟。對(duì)于上述前兩步，文獻(xiàn)[6]研究了目標(biāo)檢測(cè)算法的穩(wěn)定性，基于當(dāng)前精度指標(biāo)mAP(mean average precision)，提出了中心點(diǎn)位置誤差、大小和比例誤差等穩(wěn)定性度量，可用于人臉、手或行人等目標(biāo)的檢測(cè)；為解決當(dāng)前人臉對(duì)齊方法結(jié)果不夠穩(wěn)定的問(wèn)題，文獻(xiàn)[7]在模型訓(xùn)練過(guò)程中引入一種基于穩(wěn)定性的損失函數(shù)，使得相鄰視頻幀間的人臉特征點(diǎn)檢測(cè)更加平穩(wěn)。然而，目前還沒(méi)有針對(duì)頭部姿態(tài)估計(jì)穩(wěn)定性的研究。

視頻數(shù)據(jù)是連續(xù)的圖像序列，相鄰兩幀的頭部姿態(tài)具有較強(qiáng)的相關(guān)性。姿態(tài)估計(jì)算法應(yīng)反映真實(shí)值的變化趨勢(shì)，即如果頭部姿態(tài)角度增大/減小，則算法的估計(jì)值也應(yīng)對(duì)應(yīng)增大/減小。在本文中，穩(wěn)定性定義為姿態(tài)估計(jì)算法能夠反映姿態(tài)真實(shí)值變化趨勢(shì)/方向的性質(zhì)。本文認(rèn)為，穩(wěn)定性不僅是視頻內(nèi)頭部姿態(tài)估計(jì)應(yīng)具有的理論性質(zhì)，在實(shí)際系統(tǒng)應(yīng)用中也需要加以考慮。例如，在利用頭部姿態(tài)的輔助駕駛系統(tǒng)中[8]，若頭部姿態(tài)估計(jì)值不穩(wěn)定，相對(duì)于真實(shí)值存在較大波動(dòng)，則可能會(huì)給駕駛員疲勞監(jiān)測(cè)帶來(lái)困難。

1.2 監(jiān)督下降法

監(jiān)督下降法(supervised descent method，SDM)是一種采用級(jí)聯(lián)回歸的方式解決非線(xiàn)性最小二乘問(wèn)題(nonli-near least squares，NLS)的監(jiān)督學(xué)習(xí)方法，由傳統(tǒng)牛頓法演變而來(lái)，有著嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，并且在計(jì)算上非常高效，其廣泛應(yīng)用于人臉對(duì)齊領(lǐng)域，是目前性能最好的方法之一。文獻(xiàn)[9]將其應(yīng)用于目標(biāo)姿態(tài)估計(jì)、剛性和非剛性目標(biāo)跟蹤，驗(yàn)證了其用于解決計(jì)算機(jī)視覺(jué)中NLS問(wèn)題的有效性和準(zhǔn)確性。

1.3 移動(dòng)平均

在時(shí)間序列分析中，移動(dòng)平均是常用的對(duì)數(shù)據(jù)進(jìn)行平滑的技術(shù)，包括簡(jiǎn)單移動(dòng)平均、加權(quán)移動(dòng)平均、指數(shù)移動(dòng)平均、Kaufman自適應(yīng)移動(dòng)平均等。

指數(shù)移動(dòng)平均(exponential moving average，EMA)是一種經(jīng)典的方法，通過(guò)對(duì)數(shù)據(jù)指數(shù)式遞減加權(quán)，可以平滑短期波動(dòng)，其參數(shù)為平滑因子α。

Kaufman自適應(yīng)移動(dòng)平均(Kaufman’s adaptive moving average，KAMA)是EMA的改進(jìn)，進(jìn)一步撫平短期波動(dòng)，反映數(shù)據(jù)中的長(zhǎng)期趨勢(shì)。KAMA引入基于效益率(efficiency ratio，ER)的平滑系數(shù)(smoothing constant，SC)，替代EMA中的α，使KAMA指標(biāo)能根據(jù)當(dāng)前數(shù)據(jù)的波動(dòng)性賦予每個(gè)數(shù)據(jù)不同的權(quán)重。當(dāng)數(shù)據(jù)穩(wěn)定地增大或減小時(shí)，該指標(biāo)變得敏銳，為當(dāng)前數(shù)據(jù)賦予較大的權(quán)重，體現(xiàn)數(shù)據(jù)趨勢(shì)。當(dāng)數(shù)據(jù)存在較大波動(dòng)時(shí)，該指標(biāo)變得遲鈍，為當(dāng)前數(shù)據(jù)賦予較小的權(quán)重，減小數(shù)據(jù)波動(dòng)帶來(lái)的影響。給定時(shí)間序列 {Y(t)}， 定義KAMA如下

(1)

其中

(2)

式中：Change、Volatility分別表示N個(gè)周期內(nèi)數(shù)據(jù)的凈變化量和總變化量， fast=2/(periodf+1) 和slow=2/(periods+1) 分別表示短時(shí)EMA和長(zhǎng)時(shí)EMA的α值，periodf和periods為其對(duì)應(yīng)周期數(shù)。

2 基于SDM的頭部姿態(tài)估計(jì)

給定由一系列3D點(diǎn)M∈R3×n表示的頭部模型、其在圖像上的投影U∈R2×n以及相機(jī)內(nèi)參K∈R3×3， 頭部姿態(tài)估計(jì)的目標(biāo)是計(jì)算圖像中的頭部姿態(tài)角，一般用歐拉角表示。歐拉角常被用于描述剛體在三維歐幾里得空間的方向，由偏航角Yaw、俯仰角Pitch和滾轉(zhuǎn)角Roll組成。頭部姿態(tài)估計(jì)可表述為無(wú)約束的NLS問(wèn)題，其目標(biāo)是最小化重投影誤差

(3)

(4)

其意義為物體坐標(biāo)系下的三維點(diǎn)經(jīng)過(guò)旋轉(zhuǎn)和平移在二維成像平面的投影，式中?表示克羅內(nèi)克積，表示逐元素除法。

(5)

(6)

訓(xùn)練過(guò)程在最小化損失式(5)和樣本點(diǎn)更新式(6)之間交替進(jìn)行。在測(cè)試階段，給定人臉特征點(diǎn)U′，SDM算法遞歸地應(yīng)用式(6)更新姿態(tài)值，即每一次迭代更新對(duì)應(yīng)一個(gè)回歸器。

基于SDM的頭部姿態(tài)估計(jì)屬于較新穎的方法，相關(guān)研究較少[10]，仍然存在提升的空間。本文選取SDM算法進(jìn)行頭部姿態(tài)估計(jì)。常用的準(zhǔn)確性度量為平均絕對(duì)誤差(mean absolute error，MAE)

(7)

其中，prei為頭部姿態(tài)估計(jì)方法預(yù)測(cè)的姿態(tài)角，labeli為姿態(tài)角標(biāo)注。MAE越小表示方法越準(zhǔn)確。

3 穩(wěn)定的視頻內(nèi)頭部姿態(tài)估計(jì)方法

本文使用基于學(xué)習(xí)梯度下降方向的監(jiān)督下降法SDM進(jìn)行頭部姿態(tài)估計(jì)，主要包括人臉檢測(cè)、人臉對(duì)齊和姿態(tài)估計(jì)3個(gè)步驟，如圖2所示。

圖2 穩(wěn)定的視頻內(nèi)頭部姿態(tài)估計(jì)方法框架

人臉檢測(cè)是從圖像中定位人臉位置的過(guò)程，在實(shí)際應(yīng)用中對(duì)遮擋、旋轉(zhuǎn)、光照等應(yīng)有一定的魯棒性。人臉對(duì)齊在人臉檢測(cè)的基礎(chǔ)上定位人臉特征點(diǎn)，獲取二維圖像坐標(biāo)，其準(zhǔn)確性會(huì)影響到后續(xù)的姿態(tài)估計(jì)。考慮到所采用的頭部姿態(tài)估計(jì)流程每幀平均運(yùn)行時(shí)間為28 ms，基本滿(mǎn)足實(shí)際需要，本文對(duì)人臉及其特征點(diǎn)進(jìn)行逐幀檢測(cè)，實(shí)驗(yàn)環(huán)境詳見(jiàn)第4節(jié)。

對(duì)于視頻第t幀，姿態(tài)估計(jì)利用小孔透視成像原理，根據(jù)人臉對(duì)齊得到的人臉關(guān)鍵點(diǎn)坐標(biāo)與頭部三維坐標(biāo)的對(duì)應(yīng)關(guān)系，計(jì)算重投影誤差，經(jīng)過(guò)迭代運(yùn)算得到頭部姿態(tài)角P(t)。為了提高方法準(zhǔn)確率，本文利用XGBoost算法，根據(jù)人臉對(duì)齊和頭部姿態(tài)估計(jì)的結(jié)果擬合當(dāng)前幀姿態(tài)估計(jì)值的誤差(即姿態(tài)真實(shí)值與估計(jì)值之差)，記誤差的擬合值為δ(t)，然后得到優(yōu)化的姿態(tài)估計(jì)值Pc(t)=P(t)+δ(t)。 為了提高方法穩(wěn)定性，通過(guò)式(1)自適應(yīng)移動(dòng)平均對(duì)Pc(t) 進(jìn)行平滑得到穩(wěn)定的姿態(tài)估計(jì)結(jié)果Pa(t)。

若某一幀沒(méi)有檢測(cè)到人臉，考慮到移動(dòng)平均對(duì)數(shù)據(jù)進(jìn)行加權(quán)，對(duì)歷史數(shù)據(jù)有一定的記憶效果，因此為防止其帶來(lái)錯(cuò)誤的影響，提高算法準(zhǔn)確性，在下一次檢測(cè)到人臉時(shí)重新初始化序列Pc(t)和Pa(t)。

基于此方法框架，本節(jié)具體介紹所提出的穩(wěn)定的視頻內(nèi)頭部姿態(tài)估計(jì)方法。

3.1 誤差補(bǔ)償方法

傳統(tǒng)基于特征點(diǎn)的頭部姿態(tài)估計(jì)方法包含3個(gè)步驟：人臉檢測(cè)、人臉對(duì)齊和姿態(tài)估計(jì)，存在較多引入誤差的潛在因素。首先，若人臉檢測(cè)不準(zhǔn)確，將影響人臉對(duì)齊算法關(guān)鍵點(diǎn)在檢測(cè)框中的初始位置，可能會(huì)降低關(guān)鍵點(diǎn)對(duì)齊的精度；其次，如果無(wú)法檢測(cè)到足夠多的關(guān)鍵點(diǎn)，可能無(wú)法恢復(fù)頭部姿態(tài)；最后，姿態(tài)估計(jì)的精度取決于3D頭部模型的準(zhǔn)確性，對(duì)于任一用戶(hù)，通用的頭部模型可能會(huì)帶來(lái)誤差，若使用變形模型以適應(yīng)每個(gè)用戶(hù)的頭部形狀，則需要大量數(shù)據(jù)，并且計(jì)算量較大[3]。對(duì)此，本文提出一種誤差補(bǔ)償方法，使用XGBoost模型[5]回歸擬合姿態(tài)估計(jì)值的誤差。XGBoost是一個(gè)梯度提升(Gradient Boosting)算法庫(kù)，在許多國(guó)際機(jī)器學(xué)習(xí)競(jìng)賽中表現(xiàn)出優(yōu)異的性能，具有較強(qiáng)的泛化能力、較高的拓展性和較快的運(yùn)算速度。

為了闡釋清晰，將誤差補(bǔ)償方法與頭部姿態(tài)估計(jì)的訓(xùn)練過(guò)程進(jìn)行對(duì)比，如圖3所示，圖中由訓(xùn)練集指出的箭頭表示利用該數(shù)據(jù)集訓(xùn)練模型，指向訓(xùn)練集的箭頭表示將訓(xùn)練好的模型應(yīng)用于該數(shù)據(jù)集。本文僅對(duì)SDM的輸出中姿態(tài)角進(jìn)行誤差補(bǔ)償，未對(duì)平移進(jìn)行補(bǔ)償。箭頭①表示在頭部姿態(tài)估計(jì)模型訓(xùn)練過(guò)程中，使用二維人臉特征點(diǎn)和三維旋轉(zhuǎn)、平移標(biāo)注信息進(jìn)行訓(xùn)練；3個(gè)箭頭②共同組成基于XGBoost機(jī)器學(xué)習(xí)模型的誤差補(bǔ)償方法的訓(xùn)練過(guò)程，對(duì)于訓(xùn)練集中視頻第t幀，首先應(yīng)用人臉對(duì)齊方法，得到預(yù)測(cè)的人臉關(guān)鍵點(diǎn)位置lms=(x1,y1,…,xn,yn)， 作為SDM姿態(tài)估計(jì)模型的輸入，得到姿態(tài)角的估計(jì)值P=(p,y,r)， 計(jì)算與真實(shí)值 (pg,yg,rg) 之間的誤差，記作殘差δ=(pg-p,yg-y,rg-r)。 訓(xùn)練XGBoost，使其根據(jù)人臉對(duì)齊得到的關(guān)鍵點(diǎn)位置lms和姿態(tài)估計(jì)方法得到的姿態(tài)角P擬合姿態(tài)估計(jì)值的誤差δ。值得注意的是，在箭頭①對(duì)應(yīng)的頭部姿態(tài)估計(jì)訓(xùn)練過(guò)程中，為了得到更精確的模型，姿態(tài)估計(jì)方法以二維關(guān)鍵點(diǎn)標(biāo)注作為輸入；而在由箭頭②組成的誤差補(bǔ)償方法訓(xùn)練過(guò)程中，為了優(yōu)化傳統(tǒng)頭部姿態(tài)估計(jì)方法的誤差，姿態(tài)估計(jì)模型以人臉對(duì)齊方法得到的關(guān)鍵點(diǎn)坐標(biāo)作為輸入，由XGBoost模型學(xué)習(xí)所得姿態(tài)角的誤差。類(lèi)似地，在測(cè)試頭部姿態(tài)估計(jì)方法時(shí)，對(duì)于輸入的視頻幀t，首先由人臉對(duì)齊算法定位人臉特征點(diǎn)，作為SDM的輸入計(jì)算姿態(tài)估計(jì)值，XGBoost模型根據(jù)特征點(diǎn)和姿態(tài)估計(jì)值擬合殘差δ，優(yōu)化的姿態(tài)估計(jì)值計(jì)算公式為Pc(t)=P(t)+δ(t)。

圖3 誤差補(bǔ)償方法與頭部姿態(tài)估計(jì)訓(xùn)練過(guò)程對(duì)比

3.2 穩(wěn)定性度量CSS

除了精度容易受特征點(diǎn)準(zhǔn)確性等因素影響外，視頻內(nèi)基于特征點(diǎn)的頭部姿態(tài)估計(jì)還具有波動(dòng)性較大的特點(diǎn)，表現(xiàn)為姿態(tài)角所成曲線(xiàn)在短時(shí)期內(nèi)通常呈現(xiàn)鋸齒狀。本節(jié)首先分析了頭部姿態(tài)估計(jì)現(xiàn)有精度指標(biāo)MAE無(wú)法反映這一特點(diǎn)，然后定義了視頻內(nèi)的穩(wěn)定性，并給出了計(jì)算方法，提出穩(wěn)定性度量。若頭部姿態(tài)估計(jì)方法具有足夠的穩(wěn)定性，姿態(tài)估計(jì)值將更加平穩(wěn)、自然，更有利于實(shí)際應(yīng)用。例如，在輔助駕駛系統(tǒng)中，穩(wěn)定的頭部姿態(tài)估計(jì)值將有利于駕駛員疲勞監(jiān)測(cè)。

精度指標(biāo)MAE度量了頭部姿態(tài)估計(jì)方法對(duì)于每幅圖像的平均誤差，然而對(duì)于視頻數(shù)據(jù)，不能反映相鄰兩幀之間的變化趨勢(shì)/方向信息。為方便闡釋?zhuān)砸痪S情況為例，如圖4所示。

圖4 MAE無(wú)法反映變化趨勢(shì)/方向信息

圖4中橫坐標(biāo)表示相鄰兩視頻幀，縱坐標(biāo)表示姿態(tài)估計(jì)值，左圖虛線(xiàn)表示相鄰兩幀姿態(tài)估計(jì)方法所得結(jié)果，實(shí)線(xiàn)表示對(duì)應(yīng)的真實(shí)值，其兩幀的差值分別記為-Δ1和Δ2；右圖為當(dāng)差值分別為Δ1和Δ2的情況。這兩種情況下，對(duì)該相鄰兩幀而言，MAE值完全相同，但是左圖的姿態(tài)估計(jì)值顯然錯(cuò)誤地反映了真實(shí)值的趨勢(shì)，而右圖顯示出與真實(shí)值相同的趨勢(shì)。

針對(duì)這個(gè)問(wèn)題，本文定義穩(wěn)定性為姿態(tài)估計(jì)算法能夠反映姿態(tài)真實(shí)值變化趨勢(shì)/方向的性質(zhì)，即穩(wěn)定的姿態(tài)估計(jì)算法能反映相鄰兩幀姿態(tài)真實(shí)值的變化方向，并基于余弦相似性提出穩(wěn)定性度量CSS。

對(duì)于任一頭部姿態(tài)估計(jì)算法，其得到的姿態(tài)值是一個(gè)三維向量，包含俯仰角、偏航角和滾轉(zhuǎn)角分量，在視頻數(shù)據(jù)中形成估計(jì)值向量序列 {P(t)}。 記姿態(tài)真實(shí)值向量序列為 {G(t)}。 為彌補(bǔ)MAE的不足，在穩(wěn)定性度量的設(shè)計(jì)方面，本文以序列 {P(t)} 和 {G(t)} 相鄰兩幀間變化量的方向差異表征姿態(tài)估計(jì)方法的穩(wěn)定性大小。在機(jī)器學(xué)習(xí)中，余弦相似性通過(guò)測(cè)量?jī)蓚€(gè)向量夾角的余弦值來(lái)度量其相似性，從而確定兩個(gè)向量是否大致指向相同的方向。因此基于余弦相似性與向量長(zhǎng)度無(wú)關(guān)、僅與方向有關(guān)的性質(zhì)，提出穩(wěn)定性度量

(8)

其中， simcos(·,·) 表示余弦相似度， ΔP(t)=P(t)-P(t-1)、 ΔG(t)=G(t)-G(t-1) 分別為相鄰兩幀姿態(tài)估計(jì)值和對(duì)應(yīng)真實(shí)值的變化量，N為視頻幀數(shù)。CSS表示了連續(xù)圖像序列中相鄰兩幀姿態(tài)角估計(jì)值增量與真實(shí)值增量之間的余弦相似度的平均值，在區(qū)間[-1,1]之間，其值越大，估計(jì)值越能反映真實(shí)值趨勢(shì)，相對(duì)于真實(shí)值而言更為穩(wěn)定。CSS與估計(jì)值、真實(shí)值增量大小無(wú)關(guān)，僅與其方向有關(guān)，因此可與MAE互相補(bǔ)充，共同分別度量頭部姿態(tài)估計(jì)方法用于視頻數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性。

3.3 移動(dòng)平均

為了清晰地闡釋移動(dòng)平均的作用，圖5顯示了采用第4節(jié)使用的人臉檢測(cè)和人臉對(duì)齊方法，用EMA對(duì)UPNA數(shù)據(jù)集[11]中user_04的視頻video_08中第55到105幀圖像人臉檢測(cè)和對(duì)齊結(jié)果進(jìn)行平滑的效果，左圖EMA系數(shù)α均取0.1，右圖不采用EMA，顏色從淺到深表示幀數(shù)的推移?？梢?jiàn)EMA對(duì)檢測(cè)框和關(guān)鍵點(diǎn)的計(jì)算具有穩(wěn)定作用，使其運(yùn)動(dòng)更平滑、自然。

圖5 EMA對(duì)人臉檢測(cè)框和關(guān)鍵點(diǎn)的平滑效果

為了解決傳統(tǒng)基于特征點(diǎn)的視頻內(nèi)頭部姿態(tài)估計(jì)方法存在波動(dòng)性的問(wèn)題，在3.2節(jié)所提穩(wěn)定性度量基礎(chǔ)上，將視頻內(nèi)頭部姿態(tài)視為時(shí)間序列，引入Kaufman自適應(yīng)移動(dòng)平均方法，對(duì)姿態(tài)估計(jì)值進(jìn)行平滑處理。在式(1)中，將經(jīng)過(guò)誤差補(bǔ)償?shù)淖藨B(tài)估計(jì)值Pc(t) 代入Y(t)， 將得到的KAMA(t)作為最終的姿態(tài)估計(jì)值Pa(t)。實(shí)驗(yàn)結(jié)果表明這種改進(jìn)方法對(duì)于提升穩(wěn)定性是有效的。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 基準(zhǔn)方法

本文采用西班牙納瓦拉公立大學(xué)(Public University of Navarre)發(fā)布的用于測(cè)試頭部姿態(tài)的基準(zhǔn)數(shù)據(jù)集UPNA進(jìn)行實(shí)驗(yàn)，選取其中user_04的12段頭部姿態(tài)運(yùn)動(dòng)的視頻，其分辨率為1280×720，共3600幀，以video_04、video_05和video_06中的視頻幀作為測(cè)試集，其余為訓(xùn)練集。該數(shù)據(jù)集中包含標(biāo)定好的相機(jī)內(nèi)參數(shù)、三維頭部模型、二維人臉關(guān)鍵點(diǎn)、頭部旋轉(zhuǎn)和平移標(biāo)注。

對(duì)于人臉檢測(cè)，本文采用經(jīng)典的Haar 級(jí)聯(lián)檢測(cè)器。對(duì)于人臉對(duì)齊，采用RCR(random cascaded-regression)[12]方法，其設(shè)計(jì)了一種并行級(jí)聯(lián)結(jié)構(gòu)，提高了模型泛化能力，并通過(guò)尺度不變的形狀更新和局部特征提取，對(duì)人臉的大小變化和形變更魯棒；同時(shí)考慮到實(shí)際應(yīng)用場(chǎng)景中采集的數(shù)據(jù)集通常沒(méi)有人臉關(guān)鍵點(diǎn)標(biāo)注或標(biāo)注需要大量人力，而采用在其它公開(kāi)數(shù)據(jù)集上訓(xùn)練人臉對(duì)齊算法的情況，本文在LFPW人臉數(shù)據(jù)集上訓(xùn)練RCR算法。

對(duì)于頭部姿態(tài)估計(jì)，采用監(jiān)督下降法SDM，根據(jù) UPNA 數(shù)據(jù)集中54個(gè)人臉特征點(diǎn)標(biāo)注方案，如圖6所示，選取其中32、11、15、23、19、38、40、42、44這9個(gè)距離較遠(yuǎn)的特征點(diǎn)作為SDM的輸入，利用二維特征點(diǎn)和三維姿態(tài)標(biāo)注訓(xùn)練SDM模型。為確定模型中回歸器個(gè)數(shù)，表1顯示了回歸器個(gè)數(shù)為1～6個(gè)時(shí)的訓(xùn)練誤差，單位為角度°，其中Total為Pitch、Yaw和Roll這3個(gè)分量平均絕對(duì)誤差MAE的均值?？梢钥闯?，回歸器較少時(shí)(1～3)，增加回歸器可以較大幅度降低訓(xùn)練誤差，而當(dāng)個(gè)數(shù)≥4時(shí)，訓(xùn)練趨于穩(wěn)定。本文選取4個(gè)回歸器級(jí)聯(lián)的SDM模型，將RCR+SDM作為基準(zhǔn)方法與本文提出的優(yōu)化方法進(jìn)行比對(duì)。實(shí)驗(yàn)環(huán)境為Ubuntu 18.04 64位系統(tǒng)，Intel Core i5-8400 CPU，16 GB內(nèi)存。

表1 對(duì)于不同回歸器個(gè)數(shù)SDM模型訓(xùn)練誤差

圖6 UPNA數(shù)據(jù)集的54個(gè)人臉特征點(diǎn)

4.2 誤差補(bǔ)償方法

為了使姿態(tài)估計(jì)更準(zhǔn)確，本文提出誤差補(bǔ)償方法，利用XGBoost擬合姿態(tài)估計(jì)值的誤差，與原估計(jì)值疊加得到優(yōu)化的估計(jì)值。實(shí)驗(yàn)中XGBoost參數(shù)設(shè)置：學(xué)習(xí)率為0.3，最大樹(shù)深為6，每個(gè)節(jié)點(diǎn)的最少實(shí)例數(shù)為1。實(shí)驗(yàn)結(jié)果見(jiàn)表2，表中SDM-X表示在基準(zhǔn)方法基礎(chǔ)上利用XGBoost進(jìn)行誤差補(bǔ)償?shù)姆椒?，可以看出，通過(guò)引入誤差補(bǔ)償，方法準(zhǔn)確率取得了2.85的提升。因此，盡管不同于傳統(tǒng)從某一方法的內(nèi)部性質(zhì)出發(fā)進(jìn)行改進(jìn)的優(yōu)化思路，本文提出的誤差補(bǔ)償優(yōu)化方法也能較大幅度地提高頭部姿態(tài)估計(jì)精度。同時(shí)，對(duì)于每張圖像XGBoost的平均運(yùn)行時(shí)間為0.01 ms，幾乎不產(chǎn)生時(shí)間開(kāi)銷(xiāo)。對(duì)該表中SDM-XK的分析見(jiàn)4.3節(jié)。

表2 優(yōu)化方法對(duì)MAE的影響

4.3 穩(wěn)定性分析

為了增強(qiáng)頭部姿態(tài)估計(jì)算法的穩(wěn)定性，在SDM-X基礎(chǔ)上，本文引入自適應(yīng)移動(dòng)平均KAMA平滑優(yōu)化的姿態(tài)估計(jì)值，作為最終的估計(jì)結(jié)果，記為SDM-XK方法。在式(2)中取N=10,periodf=2,periods=30，并剔除video_06中姿態(tài)標(biāo)注相同的208、209幀。由于移動(dòng)平均方法的原理是對(duì)數(shù)據(jù)進(jìn)行加權(quán)平均，對(duì)歷史數(shù)據(jù)有記憶效果，導(dǎo)致該類(lèi)方法具有滯后的缺點(diǎn)，因此引入KAMA對(duì)數(shù)據(jù)進(jìn)行平滑的同時(shí)，會(huì)一定程度上影響頭部姿態(tài)估計(jì)的精度MAE，見(jiàn)表2。但相對(duì)于基準(zhǔn)方法，SDM-XK的精度提升了2.73，相對(duì)于SDM-X，提升幅度僅降低4.2%，可以看出其MAE變化并不明顯。同時(shí)，對(duì)于每張圖像KAMA的平均運(yùn)算時(shí)間為0.04 ms，在實(shí)際應(yīng)用中幾乎不產(chǎn)生影響。

本文提出的優(yōu)化方法對(duì)穩(wěn)定性的影響實(shí)驗(yàn)結(jié)果見(jiàn)表3，度量CSS越大表示頭部姿態(tài)估計(jì)方法越穩(wěn)定，越能反映真實(shí)值變化趨勢(shì)。可以看出，SDM-X對(duì)于穩(wěn)定性影響不大，而相對(duì)于基準(zhǔn)方法，SDM-XK的CSS值提升了0.25，表明其可以較為顯著地提升穩(wěn)定性。值得注意的是，SDM-X明顯提升了MAE，對(duì)CSS的影響不大，而SDM-XK對(duì)MAE的影響不大，卻明顯提升了CSS，體現(xiàn)了CSS與MAE可以互為補(bǔ)充的特點(diǎn)，共同分別度量頭部姿態(tài)估計(jì)方法用于視頻數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性。

表3 優(yōu)化方法對(duì)穩(wěn)定性的影響

為能更清晰地觀(guān)察本文方法的優(yōu)化效果，同時(shí)驗(yàn)證CSS穩(wěn)定性度量的合理性，圖7顯示了各方法對(duì)視頻 video_05 中110幀～224幀頭部姿態(tài)Yaw角預(yù)測(cè)值所成曲線(xiàn)?？煽闯觯?種方法中最接近真實(shí)值的是SDM-X，但仍存在明顯的波動(dòng)。與之相比，SDM-XK雖然整體上距真實(shí)值稍遠(yuǎn)，但能夠不受原姿態(tài)估計(jì)值中波動(dòng)的影響，過(guò)濾序列中的噪音，起到穩(wěn)定作用，較好地反映真實(shí)值的變化趨勢(shì)。

圖7 各方法對(duì)比結(jié)果

5 結(jié)束語(yǔ)

以往的頭部姿態(tài)估計(jì)方法注重準(zhǔn)確率的提升，而在穩(wěn)定性方面尚無(wú)研究。本文首先提出誤差補(bǔ)償方法，在姿態(tài)計(jì)算時(shí)，引入XGBoost機(jī)器學(xué)習(xí)模型，根據(jù)人臉對(duì)齊和頭部姿態(tài)估計(jì)的結(jié)果，擬合該頭部姿態(tài)估計(jì)值的誤差，將該誤差的擬合值與原估計(jì)值疊加得到優(yōu)化的姿態(tài)估計(jì)值。然后根據(jù)目前在頭部姿態(tài)估計(jì)領(lǐng)域沒(méi)有穩(wěn)定性相關(guān)指標(biāo)的現(xiàn)狀，基于余弦相似性提出僅與姿態(tài)角增量方向有關(guān)的穩(wěn)定性度量CSS。最后引入自適應(yīng)移動(dòng)平均對(duì)姿態(tài)估計(jì)值進(jìn)行平滑處理。實(shí)驗(yàn)結(jié)果表明：本文提出的優(yōu)化方法能有效提高頭部姿態(tài)估計(jì)的準(zhǔn)確性和穩(wěn)定性。

基于本文的工作，未來(lái)工作包括：①本文探討了單用戶(hù)逐幀檢測(cè)情形下的誤差補(bǔ)償，由于對(duì)于不同用戶(hù)使用的3D模型不同，為了進(jìn)一步提升算法準(zhǔn)確率，研究適合多用戶(hù)的誤差補(bǔ)償方法；②將穩(wěn)定性作為約束融入到SDM學(xué)習(xí)過(guò)程中，例如作為損失函數(shù)的一部分，同時(shí)提高算法準(zhǔn)確率。