陳國軍，楊 靜，程 琰，尹 鵬

基于RGBD的實時頭部姿態(tài)估計

陳國軍，楊 靜，程 琰，尹 鵬

(中國石油大學(華東)計算機與通信工程學院，山東 青島 266580)

實時的頭部姿態(tài)估計在人機交互和人臉分析應用中起著至關重要的作用，但準確的頭部姿態(tài)估計方法依然具有一定的挑戰(zhàn)性。為了提高頭部姿態(tài)估計的準確性和魯棒性，將基于幾何的方法與基于學習的方法相結合進行頭部姿態(tài)估計。在人臉檢測和人臉對齊的基礎上，提取彩色圖像幾何特征和深度圖像的局部區(qū)域深度特征，再結合深度塊的法線和曲率特征，構成特征向量組；然后使用隨機森林的方法進行訓練；最后，所有決策樹進行投票，對得到的頭部姿態(tài)高斯分布估計進行閾值過濾，進一步提高模型預測的準確度。實驗結果表明，該方法與現有的頭部姿態(tài)估計方法相比，具有更高的準確度及魯棒性。

頭部姿態(tài)估計；隨機森林；RGBD數據；幾何特征；深度特征

頭部姿態(tài)估計簡單的說，是通過圖像推斷出人的頭部轉動角度。準確的頭部姿態(tài)估計可用于視線方向估計[1]，駕駛員后視鏡查看行為檢測[2]，預測駕駛員疲勞狀態(tài)[3]或幫助殘疾人控制輪椅方向等等，因此精確、快速的頭部姿態(tài)估計已成為計算機視覺近年來的研究熱點。從數據源角度分析，頭部姿態(tài)估計的方法分為：基于二維彩色圖像、基于深度圖像和基于RGBD圖像3種。

基于二維彩色圖像的方法是最早應用到頭部姿態(tài)估計的一種傳統方法。LI等[4]采用基于模板匹配的方法對序列圖像進行頭部姿態(tài)估計，該方法簡單，但準確度不高且計算量較大；郭知智等[5]使用基于幾何的方法將眼角點和鼻尖作為特征點，利用自適應線性回歸估計頭部姿態(tài)，該方法對特殊點的依賴性較大；MA等[6]采用面部特征點的方法進行頭部姿態(tài)估計，其需要手動提取面部區(qū)域，圖像處理的時間較長；閔秋莎等[7]同樣提出一種基于面部特征點定位的頭部姿態(tài)估計方法，但該方法只能估計出頭部的粗略方向。文獻[8]提出面部行為分析工具OpenFace，使用面部68個特征點的相對位置估計頭部姿態(tài)，其在頭部轉動較大的情況下特征點定位不夠準確，頭部姿態(tài)估計效果較差。

由于二維彩色圖像受光照變化和部分遮擋的影響比較大，導致準確度低；基于深度圖像的方法可以有效降低光照和遮擋的影響，提高了頭部姿態(tài)的魯棒性。文獻[9]首次利用深度信息的隨機回歸森林方法進行頭部姿態(tài)估計，且規(guī)定圖像中只能有頭部信息；劉袁緣等[10]引入樹結構分層隨機森林(random forest，RF)的方法進行頭部姿態(tài)估計，提高了非約束環(huán)境下多類頭部姿態(tài)估計的準確率和效率，但是結構復雜、計算量大；文獻[11]提出一種基于特征點識別的計算框架，將頭部姿態(tài)問題轉換為空間鼻尖特征點和朝向特征點的問題，該方法對鼻子的遮擋變得極其敏感，穩(wěn)定性不夠。李成龍等[12]提出了一種基于卡爾曼濾波和隨機回歸森林的頭部姿態(tài)估計方法，其使用卡爾曼濾波和隨機回歸森林相結合的方法進行頭部姿態(tài)估計。該方法降低了深度圖像的噪聲影響，與單獨的RF方法相比，其魯棒性和準確性得到了提高。

由于深度圖像存在噪聲且解像度低，只使用深度信息進行頭部姿態(tài)估計精確度較差，因此基于RGBD圖像的方法受到越來越多人的關注。LI等[13]使用彩色圖像檢測特征點，并結合深度圖像獲得特征點的三維信息，使用Levenberg-Marquardt方法迭代優(yōu)化姿態(tài)參數，最后使用卡爾曼濾波平滑參數。文獻[14]使用基于AAM模型計算當前圖像的頭部姿態(tài)，然后使用估計的頭部姿態(tài)值將圖片轉換為初始視圖，最后計算初始視圖和當前的圖像特征點投影坐標之間的距離，用于估計頭部姿態(tài)跟蹤的誤差值；文獻[15]利用3D點云的圖像集合，將當前視圖轉換為基于外觀的集群；文獻[16]提出了CLM-Z模型，在CLM的基礎上增加了深度信息，進一步提高了頭部姿態(tài)估計的準確度。彩色圖像和深度圖像相結合的方法改進了彩色圖像對光照、陰影較敏感的缺點，通常具有很高的魯棒性和準確性，但是由于一般要求使用的彩色圖像分辨率較高，導致算法的計算速率低，很難保證實時性。

為了保證算法的效率，滿足實時性的應用需求，本文提出一種基于RGBD的頭部姿態(tài)估計方法，提取彩色圖像中關鍵點幾何位置特征、深度圖像的局部深度特征以及法線和曲率特征，并使用RF的方法進行訓練和預測。該方法有效地解決了復雜環(huán)境下的頭部姿態(tài)估計問題，并且降低了現有方法對彩色圖像高分辨率的要求，擴展了頭部姿態(tài)估計的應用范圍，很好的避免了不同環(huán)境下光照變化、陰影等問題。

1 圖像特征提取

本文的研究目的是使用低成本傳感器獲得的彩色圖像和低質量深度圖像估計頭部姿態(tài)。首先對圖像進行人臉檢測，提取頭部位置的圖像；然后進一步進行人臉對齊，定位面部特征點。為保證人臉檢測算法的準確性及魯棒性，本文采用了seetaFace進行人臉檢測和對齊。

人臉檢測模塊基于一種經典級聯結構和多層神經網絡相結合的人臉檢測方法[17]實現，其所采用的漏斗型級聯結構(funnel-structured cascade，FuSt)專門針對多姿態(tài)人臉檢測而設計，其中引入了由粗到精的設計理念，兼顧了速度和精度的平衡。

人臉對齊模塊采用一種由粗到精的自編碼器網絡(coarse-to-fine auto-encoder networks，CFAN[18])來求解從人臉表觀到人臉形狀的復雜非線性映射過程。CFAN級聯了多級棧式自編碼器網絡，其中的每一級均刻畫從人臉表觀到人臉形狀的部分非線性映射。

為降低光照和陰影對圖像的影響，采用了彩色圖像的幾何特征和深度圖像特征相結合的方法進行頭部姿態(tài)估計。幾何特征和深度特征均是在人臉對齊定位特征點之后獲取。

1.1 彩色圖像特征提取

當頭部發(fā)生轉動時，由于頭部與圖像平面間的夾角發(fā)生改變，圖像平面上關鍵點間的相對距離也會發(fā)生變化。所以文獻[5-8]直接利用面部特征點的相對位置進行頭部姿態(tài)估計。為了提高準確率，在提取面部特征點相對位置的基礎上，進一步提取特征點組成三角形的面積信息，豐富了圖形特征，并使用RF進行訓練。

在RGB圖像中定位人臉關鍵點以后(圖1)，需為5個特征點編號，1為左眼，2為右眼，3為鼻尖，4為左嘴角，5為右嘴角。按照一定順序，計算任意2點間的距離，以及任意不共線3點組成三角形的面積(當3點共線時，標記三角形面積為0)。提取每張彩色圖片特征點之間的距離和三角形的面積作為輸入特征，訓練模型。

圖1 人臉檢測和人臉對齊

1.2 深度圖像特征提取

除了彩色圖像幾何特征之外，還提取了深度圖像特征，即5個特征點附近的局部深度特征(圖2)。為了得到更加準確的頭部姿態(tài)估計，在局部深度特征的基礎上，進一步將深度數據轉換成點云數據，提取法線特征(圖3)以及曲率特征。

圖2 深度圖中提取對應特征點的局部深度信息

圖3 點云法向量

表面法線是幾何體一個很重要的特征，可以描述面部局部區(qū)域的凹凸情況，有效區(qū)分鼻尖點、嘴角點、眼角點等特殊點，常常被用于點云渲染、重建和注冊等計算機視覺應用中。將深度圖像轉換為點云后，表面法線的問題可以近似轉化為切面的問題，進而變成最小二乘法擬合平面的問題。因此表面法線的計算問題就變?yōu)榉治鼋忺c組成的協方差矩陣的特征矢量和特征值問題，對于每一個點P，對應的協方差矩陣，即

采用基于Voronoi區(qū)域面積的方法計算離散曲率，先生成Delaunay三角網，再利用Voronoi圖計算局部塊的高斯曲率和平均曲率[19]。將高斯曲率和平均曲率的公式離散化，平均曲率向量為

其中，1()={|x與x之間有一條邊}；為x所在的Voronoi區(qū)域的面積之和(圖4(b))；α和β為邊xx對應的2個角度(圖4(d))。當x所在的某個三角形是鈍角三角形時，需對作修正[20]。高斯曲率為

其中，為是x所在三角形的數目；角θ如圖(4(e))所示。

(a) 離散點(b) Delaunay三角網格 (c) Voronoi圖(d) 平均曲率

因此每組訓練圖像的參數為={P=(X，L)}，其中，X為一幅圖像得到的圖像特征，即X= (A，D，N，C)，A為5個特征點組成的線段距離和任意3個點組成三角形的面積特征，D為特征點區(qū)域局部深度塊的深度特征；N為近鄰的法線特征；C為局部深度塊的高斯曲率和平均曲率特征；L為標注真實值的標簽數據。圖像特征提取完成以后，使用隨機回歸森林進行訓練和測試。

2 訓練和測試

RF是一種由決策樹組成的著名機器學習算法。該方法已經被應用到解決計算機視覺的很多問題，如分類、回歸和概率密度估計[21]。RF中的每棵決策樹均由整個數據集中選取的隨機樣本獨立生成。

隨機回歸森林算法隨著決策樹的數量變大，泛化誤差收斂于一個極限[22]，同時具有快速學習等優(yōu)點。此外，其還適用于處理缺失的數據問題，并容易實現并行處理，對于實時的性能提供了條件。

圖5 使用隨機回歸森林進行頭部姿態(tài)估計的過程

RF算法由訓練和測試2個步驟組成。訓練步驟主要是構建多樹型分類器，包括數據歸納、樹型結構的構造和參數的優(yōu)化。在測試步驟中，由樹生成的中間結果集成為最終的結果。為了提高準確度，將所有決策樹的投票結果進行閾值過濾，從而去除掉一些異常點。

用于訓練和測試的數據來自于Biwi數據集[9]，其中90% (大約13 500張圖片)用于訓練，10% (大約1 500張圖片)用于測試準確度和誤差值。

2.1 Biwi數據集

Biwi Kinect head pose database含有由微軟Kinect捕捉到的彩色圖像和低分辨率、存在噪聲的深度數據，該數據集帶有真實頭部轉動的標簽，且在頭部轉動角度和面部外觀方面有很大的差異，如眼鏡和帽子、面部表情和發(fā)型引起的部分遮擋。該數據庫有超過15 K張圖片，數據在距離傳感器1 m遠的地方采集，人臉平均大小為90×110像素。所有采集對象均需轉動其頭部，并試圖涵蓋所有可能的旋轉角和俯仰角，即左右轉動角度為–75°~+75°，上下點頭角度為–60°~60°以及左右偏頭的角度為–20°~20°。

2.2 訓練過程

利用RF進行分類是將頭部姿態(tài)估計問題建模為一個回歸問題，并將彩色圖像和深度圖像提取的特征使用決策樹映射到一組頭部姿態(tài)的標簽中。經驗證，RF比文獻[23]中的單個分類器顯示了更好的性能，且不易出現過擬合現象。

RF從根節(jié)點遞歸地構建決策樹的過程如下：

(1) 隨機選擇訓練子集。在訓練集中，利用不放回抽樣方法選擇一組訓練當前樹的訓練子集S，并由第1節(jié)提取的圖像特征和帶注釋的頭部標簽組成，參數化由1.2節(jié)的={P=(X,L)}表示。

(2) 隨機選擇特征集。假設總特征數為(即第1節(jié)提取的特征)，則在每一輪生成決策樹的過程中，由個特征中隨機選取(<)個特征組成一個新的特征集，并使用新的特征集生成決策樹。

(3) 選取最優(yōu)特征。選擇不同特征順序，可產生不同決策樹，選擇信息增益率大的特征可使各子集下標簽更純凈。度量分類后，提高數據集純度的方式為計算個特征的信息增益率，并選擇最優(yōu)特征，信息增益率越大，表明特征分類能力越強。信息增益率的計算方法為

其中，(,)為信息增益，使用劃分前幾何特征和深度特征熵的值與劃分后熵的差值來衡量當前特征對于樣本集合劃分效果的好壞，計算式為

對于待劃分的數據集S，其劃分前的熵()是確定的，但是劃分之后數據子集的熵(|)是不確定的，(|)越小說明使用此特征劃分得到的子集的不確定性越小(即純度越高)，因此需選擇使得信息增益最大的特征來劃分當前數據集。

待劃分數據集劃分前的熵()為

其中，為待劃分的訓練數據集；為子節(jié)點的數量；P為類別樣本數量占所有樣本的比例。

對待劃分數據集，選擇特征作為決策樹判斷節(jié)點時，在特征作用后的信息熵為(|)，即

()為數據集以特征作為隨機變量熵的倒數，表示分裂子節(jié)點數據量的信息增益，即

其中，為子節(jié)點的數量；n為被分到第個子節(jié)點的數據量；為父節(jié)點數據量。(,)被稱為是的“固定值”，用于描述屬性的純度。如果只含有少量的取值，其純度就比較高，否則的取值越多，純度就越低，(,)的值也就越大，所得到的信息增益率就越低。

(4) 根據二進制測試的結果，每個分割節(jié)點將樣本集分成2個子集。如果樹的深度達到預定值或該節(jié)點的數據量到達一個指定的數值，則當前結點為葉子結點，不再進行遞歸。否則轉到第(3)步。

2.3 測試方法

給定一個新的彩色圖像和對應深度圖像，通過人臉檢測和人臉對齊獲取圖像特征并作為輸入，使用訓練生成的模型進行頭部姿態(tài)角度預測。每棵樹中給定樣本，從根目錄開始由存儲在結點的二進制測試進行引導。在樹的每一個非葉節(jié)點上，由存儲的二進制測試對輸入圖像進行評估、判斷，并發(fā)送至左結點或右結點，下個結點依次遞歸，直到葉子結點得到一個角度預測值。然后，對所有決策樹結果進行整合得到最終的角度預測值。

3 實驗結果

為了測試非約束環(huán)境下的估計結果，本文在Biwi數據集上進行測試。首先，對3種改進方案進行了評價，并對其關鍵參數的影響進行檢驗；此外，在不同環(huán)境下，將RF估計值與真實值進行了對比；最后，在Biwi數據集上對RF的整體性能進行了驗證，并與其他方法進行了比較。

所有的實驗都是在Intel i7-6700 (3.4 GHz CPU)的PC平臺上完成的。實驗使用的參數值為：葉節(jié)點的最小樣本數量為10，RF訓練圖像數量為13 500，測試數量為1 500。

3.1 實驗參數對實驗結果的影響

RF由決策樹組成，因此，不同數量的決策樹訓練的模型準確度不同。如圖6所示，在使用不同圖像特征進行訓練時，當決策樹數量由10增加到100，頭部姿態(tài)的準確率曲線均在不斷提升，但50以后，誤差減小的幅度變小，準確率提升也變得緩慢，該結果符合RF的規(guī)模達到一定程度時，森林可解釋性減弱的特征[24]。并且，隨著決策樹的數量增大，RF的構建時間也會隨之增加。為了平衡速度與精度，最終決策樹的數量定為50，在此基礎上進行其他實驗。

圖6 決策樹數量和平均準確率的關系

圖7顯示了不同圖像特征對識別精度的影響。由圖7可知，在幾何特征的基礎上，增加面部的局部深度信息，在一定程度上可減小頭部姿態(tài)的平均角度誤差，同時增加法線和曲率等特征也可提高了姿態(tài)角的估計精度。

表1為使用不同閾值過濾各個決策樹的預測結果，即最終預測值與真實值的誤差的關系，決策樹數量為50，圖像特征為幾何特征和局部深度特征以及深度塊的曲率和法線特征。

圖7 決策樹數量與平均角度誤差的關系

表1 閾值大小與平均誤差的關系

由表1可以看出，設置閾值過濾決策樹提高了RF的精確度。從理論上講，閾值設置的越小，精確度越高，但是，當一些決策樹預測結果整體偏高或偏低時，小的閾值設置對于精確度的提高并不明顯，因此本文閾值選擇3。

3.2 不同場景下的實驗結果

為了驗證方法有效性，圖8和圖9考慮了光照條件、相機位置、眼鏡遮擋的變化對實驗結果的影響。

(a) 光照條件1(b) 光照條件2 (c) 眼鏡遮擋+角度1(d) 眼鏡遮擋+角度2

(a) 實際應用1(b) 實際應用2

圖8(a)與8(b)表示不同光照條件下的實驗效果。圖8(c)與8(d)表示了不同角度與遮擋情況下的實驗效果。圖9為實際應用中的測試實例。通過實驗表明，該方法在光照、不同角度和遮擋情況下表現較好，具有一定的魯棒性，且速度較快，可以進行實時的頭部姿態(tài)估計。

圖10(a)~(d)分別表示眼睛、鼻子、嘴部特征點檢測不準確時，頭部姿態(tài)估計值與真實值的對比。從圖中可以看出，鼻尖位置偏移較其他特征點的偏移，對頭部姿態(tài)估計值的影響稍大，最大差值為3°左右，因此，對于個別特征點的少量偏移具有很好的魯棒性。

(a) 情況1(b) 情況2 (c) 情況3(d) 情況4

本文方法不單獨依賴于面部某一特征點，因此，當出現遮擋或者個別特征點檢測不準確時，對結果的影響小于依賴特定特征點的方法。

3.3 與其他方法準確度對比

為了更好地說明算法的精確度，圖11將本文方法與其他使用加權RF進行頭部姿態(tài)估計的實驗結果進行對比，即線性加權法[25]和交叉加權方法[26]以及文獻[27]中的動態(tài)加權法的實驗結果。其顯示了不同的角度閾值與實驗準確率的關系。

圖11 與加權RF方法對比

表2為在相同數據集Biwi下，與文獻[28]、文獻[29]、文獻[16]、文獻[30]及文獻[8]方法在不同方向的誤差及平均誤差。文獻[16]及[28]-[29]均使用RGBD圖像特征，因此更適合作為對比方法。結果顯示，本文方法在數據集上展示了較優(yōu)的性能。

表2 各個方向的角度誤差及平均誤差

從圖11明顯看出，本文方法的準確率遠遠高于使用加權RF的方法。從表2可以看出，本文方法在不同角度的誤差值均小于其他方法。因此，其具有更高的準確性。

當最小人臉設置為80×80時，各過程耗時見表3?？倳r間在30 ms左右，因此可以達到實時的性能要求。

表3 頭部姿態(tài)估計耗時表

4 結 論

本文提出一種基于RGBD進行實時頭部姿態(tài)估計的方法，提取了彩色圖像的幾何特征和深度圖像的深度特征以及法線和曲率特征，使用RF的方法進行訓練，并在模型預測時使用閾值過濾。實驗結果表明，該方法與使用整個頭部的深度特征相比具有更高的準確性，并且受光照和部分遮擋的影響較小，具有更高的魯棒性。

[1] ROSSI S, LEONE E, STAFFA M. Using random forests for the estimation of multiple users’ visual focus of attention from head pose [M]//AI*IA 2016 Advances in Artificial Intelligence. Heidelberg: Springer, 2016: 89-102.

[2] 黃波, 鐘銘恩, 吳平東, 等. 基于車載視覺的駕駛員后視鏡查看行為檢測[J]. 圖學學報, 2018, 39(3): 477-484.

[3] WONGPHANNGAM J, PUMRIN S. Fatigue warning system for driver nodding off using depth image from Kinect [C]//2016 13th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). New York: IEEE Press, 2016: 1-6.

[4] LI X H, CHEN H Y, CHEN Q L. A head pose detection algorithm based on template match [C]//2012 IEEE Fifth International Conference on Advanced Computational Intelligence (ICACI)). New York: IEEE Press, 2012: 673-677.

[5] 郭知智, 周前祥, 柳忠起. 基于自適應線性回歸的頭部姿態(tài)計算[J]. 計算機應用研究, 2016, 33(10): 3181-3184.

[6] MA B P, CHAI X J, WANG T J. A novel feature descriptor based on biologically inspired feature for head pose estimation [J]. Neurocomputing, 2013, 115: 1-10.

[7] 閔秋莎, 劉能, 陳雅婷, 等. 基于面部特征點定位的頭部姿態(tài)估計[J]. 計算機工程, 2018, 44(6): 263-269.

[8] BALTRUSAITIS T, ROBINSON P, MORENCY L P. OpenFace: An open source facial behavior analysis toolkit [C]//2016 IEEE Winter Conference on Applications of Computer Vision (WACV). New York: IEEE Press, 2016: 1-10.

[9] FANELLI G, GALL J, VAN GOOL L. Real time head pose estimation with random regression forests [C]// 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2011:617-624.

[10] 劉袁緣, 陳靚影, 俞侃, 等. 基于樹結構分層隨機森林在非約束環(huán)境下的頭部姿態(tài)估計[J]. 電子與信息學報, 2015, 37(3): 543-551.

[11] 喬體洲, 戴樹嶺. 基于特征點識別的頭部姿態(tài)計算[J]. 北京航空航天大學學報, 2014, 40(8): 1038-1043.

[12] 李成龍, 鐘凡, 馬昕, 等. 基于卡爾曼濾波和隨機回歸森林的實時頭部姿態(tài)估計[J]. 計算機輔助設計與圖形學學報, 2017, 29(12): 2309-2316.

[13] LI C L, ZHONG F, ZHANG Q, et al. Accurate and fast 3D head pose estimation with noisy RGBD images [J]. Multimedia Tools and Applications, 2018, 77(12): 14605-14624.

[14] STRUPCZEWSKI A, CZUPRY?SKI B, SKARBEK W, et al. Head pose tracking from RGBD sensor based on direct motion estimation [M]//Lecture Notes in Computer Science. Heidelberg: Springer, 2015: 202-212.

[15] KIM D, PARK J, KAK A C. Estimating head pose with an RGBD sensor: A comparison of appearance-based and pose-based local subspace methods [C]//2013 IEEE International Conference on Image Processing. New York: IEEE Press, 2013: 3637-3641.

[16] BALTRU?AITIS T P, ROBINSON P, MORENCY L P. 3D constrained local model for rigid and non-rigid facial tracking [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 2610-2617.

[17] WU S Z, KAN M N, HE Z L, et al. Funnel-structured cascade for multi-view face detection with alignment-awareness [J]. Neurocomputing, 2017, 221: 138-145.

[18] ZHANG J, SHAN S G, KAN M N, et al. Coarse-to-fine auto-encoder networks (CFAN) for real-time face alignment [M]//Computer Vision – ECCV 2014. Cham: Springer International Publishing, 2014: 1-16.

[19] MEYER M, DESBRUN M, SCHR?DER P, et al. Discrete differential-geometry operators for triangulated 2-manifolds [M]//Mathematics and Visualization. Heidelberg: Springer, 2003: 35-57.

[20] LEVIN D. Mesh-independent surface interpolation [M]// Geometric Modeling for Scientific Visualization. Heidelberg: Springer, 2004: 37-49.

[21] CRIMINISI A, SHOTTON J, KONUKOGLU E. Decision forests for classification, regression, density estimation, manifold learning and semi-supervised learning [J]. Microsoft Research Technical Technical Rreport, 2011, 114(46): 224-236.

[22] BREIMAN L. Random forests [J]. Machine Learning, 2001, 45(1): 5-32.

[23] FANELLI G, DANTONE M, GALL J, et al. Random forests for real time 3D face analysis [J]. International Journal of Computer Vision, 2013, 101(3): 437-458.

[24] BREIMAN L. Random forests [J]. MachineLearning, 2001, 45(1): 5-32.

[25] OKADA R. Discriminative generalized hough transform for object dectection [C]//2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 2000-2005.

[26] GALL J, YAO A, RAZAVI N, et al. Hough forests for object detection, tracking, and action recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2188-2202.

[27] SARAGIH J M, LUCEY S, COHN J F. Deformable model fitting by regularized landmark mean-shift [J]. International Journal of Computer Vision, 2011, 91(2): 200-215.

[28] REKIK A, BEN-HAMADOU A, MAHDI W. 3D face pose tracking using low quality depth cameras [C]//The 8th International Conference on Computer Vision Theory and Applications, VISAPP 2013. Heidelberg: Springer, 2013: 223-228.

[29] SAEED A, AL-HAMADI A. Boosted human head pose estimation using kinect camera [C]//2015 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2015: 1752-1756.

[30] ASTHANA A, ZAFEIRIOU S, CHENG S Y, et al. Incremental face alignment in the wild [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 1859-1866.

Real-Time Head Pose Estimation Based on RGBD

CHEN Guo-jun, YANG Jing, CHENG Yan, YIN Peng

(Computer and Communication Engineering, School of China University of Petroleum, Qingdao Shandong 266580, China)

Real-time head pose estimation plays a crucial role in the application of human-computer interaction and face analysis, but accurate head pose estimation methods still face certain challenges. In order to improve the accuracy and robustness of the head pose estimation, this paper combines the geometry-based method and the learning-based method for head pose estimate. On the basis of face detection and face alignment, the geometric feature of the color image and the local area depth feature of the depth image are extracted, combining with the normal and curvature feature of the depth block to form the feature vector group, and then the random forest method is used to do the training. Finally, all decision trees are involved in the vote, and the resulting Gaussian distribution of the head pose is filtered by thresholds to further improve the model’s accuracy. Experimental results show that the proposed method has higher accuracy and robustness than the existing head pose estimation methods.

head pose estimation; random forest; RGBD data; geometric feature; depth feature

TP 391

10.11996/JG.j.2095-302X.2019040681

A

2095-302X(2019)04-0681-08

2018-11-11；

定稿日期：2018-11-21

國家“863”計劃主題項目子課題(2015AA016403)；虛擬現實技術與系統國家重點實驗室(北京航空航天大學)開放基金(BUAA-VR-15KF-13)

陳國軍(1968-)，男，江蘇如東人，副教授，博士，碩士生導師。主要研究方向為圖形圖像處理、虛擬現實及科學可視化等。 E-mail：chengj@upc.edu.cn