張 波,王文軍,成 波

(清華大學(xué)，汽車安全與節(jié)能國家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

2016009

基于人臉3D模型的駕駛?cè)祟^部姿態(tài)檢測*

張 波,王文軍,成 波

(清華大學(xué)，汽車安全與節(jié)能國家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

為對(duì)駕駛過程中的駕駛?cè)俗⒁饬Ψ稚⑿袨閷?shí)施監(jiān)控和預(yù)警，提出了一種基于人臉3D模型的駕駛?cè)祟^部姿態(tài)檢測方法。該方法使用ASM算法與ASEF算法定位駕駛?cè)说恼嫒四槪辉诖嘶A(chǔ)上，基于通用人臉3D模型與正面人臉計(jì)算當(dāng)前駕駛?cè)说娜四?D模型；以正面人臉3D模型為姿態(tài)度量的基準(zhǔn)，運(yùn)用PnP算法實(shí)時(shí)解算駕駛?cè)说念^部姿態(tài)，并進(jìn)行姿態(tài)有效性判別；同時(shí)提出了一種特征點(diǎn)更新的方法，以提高姿態(tài)解算的魯棒性。實(shí)驗(yàn)結(jié)果表明，該方法能夠在駕駛室環(huán)境中有效檢測出駕駛?cè)说念^部姿態(tài)。

駕駛?cè)?；頭部姿態(tài)；機(jī)器視覺；人臉3D模型

前言

頭部姿態(tài)檢測廣泛應(yīng)用于人臉識(shí)別、人機(jī)交互、駕駛?cè)俗⒁饬Ψ稚z測和駕駛行為分析等領(lǐng)域。統(tǒng)計(jì)數(shù)據(jù)表明，25%～30%的道路交通事故是由駕駛?cè)俗⒁饬Ψ稚⒃斐傻腫1]。美國國家公路交通安全管理局的研究報(bào)告顯示，近80%的車輛碰撞事故均涉及到事故發(fā)生前3s內(nèi)的駕駛?cè)俗⒁饬Ψ稚⑿袨閇2]。研究駕駛?cè)说念^部姿態(tài)，進(jìn)而對(duì)駕駛?cè)说淖⒁饬M(jìn)行分析，對(duì)于降低交通事故的發(fā)生率，研究駕駛?cè)说鸟{駛行為，分析駕駛?cè)说木駹顟B(tài)等具有重要意義。

基于機(jī)器視覺的駕駛?cè)祟^部姿態(tài)檢測，通過對(duì)駕駛?cè)四槻繄D像的分析實(shí)現(xiàn)對(duì)駕駛?cè)祟^部姿態(tài)的判別。目前，基于機(jī)器視覺的頭部姿態(tài)檢測主要包括紋理模板匹配法[3]、檢測器陣列法[4-5]、幾何計(jì)算法[6]、柔性模板法[7]、跟蹤法[8]和其它方法[9]。紋理模板匹配法將人臉圖像與已知姿態(tài)標(biāo)簽的圖像模板進(jìn)行紋理對(duì)比而完成頭部姿態(tài)的檢測，該方法受臉部圖像定位誤差的影響較大，同時(shí)只能獲得離散的頭部姿態(tài)。檢測器陣列法利用多姿態(tài)人臉分類器檢測同一人臉圖像，根據(jù)檢測結(jié)果判定頭部姿態(tài)，該方法同樣只能得到離散的頭部姿態(tài)。幾何計(jì)算方法在臉部區(qū)域內(nèi)定位特征點(diǎn)，通過特征點(diǎn)相對(duì)位置的變化解算頭部姿態(tài)。該方法對(duì)特征點(diǎn)的定位精度極為敏感。柔性模板法采用可變性模板ASM[10]和AAM(active appearance model)[11]等方法根據(jù)形狀變化解算頭部姿態(tài)。跟蹤法在初始姿態(tài)已知的情況下，通過對(duì)相鄰圖像幀之間的特征點(diǎn)進(jìn)行跟蹤的方法[12-13]實(shí)時(shí)計(jì)算頭部姿態(tài)，該方法的檢測精度相對(duì)較高。

正常駕駛時(shí)，駕駛?cè)瞬粩嗟刈儞Q頭部姿態(tài)以完成視覺搜索的駕駛?cè)蝿?wù)。同時(shí)，駕駛室內(nèi)的光照條件復(fù)雜多變，駕駛?cè)俗ザ?、接電話、喝水等?dòng)作常造成臉部區(qū)域的部分遮擋，因此，在臉部定位特征點(diǎn)以及通過對(duì)比臉部圖像的姿態(tài)檢測方法難以在駕駛室環(huán)境內(nèi)完成檢測任務(wù)。

本文中駕駛?cè)说娜四?D建模，采用臉部區(qū)域特征點(diǎn)跟蹤的方法完成駕駛?cè)祟^部姿態(tài)的實(shí)時(shí)檢測。該方法無需在臉部區(qū)域內(nèi)定位特征點(diǎn)，因此受臉部遮擋、表情變化和隨機(jī)光照的影響相對(duì)較小。

1 檢測方法

駕駛?cè)祟^部姿態(tài)是相對(duì)于正面人臉而言的三維空間位置變化，故本文算法首先進(jìn)行正面人臉檢測。同時(shí)，駕駛?cè)祟^部姿態(tài)的檢測需要進(jìn)行攝像機(jī)標(biāo)定，為簡化檢測過程，對(duì)攝像機(jī)模型進(jìn)行了一定程度的簡化。

駕駛?cè)祟^部姿態(tài)檢測方案如圖1所示。

圖1 駕駛?cè)祟^部姿態(tài)檢測方案

檢測系統(tǒng)通過CCD攝像頭采集駕駛?cè)说哪槻繄D像，首先使用ASM算法與ASEF算法[14]進(jìn)行正面人臉檢測；根據(jù)正面人臉檢測結(jié)果，改變通用人臉模型的二維形狀(深度信息保持不變)，并進(jìn)行紋理貼圖，完成當(dāng)前駕駛?cè)说娜四?D建模；在當(dāng)前駕駛?cè)说娜四?D模型的基礎(chǔ)上，通過PnP算法解算攝像機(jī)坐標(biāo)系(二維圖像)與世界坐標(biāo)系(三維物體)之間的空間位置關(guān)系(頭部姿態(tài))，同時(shí)實(shí)時(shí)判別當(dāng)前姿態(tài)的有效性；最終將駕駛?cè)水?dāng)前姿態(tài)輸入至駕駛?cè)朔稚耦A(yù)警系統(tǒng)進(jìn)行判別，并將判別結(jié)果反饋給駕駛?cè)嘶虬l(fā)送至遠(yuǎn)程監(jiān)控中心。

2 正面人臉檢測

2.1 ASM算法

采用ASM算法與ASEF算法相結(jié)合的方法確定駕駛?cè)说恼嫒四槨?/p>

ASM算法由局部紋理模型與全局形狀模型組成。在檢測過程中，兩模型交替作用，完成對(duì)目標(biāo)形狀的配準(zhǔn)。局部紋理模型采用逐點(diǎn)搜索的方法在圖像中確定人臉形狀向量XF中每個(gè)特征點(diǎn)的坐標(biāo)。

XF=(x1,y1,x2,y2,…,xN,yN)

(1)

式中(xi,yi)表示在圖像中確定的第i個(gè)特征點(diǎn)的坐標(biāo)。全局形狀模型基于主成分分析(PCA)理論，建立人臉形狀變化空間，用以描述不同人臉構(gòu)型之間的形狀差異。最終確定輸出的人臉形狀Y為

(2)

采用68點(diǎn)ASM算法描述人臉拓?fù)湫螤睿鐖D2所示。

圖2 ASM算法檢測結(jié)果

由圖2可知，在駕駛?cè)祟^部姿態(tài)變化不太大的情況下，ASM算法能夠較為準(zhǔn)確地實(shí)現(xiàn)臉部特征點(diǎn)的定位，如圖2(a)所示；受隨機(jī)光照、姿態(tài)變化等因素的影響，ASM算法的輸出結(jié)果易產(chǎn)生較大的偏差，如圖2(b)和圖2(c)所示。

在實(shí)際的駕駛過程中，駕駛?cè)瞬粩嗟刈儞Q頭部姿態(tài)，以完成視覺搜索的駕駛?cè)蝿?wù)，且駕駛室內(nèi)的光照條件也不斷變化。因此，僅用ASM算法無法定位出駕駛?cè)说恼嫒四槨?/p>

2.2 ASEF算法

基于相關(guān)濾波器的ASEF算法，用原圖像與濾波器進(jìn)行相關(guān)運(yùn)算生成輸出圖像，通過在輸出圖像中定位局部極值的方法實(shí)現(xiàn)目標(biāo)的檢測與定位，如式(3)所示。

(3)

式中：F-1表示傅里葉反變換運(yùn)算；B為人臉圖像的傅里葉變換；A為以目標(biāo)位置為中心的二維高斯函數(shù)圖像a的傅里葉變換。

a(x,y)=e-((x-xd)2+(y-yd)2)/σ2

(4)

式中：(xd,yd)為目標(biāo)位置坐標(biāo)；參數(shù)σ決定了高斯函數(shù)的尖銳程度，直接影響濾波器的檢測靈敏度與抗噪聲性能。

圖3為左眼ASEF濾波器的計(jì)算過程。圖3(a)為人臉圖像，圖3(b)為以左眼為中心的目標(biāo)圖像，圖3(c)為式(3)計(jì)算得到的ASEF濾波器。

圖3 左眼ASEF濾波器的構(gòu)建

ASEF算法通過對(duì)每張人臉圖像得到的濾波器h進(jìn)行累加求取均值的方法，得到最終的檢測濾波器。文獻(xiàn)[15]中將PCA運(yùn)用到ASEF濾波器的計(jì)算過程中，使計(jì)算得到的PSEF(principal directions of synthetic exact filters)對(duì)于不同人臉適應(yīng)性更強(qiáng)。

本文中將單眼ASEF濾波器拓展至雙眼，利用雙眼幾何結(jié)構(gòu)約束檢測結(jié)果，提高ASEF算法的魯棒性，其計(jì)算過程如圖4所示。

圖4 雙眼ASEF濾波器的構(gòu)建

基于CAS-PEAL人臉庫[16]訓(xùn)練得到不同σ參數(shù)下的雙眼ASEF濾波器，如圖5所示。

圖5 不同σ參數(shù)下的雙眼濾波器

在雙眼ASEF濾波器的基礎(chǔ)上，將其推廣至雙鼻孔和雙嘴角，檢測結(jié)果如圖6所示。

圖6 ASEF算法檢測結(jié)果

由圖6可知，接近正面姿態(tài)時(shí)，ASEF算法可以有效地實(shí)現(xiàn)駕駛?cè)四槻刻卣鼽c(diǎn)的定位，如圖6(a)所示，同時(shí)，ASEF算法的檢測結(jié)果同樣受到駕駛?cè)俗藨B(tài)的影響，如圖6(b)和圖6(c)所示。

2.3 ASM與ASEF相結(jié)合的正面人臉檢測

由前面分析可知，ASM算法與ASEF算法的檢測結(jié)果均受到駕駛?cè)俗藨B(tài)的影響。單獨(dú)使用時(shí)，均不能將其輸出結(jié)果作為正面人臉的判定標(biāo)準(zhǔn)。故本文中同時(shí)使用ASM算法與ASEF算法進(jìn)行駕駛?cè)四槻刻卣鼽c(diǎn)的定位，結(jié)合兩者的輸出結(jié)果，作為正面人臉的判定標(biāo)準(zhǔn)，如式(5)所示。在式(5)中，第1項(xiàng)為ASM算法的對(duì)稱性檢驗(yàn)，第2項(xiàng)為ASEF算法的對(duì)稱性檢驗(yàn)，第3項(xiàng)為ASM算法與ASEF算法對(duì)應(yīng)特征點(diǎn)差異性檢驗(yàn)，第4項(xiàng)為ASM算法與ASEF算法縱軸重心位置差異性檢驗(yàn)。

E=EASM+EASEF+EASM-ASEF+EOASM-OASEF

(5)

其中：

(6)

式中：F為人臉大??；N1為ASM算法左右兩側(cè)點(diǎn)對(duì)數(shù)目；N2為ASEF算法左右兩側(cè)點(diǎn)對(duì)數(shù)目；N3為ASM算法與ASEF算法相比較的特征點(diǎn)數(shù)目；Xil，Xir與Xjl，Xjr分別為ASM與ASEF算法中左右兩側(cè)點(diǎn)對(duì)的橫向坐標(biāo)向量；XkASM與XkASEF分別為ASM與ASEF兩種算法中相對(duì)應(yīng)的特征點(diǎn)的橫向坐標(biāo)向量；OyASM與OyASEF分別為ASM算法與ASEF算法輸出結(jié)果在縱軸方向的質(zhì)心。

首先檢驗(yàn)ASM算法的對(duì)稱性EASM。通過計(jì)算左右兩側(cè)特征點(diǎn)的對(duì)稱軸，將左側(cè)特征點(diǎn)鏡像至右側(cè)，計(jì)算鏡像后特征點(diǎn)對(duì)之間的誤差，即可檢驗(yàn)ASM算法輸出結(jié)果的對(duì)稱性。

其次，檢驗(yàn)ASEF算法的對(duì)稱性EASEF，方法同EASM。

隨后檢驗(yàn)ASM算法與ASEF算法對(duì)應(yīng)特征點(diǎn)的誤差EASM-ASEF。根據(jù)ASM輸出拓?fù)浣Y(jié)構(gòu)計(jì)算眼睛、鼻孔、嘴角6個(gè)特征點(diǎn)的坐標(biāo)，并將之與ASEF算法的輸出結(jié)果進(jìn)行比較，計(jì)算差異性。

最后檢測ASM算法與ASEF算法輸出結(jié)果在縱軸方向的質(zhì)心偏差。

若該偏差小于預(yù)設(shè)閾值，則判定當(dāng)前人臉為正面人臉，按照此規(guī)則檢測出來的正面人臉見圖7。

圖7 正面人臉檢測結(jié)果

3 駕駛?cè)说娜四?D建模

基于通用人臉3D模型[8]與正面人臉2D模型構(gòu)建當(dāng)前駕駛?cè)说娜四?D模型。該通用人臉3D模型由3 449個(gè)頂點(diǎn)和6 644個(gè)面組成。從通用人臉3D模型中選取31個(gè)特征點(diǎn)(人臉輪廓點(diǎn)、眉毛點(diǎn)、眼睛點(diǎn)、鼻子點(diǎn)、嘴部邊緣點(diǎn))與正面人臉檢測確定的ASM算法拓?fù)浣Y(jié)構(gòu)中的相應(yīng)特征點(diǎn)建立對(duì)應(yīng)關(guān)系，計(jì)算當(dāng)前駕駛?cè)说娜四?D模型，如圖8所示。

圖8 當(dāng)前駕駛?cè)巳四?D模型的建立

(7)

式中s為尺度因子。因?yàn)槿四樀?D與3D模型均為正面人臉，故式(7)中的旋轉(zhuǎn)矩陣R為單位矩陣，因此，只需計(jì)算攝像頭成像面主點(diǎn)坐標(biāo)cx和cy，以及平移向量T=(TxTyTz)T，即可完成攝像機(jī)成像建模。

當(dāng)前駕駛?cè)说娜四?D模型計(jì)算過程如下。

初始條件：正面通用人臉3D模型，并手動(dòng)選取臉部輪廓、眉毛、眼睛、鼻子、嘴巴等31個(gè)特征點(diǎn)的三維坐標(biāo)K0。

步驟1：進(jìn)行正面人臉檢測，并根據(jù)檢測結(jié)果，確定與K0相對(duì)應(yīng)的二維特征點(diǎn)的坐標(biāo)K1。

步驟2：根據(jù)K0與K1的對(duì)應(yīng)關(guān)系，采用式(7)計(jì)算平移向量T和攝像頭焦距f的最小二乘解，攝像頭成像面主點(diǎn)坐標(biāo)cx和cy取為2D圖像相應(yīng)坐標(biāo)軸分辨率的一半，并根據(jù)計(jì)算結(jié)果將通用人臉3D模型拓?fù)浣Y(jié)構(gòu)調(diào)整至2D圖像中，如圖8(b)所示。

步驟3：根據(jù)正面人臉檢測確定的ASM算法拓?fù)浣Y(jié)構(gòu)，將人臉3D模型進(jìn)行仿射變換[17]，修正人臉3D模型的2D形狀(深度坐標(biāo)Z保持不變)，如圖8(c)所示。

步驟4：對(duì)生成的人臉3D模型進(jìn)行紋理貼圖，得到最終的當(dāng)前駕駛?cè)说娜四?D模型，見圖8(d)。

4 駕駛?cè)祟^部姿態(tài)檢測

4.1 頭部姿態(tài)實(shí)時(shí)檢測

采用PnP算法[18]實(shí)時(shí)求解駕駛?cè)说念^部姿態(tài)。PnP算法基于二維圖像點(diǎn)集與三維物體點(diǎn)集之間的對(duì)應(yīng)關(guān)系，計(jì)算攝像機(jī)坐標(biāo)系(二維圖像)與世界坐標(biāo)系(三維物體)之間的空間位置關(guān)系。駕駛?cè)说念^部姿態(tài)是相對(duì)于正面姿態(tài)而言的，故可將正面人臉3D模型作為姿態(tài)度量的基準(zhǔn)，計(jì)算當(dāng)前二維圖像(攝像機(jī)坐標(biāo)系)與正面人臉3D模型(世界坐標(biāo)系)之間的空間位置關(guān)系，該空間位置關(guān)系即為駕駛?cè)说念^部姿態(tài)。

駕駛?cè)祟^部姿態(tài)的計(jì)算，需要在2D和3D圖像中定位若干特征點(diǎn)，為避免駕駛?cè)搜劬Ρ犻]和眼鏡局部反光等原因造成特征點(diǎn)跟蹤失敗，在特征點(diǎn)選取時(shí)，避開了眼睛部位的特征點(diǎn)，如圖9所示。

圖9 頭部姿態(tài)實(shí)時(shí)計(jì)算

第T幀時(shí)，設(shè)當(dāng)前駕駛?cè)说念^部姿態(tài)為RT與TT，在人臉2D圖像中的人臉區(qū)域內(nèi)確定的特征點(diǎn)P2T為

P2T=(x1,y1,x2,y2,…,xNT,yNT)

(8)

在當(dāng)前姿態(tài)人臉3D模型中，P3T為與P2T相對(duì)應(yīng)的特征點(diǎn)。根據(jù)RT與TT，可解算出P3T在正面姿態(tài)人臉3D模型中的對(duì)應(yīng)點(diǎn)PT。

根據(jù)F-B Error算法[19]對(duì)P2T進(jìn)行跟蹤，得到第T+1幀人臉2D圖像中的特征點(diǎn)P2T+1(NT+1≤NT)

P2T+1=(x1,y1,x2,y2,…,xNT+1,yNT+1)

(9)

根據(jù)跟蹤關(guān)系，其在PT中的對(duì)應(yīng)點(diǎn)為PT+1，根據(jù)P2T+1(2D對(duì)應(yīng)點(diǎn))與PT+1(3D對(duì)應(yīng)點(diǎn))可運(yùn)用PnP算法解算出第T+1幀駕駛?cè)说念^部姿態(tài)(旋轉(zhuǎn)矩陣RT+1與平移向量TT+1)。

采用F-B Error算法實(shí)現(xiàn)2D圖像間的特征點(diǎn)跟蹤，如圖10所示。

圖10 F-B Error跟蹤算法

4.2 特征點(diǎn)更新

PnP算法基于一定數(shù)量的2D-3D對(duì)應(yīng)點(diǎn)解算駕駛?cè)说念^部姿態(tài)，受隨機(jī)光照、臉部自遮擋、臉部非剛體運(yùn)動(dòng)的影響，2D-3D對(duì)應(yīng)點(diǎn)在跟蹤的過程中將逐步丟失，影響到駕駛?cè)祟^部姿態(tài)的實(shí)時(shí)檢測。本文中采用每幀圖像均更新特征點(diǎn)[13]的方法，以保證足夠數(shù)量的對(duì)應(yīng)點(diǎn)，提高PnP算法的魯棒性。

在第T+1幀人臉2D圖像的人臉區(qū)域內(nèi)，隨機(jī)選取MN+1個(gè)特征點(diǎn)P2T+1[13]，該MN+1個(gè)特征點(diǎn)中有強(qiáng)特征點(diǎn)與弱特征點(diǎn)，為提高跟蹤過程的魯棒性和姿態(tài)解算的可靠性，需選取強(qiáng)特征點(diǎn)進(jìn)行第T+2幀的姿態(tài)解算。該強(qiáng)特征點(diǎn)有別于上文F-B Error算法中提到的強(qiáng)特征點(diǎn)(僅在2D圖像中)，該特征點(diǎn)用于2D圖像與人臉3D模型間的姿態(tài)解算。根據(jù)特征點(diǎn)在相鄰幀間的魯棒性，進(jìn)行強(qiáng)特征點(diǎn)的選取[8]，如圖11所示。

圖11 特征點(diǎn)更新

由P2T+1可按式(10)計(jì)算出其在第T+1幀當(dāng)前姿態(tài)人臉3D圖像中的特征點(diǎn)P3T+1(本文中3D模型深度坐標(biāo)Z始終保持不變，僅隨著頭部姿態(tài)作相應(yīng)的旋轉(zhuǎn)與平移)，P3T+1的X與Y坐標(biāo)為

(10)

根據(jù)T+1幀頭部姿態(tài)RT+1與TT+1可由式(11)解算P3T+1在正面姿態(tài)人臉3D圖像中的對(duì)應(yīng)點(diǎn)PT+1。

(11)

4.3 姿態(tài)有效性判定

基于2D-3D對(duì)應(yīng)點(diǎn)解算駕駛?cè)说念^部姿態(tài)，采用每幀圖像均更新特征點(diǎn)的方法提高姿態(tài)解算的魯棒性，即在當(dāng)前幀人臉區(qū)域內(nèi)更新特征點(diǎn)，建立2D-3D特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，并運(yùn)用F-B Error算法對(duì)2D特征點(diǎn)進(jìn)行跟蹤，利用跟蹤結(jié)果解算下一幀圖像駕駛?cè)说念^部姿態(tài)。

受臉部表情、快速運(yùn)動(dòng)和自遮擋等因素的影響，特征點(diǎn)跟蹤的結(jié)果有可能產(chǎn)生漂移，由此產(chǎn)生錯(cuò)誤的2D-3D對(duì)應(yīng)點(diǎn)，致使解算出的頭部姿態(tài)產(chǎn)生偏差，因此有必要對(duì)解算出的頭部姿態(tài)進(jìn)行有效性判定。

在人臉區(qū)域內(nèi)定義如圖12所示的感興趣特征點(diǎn)(左、右眼矩形框角點(diǎn)，鼻子部位菱形框角點(diǎn))，利用感興趣特征點(diǎn)之間的偏差，作為頭部姿態(tài)的有效性度量。

圖12 姿態(tài)判定感興趣特征點(diǎn)

駕駛?cè)祟^部姿態(tài)(旋轉(zhuǎn)矩陣R與平移向量T)的計(jì)算均基于正面人臉3D模型，故每一幀圖像的頭部姿態(tài)均可按照R-1與T-1恢復(fù)到作為基準(zhǔn)的正面人臉3D模型。若2D-3D對(duì)應(yīng)點(diǎn)錯(cuò)誤，則當(dāng)前姿態(tài)人臉3D模型無法恢復(fù)到正面人臉3D模型。

根據(jù)以上條件，首先根據(jù)駕駛?cè)说娜四?D建模的結(jié)果，確定正面人臉3D模型中的感興趣特征點(diǎn)的坐標(biāo)，以此作為基準(zhǔn)特征點(diǎn)Xb。將每一幀檢測到的駕駛?cè)祟^部姿態(tài)按照R-1與T-1恢復(fù)到正面人臉3D模型，判定當(dāng)前特征點(diǎn)與基準(zhǔn)特征點(diǎn)之間的偏差，即

(12)

式中：N為特征點(diǎn)的個(gè)數(shù)，N取值為12。

若偏差d>dthreshold，則說明當(dāng)前姿態(tài)的跟蹤結(jié)果已經(jīng)存在較大誤差，則重新進(jìn)行正面人臉檢測，重新實(shí)時(shí)獲取駕駛?cè)说淖藨B(tài)。

5 實(shí)驗(yàn)驗(yàn)證

5.1 樣本采集

為完成人臉3D模型的構(gòu)建，以及驗(yàn)證該模型對(duì)于駕駛?cè)祟^部姿態(tài)檢測的魯棒性，在長春至北京高速路段(圖13中虛線所示)，以及京沈高速北京近郊路段(多次往返，圖13中實(shí)線所示)進(jìn)行了實(shí)車駕駛實(shí)驗(yàn)。

圖13 實(shí)車實(shí)驗(yàn)路線

共有13名駕駛?cè)?12名男性，1名女性，年齡28～55歲，平均駕齡10.5年)參與實(shí)驗(yàn)，圖14為實(shí)驗(yàn)車輛與采集攝像頭。

圖14 實(shí)驗(yàn)車輛與攝像頭

5.2 ASEF算法參數(shù)確定

由第2.2節(jié)可知，ASEF算法中的參數(shù)σ直接影響到濾波器的檢測靈敏度與抗噪聲性能。為選擇最優(yōu)的σ參數(shù)，選用FERET人臉庫[21]進(jìn)行測試。在每張人臉圖像中，手動(dòng)標(biāo)記出左右眼中心，左右鼻孔點(diǎn)和左右嘴角點(diǎn)作為基準(zhǔn)位置，用不同σ參數(shù)下的雙眼、雙鼻孔、雙嘴角ASEF濾波器進(jìn)行檢測，以雙眼ASEF濾波器為例，測試規(guī)則為

(13)

式中：Rl,Rr分別為手動(dòng)標(biāo)記的左、右眼中心位置；Tl,Tr分別為雙眼濾波器定位出的左、右眼中心位置；D為評(píng)價(jià)準(zhǔn)則，令D∈{0.025,0.075,0.125,0.175,0.225}代表不同的精度要求，測試結(jié)果如圖15所示。

圖15 不同σ參數(shù)下的雙眼ASEF濾波器測試結(jié)果

由圖15可知，雙眼ASEF濾波器最優(yōu)σ參數(shù)值為3，經(jīng)過測試，雙鼻孔、雙嘴角ASEF濾波器的最優(yōu)σ參數(shù)值分別為4與3。

5.3 算法檢測精度測試

選用BU頭部姿態(tài)數(shù)據(jù)庫[22]對(duì)本文算法進(jìn)行精度測試。BU頭部姿態(tài)數(shù)據(jù)庫由5名被試人員，45段視頻組成，每段視頻共200幀圖像。該數(shù)據(jù)庫使用Flock of Birds傳感器獲取被試人員的頭部姿態(tài)[8]。BU數(shù)據(jù)庫中，一名被試人員的人臉3D建模效果如圖16所示。

圖16 BU姿態(tài)庫一名被試人員的人臉3D建模效果

一名被試人員頭部姿態(tài)(搖頭角度)解算結(jié)果如圖17所示。本文算法需要首先定位被試人員的正面人臉，故初始50幀圖像無姿態(tài)數(shù)據(jù)。

圖17 一名被試人員頭部姿態(tài)(搖頭角)檢測結(jié)果

經(jīng)過測試，得到本文算法對(duì)各幀圖像的檢測誤差數(shù)據(jù)，對(duì)其進(jìn)行統(tǒng)計(jì)分析，檢測誤差的均值為5.12°，誤差分布的標(biāo)準(zhǔn)差為4.28°。

5.4 算法魯棒性測試

采用實(shí)車視頻測試駕駛?cè)说娜四?D建模的魯棒性。測試視頻包括光照強(qiáng)烈、光照均勻等多種光照條件，駕駛?cè)苏ｑ{駛、打哈欠、臉部部分遮擋等駕駛工況。

實(shí)驗(yàn)過程中，一名在復(fù)雜光照條件下行駛的駕駛?cè)说娜四?D模型如圖18所示。

圖18 某駕駛?cè)说娜四?D模型

人臉3D模型利用駕駛?cè)四槻繀^(qū)域內(nèi)的特征點(diǎn)解算駕駛?cè)说念^部姿態(tài)，故該模型對(duì)于駕駛?cè)四槻繀^(qū)域中的部分遮擋能夠表現(xiàn)出較強(qiáng)的魯棒性，如圖19所示。

圖19 同一駕駛?cè)四槻坎糠终趽醯娜四?D建模效果

本文人臉3D模型中的紋理圖像為模型建立時(shí)檢測到的正面人臉，實(shí)時(shí)監(jiān)測過程為特征點(diǎn)的跟蹤處理過程，紋理圖像僅在模型更新時(shí)重新獲取，故本文人臉3D模型不能表達(dá)駕駛?cè)说谋砬樽兓?，如圖20(a)所示。由圖20可知，本文人臉3D建模算法，對(duì)于駕駛?cè)四槻勘砬?、光照變化、臉部部分遮擋等均具有一定的魯棒性?/p>

圖20 不同駕駛?cè)说娜四?D建模效果

該算法的平均運(yùn)行時(shí)間為95ms，計(jì)算機(jī)處理器為英特爾i7-4600，主頻2.89GHz，內(nèi)存8G。

6 結(jié)論

基于人臉3D模型的駕駛?cè)祟^部姿態(tài)檢測算法，提出了運(yùn)用ASM與ASEF算法相結(jié)合的駕駛?cè)苏嫒四槞z測方法，并運(yùn)用通用人臉3D模型與正面人臉2D模型建立當(dāng)前駕駛?cè)说娜四?D模型；提出了特征點(diǎn)更新機(jī)制提高PnP姿態(tài)解算的魯棒性，以及實(shí)時(shí)判別姿態(tài)解算的有效性。本文中的姿態(tài)解算均以正面人臉作為度量的基準(zhǔn)，當(dāng)正面人臉檢測錯(cuò)誤時(shí)，實(shí)時(shí)計(jì)算出來的駕駛?cè)祟^部姿態(tài)也將產(chǎn)生錯(cuò)誤；采用F-B Error算法對(duì)駕駛?cè)四槻繄D像中的特征點(diǎn)進(jìn)行跟蹤，當(dāng)駕駛?cè)祟^部運(yùn)動(dòng)較大時(shí)，光流跟蹤失敗，同時(shí)姿態(tài)解算錯(cuò)誤。后續(xù)工作將著眼于解決由這兩個(gè)原因而造成的檢測失敗問題。

[1] WANG J S, KNIPLING R R, GOODMAN M J. The Role of Driver Inattention in Cashes: New Statistics from the 1995 Crahworthiness Data System [C]. 40thAnnual Proceedings of the Association for the Advancement of Automative Medicine, Vancouver, British Columbia,1996:1-16.

[2] 孫海燕.基于雙目視覺的駕駛?cè)俗⒁饬Ψ稚⒈O(jiān)測方法研究[D].長春:吉林大學(xué),2012.

[3] SHERRAH J, GONG S, ONG E J. Face Distributions in Similarity Space Under Varying Head Pose[J]. Image and Vision Computing,2001,19:807-819.

[4] ZHANG Z Q, HU Y X, LIU M, et al. Head Pose Estimation in Seminar Room Using Multi View Face Detectors[J]. Multimodal Technologies for Perception of Humans, Lecture Notes in Computer Science,2007,4122:299-304.

[5] HUANG J, SHAO X H, WECHSLER H. Face Pose Discrimination Using Support Vector Machines (SVM)[C]. 14th International Conference on Pattern Recognition, Brisbane,Australia,1998,1:154-156.

[6] HORPRASERT T, YACOOB Y, DAVIS L S. Computing 3D Head Orientation from a Monocular Image Sequence[C]. 25th AIPR Workshop: Emerging Applications of Computer Vision, Washingon, DC, USA, SPIE,1997,2962:242-247.

[7] LANITIS A, TAYLOR C J, COOTES T F. Automatic Interpretation and Coding of Face Images Using Flexible Models[J]. Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):743-756.

[8] CHOI J, DUMORTIER Y, CHOI S, et al. Real-time 3-D Face Tracking and Modeling from a Webcam[C]. IEEE Workshop on Application of Compuer Vision, Breckenridge, USA,2012:33-40.

[9] ERIK M C, TRIVEDI M M. Head Pose Estimation in Computer Vision: A Survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(4):607-626.

[10] COOTES T F, TWINING C J, TAYLOR C J. Diffeomorphic Statistical Shape Models[J]. Image and Vision Computing,2008,26(3):326-332.

[11] COOTES T F, EDWARDS G J, TAYLOR C J. Active Appearance Models[C]. 5th European Conference on Computer Vision. Freiburg, Germany,1998,2:484-498.

[12] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110.

[13] GUNNAR F. Two-Frame Motion Estimation Based on Polynomial Expansion[J]. Image Analysis, Lecture Notes in Computer Science,2003,2749:363-370.

[14] BOLME D S, DRAPER B A, BEVERIDGE J R. Average of Synthetic Exact Filters[C]. IEEE Conference on Computer Vision and Pattern Recognition, Miami,USA,2009:2105-2112.

[15] VITOMIR S, JERNEJA Z G, NIKOLA P. Principal Directions of Synthetic Exact Filters for Robust Real-Time Eye Localization[J]. Biometrics and ID Management, Lecture Notes in Computer Science,2011,6583:180-192.

[16] GAO Wen, CAO Bo, SHAN Shiguang, et al. The CAS-PEAL Large-Scale Chinese Face Database and Baseline Evaluations[J]. IEEE Transactions on System Man and Cybernetics (Part A),2008,38(1):149-161.

[17] 于仕琪,劉瑞禎.學(xué)習(xí)opencv(中文版)[M].北京:清華大學(xué)出版社,2009:443-445.

[18] VINCENT L, FRANCESE M N, Pascal F. EPnP: An Accurate O(n) Solution to the PnP Problem[J]. Int J Comput Vis,2009,81(2):155-166.

[19] KALAL Z, MIKOLAJCZYK K, MATAS J. Forward-backward Error Automatic Detection of Tracking Failures[C]. International Conference on Pattern Recognition, Istanbul, Turkey,2010:2756-2759.

[3] CLEMO K, DAVIES R. The Practicalities of Pedestrian Protection[C]. ESV Conference, Paper 98-S10-P-16,1998.

[4] ZHENG Guojun, MEN Yongxin, HU Ping. A Study on Energy Absorption Panel of Bumper Based on Impact of Pedestrian’s Lower Leg[C]. CECNet International Conference on, April 16-18,2011, Xian Ning, China.

[5] SHULER S, MOOIJMAN F, NANDA A, et al. Improved Energy Absorber and Vehicle Design Strategies for Pedestrian Protection[C]. SAE Paper 2005-01-1872.

[6] LIU Weihai, CHENG Xiusheng. Improvement of Bumper Structure for Pedestrian Lower Leg Protection Based on Euro-NCAP[C].2011 International Conference on Mechatronic Science, Electric Engineering and Computer, August 19-22,2011,Jilin, China.

[7] HAN Y, LEE Y. Optimization of Bumper Structure for Pedestrian Lower Leg Impact[C]. SAE Paper 2002-01-0023.

[8] MOHAPATRA S. Rapid Design Solutions for Automotive Bumper Energy Absorbers Using Morphing Technique[C]. Altair CAE Users Conference 2005, August 11-13, Bangalore, India,2005.

[9] European New Car Assessment Program Assessment. Pedestrian Testing Protocol Version 5.3[S].2011.6.

[10] 黃俊.面向行人下肢碰撞保護(hù)的汽車前端結(jié)構(gòu)快速優(yōu)化設(shè)計(jì)研究[D].北京:清華大學(xué),2013.

[11] 黃俊,夏勇,周青.基于汽車前端剛度分析的降低小腿加速度快速設(shè)計(jì)方法[J].汽車工程,2012,34(8):679-685.

[12] 徐中明,徐小飛,萬鑫明,等.鋁合金保險(xiǎn)杠防撞梁結(jié)構(gòu)優(yōu)化設(shè)計(jì)[J].機(jī)械工程學(xué)報(bào),2013,49(8):136-142.

[13] 王元博,夏勇,景誼明,等.考慮行人腿部保護(hù)和低速碰撞特性的保險(xiǎn)杠系統(tǒng)概念設(shè)計(jì)[J].汽車工程,2009,31(12):1111-1115.

Detection of Driver’s Head Posture Based on 3D Face Model

Zhang Bo, Wang Wenjun & Cheng Bo

TsinghuaUniversity,StateKeyLaboratoryofAutomotiveSafetyandEnergy,Beijing100084

For monitoring and forewarning the distraction behavior of driver during driving, a detection method of driver’s head posture based on 3D face model is proposed. The method utilizes active shape model algorithm and average synthetic exact filter algorithm to locate the front-view face of driver. On this basis, the 3D face model of the specific driver is calculated based on the general 3D face model and front-view face. With the frontal 3D face model as the base of posture measure, PnP algorithm is adopted to calculate the driver’s head posture in real time, with the posture effectiveness discriminated. Meanwhile a scheme for updating characteristic points is also put forward to improve the robustness of posture calculation. The results of experiments show that the method proposed can effectively detect the head posture of driver in cabin environment.

driver; head posture; machine vision; 3D face model

*國家863計(jì)劃項(xiàng)目(2012AA111901)資助。

原稿收到日期為2014年6月20日，修改稿收到日期為2014年8月26日。