張文霞 王旭

長春汽車工業(yè)高等?？茖W(xué)校 吉林省長春市 130000

駕駛?cè)说娜藶橐蛩厥窃斐山煌ㄊ鹿拾l(fā)生的重要因素之一。相關(guān)的安全輔助駕駛技術(shù)應(yīng)用于輔助駕駛系統(tǒng)，可以為減少車輛因駕駛的認(rèn)為因素造成的交通事故提供技術(shù)支持。本文提出了一種頭部姿態(tài)估計的方法。

先利用AdaBoost分類器檢測出人臉的面部特征（如鼻尖、嘴和眼睛），最后再根據(jù)得到的特征點的位置及位置關(guān)系進(jìn)行人臉姿態(tài)估計。本文使用的圖像序列的背景是駕駛室內(nèi)的特定環(huán)境，拍攝過程中攝像頭安裝在方向盤的下方，因此，圖像序列中的鼻孔、人嘴信息比較明顯，而且不容易受表情等因素的影響。此外，眼睛也是人臉圖像上比較明顯且穩(wěn)定的特征，所以選取兩眼睛的中心點、兩鼻孔中心點和人嘴中心點作為特征點，使用這四個特征點構(gòu)建為特征三角形進(jìn)行頭部姿態(tài)估計。

1 人臉特征點定位

特征點定位的主要思路是：首先，將人臉上半部分設(shè)為感興趣區(qū)域；再對感興趣區(qū)域進(jìn)行灰度化、自適應(yīng)閾值分割（二值化）和利用數(shù)學(xué)形態(tài)學(xué)進(jìn)行去噪處理；然后再使用輪廓跟蹤算法求出二值圖的輪廓；一般情況下，二值化后的圖像上就只剩下眼睛和眉毛的孔、洞，這樣就可以根據(jù)一定的規(guī)則夠判出眼睛中心的位置；再使用同樣的方法確定鼻孔和人嘴所在的大致區(qū)域，利用一定規(guī)則確定鼻孔和人嘴的中心的具體位置。

1.1 人眼精確定位

人眼定位的主要思路是：首先，對人眼感興趣區(qū)域（ROI，Region Of Interest）進(jìn)二值化，并利用形態(tài)學(xué)進(jìn)行去噪處理；然后求得二值圖的眉毛和眼睛孔的輪廓；最后根據(jù)一定的規(guī)則，就能夠確定眼睛中心的位置。

由人臉分類器可以得到人臉區(qū)域，并框出人臉區(qū)域。再根據(jù)人臉長與臉寬標(biāo)準(zhǔn)比例“三庭五眼”[1]，確定出針對人眼檢測與定位的感興趣區(qū)域ROI。

設(shè)駕駛?cè)巳四樉匦螀^(qū)域的寬度為w，高度為h，由于眼睛處于人臉矩形區(qū)域的中間1/3h處，又考慮到額頭有頭發(fā)等遮擋物以及光照、頭部姿態(tài)等因素的影響，實際得到的人臉矩形區(qū)域的高度h可能小于人臉的真實的高度（人臉的長度），所以本文將感興趣區(qū)域ROI的高度設(shè)為h/2，寬度設(shè)為w。針對駕駛?cè)巳搜鄹信d趣區(qū)域如圖1所示。

本文使用的是基于最大類間方差（Otsu）法進(jìn)行閾值選取的。其基本原理[2]是：設(shè)圖像像素點數(shù)為N，灰度變化范圍為[0，L-1]，

圖1 駕駛?cè)巳搜鄹信d趣區(qū)域

類間方差為：

利用中值濾波和形態(tài)學(xué)處理對二值化的圖像去噪，再利用輪廓跟蹤法得到圖像上的孔、洞的輪廓，對于得到的輪廓獲得其外界矩形，從而得到每個區(qū)域的中心點、高和寬。面積最大的區(qū)域即為人臉上半部區(qū)域，對人臉區(qū)域內(nèi)的孔，洞所在位置進(jìn)行分析，實驗結(jié)果如下圖3。

經(jīng)過分析可知當(dāng)人臉區(qū)域內(nèi)的孔、洞滿足以下條件時，將其視為候選眼：

（1）人臉區(qū)域內(nèi)孔、洞中心中心點X坐標(biāo)值與人臉寬度之比范圍為[0.2，0.5]和[0.6，0.9]；

圖2 Otsu法二值圖像

圖3 人臉區(qū)域內(nèi)孔、洞的中心點X、Y坐標(biāo)值與人臉的寬度之比

（2）人臉區(qū)域內(nèi)孔、洞中心中心點Y坐標(biāo)值與人臉上半部分的高度之比范圍為[0.4，0.9]；

（3）人臉區(qū)域內(nèi)孔、洞的面積與人臉上半部分面積之比范圍為[0.02，0.08]。

經(jīng)過上面三個的條件篩選，候選眼的為眼睛和眉毛，按照中心點X值的位置將候選眼分成兩組。X坐標(biāo)與人臉寬度的比值位于0.2和0.4之間的候選眼為一組，即為右眼候選眼，比值位于0.6和0.9之間的為另一組，即為左眼候選眼。

在實際的實驗中發(fā)現(xiàn)，由于頭發(fā)的遮擋、噪聲、眨眼和頭部旋轉(zhuǎn)角度較大等情況的存在，候選眼的孔、洞可能會出現(xiàn)下列幾種情況，對于不同情況采取相應(yīng)的處理方法，以便準(zhǔn)確的獲取眼睛中心位置：

（1）如果兩組都有2個候選點，則分別選擇Y值大的一對做為眼睛對。（2）如果兩組中有一組為2個候選點，而另一組有1個候選，則分別計算出一組候選點與二組候選點連線的斜率k1，k2，將絕對值小的斜率的候選點看成為一對；根據(jù)兩個眉毛中心連線和兩個眼睛中心連線是平行的，所以二者連線斜率相等，所以可以把另外1個候選點（眉毛或眼睛）計算出來，最后選擇Y值大的一對做為眼睛對。（3）如果兩組中都只有1個候選點，求得兩點連線的斜率k，若k的絕對值足夠小，則兩點同是眼睛或同是眉毛，再分別與前一張對應(yīng)組中眼睛位置比較，小于一定值時認(rèn)為兩點是眼睛位置，否則，用前一張圖像眼睛的位置作為當(dāng)圖像眼睛位置。（4）如果只有一組數(shù)據(jù)且有2個候選點，則用前一張圖像眼睛位置當(dāng)作當(dāng)前圖像眼睛位置。

1.2 鼻孔與嘴的精確定位

將人臉檢測得到的矩形區(qū)域設(shè)置為鼻孔與嘴檢測的感興趣區(qū)域。人臉感興趣區(qū)域的處理和2.1節(jié)的一樣，都樣經(jīng)過圖像灰度化、二值化、去噪，然后再由輪廓跟蹤法得到感興趣區(qū)域內(nèi)孔、洞的輪廓，從而得到每個區(qū)域的中心點、高和寬。面積最大的區(qū)域即為人臉上區(qū)域，對人臉區(qū)域內(nèi)的下半部分的孔，洞進(jìn)行分析，實驗結(jié)果如圖4。

經(jīng)過分析可知，鼻孔和嘴滿足以下條件：

（1）人臉下半部分區(qū)域內(nèi)孔、洞中心點X坐標(biāo)值與人臉寬度之比在[0.3，0.7]范圍內(nèi)的為候選鼻孔與嘴。（2）人臉下半部分區(qū)域內(nèi)孔、洞中心點Y坐標(biāo)值與人臉高度之比在[0.5，0.7]范圍內(nèi)的為候選鼻孔，在[0.75，0.95]范圍內(nèi)的為候選嘴。

經(jīng)過條件一的篩選可以得到候選鼻孔，候選鼻孔可能會出現(xiàn)下列幾種情況，對于不同情況采取相應(yīng)的處理方法，以便準(zhǔn)確的獲取鼻孔中心位置：

圖4 人臉下半部分區(qū)域內(nèi)孔、洞中心點X、Y坐標(biāo)值與人臉寬度之比

（1）當(dāng)候選點數(shù)目為1時，此時兩鼻孔已經(jīng)連在一起，則去此候選點為鼻孔中心點。（2）當(dāng)候選點數(shù)目為2時，候選點即為兩鼻孔。（3）當(dāng)候選點數(shù)目大于2時，找出面積差最小的兩個候選點為鼻孔。

經(jīng)過條件二的篩選可以得到候選嘴，由于嘴的面積最大，所以擁有最大面積的候選最即為人嘴區(qū)域。

2 頭部姿態(tài)參數(shù)估計

2.1 頭部姿態(tài)模型構(gòu)建

建立的人眼、人嘴和人眼和鼻孔特征三角形，如圖5所示。

特征三角形中的A、B、C、D分別表示人的右眼、左眼、鼻孔、人嘴中心點，坐標(biāo)分別設(shè)為（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）。當(dāng)頭部未轉(zhuǎn)動正對攝像頭時，特征三角形△ABC和△ABD是等腰三角形。人臉特征三角形△ABC邊長AB上的高為：

特征三角形△ABD邊長AB上的高為：

2.2 繞Y軸的轉(zhuǎn)角α的計算

建立頭部繞Y軸旋轉(zhuǎn)α角度后特征點的位置變化模型，設(shè)人臉繞Y軸逆時針旋轉(zhuǎn)為負(fù)方向，順時針旋轉(zhuǎn)為正方向，左眼中心點A、右眼中心點B、鼻孔中心點C、人嘴中心點D在繞Y軸的轉(zhuǎn)角α角度后點坐標(biāo)變?yōu)镽A、RB、RC、RD位置，在X-Z平面中如圖6，紅色點代表旋轉(zhuǎn)α角度后兩眼位置，黑色點代表旋轉(zhuǎn)前兩眼睛的位置，角α計算公式為：

式中，ab為頭部未轉(zhuǎn)動時的兩眼中心連線長，ab′為頭部轉(zhuǎn)動后在X-Y平面上的投影長度，ab′可由實際人臉圖像中A，B兩點間的距離求得。

根據(jù)三庭五眼的原理：

可推得：

2.3 繞X軸的轉(zhuǎn)角β的計算

建立基于眼、嘴特征三角形頭部繞X軸旋轉(zhuǎn)β角度后特征點的位置變化模型，設(shè)人臉繞X軸逆時針旋轉(zhuǎn)為正方向，順時針旋轉(zhuǎn)為負(fù)方向。轉(zhuǎn)角β，表示了人頭部的仰俯程度。如圖7（b）所示，是繞X軸的轉(zhuǎn)角β的人頭姿態(tài)示意圖。

圖5 特征三角形示意圖

人眼中心點連線AB上的高為OD，圖7（a）和（b）分別表示在Y-Z平面上頭部未繞X軸旋轉(zhuǎn)OD的位置和頭部繞X軸旋轉(zhuǎn)β角度后OD的位置，黑色點代表旋轉(zhuǎn)前兩眼睛連線上的垂足和人嘴中心，紅色點代表旋轉(zhuǎn)β角度后兩眼睛連線上的垂足和人嘴中心，角β計算公式為：

其中，h表示旋轉(zhuǎn)前人眼中心點連線AB上的高為OD的長度，h′表示旋轉(zhuǎn)β角度后OD在X-Y平面上的投影，h′可由公式 得到。

根據(jù)三庭五眼理論，鼻底至嘴中心是臉長的1/6，從眉骨至眼睛中心是臉長的1/10，因此：

推得：

基于眼、鼻特征三角形的頭部繞X軸旋轉(zhuǎn)β角度后特征點的位置變化模型和基于眼、嘴的模型一樣，只是在計算β角的公式有一些差異，其中：

推得：

在實際的姿態(tài)估計中可能由于一些客觀因素影響無法正確的找到鼻孔或嘴的位置，這樣影響了姿態(tài)估計的準(zhǔn)確率，如果將兩種模型結(jié)合起來，可以提高了準(zhǔn)確率。

3 頭部姿態(tài)估計結(jié)果分析

對α、β角估計的分析結(jié)果見表1，頭部繞Y軸方向的旋轉(zhuǎn)角度與實際標(biāo)記角度之間的平均誤差為3.8578°，均方差為4.9878°，即誤差波動在5°左右，比較低?；谘郾翘卣魅切蔚念^部繞X軸方向旋轉(zhuǎn)角度估計值與實際標(biāo)記角度之間的平均誤差為3.4498°，均方差為2.9044°，即誤差波動在3°左右，比較低，這證明本文所提出估算α、β角度的方法準(zhǔn)確性較高、穩(wěn)定性較好。基于眼嘴特征三角形的估計結(jié)果基本與基于眼鼻特征三角形相同。可見，在進(jìn)行頭部姿態(tài)判別時可將基于眼嘴特征三角形與基于眼鼻特征三角形的估計方法聯(lián)合使用，當(dāng)鼻孔或人嘴無法定位時，就采用可以定位的人嘴或鼻孔構(gòu)建特征三角形，這樣能提高β角估計的準(zhǔn)確性和估計值得可用性。

圖6 人臉繞Y軸旋轉(zhuǎn)在X-Z平面的示意圖示意圖

圖7 人臉繞X軸旋轉(zhuǎn)在Y-Z平面的示意圖示意圖

表1 頭部姿態(tài)模型對α、β角驗證實驗結(jié)果

4 結(jié)語

本文提出了一種基于人臉特征三角形的駕駛?cè)祟^部姿態(tài)估計方法。首先基于Adaboost算法的人臉分類器，進(jìn)行人臉檢測確定人臉區(qū)域；然后根據(jù)各器官（眼睛、鼻子、人嘴）的幾何關(guān)系進(jìn)行特征點的精確定位，提取出眼睛、鼻孔和人嘴的中心點坐標(biāo)；由特征點構(gòu)建特征三角形，推導(dǎo)出頭部姿態(tài)計算公式，根據(jù)特征三角形與頭部姿態(tài)的映射關(guān)系進(jìn)行姿態(tài)參數(shù)估計。通過大量實驗對姿態(tài)估計結(jié)果進(jìn)行了分析，結(jié)果表明提出的人臉特征點定位及頭部姿態(tài)估計方法的有效性、精確性。這都為以后的駕駛?cè)祟^部姿態(tài)估計研究奠定了基礎(chǔ)。