王 珂，王 冰，姜 利，康增建

（中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081）

疲勞駕駛被廣泛認(rèn)為是導(dǎo)致道路交通事故的重要原因之一。統(tǒng)計數(shù)據(jù)表明，疲勞駕駛造成的人身傷害及財產(chǎn)損失，其比例高于疲勞駕駛事故本身。此外，相當(dāng)比例的駕駛?cè)硕荚羞^疲勞駕駛的經(jīng)歷。相關(guān)研究表明，開發(fā)高性能的駕駛?cè)似跔顟B(tài)監(jiān)測系統(tǒng)，通過對駕駛?cè)似跔顟B(tài)進(jìn)行實(shí)時監(jiān)測，并及時向駕駛?cè)颂崾绢A(yù)警信息，可以大幅減少因疲勞駕駛引發(fā)的交通事故[1~3]。基于面部表情分析的疲勞檢測方法，通過捕捉駕駛員的面部表情特征（眼睛開合、瞳孔狀態(tài)、嘴巴張合、表情變化等）來推測駕駛員的疲勞狀態(tài)，其中閉眼時間百分比、最長閉眼時間等都被認(rèn)為是能夠反映駕駛?cè)似跔顟B(tài)的有效指標(biāo)。基于駕駛?cè)嗣娌刻卣鞯闹笜?biāo)能夠在較為理想的條件下達(dá)到較高精度，而且由于其非接觸測量的優(yōu)勢，不受客觀條件影響，正受到越來越多研究者的重視。

駕駛?cè)似跔顟B(tài)與面部表情尤其是眼睛運(yùn)動的細(xì)微變化密切相關(guān)，眼睛區(qū)域的準(zhǔn)確定位是實(shí)現(xiàn)眼睛特征分析的關(guān)鍵。目前人眼定位算法主要包括：（1）基于形狀的方法，利用眼睛區(qū)域的形狀先驗?zāi)Ｐ停缪劬Φ木植奎c(diǎn)特征（眼角點(diǎn)或特定濾波器響應(yīng)篩選出的點(diǎn)）或輪廓特征實(shí)現(xiàn)眼睛定位。（2）基于表觀的方法，直接利用眼睛區(qū)域的灰度分布，如通過樣本訓(xùn)練建立眼睛模板，計算被檢圖像區(qū)域與模板圖像的匹配度來實(shí)現(xiàn)眼睛定位。（3）基于紅外照明的方法，利用不同波長的紅外光交替照明駕駛?cè)嗣娌?，通過對相鄰幀圖像進(jìn)行差分來檢測眼睛位置[4~10]。

實(shí)際應(yīng)用中駕駛?cè)嗣娌孔藨B(tài)的變化會造成人臉三維形狀在二維投影的變形，但是由單幅二維圖像恢復(fù)三維形狀是個病態(tài)問題，因此姿態(tài)變化對人眼定位精度的影響尤為重要。面向駕駛?cè)似跔顟B(tài)識別的人眼定位，更關(guān)注在長序列視頻圖像上進(jìn)行檢測，因此面部視頻幀間連續(xù)性和相關(guān)性的模型表達(dá)也尤為重要。

本文提出一種將人眼檢測與人眼跟蹤相結(jié)合的人眼定位方法，在采用主動形狀模板（ASM）對人臉配準(zhǔn)和器官區(qū)域分割的基礎(chǔ)上，基于均值漂移（Meanshift）算法來校準(zhǔn)Lucas-Kanade光流跟蹤，從而消除跟蹤過程中的累積誤差，實(shí)現(xiàn)眼睛的可靠定位。

1 疲勞檢測算法的流程

為了在線估計駕駛?cè)似跔顟B(tài)，需要獲取駕駛?cè)嗣娌繄D像，通過自動檢測、跟蹤眼睛和嘴巴等面部器官的運(yùn)動特性，并進(jìn)行統(tǒng)計量化來實(shí)現(xiàn)疲勞檢測，以提醒駕駛員避免交通事故的發(fā)生，如圖1所示。具體步驟如下：

（1）人臉檢測。在采集到的面部視頻圖像中，通過人臉檢測定位到人臉位置，并對眼睛、鼻子、嘴巴等局部器官進(jìn)行初步定位。

（2）人臉特征點(diǎn)的定位。以人臉器官初步定位的結(jié)果為基礎(chǔ)，采用形狀信息和紋理特征相結(jié)合的方法，通過旋轉(zhuǎn)、縮放等處理實(shí)現(xiàn)人臉描述模型的配準(zhǔn)，對眼睛、嘴巴等面部特征點(diǎn)進(jìn)行由粗到精的準(zhǔn)確定位。

（3）建立人臉特征點(diǎn)跟蹤的上層策略。以人臉特征點(diǎn)的定位結(jié)果為輸入，在下一幀圖像上進(jìn)行跟蹤。根據(jù)當(dāng)前跟蹤結(jié)果的置信度，建立人臉特征跟蹤的上層策略，決定回到檢測模塊或者繼續(xù)跟蹤。

（4）通過面部特征運(yùn)動的統(tǒng)計規(guī)律實(shí)現(xiàn)疲勞檢測。最終利用眼睛和嘴巴的運(yùn)動特征，對面部運(yùn)動特征進(jìn)行量化描述，經(jīng)過時間窗的優(yōu)化計算后，根據(jù)優(yōu)化后的時間窗長度，計算面部運(yùn)動統(tǒng)計指標(biāo)進(jìn)行疲勞檢測。

圖1 疲勞檢測算法流程

2 基于分層ASM算法的特征定位

本節(jié)主要描述疲勞檢測算法流程中的人臉特征點(diǎn)定位，我們首先采用原始ASM算法對駕駛?cè)嗣娌繄D像進(jìn)行配準(zhǔn)。相應(yīng)的實(shí)驗結(jié)果表明在駕駛?cè)嗣娌拷嵌炔淮笄夜庹障鄬鶆虻那闆r下，ASM算法能夠較為準(zhǔn)確地定位面部特征點(diǎn)，如圖2所示。

圖2 原始ASM算法的配準(zhǔn)結(jié)果

然而在實(shí)際駕駛過程中駕駛?cè)藭鶕?jù)不同駕駛次任務(wù)不斷變換面部姿態(tài)，姿態(tài)變化將引起面部幾何形狀在透射投影關(guān)系下的變化，當(dāng)姿態(tài)變化導(dǎo)致圖像特征超出訓(xùn)練樣本的表達(dá)范圍時，算法效能會下降。換言之，由正面樣本訓(xùn)練得到的ASM全局形狀模型無法表達(dá)側(cè)面人臉。至于光照變化則引起人臉局部紋理的變化，而ASM算法的局部紋理模型無法有效描述光照的非線性變化。一般而言，處理非均勻光照應(yīng)重點(diǎn)關(guān)注局部紋理建模，處理姿態(tài)角度的變化應(yīng)主要針對全局形狀模型。

建立在PCA（主成分分析）基礎(chǔ)上的ASM全局形狀模型通過對大量樣本的統(tǒng)計學(xué)習(xí)而得到，其中包含了貢獻(xiàn)最大的形狀變化模式。為保證ASM全局形狀模型對新的人臉樣本具有足夠的泛化能力，PCA得到的主變化模式會盡量反映不同人臉形狀間的差別，而抑制姿態(tài)變化對形狀模型的影響。因此，訓(xùn)練樣本的角度變化范圍不能太大，反之，在一個相對松弛的人臉形狀子空間中搜索最佳配準(zhǔn)模式就變得困難。

考慮到不同人臉之間的幾何差別主要體現(xiàn)在整體臉型上，而由眼睛和鼻子所構(gòu)成的局部區(qū)域則差異很小。該局部區(qū)域相對于整臉具有更強(qiáng)的聚類特性，如果在該區(qū)域建立局部ASM形狀模型，就可以將全局形狀模型的適用范圍擴(kuò)展到更大角度。

本文在全局形狀模型的特征點(diǎn)中選取眼睛和鼻子輪廓上的點(diǎn)，建立了局部ASM形狀模型，如圖3所示。以全局模型的特征點(diǎn)定位結(jié)果作為局部形狀模型的初始搜索位置，按照由粗到精的策略進(jìn)行特征點(diǎn)定位。實(shí)驗結(jié)果如圖4所示。表明隨著偏轉(zhuǎn)角的增加，全局形狀模型已無法準(zhǔn)確配準(zhǔn)人臉。但局部形狀模型仍然能夠較好地找到眼睛位置。使得算法能夠在更大角度范圍內(nèi)實(shí)現(xiàn)眼睛位置的搜索和配準(zhǔn)。

圖3 局部形狀模型

圖4 全局形狀模型與局部形狀模型配準(zhǔn)結(jié)果比較

3 結(jié)合Lucas-Kanade和Meanshift的特征跟蹤

主要描述疲勞檢測算法流程中的人臉特征點(diǎn)跟蹤。由于駕駛?cè)嗣娌恳曨l在前后兩楨之間的光照和姿態(tài)變化不會太大，為了回避對光照、姿態(tài)變化進(jìn)行建模時的復(fù)雜過程并減少計算量，本文采用Lucas-Kanade光流跟蹤的方法獲取面部特征點(diǎn)位置。根據(jù)分層ASM算法在姿態(tài)相對正面、光照良好時獲取到的眼睛位置作為初始輸入，在相鄰區(qū)域內(nèi)進(jìn)行眼睛的跟蹤。由于跟蹤算法的模型簡單、計算量小、速度快，因而可以在實(shí)際系統(tǒng)中應(yīng)用。

3.1 光流算法的基本原理

光照變化不大時可以假定人臉特征點(diǎn)的局部灰度不變，因此，面部特征點(diǎn)跟蹤可以看作是光流跟蹤的一個實(shí)例。光流是指目標(biāo)運(yùn)動時其圖像亮度模式的表觀運(yùn)動，它描述了圖像灰度變化與物體結(jié)構(gòu)及運(yùn)動的關(guān)系。光流可以看作圖像像素點(diǎn)運(yùn)動產(chǎn)生的瞬時速度場，即圖像中灰度模式的運(yùn)動速度，灰度對時間的變化率可以通過光流約束方程來表示。光流假設(shè)是光流計算的重要部分，通過構(gòu)造光流誤差測度函數(shù)來設(shè)置約束條件，利用優(yōu)化求解光流矢量。

常見的約束方程包括整個圖像的全局平滑性假設(shè)，局部鄰域運(yùn)動的恒定性假設(shè)，以及針對遮擋的面向平滑約束等。其中Lucas-Kanade算法由于在跟蹤速度和精度方面具有明顯優(yōu)勢，本文采用該算法作為眼睛區(qū)域跟蹤的基本算法。該算法假定在一個小鄰域內(nèi)運(yùn)動矢量保持恒定，因此該鄰域內(nèi)光流誤差可用加權(quán)最小二乘表示，進(jìn)而利用梯度下降進(jìn)行圖像匹配就可以完成光流解算。

3.2 光流跟蹤誤差的致因分析

光流利用像素灰度的時域變化和相關(guān)性來確定各自的運(yùn)動向量，因此光流跟蹤要求被跟蹤點(diǎn)周圍有豐富的紋理。本文采用Harris角點(diǎn)檢測算子，在眼睛區(qū)域選擇強(qiáng)度超過一定閾值的角點(diǎn)進(jìn)行后續(xù)的跟蹤。但由于視頻中頻繁的睜眼/閉眼動作，使得很多特征點(diǎn)跟蹤失效。

分析原因如下：在眼睛區(qū)域跟蹤中，眼睛的大幅動作（如睜/閉眼）會引起眼睛區(qū)域的灰度突變，因此很多特征點(diǎn)將無法在下一幀圖像找到滿足光流約束的對應(yīng)點(diǎn)，從而導(dǎo)致跟蹤失敗。另外，每個選定的Harris角點(diǎn)都可能由于眼睛運(yùn)動的隨機(jī)性而跟丟，所以其他角點(diǎn)的重心位置相對眼睛中心是不確定的，由這些點(diǎn)無法準(zhǔn)確描述眼睛區(qū)域。

被跟蹤點(diǎn)的強(qiáng)度描述了該點(diǎn)相對于相鄰其它點(diǎn)在灰度分布上的特殊性，它決定了光流跟蹤是否可靠。若鄰域內(nèi)其他點(diǎn)與被跟蹤點(diǎn)的灰度特性相似，比如當(dāng)眼睛或頭部快速移動時，特征點(diǎn)就可能漂移到這些相似點(diǎn)上去，導(dǎo)致光流場與運(yùn)動場出現(xiàn)不一致。比較圖5中第149幀和第153幀圖像，在一次閉眼過程中，一個被跟蹤角點(diǎn)從眼角附近漂移到了虹膜附近。這種局部相似性引起的跟蹤點(diǎn)漂移是不可逆的，將在跟蹤過程中持續(xù)漂移，跟蹤誤差不斷累積。

圖5 Lucas-Kanade光流跟蹤中的特征點(diǎn)漂移現(xiàn)象

3.3 結(jié)合自商圖的跟蹤結(jié)果校準(zhǔn)

為了消除上述跟蹤過程中帶來的累積誤差，并最終準(zhǔn)確定位到眼睛區(qū)域，本文引入meanshift算法，利用其向局部極值收斂的特性對Lucas-Kanade算法的跟蹤結(jié)果進(jìn)行校準(zhǔn)。本文沒有用圖像原始灰度值，而是以其自商圖作為meanshift算法的概率密度分布輸入，其中R為自商圖，I為原始圖像，F(xiàn)為濾波核。

由于自商圖本身會凸顯高頻特征，因此紋豐富、理變化復(fù)雜的眼睛區(qū)域相對于平滑的面部區(qū)域，其自商圖的灰度分布主要集中在高灰度范圍。圖6可以看出，不同光照條件下的圖像自商圖相差不大。

圖 6 不同光照下的自商圖

本文最終采用的以meanshift校準(zhǔn)Lucas-Kanade跟蹤結(jié)果的算法步驟如下：

（1）計算Lucas-Kanade跟蹤的角點(diǎn)重心位置；

（2）將矩形跟蹤框的中心設(shè)置到角點(diǎn)重心位置；

（3）在自商圖上計算矩形框內(nèi)圖像灰度的重心位置；

（4）將矩形搜索框的中心移動到新的位置；

（5）判斷矩形框移動距離，若距離大于某個閾值，返回第3步，否則輸出矩形框中心坐標(biāo)。

經(jīng)過上述迭代過程，矩形框的中心最后收斂到自商圖的局部極值（眼睛），圖7中的箭頭表示meanshift算法在自商圖上逐步收斂到眼睛的過程。隨著跟蹤的延續(xù)，部分Harris角點(diǎn)會跟丟。為保證跟蹤的持續(xù)，當(dāng)角點(diǎn)數(shù)量小于5并且人臉處于正面時，可再次使用ASM算法定位眼睛區(qū)域，并利用Harris算子重新選取角點(diǎn)。

圖7 Meanshift算法收斂到眼睛的過程

4 實(shí)驗結(jié)果與分析

4.1 實(shí)驗結(jié)果

在Lucas-Kanade光流的跟蹤基礎(chǔ)上，本文沒有直接采用meanshift算法跟蹤眼睛，這是由于除眼睛之外，鼻孔、眉毛、頭發(fā)以及其他場景目標(biāo)的自商圖都會表現(xiàn)出高灰度分布特征。meanshift算法有效性的前提是Lucas-Kanade光流跟蹤能獲取眼睛的粗略位置，在該鄰域內(nèi)才能收斂到眼睛中心位置。若根據(jù)ASM算法獲得的眼睛范圍直接采用Meanshift算法，當(dāng)駕駛?cè)顺霈F(xiàn)快速頭部動作時，很可能會跟蹤錯誤。

Lucas-Kanade光流算法適合在大場景、大范圍內(nèi)對角點(diǎn)特征進(jìn)行全局意義上的跟蹤，而利用meanshift算法在局部細(xì)微校準(zhǔn)。上述策略充分利用了Lucas-Kanade的全局跟蹤和meanshift的局部極值化，可在實(shí)際應(yīng)用中準(zhǔn)確獲取眼睛位置。

從圖8可以看出，盡管跟蹤過程中部分Harris角點(diǎn)丟失，但在改進(jìn)的meanshift框架下，仍然能夠較為準(zhǔn)確的獲取眼睛區(qū)域。以眼睛區(qū)域的定位為基礎(chǔ)，可為ASM算法提供良好的初始搜索位置，并最終給出所有面部特征點(diǎn)的定位結(jié)果，如圖9所示。

圖8 L-K+Meanshift算法的眼睛跟蹤結(jié)果

圖9 面部特征點(diǎn)定位的部分結(jié)果

4.2 定量分析

為了定量評價本文算法對眼睛區(qū)域的定位精度，我們從一組實(shí)車實(shí)驗中選取一段駕駛?cè)俗藨B(tài)角變化較大、光照比較復(fù)雜的視頻作為實(shí)驗樣本，長度為200幀。首先在每幀圖像中手動標(biāo)記左眼中心作為基準(zhǔn)位置，然后用本文提出的眼睛定位算法處理該段視頻，并輸出左眼中心坐標(biāo)。通過比較手工標(biāo)注和自動輸出的坐標(biāo)誤差，來定量評價本文算法的準(zhǔn)確度。

誤差比較結(jié)果如圖10，圖中X，Y分別為圖像水平和垂直方向坐標(biāo)，單位為像素，坐標(biāo)原點(diǎn)在圖像左上角。從圖中可看出，兩種算法的眼睛定位精度在垂直方向上相差不大，而水平方向上的定位精度本文算法則更高，其原因在于駕駛過程中頭部運(yùn)動主要為左右擺動，俯仰運(yùn)動一般幅度較小。

圖10 眼睛定位精度實(shí)驗的定量評價

5 結(jié)束語

本文以提高實(shí)際駕駛過程中眼睛定位的精度為目標(biāo)，針對駕駛?cè)俗藨B(tài)的隨機(jī)變化對人眼定位的影響，提出正面姿態(tài)采用ASM算法進(jìn)行人眼定位，并以此為基礎(chǔ)跟蹤人眼的方法。此外，提出采用Lucas-Kanade光流進(jìn)行全局跟蹤，結(jié)合基于自商圖的meanshift算法進(jìn)行局部校準(zhǔn)的跟蹤策略。實(shí)驗表明，本文算法比原始ASM算法具有更高的配準(zhǔn)精度和可靠性。在實(shí)際工程應(yīng)用中，本文算法具有如下優(yōu)點(diǎn)：

（1）在佩戴眼鏡、人臉角度變化、不同表情、非均勻光照等方面，具有較好的魯棒性。

（2）對系統(tǒng)硬件沒有特殊要求，不涉及復(fù)雜運(yùn)算，可以在普通PC上達(dá)到實(shí)時性要求。

（3）可以適用于各種類型的車輛，包括小汽車、大貨車、火車等，應(yīng)用前景廣闊。

[1] Lin C T, Wu R C, Liang S F, et al. EEG-based drow siness estimation for safety driving using independent component analysis[J]. IEEE Transaction on Circuits and Systems, 2005,52(12): 2726-2738.

[2] Tsuchida A, Bhuiyan S, Oguri K. Estimation of drowsiness level based on eyelid closure and heart rate variability[C]. Annual International Conference of the IEEE on Engineering in Medicine and Biology Society, minneapolis, MN, 2009: 2543-2546.

[3] Furman G D, Baharav A, Cahan C. Early detection of falling asleep at the wheel: a heart rate variability approach[C]. Computers in Cardiology, Bologna, 2008: 1109-1112.

[4] Hong Tianyi, Qin Huabiao, Sun Qianshu. An improved real time eye state identi fi cation system in driver drowsiness detection[C]. IEEE International Conference on Control and Automation, Guangzhou, China: IEEE, 2007: 1449-1453.

[5] Fasel B, Luettin J. Automatic facial expression analysis: a survey[J]. Pattern Recognition, 2003, 36(1): 259-275.

[6] Lal S K, Craig A. Reproducibility of the spectral components of the electroencephalogram during driver fatigue[J]. International Journal of Psychophysiology, 2005, 55(2): 137-143.

[7] Hu Shuyan, Zheng Gangtie. Driver drowsiness detection w ith eyelid related parameters by support vector machine[J]. Expert Systems w ith Applications, 2009, 36(4): 7651-7658.

[8] Smith, P, Shah M, da Vitoria Lobo N. Determ ining driver visual attention w ith one camera[J]. IEEE Transactions on Intelligent Transportation Systems, 2003, 4(4): 205-218.

[9] Cario G, Casavola A, Franze G, et al. A hybrid observer approach for driver drowsiness detection[C]. 19th Mediterranean Conference on Control and Automation Aquis Corfu Holiday Palace, Corfu, Greece: IEEE, 2011: 1331-1336

[10] Cootes T F, Taylor C J, Cooper D H, et al. Active Shape Models-Their Training and Application[J]. Computer Vision and Image Understanding, 1995, 61(1):38-59.