張偉偉 糜澤陽(yáng) 肖凌云 錢宇彬

1.上海工程技術(shù)大學(xué)機(jī)械與汽車工程學(xué)院，上海，201620 2.中國(guó)標(biāo)準(zhǔn)化研究院，北京，100191

0 引言

駕駛員疲勞是造成交通事故的重要原因［1］，而檢測(cè)駕駛員面部疲勞信號(hào)之一的駕駛員打哈欠事件已經(jīng)成為計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域研究的熱點(diǎn)。駕駛員打哈欠檢測(cè)的首要任務(wù)是定位駕駛員面部，然后在面部區(qū)域檢測(cè)嘴部并分析嘴角或嘴內(nèi)的形狀變化等。在人臉檢測(cè)方面，學(xué)者們已經(jīng)提出了多種不同的方法，如主成分分析法［2］、神經(jīng)網(wǎng)絡(luò)法［3］、支持向量機(jī)［4］以及建立人臉幾何模型［5］等。VIOLA等［6］提出了一種基于 Haar特征的人臉自適應(yīng)提升訓(xùn)練方法（AdaBoost），獲得了較好的檢測(cè)效果；SOCHMAN 等［7］提出的 Wald-Boost算法結(jié)合序列概率原理改進(jìn)了AdaBoost算法，使其具有了更高的分類檢測(cè)效率；HSU等［8］通過(guò)皮膚亮度補(bǔ)償以及非線性顏色變換等技術(shù)來(lái)檢測(cè)面部區(qū)域，然而該方法只在靜態(tài)圖像上進(jìn)行了測(cè)試，且在具有寬動(dòng)態(tài)光照范圍的真實(shí)駕駛環(huán)境中，其“真白”假設(shè)前提不再成立，很難獲得可靠的檢測(cè)結(jié)果；CHOI等［9］采用 CDF（cumulative distribution funtion）分析方法定位駕駛員的瞳孔位置，然后根據(jù)檢測(cè)到的駕駛員視線的變化來(lái)確定駕駛員的疲勞狀態(tài)。實(shí)際上當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，眨眼和點(diǎn)頭的頻率會(huì)顯著增加，這些參數(shù)都可以用作疲勞評(píng)估的指標(biāo)。

針對(duì)打哈欠檢測(cè)，一些研究人員關(guān)注于嘴部的幾何特征。SHABNAM等［10］首先通過(guò)皮膚分割來(lái)檢測(cè)嘴部區(qū)域，然后對(duì)比嘴內(nèi)外區(qū)域的像素比來(lái)確定是否發(fā)生打哈欠事件；MANDALAPU等［11］直接采用支持向量機(jī)來(lái)分別訓(xùn)練打哈欠與正常狀態(tài)下嘴部的狀態(tài)圖，在只有20幅靜態(tài)圖像的測(cè)試集中獲得了81%的檢測(cè)正確率；童兵亮［12］采用灰度投影模型來(lái)定位嘴角，并使用線性分類模型來(lái)區(qū)分打哈欠時(shí)的嘴角特征；SHABNAM等［13］采用顏色模型來(lái)確定嘴部區(qū)域，并根據(jù)嘴部的主動(dòng)輪廓模型來(lái)確定嘴部輪廓的高寬比等。然而，以上算法測(cè)試均采用有限數(shù)量的靜態(tài)圖像，且圖像都來(lái)自于條件可控的室內(nèi)環(huán)境。除此之外，NENOIT等［14］提出了一種基于譜頻率的方法來(lái)檢測(cè)嘴部閉合或張開(kāi)狀態(tài)，但該方法需基于駕駛員面部以及嘴部已經(jīng)檢測(cè)定位的前提；FAN等［15］使用Gabor小波變換提取嘴角點(diǎn)的紋理特征，然后據(jù)此判斷駕駛員的疲勞狀態(tài)，但這種方法易受到光照、遮擋和角度變化的影響；HYUN等［16］提出了一種基于多模態(tài)車輛和生理傳感器數(shù)據(jù)的駕駛員狀態(tài)估計(jì)算法，但與單圖像識(shí)別駕駛員疲勞狀態(tài)方法相比，其成本較高，且應(yīng)用起來(lái)較為繁瑣。

為適應(yīng)真實(shí)駕駛環(huán)境，并慮及面部特征易受性別、面部朝向、光照、遮擋、面部表情以及圖像尺度和圖像低分辨率的影響等因素，本文提出一種基于深度卷積網(wǎng)絡(luò)［17－18］和在線學(xué)習(xí)跟蹤的駕駛員打哈欠檢測(cè)方法。

1 系統(tǒng)框架

系統(tǒng)框架如圖1所示。首先，面部檢測(cè)器在圖像多尺度滑窗中根據(jù)深度卷積網(wǎng)絡(luò)定位駕駛員面部區(qū)域，同時(shí)，采用基于另一深度卷積網(wǎng)絡(luò)的鼻子檢測(cè)器在面部區(qū)域定位鼻子區(qū)域；然后，通過(guò)在線學(xué)習(xí)的方法訓(xùn)練隨機(jī)森林目標(biāo)檢測(cè)器，對(duì)光流跟蹤器的漂移誤差進(jìn)行校正。有相對(duì)剛性的人臉輪廓中，嘴部區(qū)域位于鼻子下方，當(dāng)打哈欠事件發(fā)生時(shí)，嘴角具有較大形變，其邊緣的水平方向梯度強(qiáng)度值將有劇烈的增大；而駕駛過(guò)程中駕駛員經(jīng)常扭頭查看兩側(cè)交通狀況，因此，打哈欠檢測(cè)器融合了左右嘴部區(qū)域的邊緣梯度值、鼻子跟蹤置信度以及面部運(yùn)動(dòng)方向等信息綜合判斷是否有打哈欠事件發(fā)生。

圖1 駕駛員打哈欠檢測(cè)系統(tǒng)原理框圖Fig.1 Pipeline of driver yawning detection system

2 基于深度卷積網(wǎng)絡(luò)的面部部件檢測(cè)

深度卷積網(wǎng)絡(luò)實(shí)質(zhì)上是一種多層神經(jīng)網(wǎng)絡(luò)，其融合了局部感知野、共享權(quán)重以及空間降采樣等特性，不僅可以大幅減少訓(xùn)練參數(shù)個(gè)數(shù)，還可以對(duì)一定程度的尺度縮放、旋轉(zhuǎn)以及平移等保持魯棒性。該深度卷積網(wǎng)絡(luò)主要由交替連接的卷積層和降采樣層組成，其中卷積層本質(zhì)上是由不同的局部濾波器組合而成，而最終將得到的高層級(jí)的特征向量全連接到一個(gè)神經(jīng)網(wǎng)絡(luò)上。在駕駛員面部檢測(cè)過(guò)程中，可以采用大量的原始面部圖像數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練。圖2顯示了基于深度卷積網(wǎng)絡(luò)的駕駛員面部檢測(cè)結(jié)構(gòu)圖。

圖2 用于駕駛員人臉檢測(cè)的深度卷積網(wǎng)絡(luò)的多層級(jí)結(jié)構(gòu)Fig.2 Multi-level structure of deep convolution network for driver face detection

在圖2的深度卷積網(wǎng)絡(luò)中，輸入圖像統(tǒng)一設(shè)定為96pixel（寬）×120pixel（高）（圖中簡(jiǎn)寫為96×120）。第一層是一個(gè)濾波器感知野大小為4×4的卷積層，通過(guò)該卷積層，每一個(gè)輸入圖像得到4個(gè)特征圖，其中顯示了2個(gè)特征圖例子。卷積層的下一層是降采樣層，該層通過(guò)一個(gè)3×3的局部平均核對(duì)上一層的特征圖進(jìn)行空間降采樣，最終其特征圖像素由93pixel×117pixel降低至31pixel×39pixel，使得該卷積網(wǎng)絡(luò)降低對(duì)于旋轉(zhuǎn)和畸變的敏感度，該層中顯示了3個(gè)經(jīng)過(guò)降采樣的特征圖例子。經(jīng)過(guò)三次不同的卷積層和降采樣層的迭代，輸入層最終演變?yōu)榫哂?pixel×2pixel的40個(gè)高層級(jí)特征圖，因此最終形成的特征向量具有80個(gè)參數(shù)，全部連接至輸出層的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練。如圖2所示，每一層均由不同大小的卷積核或降采樣核進(jìn)行處理，形成不同個(gè)數(shù)的特征圖，為簡(jiǎn)化表達(dá)，將圖2所描述的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)描述為96×120-4C4-3S4-4C6-2S6-3C12-2S12-3C20-2S20-2C40，其中字母 C 代表卷積層，字母S代表降采樣層，字母前的數(shù)字為核尺寸，字母后的數(shù)字為特征圖數(shù)量。

采用類似的方法設(shè)計(jì)了用于駕駛員鼻子檢測(cè)的深度卷積網(wǎng)絡(luò)架構(gòu)。鼻子檢測(cè)的訓(xùn)練圖片全部來(lái)自于駕駛員人臉檢測(cè)的數(shù)據(jù)集，同時(shí)鼻子的圖像像素（14pixel×18pixel）遠(yuǎn)遠(yuǎn)小于駕駛員面部，且鼻子相對(duì)人臉具有較小的個(gè)體差異，因此，該深度卷積網(wǎng)絡(luò)架構(gòu)具有較少的層級(jí)結(jié)構(gòu)和較少的層內(nèi)濾波參數(shù)。用于駕駛員鼻子檢測(cè)的深度卷積網(wǎng)絡(luò)簡(jiǎn)化為14×18-3C6-2S6-3C10-2S10。

3 基于在線學(xué)習(xí)的目標(biāo)跟蹤方法

目前常用的目標(biāo)跟蹤方法有LK光流［19］、梯度直方圖［20］以及均值漂移［20］等快速跟蹤方法，但這些方法均要求目標(biāo)始終保持在視頻場(chǎng)景內(nèi)，不能應(yīng)對(duì)駕駛員面部目標(biāo)因扭頭觀察鄰車道車況而短時(shí)間遮擋或消失等情況，同時(shí)，LK光流跟蹤法雖簡(jiǎn)單易行，但其光照亮度一致性的前提在駕駛場(chǎng)景中難以滿足，在駕駛環(huán)境中容易產(chǎn)生漂移誤差，而均值漂移等方法均采用直方圖模型，對(duì)于駕駛過(guò)程中面部目標(biāo)一定程度的旋轉(zhuǎn)以及變形缺少適應(yīng)性，缺少必要的模型更新。為適應(yīng)駕駛過(guò)程中強(qiáng)烈的光照變化、面部目標(biāo)可能的旋轉(zhuǎn)形變、短時(shí)遮擋或消失等問(wèn)題，有必要引入可在線學(xué)習(xí)目標(biāo)的外觀與姿態(tài)變化并進(jìn)行訓(xùn)練的目標(biāo)檢測(cè)器，通過(guò)該在線檢測(cè)器搭配可以快速跟蹤的光流跟蹤器對(duì)目標(biāo)位置進(jìn)行綜合判定。為確保在線目標(biāo)檢測(cè)器的運(yùn)行效率，采用低維的局部二比特特征和快速高效的隨機(jī)森林分類器進(jìn)行目標(biāo)檢測(cè)訓(xùn)練。

3.1 訓(xùn)練樣本的局部二比特特征

在確定跟蹤目標(biāo)的初始位置之后，需要根據(jù)目標(biāo)的外觀以及周圍背景在線訓(xùn)練目標(biāo)檢測(cè)器。為便于實(shí)時(shí)計(jì)算，在線訓(xùn)練的特征應(yīng)能在反映物體梯度方向性的情況下盡量保持簡(jiǎn)潔性。啟發(fā)于物體檢測(cè)常用訓(xùn)練特征 Haar［6］、LBP（local binary pattern）［21］以 及 HOG（histogram oriental gradient）［22］等，特設(shè)計(jì)了更簡(jiǎn)潔的二比特特征，僅通過(guò)計(jì)算水平和垂直方向灰度總和，并比較大小便可實(shí)現(xiàn)前述三種特征對(duì)物體梯度方向的反映，避免了大量的梯度求導(dǎo)運(yùn)算，具有更快的運(yùn)行速度。該特征反映了圖像區(qū)域內(nèi)的邊緣梯度方向，并對(duì)該梯度方向性進(jìn)行了量化，最終獲得了四種可能的編碼結(jié)果。如圖3所示，對(duì)目標(biāo)區(qū)域隨機(jī)選取若干個(gè)矩形框（圖3中虛線框和實(shí)線框），對(duì)矩形實(shí)線框內(nèi)灰度進(jìn)行編碼結(jié)果為00，其中I（Ai）（i＝1，2，3，4）代表選定的圖像框內(nèi)的第i個(gè)區(qū)域內(nèi)的灰度值總和；所有虛線框內(nèi)二比特特征構(gòu)成當(dāng)前目標(biāo)圖像的特征向量X＝（x1，x2，…，xk），其中k是目標(biāo)區(qū)域選定的矩形圖像框數(shù)量，反映了特征的維度，xk是四種可能的二比特特征。

圖3 在目標(biāo)邊界框內(nèi)進(jìn)行局部灰度梯度方向編碼的二比特特征Fig.3 Binary-bit feature of local gray gradient direction coding in the target bounding box

為適應(yīng)目標(biāo)外觀的動(dòng)態(tài)改變，在線訓(xùn)練檢測(cè)器的正負(fù)樣本均來(lái)自于當(dāng)前幀目標(biāo)周圍的圖像塊，其大小與目標(biāo)大小一致。為提高在線檢測(cè)器的分辨能力，只選擇那些區(qū)域內(nèi)部像素方差在目標(biāo)圖像方差一半以上的樣本圖像塊。與目標(biāo)區(qū)域的重合率大于0.7的100個(gè)圖像塊選為訓(xùn)練的正樣本，重合率小于0.7的300個(gè)圖像塊視為訓(xùn)練的負(fù)樣本。樣本圖像塊與目標(biāo)圖像區(qū)域的重合率O的計(jì)算方法為

其中，b1和b2分別為樣本圖像塊和目標(biāo)圖像區(qū)域的邊界面積；∩代表圖像邊界框之間重疊部分的面積。

3.2 隨機(jī)森林分類器

隨機(jī)森林分類器是一種由多棵決策樹組合而成的聯(lián)合預(yù)測(cè)模型，是一種快速且有效的分類模型［23］。各決策樹獨(dú)立進(jìn)行樣本類別的預(yù)測(cè)，對(duì)所有的預(yù)測(cè)類別進(jìn)行投票，票數(shù)最高的類別被選舉為最終的結(jié)果。在訓(xùn)練中，每棵樹上的葉節(jié)點(diǎn)記錄了經(jīng)過(guò)該節(jié)點(diǎn)的正樣本的數(shù)量p和負(fù)樣本數(shù)量n。而每棵決策樹對(duì)每個(gè)輸入圖像的特征向量通過(guò)葉節(jié)點(diǎn)的后驗(yàn)概率進(jìn)行類別的預(yù)測(cè)，其目標(biāo)類別的后驗(yàn)概率

其中，k既是目標(biāo)區(qū)域選定的矩形圖像框數(shù)量，也代表了隨機(jī)森林分類器中決策樹的數(shù)量。

最終對(duì)來(lái)自所有決策樹的后驗(yàn)概率進(jìn)行均值計(jì)算，若均值大于0.5，則隨機(jī)森林分類器輸出類型為目標(biāo)，否則為背景。而在整幅圖像的掃描窗內(nèi)檢測(cè)單目標(biāo)時(shí)，往往只選擇具有最高隨機(jī)森林預(yù)測(cè)概率輸出的掃描窗格作為目標(biāo)物體的邊界框。

隨機(jī)森林分類器由兩個(gè)參數(shù)來(lái)決定其精度和速度：森林中決策樹的數(shù)量m以及每棵決策樹中包含特征的數(shù)量k。決策樹的數(shù)量越多，隨機(jī)森林分類器的分類性能越好，但運(yùn)行的速度越慢。在本試驗(yàn)中，決策樹數(shù)量m設(shè)定為10可以在滿足實(shí)時(shí)性的同時(shí)保證分類的性能。而每棵樹中所使用的特征維度k越大，隨機(jī)森林分類器的判別能力越強(qiáng)。由于每個(gè)特征有4種可能的編碼模式，因此每個(gè)決策樹中葉節(jié)點(diǎn)的數(shù)量有4k個(gè)。在本文中，選定k為10。

3.3 在線目標(biāo)跟蹤

采用LK光流法由幀F(xiàn)t到幀F(xiàn)t＋1前向跟蹤目標(biāo)時(shí)，跟蹤點(diǎn)坐標(biāo)Pt轉(zhuǎn)換為Pt＋1，而Pt＋1也可由LK光流法在幀F(xiàn)t上得到反向虛擬跟蹤點(diǎn)P′t。若LK光流法跟蹤正確，則跟蹤誤差e＝｜Pt－P′t｜應(yīng)足夠小，如圖4所示。

根據(jù)LK光流跟蹤的誤差以及在線隨機(jī)森林檢測(cè)器的目標(biāo)位置，最終目標(biāo)邊界框的范圍為

圖4 LK光流跟蹤誤差Fig.4 Optical flow tracking error

其中，PLk（x，y，w，h）為L(zhǎng)K光流法得到的純跟蹤邊界框的左上角坐標(biāo)（x，y）以及邊界框的寬度w和高度h；POLD（x，y，w，h）為在線檢測(cè)方法得到的目標(biāo)邊界框位置；eth為跟蹤誤差，其閾值為5個(gè)像素，大于此誤差時(shí)認(rèn)為光流法跟蹤失敗。

根據(jù)相鄰幀得到的跟蹤目標(biāo)的邊界框所選定的圖像塊bt之間的相似程度，可以大概估計(jì)目標(biāo)跟蹤的質(zhì)量，即跟蹤置信度T：

其中，C為正則化的圖像互相關(guān)系數(shù)，圖像塊的大小均事先調(diào)整為相同的分辨率。

整個(gè)視頻算法在公開(kāi)的行人跟蹤視頻測(cè)試集［24］上進(jìn)行了測(cè)試，并與行人的標(biāo)準(zhǔn)參考位置進(jìn)行了對(duì)比，其效果如圖5所示。

圖5中，行人跟蹤測(cè)試視頻的分辨率為QVGA格式，各跟蹤方法使用的測(cè)試函數(shù)（如光流、均值漂移、梯度直方圖、隨機(jī)森林分類器等）均采用MATLAB R2014a庫(kù)函數(shù)。從圖5中可以明顯看出，梯度直方圖與均值漂移等方法的跟蹤效率隨著視頻幀數(shù)增加逐漸降低，大部分視頻幀內(nèi)不能有效跟蹤行人的移動(dòng)，而光流法雖能根據(jù)幀差原理檢測(cè)到行人移動(dòng)，但跟蹤效率受光照影響太大而導(dǎo)致大部分跟蹤結(jié)果產(chǎn)生漂移誤差，與標(biāo)準(zhǔn)參考框的重合率大部分在0.5以下，而通過(guò)在線學(xué)習(xí)的方式訓(xùn)練的檢測(cè)器可以有效地校正光流跟蹤器產(chǎn)生的漂移誤差，在隨機(jī)森林決策樹數(shù)量m為10的情況下（配置1）可以顯著地改善跟蹤效果，能連續(xù)跟蹤復(fù)雜場(chǎng)景下的行人目標(biāo)，使得大部分視頻幀的跟蹤重合率大部分在0.7以上，而決策樹數(shù)量m降低為8（配置2）時(shí)，跟蹤重合率有所下降，如圖5a所示。

4 基于多信息融合的打哈欠檢測(cè)

圖5 在公開(kāi)測(cè)試集上的跟蹤重合率及其幀數(shù)統(tǒng)計(jì)直方圖Fig.5 The tracking overlap and frame histogram on open datasets

在通過(guò)檢測(cè)跟蹤獲得駕駛員鼻子位置之后，可以在鼻子正下方直接選定一個(gè)區(qū)域?yàn)樽觳啃巫兎治鰠^(qū)域。根據(jù)經(jīng)驗(yàn)，該嘴部區(qū)域的寬度和高度分別設(shè)定為鼻子的1.5倍和1.8倍。嘴部區(qū)域由其豎直中心線分為左右兩部分，如圖6所示。

當(dāng)打哈欠事件發(fā)生時(shí)，在嘴角處有明顯的形變發(fā)生，豎直邊沿的比例增大，因此，在嘴部區(qū)域?qū)D像進(jìn)行水平和豎直方向邊緣濾波器卷積，并求取絕對(duì)梯度方向在0～10°內(nèi)的像素的梯度強(qiáng)度和：當(dāng)打哈欠事件發(fā)生時(shí)，0～10°范圍內(nèi)的像素梯度強(qiáng)度和會(huì)有明顯的增大。像素梯度計(jì)算方法如下：

圖6 兩種狀態(tài)嘴角梯度方向示意圖Fig.6 Two state of mouth corner gradient

其中，I（x，y）為坐標(biāo)點(diǎn)（x，y）處的像素值；θ和M 分別為點(diǎn)（x，y）處的梯度角度值和強(qiáng)度值。

圖7顯示了在打哈欠過(guò)程中，左側(cè)嘴角部分0～10°范圍內(nèi)的像素梯度強(qiáng)度和（在3左右浮動(dòng)）相對(duì)于正常狀態(tài)數(shù)值明顯增大（最高可達(dá)20）。在不同的光照條件下，相同的打哈欠事件的梯度強(qiáng)度和應(yīng)該會(huì)有較大的差異。為在不同光照?qǐng)鼍跋麓_定不同嘴型打哈欠檢測(cè)的統(tǒng)一閾值，需要將所有嘴部區(qū)域大小正則化至同一尺度（36×46），亮度值均由0～255正則化至0～1范圍內(nèi)。然而，當(dāng)外界光照強(qiáng)烈變化時(shí)，跟蹤質(zhì)量急劇下降，此時(shí)無(wú)法分析嘴角梯度強(qiáng)度；當(dāng)駕駛員扭頭觀察兩側(cè)車流時(shí)，嘴部區(qū)域往往包含面部與背景之間的豎直邊沿，這為嘴角梯度強(qiáng)度的分析造成了極大的干擾。圖8顯示了車輛通過(guò)橋梁下方時(shí)光照的突變導(dǎo)致鼻子跟蹤失敗的情景。很明顯，由于鼻子跟蹤失敗導(dǎo)致嘴部區(qū)域的誤判，在右側(cè)嘴角處面部與背景之間形成了較長(zhǎng)的豎直邊沿，使得右側(cè)嘴角0～10°內(nèi)的梯度強(qiáng)度和增大至29.40，該值遠(yuǎn)遠(yuǎn)大于左側(cè)嘴角的8.7，同時(shí)右側(cè)嘴角10°～20°范圍內(nèi)的梯度強(qiáng)度和18.61也遠(yuǎn)大于左側(cè)梯度強(qiáng)度和3.68，而鼻子跟蹤置信度降低至0.574 3，但此時(shí)并沒(méi)有明顯的嘴部打哈欠事件發(fā)生。

圖7 正常狀態(tài)和打哈欠狀態(tài)（矩形框內(nèi)）下左側(cè)嘴角0～10°范圍內(nèi)梯度強(qiáng)度和Fig.7 Gradient intensity in 0～10degree of left mouth corner in normal and yawning state（rectangle box）

為獲得打哈欠檢測(cè)的精確描述，在進(jìn)行嘴角梯度強(qiáng)度分析的同時(shí)，引入鼻子跟蹤置信度以及面部橫向運(yùn)動(dòng)等信息以作綜合判斷。設(shè)定打哈欠判別值YD來(lái)融合以上三種信息：

圖8 車輛通過(guò)橋梁時(shí)面部目標(biāo)跟蹤失敗后的左右側(cè)嘴部梯度強(qiáng)度和的對(duì)比Fig.8 Comparisons of gradient intensity of left and right mouth corners after failure of facial tracking when vehicle pass bridge

其中，SL和SR分別為尺寸亮度正則化后的左右兩側(cè)嘴部區(qū)域0～10°范圍內(nèi)梯度強(qiáng)度和，T為鼻子跟蹤器輸出的跟蹤置信度，Tth為可靠跟蹤的置信度閥值，設(shè)定為0.6。當(dāng)跟蹤失敗時(shí)，T 值為0。而面部運(yùn)動(dòng)方向可以通過(guò)跟蹤過(guò)程中的鼻子中心位置進(jìn)行判斷：如果鼻子中心橫向像素值突然增大，則代表駕駛員面部向右運(yùn)動(dòng)；反之，則代表駕駛員面部向左運(yùn)動(dòng)，即

其中，vh和vth分別為駕駛員鼻子中心橫向運(yùn)動(dòng)速度（橫向坐標(biāo)的幀間差分值）及其速度閾值。

5 實(shí)驗(yàn)

5.1 駕駛員面部分類

駕駛員面部分類數(shù)據(jù)庫(kù)圖像截取于本實(shí)驗(yàn)室內(nèi)9名駕駛員的行車視頻，以及公開(kāi)的打哈欠測(cè)試視頻YawDD［25］中的89個(gè)駕駛視頻，該數(shù)據(jù)庫(kù)共有52 344個(gè)正樣本圖像以及108 323個(gè)負(fù)樣本圖像，樣本圖像大小為96pixel×120pixel，圖9顯示了部分正樣本示例。

圖9 駕駛員面部數(shù)據(jù)庫(kù)正樣本示例Fig.9 Positive samples of driver facial database

從圖9可以看出，駕駛員面部數(shù)據(jù)庫(kù)正樣本中包含多種光照條件下的不同面部角度的駕駛員面部圖像。訓(xùn)練和測(cè)試均經(jīng)過(guò)圖2所示的卷積神經(jīng)網(wǎng)絡(luò)配置下的十折交叉驗(yàn)證，其中圖2中的參數(shù)配置為缺省配置。為對(duì)比深度卷積網(wǎng)絡(luò)的訓(xùn)練檢測(cè)性能，分別設(shè)定了另外兩種不同配置的深度卷積網(wǎng)絡(luò)架構(gòu)：第一種與本文缺省配置具有同樣的網(wǎng)絡(luò)層數(shù)，但每層具有更多的特征圖數(shù)量，其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化為 96×120-4C4-3S4-4C8-2S8-3C16-2S16-3C32-2S32-2C64，該網(wǎng)絡(luò)架構(gòu)稱為“多特征圖網(wǎng)絡(luò)”；第二種較本文缺省配置僅缺少最后一層降采樣層，其他層數(shù)配置相同，其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化為96× 120-4C4-3S4-4C6-2S6-3C12-2S12-3C20-2S20，該網(wǎng)絡(luò)稱為“少一卷積層網(wǎng)絡(luò)”。圖10顯示了三種方法下駕駛員面部檢測(cè)深度卷積網(wǎng)絡(luò)的ROC（receiveroperating characteristic）性能曲線。

圖10 不同深度卷積網(wǎng)絡(luò)配置下的駕駛員面部分類ROC曲線Fig.10 The ROC curves of driver facial classification with different deep network configurations

從圖10可以看出，具有相同網(wǎng)絡(luò)層數(shù)的情況下，多特征圖網(wǎng)絡(luò)相對(duì)于本文缺省配置具有更好的分類性能，但性能改善效果一般；而本文缺省配置若缺少一層網(wǎng)絡(luò)配置，則其性能下降較為明顯。表1顯示了三種方法在同一工作站（配置酷睿i5-6500CPU和MATLAB R2014a）上的訓(xùn)練開(kāi)銷和測(cè)試精度。

可以看出，在本文缺省配置下可以獲得較為滿意的性能，且計(jì)算機(jī)內(nèi)存和時(shí)間開(kāi)銷均較為適中，特將該缺省配置下的深度卷積神經(jīng)網(wǎng)絡(luò)與常規(guī)的AdaBoost算法及其改進(jìn)版WaldBoost算法采用相同的面部數(shù)據(jù)庫(kù)進(jìn)行性能效果對(duì)比，如圖11所示。通過(guò)圖11可以看出，深度卷積網(wǎng)絡(luò)相對(duì)于常規(guī)的Boost算法具有很明顯的分類性能優(yōu)勢(shì)。

表1 不同深度卷積網(wǎng)絡(luò)配置下的訓(xùn)練開(kāi)銷和測(cè)試精度Tab.1 Training overhead and test accuracy with different deep network configurations

圖11 用于駕駛員面部圖像分類的深度卷積網(wǎng)絡(luò)與Boost算法的ROC曲線性能比較Fig.11 Performance comparison of ROC curves between depth convolution network and Boost algorithm for driver face image classification

5.2 打哈欠事件分析

圖12顯示了車輛經(jīng)過(guò)橋梁下方時(shí)駕駛員打哈欠過(guò)程中的若干視頻截圖。在車輛駛出橋梁下方的過(guò)程中，光照的突然變化使得跟蹤逐漸惡化甚至于跟蹤失敗，跟蹤置信度從0.874 66下降至0.574 3。由于跟蹤失敗，僅僅采用嘴角區(qū)域的邊緣梯度強(qiáng)度分析易引起誤警。如圖12d～圖12f所示，該時(shí)間段沒(méi)有發(fā)生打哈欠事件，但因?yàn)楦櫴?dǎo)致嘴部區(qū)域判斷有誤，進(jìn)而輸出錯(cuò)誤的打哈欠警告信息。

圖12 車輛通過(guò)橋梁下方時(shí)跟蹤失敗引起的打哈欠誤警事件的典型視頻序列截圖Fig.12 Typical video sequences of yawning error alert events caused by tracking failure when vehicles pass under bridges

圖12中對(duì)應(yīng)的視頻序列中，右側(cè)嘴部區(qū)域0～10°范圍內(nèi)的梯度強(qiáng)度和的變化趨勢(shì)以及跟蹤置信度值如圖13所示。在該視頻序列內(nèi)打哈欠事件發(fā)生在579～656幀范圍內(nèi)，如圖13中實(shí)線矩形框所示。當(dāng)實(shí)線矩形框內(nèi)打哈欠事件發(fā)生時(shí)，0～10°范圍內(nèi)的梯度強(qiáng)度和顯著地增大，如圖13a所示。然而，僅僅采用梯度強(qiáng)度值將會(huì)引入較多的誤警率，如圖13b中矩形虛線區(qū)域所示，此段時(shí)間內(nèi)并沒(méi)有打哈欠事件發(fā)生，但此區(qū)域內(nèi)梯度強(qiáng)度和甚至?xí)哂诰匦螌?shí)線區(qū)域內(nèi)的梯度強(qiáng)度和。誤判產(chǎn)生的主要原因來(lái)自于跟蹤質(zhì)量下降和跟蹤失敗引起的鼻子位置誤差，如圖13b所示，跟蹤置信度在矩形虛線區(qū)域迅速減小，甚至跟蹤丟失。

另一種易引起誤警率的現(xiàn)象是駕駛員行車過(guò)程中扭頭引起的嘴部區(qū)域選擇誤差。圖14顯示了駕駛員面部在視頻331～385幀中轉(zhuǎn)向右側(cè)時(shí)右側(cè)嘴角梯度強(qiáng)度與鼻子中心橫向位置分析。

圖13 跟蹤質(zhì)量下降時(shí)的駕駛員打哈欠檢測(cè)的多數(shù)據(jù)分析Fig.13 Multi-data analysis of yawning detection when the tracking quality is degrading

在圖14所示的視頻序列中，打哈欠事件發(fā)生在517～645幀之間，如矩形實(shí)線區(qū)域所示，然而僅進(jìn)行梯度強(qiáng)度分析將在331～382幀之間引入誤警，如矩形虛線區(qū)域所示，此段區(qū)間內(nèi)駕駛員面部轉(zhuǎn)向右側(cè)，如圖14b所示。因此有必要綜合考慮嘴部區(qū)域的梯度強(qiáng)度、鼻子跟蹤置信度以及駕駛員面部運(yùn)動(dòng)方向等信息來(lái)確定是否有打哈欠事件發(fā)生。

圖15顯示了圖13和圖14兩個(gè)視頻序列內(nèi)對(duì)應(yīng)的打哈欠判別值YD的變化情況。

圖15 圖13和圖14對(duì)應(yīng)的視頻序列內(nèi)的打哈欠判別值YD的變化情況Fig.15 The changes of yawning discrimination value YDin Fig.13and Fig.14video sequences

圖15中，在打哈欠事件發(fā)生時(shí)，YD可以智能化地選擇左側(cè)或右側(cè)嘴部區(qū)域作為分析對(duì)象，從而在圖15a和圖15b分別顯示了圖13和圖14視頻序列內(nèi)打哈欠事件發(fā)生時(shí)YD值的明顯增大，可以通過(guò)左側(cè)區(qū)域的恒虛警率自適應(yīng)閾值［26］檢測(cè)到矩形實(shí)線框內(nèi)打哈欠事件的發(fā)生，且最大限度地降低了誤警事件發(fā)生的可能性。該駕駛員打哈欠檢測(cè)方法在YawDD視頻集［25］上進(jìn)行了測(cè)試，打哈欠檢測(cè)成功率達(dá)到93.7%，遠(yuǎn)高于文獻(xiàn)［25］中60%的檢測(cè)成功率。本方法仍未達(dá)到完全的檢測(cè)效率，其主要原因在于：①少量視頻內(nèi)駕駛員打哈欠時(shí)面部有旋轉(zhuǎn)，在鼻子正下方無(wú)法準(zhǔn)確選定嘴部區(qū)域；②少量視頻內(nèi)駕駛員打哈欠時(shí)有用手遮擋面部的習(xí)慣，導(dǎo)致面部跟蹤失敗或嘴部區(qū)域無(wú)法定位。

6 結(jié)論

（1）根據(jù)交通場(chǎng)景復(fù)雜多變、光照強(qiáng)度變化范圍大、駕駛員面部特征個(gè)體差異大的特點(diǎn)，設(shè)計(jì)了深度卷積網(wǎng)絡(luò)架構(gòu)對(duì)駕駛員面部進(jìn)行分類檢測(cè)，根據(jù)其監(jiān)督式訓(xùn)練學(xué)習(xí)機(jī)制，可以深度提取面部的主要特征，使得該分類網(wǎng)絡(luò)獲得較為理想的分類檢測(cè)效果。

（2）設(shè)計(jì)了低維的局部二比特特征，同時(shí)利用該類特征在線訓(xùn)練了隨機(jī)森林面部目標(biāo)檢測(cè)器，將其與傳統(tǒng)的光流跟蹤器搭配，可以克服光流跟蹤器易受光照影響的缺點(diǎn)，彌補(bǔ)了光流跟蹤器的漂移誤差。整個(gè)在線學(xué)習(xí)跟蹤算法可以通過(guò)跟蹤置信度反映跟蹤質(zhì)量。

（3）采用統(tǒng)計(jì)方式分析了嘴角區(qū)域的梯度強(qiáng)度，可以避免低分辨率下直接定位嘴角的困難；同時(shí)，在駕駛視頻測(cè)試集上的實(shí)驗(yàn)結(jié)果證明，結(jié)合鼻子跟蹤器置信度以及面部運(yùn)動(dòng)方向等綜合判斷駕駛員打哈欠行為，在提高檢測(cè)正確率的同時(shí)也降低了誤警事件發(fā)生的可能。