周正陽，陳璐莎，張 坤，朱啟兵，2

(1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫 214122；2江南大學(xué)輕工過程先進(jìn)控制教育部重點實驗室，江蘇無錫 214122)

隨著道路交通的發(fā)展和私家車不斷普及，世界各國的道路交通事故和死亡人數(shù)也呈上升趨勢。據(jù)交通部資料顯示，2017年我國因交通事故死亡人數(shù)高居世界第二，達(dá)到6.3萬人。而駕乘人員疲勞駕駛、注意力不集中是導(dǎo)致事故的主要原因。

由于具有非接觸、準(zhǔn)確率較高的特點，基于視頻序列的危險駕駛技術(shù)已逐漸成為智能交通領(lǐng)域的研究熱點［1］。Alioua N等人提出使用修正圓形霍夫變換來測定嘴巴張開度，通過嘴部張開的連續(xù)時間判斷哈欠行為的發(fā)生［2］。陳云華利用方差投影方法確定眼部、嘴部位置，并分別使用虹膜似圓比、輪廓橢圓擬合參數(shù)定義眼睛睜開度和嘴部張開度，實現(xiàn)眼部疲勞和哈欠行為識別［3］。但現(xiàn)有研究多局限于使用傳統(tǒng)的圖像處理方法來進(jìn)行眼部、嘴部初步定位，傳統(tǒng)的定位方法涉及大量參數(shù)閾值，這使得系統(tǒng)在多變的環(huán)境中適應(yīng)性較差；且多數(shù)研究基于單幀圖像進(jìn)行分類，缺少與時間維度的關(guān)聯(lián)，這使得算法魯棒性較弱。此外，多數(shù)危險駕駛預(yù)警系統(tǒng)僅使用疲勞特征來表征危險駕駛，參數(shù)單一，預(yù)測效果不佳［4］。本文基于全局人臉特征點定位集成回歸樹(Ensemble Regression Tree，ERT)算法構(gòu)造嘴部幾何特征，提出缺失值補(bǔ)償方法，融合嘴部動作和頭部姿態(tài)，構(gòu)建基于視頻序列的多特征危險駕駛判定模型，以實現(xiàn)危險駕駛的準(zhǔn)確預(yù)警。

1 基于視頻序列的危險駕駛預(yù)警技術(shù)

1.1 危險駕駛預(yù)警方案概述

所提出的基于視頻序列的危險駕駛預(yù)警方法，采用網(wǎng)絡(luò)攝像頭采集視頻數(shù)據(jù)，數(shù)據(jù)輸入計算機(jī)進(jìn)行人臉檢測、人臉特征點定位?；谔卣鼽c位置分別計算頭部姿態(tài)角和嘴部幾何特征值，并將頭部姿態(tài)角用于嘴部幾何特征值的修正以得到嘴部張開度，從而形成頭部姿態(tài)角和嘴部張開度的時間序列，完成由視頻序列到數(shù)據(jù)特征序列的轉(zhuǎn)換。首次提出使用滑動平均法對張開度丟失幀進(jìn)行補(bǔ)償，并進(jìn)行序列平滑處理，然后將張開度序列應(yīng)用于哈欠、說話檢測，將頭部姿態(tài)角序列轉(zhuǎn)化為視線方向，作為視線偏移評估的依據(jù)。最后，將哈欠、說話、視線偏移參數(shù)融合，計算危險得分，并使用標(biāo)準(zhǔn)化系數(shù)將結(jié)果直觀化。危險駕駛預(yù)警方案技術(shù)流程如圖1所示。

圖1 危險駕駛預(yù)警技術(shù)流程圖

1.2 人臉檢測

因?qū)嶋H測試時背景噪聲、光照條件不盡相同，為保持系統(tǒng)的穩(wěn)定性，在圖像采集后首先進(jìn)行中值濾波、直方圖均衡化，以削弱光照強(qiáng)度給檢測帶來的影響。由于梯度方向直方圖(Histogram of Gradient，HOG)特征在局部單元上運行，除方向外，其具有幾何和光照強(qiáng)度不變性特征。在駕駛室內(nèi)，駕駛員頭部運動相對局限，不會有較大偏離，故利用該人臉檢測方案能夠較好檢測。

人臉檢測時，使用滑動窗口在整張圖片中逐行提取HOG特征矩陣，使用SVM分類器分類，找到人臉區(qū)域［5-6］。

1.3 人臉特征點定位

因傳統(tǒng)的圖像處理方案涉及多閾值參數(shù)，采用基于集成回歸樹(Ensemble Regression Tree，ERT)的人臉特征點全局定位，通過算法預(yù)測面部68個特征點，而后選取所需要的特征點坐標(biāo)用于特征構(gòu)建。

基于ERT的特征點定位算法將圖片像素的強(qiáng)度值作為特征，從原始圖像中進(jìn)行檢索，并索引當(dāng)前臉部形狀的估計。I表示原始圖像，表示當(dāng)前臉部形狀的估計，當(dāng)前第t輪回歸器為rt，在集成中預(yù)測更新向量并把加入到當(dāng)前的估計中去。臉部形狀更新公式為［7］

輸入待定位的人臉，首先將訓(xùn)練集中的平均臉作為初始臉部形狀，而后基于全局最優(yōu)目標(biāo)通過集成回歸從粗到精逐步進(jìn)行精確定位［7］。測試過程中，使用集成回歸器進(jìn)行迭代，人臉特征點定位索引號如圖2所示。

圖2 人臉特征點定位索引及嘴部幾何特征示意圖

1.4 基于POSIT頭部姿態(tài)角計算

頭部姿態(tài)角由頭部三個自由度定義，這三個自由度分別是俯仰角(Pitch)、偏航角(Yaw)、翻滾角(Roll)，分別表示點頭動作、搖頭動作和歪頭動作偏移正面的角度。POSIT算法輸出頭部姿態(tài)角的三個值［8］。姿態(tài)角度示意如圖3所示。

圖3 頭部姿態(tài)偏角示意圖

1.5 嘴部張開度計算

下面將以嘴部動作識別主要研究對象，故需從視頻圖像中提取嘴部幾何特征，從而將視頻序列轉(zhuǎn)化為數(shù)據(jù)特征序列。

1.5.1 特征點外接矩形提取

使用人臉特征點定位所獲得的嘴部內(nèi)輪廓特征點(圖2所示的第60～67索引號)，計算其外接矩形。該矩形寬高比能夠較好地刻畫嘴巴的張開度大小，當(dāng)頭部在平面內(nèi)旋轉(zhuǎn)，其張開度保持穩(wěn)定，可避免坐標(biāo)軸旋轉(zhuǎn)的煩瑣。

基于凸包算法求取多邊形的外接矩形［9］，記外接矩形的寬為w，高為h，定義嘴部張開度alph值為

構(gòu)建基于張開度alph的時間序列，如該幀因人臉檢測失敗沒有定位坐標(biāo)輸入，則該幀張開度記為0，以便于后續(xù)數(shù)據(jù)分析。據(jù)國外研究顯示，哺乳動物哈欠全過程平均時間為4.5 s［10］，故設(shè)定時間窗約15 s，共N幀，得到基于張開度的時間序列deque_mouth為

1.5.2 基于姿態(tài)角的修正

經(jīng)實驗發(fā)現(xiàn)，因頭部發(fā)生偏轉(zhuǎn)會導(dǎo)致嘴部張開度失真，根據(jù)1.4節(jié)計算得到的頭部姿態(tài)，由空間幾何推算。對于嘴部輪廓外接矩形而言，w值受Yaw方向影響較大，h值受Pitch方向影響較大，修正后w'、h'分別與Yaw、Pitch方向角度呈余弦三角函數(shù)關(guān)系，推理得到：

式中，alph'為嘴部張開度的更新值。

下文在不引起誤解的情形下將更新后的張開度alph'仍記作alph，并將此作為下文計算的原始數(shù)據(jù)。

1.6 嘴部動作及視線偏移識別

駕駛員行車過程中，其駕駛狀態(tài)可通過頭部姿態(tài)和嘴部動作進(jìn)行監(jiān)測。頭部姿態(tài)表征駕駛?cè)藛T的視線偏移情況，可由頭部姿態(tài)角序列描述。嘴部動作一般可分為靜默、哈欠和說話，其中哈欠表征駕駛員精神狀態(tài)可能處于疲勞態(tài)，說話表征駕駛?cè)藛T部分注意力分散。嘴部動作識別使用1.5節(jié)計算得到的嘴部張開度時間序列作為原始數(shù)據(jù)，根據(jù)序列形態(tài)進(jìn)行模式識別，識別方法為基于滑動窗口的特征和時序分析，即同時計算下文涉及的相關(guān)參數(shù)。同一滑動窗口中僅顯示一種狀態(tài)，本文設(shè)定哈欠具有較高優(yōu)先級。

1.6.1 基于雙閾值的深淺哈欠識別

為更好地捕捉哈欠動作、充分考慮不同的人的行為習(xí)慣，提出深、淺哈欠不同判決方法。對于一般哈欠檢測，基于張開度及其對應(yīng)時間關(guān)系建立如下約束關(guān)系：

式中，t1為alph連續(xù)單調(diào)遞增的時間；T上升為alph張開度持續(xù)上升的時間閾值，t1大于T上升時，系統(tǒng)進(jìn)入哈欠預(yù)判狀態(tài)；Alph為張開度閾值，當(dāng)alph大于該值，表示該幀具有哈欠特征；t2為alph大于Alph的連續(xù)幀數(shù)。算法要求嘴部由閉到張、持續(xù)單調(diào)增大才進(jìn)入哈欠預(yù)判，以區(qū)分正常說話和開口唱歌等其他異常張嘴行為［11］。

為區(qū)分深淺哈欠，采用Alph、T哈欠的雙閾值。滿足t1大于T上升即進(jìn)入哈欠預(yù)判狀態(tài)，嘴巴張開度大于Alph1的持續(xù)時間大于T哈欠1即可判斷為哈欠，當(dāng)張開度較大且大于Alph2的持續(xù)時間大于T哈欠2，判斷為深哈欠，其余為淺哈欠，如表1所示。

表1 深淺哈欠判別表

深、淺哈欠張開度值的時間序列形態(tài)如圖4所示。三角形曲線表示達(dá)標(biāo)深哈欠，其滿嘴巴張開度大于Alph2的連續(xù)幀數(shù)大于等于T哈欠2幀，五角星曲線表示達(dá)標(biāo)淺哈欠，其嘴巴張開度滿足大于Alph1的連續(xù)幀數(shù)大于等于T哈欠1幀。經(jīng)實驗，推薦閾值如表2所示。

圖4 深淺哈欠示意圖

表2 深淺哈欠推薦閾值

1.6.2 針對哈欠識別的數(shù)據(jù)補(bǔ)償與修正

實驗發(fā)現(xiàn)，人臉檢測和人臉關(guān)鍵點定位算法會在人臉具有較大偏轉(zhuǎn)時檢測失敗，基于該問題本文提出基于滑動平均法的丟失幀預(yù)測。針對未檢測到人臉的情況，在首次計算時已記為0，考慮到前后幀的張開度應(yīng)具有一定的連續(xù)性，可使用該幀的前、后具有有效alph值的m幀數(shù)據(jù)，計算平均值作為當(dāng)前幀的數(shù)據(jù)，其丟失幀更新公式為

式中，k為當(dāng)前幀索引；n為前后m幀中有效幀的個數(shù)；i為循環(huán)變量。

除此之外，因關(guān)鍵點定位會發(fā)生一定程度的抖動，導(dǎo)致alph值在一段時間內(nèi)上下波動，這在時間alph曲線上形成了高頻噪聲，為減小誤差，對曲線做平滑處理，采用加權(quán)線性回歸法對原始數(shù)據(jù)進(jìn)行回歸，擬合效果如圖5所示，最終使用擬合后數(shù)據(jù)進(jìn)行哈欠識別。

使用該方案后，少量丟失幀均可補(bǔ)償，一旦打哈欠時出現(xiàn)仰頭的情況，由于其具有仰頭前嘴巴張大，當(dāng)頭部回到原位嘴巴可能仍未合的特征，此時丟失幀已通過算法填補(bǔ)，并進(jìn)行平滑處理，哈欠可動作被捕捉。某次發(fā)生哈欠的嘴部張開度數(shù)據(jù)處理前后曲線如圖5所示(圖5中取m=4)。

圖5 經(jīng)數(shù)據(jù)處理前后哈欠曲線對比

1.6.3 基于方差-均值的說話識別

說話時張開度曲線上下波動，其頻率較高，且嘴部張開幅度較哈欠。在檢測時間窗內(nèi)，計算alph值序列的均值、方差、最大值，形成當(dāng)前時間序列的三個統(tǒng)計特征。嘴部的張合頻繁程度可以用一能量函數(shù)來表征，本文構(gòu)造方差能量函數(shù)，嘴部因說話上下運動而具有能量，能量越大，表示越可能發(fā)生說話，且說話時間的均值)、方差能量E、最大值A(chǔ)lphm。根據(jù)1.5.2節(jié)所計算得到的時間序列，進(jìn)行如下參數(shù)計算。

①均值計算公式：

②方差能量函數(shù)：

③最大值：

經(jīng)過統(tǒng)計數(shù)據(jù)分析，說話時存在如下的約束關(guān)系：

式中，alph1為alph閾值左邊界；alphr為alph閾值右邊界；El為能量左邊界；Er為能量右邊界；A為張開度最大值，A值約束其將哈欠排除在外，若最大值較大，則可能包含哈欠，不作說話判定。

1.6.4 視線偏移識別

駕車時視線視線偏離前方是注意力不集中的重要表現(xiàn)。一般情況下，視線隨著頭部的轉(zhuǎn)動而偏轉(zhuǎn)。本文借助1.4節(jié)計算得到的頭部偏轉(zhuǎn)角來近似來代替視線的偏轉(zhuǎn)角。

文獻(xiàn)顯示駕駛員注意力集中時，80%～90%的視線都集中在前方±12°內(nèi)［12］。根據(jù)檢測的實際精度及實際車內(nèi)環(huán)境，將這個范圍定義為水平方向和垂直方向的角度范圍為偏航角、俯仰角均在±15°內(nèi)。

頭部姿態(tài)角中Yaw、Pitch處于±15°內(nèi)，認(rèn)為駕駛員視線正常，否則為視線偏離，同時在綜合判定時間窗序列WIN(約1 min)中以0正常、1偏離進(jìn)行記錄。注意力分散可定義為：

①WIN中分散不集中，即在時間窗序列中存在零散的0，且0的數(shù)量占時間窗總長度的比例較大，滿足一比例閾值L1。

②WIN中連續(xù)不集中的時間較長，滿足一時間閾值L0。

針對以上情形，建立二元時間序列，序列中保存該幀視線偏離與否的狀態(tài)。

1.7 多特征危險駕駛判定模型

采取多參數(shù)融合綜合判定潛在的危險駕駛程度，依據(jù)特征對危險駕駛的影響程度計算危險總分，并通過非線性映射關(guān)系得到范圍在［0，1］之間的危險系數(shù)coeff。

首先通過上述檢測方法統(tǒng)計在規(guī)定時間內(nèi)說話、哈欠、視線偏移的情況。對于每一個長度為WIN的時間窗，說話特征為WIN中表示具有說話特征的幀數(shù)占WIN的比例，哈欠特征為時間窗WIN內(nèi)哈欠發(fā)生的總次數(shù)，視線偏移特征為偏移幀數(shù)占時間窗的比例，分別記為 speak_rate、yawn_times、pose_rate。

在決策前具有以下經(jīng)驗知識：

①認(rèn)為哈欠與疲勞的相關(guān)性為中等，且疲勞與危險駕駛的相關(guān)性也為中等，故認(rèn)為時間段內(nèi)兩次哈欠為疲勞狀態(tài)、輕度危險。

②說話分散駕駛員部分注意力，與危險駕駛相關(guān)性為中等，若50%時間均為說話，則可判定為輕度危險。

③視線與危險駕駛具有高相關(guān)性，在一般道路上行駛，若注意力持續(xù)L0=15 s以上偏離前方，或偏離總時間占時間窗L1=50%以上，可判定為輕度危險。

危險決策模型如下。

①針對哈欠動作，1次淺哈欠記30分，1次深哈欠記40分，2次則疊加計算，3次哈欠及以上則記為100分。得分定義為score1，計算方法為

式中，n為淺哈欠次數(shù)；m為深哈欠次數(shù)。

②說話動作、視線偏移均為表征注意力集中程度的量。提出基于Sigmoid變式函數(shù)的模糊隸屬度，即將Sigmoid函數(shù)通過平移、伸縮變換得到，該函數(shù)具有抑制兩頭、中間近似線性的特點，與所需要的非線性映射特性相符。經(jīng)變換后，Sigmoid函數(shù)值可映射至0～100，恰好為該項危險得分，易得Sigmoid變式隸屬度評分函數(shù)形式為

式中，rate2，rate3分別表示speak_rate和pose_rate。為得到合適的參數(shù)b，分別取b為5、10、15，映射關(guān)系如圖6(a)所示。當(dāng)b取較小值時，初值和終值明顯與本文所需映射不符，且不能很好地體現(xiàn)Sigmoid函數(shù)中間靈敏度高的特點，而b取較大值時，占比時間處于較低值時，說話、視線偏移對駕駛的危害程度過低。故b=10時相對合理。

③總分計算公式與危險系數(shù)計算?？偡諷core為三者總分。

由經(jīng)驗知識知，在時間窗內(nèi)，2次哈欠即已經(jīng)發(fā)生疲勞，50%以上時間的說話、視線偏移，均關(guān)聯(lián)為輕度危險，據(jù)此按如下方案將危險得分與危險系數(shù)coeff進(jìn)行關(guān)聯(lián)，關(guān)聯(lián)方法如表3所示。

表3 危險得分與危險系數(shù)關(guān)聯(lián)表

取各分?jǐn)?shù)段中值對應(yīng)于其危險系數(shù)，擬合非線性映射模型，將分?jǐn)?shù)映射至0～1的標(biāo)準(zhǔn)化系數(shù)，將危險程度直觀化。采用拋物線進(jìn)行擬合，計算方法如下：

式中，Score為總分；β為擬合待定系數(shù)。由最小二乘法得到β=0.0579，擬合結(jié)果如圖6(b)所示。

圖6 隸屬度函數(shù)與危險系數(shù)擬合結(jié)果

綜上，在滑過第一個 WIN后，每一幀均會得到Score和coeff。系統(tǒng)預(yù)警決策方法為：當(dāng)單項分超過50時，進(jìn)行單個動作報警，當(dāng)綜合危險系數(shù)超過0.5時進(jìn)行輕度危險報警，并分別在達(dá)到0.75、0.9時進(jìn)行中度危險報警和重度危險報警甚至需開啟汽車減速裝置，以將危險程度降至最低。

2 實驗

2.1 數(shù)據(jù)預(yù)處理前后哈欠準(zhǔn)確率對比

實驗方法：邀請13位具有駕駛經(jīng)驗的被試者，模擬處于駕駛環(huán)境，并要求在實驗過程中發(fā)生哈欠、說話、突然張大嘴巴、轉(zhuǎn)頭、低頭看手機(jī)等動作，且每人哈欠總數(shù)不少于3個，記錄嘴部張開度、頭部姿態(tài)角數(shù)據(jù)和視頻數(shù)據(jù)。

本算法實驗平臺CPU為i7-7700HQ，運算速度約為14 f/s，結(jié)合表2和1.5.1、1.6.4節(jié)的參考時間，涉及幀率閾值的參數(shù)如表4所示。此處表中時間單位均已換算為f。

表4 幀數(shù)閾值參數(shù) 單位：f

數(shù)據(jù)預(yù)處理包括滑動平均法預(yù)測、張開度曲線平滑去噪，實驗對比處理前后哈欠檢測準(zhǔn)確率變化。實驗結(jié)果如表5所示。

表5 預(yù)測補(bǔ)償、平滑去噪前后哈欠檢測率對比

如表5所示，經(jīng)改進(jìn)后的模型，哈欠檢測準(zhǔn)確率提高至82.97%，提高了約44%。

2.2 說話檢測實驗

實驗方法：從2.1節(jié)錄制數(shù)據(jù)中選取所有說話與靜默的視頻段，記錄每幀嘴部張開度。劃分訓(xùn)練集和測試集，60%數(shù)據(jù)為訓(xùn)練集，40%為測試集，以連續(xù)50 f為一組數(shù)據(jù)。測試樣例從測試集中隨機(jī)選取22組獨立隨機(jī)的連續(xù)50 f。分別計算時間窗中的方差和均值，借鑒SVM“間隔最大化”思想處理該問題，求得說話時方差、均值的最小值和靜默時方差、均值的最大值，將這兩者均值作為靜默與說話的臨界值，即El，右臨界值為左臨界值的2.5倍。均值應(yīng)大于說話最小值和靜默最大值的均值，其右臨界為左臨界值的2倍。實驗閾值如表6所示。

表6 “說話”分類實驗閾值表

基于方差-均值特征的分類在測試集中正確率達(dá)到100%，效果優(yōu)秀。

2.3 系統(tǒng)實驗結(jié)果

在Linux平臺下編寫C++程序，使用dlib19.6、OpenCV 3.2作為依賴庫。將筆記本連接車載攝像頭，進(jìn)行實時現(xiàn)場測試?，F(xiàn)場測試圖片如7所示，圖中左上方共7行，首行為嘴部張開度alph的實時測量值，第2行為系統(tǒng)檢測到的當(dāng)前嘴部動作，為speaking，第3～5行分別為頭部姿態(tài)估計角測量值，第6行為當(dāng)前幀視線狀態(tài)，ON表示未偏移，末行所示為當(dāng)前危險系數(shù)。圖片下方顯示系統(tǒng)在WIN時間窗內(nèi)已測得長時間視線偏移的報警提示。

圖7 車載測試

測試為另行實時測試，要求被試者進(jìn)行至少2次哈欠，1次長時間說話，2次突然張嘴，部分測試結(jié)果如表7所示。

表7 系統(tǒng)部分測試結(jié)果

本系統(tǒng)在Linux嵌入式平臺下，基于人臉特征序列對危險駕駛的行為模式進(jìn)行識別與評估。對不同年齡、不同性別的50位被試者進(jìn)行測試，實驗表明哈欠檢測平均準(zhǔn)確率為82.44%、說話檢測平均準(zhǔn)確率100%，能夠容忍大姿態(tài)下的哈欠和說話動作，準(zhǔn)確捕獲潛在的危險動作，但在較大姿態(tài)下快速移動欠穩(wěn)定。其監(jiān)測效率為14 f/s，滿足實時性要求。本系統(tǒng)軟件實現(xiàn)簡單，硬件需求低，經(jīng)濟(jì)價值高，具有較高的應(yīng)用性能和嵌入式移植特性，因此，可適用于實時危險駕駛預(yù)警監(jiān)測。

3 結(jié)束語

本文構(gòu)建了基于ERT人臉特征點定位算法的嘴部特征時序模型，并通過嘴部特征點外接矩形來計算嘴部張開度。尤其是所提出的基于頭部姿態(tài)角更新張開度值并對丟失數(shù)據(jù)進(jìn)行預(yù)測，融合哈欠、說話、視線偏移等在駕駛時可能存在危險的行為，建立了多參數(shù)融合的危險駕駛判斷的模型，并取得了較好的實驗效果。依據(jù)多個參數(shù)計算指征危險可能性的危險系數(shù)。由于危險駕駛數(shù)據(jù)較少，故本系統(tǒng)的危險預(yù)警在模型融合時以經(jīng)驗權(quán)重為主，今后擁有具有標(biāo)簽的駕駛視頻，可基于深度學(xué)習(xí)方法基于視頻流進(jìn)行訓(xùn)練以進(jìn)一步抽取時空特征、捕獲時空相關(guān)性，深度網(wǎng)絡(luò)模型魯棒性將較高于現(xiàn)有模型，可適應(yīng)更復(fù)雜環(huán)境。進(jìn)一步將依靠智慧交通系統(tǒng)，結(jié)合實時路網(wǎng)狀態(tài)［13］，對當(dāng)前車輛的危險駕駛系數(shù)做多視角、精細(xì)化判斷。