詹潤哲,姜 飛

宿州學(xué)院信息工程學(xué)院,宿州，234000

疲勞駕駛是交通事故的重要成因之一。根據(jù)美國汽車協(xié)會(AAA)交通安全基金會的調(diào)查數(shù)據(jù)顯示，疲勞駕駛在美國的交通事故死亡事件中占據(jù)21%的比例，每年約6 400人因此喪生。檢測駕駛員的疲勞度，并在其超過一定閾值時報警，是智能交通領(lǐng)域、智能輔助駕駛的一項關(guān)鍵技術(shù)。

近年來，國內(nèi)外研究者對駕駛員疲勞檢測技術(shù)進(jìn)行了深入研究[1]。檢測方法主要分為兩大類：一是根據(jù)外部硬件設(shè)備的受控表現(xiàn)，判斷駕駛員行為是否為疲勞駕駛，如通過傳感器獲取車輛在行駛過程中的參數(shù)(道路線檢測、速度變化、車輛間距離)判斷異常情況[2]；二是通過駕駛員自身的生理特征檢測駕駛員是否構(gòu)成疲勞駕駛，如通過心、腦、眼電圖取得駕駛過程中的變化數(shù)據(jù)綜合判斷[3]，通過駕駛員正常與疲勞狀態(tài)下的視覺特征不同，采用模式識別的方法進(jìn)行判別[4]。

以硬件傳感器為主的方法其準(zhǔn)確性與檢測儀器的精度和相關(guān)參數(shù)有較大關(guān)系，且接觸式檢測對駕駛員操作構(gòu)成了障礙。本文基于機(jī)器視覺技術(shù)進(jìn)行疲勞檢測，主要是對疲勞特征的挖掘、提取以提高檢測的實時性和準(zhǔn)確性。

1 疲勞檢測方法設(shè)計

本文以非侵入的方式為出發(fā)點，采用面部特征的融合作為疲勞檢測的主要指標(biāo)。所提出的算法流程由四個階段組成，即人臉檢測、關(guān)鍵區(qū)域分割、疲勞參數(shù)計算和判定預(yù)警。首先，對視頻圖像進(jìn)行濾波等圖像預(yù)處理，使用優(yōu)化的類Haar特征檢測算法進(jìn)行人臉檢測。然后，進(jìn)行人臉關(guān)鍵點定位，劃分出關(guān)鍵區(qū)域，通過關(guān)鍵點位特征值的計算，得出駕駛員的眨眼頻率以及打哈欠狀態(tài)，進(jìn)一步作為疲勞參數(shù)計算的重要指標(biāo)，以此實時綜合分析檢測結(jié)果。最終，當(dāng)疲勞參數(shù)超越設(shè)定閾值時給予疲勞警告。關(guān)鍵點特征融合的疲勞檢測方法的算法流程圖，如圖1所示。

圖1 疲勞檢測方法設(shè)計

2 類Haar特征人臉檢測算法

Viola-Jones檢測算法使用類Haar特征，能進(jìn)行穩(wěn)健高速的人臉檢測[5]，如圖2(a)-圖2(e)為五類Harr特征，對于一張大小N×N的灰度圖像I，其特征區(qū)域為S，則特征Feature計算方式為白色區(qū)域內(nèi)的像素和減去黑色區(qū)域內(nèi)的像素和:

圖2 類Haar特征及其計算

為了能夠達(dá)到實時檢測人臉的需求，需要使用積分圖進(jìn)行加速計算。在積分圖中，每個點(x,y)存儲了其左上方所有像素的和，計算方式為：∑x′

對于訓(xùn)練樣本來說，數(shù)個類Haar特征的組合最終將產(chǎn)生較大數(shù)量級的特征集，需要采用AdaBoost算法進(jìn)行特征的選擇與弱分類器的訓(xùn)練。AdaBoost算法的基本思想為首先選取相應(yīng)的特征構(gòu)建不同的弱分類器，然后在每次弱學(xué)習(xí)后調(diào)整樣本空間中正確分類與錯誤分類的權(quán)重分布，并重點關(guān)注錯誤分類樣本，最終將這些弱分類器集合構(gòu)成一個強(qiáng)分類器。這一系列強(qiáng)分類器經(jīng)過閾值調(diào)整級聯(lián)，形成最終的人臉檢測分類器，如圖3所示。

圖3 人臉檢測分類器訓(xùn)練流程

3 人臉關(guān)鍵點及疲勞區(qū)域參數(shù)計算

3.1 人臉關(guān)鍵點定位

在前述算法完成人臉檢測后，為了能夠?qū)崿F(xiàn)對疲勞特征區(qū)域進(jìn)行計算，需要對人臉面部特征點進(jìn)行提取。Dlib視覺計算庫中提供了一種基于梯度提高學(xué)習(xí)的回歸樹人臉對齊算法[6]，通過級聯(lián)一系列殘差回歸樹，疊加對應(yīng)葉子節(jié)點上的殘差回歸量，使當(dāng)前的形狀回歸到Ground Truth上。利用iBUG 300-W人臉特征點數(shù)據(jù)集[7]上訓(xùn)練得出的68個特征點模型及GBDT算法應(yīng)用在人臉關(guān)鍵點定位上，如圖4所示。

圖4 GBDT算法計算68個人臉關(guān)鍵點

3.2 關(guān)鍵區(qū)域參數(shù)計算

在人臉關(guān)鍵點定位算法得到的分割結(jié)果中，為了能夠選取對實際問題有較大參考意義的視覺特征參數(shù)，重點關(guān)注在嘴部與眼部區(qū)域的特征。如圖4中所定位的68個關(guān)鍵點中，眼部的關(guān)鍵點為P37～P42(左眼)，P43～P48(右眼)，嘴部的關(guān)鍵點為P49～P68。疲勞參數(shù)計算的基準(zhǔn)主要為在一定的連續(xù)幀數(shù)內(nèi)，眨眼的頻率與打哈欠的狀態(tài)。

經(jīng)過實驗，眼部在睜開與閉合狀態(tài)時，由于豎直方向上眼瞼關(guān)鍵點之間的距離變動，其寬高方向上的比值會出現(xiàn)明顯變化，能夠通過特征點坐標(biāo)數(shù)值動態(tài)計算得出。以左眼為例，距離計算函數(shù)Distance為圖像兩像素點間的歐式距離，則:

在實際測量中，當(dāng)Ratio(Eye)小于0.2時，人眼為閉合狀態(tài)。同理，在打哈欠時嘴巴張開幅度較大，嘴部選取的寬高方向上的關(guān)鍵點在比值上同樣具有較明顯的變化，計算方式為：

在實際測量中，當(dāng)Ratio(Mouth)大于0.75時，則可判斷該幀嘴部有較大張幅。

3.3 疲勞參數(shù)計算

在眼部和嘴部狀態(tài)能夠以一定閾值判別的情況下，根據(jù)狀態(tài)信息可在一定幀數(shù)內(nèi)實現(xiàn)融合疲勞參數(shù)的計算。計算方式為在循環(huán)讀入視頻流的N幀內(nèi)，當(dāng)3.2中所述Ratio值在當(dāng)前處理幀數(shù)內(nèi)達(dá)到限定閾值，則對應(yīng)計數(shù)器n增加一次，N幀后計數(shù)器對應(yīng)清零。則眼部與嘴部疲勞頻度為：

由于Ratio(Mouth)的值受外界影響較大，如行車交談等也會影響到該值變化，故在判別中作為眼部疲勞的輔助判別參數(shù)，當(dāng)fMouth超過規(guī)定頻度時,若feye并沒有超過該占比則不做疲勞判定。

圖5 不同狀態(tài)下關(guān)鍵區(qū)域劃分結(jié)果

4 實 驗

4.1 實驗環(huán)境

實驗程序采用Python語言下的OpenCV 3.3.0與Dlib 19.6.0框架進(jìn)行編寫并測試，操作系統(tǒng)為macOS，CPU為Intel Core i7-4770HQ@2.2GHz，內(nèi)存16G。測試用視頻序列分辨率為800×460。

4.2 實驗結(jié)果

PERCLOS(Percentage of Eyelid Closure over the Pupil over Time)疲勞計量方法被認(rèn)為是最有效的、車載、實時駕駛疲勞測評方法，其定義為單位時間內(nèi)眼睛閉合所占的時間比例[8]。在測量周期t1-t4內(nèi)，t2-t3為閉合時間，則度量值的計算方式為(采用P80-PERCLOS計算方式)：

PERCLOS疲勞計量方法作為對比組，與本文所敘述的關(guān)鍵點特征融合的方式進(jìn)行對比，實驗前預(yù)先統(tǒng)計測試視頻序列中出現(xiàn)的疲勞次數(shù)，與實際檢測出疲勞次數(shù)對比，算法對比的實驗結(jié)果如表1所示。

表1 檢測算法對比實驗結(jié)果

在同一算法下，根據(jù)受試者眼部是否佩戴眼鏡的狀態(tài)，進(jìn)行檢測對比，實驗對比結(jié)果如表2所示。

表2 面部關(guān)鍵點特征-佩戴眼鏡對比實驗結(jié)果

4.3 結(jié)果分析

實驗表明，面部關(guān)鍵點融合特征算法能夠檢測出較多的疲勞情況，正確率較高。但是由于本算法涉及多個疲勞因素與判定方式，在定值判定的情況下容易發(fā)生誤檢測的情況；PERCLOS疲勞計量方法采用單一因素進(jìn)行檢測，故誤檢發(fā)生不頻繁。與此同時，不同受試者的疲勞判定關(guān)鍵區(qū)域情況不盡相同，如在佩戴眼鏡的情況下，由于模型訓(xùn)練多為不佩戴眼鏡的樣本，故檢測過程中時有檢測丟失的情況發(fā)生，檢測能力也較不佩戴眼鏡情況弱。

5 結(jié) 論

以視覺方法為基礎(chǔ)的疲勞駕駛檢測方法在實際應(yīng)用過程中設(shè)備限制低，也不會給駕駛員活動帶來障礙。且得益于積分圖加速、人臉關(guān)鍵點定位等方法在前期工作中的應(yīng)用，保證了實時性，基于面部關(guān)鍵點特征融合的疲勞檢測方法在上述測試中也取得了較好的精度，具有易于部署的特點且在嵌入式平臺上也能夠保證一定速度。