王俊杰,汪洋堃,張 峰,張士文,戴 毅,郁曉冬

(上海交通大學(xué) 電子信息與電氣工程學(xué)院,上海 200240)

近年來,疲勞駕駛導(dǎo)致的交通事故比例高居不下[1],疲勞駕駛行為給道路行駛造成安全隱患,嚴(yán)重危害到人們的生命和財產(chǎn)安全.及時準(zhǔn)確的檢測疲勞駕駛行為并提出告警,對維護道路安全有著重要意義.

現(xiàn)有的疲勞駕駛檢測方法,從數(shù)據(jù)信息的獲取方式上來看主要分為3 大類:

第一,基于駕駛員生理信息分析的檢測方法,常用的生理信息有EOG 眼電圖[2,3]和EEG 腦電圖[4–7].基于準(zhǔn)確的生理信號信息使得這類方法判斷精確,但因需要被測人員佩戴特殊設(shè)備限制了其推廣和應(yīng)用.

第二,基于機械傳感器信號分析的檢測方法,如在汽車方向盤、踏板等位置安裝相應(yīng)的傳感器,通過所得方向盤加速度[8,9]、踏板壓力[10]、車輛速度[11]等信息分析駕駛員的疲勞狀態(tài).該類方法相比第一類方法,信息獲取更便捷,但其判斷效果易受駕駛員個人習(xí)慣、道路狀態(tài)等因素影響,且給出的判斷是疲勞駕駛的綜合結(jié)果,如反應(yīng)遲緩、操作不當(dāng)?shù)?不能判斷出具體的疲勞行為.

第三,基于機器視覺圖像信息分析的檢測方法,利用攝像頭獲取駕駛員圖像,進而分析判斷其疲勞與否.文獻[12]提出了一種先驗的增強模型皮膚圖像直方圖作為特征描述符,并使用K 最近鄰算法對其分類,檢測睡覺行為.文獻[13]使用方向梯度直方圖和回歸樹集合獲取人臉關(guān)鍵點后,融合眼部特征和嘴部特征實現(xiàn)疲勞檢測.文獻[14]使用AdaBoost 算法定位眼部,使用圖像形態(tài)學(xué)等圖像處理方法獲取人眼高度,判斷眼睛是否閉合.相比前兩類方法,該類方法的圖像數(shù)據(jù)信息獲取便捷,且駕駛員面部信息比反映車輛狀態(tài)的機械傳感器信息更能直接反應(yīng)駕駛員的疲勞情況.

閉眼是疲勞駕駛的一個重要表征,在閉眼檢測時,虹膜、瞳孔、眼白、上下眼皮間距等是眼部檢測的關(guān)鍵區(qū)域.有研究者提出基于像素值分析的閉眼檢測方法,如依據(jù)眼部圖像中虹膜與其余部分像素值的差別,對眼部圖像中的像素點進行分類,并計算圖中分類為虹膜的像素點個數(shù),若超過設(shè)定的閾值,則認為檢測到了虹膜,圖像為睜眼.但該種基于像素值分析的檢測方法對光照條件敏感,在光線不足,鏡片反光,人眼較小的情況,由于較難準(zhǔn)確分離出眼部對應(yīng)區(qū)域,進而產(chǎn)生誤判.如圖1所示,給出了4 人在不同環(huán)境下的眼部圖像,其中,第1 行是一般大小的眼睛在光線良好情況下的圖片(下簡稱這類情況為參考情況),此類圖片較易于狀態(tài)辨識;第2 行是光照不足時的人眼圖像,此時虹膜與其余部分像素值相差不大,基于像素值分析易將背景像素點分為虹膜,則閉眼圖像會被誤判為睜眼;第3 行是鏡片反光時的眼部圖像,此類圖像中,鏡片反射的光線會影響圖片中虹膜的顏色,可能導(dǎo)致虹膜部分檢測不出,此外,反射光線產(chǎn)生的光斑與其余部分有明顯差別,故可能被分類為虹膜,即鏡片反光情況時,閉眼和睜眼都可能發(fā)生誤判;第4 行是人眼較小時的情況,此類情況下,可能因虹膜占據(jù)的像素點數(shù)不足設(shè)定的閾值而將睜眼圖像誤判為閉眼.

圖1 閉眼檢測難點展示

對于利用上下眼皮間的距離或眼睛的縱橫比與既定閾值比較來判斷是否存在閉眼的做法,主要的不足在于不同人上下眼皮距離和縱橫比可能差別較大,無法設(shè)定一個準(zhǔn)確的閾值適用于所有人.而記錄連續(xù)多幀圖片中上下眼皮距離或眼部縱橫比,分析其變化來判斷是否閉眼的做法不適用于僅有單張圖片的應(yīng)用情況和可能的持續(xù)閉眼情況.

本文對駕駛員圖像信息展開研究分析,針對現(xiàn)有此類方法易受外界環(huán)境差異(如光照強度和背景等)和受測者外貌特征差異(眼睛大小等)影響,泛化能力不足,存在方法計算量大、處理過程耗時、缺乏實時應(yīng)用驗證等問題,本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)和支持向量機(Support Vector Machine,SVM)的疲勞駕駛閉眼特征檢測方法,使用CNN 獲取人臉相關(guān)特征點的位置并定位眼部感興趣區(qū)域(Region Of Interest,ROI),以灰度化和直方圖均衡化操作減弱光照差異影響,提取ROI 的方向梯度直方圖 (Histogram of Oriented Gradient,HOG)[15],并用SVM對HOG 進行分類,相應(yīng)的判斷出原始圖像是否存在閉眼.此外,本文給出了所提方法在ARM 平臺的實現(xiàn),在不同光照和背景條件下對多位測試人員進行檢驗,驗證方法的有效性、實時性和泛化能力.

1 基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機的疲勞駕駛閉眼特征檢測方法

對疲勞駕駛中伴隨的閉眼行為,本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(CNN-SVM)的疲勞駕駛閉眼特征檢測方法主要包含預(yù)處理層、HOG 提取層和決策層.分別實現(xiàn)了眼部ROI 分割,HOG 特征提取,眼部狀態(tài)判斷.著重解決在光線不足、鏡片反光、眼睛大小差異等多重復(fù)雜情況下的眼部開合的辨識,以期在多種環(huán)境下,對不同受測者均能準(zhǔn)確判斷眼部開合狀態(tài).

1.1 預(yù)處理層

預(yù)處理層的目標(biāo)是利用人臉檢測和特征點提取算法,定位圖像中人眼ROI 并進行分割.

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)的代表性算法,能有效的提取多層次的圖像特征,廣泛應(yīng)用于物體檢測.考慮到檢測速度和精度的平衡,本文選擇了級聯(lián)CNN 算法[16]用于人臉檢測步驟.

級聯(lián)CNN 算法使用6 個級聯(lián)的CNN 進行人臉檢測工作.其中3 個為二分類網(wǎng)絡(luò),判斷是否是人臉,3 個為校正網(wǎng)絡(luò),用于校正人臉框邊界的位置.其流程如下:

(1) 使用小型網(wǎng)絡(luò)12-net 對全圖進行人臉檢測,快速選擇可能存在人臉的區(qū)域,對大小為W×H的單張圖片采用步長為4,大小為12×12 的窗口進行檢測,所需檢測窗口數(shù)為:

其中,F為最小檢測人臉大小參數(shù),當(dāng)W=1280,H=720,由式(1)可得默認參數(shù)F=20時檢測窗口數(shù)為20 140.使用12-calibration-net 進行人臉區(qū)域校正.使用非極大值抑制(Non-Maximum Suppression,NMS)去除重疊區(qū)域過高的人臉框.

(2) 將(1)中人臉區(qū)域轉(zhuǎn)為大小24×24 的圖片,使用24-net 分類,判斷是否是人臉,然后利用24-calibrationnet 進行人臉區(qū)域校正.使用NMS 去除重疊的人臉框.

(3) 將(2)中的人臉區(qū)域轉(zhuǎn)為大小48×48 的圖片,使用48-net 分類,得到人臉區(qū)域后使用NMS 去除重復(fù)的部分.最后使用48-calibration-net 對人臉區(qū)域進行校正,并以此作為輸出.人臉檢測的結(jié)果如圖2中的框所示,定位出人臉區(qū)域.

圖2 人臉檢測與特征點提取結(jié)果

實驗中發(fā)現(xiàn),級聯(lián)CNN 的參數(shù)F對處理精度和速度的影響顯著,默認參數(shù)下,在側(cè)臉場景易出現(xiàn)誤判,將耳朵區(qū)域識別為人臉,如圖3所示.通過大量的實驗測試和分析,發(fā)現(xiàn)可以通過提高F值來避免將較小區(qū)域誤判為人臉,同時也減少了所需檢測窗口數(shù),從而降低處理單張圖片耗時.本文設(shè)置F=150,相應(yīng)的處理單張圖片的時間降低到默認設(shè)置下處理時間的16.31%.

圖3 人臉檢測誤檢示意圖

人臉特征點的提取可以理解為從圖像I 到人臉形狀參數(shù)S 的一個非線性映射.本文利用深度神經(jīng)網(wǎng)絡(luò)的強大非線性模型擬合能力,選用完全端到端級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Fully End-to-end Cascaded CNN,FECCNN)方法[17]用于特征點提取.

相對于人工提取特征再使用分類器分類,端到端的方法直接以圖像做輸入,特征點做輸出,將特征提取和分類的流程融合在了網(wǎng)絡(luò)之中.方法中包括若干個子CNN,表示為,網(wǎng)絡(luò)級聯(lián)之后構(gòu)成了總的網(wǎng)絡(luò),記為H,其目標(biāo)是擬合出圖像到特征點的非線性映射關(guān)系,如式(2)–式(4)所示:

其中,ΔSt表示第t個網(wǎng)絡(luò)對S的修正值,Ft表示第t個CNN,Θ (I,St?1)表示圖像塊提取函數(shù),用以提取圖中的特征區(qū)域.St表示經(jīng)過第t個CNN 修正后的特征點.特征點的提取結(jié)果如圖2中的點所示.

本文人臉檢測和特征點提取的實現(xiàn)均借助了開源庫Seetaface2.

使用圖2中所示的特征點進行眼部ROI 定位,其中左眼ROI 計算如式(5)所示,右眼ROI 計算方法如式(6)所示.獲取的ROI 圖片歸一化到30×15 像素,并將右眼ROI 進行水平翻轉(zhuǎn),便于后續(xù)統(tǒng)一操作.

定位出的眼部區(qū)域如圖4所示.

圖4 眼部ROI 示例

1.2 HOG 提取層

考慮到不同環(huán)境因素對眼部ROI 圖像的影響,在HOG 提取前先進行圖像增強操作.

上文所示圖像為常見的RGB 格式,即圖像中的每一個像素點包含3 個通道的色彩:紅(R)、綠(G)、藍(B),每個通道的色彩取值為0–255 之間的整數(shù).該格式下的圖片包含豐富的色彩信息,可以反應(yīng)光照、膚色等信息.而本文檢測閉眼行為關(guān)注圖像的梯度信息,因此將RGB 圖轉(zhuǎn)為灰度圖處理.常用做法將RGB 圖像亮度信息提取作為灰度值,亮度信息提取采用國標(biāo)公式進行計算,如式(7)所示[18].

轉(zhuǎn)換后的灰度圖仍存在分析上的難點,部分圖像的像素值聚集在極小的范圍內(nèi),導(dǎo)致圖像對比度不足,梯度較小,不易提取相關(guān)特征.故對灰度圖進行直方圖均衡化.

設(shè)圖像的灰度級范圍為[0,L?1],則圖像的直方圖定義為離散函數(shù)h(rk)=nk,其中rk表示第k級的灰度,nk代表灰度級為rk的像素點個數(shù).將其中的每一個值除以圖片的像素點總數(shù)n,得到歸一化的直方圖P(rk)=nk/n.P(rk)也表示灰度級為rk的概率估值.直方圖均衡化的目標(biāo)是找到一個函數(shù),對圖片中像素點分布進行調(diào)整,使其分布均勻,記函數(shù)為T:

以圖片偏暗和偏亮兩種情況下為例,圖5展示了直方圖均衡化的效果,圖5(a)、圖5(c)為光線偏暗和偏亮的原圖以及相應(yīng)的灰度直方圖,圖5(b)、圖5(d)為直方圖均衡化處理后的圖片和相應(yīng)灰度直方圖分布.由圖5可以看到,圖片偏暗時,像素點集中分布于0 附近,圖片偏亮?xí)r,像素點集中于較大值.圖片偏暗和偏亮均存在圖片對比度不足、特征不明顯的問題.直方圖均衡化之后,圖片像素點的分布更加均衡,圖片對比度提升,有利于后續(xù)的特征提取與分類.

圖5 直方圖均衡化示例

提取HOG 特征時需計算每個像素點的水平梯度和垂直梯度,如式(9)、式(10)所示.

式中,g表示梯度,H表示對應(yīng)點的像素值.x和y分別表示水平和垂直方向.

由此可得該點梯度的幅值和角度:

將圖片分為大量元胞,統(tǒng)計每個元胞中的梯度信息,構(gòu)成直方圖.將若干元胞構(gòu)成塊,對每個塊進行歸一化處理,進一步降低光照差異的影響,得到所需的HOG特征.因HOG 特征是局部梯度特征,對光線不敏感,有利于削弱光線差異造成的干擾.

1.3 決策層

決策層使用SVM 對HOG 分類.SVM是一種常見的二分類模型.其目標(biāo)是找到特征空間上最大間隔的分離超平面.如圖6所示.其中,z1和z2是特征空間的參數(shù),圓形和方形分別表示不同種樣本,l代表分類器找到的分離超平面.

圖6 二分類問題SVM 分類結(jié)果示例

對特征平面的樣本點x,定義其函數(shù)間隔和幾何間隔如式(13)、式(14)所示.

式中,yi為樣本的標(biāo)識,一般用+1 表示正樣本,?1 表示負樣本.

SVM 的目標(biāo)是學(xué)習(xí)找到一個正確分類樣本且?guī)缀伍g隔最大的超平面,該問題可以總結(jié)為約束優(yōu)化問題,如式(15)、式(16)所示.

結(jié)合函數(shù)間隔與幾何間隔的關(guān)系,上述約束關(guān)系可以改寫為式(17)和式(18).

利用凸二次規(guī)劃問題算法求解出式(19)、式(20)的解w?和b?,則得到最優(yōu)的超平面:

對應(yīng)的分類決策函數(shù)為:

實際分類時將樣本x代入上述函數(shù),結(jié)果為+1 認定為正樣本,否則為負樣本.

利用SVM 分類結(jié)果判斷原圖中對應(yīng)眼部是否閉眼.本文規(guī)定,雙眼同時被判為閉眼狀態(tài),則認為此張圖片中為閉眼,否則為睜眼.

SVM 復(fù)雜度為O (M·S)[19],其中,M表示核函數(shù)的計算數(shù),S表示支持向量的個數(shù).本文選擇了線性核函數(shù),復(fù)雜度為O(D·S),其中,D表示輸入向量即HOG特征的維度.相比其他核函數(shù),如多項式核函數(shù)的M為對應(yīng)的次方,線性核函數(shù)大大減小了復(fù)雜度.實驗測試時,在PC 平臺i7-4710MQ 處理器上,SVM 分類單張眼睛HOG 特征耗時2 μs.

因此,所提方法的疲勞駕駛閉眼特征檢測的流程如圖7所示,首先是預(yù)處理層,使用級聯(lián)CNN 算法獲取待測視頻圖片中的人臉區(qū)域,由FEC-CNN 算法定位人臉上的68 個特征點,以此定位出眼部ROI,并將右眼ROI 水平翻轉(zhuǎn);然后是HOG 提取層,將眼部ROI 轉(zhuǎn)為灰度圖,進行直方圖均衡化操作,提取HOG 特征;最后是決策層,使用SVM 對上述HOG 特征進行分類,判斷圖片中是否存在閉眼行為,若兩只眼睛均為閉眼狀態(tài),則認為駕駛員處于閉眼狀態(tài).

圖7 CNN-SVM 疲勞駕駛閉眼特征檢測方法流程

2 實驗測試結(jié)果與分析

2.1 模擬駕駛視頻測試

模擬駕駛實驗的圖像數(shù)據(jù)來自于多名受測人員按照指定圖像分辨率1280×720,在室內(nèi)隨機光線和背景下拍攝的模擬駕駛行為視頻.實驗圖像選擇從駕駛員的正面拍攝,例如圖8第1 列圖像所示視角的正常駕駛狀態(tài),實驗圖像與實際動作成鏡像.圖8第2 列為閉眼時圖片.參與拍攝的人員共8 人,包含了多種不同的背景.在樣本收集時,每人錄制睜眼狀態(tài)和閉眼狀態(tài)各持續(xù)10 s,視頻幀率為30 fps.

圖8 數(shù)據(jù)集部分圖片

為驗證本文方法在不同人員和環(huán)境的泛化能力,測試使用k折交叉驗證,即將數(shù)據(jù)集分為k份,測試k次,每次選取其中的k–1 份作為訓(xùn)練集,1 份作為測試集,將每次測試效果的評估參數(shù)取平均作為該方法的效果評估參數(shù).本文k選為8,即每個實驗人員的數(shù)據(jù)單獨作為一份.測試結(jié)果如表1所示,其中,P和N分別指閉眼,T和F分別表示實際判斷與真實標(biāo)簽相同和不同.由真正(True Positive,TP),真負(True Negative,TN),假正(False Positive,FP),假負(False Negative,FN)按照式(23)–式(25)計算準(zhǔn)確率,召回率和精準(zhǔn)率.

其中,準(zhǔn)確率表示被正確分類的圖片占總圖片的比例,該值越大意味著分類越準(zhǔn)確;召回率表示被正確分類為閉眼的圖片數(shù)與實際閉眼圖片數(shù)的比值,該值越高意味著閉眼行為被檢測出的比例越大;精準(zhǔn)率為正確分類的閉眼圖片占所有被分類為閉眼圖片的比例,其值越大表示正常駕駛被誤檢為閉眼的比例越低.

表1對比了本文方法與基于眼部寬高比(Eye Aspect Ratio,EAR)的方法分別使用兩個開源人臉特征點檢測庫(Dlib和Seetaface2)時的各參數(shù)表現(xiàn).

由表1看到,CNN-SVM 檢測方法的準(zhǔn)確率、召回率、精確率均高于基于EAR 計算的方法,接近100%,驗證了所提方法在判斷睜眼和閉眼的有效性,其中CNN-SVM 方法的召回率為97.5%,表明漏檢閉眼行為的概率低.

表1 閉眼檢測結(jié)果

圖9是上述8 折交叉驗證實驗數(shù)據(jù)的箱形圖,其每一個箱子的上下邊緣代表該方法準(zhǔn)確率的最大值和最小值,矩形的上下邊緣分別代表上四分位數(shù)和下四分位數(shù),中間的線代表中位數(shù).可以看出,3 種方法的上限均較高,說明多次實驗中有達到較高準(zhǔn)確率的情況,但基于EAR 的方法中位數(shù)和下限低,說明多次實驗的結(jié)果分布分散,存在準(zhǔn)確率低的情況.本文方法對應(yīng)的箱子邊緣和矩形上下邊緣均集中在較大值,說明本文方法在多折實驗的不同測試集上均有較高準(zhǔn)確率,驗證了其較強的泛化能力.

圖9 模擬駕駛數(shù)據(jù)測試結(jié)果箱形圖

綜上,與基于眼部寬高比的方法相比,本文方法能更準(zhǔn)確地判斷數(shù)據(jù)集中不同光照下不同大小眼睛的開閉狀態(tài),且具有較好的泛化能力.

2.2 實際駕駛艙數(shù)據(jù)測試

為驗證所提疲勞駕駛閉眼特征檢測方法在實際車內(nèi)駕駛場景中的應(yīng)用效果,本文進一步使用實際駕駛艙中拍攝的模擬駕駛動作視頻進行測試并完善方法.實驗中隨機選擇7 位實驗人員,從正面拍攝其在普通轎車駕駛艙中包含正常駕駛和閉眼的視頻,分辨率為1280×720,幀率為30 fps,其他拍攝條件,如光線、車型背景、攝像頭等條件是多樣的,以此來考察和驗證方法的泛化能力.考慮到室內(nèi)場景與實際場景存在一定的差距,本文隨機選取了3 人的數(shù)據(jù)與前文2.1 節(jié)所述數(shù)據(jù)一起構(gòu)成了訓(xùn)練集,剩余4 人數(shù)據(jù)構(gòu)成測試集.訓(xùn)練集與測試集之間沒有重疊.實驗中實際駕駛艙場景的部分數(shù)據(jù)集如圖10所示.其中左列為駕駛艙內(nèi)睜眼圖片,右列為駕駛艙內(nèi)閉眼圖片.

圖10 駕駛艙測試數(shù)據(jù)示意圖

在PC 平臺i7-4710MQ 處理器進行測試,實際駕駛艙數(shù)據(jù)測試結(jié)果如表2第1 列所示,可以看到本文方法在實際場景數(shù)據(jù)下仍達到94.25%的判斷準(zhǔn)確率,每秒可處理40 幀圖片.

表2 駕駛艙數(shù)據(jù)實驗結(jié)果

考慮到方法的可集成性以及實車應(yīng)用成本等因素,本文進一步測試了所提方法在ARM 嵌入式平臺的實驗效果,選擇了基于ARM Cortex A72|A53 的i.MX 8QuadMax 處理器平臺(車規(guī)級芯片)進行實驗.其中Cortex-A72 主頻最高1.6 GHz,Cortex-A53 主頻最高1.2 GHz.

表2第2 列和第3 列給出了本文方法在ARM Cortex A72和ARM Cortex A53 處理器上測試結(jié)果.可以看見,在判斷效果上,該方法在ARM Cortex A72和ARM Cortex A53 平臺運行辨識結(jié)果準(zhǔn)確,相比在i7-4710MQ 上的結(jié)果整體上略有差別,這可能與i.MX 8QuadMax 處理器平臺讀取圖片的解碼方式和底層計算方式與在PC 上的存在不同這一因素有關(guān).

從處理速度上看,在PC 平臺i7-4710MQ 處理器,i.MX 8QuadMax 處理器的ARM Cortex A72和ARM Cortex A53 核心運行所提算法,處理每張圖片耗時分別為0.0244 s,0.049 s,0.1324 s,即每秒分別可處理40 幀,20 幀,7 幀圖片.因此,本文算法可以在1 s 之內(nèi),依據(jù)多張圖片的分類結(jié)果,及時檢測出駕駛員的閉眼行為特征.

可見,本文算法在所測實驗平臺滿足實時性應(yīng)用要求.

3 結(jié)論

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機的駕駛員閉眼實時檢測方法CNN-SVM,預(yù)處理層使用CNN 分割出眼部ROI,HOG 提取層對ROI 進行圖像增強后提取HOG 特征,決策層使用SVM 對ROI 分類,以此檢測疲勞駕駛閉眼特征.使用所建立的室內(nèi)模擬駕駛和實際駕駛艙內(nèi)拍攝的不同光照和背景下的圖像數(shù)據(jù)集,分別在PC i7-4710MQ 平臺和ARM 平臺的A72、A53 核心測試所提方法,辨識準(zhǔn)確率分別為94.25%、95.58%、95.58%,辨識速度分別為40.97 fps、20.39 fps、7.55 fps,表明所提CNN-SVM 方法對不同光照和背景下的閉眼特征檢測均滿足辨識精度和速度要求,具備有效性和實用性.