游 峰 梁昭德

(華南理工大學(xué)土木與交通學(xué)院 廣州 510006)

0 引 言

疲勞駕駛是道路交通事故的主要誘因之一.根據(jù)美國(guó)國(guó)家高速交通安全委員會(huì)(NHTSA)的研究，有22%～24%的交通事故和駕駛?cè)说木駹顟B(tài)有關(guān)；在我國(guó)，每年因疲勞駕駛而引起的交通事故占總起數(shù)的20%，占特大交通事故的40%以上.因此，研究基于駕駛?cè)似跔顟B(tài)的事故預(yù)警系統(tǒng)，對(duì)減少交通事故、保障駕駛?cè)说娜松戆踩兄卮笠饬x.

目前，駕駛?cè)似跈z測(cè)方法主要有基于心電圖( ECG)、腦電圖( EEG)等生理數(shù)據(jù)的特征檢測(cè)方法、基于方向盤轉(zhuǎn)角[1]和車輛行駛軌跡等駕駛行為數(shù)據(jù)的特征檢測(cè)方法，以及基于圖像的眼睛、嘴巴開度等面部特征[2]的檢測(cè)方法三種.其中，基于圖像的駕駛?cè)嗣娌刻卣鞯臋z測(cè)方法具有非接觸、低成本等優(yōu)點(diǎn)，日益成為研究的熱點(diǎn).賈小云[3]運(yùn)用AdaBoost級(jí)聯(lián)分類器進(jìn)行人臉特征檢測(cè)，結(jié)合Haar提取人臉特征，LBP特征檢測(cè)眼部和嘴角，最后用PERCLOS原理統(tǒng)計(jì)眼睛閉合頻率完成疲勞狀態(tài)判別.唐廣發(fā)等[4]用灰度投影法和灰度變換標(biāo)準(zhǔn)差對(duì)人眼進(jìn)行定位，再提取眼睛上下眼瞼點(diǎn)獲取眼睛開度的大小.楊非等先通過(guò)ASM算法對(duì)人臉特征進(jìn)行定位，再應(yīng)用灰度積分投影法，對(duì)瞳孔中心進(jìn)行定位，增加準(zhǔn)確度.牛耕田等[5]用Gabor小波提取圖像特征，再用PCA方法進(jìn)行特征降維完成識(shí)別.為提高駕駛?cè)搜劬μ卣鞯臏?zhǔn)確率，劉志強(qiáng)[6]使用眼鏡式眼動(dòng)儀采集眼部注視點(diǎn)等特征參數(shù)訓(xùn)練SVM模型.除此之外，還有基于Tensor PCA[7]、隱馬爾科夫模型[8]等技術(shù)的疲勞檢測(cè)研究.

上述研究方法多在人臉檢測(cè)和人眼檢測(cè)的基礎(chǔ)上研究駕駛?cè)似跔顟B(tài).但在車輛行駛的過(guò)程中，駕駛?cè)嗣娌砍上窀蓴_諸多，如光線入射角度變化、光照強(qiáng)弱變化、駕駛?cè)嗣娌渴軜涫a疊加等.此外，為完成復(fù)雜駕駛?cè)蝿?wù)，如并線、會(huì)車、超車等，駕駛?cè)顺Ｕ{(diào)整視野朝向，頭部姿態(tài)變化劇烈，這部分干擾常使人眼的定位和跟蹤性能下降，甚至失效.

近年來(lái)，使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征的方法引起國(guó)內(nèi)外的廣泛關(guān)注，此類方法能夠在訓(xùn)練迭代的過(guò)程中自動(dòng)更新目標(biāo)特征，不依賴于人工參與，并能挖掘目標(biāo)的深層信息，從而比傳統(tǒng)的模式識(shí)別方法更具魯棒性.卷積神經(jīng)網(wǎng)絡(luò)的這些特性，為提升疲勞檢測(cè)算法的魯棒性提供新的解決方案，本文提出一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛?cè)似跈z測(cè)系統(tǒng)，預(yù)處理階段應(yīng)用方向梯度直方圖(HOG)、特征點(diǎn)檢測(cè)、旋轉(zhuǎn)變換三個(gè)算法解決頭部姿態(tài)變化的問(wèn)題，特征檢測(cè)階段應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)算法檢測(cè)人臉特征，對(duì)抗駕駛?cè)嗣娌抗庹?，樹蔭干擾等問(wèn)題.疲勞檢測(cè)階段在前述算法的基礎(chǔ)上，根據(jù)PERCLOS原則綜合一段時(shí)間內(nèi)駕駛?cè)似诘膸瑪?shù)判斷駕駛?cè)司駹顟B(tài)，完成預(yù)警.

1 駕駛?cè)巳四樁ㄎ缓妥藨B(tài)校正

1.1. 基于方向梯度直方圖(HOG)的人臉定位算法

采用方向梯度直方圖(HOG)算法從復(fù)雜背景中定位人臉.首先將采集的原始圖像轉(zhuǎn)為灰度圖，再利用Gamma公式進(jìn)行顏色空間的標(biāo)準(zhǔn)化，即

I(x,y)=I(x,y)gamma

(1)

然后，計(jì)算圖像每個(gè)像素方向梯度的幅值和方向：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(3)

(4)

(5)

式中：H(x,y)為像素值；Gx(x,y)為水平梯度；Gy(x,y)為垂直梯度；G(x,y)為梯度幅值；α(x,y)為梯度方向.

將圖像分成若干個(gè)單元格，一定數(shù)量的單元格組合成區(qū)間，對(duì)區(qū)間內(nèi)單元格的梯度向量進(jìn)行歸一化，生成全局的特征描述向量.最后，使用SVM分類器在原圖中尋找人臉的疑似區(qū)域.

1.2 基于局部約束模型(CLNF)的人臉特征點(diǎn)定位算法

在1.1的基礎(chǔ)上，應(yīng)用Conditional Local Neural Fields (CLNF)算法定位人臉特征點(diǎn)，特征點(diǎn)包括包括下巴的頂部、眼睛外部輪廓、眉毛的內(nèi)部輪廓等.在人臉的疑似區(qū)域，CLNF定位方法通過(guò)將人臉特征點(diǎn)分布的先驗(yàn)知識(shí)與圖像的局部差異作對(duì)比，得到可信的特征點(diǎn)分布.圖1為標(biāo)準(zhǔn)的特征點(diǎn)示意圖.

圖1 標(biāo)準(zhǔn)特征點(diǎn)模板

1.3 駕駛?cè)巳四樞D(zhuǎn)變換

為確保變換后人臉的眼睛和嘴唇與標(biāo)準(zhǔn)樣本位置相同，提取人臉特征點(diǎn)對(duì)原人臉圖片進(jìn)行旋轉(zhuǎn)變換，旋轉(zhuǎn)的θ角由人臉特征點(diǎn)的檢測(cè)值和標(biāo)準(zhǔn)值之間的夾角求得，變換矩陣見(jiàn)式(6).

*xT

(6)

2 基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛?cè)似谔卣魈崛?/h2>

2.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu)是卷積層，卷積層常用作網(wǎng)絡(luò)的輸入層和中間層.該結(jié)構(gòu)主要進(jìn)行卷積計(jì)算，使用的卷積核與前一層的輸入維數(shù)相同[9].卷積核的參數(shù)在訓(xùn)練時(shí)根據(jù)反向傳播算法不斷調(diào)整，以最小化誤差.卷積計(jì)算表達(dá)式為

(7)

卷積層的輸出直接與激活函數(shù)相連，激活函數(shù)的作用是給神經(jīng)網(wǎng)絡(luò)引入非線性，目前研究人員普遍采用ReLU激活函數(shù)，即

f(x)=max(0,x)

(8)

卷積層之間要通過(guò)池化層對(duì)上一層的特征輸出進(jìn)行降維以簡(jiǎn)少計(jì)算量，池化的原理是對(duì)一個(gè)區(qū)域內(nèi)的所有元素進(jìn)行運(yùn)算，最終輸出一個(gè)元素值代替這個(gè)區(qū)域內(nèi)的所有輸出，通常采用的方法有均值池化、高斯池化和最大值池化幾種.文中網(wǎng)絡(luò)采用最大值池化，使用一個(gè)區(qū)域內(nèi)所有元素中的最大值作為該區(qū)域的輸出.

網(wǎng)絡(luò)的末端通常是全連接層和輸出層，全連接層把上一層的輸入壓縮成一維的特征向量，供輸出層進(jìn)行分類，全連接層的表達(dá)式為

f(x)=W*X+B

(9)

輸出層根據(jù)網(wǎng)絡(luò)的實(shí)際需要設(shè)計(jì)損失函數(shù)，對(duì)于通常的多分類網(wǎng)絡(luò)，采用Softmax函數(shù)，表達(dá)式為

(10)

包含以上基本結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)見(jiàn)圖2.

圖2 卷積神經(jīng)網(wǎng)絡(luò)(CNN)基本結(jié)構(gòu)圖

2.2 基于Openface的人臉特征提取網(wǎng)絡(luò)訓(xùn)練

通常一個(gè)性能較好的神經(jīng)網(wǎng)絡(luò)需要使用大量的樣本進(jìn)行訓(xùn)練，每次處理相似任務(wù)都重頭設(shè)計(jì)和訓(xùn)練網(wǎng)絡(luò)將耗費(fèi)大量的時(shí)間和資源，使用Finetune技巧可以復(fù)用已經(jīng)設(shè)計(jì)好的原型網(wǎng)絡(luò)，簡(jiǎn)化算法開發(fā)的流程.本文使用OpenFace卷積網(wǎng)絡(luò)作為Finetune的原型網(wǎng)絡(luò)，修改其網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建特定的駕駛?cè)似跇颖編?kù)并對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)疲勞判別.

OpenFace網(wǎng)絡(luò)[10]是一個(gè)有代表性的開源的人臉特征提取網(wǎng)絡(luò)，該由谷歌研究人員開發(fā)，使用LFW人臉數(shù)據(jù)集及YouTube Faces DB數(shù)據(jù)集訓(xùn)練及測(cè)試，分別取得了99.63% 和95.12%的正確率，能滿足本文人臉特征提取算法的需要.該網(wǎng)絡(luò)的原始結(jié)構(gòu)見(jiàn)表1.

表1 卷積網(wǎng)絡(luò)結(jié)構(gòu)表

由表1可知，Openface網(wǎng)絡(luò)最終輸出一個(gè)128維的特征向量，該向量是人臉高級(jí)特征的抽象，包含有用于疲勞分類所需的信息，但不能直接用于本文的疲勞分類，因此在Finetune開始前必須對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行更改，并對(duì)各層的學(xué)習(xí)率進(jìn)行重新設(shè)定，主要步驟如下.

步驟1準(zhǔn)備好疲勞駕駛的訓(xùn)練樣本和測(cè)試樣本.

步驟2計(jì)算疲勞駕駛數(shù)據(jù)集的均值文件，因?yàn)樘囟I(lǐng)域的圖像均值文件會(huì)跟原始網(wǎng)絡(luò)訓(xùn)練時(shí)使用的均值文件參數(shù)不一樣.

步驟3修改網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，在網(wǎng)絡(luò)的最后再增加一個(gè)輸出層，損失函數(shù)使用Softmax，如式10所示，輸出分類類別為2，訓(xùn)練開始時(shí)隨機(jī)初始化該層權(quán)值.

步驟4設(shè)置網(wǎng)絡(luò)訓(xùn)練參數(shù)，由于新的數(shù)據(jù)庫(kù)較小，不適合進(jìn)行全局finetune，故網(wǎng)絡(luò)訓(xùn)練時(shí)僅對(duì)最后兩層的權(quán)值進(jìn)行更新.最后一層是全新的初始化權(quán)值，故學(xué)習(xí)率略微提高，最終網(wǎng)絡(luò)訓(xùn)練參數(shù)表2.

步驟5加載原始網(wǎng)絡(luò)的權(quán)值參數(shù)，啟動(dòng)訓(xùn)練.

3 疲勞檢測(cè)實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證算法的魯棒性和有效性，使用Ubuntu系統(tǒng)完成了疲勞檢測(cè)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試，實(shí)驗(yàn)數(shù)據(jù)包括從132名志愿者中采集的5 160幅人臉圖像，男女比例約為1∶1.每幅圖像中人臉朝向，眼睛開度，嘴巴開度，是否佩戴眼睛等表情狀態(tài)都略有不同，圖像在不同光照條件下采集，包含實(shí)驗(yàn)室和室外采集的圖像數(shù)據(jù).數(shù)據(jù)庫(kù)中的圖像均經(jīng)過(guò)預(yù)處理步驟，即人臉檢測(cè)，特征點(diǎn)定位與仿射變換.處理過(guò)的圖像隨后被人工標(biāo)注成正負(fù)兩類，分別是疲勞人臉和非疲勞人臉，正樣本數(shù)為3 360，負(fù)樣本數(shù)為3 470，正負(fù)樣本比約為1∶1.

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)表

訓(xùn)練時(shí)將數(shù)據(jù)庫(kù)分為樣本集和測(cè)試集：5 830幅圖像用于訓(xùn)練，1 000幅圖像用于測(cè)試.訓(xùn)練輸出曲線見(jiàn)圖3，經(jīng)過(guò)120批次迭代，網(wǎng)絡(luò)的正確率穩(wěn)定不再變化，表示特征提取模型完成.

圖3 Finetune誤差下降曲線

使用PERCLOS原則判斷一段時(shí)間內(nèi)駕駛?cè)耸欠衿冢?PERCLOS可以簡(jiǎn)單表示為一段連續(xù)時(shí)間內(nèi)駕駛?cè)似诘膱D像幀數(shù)與總幀數(shù)取值，即

(11)

在清醒狀態(tài)下0≤P≤0.15，在疲勞狀態(tài)下P≥0.4.本文使用卷積神經(jīng)網(wǎng)絡(luò)算法代替?zhèn)鹘y(tǒng)的特征檢測(cè)算法逐幀判斷駕駛?cè)藸顟B(tài)，再計(jì)算P的取值判斷駕駛?cè)耸欠衿?，因此，算法的精度取決于卷積神經(jīng)網(wǎng)絡(luò)對(duì)單幀圖像疲勞判別的正確率.

實(shí)驗(yàn)準(zhǔn)備階段，在室內(nèi)和實(shí)車環(huán)境下錄制視頻并分解為圖像幀，使用本文算法逐幀進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果和人工標(biāo)注結(jié)果進(jìn)行對(duì)比，計(jì)算其敏感度TP/(TP+FP)和特異度TN/(TN+FN)，這兩個(gè)值分別表示該網(wǎng)絡(luò)檢測(cè)疲勞樣本的準(zhǔn)確率和非疲勞樣本的準(zhǔn)確率.

最終結(jié)果見(jiàn)表3，在測(cè)試中發(fā)現(xiàn)，室內(nèi)環(huán)境下的疲勞檢測(cè)的敏感度為97%，特異度為95%，，接近openface原始網(wǎng)絡(luò)提取人臉特征的敏感度(99%)和特異度(95%).這表明openface網(wǎng)絡(luò)提取出的人臉特征經(jīng)過(guò)Finetune后確實(shí)可以用于疲勞分類，驗(yàn)證了本文算法的有效性.測(cè)試中還發(fā)現(xiàn)，進(jìn)行實(shí)車測(cè)試時(shí)，網(wǎng)絡(luò)的敏感度和特異度分別下降為88%和85%.造成這兩項(xiàng)指標(biāo)下降的原因是多方面的，最主要的原因可能是戶外駕駛的過(guò)程中駕駛?cè)祟^部會(huì)大幅搖動(dòng)，這種干擾影響了HOG算法和CLNF算法的精度，使人臉歪斜地進(jìn)入神經(jīng)網(wǎng)絡(luò)，從而使網(wǎng)絡(luò)得出錯(cuò)誤的結(jié)果，降低了準(zhǔn)確率.

表3 室內(nèi)和實(shí)車識(shí)別結(jié)果

為了說(shuō)明本文算法對(duì)傳統(tǒng)特征檢測(cè)算法的優(yōu)勢(shì)，將本文方法與文獻(xiàn)[9-12]等所提出方法的識(shí)別率進(jìn)行對(duì)比，結(jié)果見(jiàn)表4.進(jìn)行室內(nèi)檢測(cè)實(shí)驗(yàn)時(shí)，文中方法與基于Adaboost和小波的方法較為接近，準(zhǔn)確度均大于95%，比基于瞳孔定位的準(zhǔn)確度略高.進(jìn)行實(shí)車檢測(cè)實(shí)驗(yàn)時(shí)，與文獻(xiàn)[13-15]的方法進(jìn)行對(duì)比，該方法采用混合樣本(室內(nèi)加室外)測(cè)試，正確率為85%，而本文室外檢測(cè)精度綜合為87%，比之略高.綜上，基于卷積神經(jīng)網(wǎng)絡(luò)的疲勞特征檢測(cè)方法比傳統(tǒng)的特征識(shí)別方法具有一定優(yōu)勢(shì)[16-19].

表4 文獻(xiàn)數(shù)據(jù)對(duì)比 %

4 結(jié) 束 語(yǔ)

本文以駕駛?cè)似跒榍腥朦c(diǎn)，在傳統(tǒng)計(jì)算機(jī)視覺(jué)方法的基礎(chǔ)上引入了卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法進(jìn)行特征提取和分類.與傳統(tǒng)的基于瞳孔狀態(tài)等單一視覺(jué)特征的檢測(cè)方法相比，卷積神經(jīng)網(wǎng)絡(luò)能收集駕駛?cè)四槻康乃行畔ⅲ行?duì)抗戶外惡劣環(huán)境的干擾，提高算法的魯棒性.實(shí)驗(yàn)結(jié)果顯示，該算法正確率高，魯棒性好.

本系統(tǒng)也有一些不足，如無(wú)法在夜間進(jìn)行工作，模型數(shù)據(jù)量大，不適合小型設(shè)備使用等.后期的研究工作將努力解決這些問(wèn)題.

參考文獻(xiàn)

[1] 金立生.基于轉(zhuǎn)向盤操作的疲勞駕駛檢測(cè)方法[J].交通信息與安全,2014(5):103-107.

[2] 楊非,龐玉,劉宗強(qiáng).駕駛員疲勞檢測(cè)中眼睛特征提取算法研究[J].機(jī)電一體化,2017(7):23-28.

[3] 賈小云.面部特征融合的電力作業(yè)頭疲勞檢測(cè)方法研究[J].電網(wǎng)與清潔能源,2016(9):17-21+28.

[4] 唐廣發(fā),張會(huì)林.人眼疲勞預(yù)測(cè)技術(shù)的研究[J].計(jì)算機(jī)工程與應(yīng)用,2016(9):213-218.

[5] 牛耕田,王昌明,孟紅波.基于多尺度稀疏表示的面部疲勞識(shí)別[J].計(jì)算機(jī)科學(xué),2016(8):282-285+291.

[6] 劉志強(qiáng).基于眼部特征的疲勞駕駛辨識(shí)方法研究[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)),2016(10):11-15+33.

[7] WU J,TRIVEDI M M. Simultaneous eye tracking and blink detection with interactive particle filters[J]. 2008(1):1-17.

[8] WANG J, XU W, GONG Y. Real-time driving danger-level prediction[J]. Engineering Applications of Artificial Intelligence, 2010,23(8):1247-1254.

[9] LE C Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015(2):436-444.

[10] 李東,彭亦功,一種基于HSV和LBP特征融合的眼疲勞診斷方法[J].自動(dòng)化儀表,2016(10):77-82.

[11] 廖建國(guó).基于眼動(dòng)特征的駕駛員疲勞駕駛檢測(cè)技術(shù)研究[J].湖南科技大學(xué)學(xué)報(bào)，2016(1):70-73.

[12] 趙雪鵬.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的疲勞檢測(cè)[J].光電子·激光,2017(5):497-502.

[13] ZHANG R H,HE Z C,WANG H W,et al.Study on self-tuning tyre friction control for developing main-servo loop integrated chassis control system[J]. IEEE Access, 2017(5):664-670.

[14] YOU F,ZHANG R H,GUO L,et al.Trajectory planning and tracking control for autonomous lane change maneuver based on the cooperative vehicle infrastructure system[J].Expert Systems with Application, 2015,42(14):1593-1596.

[15] ZHANG R H,MA Y B,YOU F,et al. Exploring to direct the reaction pathway for hydrogenation of levulinic acid into gvalerolactone for future Clean-Energy Vehicles over a magnetic Cu-Ni catalyst[J].International Journal of Hydrogen Energy, 2017,42(4):185-194.

[16] 陳東偉,張喆,韓娜，等.多算法融合的疲勞駕駛監(jiān)測(cè)算法設(shè)計(jì)與實(shí)現(xiàn)[J].太原理工大學(xué)學(xué)報(bào),2016,47(4):518-522.

[17] 肖賽,雷葉維.駕駛疲勞致因及監(jiān)測(cè)研究進(jìn)展[J].交通科技與經(jīng)濟(jì),2017,19(4):14-19.

[18] 蔡羽,徐朝陽(yáng).疲勞駕駛檢測(cè)模塊設(shè)計(jì)及仿真驗(yàn)證[J].電子設(shè)計(jì)工程,2018,26(1):183-188.

[19] 李巖,石柏軍,張兆元，等.基于行車數(shù)據(jù)的長(zhǎng)途客車駕駛員駕駛行為識(shí)別方法研究[J].機(jī)械設(shè)計(jì)與制造工程,2017,46(12):105-108.