婁 平，楊 欣，胡輯偉，蕭 箏，嚴(yán)俊偉

（1.武漢理工大學(xué)信息工程學(xué)院，武漢430070；2.寬帶無線通信和傳感器網(wǎng)絡(luò)湖北省重點實驗室，武漢430070；3.武漢理工大學(xué)機電工程學(xué)院，武漢430070）

0 概述

隨著汽車行業(yè)和道路交通網(wǎng)的不斷發(fā)展，越來越多的人選擇機動車出行，道路交通事故頻繁發(fā)生。交通事故給人們的生命財產(chǎn)安全帶來巨大的損失，與酒駕、超速等行為相比，疲勞駕駛的預(yù)防及治理更為困難。疲勞是指對體力勞動或者腦力勞動進(jìn)行長時間重復(fù)作業(yè)形成的一種生理阻礙［1］，疲勞會使駕駛?cè)说鸟{駛操作水平下降，據(jù)相關(guān)數(shù)據(jù)統(tǒng)計，約有20%～30%的交通事故是由疲勞駕駛所引起的［2］。在交通事故發(fā)生前，若駕駛?cè)丝商崆?.5 s 做出反應(yīng)，可避免60%的交通事故。在多數(shù)情況下，駕駛?cè)撕茈y意識到自身處于疲勞駕駛狀態(tài)，且據(jù)調(diào)查顯示，多數(shù)駕駛?cè)嗽诟兄狡跁r仍繼續(xù)駕駛［3］。因此，針對疲勞駕駛檢測的研究，在駕駛?cè)似隈{駛時及時對其發(fā)出告警，對降低交通事故的發(fā)生率及保障人們安全出行具有重要意義。

目前，已有的疲勞檢測方法主要分為基于駕駛?cè)松硖卣?、車輛行為特征、駕駛?cè)嗣娌刻卣鞯? 類參數(shù)?；隈{駛?cè)松硖卣鲄?shù)的疲勞檢測方法需要在駕駛?cè)松砩戏胖脗鞲衅?，以得到其腦電（Electroencephalogram，EEG）、心電（Electrocardiograms，ECG）、肌電（Electromyogram，EMG）信號等生理參數(shù)，然后對其進(jìn)行處理分析，判斷駕駛?cè)耸欠衿冢?］。這類方法檢測精度高，但其高昂的成本和侵入式的檢測方式限制了其應(yīng)用和發(fā)展?；谲囕v行為特征的疲勞檢測方法通過檢測車輛方向盤的角速度、車輛行駛狀態(tài)的改變等特征，判斷駕駛?cè)耸欠衿冢?］。這類方法容易受車輛型號和實際道路情況的影響，準(zhǔn)確率較低?；隈{駛?cè)嗣娌刻卣鞯钠跈z測方法通過檢測駕駛?cè)耸欠翊嬖陂]眼時間長、打哈欠等疲勞特征進(jìn)行疲勞判斷［6］，相比于其他方法，該方法在保障準(zhǔn)確率的同時具有成本低及非接觸的優(yōu)點，因此成為疲勞檢測研究領(lǐng)域的主流方法。

李照等［7］設(shè)計一個基于數(shù)字信號處理（Digital Signal Processing，DSP）的嵌入式車載疲勞駕駛檢測系統(tǒng)，該系統(tǒng)利用AdaBoost 算法檢測人臉并定位駕駛?cè)搜劬^(qū)域，通過計算人眼閉合程度，并結(jié)合PERCLOS 算法進(jìn)行疲勞判斷。徐明［8］利用ARM 開發(fā)板設(shè)計了一套疲勞駕駛檢測系統(tǒng)，該系統(tǒng)首先利用AdaBoost 級聯(lián)分類器依次定位駕駛?cè)嗣娌考把鄄繀^(qū)域，接著采用積分投影算法定位嘴部區(qū)域，并根據(jù)眼部及嘴部的寬高比確定開閉狀態(tài)，最后結(jié)合PERCLOS 算法及打哈欠分析完成疲勞檢測。這類方法可在車載嵌入式設(shè)備上獨立完成疲勞檢測，但基于手工提取的特征，準(zhǔn)確率會受到個體差異、拍攝距離及角度的影響，魯棒性較差。

由于深度學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域表現(xiàn)出優(yōu)異的性能，因此研究人員對此進(jìn)行了大量研究。鄭偉成等［9］利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（Multi-Task Convolutional Neural Network，MTCNN）定位人臉，并利用PFLD 深度學(xué)習(xí)模型進(jìn)行人臉關(guān)鍵點檢測，從而定位眼部、嘴部以及頭部的位置，最后提取眨眼頻率、張嘴程度、點頭頻率等特征進(jìn)行疲勞檢測。DU等［10］提出一種多模式融合的遞歸神經(jīng)網(wǎng)絡(luò)（Multimode Fusion Recurrent Neural Network，MFRNN），將眼睛和嘴巴的開合度以及心率作為疲勞特征，利用遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）提取時間特征，提高了疲勞駕駛檢測的準(zhǔn)確率。這類方法相比基于手工特征的疲勞檢測方法具有更強的魯棒性，但是需要龐大的計算資源。若檢測過程在計算資源豐富的云端進(jìn)行，則需要邊緣設(shè)備采集駕駛?cè)艘曨l數(shù)據(jù)并上傳至云端服務(wù)器進(jìn)行檢測，再由服務(wù)器返回檢測結(jié)果。然而，在車輛的行駛過程中，網(wǎng)絡(luò)覆蓋、響應(yīng)速度等因素會造成檢測實時性差，甚至無法完成檢測。若檢測過程在車載邊緣端完成，則需要具有強大計算資源的檢測設(shè)備，若每輛車上均安裝此類設(shè)備，則成本過于高昂。

本文提出一種基于邊緣計算的疲勞駕駛檢測方法，通過識別駕駛?cè)说难鄄考白觳康拈_閉狀態(tài)，結(jié)合PERCLOS 及PMOT 指標(biāo)值進(jìn)行疲勞檢測，并且由于采用了輕量化的檢測模型，因此可在車載嵌入式設(shè)備上獨立完成疲勞檢測。

1 疲勞駕駛檢測模型

通過駕駛?cè)说拿娌刻卣鬟M(jìn)行疲勞駕駛檢測通常需要確定人臉與眼嘴的部位，并檢測眼嘴的開合狀態(tài)。為實現(xiàn)以上功能，本文利用改進(jìn)的MTCNN 完成人臉檢測及關(guān)鍵點定位，并根據(jù)人臉三庭五眼比例關(guān)系進(jìn)行眼部及嘴部圖像的截取，接著利用改進(jìn)的AlexNet 識別眼部和嘴部的開閉狀態(tài)，最后根據(jù)PERCLOS 和PMOT 參數(shù)進(jìn)行疲勞判別。疲勞駕駛檢測流程如圖1所示。

圖1 疲勞駕駛檢測流程Fig.1 Procedure of fatigue driving detection

1.1 基于改進(jìn)MTCNN 的關(guān)鍵點定位

MTCNN 是一種基于深度學(xué)習(xí)的人臉檢測與對齊算法，利用圖像金字塔檢測各個尺度的人臉［11］，不同于多目標(biāo)人臉檢測，在疲勞駕駛檢測中只需精準(zhǔn)定位駕駛?cè)嗣娌繀^(qū)域。因此，對MTCNN 網(wǎng)絡(luò)的圖像金字塔部分進(jìn)行改進(jìn)，使其快速且準(zhǔn)確地完成人臉檢測及關(guān)鍵點定位，并在定位關(guān)鍵點后，利用人臉的三庭五眼比例關(guān)系獲取駕駛?cè)说难鄄考白觳繀^(qū)域。

1.1.1 人臉檢測與關(guān)鍵點定位

MTCNN 由P-Net（Proposal Network）、R-Net（Refine Network）和O-Net（Output Network）組成，采用候選框加分類器的思想，快速高效地進(jìn)行人臉檢測。MTCNN 模型如圖2所示。

圖2 MTCNN 模型Fig.2 MTCNN model

MTCNN 為檢測到不同尺度的人臉，將原圖縮小為不同尺寸以生成圖像金字塔。將原圖按照一定比例進(jìn)行壓縮，使用固定尺寸為12 像素×12 像素的候選框遍歷圖片，循環(huán)往復(fù)，直到縮小后的圖片長或?qū)捫∮诤蜻x框的邊長時停止。此時得到尺寸為12 像素×12 像素、通道數(shù)為3 的圖片作為P-Net 的輸入，P-Net 利用大小為3×3 的卷積核通過卷積操作（Conv）提取圖像特征，采用最大池化操作（MP）去除冗余，通過人臉分類器（face classification）判斷該區(qū)域是否為人臉，并使用邊框回歸（bounding box regression）及一個面部關(guān)鍵點的定位器（facial landmark localization）初步定位人臉區(qū)域，并將這些區(qū)域輸入R-Net。R-Net 將重復(fù)P-Net 的操作，濾除大部分干擾、保留較為可靠的人臉區(qū)域并將其輸入到O-Net。對比P-Net 利用全卷積輸出尺寸為1 像素×1 像素、通道數(shù)為32 的特征，R-Net 在最后一個卷積層后使用一個128 維的全連接層（FC），保留了更多的圖像特征。O-Net 進(jìn)行更精細(xì)的人臉判別、邊框回歸及關(guān)鍵點定位，最終輸出人臉區(qū)域的坐標(biāo)與5 個特征點，其中5 個特征點分別為左眼中點、右眼中點、鼻尖點、左嘴角點和右嘴角點。實驗室環(huán)境內(nèi)采集的多人臉圖像MTCNN 人臉檢測及關(guān)鍵點定位示例，如圖3所示。

圖3 MTCNN 人臉檢測Fig.3 Face detection using the MTCNN

MTCNN 網(wǎng)絡(luò)構(gòu)建的圖像金字塔包含大量圖像，將其送入網(wǎng)絡(luò)檢測出圖像中的所有人臉區(qū)域會花費大量時間。在疲勞駕駛檢測場景中，由于需要排除多余人臉的干擾，精確定位駕駛?cè)嗣娌?，因此對MTCNN 網(wǎng)絡(luò)生成圖像金字塔的方式進(jìn)行改進(jìn)?？紤]到駕駛?cè)嗣娌繀^(qū)域在視頻幀中所占像素比例較大，本文根據(jù)駕駛?cè)嗣娌吭趫D像中的比例對MTCNN 網(wǎng)絡(luò)中最小人臉尺寸進(jìn)行放大，降低固定縮小比例，并略過第一次縮小與遍歷過程，使得改進(jìn)的MTCNN 網(wǎng)絡(luò)在準(zhǔn)確定位出駕駛?cè)嗣娌繀^(qū)域的同時，能濾除背景中無關(guān)的人臉，并大幅縮減人臉檢測時間。

1.1.2 眼部與嘴部區(qū)域提取

利用駕駛?cè)说难劬白彀偷臓顟B(tài)變化特征進(jìn)行疲勞判別，需要在人臉檢測和關(guān)鍵點定位的基礎(chǔ)上將駕駛?cè)说难鄄亢妥觳繀^(qū)域進(jìn)行截取。根據(jù)三庭五眼的人臉比例關(guān)系［12］，人臉橫向可分為三等份：前額發(fā)際線到眉骨，眉骨到鼻底，鼻底到下巴，即三庭；人臉縱向可分為五等份：左側(cè)發(fā)際線到左眼外側(cè)，左眼外側(cè)到左眼內(nèi)側(cè)，左眼內(nèi)側(cè)到右眼內(nèi)側(cè)，右眼內(nèi)側(cè)到右眼外側(cè)，右眼外側(cè)到右側(cè)發(fā)際線，即五眼。

假設(shè)通過MTCNN 獲取駕駛?cè)说淖笱圩鴺?biāo)為m1(x1,y1)，右眼坐標(biāo)為m2(x2,y2)，根據(jù)三庭五眼的人臉比例關(guān)系提取駕駛?cè)搜鄄繀^(qū)域，其對應(yīng)關(guān)系為：

其中：d1為雙眼間的距離；w1為眼部區(qū)域的寬度；h1為眼部區(qū)域的高度。

假設(shè)通過MTCNN 獲取駕駛?cè)说淖笥易旖亲鴺?biāo)分別為n1(α1,β1)和n2(α2,β2)，根據(jù)三庭五眼的人臉比例關(guān)系提取駕駛?cè)俗觳繀^(qū)域，其對應(yīng)關(guān)系為：

其中：d2為左右嘴角間的距離；w2為嘴部感興趣區(qū)域（Region of Interest，ROI）的寬度；h2為嘴部區(qū)域的高度。

對NTHU-DDD 數(shù)據(jù)集［13］中示例進(jìn)行關(guān)鍵點定位，并根據(jù)三庭五眼比例關(guān)系得到眼部及嘴部感興趣區(qū)域，如圖4所示。

圖4 眼部與嘴部ROI 定位Fig.4 ROI location of eyes and mouth

1.2 基于改進(jìn)AlexNet 的眼部與嘴部狀態(tài)識別

通過計算眼睛和嘴巴的寬高比、眼部黑白像素比例等基于手工提取特征的眼部和嘴部狀態(tài)識別方法受拍攝角度、拍攝距離以及個體差異的影響，魯棒性較差。本文利用改進(jìn)的AlexNet 對眼部及嘴部的開閉狀態(tài)進(jìn)行識別，避免了對圖像的復(fù)雜預(yù)處理操作，且具有較強的魯棒性。

1.2.1 Ghost 模塊

Ghost 模塊［14］是一種輕量化神經(jīng)網(wǎng)絡(luò)單元，為了使疲勞駕駛檢測模型能在邊緣端獲得更好的實時性，本文使用Ghost 模塊替換AlexNet 中的所有卷積操作。傳統(tǒng)卷積和Ghost 模塊示意圖如圖5所示。

圖5 傳統(tǒng)卷積與Ghost 模塊示意圖Fig.5 Schematic diagram of traditional convolution and Ghost module

由于深度卷積神經(jīng)網(wǎng)絡(luò)所輸出的特征圖存在冗余，這些相似的特征圖使得卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力變強，因此Ghost 模塊利用簡單的線性操作Фk來獲得更多的相似特征圖，以提高CNN 性能。Ghost 模塊首先采用少量常規(guī)卷積得到本征特征圖，然后對得到的本征特征圖通過depthwise 卷積這種簡單的線性操作生成Ghost 特征圖，最后將本征特征圖與Ghost 特征圖進(jìn)行拼接得到最終的輸出。相比直接使用常規(guī)卷積，Ghost 模塊在保障準(zhǔn)確率的同時，大幅度降低了計算量。

1.2.2 輕量化AlexNet 結(jié)構(gòu)

AlexNet［15］基于8 層網(wǎng)絡(luò)結(jié)構(gòu)在圖像分類上表現(xiàn)出優(yōu)異的效果。本文對AlexNet 進(jìn)行改進(jìn)，用于眼睛及嘴巴的開閉狀態(tài)分類。由于眼睛和嘴巴圖像所占的像素點較少，將AlexNet 的輸入尺寸由224 像素×224 像素、通道數(shù)為3 壓縮至24 像素×24 像素、通道數(shù)為3，將11×11 和5×5 的卷積核修改為3×3 的卷積核，并優(yōu)化最大池化操作的步長stride 以避免特征圖的尺寸過小。由于AlexNet 僅用于眼嘴狀態(tài)4 分類，不同于AlexNet 的1 000 分類，模型僅保留AlexNet中的第1 個全連接層，并將全連接層的輸出維度由2 048 修改為128。最終利用Softmax 回歸函數(shù)輸出樣本屬于眼嘴開閉狀態(tài)的概率。模型保留第1 層傳統(tǒng)卷積用來全面提取圖像特征，其余的卷積操作均由Ghost 模塊替代，使網(wǎng)絡(luò)輕量化。改進(jìn)的AlexNet結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)的AlexNet 結(jié)構(gòu)Fig.6 Improved AlexNet structure

1.3 基于PERCLOS 與PMOT 參數(shù)的疲勞駕駛檢測

當(dāng)駕駛?cè)颂幱谄跔顟B(tài)時會產(chǎn)生一系列的生理反應(yīng)，例如閉眼時間長、打哈欠等。改進(jìn)的AlexNet識別眼嘴狀態(tài)后，模型通過計算連續(xù)視頻幀的PERCLOS 及PMOT 參數(shù)，并結(jié)合閾值對駕駛?cè)说钠跔顟B(tài)進(jìn)行判斷。

1.3.1 PERCLOS 參數(shù)

PERCLOS 是卡內(nèi)基梅隆研究所提出的度量疲勞的物理量。美國聯(lián)邦公路管理局在駕駛情景下對PERCLOS 參數(shù)、眨眼頻率、打哈欠參數(shù)等9 種疲勞參數(shù)進(jìn)行相關(guān)性分析，得出PERCLOS 參數(shù)與疲勞駕駛狀態(tài)相關(guān)性最高［16］。PERCLOS 參數(shù)表示在單位時間內(nèi)閉眼時長所占百分比，計算公式為：

其中：N為單位時間內(nèi)的視頻總幀數(shù)；fi為閉眼幀數(shù)；為單位時間內(nèi)閉眼的總幀數(shù)。在正常的駕駛過程中，駕駛?cè)说腜ERCLOS 參數(shù)值較小。當(dāng)駕駛?cè)颂幱谄跔顟B(tài)時，閉眼幀數(shù)增多，PERCLOS 參數(shù)值增大。

1.3.2 PMOT 參數(shù)

PMOT 參數(shù)類似于PERCLOS 參數(shù)，代表單位時間內(nèi)張嘴時長所占百分比，計算公式為：

其中：N為單位時間內(nèi)的視頻總幀數(shù)；fi為張嘴幀數(shù)；為單位時間內(nèi)張嘴的總幀數(shù)。在正常駕駛過程中，駕駛?cè)说腜MOT 參數(shù)值較小。當(dāng)駕駛?cè)舜蚬窌r，張嘴幀數(shù)增多，PMOT 參數(shù)值增大。

2 實驗驗證

實驗平臺為1 臺配置為Intel?CoreTMi7-8750H CPU 處理器、2.2 GHz 主頻、8 GB 內(nèi)存、顯卡為GTX1060 的PC 機以及1 塊內(nèi)存為8 GB 的樹莓派4B開發(fā)板。使用PC 機對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將訓(xùn)練好的模型下載到樹莓派開發(fā)板上進(jìn)行疲勞檢測。

2.1 數(shù)據(jù)集

實驗利用YawDD 數(shù)據(jù)集［17］制作人臉檢測數(shù)據(jù)集與眼嘴狀態(tài)識別數(shù)據(jù)集，并在NTHU-DDD 數(shù)據(jù)集上測試疲勞駕駛檢測方法的準(zhǔn)確率。YawDD 數(shù)據(jù)集包含了不同性別、種族的駕駛?cè)嗽诓煌庹諚l件下的真實駕駛視頻。對該數(shù)據(jù)集進(jìn)行幀采樣，得到人臉檢測數(shù)據(jù)集，用于人臉檢測實驗，YawDD 數(shù)據(jù)集示例如圖7所示。

圖7 YawDD 數(shù)據(jù)集示例Fig.7 Examples of YawDD dataset

在幀采樣后截取出眼睛及嘴巴區(qū)域，制作眼嘴數(shù)據(jù)集，用于訓(xùn)練眼嘴狀態(tài)分類網(wǎng)絡(luò)。眼嘴數(shù)據(jù)集分為眼睛閉合、眼睛張開、嘴巴閉合、嘴巴張開等4 類。眼嘴數(shù)據(jù)集示例如圖8所示。

圖8 眼嘴數(shù)據(jù)集示例Fig.8 Examples of eyes and mouth dataset

NTHU-DDD 數(shù)據(jù)集包括36 位不同種族的受試者在模擬駕駛場景下的視頻數(shù)據(jù)，總時長約為9.5 h，包含不同光照條件下正常駕駛、打哈欠、說話、緩慢眨眼、頻繁點頭等狀態(tài)。NTHU-DDD 數(shù)據(jù)集示例如圖9所示。

圖9 NTHU-DDD 數(shù)據(jù)集示例Fig.9 Examples of NTHU-DDD dataset

疲勞駕駛時所產(chǎn)生的打哈欠、緩慢眨眼等動作是一個持續(xù)的過程，其持續(xù)時間約為8 s，根據(jù)NTHU-DDD 數(shù)據(jù)集的幀標(biāo)注文件將視頻數(shù)據(jù)進(jìn)行裁剪，并將存在上述疲勞特征的視頻標(biāo)注為疲勞狀態(tài)，不存在疲勞特征的視頻標(biāo)注為正常狀態(tài)。裁剪后的數(shù)據(jù)集共包含600 個視頻，其中正常狀態(tài)和疲勞狀態(tài)的視頻分別有300 個。

2.2 實驗結(jié)果

2.2.1 人臉檢測結(jié)果

駕駛?cè)嗣娌繀^(qū)域在圖像中所占比例為1/16～1/3，為了濾除背景中乘客面部的干擾，精確定位出駕駛?cè)嗣娌繀^(qū)域并加速檢測過程，對MTCNN 網(wǎng)絡(luò)的圖像金字塔進(jìn)行改進(jìn)，將視頻幀短邊的1/4 作為最小人臉尺寸，將固定縮小比例減小為0.659，并直接從第2 次縮小和遍歷圖片過程開始進(jìn)行圖像金字塔操作。實驗將圖片尺寸從640 像素×480 像素縮小至160 像素×120 像素進(jìn)行檢測，在確保正常檢出人臉的情況下，縮短了檢測時間。MTCNN 及改進(jìn)的MTCNN 對實驗室中模擬駕駛環(huán)境采集的圖像進(jìn)行人臉檢測，示例如圖10所示。

圖10 人臉檢測示例Fig.10 Examples of face detection

從圖10 可以看出，改進(jìn)的MTCNN 模型有效地濾除了背景人臉，在疲勞駕駛檢測中能精確定位出駕駛?cè)嗣娌繀^(qū)域。為了進(jìn)一步驗證改進(jìn)模型的有效性，實驗利用從YawDD 數(shù)據(jù)集中獲取到的2 000 張人臉圖片進(jìn)行人臉檢測實驗，計算改進(jìn)前后MTCNN 模型的檢測準(zhǔn)確率以及樹莓派開發(fā)板上的平均檢測時間。人臉檢測結(jié)果如表1所示?？梢钥闯觯倪M(jìn)的MTCNN 模型在保障較高準(zhǔn)確率的同時，平均檢測時間下降至原來的53.9%，提高了疲勞駕駛檢測的實時性。

表1 人臉檢測結(jié)果Table 1 Results of face detection

2.2.2 眼部與嘴部狀態(tài)識別結(jié)果

由YawDD 數(shù)據(jù)集所得到的眼嘴數(shù)據(jù)集共15 000 張圖片，包括4 551 張睜眼圖片、3 912 張閉眼圖片、2 904 張張嘴圖片和3 633 張閉嘴圖片，其中睜眼和閉眼圖片均包含佩戴眼鏡及未佩戴眼鏡2 種情況。實驗在PC 機上對原AlexNet、調(diào)節(jié)參數(shù)的AlexNet 以及調(diào)參并采用Ghost 模塊替換傳統(tǒng)卷積的AlexNet 這3 種網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，按照6∶4 的比例劃分訓(xùn)練集和測試集，其中測試圖片共6 000 張，訓(xùn)練時將圖像大小歸一化為24 像素×24 像素，每次批處理32 張圖片，迭代次數(shù)為1 000 次。模型訓(xùn)練完成后，將其下載到樹莓派開發(fā)板上，測試平均識別時間。眼嘴狀態(tài)識別結(jié)果如表2所示?？梢钥闯?，改進(jìn)的輕量化AlexNet 模型不僅保持了眼嘴狀態(tài)識別的準(zhǔn)確率，并且模型大小減小至原有AlexNet 模型的3.9%，平均識別時間下降至原有AlexNet 模型的15.5%。

表2 眼嘴狀態(tài)識別結(jié)果Table 2 Results of eyes and mouth state recognition

將改進(jìn)的AlexNet 與其他網(wǎng)絡(luò)模型在眼嘴狀態(tài)識別數(shù)據(jù)集上進(jìn)行測試對比，結(jié)果如表3所示。可以看出，調(diào)參+Ghost模塊的AlexNet網(wǎng)絡(luò)模型在保障準(zhǔn)確率的同時，模型大小僅為其他模型的0.8%～9.6%，平均識別時間僅為其他模型的0.8%～3.1%。

表3 基于4 種網(wǎng)絡(luò)模型的眼嘴狀態(tài)識別結(jié)果對比Table 3 Results comparison of eyes and mouth state recognition based on four network models

2.2.3 PERCLOS 與PMOT 參數(shù)閾值

現(xiàn)有研究表明：當(dāng)PERCLOS 參數(shù)值達(dá)到0.15、0.25、0.40 時，駕駛?cè)藭霈F(xiàn)疲勞狀態(tài)。由于不同的眼部及嘴部狀態(tài)判別方法中所得到的眼睛和嘴巴的閉合程度存在差異，因此PERCLOS 及PMOT 參數(shù)閾值與研究方法相關(guān)，可從實驗中獲得。本文設(shè)定幀率為5 frame/s、時長為8 s，采集30 位駕駛?cè)嗽谡＜安煌潭绕跔顟B(tài)下的視頻，并計算對應(yīng)的PERCLOS 和PMOT 參數(shù)值，如圖11、圖12所示。

圖11 PERCLOS 參數(shù)閾值實驗結(jié)果Fig.11 Experimental results of PERCLOS parameter threshold

圖12 PMOT 參數(shù)閾值實驗結(jié)果Fig.12 Experimental results of PMOT parameter threshold

在圖11 和圖12 中，以虛線表示正常和疲勞狀態(tài)的分界線，當(dāng)PERCLOS 參數(shù)值達(dá)到0.35、PMOT 參數(shù)值達(dá)到0.25 時，駕駛?cè)顺霈F(xiàn)疲勞狀態(tài)，因此本文分別將0.35 和0.25 作為PERCLOS 和PMOT 參數(shù)閾值。

2.2.4 疲勞駕駛檢測結(jié)果

由NHTU-DDD 數(shù)據(jù)集得到600 個時長為8 s 的視頻，其中正常狀態(tài)和疲勞狀態(tài)分別有300 個。在樹莓派4B 開發(fā)板上以5 frame/s 的速率進(jìn)行幀采樣，并將圖片分辨率由640 像素×480 像素縮小至160 像素×120 像素，計算視頻幀序列對應(yīng)的PERCLOS 以及PMOT 參數(shù)值，結(jié)合閾值進(jìn)行疲勞判斷。疲勞駕駛檢測示例如圖13所示。

圖13 疲勞駕駛檢測示例Fig.13 Examples of fatigue driving detection

實驗測得模型在樹莓派開發(fā)板上的單幀平均檢測時間為180 ms，可滿足疲勞駕駛檢測的實時性要求。疲勞檢測結(jié)果如表4所示。本文方法與基于腦電信號［18］、基于方向盤操作特征［19］和基于人眼特征［20］的疲勞駕駛檢測方法的對比結(jié)果如表5所示。相比其他疲勞駕駛檢測方法，本文方法具有非接觸式、精度及魯棒性高且能在低成本的硬件設(shè)備上完成檢測的優(yōu)點。

表4 疲勞檢測結(jié)果Table 4 Results of fatigue detection

表5 不同疲勞駕駛檢測方法對比Table 5 Comparison of different fatigue driving detection methods

3 結(jié)束語

為在成本低廉的車載嵌入式設(shè)備上對駕駛?cè)似跔顟B(tài)進(jìn)行準(zhǔn)確預(yù)警，本文提出一種基于邊緣計算的疲勞駕駛檢測方法。采用改進(jìn)的MTCNN 網(wǎng)絡(luò)獲取人臉關(guān)鍵點，根據(jù)人臉的三庭五眼比例關(guān)系獲取駕駛?cè)说难鄄考白觳繀^(qū)域，同時利用基于Ghost 模塊的改進(jìn)AlexNet 對眼睛和嘴巴的狀態(tài)進(jìn)行分類，計算出PERCLOS 和PMOT 參數(shù)并結(jié)合閾值進(jìn)行疲勞判斷。實驗結(jié)果表明，該方法在NHTU-DDD 數(shù)據(jù)集上獲得了良好的檢測性能。后續(xù)將結(jié)合駕駛?cè)说念^部姿態(tài)特征，進(jìn)一步提高疲勞駕駛檢測算法的準(zhǔn)確率及魯棒性。