王 鵬 神和龍 尹 勇 呂紅光

（1.大連海事大學(xué)航海動(dòng)態(tài)仿真和控制交通行業(yè)重點(diǎn)實(shí)驗(yàn)室 遼寧 大連 116026；2.大連海事大學(xué)航海學(xué)院 遼寧 大連 116026）

0 引 言

中國是1個(gè)航運(yùn)大國，海上交通運(yùn)輸行業(yè)的發(fā)展非常迅速。隨著現(xiàn)代科技和造船技術(shù)的快速發(fā)展，船舶逐漸向大型化、自動(dòng)化和智能化發(fā)展，由此導(dǎo)致的海上安全事故也顯著增加[1]。據(jù)統(tǒng)計(jì)，80%的海上安全事故與人為因素有關(guān)，其中由于疲勞駕駛導(dǎo)致的海上事故占了相當(dāng)比例[2]。為了保證船舶航行安全，最大程度地降低海上安全事故發(fā)生的概率，提出1種實(shí)時(shí)性強(qiáng)、誤警率低的船舶值班駕駛員疲勞檢測算法就顯得尤為重要。

目前，對于駕駛員疲勞檢測的研究主要集中在機(jī)動(dòng)車領(lǐng)域，主要有基于生理信號[3]的疲勞檢測算法、基于車輛行為特征[4]的疲勞檢測算法以及基于計(jì)算機(jī)視覺的疲勞檢測算法。與其他方法相比，基于計(jì)算機(jī)視覺的疲勞檢測方法具有易實(shí)現(xiàn)、成本低且不會在駕駛過程中干擾駕駛員等優(yōu)點(diǎn)，是目前應(yīng)用最為廣泛的駕駛員疲勞檢測算法。

基于計(jì)算機(jī)視覺的疲勞檢測方法以攝像頭等圖像傳感器獲取到的駕駛員面部圖像為基礎(chǔ)，運(yùn)用計(jì)算機(jī)視覺中人臉檢測、面部特征點(diǎn)定位等算法，對駕駛員的臉部變化如眼睛睜閉、嘴巴張合以及頭部姿態(tài)等特征進(jìn)行提取和分析，從而實(shí)現(xiàn)對駕駛員疲勞狀態(tài)的實(shí)時(shí)檢測。劉夢佳等[5]利用Dlib庫檢測人臉區(qū)域并進(jìn)行人臉特征點(diǎn)標(biāo)注，計(jì)算眼睛寬高比獲得眼睛睜閉狀態(tài)，最后利用改進(jìn)的PERCLOS來判斷是否疲勞。王迪[6]使用Adaboost級聯(lián)分類器檢測人臉，精確定位人眼并提取人眼特征參數(shù)，提出了1種基于模糊綜合評價(jià)的疲勞檢測算法。黃玲等[7]采用傳統(tǒng)圖像HOG特征結(jié)合SVM分類器檢測駕駛員人臉，利用級聯(lián)回歸器定位特征點(diǎn)、提取時(shí)間窗口內(nèi)的疲勞指標(biāo)識別疲勞狀態(tài)。張博雅[8]采用Adaboost算法進(jìn)行人臉檢測，回歸樹算法定位8個(gè)人臉特征點(diǎn)，進(jìn)而計(jì)算PERCLOS參數(shù)來識別疲勞狀態(tài)。Liu等[9]利用多塊局部二值算法（MB-LBP）和Adaboost分類器檢測人臉關(guān)鍵點(diǎn)，提取眼部特征判斷駕駛員是否疲勞。郭佳偉[10]對MobileNet-SSD模型采用剪枝和量化的策略進(jìn)行優(yōu)化，并將其應(yīng)用到疲勞檢測算法的人臉檢測模塊中，取得了較好的檢測效果。Li等[11]使用1種改進(jìn)的YOLO v3-tiny卷積神經(jīng)網(wǎng)絡(luò)來捕捉復(fù)雜駕駛條件下的面部區(qū)域，消除了人工特征提取帶來的誤差和影響。在模擬駕駛應(yīng)用中，準(zhǔn)確率為95.10%。陳軍等[12]采用VGG模型進(jìn)行特征提取，設(shè)計(jì)了1種級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)疲勞檢測框架。

船舶駕駛臺相較于車輛最大的不同在于空間大，背景復(fù)雜，拍攝的駕駛員多為半身，人臉區(qū)域較小。在此種環(huán)境下，傳統(tǒng)疲勞檢測算法采用人工提取疲勞特征，計(jì)算特征點(diǎn)間距的方式識別疲勞狀態(tài)，容易受環(huán)境因素的干擾，單一指標(biāo)判別也存在檢測準(zhǔn)確率低、魯棒性差等問題。針對以上問題，提出了1種基于深度學(xué)習(xí)的疲勞檢測算法，使用卷積神經(jīng)網(wǎng)絡(luò)對駕駛員的眼睛、嘴巴進(jìn)行特征提取與狀態(tài)識別，實(shí)現(xiàn)多特征融合的疲勞狀態(tài)檢測。

本文貢獻(xiàn)主要有以下3個(gè)方面：①在網(wǎng)絡(luò)結(jié)構(gòu)方面，使用輕量級網(wǎng)絡(luò)MobileNet替換RetinaFace的主干特征提取網(wǎng)絡(luò)，顯著降低了模型參數(shù)量，提升了檢測速度；②在特征提取方面，舍棄了傳統(tǒng)手動(dòng)提取疲勞特征的方法，使用訓(xùn)練好的ShuffleNet V2網(wǎng)絡(luò)自動(dòng)識別睜眼、閉眼，打哈欠或正常，有效提高了算法的檢測精度；③在疲勞判斷方面，結(jié)合眼睛、嘴巴特征參數(shù)，綜合判斷船舶駕駛員是否疲勞，有效改善了單一指標(biāo)判別造成檢測準(zhǔn)確率低、魯棒性差等問題。

1 疲勞檢測流程

筆者提出的基于深度學(xué)習(xí)的疲勞檢測算法可分為人臉檢測與關(guān)鍵點(diǎn)定位、特征狀態(tài)識別和疲勞狀態(tài)判定3大模塊。算法流程圖見圖1。首先利用改進(jìn)的人臉檢測模型RetinaFace檢測出實(shí)時(shí)捕獲的畫面中的駕駛員人臉圖像，根據(jù)標(biāo)注出的5個(gè)人臉關(guān)鍵點(diǎn)定位眼睛、嘴巴位置；然后裁剪出眼睛、嘴巴圖像，進(jìn)行眼睛、嘴巴開閉狀態(tài)的識別；最后采用多特征融合的思想，根據(jù)眼睛、嘴巴的開閉狀態(tài)進(jìn)行疲勞判定，從而對船舶駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時(shí)檢測和預(yù)警。

圖1 算法流程圖Fig.1 Overall flow chart of algorithm

2 基于RetinaFace的人臉檢測算法

人臉檢測是本研究的關(guān)鍵性技術(shù)之一。與機(jī)動(dòng)車駕駛室相比，船舶駕駛臺空間大，拍攝的駕駛員多為半身，人臉區(qū)域小，且背景復(fù)雜，容易被干擾。綜合考慮疲勞檢測的精度和實(shí)時(shí)性，針對人臉檢測能力出眾的RetinaFace模型進(jìn)行精簡、優(yōu)化，在保證檢測精度的前提下盡可能降低模型的復(fù)雜程度，提高實(shí)時(shí)性。

2.1 RetinaFace人臉檢測網(wǎng)絡(luò)

RetinaFace是InsightFace團(tuán)隊(duì)2019年提出的1種魯棒的單階段人臉檢測器[13]，其檢測流程見圖2。它利用額外監(jiān)督和自監(jiān)督結(jié)合的多任務(wù)學(xué)習(xí)，對不同尺寸的人臉進(jìn)行像素級定位，在WIDER FACE數(shù)據(jù)集上有著非常好的表現(xiàn)。

圖2 RetinaFace人臉檢測模型示意圖Fig.2 Schematic diagram of RetinaFace model

2.2 人臉檢測

為了滿足疲勞檢測的實(shí)時(shí)性要求，采取優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的思想，盡可能地減少參數(shù)量。使用輕量級的卷積神經(jīng)網(wǎng)絡(luò)MobileNet對RetinaFace的主干特征提取網(wǎng)絡(luò)ResNet50進(jìn)行替換。MobileNet[14]的核心思想是用深度可分離卷積（depthwise separable convolution）代替普通卷積，見圖3。

圖3 深度可分離卷積示意圖Fig.3 Schematic diagram of depthwise separable convolution

使用深度可分離卷積代替普通卷積可顯著減少模型的參數(shù)量。對于1個(gè)卷積點(diǎn)而言：假設(shè)有1個(gè)3×3大小的卷積層，其輸入通道為16，輸出通道為32。具體為32個(gè)3×3大小的卷積核會遍歷16個(gè)通道中的每個(gè)數(shù)據(jù)，最后可得到所需的32個(gè)輸出通道，所需參數(shù)為16×32×3×3=4 608個(gè)；應(yīng)用深度可分離卷積，用16個(gè)3×3大小的卷積核分別遍歷16通道的數(shù)據(jù)，得到了16個(gè)特征圖譜。在融合操作之前，用32個(gè)1×1大小的卷積核遍歷這16個(gè)特征圖譜，所需參數(shù)為16×3×3+16×32×1×1=656個(gè)。

改進(jìn)的RetinaFace人臉檢測模型使用原作者標(biāo)注好的人臉數(shù)據(jù)集WIDER FACE[15]進(jìn)行訓(xùn)練，該數(shù)據(jù)集共有32 203張圖像和393 703個(gè)人臉框。人臉在尺度、姿態(tài)、遮擋、表情、裝扮、光照等方面都有很大差異，人臉特征具有多樣性。訓(xùn)練模型時(shí)，通過在61個(gè)場景分類中隨機(jī)采樣，WIDER FACE數(shù)據(jù)集被分為3個(gè)子集，其中的40%用于模型訓(xùn)練，50%作為測試集，剩余的為驗(yàn)證集。訓(xùn)練模型正負(fù)樣本的處理參考原始RetinaFace的訓(xùn)練方法。

使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（multi-task convolutional neural network，MTCNN）[16]、原版RetinaFace和改進(jìn)后的RetinaFace進(jìn)行對比實(shí)驗(yàn)。結(jié)果見圖4，在密集人臉環(huán)境中，改進(jìn)后的RetinaFace檢測出51張人臉，遠(yuǎn)多于MTCNN的33張人臉，略少于原版網(wǎng)絡(luò)的58張人臉；在檢測速度方面，改進(jìn)后RetinaFace網(wǎng)絡(luò)的檢測幀率為22.60幀/s，相比于原版網(wǎng)絡(luò)和MTCNN提升近1倍。使用的深度學(xué)習(xí)框架為Pytorch，測試硬件環(huán)境為Nvidia GTX950M GPU，測試軟件為Pycharm2020。

圖4 RetinaFace改進(jìn)效果示意圖Fig.4 Improvement effect of RetinaFace model

3 基于卷積神經(jīng)網(wǎng)絡(luò)的疲勞檢測

傳統(tǒng)針對車輛駕駛員的疲勞檢測算法大多采用計(jì)算特征點(diǎn)間距的方式提取疲勞特征，進(jìn)而識別疲勞狀態(tài)。由于船舶駕駛臺空間大，背景復(fù)雜，人臉區(qū)域圖像相對較小，檢測密集人臉關(guān)鍵點(diǎn)存在易受干擾，魯棒性不強(qiáng)等問題。因此提出了1種基于卷積神經(jīng)網(wǎng)絡(luò)的眼睛、嘴巴狀態(tài)識別模型，自動(dòng)提取圖像特征，判斷眼睛、嘴巴狀態(tài)，進(jìn)而識別船舶駕駛員的疲勞狀態(tài)。

3.1 眼睛、嘴巴圖片的裁剪

由于檢測到的人臉大小不一，本文采用1種自適應(yīng)方法進(jìn)行眼睛、嘴巴圖片的裁剪，即根據(jù)Retina-Face檢測到的5個(gè)人臉關(guān)鍵點(diǎn)和人臉大小來確定眼睛、嘴巴圖片的尺寸采用式（1）～（2）計(jì)算。

式中：Le是左右人眼關(guān)鍵點(diǎn)的距離，pixel；Lm是左右嘴角關(guān)鍵點(diǎn)的距離，pixel；W和H分別是眼睛、嘴巴圖片的寬和高，pixel。

確定眼睛、嘴巴裁剪區(qū)域后的人臉圖像見圖5。

圖5 眼睛、嘴巴裁剪區(qū)域示意圖Fig.5 Cropped area of eyes and mouth

3.2 基于CNN的眼睛、嘴巴狀態(tài)分類網(wǎng)絡(luò)

針對傳統(tǒng)眼睛、嘴巴狀態(tài)識別算法需要人工提取特征，易受環(huán)境因素干擾魯棒性不強(qiáng)的問題，提出了1種基于卷積神經(jīng)網(wǎng)絡(luò)的眼睛、嘴巴狀態(tài)識別模型。利用channel split和channel shuffle思想[17]搭建改進(jìn)的ShuffleNet V2卷積神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)的特征提取部分，Channel Split運(yùn)算將輸入特征按通道數(shù)分為2組進(jìn)入左右2條支路，在分組卷積之后進(jìn)行通道拼接，同時(shí)使用Channel Shuffle操作將組間的特征進(jìn)行打亂，從而提高圖像特征的信息重用；在每次卷積之后使用批量歸一化[18]對數(shù)據(jù)流進(jìn)行優(yōu)化，使每1層神經(jīng)網(wǎng)絡(luò)的輸入保持相同的分布，避免產(chǎn)生梯度消失問題。在網(wǎng)絡(luò)的分類部分，使用全局平均池化層（global average pooling）代替全連接層，可以更好地將類別與最后1個(gè)卷積層的特征圖對應(yīng)起來；加入Dropout層防止網(wǎng)絡(luò)過擬合。

圖6所示是網(wǎng)絡(luò)常用的2個(gè)模塊：當(dāng)卷積步長等于1的時(shí)候，采用左邊的模塊，由于殘差邊沒有卷積，因此寬高不變，主要用于加深網(wǎng)絡(luò)層數(shù)。當(dāng)卷積步長等于2的時(shí)候，采用右邊的模塊，由于殘差邊有卷積，因此寬高可變，主要用于壓縮特征層的寬高，進(jìn)行下采樣。

圖6 ShuffleNet V2常用卷積塊Fig.6 Convolution blocks of ShuffleNet V2

實(shí)驗(yàn)使用的數(shù)據(jù)集均來自現(xiàn)有的相關(guān)數(shù)據(jù)集和自行拍攝的視頻圖像。其中，眼睛數(shù)據(jù)集中包含閉眼樣本10 000個(gè)，睜眼樣本10 000個(gè)；嘴巴數(shù)據(jù)集中包含打哈欠樣本12 500個(gè)，正常樣本12 500個(gè)。2個(gè)數(shù)據(jù)集均按照7∶2∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測試集。部分眼睛、嘴巴樣本見圖7。

圖7 部分眼睛、嘴巴樣本Fig.7 Partial samples of eyes and mouth

實(shí)驗(yàn)中采用遷移學(xué)習(xí)的思想分2個(gè)步驟進(jìn)行訓(xùn)練，采用數(shù)據(jù)增強(qiáng)技術(shù)對圖片進(jìn)行一定比例的縮放、隨機(jī)位置的截取、隨機(jī)水平翻轉(zhuǎn)等，擴(kuò)充了訓(xùn)練的數(shù)據(jù)集，減少了過擬合的問題。

1）預(yù)訓(xùn)練。加載ShuffleNet V2網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，該模型由ImageNet訓(xùn)練而來，可以實(shí)現(xiàn)1 000種圖像的分類任務(wù)，具有較強(qiáng)的特征提取能力。重新初始化其分類部分的模型權(quán)重，使之適合本文搭建的眼睛、嘴巴狀態(tài)分類網(wǎng)絡(luò)。凍結(jié)網(wǎng)絡(luò)特征提取部分的權(quán)重，只訓(xùn)練分類部分。設(shè)置網(wǎng)絡(luò)batch_size為16，學(xué)習(xí)率為0.001，Dropout為0.5，采用隨機(jī)梯度下降（stochastic gradient descent，SGD）的優(yōu)化方法訓(xùn)練30個(gè)epoch。由于凍結(jié)了大部分的模型權(quán)重，整個(gè)訓(xùn)練過程僅花費(fèi)不到30 min時(shí)間。

2）聯(lián)合訓(xùn)練。解凍網(wǎng)絡(luò)所有權(quán)重，聯(lián)合訓(xùn)練網(wǎng)絡(luò)的特征提取部分和分類部分。保持超參數(shù)不變，采用適應(yīng)性矩陣估計(jì)（adaptive moment estimation，adam）的優(yōu)化方法訓(xùn)練30個(gè)epoch，使網(wǎng)絡(luò)模型提取的圖像特征更契合于本文的分類任務(wù)。

最終眼睛、嘴巴分類網(wǎng)絡(luò)的訓(xùn)練曲線見圖8～9。其中圖8（a）和圖9（a）表示預(yù)訓(xùn)練階段損失和準(zhǔn)確率的變化曲線，圖8（b）和圖9（b）表示聯(lián)合訓(xùn)練階段損失和準(zhǔn)確率的變化曲線。在預(yù)訓(xùn)練階段，得益于預(yù)訓(xùn)練模型較強(qiáng)的特征提取能力，網(wǎng)絡(luò)的訓(xùn)練損失和驗(yàn)證損失迅速下降，并收斂到0.30和0.10以內(nèi)；在聯(lián)合訓(xùn)練階段，網(wǎng)絡(luò)的訓(xùn)練損失和驗(yàn)證損失進(jìn)一步下降并收斂至0.060和0.025以內(nèi)。在測試集上眼睛狀態(tài)的識別準(zhǔn)確率為99.71%，嘴巴狀態(tài)的識別準(zhǔn)確率為99.59%。

圖8 眼睛分類網(wǎng)絡(luò)的訓(xùn)練曲線Fig.8 Training curve of eyes classification network

圖9 嘴巴分類網(wǎng)絡(luò)的訓(xùn)練曲線Fig.9 Training curve of mouth classification network

其他幾種常見的卷積神經(jīng)網(wǎng)絡(luò)在自建眼睛數(shù)據(jù)測試集上的分類準(zhǔn)確率及速率見表1。相對于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，筆者提出的基于遷移學(xué)習(xí)思想改進(jìn)的ShuffleNet V2網(wǎng)絡(luò)有著更加強(qiáng)大的特征提取能力，使用channel split運(yùn)算減少了模型計(jì)算量，無論在檢測精度還是檢測速率上都有了明顯提升，同時(shí)還能通過遷移學(xué)習(xí)的方式節(jié)省訓(xùn)練時(shí)間。

表1 不同模型在自建眼睛數(shù)據(jù)集上的分類對比Tab.1 Classification comparison of different models on self-built eye dataset

使用改進(jìn)的ShuffleNet V2網(wǎng)絡(luò)識別眼睛、嘴巴狀態(tài)，并將網(wǎng)絡(luò)Stage2/3/4的輸出特征圖進(jìn)行可視化，結(jié)果見圖10。較淺層特征圖Stage1具有更多的圖像紋理，細(xì)節(jié)豐富且分辨率較高，隨著網(wǎng)絡(luò)的加深，輸出特征圖包含了更多的全局語義信息，分辨率較低。從熱力圖可以看出，改進(jìn)的ShuffleNet V2網(wǎng)絡(luò)在進(jìn)行分類時(shí)聚焦于圖像的正確位置，并輸出正確的分類結(jié)果，解釋了本文模型有著較高的分類準(zhǔn)確率。

圖10 眼睛、嘴巴狀態(tài)識別結(jié)果Fig.10 Recognition results of eye and mouth status

3.3 基于眼睛、嘴巴特征融合的疲勞檢測

當(dāng)駕駛員疲勞時(shí)面部會出現(xiàn)疲勞特征，如長時(shí)間持續(xù)閉眼、緩慢眨眼、打哈欠等現(xiàn)象，因此可以通過獲取駕駛員眼睛、嘴巴的狀態(tài)信息來判斷駕駛員的疲勞程度。閉眼百分率（percentage of eyelid closure over the pupil over time，PERCLOS）是1種度量駕駛員精神狀態(tài)的物理參數(shù)[19]。其定義為單位時(shí)間內(nèi)閉眼時(shí)長所占的比例，有P70，P80，EM這3種標(biāo)準(zhǔn)。P80標(biāo)準(zhǔn)認(rèn)為眼睛開度低于20%為閉合狀態(tài)，高于80%為睜開狀態(tài)，與疲勞發(fā)展程度的相關(guān)性較好。當(dāng)該參數(shù)超過一定的閾值時(shí)就可以認(rèn)為駕駛員產(chǎn)生了疲勞。由于打哈欠的頻率也可以有效地反映駕駛員疲勞狀態(tài)，所以本文將PERCLOS參數(shù)也應(yīng)用到打哈欠頻率的檢測當(dāng)中。2種參數(shù)的計(jì)算見式（3）。

式中：Pe和Pm分別為眼睛和嘴巴PERCLOS參數(shù)；Te和Tm分別表示單位時(shí)間T內(nèi)眼睛閉合及嘴巴張開角度超過正常狀態(tài)的累計(jì)時(shí)間；N為的是單位時(shí)間T內(nèi)采集到的視頻總幀數(shù)，Ne和Nm分別為單位時(shí)間T內(nèi)眼睛閉合以及嘴巴張開角度超過正常狀態(tài)累計(jì)幀數(shù)。通過對眼睛和嘴巴的PERCLOS參數(shù)設(shè)定合適的閾值，當(dāng)計(jì)算出的Pe或Pm超過設(shè)定的閾值，就可以認(rèn)為駕駛員此時(shí)處于疲勞狀態(tài)。

為了確定合適的PERCLOS閾值，從公開用于設(shè)計(jì)和測試疲勞檢測算法的YawDD視頻數(shù)據(jù)集[20]中隨機(jī)截取100個(gè)視頻序列，其中50個(gè)疲勞狀態(tài)，50個(gè)正常狀態(tài)，每個(gè)視頻10 s。經(jīng)過檢測得知，疲勞狀態(tài)下眼睛的PERCLOS參數(shù)Pe在0.30～0.70之間，嘴巴的PERCLOS參數(shù)Pm在0.35～0.80之間。為此，以0.05為間隔，針對不同的PERCLOS參數(shù)閾值做了對比實(shí)驗(yàn)，結(jié)果見圖11。當(dāng)Pe=0.35，Pm=0.4時(shí)，誤檢、漏檢最少，檢測的準(zhǔn)確率最高。

圖11 對比實(shí)驗(yàn)結(jié)果Fig.11 Compare experimental results

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

由于目前還沒有針對船舶駕駛員疲勞檢測的公開數(shù)據(jù)集，故本文使用在航海模擬器中自行拍攝的視頻數(shù)據(jù)集進(jìn)行算法驗(yàn)證。自建數(shù)據(jù)集共有100段視頻，50段正常，50段疲勞，每段30 s左右，包含不同駕駛員在不同光照環(huán)境下拍攝的模擬駕駛視頻。每段視頻包含不同的眼睛、嘴巴狀態(tài)。自建數(shù)據(jù)集可以較好地模擬船舶駕駛臺值班環(huán)境的復(fù)雜性，比如空間范圍大、容易遮擋、環(huán)境光線差異大、背景復(fù)雜等，更能夠體現(xiàn)算法的實(shí)用性。

將算法各部分模塊進(jìn)行整合，使用PyQt結(jié)合QtDesigner對系統(tǒng)界面進(jìn)行設(shè)計(jì)與開發(fā)。系統(tǒng)可以接入攝像頭進(jìn)行實(shí)時(shí)檢測，也可以讀取本地的視頻文件進(jìn)行檢測，支持MP4和AVI等主流視頻格式。右側(cè)可以調(diào)節(jié)疲勞參數(shù)閾值和檢測周期，控制檢測的開始與結(jié)束，顯示檢測結(jié)果。在航海模擬器中的檢測效果見圖12。

圖12 部分疲勞檢測結(jié)果Fig.12 Partial results of fatigue detection

由圖12不難看出，本文提出的基于深度學(xué)習(xí)的疲勞檢測算法可以較為準(zhǔn)確地檢測出駕駛員的疲勞狀態(tài)，對不同環(huán)境光照、是否戴眼鏡、側(cè)臉等干擾因素具有較強(qiáng)的魯棒性。

為了進(jìn)一步驗(yàn)證算法的有效性，在自建數(shù)據(jù)集中隨機(jī)選取24段視頻，以每100幀為1個(gè)檢測周期統(tǒng)計(jì)這24個(gè)視頻中真實(shí)疲勞次數(shù)Nt，算法檢測疲勞次數(shù)Nd，以及算法檢測正確的疲勞次數(shù)Np。計(jì)算算法的精確率和召回率見式（4）。

實(shí)驗(yàn)中還加入了2種常見的疲勞檢測方法作對比，實(shí)驗(yàn)數(shù)據(jù)見表2。可以看出，本文提出的疲勞檢測方法無論在精確率還是召回率方面，均優(yōu)于傳統(tǒng)Haar-like+Adaboost的疲勞檢測方法[4]以及目前比較流行的MTCNN+CNN的疲勞檢測方法[12]。經(jīng)過分析，出現(xiàn)漏檢和誤檢的情況主要是因?yàn)榄h(huán)境光較暗以及眼鏡反光等因素的影響，相對來說正常光照下的檢測效果會更好。

表2 不同疲勞檢測算法結(jié)果對比Tab.2 Comparison of different fatigue detection algorithms

以上實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的疲勞駕駛檢測算法相比，基于深度學(xué)習(xí)的疲勞檢測算法可以自動(dòng)對輸入的圖像進(jìn)行特征提取，挖掘目標(biāo)圖像的深層信息且不依賴人工的參與。與其他深度學(xué)習(xí)模型相比，基于遷移學(xué)習(xí)的訓(xùn)練策略顯著節(jié)省了訓(xùn)練的時(shí)間；使用的全局平均池化、批量歸一化以及Dropout等技術(shù)，有效改善了模型對疲勞表情的識別能力，提高了疲勞檢測的準(zhǔn)確率，對船舶駕駛臺的復(fù)雜環(huán)境具有較強(qiáng)的魯棒性。一般情況下，駕駛員的眨眼頻率為15～20次/min，平均每次眨眼持續(xù)0.2～0.4 s。本文提出的疲勞檢測算法在Nvidia GTX950MGPU上運(yùn)行時(shí)檢測每張圖片只需要0.083 s。使用本文算法基本可以實(shí)現(xiàn)對駕駛員疲勞狀態(tài)的實(shí)時(shí)檢測。

5 結(jié)束語

本文提出了1種基于深度學(xué)習(xí)的疲勞檢測算法。在人臉檢測方面，對檢測能力更強(qiáng)的RetinaFace網(wǎng)絡(luò)加以改進(jìn)，提高了網(wǎng)絡(luò)的檢測速率；在特征識別方面，舍棄了傳統(tǒng)的手工提取特征的方法，使用改進(jìn)的ShuffleNet V2網(wǎng)絡(luò)自動(dòng)提取圖像的深層信息，進(jìn)而識別眼睛、嘴巴的開閉狀態(tài)，在識別精度和速率上均有所提升；在疲勞檢測方面，基于PERCLOS準(zhǔn)則，融合眼睛、嘴巴特征綜合判定駕駛員是否疲勞。實(shí)驗(yàn)結(jié)果表明，本文算法的精確率和召回率均高于傳統(tǒng)疲勞檢測方法，使用PyQt開發(fā)的圖像界面程序在模擬駕駛環(huán)境中能夠準(zhǔn)確檢測出駕駛員的疲勞狀態(tài)，對不同環(huán)境光照、是否戴眼鏡、側(cè)臉等因素的干擾具有較強(qiáng)的魯棒性，能夠較好地適應(yīng)船舶駕駛臺的復(fù)雜環(huán)境，同時(shí)可以滿足實(shí)時(shí)檢測的要求。在后續(xù)工作中，嘗試改進(jìn)算法以提高復(fù)雜環(huán)境下疲勞檢測算法的可靠性。