李泰國，張?zhí)觳?，李超，周星?/p>

(1.蘭州交通大學(xué)，自動化與電氣工程學(xué)院，蘭州 730070；2.陜西省康復(fù)醫(yī)院，運動療法一科，西安 710065)

0 引言

疲勞駕駛會降低駕駛員的控制和判斷能力，是導(dǎo)致交通事故的主要原因之一。數(shù)據(jù)表明，疲勞駕駛引起的交通事故占所有車輛事故的20%～30%，是對道路安全的巨大威脅。因此，準確高效地檢測駕駛員的疲勞狀態(tài)對保障道路安全具有重要意義。

在駕駛員疲勞檢測方法中，腦電圖(EEG)是一種可靠性較高的侵入式疲勞檢測方法[1]。除此之外，還有基于眼電圖(EOG)、心電圖(ECG)及心率變異性(HRV)等生理信號的疲勞檢測方法[2]，在識別駕駛員疲勞時均有較好的效果。然而，這類檢測方式要求駕駛員佩戴相應(yīng)的檢測設(shè)備，長時間使用會干擾駕駛員的正常駕駛，具有一定的安全隱患?；谲囕v信息的疲勞檢測方法主要通過采集安裝在汽車相關(guān)零部件的傳感器相關(guān)參數(shù)，例如，速度、加速度和轉(zhuǎn)向角[3]，與疲勞檢測中認定為疲勞狀態(tài)的閾值對比，進而判斷駕駛員的疲勞狀態(tài)，這種方式在檢測駕駛員疲勞時存在效率較低的情況。

通過計算機視覺的方式分析駕駛員面部特征[4]，例如，眼瞼閉合時間、打呵欠、頭部姿勢、眼瞼運動和面部表情等，以此檢測駕駛員是否發(fā)生疲勞駕駛[5]，此類方法不需要與駕駛員直接接觸，因此，不會干擾正常駕駛，更容易被駕駛員所接受[6]。目前，基于面部狀態(tài)的疲勞檢測方法主要依據(jù)眼睛開合、嘴巴哈欠及困倦點頭等典型癥狀，結(jié)合PERCLOS(Percentage of Eyelid Closure over the Pupil over Time)進行疲勞檢測[7]。實際情況是，當(dāng)駕駛員發(fā)生疲勞時，各關(guān)鍵部位之間存在密切的聯(lián)系，單獨分析面部特征而忽略各部位之間的空間關(guān)聯(lián)性或各視頻幀之間的時間關(guān)聯(lián)性將會影響疲勞檢測模型的準確率和魯棒性。

基于此，本文為研究疲勞狀態(tài)下頭部與面部的信息之間空間聯(lián)系，提取面部信息，結(jié)合倒立擺的概念建立駕駛員面部倒立擺模型，將倒立擺模型的動能與勢能以及頭部歐拉角作為疲勞特征，可以將頭部與面部信息更為細化的結(jié)合，充分挖掘各面部特征與駕駛員疲勞之間的聯(lián)系。利用信息熵統(tǒng)計疲勞特征的混亂程度，表示隨著駕駛員疲勞狀態(tài)的不同引起的疲勞特征的變化，利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的特征提取能力與長短期記憶網(wǎng)絡(luò)(LSTM)的時序特征挖掘能力，以及CNN-LSTM 模型對長時間序列的建模優(yōu)勢建立多幀疲勞特征信息熵之間在時間上的聯(lián)系，實現(xiàn)駕駛員疲勞狀態(tài)預(yù)測。

1 疲勞檢測模型

當(dāng)駕駛員出現(xiàn)疲勞情況時，其頭部姿態(tài)與面部信息會表現(xiàn)出與非疲勞駕駛狀態(tài)不同的行為，隨著駕駛員疲勞程度的加深，打哈欠、點頭及眨眼等表現(xiàn)疲勞癥狀的動作也會隨之頻繁。與非疲勞駕駛時的狀態(tài)相比，疲勞駕駛時，駕駛員的面部及頭部信息在一定時間內(nèi)變化更大。基于兩種狀態(tài)下駕駛員展現(xiàn)出的不同特點，將面部及頭部信息相結(jié)合構(gòu)造疲勞特征是非常必要的。本文通過提取可以表征頭部姿態(tài)信息的歐拉角以及依據(jù)力學(xué)設(shè)計面部倒立擺模型建立駕駛員疲勞狀態(tài)的特征表示。本文所提出的駕駛員疲勞檢測方案框圖如圖1所示。

圖1 疲勞檢測方案框圖Fig.1 Block diagram of fatigue detection scheme

在檢測方案中，首先，采用PFLD 模型識別駕駛員人臉圖像[8]，并提取面部關(guān)鍵點坐標，以此構(gòu)建特征模型；通過關(guān)鍵點坐標建立倒立擺模型，計算頭部的動能與勢能，并結(jié)合頭部歐拉角設(shè)計本方案的疲勞特征；最后，依據(jù)疲勞特征計算每個特征的信息熵，將其輸入CNN-LSTM 進行分類訓(xùn)練后預(yù)測駕駛員的疲勞狀態(tài)。

1.1 面部關(guān)鍵點檢測與頭部姿態(tài)計算

在基于面部信息的駕駛員疲勞檢測相關(guān)研究中，面部關(guān)鍵點定位是非常重要的環(huán)節(jié)。PFLD(Practical Facial Landmark Detector)算法是一個集簡單、快速、超高精度和實用性于一體的人臉關(guān)鍵點檢測方法，各評估指標在同一數(shù)據(jù)集上均能達到最佳，保持高精度的同時，很大程度上降低了模型的復(fù)雜度[9]。基于PFLD提取出的駕駛員面部關(guān)鍵點定位如圖2所示。

圖2 駕駛員面部關(guān)鍵點Fig.2 Coordinates on driver's face

在駕駛員疲勞駕駛過程中，頭部姿態(tài)在疲勞狀態(tài)下的變化會反映駕駛員的精神狀態(tài)和注意力等關(guān)鍵信息。因此，提取到的駕駛員頭部姿態(tài)是判斷疲勞狀態(tài)的重要特征之一。本文獲得的頭部姿態(tài)信息用3 個歐拉角(Pitch,Yaw,Roll)表示臉部朝向的角度信息。頭部姿態(tài)識別如圖3所示。

圖3 頭部姿態(tài)識別Fig.3 Schematic diagram of head pose

1.2 倒立擺物理量模型構(gòu)建

倒立擺模型廣泛用于機器人運動平衡和穩(wěn)定性研究，模型不僅可以有效地反映運動姿態(tài)的變化，而且可以將面部信息與頭部變化結(jié)合，避免由于多個關(guān)鍵點的異質(zhì)性和隨機性而干擾姿態(tài)分析[10]。本文在提取駕駛員面部關(guān)鍵點后，以關(guān)鍵點坐標為輸入建立面部倒立擺模型，分析駕駛員面部運動的不穩(wěn)定性，作為判斷駕駛員疲勞狀態(tài)的主要依據(jù)之一。在每個視頻幀內(nèi)提取駕駛員的面部關(guān)鍵點信息，確定4點與相應(yīng)2點之間的連接關(guān)系，建立連桿系統(tǒng)，倒立擺模型建立過程如圖4所示。

圖4 “倒立擺”模型建立過程Fig.4 Modeling process of inverted pendulum

內(nèi)聚是從功能角度度量模塊內(nèi)的聯(lián)系，描述的是模塊內(nèi)的聯(lián)系；耦合是結(jié)構(gòu)中各模塊之間相互連接的度量。在提取的面部關(guān)鍵點中，通過分析駕駛員疲勞表現(xiàn)與面部關(guān)鍵點變化的相互關(guān)聯(lián)情況，依據(jù)“高內(nèi)聚、低耦合”的原則選取與左右眼部、鼻子及嘴部相關(guān)的關(guān)鍵點，按圖4(a)所述，將其擬合為倒立擺模型的特定關(guān)鍵點，其中，左右眼部各包含10個關(guān)鍵點(xli,yli),(xri,yri)，鼻子8個關(guān)鍵點(xni,yni)，嘴部20個關(guān)鍵點(xmi,ymi)，每個模塊內(nèi)的所有關(guān)鍵點均參與質(zhì)點坐標計算，而模塊之間的質(zhì)點坐標計算相互獨立，互不影響。通過以上方式最終確定倒立擺模型的4個質(zhì)點，各質(zhì)點坐標的計算式為

式中：(Xi,Yi)分別為圖4(a)中左眼、右眼、鼻子及嘴部計算出的倒立擺模型中心質(zhì)點坐標，i=[L,R,N,M] ；圖4(b)中各質(zhì)點間連線為倒立擺的連桿；圖4(c)為倒立擺模型在駕駛員面部的具體位置細節(jié)。

駕駛員的面部動作會引起連桿系統(tǒng)各質(zhì)點的變化，其變化的幅度與駕駛員當(dāng)前的疲勞狀態(tài)相關(guān)。因此，計算倒立擺模型中質(zhì)點的動能與質(zhì)點之間連桿的勢能表示頭部姿態(tài)與面部信息穩(wěn)定程度的變化情況，形成能夠反映出疲勞駕駛與非疲勞駕駛之間差異的物理量。

提取面部關(guān)鍵點，并計算圖4(a)中質(zhì)點L,R,N,M的2D平面坐標點，駕駛員頭部移動情況與倒立擺物理量建模的對應(yīng)關(guān)系如圖5所示。

圖5 動能勢能示意Fig.5 Schematic diagram of kinetic energy and potential energy

首先，取兩幀之間的坐標變化情況，計算兩個質(zhì)點的移動速度vi為

式中：mk為質(zhì)點的質(zhì)量，由于本文選用的為2D 平面坐標系下的坐標點，故質(zhì)點的mk=1。

動力學(xué)中，重力是勢能的來源。求解連桿勢能時，首先要結(jié)合兩個質(zhì)點構(gòu)建連桿，計算出連桿的重力位置變化hj，即

基于重力位置hj，j=[1,2,3]，可計算連桿的勢能Ep，即

式中：g為重力加速度。

為體現(xiàn)駕駛員在不同疲勞狀態(tài)的運動不穩(wěn)定性，需建立一個盡可能簡單，充分描述運動姿勢的描述模型，即倒立擺模型。該模型不僅可以有效地反映運動姿勢的變化，而且可以相對簡化駕駛員面部的結(jié)構(gòu)，避免由于多個關(guān)鍵點的不同性質(zhì)和隨機性而干擾疲勞特征的分析?；诘沽[模型提取的動能與勢能可以表示駕駛員不同疲勞狀態(tài)下駕駛行為穩(wěn)定性的變化，將其與頭部歐拉角共同作為疲勞特征，可以將頭部與面部信息細化的結(jié)合，充分反映疲勞時的整體行為變化。

1.3 特征信息熵統(tǒng)計

非疲勞駕駛狀態(tài)的面部動作在頻率與幅度上在一定范圍內(nèi)隨機波動，而疲勞駕駛時，面部與頭部動作會隨著駕駛員的疲勞發(fā)生變化，伴隨著打哈欠、點頭及眨眼等動作的增加，導(dǎo)致一段時間內(nèi)疲勞特征的混亂程度發(fā)生較大變化。為將不同狀態(tài)下的混亂程度變化差異性融入疲勞檢測的方法，本文在分類實驗前結(jié)合疲勞特征并取一定長度的序列構(gòu)建對應(yīng)關(guān)系，用信息熵的方法將頭部姿態(tài)歐拉角、倒立擺模型動能以及倒立擺模型連桿勢能進行混亂程度統(tǒng)計，可以表述一段時間內(nèi)駕駛員疲勞特征的變化情況。

在計算疲勞特征信息熵的過程中，通過多次對比實驗后，選取實驗中最佳的窗口長度(N=50)，計算疲勞特征的信息熵用以區(qū)分疲勞與非疲勞的特征離散程度，在每組疲勞特征中，求均值μ與標準差σ′，從而可計算間隔n，即

將n作為區(qū)段值對D的個數(shù)劃分，分別統(tǒng)計在區(qū)間(0,n),(Δ,n+Δ),…,(nmax-500,nmax) 中各個D的個數(shù)ni，最終的信息熵結(jié)果為

1.4 CNN-LSTM分類方法

卷積神經(jīng)網(wǎng)絡(luò)由于其卷積運算操作的優(yōu)勢，能夠更高層次地表達原始數(shù)據(jù)，CNN 一般包含卷積層、池化層和全連接層，其中，卷積層是其核心，主要用于輸入數(shù)據(jù)的特征提取和映射輸入數(shù)據(jù)與不同的卷積核進行卷積計算，得到包含輸入數(shù)據(jù)的不同特征的映射矩陣，即

式中：Xm+1，Xm為該層和下一層的輸入；Wm為權(quán)重矩陣；Bm為偏置；σ為激活函數(shù)。

借助CNN 優(yōu)越的特征提取能力，對計算的信息熵數(shù)據(jù)進行二次特征提取，得到更深層次的代表駕駛員疲勞狀態(tài)變化的特征信息。

LSTM 是一種改進的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[11]，通過在隱藏單元中加入自連通“門”解決梯度消失問題。如圖6 所示，LSTM 網(wǎng)絡(luò)的計算節(jié)點包括輸入門、輸出門、遺忘門和記憶細胞Cell，核心思想在于兩條黑色水平線所代表的信息流，以及當(dāng)前時間(Xt)的輸入與之前時間(ht-1)的輸出的組合。圖中，tanh為雙正切激活函數(shù)。

圖6 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 LSTM structure

本文通過使用卷積神經(jīng)網(wǎng)絡(luò)CNN 與LSTM 網(wǎng)絡(luò)結(jié)合的方法預(yù)測駕駛員的疲勞狀態(tài)，由于卷積神經(jīng)網(wǎng)絡(luò)的局部特征學(xué)習(xí)能力可以有效對信息熵數(shù)據(jù)進行二次特征提取；長短時記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Net-work,RNN)的改進學(xué)習(xí)算法，在處理與時間相關(guān)的序列中有良好的應(yīng)用效果，能夠?qū)W習(xí)時序數(shù)據(jù)的長期依賴關(guān)系，因此，兩者的結(jié)合增強了與駕駛員疲勞相關(guān)特征的提取能力。使分類預(yù)測的結(jié)果結(jié)合時間特性。

2 實驗與結(jié)果分析

2.1 實驗平臺與數(shù)據(jù)集

本實驗的訓(xùn)練和檢測任務(wù)硬件配置為4.0 GHz AMD CPU，NVIDIA GTX 1650 GPU 上實現(xiàn)的，軟件環(huán)境與深度學(xué)習(xí)框架為Python3.7 和paddlepaddle。基于NTHU-DDD(National TsingHua University Drowsy Driver Detection)駕駛員疲勞檢測視數(shù)據(jù)集進行訓(xùn)練與預(yù)測[12]。整個數(shù)據(jù)集包含36名不同種族的受試者，每個受試者在5種不同場景下進行模擬駕駛，并錄制640 pixel×480 pixel 的視頻，場景包括：白天戴眼鏡、戴太陽鏡和不戴眼鏡，夜晚戴眼鏡和夜晚不戴眼鏡。數(shù)據(jù)集視頻的每個幀包含了二分類的標簽，即疲勞或非疲勞，實驗中的訓(xùn)練數(shù)據(jù)集由18 名受試者的360 個視頻剪輯(722223 幀)組成。驗證數(shù)據(jù)集由4 名受試者的20個視頻片段(40133幀)組成，測試數(shù)據(jù)集由3名受試人的15個片段(30111幀)組成。數(shù)據(jù)集的部分示例如圖7所示。

圖7 數(shù)據(jù)集示例Fig.7 Dataset example

2.2 離散程度統(tǒng)計

為驗證使用疲勞特征信息熵對疲勞檢測的有效性，提取駕駛員面部倒立擺模型生成的動能與勢能，并結(jié)合頭部姿態(tài)歐拉角方法進行對比實驗。其中，對部分數(shù)據(jù)集生成的疲勞特征數(shù)據(jù)對比如圖8所示，對比結(jié)果選取的特征為頭部姿態(tài)的pitch角、鼻子部位動能及鼻部與嘴部連桿勢能這三者的信息熵結(jié)果。

圖8 疲勞特征輸出對比Fig.8 Comparison of fatigue features output

在圖8 中，星型點代表疲勞狀態(tài)，球形點代表非疲勞狀態(tài)，觀察疲勞和非疲勞狀態(tài)分布情況可以發(fā)現(xiàn)，提取的駕駛員疲勞特征會隨著駕駛員的動作波動，當(dāng)其非疲勞駕駛時，動作波動范圍相對固定，此時，疲勞特征的大小也會在固定的范圍內(nèi)波動，即圖8中的球形散點部分。但在駕駛員疲勞時，會產(chǎn)生較多與疲勞相關(guān)的動作，造成疲勞特征的大小產(chǎn)生偏離正常范圍，即圖8中的星型部分。疲勞特征數(shù)據(jù)的大小波動可以體現(xiàn)出駕駛員不同狀態(tài)下的駕駛情況，利用信息熵可以表示出這種混亂程度，能夠體現(xiàn)出駕駛員的疲勞情況。

在考慮疲勞特征時間特性的基礎(chǔ)上，結(jié)合滑動窗口的方式計算疲勞特征的信息熵，表示駕駛時各疲勞特征的變化程度。由于數(shù)據(jù)集包含的多種場景以及輸出疲勞特征的多樣性，因此，分類實驗前，本文詳細對比分析了疲勞特征信息熵，同一場景下不同特征的信息熵如圖9所示，即白天不戴眼鏡的情況下，動能、勢能和歐拉角生成的信息熵對比；此處，選取同一個受試者信息熵對比作為示例，在N大于200時，駕駛員的駕駛狀態(tài)標簽由非疲勞轉(zhuǎn)化為疲勞。

圖9 同一場景下不同特征的信息熵Fig.9 Information entropy of different features in same scene

如圖9 所示，在一個滑動窗口內(nèi)，信息熵的大小主要受窗口內(nèi)數(shù)據(jù)混亂程度的影響，相比較非疲勞情況下的疲勞特征，疲勞狀態(tài)會由于打哈欠等動作的增加產(chǎn)生更多偏離巨大的數(shù)值，這些偏離值會造成信息熵高于其他情況。在同一場景下，不同的特征在駕駛員相同的狀態(tài)下，波動趨勢相似。同樣的，實驗選取其中一個特征在不同場景下的信息熵變化，如圖10所示。

圖10 同一特征不同場景下的信息熵Fig.10 Comparison of fatigue features output

通過圖10 可以看出，當(dāng)N大于200 后，信息熵的輸出結(jié)果由于疲勞狀態(tài)時疲勞特征的波動而變得更大，而駕駛員在非疲勞狀態(tài)下駕駛時，頭部與面部的波動范圍有限，雖然信息熵也處在不停波動的狀態(tài)，但變化幅度較小。此外，非疲勞駕駛時也會存在頭部偏移較大的情況，會造成這種狀態(tài)下疲勞特征的信息熵也處于較大的數(shù)值，但由于持續(xù)時間短，因此，在最后的疲勞判定中，基本不會影響疲勞的分類預(yù)測。

2.3 分類預(yù)測結(jié)果

疲勞特征信息熵是對疲勞特征混亂程度的一種表示，為更好地驗證信息熵在疲勞檢測中的魯棒性，本文在分類實驗中選取其他可以表示離散程度的方法加入對比實驗中，即均方誤差(MSE)和標準差(SD)。

為進一步探討提取的疲勞特征信息熵對疲勞檢測的有效性，本文對比分析多種不同分類器對駕駛員疲勞狀態(tài)的分類性能，CNN-LSTM網(wǎng)絡(luò)，SVM模型和混合高斯模型(Gaussian mixture model,GMM)。分別對每種分類模型進行訓(xùn)練和預(yù)測?；跀?shù)據(jù)集生成的信息熵進行訓(xùn)練和測試，在本文中，使用F1進行分類性能評估，即

Rprecision和Rrecall用來評價疲勞的分類結(jié)果；RF1值為Rprecision和Rrecall的調(diào)和平均數(shù)，綜合兩個指標用來評估反映整體的指標。對生成的疲勞特征信息熵進行訓(xùn)練，生成的訓(xùn)練模型用于分類預(yù)測，使用不同分類方法對不同信息(SD標準差、MSE均方誤差、H(X)信息熵)的疲勞檢測結(jié)果如表1所示，分類結(jié)果在各分類方法中進行了多次實驗以及參數(shù)優(yōu)化，以使其達到該方法下的最佳分類模型。

表1 不同場景下分類結(jié)果F1值對比Table 1 Comparison of classification results in different scenarios F1 values (%)

在表1中，通過不同的分類方法對不同離散程度的疲勞預(yù)測結(jié)果可以看出，基于CNN-LSTM 對駕駛員的疲勞預(yù)測效果最好，其中，使用疲勞特征信息熵的分類方法在輸出結(jié)果中達到最優(yōu)；面對不同場景下提取到的疲勞特征，在分類實驗中存在著一定差異，在多種分類實驗中，晚上戴眼鏡的F1均低于其他情況，說明本文基于計算機視覺在提取駕駛員頭部與面部信息時會受到光照強度的影響，但最終結(jié)果顯示，其準確率仍可以很好地完成駕駛員疲勞檢測的任務(wù)。

優(yōu)化后的SVM 模型同樣取得了良好的效果，但與CNN-LSTM 分類模型相比，后者在各種場景下的效果都優(yōu)于SVM 模型，這是由于CNN-LSTM對于特征有著更深層次的處理，并且基于時序特性的分類方式符合疲勞發(fā)生的過程，在分類時，是將一段時間的疲勞特征信息熵輸入分類網(wǎng)絡(luò)進行分類預(yù)測。在GMM的分類方法中，使用疲勞特征信息熵的預(yù)測結(jié)果低于疲勞特征的標準差。

2.4 模型參數(shù)設(shè)置

在CNN-LSTM的分類網(wǎng)絡(luò)中，LSTM層數(shù)和神經(jīng)元數(shù)對預(yù)測精度的影響最大，因此，確定其在實驗中的最佳取值會極大地提高疲勞狀態(tài)預(yù)測的結(jié)果。為確定兩者的最優(yōu)取值，將模型的具體實驗數(shù)據(jù)通過試驗對比，結(jié)果如表2所示。

表2 基于CNN-LSTM的不同分類方法比較Table 2 Comparison of different classification methods based on CNN-LSTM

NTHU-DDD數(shù)據(jù)集對視頻的每幀均進行了標注(疲勞或非疲勞狀態(tài))，本文基于CNN-LSTM網(wǎng)絡(luò)通過不同的改進方式對駕駛員的疲勞狀態(tài)進行分類檢測。表2中的分類結(jié)果顯示，當(dāng)改變網(wǎng)絡(luò)層數(shù)和神經(jīng)元數(shù)，會對駕駛員的疲勞檢測結(jié)果產(chǎn)生影響，并且隨著層數(shù)和神經(jīng)元數(shù)的增加，對駕駛員疲勞的預(yù)測結(jié)果明顯變差。這是由于輸入的信息熵為低維數(shù)據(jù)，此時，用于分類的CNN-LSTM模型結(jié)構(gòu)不宜過于復(fù)雜。

此外實驗結(jié)果顯示，非疲勞狀態(tài)的分類結(jié)果低于疲勞狀態(tài)。這是因為非疲勞時，駕駛員由于觀察周圍路況也會存在頭部偏移較大的情況，會造成小部分誤判，但整體準確率仍處于較高狀態(tài)，可以有效檢測駕駛員的疲勞狀態(tài)。

表1和表2統(tǒng)計了多種情況下提出疲勞檢測方法的預(yù)測結(jié)果。所提出的疲勞特征信息熵在CNNLSTM分類模型中獲得最高的預(yù)測精度，進一步表明，CNN 的特征挖掘能力與LSTM 網(wǎng)絡(luò)的結(jié)合，能夠有效地集成多個信息源中提取的時間信息和特征信息，并建立時間和特征信息之間的關(guān)系。通過綜合疲勞特征的時間信息和疲勞特征之間的關(guān)系，所提出的方法可以更準確地識別疲勞，用于駕駛員疲勞檢測。

2.5 與其他檢測方法的對比

為驗證本文所提方法的有效性，將本文與其他采用不同特征的疲勞檢測方法的實驗結(jié)果進行對比分析，對比方法選取的疲勞特征包括：基于面部表情、頭部姿態(tài)歐拉角與眼嘴部開合度。具體結(jié)果如表3所示。

表3 本文方法與現(xiàn)有檢測方法的比較Table 3 Comparison between this method and existing detection methods

通過表3 的對比結(jié)果發(fā)現(xiàn)，雖然文獻[13]使用了多特征融合的方法，但由于疲勞特征的設(shè)計相對簡單以及分類方法未考慮疲勞特征在時間上的關(guān)聯(lián)性，最終的檢測結(jié)果為87.84%。文獻[14]也是基于面部特征進行駕駛員的疲勞狀態(tài)檢測，選用VGG-FaceNet模型并進行輕量化地微調(diào)，選取駕駛員面部表情作為疲勞特征的檢測結(jié)果為87.09%。這種方法雖然獨特且可以檢測駕駛員疲勞狀態(tài)變化，但其準確率仍需進一步提升。本文提出的方案基于面部與頭部特征融合后進行疲勞狀態(tài)的檢測，通過建立敏感反應(yīng)駕駛員精神狀態(tài)的疲勞特征，使整個檢測過程具有較高的穩(wěn)定性和準確率，最后，本文通過使用CNN-LSTM分類方式充分利用數(shù)據(jù)的時序性。通過對比發(fā)現(xiàn)，本文提出模型的F1 值為95.04%，滿足了駕駛員疲勞檢測的需求。

3 結(jié)論

本文提出一種基于倒立擺模型和信息熵的駕駛員疲勞檢測方法，主要創(chuàng)新有以下兩點：

(1)利用駕駛員在不同狀態(tài)下面部與頭部的穩(wěn)定性不同的特性，將倒立擺模型平衡控制的概念引入疲勞特征的設(shè)計，提取駕駛員面部關(guān)鍵點后，以“高內(nèi)聚、低耦合”的原則確定倒立擺模型的4個質(zhì)點，并以此計算可以反映駕駛員疲勞狀態(tài)變化的倒立擺模型動能與勢能。

(2)針對駕駛員疲勞狀態(tài)隨時間變化特點，將倒立擺模型動能、勢能以及頭部歐拉角的狀態(tài)值結(jié)合滑動窗口計算疲勞特征信息熵值，以此反映駕駛員疲勞狀態(tài)隨時間變化的趨勢，并將信息熵值作為分類網(wǎng)絡(luò)的輸入，實現(xiàn)疲勞狀態(tài)預(yù)測。

本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)局部特征學(xué)習(xí)能力以及LSTM 處理時間序列數(shù)據(jù)的良好性能，基于CNN-LSTM 駕駛員疲勞狀態(tài)分類模型，增強駕駛員疲勞相關(guān)特征提取能力，同時，使分類預(yù)測符合疲勞發(fā)生的過程。實驗表明，本文方法的預(yù)測準確率達到95.04%，能夠很好地預(yù)測駕駛員的疲勞狀態(tài)。