張 明 恒，劉 朝 陽，郭 政 先，萬 星

(1.大連理工大學 工業(yè)裝備結構分析國家重點實驗室，遼寧 大連 116024；2.大連理工大學 汽車工程學院，遼寧 大連 116024 )

0 引 言

駕駛疲勞是交通事故致因的重要組成部分，當前針對駕駛人狀態(tài)檢測的車載系統(tǒng)研發(fā)已經(jīng)成為人們關注的焦點問題[1]．從駕駛疲勞檢測的過程來看，其本質在于利用構建的特征-狀態(tài)模型對駕駛人疲勞狀態(tài)進行實時評估．其中，疲勞特征的選擇應能滿足車載系統(tǒng)需求，檢測模型應體現(xiàn)駕駛疲勞的動態(tài)特性．

目前，應用于駕駛疲勞檢測的特征指標主要包括車輛運行特征、駕駛人表觀特征和生理特征[2]．其中，基于車輛運行特征的方法可以充分利用車輛運動信息，具有較好的實時性，但易受駕駛習慣等因素影響[3]；基于駕駛人表觀特征(如PERCLOS)的方法，其特征獲取大多采用非侵入式的視覺傳感器，具有靈活的平臺適應性和成本優(yōu)勢，已逐漸成為艙內(nèi)感知技術(ICS)領域的主流研發(fā)方向[4]；基于駕駛人生理特征(如腦電(EEG)信號)的方法，由于其可以直接反映疲勞變化，在疲勞發(fā)生初期即具備較好檢測效果，常常被稱為疲勞檢測的金標準，但是由于其需要測試儀器與人接觸測量，容易對駕駛人造成干擾，因此常常被用于其他檢測方法的對標性測試[5]．

在疲勞狀態(tài)檢測模型研究方面，主要包括支持向量機(SVM)、神經(jīng)網(wǎng)絡、貝葉斯網(wǎng)絡和隱馬爾可夫模型(HMM)等．Hu[6]基于EEG數(shù)據(jù)搭建了SVM駕駛疲勞辨識模型，在對數(shù)據(jù)進行特征提取后有效提高了辨識準確率，但該模型僅在小數(shù)據(jù)量時準確率較高．為深入分析疲勞特征與疲勞狀態(tài)間的映射關系，胡淑燕等[7]選用樸素貝葉斯網(wǎng)絡建立了疲勞辨識模型，但疲勞的動態(tài)時序特性并未得到充分反映．針對疲勞的強時序特性，F(xiàn)u等[8]基于HMM提出了一種疲勞檢測方法，表現(xiàn)出了較好的檢測效果．

綜上，基于機器視覺等的駕駛人表觀特征疲勞檢測方法由于其自身優(yōu)勢逐漸成為應用研究的主流，而在建立相關特征與疲勞狀態(tài)映射的過程中，準確的疲勞狀態(tài)界定對其模型構建準確性具有重要影響，同時也是目前相關車載系統(tǒng)研發(fā)所面臨的共性問題．因此，本文基于疲勞生成的強時序特性和輸入數(shù)據(jù)的連續(xù)性，利用EEG數(shù)據(jù)構建一種高斯混合隱馬爾可夫模型(GM-HMM)進行駕駛疲勞狀態(tài)評估，為相關車載系統(tǒng)研發(fā)提供必要的駕駛疲勞狀態(tài)比對參考．

1 駕駛疲勞檢測機理

1.1 疲勞特性及檢測模型

文獻[9]表明，駕駛人疲勞狀態(tài)的產(chǎn)生是一種隨時間變化逐漸形成的過程．在駕駛過程初期，疲勞程度的增加與駕駛時間近似成線性關系；隨著駕駛時間增長，疲勞程度將呈現(xiàn)不穩(wěn)定的波動狀態(tài)，如圖1所示，其中橫坐標t為駕駛人的持續(xù)駕駛時間，縱坐標F(t)為駕駛人的疲勞程度．由此可見，強時序性是駕駛疲勞形成的本質屬性，用于駕駛疲勞辨識的基本模型應能反映這一基本特征，這也是提高相關識別系統(tǒng)準確性的關鍵．

圖1 駕駛疲勞-時間變化特性Fig.1 Driving fatigue temporal sequence characteristic

基于本文研究目的，生理特征參數(shù)EEG信號被用于HMM構建過程的基礎數(shù)據(jù)來源，從而形成對疲勞狀態(tài)水平的準確評估．同時，考慮離散型HMM雖然在實時性方面具有一定優(yōu)勢，但相對于連續(xù)型模型在準確度方面還有一定差距，因此本文采用高斯混合(GM)模型對HMM中的疲勞狀態(tài)分布進行合理估計，以獲得準確的疲勞狀態(tài)辨識結果．本文的整體模型研究框架如圖2所示．

圖2 基于GM-HMM的駕駛疲勞辨識框架Fig.2 Driving fatigue detection framework based on GM-HMM

1.2 數(shù)據(jù)處理平臺概述

本文基于ErgoLAB人機環(huán)境同步平臺進行相關實驗數(shù)據(jù)的采集和同步．數(shù)據(jù)采集平臺由艙內(nèi)感知設備、數(shù)據(jù)同步系統(tǒng)、狀態(tài)標記過程組成．其中，艙內(nèi)感知設備由BBT-E08-AAB007腦電儀和Logitech Webcam C930e攝像頭組成．腦電儀被用于采集駕駛人腦電數(shù)據(jù)，攝像頭被用于采集駕駛人實時圖像；ErgoLAB數(shù)據(jù)同步平臺可以在模擬駕駛時同步協(xié)調(diào)及匯聚腦電儀和攝像頭采集的數(shù)據(jù)；狀態(tài)標記過程是通過駕駛人狀態(tài)自述和專家狀態(tài)評估[10]獲得當前時刻所對應的疲勞狀態(tài)標簽．實驗數(shù)據(jù)采集平臺的構成如圖3所示．

圖3 ErgoLAB實驗數(shù)據(jù)采集平臺Fig.3 Experimental data acquisition platform based on ErgoLAB

在得到上述初始EEG數(shù)據(jù)庫后，需要對其進行預處理(如濾波、去偽跡、降采樣等)以獲得準確的模型輸入特征．預處理主要包括兩個部分：基于小波包變換的特征提取操作和基于灰色關聯(lián)分析的指標優(yōu)選操作．基于小波包變換的特征提取操作是通過節(jié)律波重構來獲取腦電儀每個電極通道的能量比值[11]；基于灰色關聯(lián)分析的指標優(yōu)選是將能量比值和疲勞狀態(tài)進行關聯(lián)性分析來找出與疲勞狀態(tài)相關性最大的能量比值[12]．數(shù)據(jù)預處理的整體流程如圖4所示．

圖4 EEG數(shù)據(jù)預處理流程圖Fig.4 The flow chart of EEG data pre-processing

2 基于GM-HMM的疲勞檢測

GM-HMM的構建，總體上可分為兩部分：GM擬合參數(shù)的確定和HMM的參數(shù)訓練[13]．其中，由于EEG的數(shù)據(jù)符合正態(tài)分布，從而選擇高斯擬合函數(shù)為概率密度函數(shù)，對觀測數(shù)據(jù)進行擬合訓練來確定GM的參數(shù)；根據(jù)駕駛疲勞生成的時序特性，選用各態(tài)遍歷型HMM作為檢測模型構建的基本結構，利用Baum-Welch和Viterbi 算法訓練HMM完成最終參數(shù)的確定，其中模型λ的主要參數(shù)為(π，A，B)，π表示初始狀態(tài)概率向量，A表示狀態(tài)轉移概率矩陣，B表示觀測概率矩陣．

2.1 觀測序列的GM擬合

腦電儀采集的EEG數(shù)據(jù)為離散數(shù)據(jù)，這會導致大量關鍵信息的丟失，要同時獲得具有時序性和連續(xù)性的分析模型，方法之一是對觀測EEG數(shù)據(jù)進行GM擬合．實際應用過程中，根據(jù)中心極限定理，大量觀測EEG數(shù)據(jù)服從幾個正態(tài)分布的疊加，圖5展示了部分EEG數(shù)據(jù)的分布情況，其中橫坐標n為數(shù)據(jù)片段數(shù)量，縱坐標G為EEG數(shù)據(jù)和高斯擬合數(shù)據(jù)的數(shù)值．

圖5 EEG數(shù)據(jù)GM擬合曲線Fig.5 GM-fitting curves of EEG data

故本文利用高斯概率密度函數(shù)對觀測序列擬合來確定HMM的參數(shù)：觀測概率矩陣B=(bj(ot))N×R，其中N代表所有可能的狀態(tài)數(shù)目，R代表所有可能的觀測數(shù)目．觀測序列的高斯概率密度擬合函數(shù)為

(1)

(2)

HMM的模型參數(shù)B決定了模型的收斂速度，且對后續(xù)模型的訓練效果影響較大．本文采用K-means結合Viterbi算法對參數(shù)進行初始化，當模型收斂到更新值基本無變化時，說明達到了GM的擬合效果，此時將參數(shù)輸出．觀測序列的GM擬合具體流程如圖6所示．

圖6 GM擬合觀測數(shù)據(jù)流程圖Fig.6 The flow chart of GM fitting observation data

2.2 疲勞檢測模型構建

基于本文研究目的，設S=(s1s2…sN)是駕駛人所有可能的隱狀態(tài)集合，以時間刻度表示時，對應于長度為T的狀態(tài)序列Q=(q1q2…

qT)；V=(v1v2…vR)是所有可能的觀測狀態(tài)集合，以時間刻度表示時，對應于長度為T的觀測序列O=(o1o2…oT)．鑒于駕駛疲勞的時變性，其符合各態(tài)遍歷型的HMM基本結構類型，本研究所用的HMM結構類型如圖7所示．

圖7 各態(tài)遍歷型HMM結構Fig.7 The structure of ergodic HMM

基于HMM模型算法，其前向變量α可定義為

αt(i)=P(o1，o2，…，ot，qt=si|λ)；i=1，2，…，N

(3)

后向變量β定義為

βt(j)=P(ot+1，ot+2，…，oT|qt=sj，λ)；j=1，2，…，N

(4)

其中αt(i)表示在HMM模型λ下，到時刻t為止產(chǎn)生的EEG數(shù)據(jù)觀測序列為o1，o2，…，ot，且t時刻清醒(或疲勞)狀態(tài)為si的概率．而βt(j)表示在HMM模型λ和t時刻疲勞或(清醒)狀態(tài)為sj情況下，t時刻后產(chǎn)生EEG數(shù)據(jù)觀測序列為ot+1，ot+2，…，oT的概率，T為總的時間序列．

由式(3)和(4)，在t時刻HMM模型λ中的清醒(或疲勞)狀態(tài)si轉移到t+1時刻的疲勞(或清醒)狀態(tài)sj的概率公式為

ξt(i，j)=P(qt=si，qt+1=sj|O，λ)=

(5)

在t時刻為清醒(或疲勞)狀態(tài)si的概率公式為

(6)

當初始參數(shù)確定好之后，利用Baum-Welch和Viterbi算法來估計HMM的最終參數(shù)．根據(jù)式(5)和(6)由Baum-Welch算法推導的HMM的參數(shù)π=(πi)N、A=(aij)N×N、B=(bj(k))N×R表示如下：

πi=P(q1=si)

(7)

(8)

(9)

式中：πi為t=1時駕駛人處于狀態(tài)si的概率，i=1，2，…N，j=1，2，…，N，k=1，2，…，R；π表示初始狀態(tài)概率向量；aij表示狀態(tài)轉移概率；bj(k)表示在t時刻駕駛人處于狀態(tài)sj的條件下，生成第k個觀測序列vk的概率．由于在訓練過程中參數(shù)B會改變，需要對其內(nèi)部參數(shù)進行重新估計．而在更新迭代參數(shù)π、A時會同時更新B，即同時更新GM模型中的cjm、ujm、Ujm3個參數(shù)．為方便表達，引入公式：

(10)

其中γt(j，m)表示在t時刻疲勞檢測狀態(tài)為sj且EEG數(shù)據(jù)觀測序列是由第m個高斯混合函數(shù)擬合的概率，因此由式(10)可得其他參數(shù)更新的重估公式為

(11)

(12)

(13)

訓練完成后，得到cjm、ujm、Ujm對應的最優(yōu)參數(shù)c、u、U，最終所構建的GM-HMM駕駛疲勞檢測模型可被表述為

λ=(π，A，c，u，U)

3 實驗驗證

3.1 實驗設備及流程

所需觀測序列數(shù)據(jù)由實驗獲得，以東風菱智汽車駕駛艙為主體進行實驗環(huán)境搭建，實驗時駕駛人佩戴腦電儀，按高速公路的行車場景視頻進行對應的模擬駕駛操作[14]；同時駕駛人的行為和狀態(tài)被攝像頭采集成視頻數(shù)據(jù)，由ErgoLAB數(shù)據(jù)同步平臺保證EEG信號與視頻數(shù)據(jù)同步采集．所用實驗設備如圖8所示．

圖8 實驗環(huán)境和設備Fig.8 Experimental environment and equipment

為保證實驗過程采集數(shù)據(jù)的有效性，實驗前以問卷形式對駕駛人進行了作息時間規(guī)律的調(diào)查，并結合調(diào)查結果選擇駕駛人容易出現(xiàn)疲勞狀態(tài)的時段進行了相關實驗．駕駛人的選取充分考慮了年齡、駕齡等因素，共招募10名具有一定駕駛經(jīng)驗的駕駛人，同時為進一步避免相關外部因素對駕駛人的影響，所有駕駛人被要求在實驗前一天不得飲食含提神作用的食品、不能服用藥物以及做劇烈運動等．實驗時間選取在易發(fā)生駕駛疲勞的13：00～15：00，實驗場景選取為環(huán)境變化較為單調(diào)的道路，并通過駕駛人的行為特征和主觀報告來驗證駕駛人在實驗時進入深度疲勞駕駛狀態(tài)．實驗電極位置選取為Fpz、F3、F4、Fz、C3、C4、P3和P4，采樣頻率為256 Hz；在腦電信號采集的同時，由工作人員每隔5 min詢問并記錄駕駛人的當前狀態(tài)，作為疲勞狀態(tài)主觀評分．

實驗結束后，對照視頻采集數(shù)據(jù)將由干擾因素(如接聽電話、喝水等)影響的異常狀態(tài)EEG數(shù)據(jù)段剔除，通過專家經(jīng)驗認定疲勞觀測指標與實際狀態(tài)的對應標記．為確保評價準確性，將視頻對照的專家評分與駕駛人自述的主觀評分進行綜合分析來確定駕駛人的最終真實狀態(tài)，最后將每位駕駛人的真實狀態(tài)與其EEG信號數(shù)據(jù)段對應標記來構建初始數(shù)據(jù)庫．圖9是剔除異常數(shù)據(jù)并進行狀態(tài)標記后的駕駛人狀態(tài)時序圖，其中橫坐標為駕駛人的駕駛時間，縱坐標為參試駕駛人的編號．

圖9 駕駛人狀態(tài)時序圖Fig.9 The temporal sequence diagram of drivers′states

由于實驗過程中的EEG數(shù)據(jù)摻雜有噪聲偽跡，如心電、肌電、眼動(EOG)等生理性偽跡，必須對原始EEG數(shù)據(jù)進行相應的預處理[15]．本文所采取的預處理方法如表1所示．

表1 預處理方法Tab.1 The pre-processing methods

3.2 特征指標優(yōu)選

EEG原始信號的維度較高，疲勞特征表現(xiàn)不明顯，因此需要從預處理后的EEG數(shù)據(jù)中提取出最能表征駕駛疲勞的特征指標，其中能量比值指標可有效表征出駕駛人的疲勞狀態(tài)[11]．本文首先利用小波包變換進行節(jié)律波的頻率分解來提取能量特征，由于Daubechies小波的靈敏度高、正則性好，且其中的db4小波與EEG信號的波形最為相似，故選取db4小波作為分解小波基．EEG信號頻率范圍為0～30 Hz，常用4種波形頻帶為δ(0～4 Hz)、θ(4～8 Hz)、α(8～12 Hz)、β(12～30 Hz)，故對EEG信號進行第一層節(jié)點選取為0～64 Hz的5層小波包分解．分解后的4種節(jié)律波如圖10所示，其中橫坐標n′表示經(jīng)降采樣后數(shù)據(jù)點的序列，縱坐標A為對應數(shù)據(jù)點處經(jīng)小波包分解后的幅值．

(a)α信號波形

小波包分解系數(shù)可以反映EEG數(shù)據(jù)中時域和頻域的信號能量分布，因此可以利用小波包分解系數(shù)平方的疊加來表示信號的能量，節(jié)點能量計算公式為

(14)

其中pi(t)表示在t時刻第5層分解上的第i個節(jié)點的小波包分解系數(shù)，i=0，1，…，15．因此各節(jié)律波的總能量計算公式為

(15)

其中r表示α、β、δ、θ4種節(jié)律波，k的范圍由節(jié)律波r的節(jié)點數(shù)決定．由式(15)，將4種節(jié)律波的能量值進行快波與慢波的比值[16]計算，得到8種能量比值特征指標，其公式為

(16)

EEG信號的8種特征指標與駕駛人的疲勞狀態(tài)存在潛在對應規(guī)律，可以利用灰色關聯(lián)分析(grey relation analysis，GRA)探尋與疲勞狀態(tài)關聯(lián)最大的指標[17]．以駕駛人的實際狀態(tài)為參考數(shù)列，以8種EEG指標為比較數(shù)列進行關聯(lián)度比較，結果如圖11所示，其中橫坐標為8種EEG特征指標，縱坐標RGRA為8種EEG指標分別與實際狀態(tài)參考數(shù)列的關聯(lián)度值．

圖11 關聯(lián)度數(shù)值圖Fig.11 Numerical graph of relation degree

從圖中可以看出F5指標的相關性最大，F(xiàn)8次之，符合隨駕駛疲勞程度加深數(shù)值呈上升趨勢；F3與參考序列最不相關，符合隨疲勞程度加深數(shù)值呈下降趨勢．因此，用于本文研究的駕駛疲勞優(yōu)選特征向量F組成為

F=(F3F5F8)

3.3 實驗結果及分析

將前8名參試駕駛人測試得到的特征數(shù)據(jù)指標按照駕駛人清醒、疲勞兩個狀態(tài)進行分類，作為訓練集數(shù)據(jù)按照第2章方法構建了駕駛人清醒模型和駕駛人疲勞模型．為驗證本文所建立模型的性能，將最后一名駕駛人的特征數(shù)據(jù)作為測試數(shù)據(jù)，利用前向后向算法最大概率地對模型匹配后，將數(shù)據(jù)輸入到對應GM-HMM中進行狀態(tài)檢測，識別流程如圖12所示．

圖12 駕駛人狀態(tài)識別流程圖Fig.12 Driver state detection flow chart

圖12中λa和λf分別對應清醒、疲勞檢測模型．將駕駛人的部分實驗數(shù)據(jù)作為測試序列輸入到搭建的GM-HMM中，得到了實際狀態(tài)和模型識別結果的對照，如圖13所示，其中橫坐標為駕駛人的駕駛時間，縱坐標為駕駛人的疲勞狀態(tài)S(S=0代表駕駛人處于清醒狀態(tài)，S=1代表駕駛人處于疲勞狀態(tài))．

圖13 GM-HMM預測結果Fig.13 Prediction results of GM-HMM

從圖13中可以看出，本文所構建的GM-HMM在駕駛初期表現(xiàn)出了很好的檢測判斷效果；在駕駛中期可能由于駕駛人分心等原因(但不是疲勞)存在部分錯誤判斷；在產(chǎn)生駕駛疲勞后表現(xiàn)出了優(yōu)良的檢測效果．因此，在考慮疲勞狀態(tài)時序性和觀測序列連續(xù)性因素后，本文所建立的GM-HMM可進行有效的駕駛疲勞狀態(tài)辨識．

為進一步對比時序性和HMM內(nèi)部參數(shù)連續(xù)性對疲勞狀態(tài)辨識準確率的影響，設置離散隱馬爾可夫模型(DHMM)和邏輯回歸(Logical Regression)模型作為對比．模型的識別效果通常用準確率(accuracy，Acc)、靈敏度(sensitivity，Sen)和特異性(specificity，Spe)3個評價指標進行表示[18]．公式如下：

(17)

(18)

(19)

其中Tp為正例被判為正例(true positive)，F(xiàn)n為正例被判為負例(false negative)，Tn為負例被判為負例(true negative)，F(xiàn)p為負例被判為正例(false positive)．正例為清醒樣本，負例為疲勞樣本．利用上述公式對GM-HMM、DHMM和Logical Regression模型的駕駛疲勞識別結果進行分析，對比結果如表2所示．

可見，GM-HMM模型的3個評價指標均高于另外兩種模型．建立3個模型的接受者操作特征(receiver operating characteristic，ROC)曲線如圖14所示．其中橫坐標Fpr為ROC曲線中的假陽性率(false positive rate，F(xiàn)pr)，縱坐標Tpr為真陽性率(true positive rate，Tpr)，ROC曲線下的面積(AUC)大小代表模型識別準確率．ROC曲線越靠近左上，即曲線下的面積越大，表示其性能越好．結合表2，從圖14中可以看出本文所提出的GM-HMM相比DHMM和Logical Regression模型具有更好的檢測效果．

表2 模型的準確率、靈敏度和特異性Tab.2 Accuracy,sensitivity and specificity of models

圖14 不同模型的ROC曲線Fig.14 ROC curves of different models

4 結 語

針對車載駕駛疲勞檢測系統(tǒng)研究中的駕駛人疲勞辨識準確率低的問題，本文首先選取了能有效反映駕駛疲勞變化的EEG信號作為觀測序列數(shù)據(jù)；其次，結合駕駛疲勞的動態(tài)生成特性，采用高斯混合模型擬合觀測序列，提出了一種基于GM-HMM的駕駛疲勞檢測方法；最后，為了進一步分析所建模型的優(yōu)勢，分別設置了基于DHMM和基于Logical Regression模型的駕駛疲勞檢測方法作為對比．對比測試結果表明，本文所提出的基于GM-HMM的駕駛疲勞檢測方法在準確率、靈敏度和特異性方面具有較大優(yōu)勢，此研究成果可為相關車載駕駛疲勞檢測系統(tǒng)研發(fā)提供參考．

鑒于實驗場地、人員招募以及模型中駕駛疲勞分級等的限制問題，未來將針對更多復雜路況、更多參試者和多級疲勞狀態(tài)類型來優(yōu)化所建模型，進一步提升模型的檢測準確率．