張 瑞，朱天軍，2，鄒志亮，宋 瑞

1.河北工程大學(xué) 機(jī)械與裝備工程學(xué)院，河北 邯鄲 056038

2.肇慶學(xué)院 機(jī)械與汽車工程學(xué)院，廣東 肇慶 526061

3.中汽研汽車檢驗中心（廣州）有限公司，廣州 511340

在經(jīng)濟(jì)全球化的影響下，世界上的人民生活水平逐步提高。人們可以選擇不同的交通方式出行，進(jìn)而導(dǎo)致交通事故也頻繁發(fā)生。引發(fā)交通事故的原因有很多，其中疲勞駕駛是一個關(guān)鍵性因素[1]。通過調(diào)查發(fā)現(xiàn)，因疲勞引起的交通事故占總數(shù)的20%左右，占特大交通事故的40%以上[2]。如果在交通事故發(fā)生前的一瞬間及時向駕駛員發(fā)出預(yù)警，就可能避免近90%的交通事故[3]。因此，對疲勞駕駛檢測的研究很有必要。

世界上最早關(guān)于疲勞檢測的研究是使用高精度的醫(yī)學(xué)設(shè)備開展的，研究人員通過分析人體的腦電信號[4-5]、心電信號[6-7]等生理信號的變化來判別人是否處于疲勞。生理信號的采集需在人體表皮粘貼傳感器，進(jìn)而對駕駛員的操作造成干擾。隨著科技的進(jìn)步，為了消除信號采集設(shè)備對人體的侵入性影響，非侵入性檢測設(shè)備被研發(fā)出來。同時圖像處理技術(shù)與機(jī)器學(xué)習(xí)的興起，進(jìn)一步推動了疲勞駕駛檢測的發(fā)展。本文首先對疲勞駕駛的概念、特征以及形成機(jī)理進(jìn)行論述，其次通過分析現(xiàn)有的疲勞檢測研究方法，進(jìn)行整理分類，闡述了疲勞檢測方法各自的優(yōu)劣。分析和討論了疲勞駕駛檢測存在的不足，進(jìn)一步總結(jié)出未來的研究趨勢，為今后研究疲勞駕駛檢測的學(xué)者提供幫助。

1 疲勞駕駛

1.1 疲勞駕駛的概念

疲勞駕駛一般是指駕駛員長時間精神高度集中的行車后，肌肉上產(chǎn)生的松弛和精神上的疲倦，手腳反應(yīng)能力和預(yù)判能力下降，進(jìn)而產(chǎn)生動作遲緩的現(xiàn)象。在早期的疲勞駕駛的定義中，Lal 等人認(rèn)為疲勞是一種從喚醒到睡眠狀態(tài)的過渡，若疲勞狀態(tài)不發(fā)生改變時，就會產(chǎn)生睡眠[8]。

1.2 疲勞駕駛的特征

疲勞駕駛特征從表現(xiàn)方式上可以分為行為特征和心理特征兩類。根據(jù)駕駛員的疲勞程度的不同所表現(xiàn)出來的身體特征也有所不同。如表1所示。

表1 疲勞駕駛特征的表現(xiàn)方式Table 1 Manifestation of fatigue driving characteristics

1.3 疲勞駕駛的形成機(jī)理

人們一直認(rèn)為交通運輸行業(yè)是一種高強(qiáng)度高危險行業(yè)。因為在車行進(jìn)中，駕駛員需時刻關(guān)注車輛周圍環(huán)境。在該過程中駕駛員的大腦神經(jīng)持續(xù)處于興奮狀態(tài)，極易產(chǎn)生精神上的疲乏。同時駕駛員操縱車輛的動作一直保持，肢體會變僵硬進(jìn)而產(chǎn)生疲乏。概括來講，產(chǎn)生駕駛疲勞的因素如下：

（1）駕駛員的壓力：生活和工作中的壓力。

（2）駕駛員睡眠時間不足：作息時間不規(guī)律。

（3）駕駛員連續(xù)行車：雇主催促、高收入的誘惑。

（4）夜間行車：光線不足導(dǎo)致視野范圍縮小，精神高度集中。

2 國內(nèi)外駕駛員疲勞駕駛檢測的研究現(xiàn)狀

疲勞駕駛檢測方法主要分為主動檢測法和被動檢測法兩類，如圖1所示。主動檢測法是通過對駕駛員進(jìn)行口頭問答、填寫問卷調(diào)查等方式獲取在不同時段內(nèi)駕駛員的心理與面部表情等信息，然后對獲取到的信息進(jìn)行分析得出駕駛員的精神狀態(tài)。與主動檢測法不同，被動檢測法是通過外部裝置采集駕駛員駕駛過程中的相關(guān)數(shù)據(jù)，再依靠算法檢測駕駛員是否處于疲勞駕駛狀態(tài)。

2.1 主動檢測法

主動檢測法主要是基于駕駛員主觀表現(xiàn)、反應(yīng)時間、臉部表情變化等將司機(jī)主觀疲勞表現(xiàn)進(jìn)行分類量化。主動檢測法具有操作便捷、成本低等優(yōu)勢而被廣泛使用。但是也存在實時性差、干擾駕駛員正常駕駛以及受人為主觀意識的影響等劣勢。主動檢測法又可分為填寫問卷調(diào)查與主觀評價表、口頭問答分析以及主動檢測模型三類。

2.1.1 調(diào)查問卷表與主觀評價表

研究人員通過填寫問卷調(diào)查與主觀評價表以及隨機(jī)抽查駕駛員等方法，分析出駕駛員的實時狀態(tài)。為了從社會心理學(xué)的角度探討疲勞駕駛的影響因素，Jiang等人基于TPB（theory of planned behaviour）設(shè)計了一份調(diào)查問卷。通過調(diào)查問卷有效地揭示了與疲勞駕駛相關(guān)的心理因素。研究表明主觀規(guī)范、感知行為控制和駕駛意圖與在疲勞狀態(tài)下繼續(xù)駕駛相關(guān)[9]。Bener 等人使用曼徹斯特駕駛行為問卷（driving behavior questionnaire，DBQ）評估導(dǎo)致事故的異常駕駛行為。通過分析受試者所填寫的疲勞嚴(yán)重程度量表（fatigue severity scale，F(xiàn)SS）和斯坦福睡眠調(diào)查問卷（epworth 量表）的結(jié)果，表明患有慢性疲勞、急性嗜睡和不規(guī)范的駕駛操作可能會顯著增加道路碰撞的風(fēng)險[10]。Noughab等人使用問卷調(diào)查得出影響重型車輛駕駛員困倦和疲勞程度的因素。并運用統(tǒng)計分析和TOPSIS（technique for order of preference by similarity to ideal solution）技術(shù)對因素的影響程度進(jìn)行排序。進(jìn)而避免影響程度大的因素導(dǎo)致駕駛員疲勞駕駛[11]。杜振君依據(jù)日本能率學(xué)會的《疲勞癥狀自評量表》設(shè)計了叉車操作員疲勞主觀感受調(diào)查問卷。通過調(diào)查問卷對叉車操作員的作業(yè)疲勞狀態(tài)進(jìn)行主觀檢測，進(jìn)而得出操作員的狀態(tài)[12]。

2.1.2 口頭問答分析

口頭問答分析測試方法會受到被測試者的主觀意識的影響，故其在疲勞駕駛檢測中存在一定的局限性。Lee 等人通過對929 名飛行員進(jìn)行訪談的基礎(chǔ)上，提出假設(shè)和調(diào)查問題，并進(jìn)行了全國性的調(diào)查。結(jié)論表明：不足的計劃操作、飛行方向、文化差異的伙伴關(guān)系、飛機(jī)環(huán)境、工作分配、種族差異、酒店環(huán)境等因素會造成飛行員的疲勞[13]。Filtness 等人從新西蘭和澳大利亞的客運鐵路公司中選出28 名駕駛員，開展關(guān)于SPAD（signal passed at danger）影響因素的小組討論。提取與疲勞相關(guān)的數(shù)據(jù)并進(jìn)行歸納分析，得出駕駛疲勞的原因、后果和應(yīng)對措施。由于駕駛員工作時間并不規(guī)律，所得結(jié)論可信度較低[14]。

2.1.3 主動檢測的模型

填寫問卷表與主觀評價表以及口頭問答分析是針對駕駛員的主觀行為進(jìn)行分析和討論的過渡，而建立檢測的模型可以進(jìn)行疲勞狀態(tài)的判定。研究人員通過建立檢測模型來評定駕駛員的疲勞程度。

文獻(xiàn)[15]提出一種鐵路營運車操作員疲勞風(fēng)險的動態(tài)評定方法。該方法將時變因素進(jìn)行量化提高了準(zhǔn)確性，利用層次分析法（improved analytic hierarchy process，IAHP）建立了評價模型，總結(jié)出在不同時段下機(jī)車操作員疲勞風(fēng)險的變化規(guī)律。Mollicone等人開發(fā)了一種基于生物數(shù)學(xué)模型預(yù)測駕駛員疲勞的方法。研究表明，該方法基于駕駛員的睡眠模式預(yù)測疲勞，并根據(jù)安全相關(guān)的操作指標(biāo)估計駕駛性能[16]。Li等人通過對出租車駕駛員的問卷數(shù)據(jù)建立模型。分析了樣本數(shù)據(jù)集以識別與高低疲勞事故風(fēng)險（fatigue-related accident risk，F(xiàn)RAR）相關(guān)的主要因素，并擬合FRAR預(yù)測模型。同時使用另外的數(shù)據(jù)集測試該模型在高風(fēng)險駕駛員預(yù)測的性能。結(jié)果表明該預(yù)測模型能較好地識別出存在高風(fēng)險的駕駛員，預(yù)測結(jié)果如圖2所示。圖中顯示為在不同班次即全班、長班、短班三種情形下，未標(biāo)記的駕駛員疲勞相關(guān)事故風(fēng)險預(yù)測情況。其中預(yù)測為高風(fēng)險所占比例約為75%，低風(fēng)險所占比例約為25%。由于所檢測人群為出租車駕駛員，經(jīng)過實際考察得知所預(yù)測的結(jié)果與實際基本符合。進(jìn)一步表明所構(gòu)建預(yù)測模型實用性較好，可以推廣至其他類型車輛的風(fēng)險預(yù)測中，進(jìn)而減少交通事故的發(fā)生[17]。

2.2 被動檢測方法

由于被動檢測法具有準(zhǔn)確率高、可靠性更佳以及不受駕駛員主觀意識的影響等優(yōu)勢，所以該種檢測方法成為目前檢測駕駛員疲勞的主要研究方向。被動檢測法根據(jù)檢測疲勞特征的不同又可分為以下五類：基于車輛行為的疲勞檢測、基于駕駛員行為的疲勞檢測、基于駕駛員生理特征的疲勞檢測、基于駕駛員面部特征的疲勞檢測、基于多特征融合的疲勞檢測，以下分別進(jìn)行闡述。

2.2.1 基于車輛行為特征的檢測方法

當(dāng)駕駛員出現(xiàn)疲勞癥狀時，會通過車輛行為表現(xiàn)出來。車輛行為特征主要包括車輛速度、加速度、車輛橫擺角以及車輛偏離車道的程度等。研究人員將獲取的車輛行為特征參數(shù)進(jìn)行分析，分別提取出正常駕駛與疲勞駕駛的車輛行為特征參數(shù)，通過提取的參數(shù)制定一個區(qū)分正常和疲勞駕駛的檢測標(biāo)準(zhǔn)。將實時獲取的車輛行為參數(shù)與標(biāo)準(zhǔn)比較，可以檢測出駕駛員的身體狀態(tài)。該種方法無侵入性，數(shù)據(jù)采集方便，檢測設(shè)備易于安裝攜帶，市場前景較好。但這種檢測方法易受到周圍環(huán)境、駕駛員的操作水平以及駕駛習(xí)慣等因素的影響。

在早期的車輛行為的研究中，Pomerleau等人提出了一個快速調(diào)整橫向位置處理器（rapidly adapting lateral position handler，RALPH）的系統(tǒng)。系統(tǒng)通過模板匹配及假設(shè)和測試策略對道路圖像進(jìn)行分析，進(jìn)而估計出車道偏離的信息[18]。郭思強(qiáng)等人通過CAN總線采集到的車輛信息，如車速、瞬時油耗、踏板位置等信息。根據(jù)層次分析法原理構(gòu)建了疲勞狀態(tài)識別模型并從時間和空間維度進(jìn)行檢驗和應(yīng)用[19]。黃皓利用駕駛模擬器獲取駕駛員正常狀態(tài)和疲勞狀態(tài)下的操作特征及車輛狀態(tài)。將獲取的信息建立數(shù)據(jù)庫，依據(jù)因素方差分析法對特征指標(biāo)的有效性進(jìn)行分析。最后使用模糊聚類和神經(jīng)網(wǎng)絡(luò)算法對駕駛員疲勞進(jìn)行檢測[20]。蔡素賢等人利用CAN 總線捕獲車輛行為數(shù)據(jù)，提取了車速、加速度、油門踏板與剎車踏板開合度等18項特征。通過皮爾森相關(guān)系數(shù)來得出所提取的特征與疲勞的相關(guān)性大小，同時采用隨機(jī)森林算法對駕駛員疲勞進(jìn)行檢測，圖3是將各類算法與隨機(jī)森林算法作比較所得的。圖中所示為邏輯回歸、支持向量機(jī)、決策樹、隨機(jī)森林四種算法所訓(xùn)練的疲勞駕駛檢測模型，利用同一組數(shù)據(jù)集檢測疲勞，不同模型所得精確率、召回率和準(zhǔn)確率的對比結(jié)果。通過比較得出隨機(jī)森林的準(zhǔn)確率和召回率均大于另外三種算法，進(jìn)而表明隨機(jī)森林算法更適用于疲勞檢測[21]。Riera 等人開發(fā)了一種檢測和跟蹤車道偏離的新模型。該模型通過對視頻中的前向車道區(qū)域進(jìn)行前處理，并對其中的凸包進(jìn)行標(biāo)記，當(dāng)檢測到前方區(qū)域的凸包時，跟蹤凸包區(qū)域的質(zhì)心，利用質(zhì)心位置判斷駕駛員是否偏離車道行駛。研究顯示，檢測車道偏離事件的總召回率為81.82%[22]。Chen 等人設(shè)計了一個駕駛員行為檢測和警告框架。該框架首先通過圖像傳感器連續(xù)檢測車輛所在車道線的坡度變化，估計車輛車道偏離的功率譜密度。其次，利用頭戴式設(shè)備提取頭部姿態(tài)的特征向量，以測量駕駛員的異常水平。最后，根據(jù)估計的車道偏離功率譜密度和測量的駕駛員異常水平，通過車輛互聯(lián)網(wǎng)將檢測的危險駕駛警告發(fā)送給相鄰車輛和附近行人，以避免交通事故的發(fā)生[23]。

2.2.2 基于駕駛員行為的疲勞檢測方法

在疲勞檢測的研究中，學(xué)者發(fā)現(xiàn)駕駛員的行為也會對疲勞駕駛造成影響。研究人員通過傳感器測得的方向盤的轉(zhuǎn)角、方向盤的握力以及踏板的運動變化等特征來檢測駕駛員的精神狀態(tài)。

在早期駕駛員行為的疲勞檢測研究中，張希波等人根據(jù)駕駛員疲勞與清醒狀態(tài)下對方向盤修正幅度和頻率的不同來實現(xiàn)疲勞狀態(tài)檢測[24]。沙春發(fā)等人在實際道路環(huán)境開展試驗。將采集的轉(zhuǎn)向盤握力特征和腦電特征，利用BP 神經(jīng)網(wǎng)絡(luò)建立基于轉(zhuǎn)向盤握力的疲勞駕駛模型，并使用部分?jǐn)?shù)據(jù)進(jìn)行驗證，圖4 為轉(zhuǎn)向盤握力信號采集流程。信號采集時，先使用壓力傳感器將握力信息轉(zhuǎn)化為電壓信號，電壓信號經(jīng)分壓電路傳送至AD轉(zhuǎn)換器，電壓信號通過AD轉(zhuǎn)換器轉(zhuǎn)化為數(shù)字量，轉(zhuǎn)換的數(shù)據(jù)通過Arduino 單片機(jī)（微處理器）從串口（USB接口）傳輸至計算機(jī)，在計算機(jī)上利用Arduino IDE 把握力信息保存至SD 卡，進(jìn)而得到用于檢測的握力信息。結(jié)果表明所構(gòu)建的模型對疲勞識別精度較高[25]。Mcdonald等人通過將轉(zhuǎn)向角、踏板開合度、車速和加速度等信息輸入動態(tài)的貝葉斯網(wǎng)絡(luò)算法中進(jìn)行駕駛員的疲勞檢測[26]。由于真實道路和駕駛員的不確定性，有效地學(xué)習(xí)駕駛員的疲勞特征表示這一問題，Li等人使用方向盤轉(zhuǎn)角序列的近似熵對輸入數(shù)據(jù)進(jìn)行裁剪，通過LSTM（long short-term memory）單元挖掘疲勞特征。最后利用信息獲取方法得出潛在特征與疲勞之間的相關(guān)性，進(jìn)而獲得最佳的駕駛員疲勞特征[27]。Li等人提出一種通過檢測方向盤握力來測量駕駛員疲勞的方法。該方法通過分析駕駛員操作車輛的方向盤握力與握力標(biāo)準(zhǔn)偏差之間的差值，來判斷駕駛員狀態(tài)。同時采集駕駛員的自我疲勞評估、腦電信號、眨眼頻率，在實際道路駕駛中進(jìn)行交叉驗證。研究表明，所提方法總體識別率為86.6%，單獨識別率為88.3%[28]。

基于駕駛員行為的疲勞檢測方法中信息采集比較便捷，成本較低，不會影響駕駛員的正常駕駛，設(shè)備小易于攜帶且精度相對較高。市場前景好，易于推廣使用，但這種檢測方法受駕駛行為的影響較大。

2.2.3 基于駕駛員生理特征的檢測方法

由于人們的工作和生活方式發(fā)生了改變，導(dǎo)致了人產(chǎn)生疲勞癥狀。對于駕駛員的疲勞駕駛的檢測也是先從醫(yī)學(xué)角度入手，通過使用醫(yī)療設(shè)備來對駕駛員進(jìn)行檢測[29]。人體的生理信號一直被認(rèn)為是疲勞駕駛檢測的“金標(biāo)準(zhǔn)”，由于生理信號主要是通過粘貼在人的身體上的傳感器進(jìn)行采集的，它能夠直接反映出駕駛員的身體狀況。生理特征主要有：腦電信號（electroencephalography，EEG）、眼電信號（electro-oculogram，EOG）、心電信號（electrocardiogram，ECG）、肌電信號（electromyogram，EMG）等。

研究發(fā)現(xiàn)當(dāng)人進(jìn)入疲勞狀態(tài)時，EEG 中的delta 波和theta 波的頻率會顯著提高，而alpha 波的頻率只會小幅增長。因此，通過EEG 中的三個波形的變化規(guī)律可以反應(yīng)出駕駛員的狀態(tài)。Lal等人通過分析受試者在駕駛模擬實驗中心理和生理的變化，總結(jié)出人在疲勞時腦電圖中的delta 波和theta 波活性顯著加強(qiáng)[30]。Houshmand等人提出一種基于腦電alpha紡錘波的早期駕駛員疲勞檢測方法。該方法采用連續(xù)小波變換（continuous wavelet transform，CWT）和Morlet 函數(shù)檢測腦電特征，并利用卷積神經(jīng)網(wǎng)絡(luò)對腦電信號進(jìn)行分類，自動學(xué)習(xí)早期嗜睡狀態(tài)的特征，進(jìn)而對駕駛員的疲勞進(jìn)行檢測[31]。目前基于EEG 信號的相關(guān)研究僅針對二元分類（即警惕狀態(tài)和疲勞狀態(tài)）。同時基于腦電信號的腦機(jī)接口系統(tǒng)存在信號不平穩(wěn)以及類別稀少的問題。Jeong等人不僅分析了兩種心理狀態(tài)的分類，也分析了對疲勞等級進(jìn)行高精度分類的可行性。提出一個深度時空卷積雙向長短時記憶網(wǎng)絡(luò)（DATCLN）模型，首先使用BrainAmp設(shè)備采集受試者在模擬夜間飛行環(huán)境中持續(xù)飛行1 h的腦電數(shù)據(jù)，將所采集的數(shù)據(jù)進(jìn)行預(yù)處理；其次，經(jīng)過處理之后的數(shù)據(jù)輸入模型進(jìn)行檢測；最后，將EEG信號的疲勞等級分為（非常警覺（VA）、相當(dāng)警覺（FA）、既不警覺也不困倦（NAS）、困倦但不努力保持清醒（SNEA）和非常困倦（VS））五個階段。同時利用KSS（karolinska sleepiness scale）表評估了兩種心理狀態(tài)和五種疲勞等級的分類表現(xiàn)?？偲骄诸惵史謩e為0.87（±0.01）和0.69（±0.02）。進(jìn)一步證明利用深度學(xué)習(xí)對五種疲勞等級進(jìn)行高精度分類的可行性。該種分類方法是第一種僅使用EEG 信號將疲勞詳細(xì)分類的方法[32]。由于傳統(tǒng)計算信號熵特征的方法只在單個尺度上分析數(shù)據(jù)，試驗結(jié)果不穩(wěn)定。Zou 等人提出一種基于經(jīng)驗?zāi)Ｊ椒纸猓╡mpirical mode decomposition，EMD）多尺度熵的額頭腦電圖信號處理方法。該方法在傳統(tǒng)模糊熵的基礎(chǔ)上加入尺度信息，采用EMD技術(shù)，對EEG信號進(jìn)行處理，并應(yīng)用隨機(jī)森林算法對所提取的特征進(jìn)行分類，進(jìn)而對駕駛員的疲勞進(jìn)行檢測.研究表明，所提方法的準(zhǔn)確率最高為88.74%[33]。Chinara等人提出一種基于單通道腦電的疲勞檢測模型，該模型利用小波包變換從單通道EEG 信號中提取時域特征。通過對時域特征進(jìn)行分析對駕駛員的狀態(tài)進(jìn)行分類，進(jìn)而識別出駕駛員的狀態(tài)[34]。Liu 等人提出了一種基于EEG 的腦疲勞檢測方法。該方法通過設(shè)計的2-back 任務(wù)的疲勞誘發(fā)實驗中采集EEG信號。利用ReliefF算法計算特征下每個通道的權(quán)值，并分析其分類精度。利用精度加權(quán)和得到通道的權(quán)重值。然后，從權(quán)重值大的通道中提取時域和頻域特征。采用稀疏表示方法得到融合特征作為分類器的輸入。最后，使用SRDA分類器檢測疲勞狀態(tài)。研究表明，所提方法可以減少計算通道數(shù)量，提高了心理疲勞檢測的準(zhǔn)確性[35]。Zheng等人提出了一種了結(jié)合腦電圖和眼電圖的多模態(tài)方法來估計警覺。圖5 為驗證所提方法是否與真實受試者行為和認(rèn)知狀態(tài)一致。圖中顯示駕駛員從清醒到疲勞整個實驗過程的警惕性持續(xù)估計，圖中的抓拍與不同警戒下的幀數(shù)一一對應(yīng)。從中可以清晰看出駕駛員從清醒狀態(tài)到疲勞狀態(tài)整個過程中PERCLOS、EOG、EEG、融合特征、連續(xù)性條件神經(jīng)場以及連續(xù)條件隨機(jī)場的變化情況。結(jié)果表明與單一模式相比，模式融合有效提升警覺估計的性能。同時與清醒狀態(tài)相比，疲勞時theta 和alpha 頻率活動增加，而gamma頻率活動減少[36]。

Gromer 等人開發(fā)了一種低成本的心電圖傳感器，利用該傳感器采集心率變異性（heart rate variability，HRV）信息。通過采集的信息檢測駕駛員是否疲勞駕駛[37]。徐禮勝等人提出一種基于短時心電信號的疲勞駕駛檢測算法。首先，利用截取的短時心電信號序列計算R-R間期序列的時域/頻域特征。通過ImageNet數(shù)據(jù)集訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)而提取特征。將所提取特征與R-R 間期序列的時頻/頻域特征結(jié)合，利用隨機(jī)森林分類器進(jìn)行分類，進(jìn)而對駕駛員進(jìn)行疲勞檢測[38]。Murugan 等人將疲勞視為一種低警覺狀態(tài)，并將駕駛員的狀態(tài)分為正常、困倦、疲勞、視覺和認(rèn)知注意力不集中五類。通過駕駛模擬器模擬以上五類駕駛員的狀態(tài)來采集ECG 信號，從ECG 信號中提取低警覺狀態(tài)的特征，使用單因素方差分析方法對提取的特征進(jìn)行統(tǒng)計顯著性分析，并利用主成分分析（principle component analysis，PCA）來選取特征。最后，利用SVM、KNN（K-nearest neighbor）和集成分類器對特征進(jìn)行分類，進(jìn)而檢測出駕駛員的狀態(tài)[39]。Lee 等人使用可穿戴ECG或PPG 傳感器采集HRV 信號來檢測駕駛員的疲勞。為了將存在噪聲的HRV 信號區(qū)分為疲勞或不疲勞，分析了由心跳RRIs（R-R intervals）生成的Bin-RP（binrecurrence plot）、Cont-RP（continuous-recurrence plot）和ReLU-RP（ReLU-recurrence plot）三種類型的遞歸圖，并將其都用作CNN（convolutional neural network）的輸入特征。同時檢查每種分類模式的有用性。研究表明，不論使用哪種采集傳感器，ReLU-RP-CNN能更好地區(qū)分清醒和疲勞狀態(tài)。與Bin-RP 和Cont-RP 結(jié)果相比，ReLU-RP-CNN在疲勞/不疲勞的分類中分別將PPG和ECG的準(zhǔn)確率提高約4%～14%和6%～17%[40]。Salvati等人提出一種基于HRV的ANS（autonomic nervous system）檢測駕駛員疲勞的方法。該方法利用集成在座椅靠背中的傳感器采集HRV信號。從RRI數(shù)據(jù)中提取心電信號的特征，利用疲勞檢測模型實時評估駕駛員的狀態(tài)。并利用PERCLOS 對所提方法進(jìn)行驗證顯示，與實驗結(jié)果的符合率為63%。進(jìn)而表明所提方法能持續(xù)監(jiān)測駕駛員狀態(tài)的有效性[41]。

Wang等人提出了基于肌電圖的駕駛疲勞非接觸檢測方法。通過采集了受試者二頭肌的肌電圖信號，從肌電圖中選取峰值因子（Fc）為特征來檢測受試者的疲勞，研究顯示該方法可明顯區(qū)分正常與疲勞狀態(tài)[42]。Fan等人提出并開發(fā)了一種有效檢測駕駛員異常行為的方法，即SafeDriving。該方法首先利用置于前臂上的肌電傳感器采集EMG，根據(jù)設(shè)定的異常駕駛行為對樣本標(biāo)記。然后使用標(biāo)記數(shù)據(jù)，設(shè)計和訓(xùn)練分類器，以提高檢測方法的性能。研究表明，GRU（gated recurrent unit）分類器可以很好地檢測駕駛員的異常行為，其精確度為93.94%[43]。

雖然這種檢測方法精確度很高、魯棒性很好，但是需要穿戴信息采集設(shè)備，會影響駕駛員的操作。同時試驗成本較高，設(shè)備較大不宜裝車以及個體差異性較大，從而致使這種檢測方法大多是在試驗室或駕駛模擬器上使用，不宜推廣。

2.2.4 基于駕駛員面部特征的檢測方法

基于面部特征的檢測方法是指通過攝像頭等圖像傳感器獲取到的面部視頻為基礎(chǔ)，運用機(jī)器視覺中人臉識別、面部特征點定位等技術(shù)手段，對駕駛員的臉部變化如注視方向、眼睛張開程度（eye aspect ratio，EAR）、眨眼頻率、單位時間內(nèi)眼睛閉合程度（percentage of eyelid closure over tine，PERCLOS）、嘴巴開合度（mouth aspect ratio，MAR）、頭部運動情況以及頭部旋轉(zhuǎn)角等特征進(jìn)行提取，運用算法將所提取特征進(jìn)行駕駛員疲勞駕駛檢測。該檢測方法根據(jù)人臉不同部位疲勞特征表現(xiàn)不同又可分為基于眼睛特征的檢測方法、基于嘴巴特征的檢測方法以及基于頭部特征的檢測方法三類。

在基于眼睛特征的檢測方法中，最開始研究眼睛與疲勞關(guān)系的學(xué)者是Walt Wirewille。他通過模擬對比試驗研究眼睛在受到光的作用下與疲勞的相關(guān)性，結(jié)論表明眼睛的閉合時間與疲勞的程度呈正相關(guān)[44]。在此基礎(chǔ)上，卡內(nèi)基梅隆研究所經(jīng)過反復(fù)試驗和論證，得出度量疲勞的物理量PERCLOS，將其定義為一定時間內(nèi)眼睛的閉合程度。PERCLOS 有三個標(biāo)準(zhǔn)分別是EM 標(biāo)準(zhǔn)、P70標(biāo)準(zhǔn)、P80標(biāo)準(zhǔn)。其中P80標(biāo)準(zhǔn)在反映人的疲勞狀態(tài)遠(yuǎn)優(yōu)于其他標(biāo)準(zhǔn)，所以科研人員經(jīng)常選用該標(biāo)準(zhǔn)來判斷駕駛員的精神狀態(tài)[45]。

由于人戴眼鏡會使疲勞檢測的性能和魯棒性降低，Tao等人提出了一種基于人臉定位算法的疲勞檢測方法。首先，利用每個眼睛的6個關(guān)鍵點定位駕駛員的眼睛；其次，將提取的HOG（histogram of oriented gradients）特征輸入SVM 分類器中來識別眼睛狀態(tài)；最后，計算PERCLOS 的值與閾值進(jìn)行比較確定駕駛員是否困倦。該方法可快速檢測人眼狀態(tài)和實時報警[46]。文獻(xiàn)[47]設(shè)計了一種基于機(jī)器視覺的駕駛員疲勞檢測機(jī)制。使用Adaboost 算法進(jìn)行人臉檢測并定位眼睛區(qū)域，經(jīng)預(yù)處理消除眉毛，再用模糊綜合評價算法對眼睛的開合狀態(tài)進(jìn)行分析，最后根據(jù)PERCLOS 原理判斷駕駛員是否疲勞駕駛。圖6為駕駛員疲勞檢測結(jié)果，其中左側(cè)為夜間環(huán)境下使用紅外線攝像頭進(jìn)行駕駛員疲勞檢測的結(jié)果顯示圖，右側(cè)為白天正常光線下疲勞檢測結(jié)果顯示圖。Zhuang等人提出一種基于瞳孔和虹膜分割的眼睛開合度疲勞檢測方法。該方法通過Dlib 算法提取眼睛圖像。使用分割網(wǎng)絡(luò)提取眼睛圖像中的瞳孔和虹膜特征。并利用決策網(wǎng)絡(luò)評估眼睛的開合度。最后根據(jù)眼睛的開合度計算PERCLOS 值，以預(yù)測駕駛員的狀態(tài)。該方法在NTHU-DDD 數(shù)據(jù)集上進(jìn)行測試，疲勞檢測準(zhǔn)確率為96.72%[48]。Bakheet等人提出一種新興的駕駛員疲勞檢測框架。該框架通過攝像頭采集駕駛員人臉圖像，利用自適應(yīng)對比度限制直方圖均衡算法對采集的人臉圖像進(jìn)行預(yù)處理。然后，通過基于類Haar 特征的級聯(lián)AdaBoost分類器檢測駕駛員的面部。采用改進(jìn)ASM（active shape model）算法定位眼睛區(qū)域。從眼睛區(qū)域中提取二值化方向偏移的HOG 特征。最后，將提取的特征輸入NB（Na?ve Bayes）分類器預(yù)測眼睛狀態(tài)。進(jìn)而判斷駕駛員的狀態(tài)[49]。

基于嘴巴特征的檢測方法中，在司機(jī)出現(xiàn)疲勞癥狀時，嘴巴會不受控制的打哈欠、嘴巴張開程度較大以及張開時間相對較長。在早期的嘴部特征疲勞研究中，Wang等人提出一種新的駕駛員嘴部運動的疲勞監(jiān)測方法。通過持續(xù)監(jiān)測和追蹤司機(jī)的嘴部運動，對嘴部運動進(jìn)行了分類，進(jìn)而在司機(jī)疲勞時發(fā)出警告[50]。打哈欠是疲勞的一個顯著標(biāo)志，為了使檢測器的響應(yīng)足夠快，Anitha 等人提出一種基于雙代理專家系統(tǒng)的新型哈欠檢測系統(tǒng)，該系統(tǒng)將人臉分割為上下兩部分，人臉下部分用于提取嘴部特征，利用二值圖像來檢測是否打哈欠，如圖7 所示。圖中所示為當(dāng)駕駛員在無遮擋、正面以及戴/不戴眼鏡的情形下的哈欠疲勞檢測過程，其中原始圖像（a）經(jīng)過預(yù)處理后，提取到嘴部特征（b），在經(jīng)過哈欠檢測器處理得到（c），最后得出哈欠特征的直方圖（d），通過分析哈欠特征的直方圖，進(jìn)而判別出司機(jī)的狀態(tài)[51]。文獻(xiàn)[52]通過分析睡眠不足與警覺駕駛員的標(biāo)記視頻數(shù)據(jù)集，論證了面部接觸、人臉遮掩及打哈欠之間的聯(lián)系。進(jìn)而提出面部接觸可作為檢測疲勞的新方向。同時還提出一種基于嘴巴和眼睛區(qū)域的幾何和外觀特征的自動哈欠檢測方法。Adhinata 等人提出將人臉特征提取的FaceNet 算法與K-NN 或多類SVM 分類方法相結(jié)合的一種疲勞檢測方法。通過FaceNet算法進(jìn)行特征的提取，并分析比較了K-NN和多類SVM對獲取特征分類的準(zhǔn)確率。FaceNet算法的特征提取取決于每個類別中面部特征的相似性。研究表明，F(xiàn)aceNet 算法與K-NN 結(jié)合使用的準(zhǔn)確率為94.68%，遠(yuǎn)遠(yuǎn)優(yōu)于多類SVM，而所提方法處理一幀圖像的速度為0.061 s，符合實時監(jiān)測的要求[53]。

基于頭部姿態(tài)的檢測方法中，在司機(jī)出現(xiàn)疲勞癥狀時，人會不由自主進(jìn)行點頭動作，導(dǎo)致頭部的位置與注視方向發(fā)生變化。由此可將點頭頻率、頭部姿態(tài)角以及視線偏離作為疲勞特征進(jìn)行疲勞檢測。為了彌補眼睛特征檢測疲勞的不足，李勇達(dá)等人提出了基于頭部姿態(tài)特征的列車司機(jī)疲勞駕駛檢測方法。所提方法先使用AdaBoost 算法定位人臉，再使用Cameshift 算法跟蹤臉部并計算人臉的旋轉(zhuǎn)角速度以及角加速度。依據(jù)頭部的傾斜角度和旋轉(zhuǎn)角速度綜合推斷列車司機(jī)的疲勞狀態(tài)[54]。傳統(tǒng)的頭部姿態(tài)計算方法是通過人臉來估計關(guān)鍵點，并利用平均頭部模型求解二維到三維的對應(yīng)問題，相對比較復(fù)雜。文獻(xiàn)[55]提出一種便捷而穩(wěn)定的頭部姿勢的估計方法。該方法是通過多損耗深度網(wǎng)絡(luò)從像素強(qiáng)度中預(yù)測頭部的姿態(tài)角，進(jìn)而判斷出司機(jī)的狀態(tài)。Ansari等人提出一種基于改進(jìn)Adam優(yōu)化算法的深度學(xué)習(xí)網(wǎng)絡(luò)ReLU-BiLSTM來測量疲勞的新方法。該方法使用XSENS運動抓取系統(tǒng)來捕獲司機(jī)頭部姿態(tài)的變化規(guī)律，進(jìn)而檢測出司機(jī)的疲勞程度。圖8為所提出的疲勞檢測方法。該研究方法中，研究人員讓受試者佩戴MCS（motion capture system）在driver-in-loop（DIL）模擬器構(gòu)建的模擬駕駛環(huán)境中駕駛車輛，并利用MCS 的傳感器將所采集的數(shù)據(jù)通過Matlab 車輛動力學(xué)模型結(jié)合3D虛擬引擎可視化器進(jìn)行實時仿真受試者在模擬駕駛過程中的姿態(tài)變化，進(jìn)而捕獲受試者的頭部姿態(tài)變化。將頭部姿態(tài)變化數(shù)據(jù)輸入Matlab深度學(xué)習(xí)模型中，依據(jù)疲勞的模式進(jìn)行疲勞檢測[56]。Zhang等人提出一種基于人臉關(guān)鍵點頭部姿態(tài)估計的駕駛員疲勞檢測方法。該方法利用攝像機(jī)實時捕獲人臉視頻。采用基于模型的方法估計頭部姿態(tài)的。使用Dlib 工具包來判斷駕駛員的眼睛狀態(tài)、嘴巴狀態(tài)和頭部姿態(tài)。研究表明，所提方法可準(zhǔn)確判斷駕駛員的狀態(tài)[57]。

基于駕駛員面部特征的檢測方法中，通過機(jī)器視覺技術(shù)得以實現(xiàn)，而機(jī)器視覺技術(shù)是利用機(jī)器學(xué)習(xí)算法運行的[58]。以下是最近幾年內(nèi)新興的用于駕駛員面部特征疲勞檢測方法的機(jī)器學(xué)習(xí)算法。

You 等人提出一種考慮駕駛員個體差異的實時疲勞駕駛檢測算法。該算法由離線訓(xùn)練和在線監(jiān)控兩個模型組成。離線訓(xùn)練模型中以EAR 為輸入，訓(xùn)練基于SVM 的分類器。在線監(jiān)控模型中，利用訓(xùn)練好的分類器在線監(jiān)測駕駛員的狀態(tài)。由于疲勞駕駛狀態(tài)是逐漸產(chǎn)生的，因此引入以單位時間內(nèi)的疲勞幀數(shù)計算的變量來評估駕駛員的疲勞狀態(tài)。該算法在模擬駕駛應(yīng)用中的準(zhǔn)確率為94.80%。通過對比實驗，表明該算法在準(zhǔn)確性和速度上都優(yōu)于目前的駕駛疲勞檢測方法[59]。Zhang 等人建立了一種疲勞特征參數(shù)優(yōu)化選擇算法。算法的基本思想是利用SFFS算法從疲勞特征中搜索最優(yōu)特征子集，以最優(yōu)子集為輸入，建立了通用的疲勞運動檢測模型。由于運動員個體差異對疲勞檢測的影響，根據(jù)特征參數(shù)計算個性參數(shù)，進(jìn)而建立了自適應(yīng)檢測模型。傳統(tǒng)的基于瞳孔開合的疲勞檢測算法由于使用單一特征進(jìn)行疲勞識別，魯棒性較差，而所提方法可將PERCLOS 標(biāo)準(zhǔn)應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在綜合人臉特征的基礎(chǔ)上識別人臉的疲勞狀態(tài)，提高算法的魯棒性[60]。Liu等人提出一種基于人臉多特征的疲勞檢測算法，該算法將多個面部特征（如閉眼持續(xù)時間、點頭和打哈欠）反饋給卷積雙流網(wǎng)絡(luò)，稱為gamma 疲勞檢測網(wǎng)絡(luò)。該算法首先利用多任務(wù)級聯(lián)CNN定位駕駛員的眼睛和嘴巴。其次從局部人臉圖像中提取靜態(tài)特征。然后，從局部人臉光流中提取動態(tài)特征。最后，將靜態(tài)和動態(tài)特征使用雙流神經(jīng)網(wǎng)絡(luò)組合，以對圖像數(shù)據(jù)進(jìn)行分類。使用NTHU-DDD 數(shù)據(jù)集對該算法進(jìn)行了驗證，準(zhǔn)確率為97.06%[61]。Ji 等人提出一種基于多指標(biāo)融合和狀態(tài)識別網(wǎng)絡(luò)的疲勞檢測算法。算法采用MTCNN（multi-scale CNN）進(jìn)行人臉檢測和人臉關(guān)鍵點檢測，根據(jù)眼睛中心點對人臉校正，提取人臉圖像中的眼睛和嘴巴圖像。然后，利用提取的圖像構(gòu)建識別網(wǎng)絡(luò)來提取特征。最后，將所提取的特征進(jìn)行融合，結(jié)合融合特征，建立疲勞判斷模型，進(jìn)而分析駕駛員的疲勞狀態(tài)。該算法在人眼數(shù)據(jù)集上的準(zhǔn)確率為98.42%，在張口數(shù)據(jù)集上的準(zhǔn)確率為97.93%[62]。Zhao等人提出一種全自動駕駛員疲勞狀態(tài)檢測算法。算法采用MTCNN 結(jié)構(gòu)進(jìn)行人臉檢測和特征點定位。其次，對眼睛和嘴巴的狀態(tài)進(jìn)行分類，并通過特征點提取感興趣區(qū)域；然后，通過所提出EM-CNN（eye and mouth-CNN）從感興趣區(qū)域中檢測眼睛和嘴巴的狀態(tài)。最后，結(jié)合MAR、PERCLOS 以及張口率來識別駕駛員的疲勞狀態(tài)。研究表明，所提出的EM-CNN 算法的精確率為93.623%[63]。由于大多數(shù)算法不從駕駛員特征中分析駕駛狀態(tài)，這樣就會出現(xiàn)誤差。Li 等人提出一種結(jié)合駕駛員特征的人臉多特征融合的疲勞駕駛監(jiān)測算法。算法主要包括三個模塊：（1）身份錄入。使用攝像頭采集駕駛員的生物特征圖像、眼睛圖像和嘴巴圖像，利用YOLOv3定位人臉區(qū)域；利用Dlib工具包提取面部特征點，計算128維面部特征向量、眼鏡特征向量（eye feature vector，EFV）和嘴巴特征向量（mouth feature vector，MFV）；利用采集的圖像訓(xùn)練SVM分類器；將生物特征、眼睛以及嘴巴的分類器存儲在身份信息庫。（2）身份驗證。將采集生物特征圖像與身份信息庫中存儲的生物特征進(jìn)行比較；根據(jù)比較結(jié)果，調(diào)用信息庫中的分類器進(jìn)行識別。（3）在線識別。實時計算駕駛視頻中人臉圖像的EFV和MFV；使用（1）中的分類器判斷眼睛與嘴巴狀態(tài)；計算出PERCLOS、眨眼頻率和打哈欠頻率，進(jìn)而判斷駕駛員的狀態(tài)[64]。You等人提出一種基于人臉運動信息熵的實時駕駛員疲勞檢測算法。該算法利用改進(jìn)的YOLOv3微型CNN在不同的復(fù)雜條件下定位視頻中的臉部位置。其次，使用Dlib 工具包、人臉位置的特征構(gòu)建FFT（face feature triangle），同時基于FFT信息創(chuàng)建人臉特征向量。然后，提取人臉特征向量，組建疲勞狀態(tài)數(shù)據(jù)集。最后，通過采樣器提取面部運動信息熵。將信息熵與閾值進(jìn)行比較，以評估駕駛員的疲勞狀態(tài)。結(jié)果顯示，算法能實時檢測駕駛員的狀態(tài)，其準(zhǔn)確率為94.32%[65]。為了提高駕駛員疲勞檢測的準(zhǔn)確性和實時性，Liu 等人提出一種基于面部表情分析的疲勞檢測算法。算法中通過MB_LBP（multi block local binary patterns）特征是在Haar_like 特征和LBP 特征的基礎(chǔ)上發(fā)展而來的。與傳統(tǒng)的LBP 特征相比，MB_LBP 可從不同尺度上檢測圖像。在FDDB數(shù)據(jù)集上的測試結(jié)果發(fā)現(xiàn)，所提出人臉檢測模型靈敏度和精確性均高于基于傳統(tǒng)的LBP 特征和Haar_like特征的人臉檢測模型[66]。表2為基于駕駛員面部特征疲勞檢測各類算法的總結(jié)。

表2 基于面部特征的疲勞檢測算法Table 2 Fatigue detection algorithm based on facial features

基于駕駛員面部特征的疲勞檢測方法具有成本低、不需接觸、檢測方便、設(shè)備較小易于裝車、準(zhǔn)確度相對較好以及可以實時檢測駕駛疲勞等優(yōu)勢。但是若駕駛員頭部偏轉(zhuǎn)過大、佩戴墨鏡以及環(huán)境光線不足時，會出現(xiàn)無法識別的現(xiàn)象。雖然存在以上的問題，但是目前疲勞檢測方法依舊以該種檢測方法為主，市場前景好。

2.2.5 基于多特征融合的疲勞檢測

上述基于四種人體特征的被動檢測方法均存在各自的優(yōu)缺點，因此有學(xué)者提出了一種多特征融合的疲勞駕駛檢測方法?；诙嗵卣魅诤系臋z測方法是從汽車主動安全性出發(fā)，利用數(shù)字圖像信號處理和傳感器技術(shù)，結(jié)合駕駛員的各種疲勞特征對駕駛員的疲勞狀態(tài)進(jìn)行判別與預(yù)警。與單一特征的疲勞檢測相比，降低了誤檢或漏檢的概率，提升了檢測的精確性和穩(wěn)定性[67]。

Zhu 等人提出了一種基于任務(wù)約束深度神經(jīng)網(wǎng)絡(luò)（tasks-constrained deep convolutional network，TCDCN）面部多特征融合的駕駛員疲勞綜合檢測方法，該方法利用人臉視頻序列檢測駕駛員的疲勞狀態(tài)。該方法是基于68 個關(guān)鍵點來檢測人臉區(qū)域，解決了由于每個任務(wù)的收斂速度不同而導(dǎo)致的優(yōu)化問題，并根據(jù)實時人臉視頻圖像，分別計算EAR、MAR 和PERCLOS。根據(jù)以上三個特征值所占不同權(quán)重，估算融合特征值。最后通過駕駛員疲勞綜合評估模型評估融合特征值的幀數(shù)進(jìn)而確定駕駛員的疲勞程度。通過對比實驗表明該算法在駕駛員疲勞檢測的精度和速度上效果較好，同時應(yīng)用該方法可以有效避免因佩戴眼鏡/墨鏡而導(dǎo)致檢測準(zhǔn)確度下降[68]。Hong等人提出一種通過腦電圖結(jié)合光容積描記法和心電圖描記法檢測駕駛員疲勞的方法，該方法所用的設(shè)備如圖9。其中最左側(cè)為實驗所用的駕駛模擬器和記錄儀，中間為佩戴耳道腦電圖的電極的受試者，最右側(cè)為耳道腦電圖的三維設(shè)計圖[69]。Vardhan等人提出一種基于面部多特征實時疲勞檢測系統(tǒng)。該系統(tǒng)采用方向梯度直方圖（histogram of oriented gradients，HOG）識別每一幀中的人臉。通過狀態(tài)向量機(jī)（state vector machine，SVM）檢測眼睛和嘴巴特征，進(jìn)而判別出駕駛員的狀態(tài)[70]。Jia 等人提出一種基于深度學(xué)習(xí)和臉部多指標(biāo)融合的疲勞駕駛檢測算法。該算法通過改進(jìn)多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（MTCNN），準(zhǔn)確提取出眼睛和嘴巴的特征。將所提取特征輸入眼睛和嘴巴狀態(tài)識別網(wǎng)絡(luò)（E-MSR Net）中進(jìn)行狀態(tài)分析，最后將眼睛閉合率（eye closure rate，ECR）、嘴巴張開率（mouth opening rate，MOR）以及頭部非正面率（head non-positive face rate，HNFR）三個特征進(jìn)行融合來判斷司機(jī)的狀態(tài)，流程如圖10 所示。首先，通過攝像頭捕獲駕駛員面部圖像；其次，利用多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)定位人臉和人臉的關(guān)鍵點檢測，根據(jù)檢測到的關(guān)鍵點，確定眼睛和嘴巴的位置；然后，將其輸入識別網(wǎng)絡(luò)進(jìn)行狀態(tài)識別；最后利用人臉多指標(biāo)融合策略來判斷駕駛員的疲勞狀態(tài)[71]。由于現(xiàn)有的檢測方法忽視了疲勞特征的時間信息與特征之間的關(guān)系。Du等人提出一種新穎的多模式融合遞歸神經(jīng)網(wǎng)絡(luò)（multimodal fucused on recurrent neural network，MFRNN）。首次使用RGB-D 攝像頭提取心率、EAR和MAR三個疲勞特征。該網(wǎng)絡(luò)利用RNN（recurrent neural network）層提取疲勞特征的時間信息。由于心率是間接提取的，存在噪聲和模糊性，因此通過模糊推理與RNN結(jié)合的方式提取心率特征的時間信息。將所提取疲勞特征的時間信息作為所提網(wǎng)絡(luò)的輸入，然后將其進(jìn)行融合，進(jìn)而檢測出駕駛員的狀態(tài)[72]。Li 等人提出一種基于人臉圖像的疲勞檢測系統(tǒng)REDE（recognizing the drowsy expression）。系統(tǒng)利用Dlib 算法從所采集的人臉圖像中提取左右眼睛和嘴巴的位置區(qū)域。利用LBP（local binary patterns）算法從眼睛和嘴巴圖像中提取特征，并應(yīng)用RBF 核訓(xùn)練SVM 模型進(jìn)行分類。通過靈敏度、特異性、準(zhǔn)確度和馬修斯相關(guān)系數(shù)來評估模型。研究顯示，REDE 性能優(yōu)異，可進(jìn)行實時疲勞檢測[73]。Zhao 等人提出了一種基于InceptionV3-LSTM 的多特征融合疲勞檢測方法。該方法首先使用InceptionV3 提取眼睛的狀態(tài)，經(jīng)過LSTM 處理得到時間序列特征組。然后，利用BVP（blood volume pulse）方法獲取HRV信號，并提取由LF（low frequency）/HF（high frequency）比值計算閾值。最后，將LSTM 輸出的特征與HRV 信號的閾值進(jìn)行融合，進(jìn)而檢測駕駛員的狀態(tài)。研究表明，所提方法的準(zhǔn)確率為96.5%[74]。

多特征融合的疲勞檢測方法可以改進(jìn)目前疲勞檢測存在的環(huán)境適應(yīng)性差，光線不足等問題，同時可以整合不同特征的優(yōu)勢，以提高檢測精確性。由此這種檢測方法將會成為未來疲勞駕駛檢測的重點研究方向。

3 現(xiàn)階段疲勞駕駛檢測方法存在的不足

疲勞駕駛檢測方法被廣泛應(yīng)用于多種交通運輸工具。不論是從主動檢測方面，還是被動檢測方面，大量的研究表明熟悉被檢測人員的真實的生理與精神狀態(tài)，可以實時了解駕駛員是否疲勞駕駛，進(jìn)而有效避免交通事故的發(fā)生。通過對上述文獻(xiàn)進(jìn)行整理和分析，得出目前駕駛員疲勞檢測方法存在的不足，主要體現(xiàn)在以下幾個方面：

（1）試驗樣本數(shù)據(jù)缺乏參與者的年齡多樣性和性別差異，以及未對駕駛員的疲勞進(jìn)行量化。文獻(xiàn)[28，33，41]沒有考慮個體差異性而導(dǎo)致檢測精度較低。文獻(xiàn)[32，34，39，48，55，57]都是運用不同的方法對疲勞進(jìn)行分類和評估。

（2）疲勞駕駛檢測試驗大多是通過駕駛模擬器或室內(nèi)模擬設(shè)備開展的，缺乏真實性。文獻(xiàn)[22]在實際道路和模擬道路上都進(jìn)行了試驗，發(fā)現(xiàn)兩者存在差別。文獻(xiàn)[25]在實際道路上進(jìn)行試驗，得到的結(jié)果較為滿意。

（3）基于主動檢測法的疲勞駕駛因素分析不全面，以及在試驗中未對參與者觀點的權(quán)重進(jìn)行考慮。同時，該種檢測方法適用范圍有限。文獻(xiàn)[32，48]運用主被動結(jié)合的檢測方法進(jìn)行疲勞檢測，所得到的結(jié)果更符合實際。

（4）生理信號的測量受穿戴裝置的不確定性影響，試驗成本較高、設(shè)備體積大。同時，由于個體性差異，導(dǎo)致其自適應(yīng)性很差。文獻(xiàn)[31，33，36]等大多數(shù)的基于腦電的疲勞研究，所用設(shè)備均較大，不易移動，且難以進(jìn)行實時疲勞檢測。

（5）目前被動檢測法的算法未能達(dá)到實際公開道路試驗精確度和魯棒性的要求。文獻(xiàn)[21，31，36，40]所用算法均是在實驗室內(nèi)進(jìn)行疲勞檢測的，文獻(xiàn)[59-66]所提出的算法大都處于仿真優(yōu)化階段，并未在公開道路驗證算法的精確性和魯棒性。

（6）當(dāng)前駕駛環(huán)境、光線、駕駛員的頭部或身體旋轉(zhuǎn)過大以及墨鏡或眼鏡的佩戴都會增加疲勞檢測的難度。目前對于駕駛員佩戴眼鏡情形的疲勞檢測已有較大的進(jìn)展。文獻(xiàn)[65]和[68]均可以對佩戴眼鏡的駕駛員進(jìn)行眼鏡的識別與檢測。對于另外幾種情形的疲勞檢測的研究相對較少。

4 未來的研究趨勢

目前，國內(nèi)外對駕駛員疲勞檢測的方法有很多，但大多數(shù)依舊處于試驗階段。本文通過對疲勞檢測方法存在的不足進(jìn)行分析，總結(jié)出未來的研究趨勢如下：

（1）由于個體差異性導(dǎo)致每一位駕駛員的駕駛行為都會存在差別。未來可進(jìn)一步增加不同年齡段試驗駕駛員，同時也增加女性試驗駕駛員的比例，進(jìn)而構(gòu)建更為全面的疲勞檢測數(shù)據(jù)集。

（2）由于疲勞駕駛試驗存在一定的風(fēng)險，大多數(shù)的疲勞檢測試驗均是通過模擬駕駛試驗開展的。未來的疲勞檢測試驗可以從模擬駕駛試驗轉(zhuǎn)向封閉道路試驗，這樣可以極大程度地貼合實際情況。

（3）未來可通過建立一套完整的疲勞分類標(biāo)準(zhǔn)，同時構(gòu)建一個完善的疲勞等級評估體系對疲勞駕駛檢測的進(jìn)一步研究奠定理論基礎(chǔ)。目前的分類標(biāo)準(zhǔn)與評估體系都是在前人的研究的基礎(chǔ)上進(jìn)行疲勞分類和評估的。

（4）未來可以將主被動檢測法相結(jié)合的方式對駕駛員進(jìn)行疲勞檢測。在應(yīng)用主動檢測法時，應(yīng)盡量避免主觀因素的干擾，同時對參與者不同的客觀描述進(jìn)行權(quán)重的合理分配。

（5）未來可通過研發(fā)一種新型的干電極材料應(yīng)用于生理檢測來提高生理信號采集裝置的穩(wěn)定性。將生理采集系統(tǒng)進(jìn)行小巧化和無線化，進(jìn)而將數(shù)據(jù)進(jìn)行實時的處理。同時尋找能更好體現(xiàn)且易于提取的生理特征。

（6）未來可將疲勞檢測算法的測試和驗證盡可能轉(zhuǎn)移到實際道路進(jìn)行測試和驗證，這樣可極大提高實用性。目前的檢測算法無法進(jìn)行獨立的測試，必須借助第三方平臺才可實施。未來可以開發(fā)一種儲存算法的模塊，可獨立進(jìn)行測試。同時算法測試所用數(shù)據(jù)集比較單一且其對環(huán)境的要求嚴(yán)格，未來應(yīng)對算法進(jìn)行多種數(shù)據(jù)集進(jìn)行驗證，并對算法及逆行環(huán)境適應(yīng)性的測試，進(jìn)而使其在復(fù)雜環(huán)境中更具有穩(wěn)定性。

（7）未來可通過多特征融合的檢測方法對極端環(huán)境下的駕駛員進(jìn)行疲勞檢測。同時開發(fā)一種警示系統(tǒng)，當(dāng)駕駛員出現(xiàn)頭部或身體扭轉(zhuǎn)角度過大時，車載系統(tǒng)會提醒駕駛員調(diào)整好坐姿。同時進(jìn)一步研發(fā)可以增強(qiáng)所捕獲圖像的亮度的算法，以達(dá)到準(zhǔn)確識別圖像中的所有疲勞特征。