徐軍莉,王 平,穆振東

(江西科技學(xué)院 協(xié)同創(chuàng)新中心, 江西 南昌 330098)

0 引 言

疲勞駕駛是造成交通事故的主要因素之一。2017年5月交通網(wǎng)資料顯示,2016年度京滬高速淮安段共發(fā)生交通事故787起。其中因疲勞駕駛導(dǎo)致的交通事故414起,約占事故總量52.6%。因此實(shí)時(shí)檢測(cè)出駕駛員是否處于疲勞駕駛狀態(tài),并在出現(xiàn)疲勞駕駛時(shí)給出有效的預(yù)警是有著十分重要的現(xiàn)實(shí)意義。

為了降低由于疲勞引發(fā)的交通事故, 相關(guān)學(xué)者通過各種方法進(jìn)行疲勞駕駛檢測(cè)研究。根據(jù)研究手段的不同, 疲勞駕駛研究可以分為3個(gè)方向[1]：①基于車輛行為的駕駛檢測(cè), 包括車道偏離、車輛行駛速度、方向盤壓力、轉(zhuǎn)向轉(zhuǎn)速等，例如劉軍等[2]提出基于轉(zhuǎn)向盤轉(zhuǎn)角的疲勞檢測(cè)方法, 這種方法可高效地判斷出受試者的疲勞狀態(tài)；②基于駕駛行為檢測(cè), 包括眼動(dòng)行為、面部行為和頭部位置行為等，例如趙雪鵬等[3]以眼部行為為特征，提出基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的疲勞檢測(cè)算法；③基于人體生理信號(hào)的檢測(cè), 主要包括脈搏跳動(dòng)、眼電、肌電、心電和腦電等，例如HU Jianfeng[4]采用樣本熵(SE)、模糊熵(FE)、近似熵(AE)和譜熵(PE)4種熵測(cè)度對(duì)原始腦電信號(hào)進(jìn)行分析，并用10種最先進(jìn)的分類器進(jìn)行比較，發(fā)現(xiàn)將通道CP4、特征FE和分類器隨機(jī)森林(RF)相結(jié)合，可以獲得最佳的單通道性能。3種研究方式各有優(yōu)缺點(diǎn)。如利用車輛行為作為特征的優(yōu)勢(shì)在于實(shí)時(shí)性強(qiáng)，對(duì)受試者無干擾，但車輛行為特征并不能真正反映受試者疲勞的狀態(tài)變化，因而疲勞識(shí)別準(zhǔn)確率基本在80%左右；利用駕駛行為特征的疲勞檢測(cè)克服了車輛行為不能直接反映受試者疲勞狀態(tài)變化的缺點(diǎn)，疲勞檢測(cè)率達(dá)到90%左右，但它的缺點(diǎn)是受光照變化、面部表情、復(fù)雜背景等因素的影響較大；直接利用生理特征作為疲勞檢測(cè)依據(jù)識(shí)別準(zhǔn)確率最高，能達(dá)到98%以上，但是由于生理信號(hào)過于敏感，個(gè)體差異性較大，因而穩(wěn)定性較差。因此為了更好的利用多種不同信號(hào)特征的優(yōu)勢(shì)，很多研究者在疲勞檢測(cè)中綜合了多種不同的信號(hào)特征。例如白中浩等[5]利用眼睛閉合百分比Perclos(percentage of eyelid closure),眼皮的平均閉合速度Aecs(average eye closure speed)，哈欠頻率(yawning frequency)，點(diǎn)頭頻率(nod frequehcy)4個(gè)疲勞特征，借助自適應(yīng)神經(jīng)模糊推理系統(tǒng)檢測(cè)駕駛員疲勞，檢測(cè)準(zhǔn)確率達(dá)93.3%；王琳等[6]通過提取表征頸腰部肌電特性的特征參數(shù)，并對(duì)特征參數(shù)進(jìn)行主成分分析，以此為自變量建立疲勞檢測(cè)模型，檢測(cè)模型檢測(cè)率在90%以上。這些不同特征融合的研究結(jié)果表明：不同信號(hào)特征融合可以提高疲勞識(shí)別效果。但很多研究者大多是將同類特征之間進(jìn)行融合，其中以人體生理特征之間的融合最多。其中EEG被譽(yù)為疲勞檢測(cè)的“金標(biāo)準(zhǔn)”。雖然生理特征檢測(cè)率高，但一旦移植到真實(shí)環(huán)境下，檢測(cè)率會(huì)較不穩(wěn)定。而眼動(dòng)特征是疲勞引發(fā)的一種帶有生理因素的外在特征，特征信號(hào)穩(wěn)定。為了獲得高的檢測(cè)準(zhǔn)確率和檢測(cè)穩(wěn)定性,筆者擬將腦電特征和眼動(dòng)特征動(dòng)態(tài)融合作為反映受試者疲勞狀態(tài)的特征，然后從檢測(cè)的穩(wěn)定性和準(zhǔn)確率兩方面來比較基于融合特征的疲勞檢測(cè)模型與基于腦電(眼動(dòng))特征的檢測(cè)模型的性能。

1 疲勞駕駛實(shí)驗(yàn)

1.1 實(shí)驗(yàn)采集過程

實(shí)驗(yàn)在一間屏蔽室里進(jìn)行。眼動(dòng)數(shù)據(jù)采用Ergoneers公司的Dikablis頭戴式眼球追蹤儀采集。具體實(shí)驗(yàn)平臺(tái)和設(shè)備如圖1。腦電信號(hào)是用Neuroscan 32導(dǎo)電極帽采集。

圖1 信號(hào)采集平臺(tái)和設(shè)備Fig. 1 Signal acquisition platform and equipment

受試者坐在屏蔽室中，為了實(shí)現(xiàn)腦電和眼動(dòng)信號(hào)的同步采集，受試者同時(shí)戴著電極帽和眼球追蹤儀。兩個(gè)設(shè)備的另一端分別接到室外的兩臺(tái)電腦上。眼球追蹤儀的信號(hào)被傳輸?shù)绞彝怆娔X中的D-lab軟件中。D-lab軟件根據(jù)采集的眼動(dòng)數(shù)據(jù)計(jì)算出眼睛閉合百分比Perclos，注視時(shí)間(fixation duration)，掃視長(zhǎng)度(saccade length)等眼動(dòng)參數(shù)信息。其中D-lab軟件的采樣頻率為25 Hz。電極帽將采集的信號(hào)放大后傳輸?shù)绞彝怆娔X的Scan軟件中。其中電極帽采樣頻率為1 000 Hz。

實(shí)驗(yàn)中選取了20名在校有駕駛證的大學(xué)生(男生14名，女生6名)作為受試對(duì)象，年齡在19～21歲之間。實(shí)驗(yàn)選取模擬駕駛的軟件，通過實(shí)物方向盤操控駕駛過程。本實(shí)驗(yàn)?zāi)康氖且杉茉囌咴隈{駛過程中不同狀態(tài)下的眼動(dòng)數(shù)據(jù)和腦電數(shù)據(jù)。為了保證正常駕駛，要求受試者實(shí)驗(yàn)前一晚無熬夜行為。實(shí)驗(yàn)時(shí)間為下午14:00。受試者試駕5 min后，實(shí)驗(yàn)員開始采集受試者的眼動(dòng)和腦電數(shù)據(jù)。20 min后, 受試者填寫卡羅林斯卡嗜睡量表(karolinska sleepiness scale, KSS), 對(duì)當(dāng)前自身的警覺狀態(tài)做一個(gè)評(píng)分。量表等級(jí)及計(jì)分如表1。

表1 KSS表Table 1 Karolinska sleepiness scale

KSS表將警覺度狀態(tài)分為9個(gè)等級(jí), 得分越高表示受試者警覺度狀態(tài)越差。當(dāng)受試者的KSS≥7則認(rèn)定受試者處于疲勞狀態(tài), 否則為未疲勞。每隔15 min, 受試者就要求填寫KSS問卷調(diào)查。當(dāng)通過問卷調(diào)查確認(rèn)受試者進(jìn)入疲勞狀態(tài),則開始采集受試者當(dāng)前狀態(tài)的眼動(dòng)數(shù)據(jù)。記錄時(shí)間為20 min，20 min后實(shí)驗(yàn)結(jié)束。將整個(gè)實(shí)驗(yàn)數(shù)據(jù)前10 min的數(shù)據(jù)作為清醒狀態(tài)數(shù)據(jù), 最后10 min為疲勞狀態(tài)數(shù)據(jù)。因此每個(gè)受試者的腦電樣本數(shù)據(jù)有1 200×1 000個(gè)樣本數(shù)據(jù), 其中清醒狀態(tài)數(shù)據(jù)600×1 000個(gè), 疲勞狀態(tài)數(shù)據(jù)600×1 000個(gè)。而眼動(dòng)數(shù)據(jù)以1 min為周期計(jì)算眼動(dòng)參數(shù), 因此每個(gè)受試者的眼動(dòng)數(shù)據(jù)樣本為20個(gè), 其中清醒狀態(tài)數(shù)據(jù)10個(gè), 疲勞狀態(tài)數(shù)據(jù)10個(gè)。

1.2 疲勞特征的選取

根據(jù)原始眼動(dòng)數(shù)據(jù)計(jì)算眼動(dòng)參數(shù), 包括Perclos, 注視時(shí)間(fixation duration),注視次數(shù)眼睛閉合百分比(number of fixation),掃視長(zhǎng)度(saccade length),掃視次數(shù)(number of saccade), 瞳孔面積(pupil area)以及眨眼時(shí)間均值(t_zy)等。通過對(duì)受試者清醒和疲勞狀態(tài)下各眼動(dòng)參數(shù)進(jìn)行t檢驗(yàn), 發(fā)現(xiàn)兩種狀態(tài)下的Perclos, saccade length, pupil area及t_zy的p值都小于0.01。圖2顯示了某個(gè)受試者清醒和疲勞兩個(gè)狀態(tài)下Perclos, saccade length, pupil area及t_zy對(duì)比圖及t檢驗(yàn)的對(duì)應(yīng)p值。

圖2 某個(gè)受試者在清醒與疲勞狀態(tài)的眼動(dòng)參數(shù)的對(duì)比Fig. 2 Comparison of eye movement parameters of a subject in awake and fatigue state

從圖2可以看出, 清醒狀態(tài)下的sccade length, pupil area的值普遍大于疲勞狀態(tài)下的對(duì)應(yīng)值, 而清醒狀態(tài)下的Perclos, t_zy的值普遍小于疲勞狀態(tài)下的對(duì)應(yīng)值。清醒狀態(tài)下的4個(gè)眼動(dòng)參數(shù)的值與疲勞狀態(tài)下的對(duì)應(yīng)值存在明顯的差異性。因此, 筆者將選用Perclos, saccade length, pupil area及t_zy作為眼動(dòng)的疲勞特征參數(shù)。

腦電信號(hào)經(jīng)過預(yù)處理后, 選取其中30導(dǎo)的數(shù)據(jù), 電極的分布圖如圖3。從圖3可以看到1～30導(dǎo)對(duì)應(yīng)的電極。利用小波熵函數(shù)提取受試者腦電特征, 然后采用KNN算法, 建立疲勞檢測(cè)模型對(duì)腦電樣本數(shù)據(jù)進(jìn)行檢測(cè), 發(fā)現(xiàn)檢測(cè)率大于70%的電極大部分都集中在第20～30導(dǎo)之間。因此為了提高疲勞檢測(cè)率, 選取第20～30導(dǎo)的10個(gè)電極提取的腦電特征作為疲勞特征指標(biāo)。從圖3中可以作為腦電特征指標(biāo)的10個(gè)電極分別為CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2。此外,筆者參考MU Zhendong等[7-8]在論文中提到的分別采用前額的Fp1、Fp2和T5、TP7、TP8、Fp1提取的腦電特征作為疲勞特征指標(biāo)。據(jù)此建立3個(gè)基于不同腦電特征的疲勞檢測(cè)模型。

圖3 國際10-20系統(tǒng)腦電極分布Fig. 3 Brain electrode distribution of international 10-20 system

2 建立疲勞檢測(cè)模型

2.1 建立基于眼動(dòng)特征的疲勞檢測(cè)模型

當(dāng)樣本數(shù)據(jù)的特征數(shù)較少, 且有較多交叉數(shù)據(jù)的待分類樣本集, KNN方法更為適合。因此,筆者選用KNN算法作為分類算法，分別采用Perclos, saccade length, pupil area及t_zy作為眼動(dòng)疲勞特征建立疲勞檢測(cè)模型。由于實(shí)驗(yàn)樣本中有部分樣本數(shù)據(jù)存在一定缺失值,只選取14例受試者的眼動(dòng)樣本數(shù)據(jù), 共280個(gè)樣本。其中200個(gè)作為訓(xùn)練樣本, 80個(gè)作為測(cè)試樣本。表2中顯示了各疲勞檢測(cè)模型對(duì)每個(gè)受試者的檢測(cè)率、檢測(cè)率均值和方差。

表2 采用不同眼動(dòng)疲勞特征參數(shù)的檢測(cè)模型的檢測(cè)率Table 2 Detection rate of the detection model with different eyemovement fatigue characteristic parameters %

從表2的各檢測(cè)模型的檢測(cè)率均值和方差可以看出, 檢測(cè)率均值較大的模型眼動(dòng)特征是Perclos和saccade length, 檢測(cè)率均值較小的是pupil area和t_zy。但模型檢測(cè)率相對(duì)穩(wěn)定的是pupil area、t_zy和saccade length。

2.2 建立基于腦電小波熵的疲勞檢測(cè)模型

小波熵是一個(gè)衡量非線性信號(hào)多尺度動(dòng)力學(xué)行為有序、無序程度的量化指標(biāo), 它可提供信號(hào)非線性動(dòng)力學(xué)過程復(fù)雜程度的信息。近年來, 小波熵在腦電信號(hào)中的研究日益受到關(guān)注, 國內(nèi)外學(xué)者用小波熵研究腦電信號(hào)、誘發(fā)電位、事件相關(guān)電位等的復(fù)雜程度, 揭示了大腦電活動(dòng)的動(dòng)力學(xué)機(jī)制。因此, 將利用小波熵函數(shù)提取受試者的腦電特征。為了和眼動(dòng)數(shù)據(jù)匹配, 筆者選取了相同14例受試者的腦電數(shù)據(jù)。然后用小波熵函數(shù)從CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2共10個(gè)電極提取腦電特征建立疲勞檢測(cè)模型。為了與前期研究者選取的電極比較檢測(cè)效果。筆者也分別用小波熵函數(shù)提取了前額的Fp1, Fp2兩個(gè)電極,T5,TP7,TP8,FP1 4個(gè)電極的腦電特征, 并建立了對(duì)應(yīng)的兩個(gè)疲勞檢測(cè)模型。表3中顯示了各疲勞檢測(cè)模型的檢測(cè)率。

表3 3個(gè)基于不同電極數(shù)的疲勞檢測(cè)模型的檢測(cè)率Table 3 Detection rate of three fatigue detection models based ondifferent electrode numbers %

從表3的檢測(cè)率均值可以看出, 基于10導(dǎo)電極的疲勞檢測(cè)模型的平均檢測(cè)率為92.48%, 明顯高于2導(dǎo)電極和4導(dǎo)電極的平均檢測(cè)率。對(duì)比表2和表3中均值和方差, 我們也能發(fā)現(xiàn):基于腦電特征的模型檢測(cè)率普遍比基于眼動(dòng)特征的模型檢測(cè)率高很多, 但穩(wěn)定性卻普遍不如基于眼動(dòng)特征的模型。

2.3 建立基于混合疲勞特征的疲勞檢測(cè)模型

由于采用10導(dǎo)電極作為疲勞特征指標(biāo)的檢測(cè)效果更好, 因此在融合腦電疲勞指標(biāo)和眼動(dòng)疲勞指標(biāo)時(shí), 筆者將10導(dǎo)電極分別融合眼動(dòng)的Perclos, saccade length, pupil area及t_zy,形成4個(gè)具有不同融合特征的疲勞檢測(cè)模型, 分類方法仍然采用KNN算法。4個(gè)混合疲勞特征模型和基于10導(dǎo)電極的疲勞檢測(cè)模型的平均檢測(cè)率對(duì)比如圖4。

圖4 不同特征的疲勞檢測(cè)模型檢測(cè)率的均值方差對(duì)比Fig. 4 Comparison of mean variance of detection rate offatigue detection models with different characteristics

從圖4中可以看出, 采用saccade length+10導(dǎo)平均檢測(cè)率為92.32%, 遠(yuǎn)高于其他3個(gè)混合特征的平均檢測(cè)率, 只略微比采用10導(dǎo)的疲勞檢測(cè)值92.47%小一些。但從各檢測(cè)模型的檢測(cè)率方差可以看出, saccade length+10導(dǎo)的穩(wěn)定性是最好的。因此, 采用saccade length+10導(dǎo)的混合特征的疲勞檢測(cè)模型效果是最好的。不僅具有較高的檢測(cè)率, 檢測(cè)效果還具有較強(qiáng)的穩(wěn)定性。

3 結(jié) 論

為了減少因疲勞駕駛而導(dǎo)致的交通事故, 很多研究者已經(jīng)開始對(duì)疲勞駕駛進(jìn)行研究。為了兼顧疲勞識(shí)別的穩(wěn)定性和高的檢測(cè)率, 筆者融合了腦電特征和眼動(dòng)特征建立疲勞檢測(cè)模型。結(jié)論如下：

1)利用小波熵函數(shù)提取受試者腦電特征, 基于2導(dǎo)電極、4導(dǎo)電極、10導(dǎo)電極的疲勞檢測(cè)模型的平均檢測(cè)率都要遠(yuǎn)大于單純選取某一個(gè)眼動(dòng)特征建立的疲勞檢測(cè)模型的平均檢測(cè)率。其中以10導(dǎo)電極提取的疲勞特征建立的疲勞檢測(cè)模型的平均檢測(cè)率最高。

2)以10導(dǎo)分別融合眼動(dòng)的Perclos, saccade length, pupil area及t_zy形成的4個(gè)具有不同融合特征的疲勞檢測(cè)模型中, 采用saccade length+10導(dǎo)的混合疲勞特征的疲勞檢測(cè)模型效果是最好的。不僅具有較高的檢測(cè)率, 檢測(cè)效果還具有較強(qiáng)的穩(wěn)定性。

當(dāng)然,在saccade length+10的混合特征中由于采用的腦電電極過多會(huì)增加計(jì)算量影響檢測(cè)速度。因此,如何在保證高檢測(cè)率和較強(qiáng)穩(wěn)定性的前提下減少混合特征中的腦電電極數(shù)是未來進(jìn)一步研究的方向。