潘雨帆，史 磊，周宏宇，倪少權(quán)，張 駿，郭孜政2，

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 611756；2.西南交通大學(xué) 綜合交通運(yùn)輸智能化國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，四川 成都 611756；3.西南交通大學(xué) 綜合運(yùn)輸四川省重點(diǎn)實(shí)驗(yàn)室，四川 成都 611756；4.西南交通大學(xué) 交通運(yùn)輸與物流學(xué)院，四川 成都 611756；5.江西省交通投資集團(tuán)有限責(zé)任公司 路網(wǎng)運(yùn)營(yíng)管理公司，江西 南昌 330000)

高速鐵路(以下簡(jiǎn)稱(chēng)“高鐵”)運(yùn)行安全受“人-機(jī)-環(huán)境”三要素的綜合影響,司機(jī)的作業(yè)表現(xiàn)是保障系統(tǒng)安全的關(guān)鍵因素之一。高鐵駕駛作業(yè)中長(zhǎng)時(shí)、單調(diào)、低頻率刺激的運(yùn)行環(huán)境,極易引起司機(jī)警覺(jué)的衰退,降低其對(duì)突發(fā)事件的反應(yīng)速度,威脅行車(chē)安全[1-2]。為讓高鐵司機(jī)在駕駛過(guò)程中保持高度警覺(jué),現(xiàn)有動(dòng)車(chē)組配備了無(wú)人警惕裝置,司機(jī)在無(wú)需操縱列車(chē)的時(shí)候,必須每30 s踩一下警惕踏板,否則該裝置將自動(dòng)啟動(dòng)報(bào)警并采取緊急制動(dòng)[3]。雖然無(wú)人警惕裝置能夠讓司機(jī)在行車(chē)過(guò)程中保持警覺(jué),但一個(gè)交路區(qū)間幾百次的踩踏增加了司機(jī)的負(fù)荷,會(huì)加速司機(jī)認(rèn)知資源的消耗。且該裝置的啟動(dòng)閾值是人為設(shè)置的固定值,監(jiān)測(cè)周期超過(guò)30 s,對(duì)司機(jī)警覺(jué)狀態(tài)監(jiān)測(cè)的時(shí)效性較差。因此,構(gòu)建高效的高鐵司機(jī)的警覺(jué)度預(yù)測(cè)方法具有重要意義。

警覺(jué)度指作業(yè)人員對(duì)外界刺激保持注意力和警惕性的能力[4],高鐵司機(jī)的警覺(jué)度作為認(rèn)知狀態(tài),會(huì)直接反映在其生理信號(hào)以及行為上。其中神經(jīng)生理信號(hào)精度高、不受人主觀控制,被廣泛用于警覺(jué)度檢測(cè)。常用的神經(jīng)生理信號(hào)包括腦電、眼動(dòng)和心電信號(hào)3類(lèi)[5],考慮到數(shù)據(jù)采集的便利性和非侵入性,本研究選取高鐵司機(jī)的眼動(dòng)和心電信號(hào)進(jìn)行分析與討論。隨著警覺(jué)度下降,司機(jī)眨眼頻率和眼瞼閉合度增加[6],同時(shí)掃視速度會(huì)降低,因此眼動(dòng)的眼瞼閉合度、眨眼頻率、瞳孔直徑以及閉眼時(shí)長(zhǎng)等特征均可用于測(cè)算司機(jī)的警覺(jué)度[7]。除了通過(guò)機(jī)器視覺(jué)技術(shù)采集的眼部運(yùn)動(dòng),眼電信號(hào)(Electrooculogram,EOG)也能提取出相應(yīng)的眼部特征[8],。眼動(dòng)是一種可以非侵入采集的信號(hào),對(duì)操作影響小,雖容易受到光線的影響,但是紅外技術(shù)的發(fā)展已使眼動(dòng)信號(hào)的采集有較高的質(zhì)量保障。此外,心電信號(hào)受交感神經(jīng)和迷走神經(jīng)調(diào)節(jié),當(dāng)作業(yè)人員警覺(jué)度出現(xiàn)下降,交感神經(jīng)活躍程度增強(qiáng),而迷走神經(jīng)活躍程度降低,心率變異性(Heart Rate Variability,HRV)呈上升趨勢(shì)。心電時(shí)域上的R-R間期的均值、標(biāo)準(zhǔn)差[10]頻域上的低頻能量LF(0.05～0.15 Hz)和高頻能量HF(0.15～0.4 Hz)都能有效反應(yīng)警覺(jué)度的變化[11]。

當(dāng)前警覺(jué)度預(yù)測(cè)模型主要有分類(lèi)和回歸兩種思路。分類(lèi)模型以警覺(jué)度評(píng)價(jià)指標(biāo)(量表評(píng)分、反應(yīng)時(shí)間等)將樣本分為2～4個(gè)水平,然后以腦電、眼動(dòng)、心電等指標(biāo)作為輸入,結(jié)合支持向量機(jī)(Support Vector Machine,SVM)[12]、神經(jīng)網(wǎng)絡(luò)[13]、k近鄰算法(k-Nearest Neighbor,KNN)[14]、隨機(jī)森林[15]等算法構(gòu)建識(shí)別。如Yan等[16]以眼動(dòng)特征為輸入,構(gòu)建特征加權(quán)支持向量機(jī)來(lái)評(píng)估司機(jī)的警覺(jué)度,二分類(lèi)方法對(duì)警覺(jué)的檢測(cè)正確率達(dá)到90.98%。張光遠(yuǎn)等[17]通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)調(diào)度員的面部特征進(jìn)行檢測(cè),該模型對(duì)調(diào)度員警覺(jué)度進(jìn)行三分類(lèi)的正確率達(dá)到了91.5%。總體而言,分類(lèi)方法識(shí)別準(zhǔn)確率可超過(guò)90%,但局限在于分類(lèi)方法忽略了警覺(jué)度是一個(gè)連續(xù)變化的量。

為實(shí)現(xiàn)對(duì)警覺(jué)度的連續(xù)度量,部分研究嘗試用回歸方法來(lái)預(yù)測(cè)警覺(jué)度[18]。Lin等[19]以駕駛?cè)藢?duì)車(chē)道偏移的反應(yīng)時(shí)間為警覺(jué)度的量化指標(biāo),以腦電特征為輸入,建立支持向量回歸模型(Support Vector Regression,SVR)預(yù)測(cè)反應(yīng)時(shí)間,誤差結(jié)果在200 ms以?xún)?nèi)。Zhai等[20]以駕駛?cè)说哪X電特征為輸入,結(jié)合集成學(xué)習(xí)方法,預(yù)測(cè)高鐵司機(jī)的反應(yīng)時(shí)間,將預(yù)測(cè)誤差減小到130 ms左右。相較于分類(lèi)算法,回歸算法已初步實(shí)現(xiàn)對(duì)警覺(jué)度的連續(xù)度量,有利于對(duì)司機(jī)警覺(jué)度精細(xì)化監(jiān)測(cè),但模型還處于探索性研究中,其魯棒性和穩(wěn)定性還可進(jìn)一步提升。

此外,現(xiàn)有警覺(jué)度預(yù)測(cè)方法不足在于構(gòu)建預(yù)測(cè)模型時(shí)忽略了警覺(jué)度的時(shí)間特性。高鐵司機(jī)警覺(jué)度變化不是瞬時(shí)變化的,具有周期性特點(diǎn),且周期在4 min以上[21]。本研究擬采用長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)(Long-Short Term Memory Network, LSTM)預(yù)測(cè)高鐵司機(jī)警覺(jué)度。LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)基礎(chǔ)上發(fā)展的一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò),近年來(lái)被廣泛用于文本翻譯和時(shí)間序列預(yù)測(cè)問(wèn)題[22]。相較于RNN,LSTM可以有效避免梯度消失、梯度爆炸和長(zhǎng)期記憶能力不足等問(wèn)題,在應(yīng)對(duì)時(shí)序問(wèn)題時(shí)展現(xiàn)出強(qiáng)大的信息挖掘能力和深度表征能力[23]。為改進(jìn)LSTM模型因序列較長(zhǎng)而丟失信息的情況,部分研究者在構(gòu)建神經(jīng)網(wǎng)絡(luò)模型時(shí)引入了注意力機(jī)制(Attention)[24]。該機(jī)制通過(guò)對(duì)隱藏層單元分配不同的權(quán)重,對(duì)關(guān)鍵信息賦予足夠的關(guān)注,突出重要信息的影響,從而提升模型的預(yù)測(cè)精度。

本研究擬將高鐵司機(jī)眼動(dòng)、心電特征以及作業(yè)環(huán)境參數(shù)作為時(shí)序特征輸入LSTM模型,對(duì)表征高鐵司機(jī)警覺(jué)度的反應(yīng)時(shí)間進(jìn)行回歸預(yù)測(cè),并引入注意力機(jī)制關(guān)注時(shí)序特性對(duì)輸出的影響,以期進(jìn)一步提升模型的精度和穩(wěn)定性,實(shí)現(xiàn)對(duì)高鐵司機(jī)警覺(jué)度的連續(xù)準(zhǔn)確度量。

1 實(shí)驗(yàn)方法

1.1 被試選取

40名青島機(jī)務(wù)段的高鐵司機(jī)參加了本次實(shí)驗(yàn),平均年齡29.1(±2.8)歲,機(jī)車(chē)駕齡為5～11年,平均為6.3(±2.2)年。所有司機(jī)身體狀態(tài)良好,無(wú)心理疾病和影響中樞控制功能的藥物史,視力或矯正視力正常。所有被試在實(shí)驗(yàn)開(kāi)始前確認(rèn)了解實(shí)驗(yàn),并自愿簽訂《知情同意書(shū)》。

1.2 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)設(shè)備及測(cè)試場(chǎng)景見(jiàn)圖1。高鐵模擬駕駛實(shí)驗(yàn)在高鐵駕駛行為與安全仿真平臺(tái)完成,見(jiàn)圖1(a),該平臺(tái)能夠1∶1模擬CRH380B型動(dòng)車(chē)組的運(yùn)行環(huán)境。實(shí)驗(yàn)中,眼動(dòng)數(shù)據(jù)采集設(shè)備為德國(guó)SMI Eye Tracking Glasses 2W頭戴式眼動(dòng)儀,見(jiàn)圖1(b),心電采集設(shè)備為BIOPAC MP150多導(dǎo)生理儀,見(jiàn)圖1(c),反應(yīng)時(shí)間數(shù)據(jù)采集設(shè)備為定制的USB按鈕,數(shù)據(jù)采集場(chǎng)景見(jiàn)圖1(d)。

圖1 實(shí)驗(yàn)設(shè)備及測(cè)試場(chǎng)景

1.3 實(shí)驗(yàn)任務(wù)與實(shí)驗(yàn)流程

模擬實(shí)驗(yàn)線路為凱里南站往返平壩南站,中間無(wú)經(jīng)停站,司機(jī)駕駛過(guò)程中根據(jù)限速標(biāo)志控制車(chē)速。實(shí)驗(yàn)任務(wù)參照已有研究[20]設(shè)計(jì)改進(jìn),恒速行駛階段,要求司機(jī)目視前方,右手放置于功率手柄上。當(dāng)儀表臺(tái)前方紅色刺激燈亮起時(shí),用右手快速按下反應(yīng)按鈕,然后將手放置回手柄上,同時(shí)口頭報(bào)告當(dāng)前的疲勞程度對(duì)應(yīng)的KSS(Karolinska Scale)量表分?jǐn)?shù)。刺激信號(hào)燈呈現(xiàn)時(shí)長(zhǎng)為1 s,若司機(jī)3 s內(nèi)未做出反應(yīng),則該試次標(biāo)記為漏報(bào)。刺激信號(hào)燈亮起的間隔時(shí)間為20～40 s,實(shí)驗(yàn)全程總次數(shù)約160次,任務(wù)總耗時(shí)約100 min。實(shí)驗(yàn)安排在9:30和13:30開(kāi)始,實(shí)驗(yàn)過(guò)程中,司機(jī)需嚴(yán)格按照實(shí)驗(yàn)指導(dǎo)語(yǔ)完成任務(wù)。實(shí)驗(yàn)全程記錄行為反應(yīng)數(shù)據(jù)和生理數(shù)據(jù),眼動(dòng)數(shù)據(jù)采樣頻率為120 Hz,心電數(shù)據(jù)采樣頻率為1 000 Hz。實(shí)驗(yàn)結(jié)束后,主試支付每名司機(jī)300元人民幣作為被試費(fèi)。

2 特征提取與篩選

2.1 眼動(dòng)特征提取

原始眼動(dòng)視頻通過(guò)iView X軟件處理得到眼動(dòng)基礎(chǔ)數(shù)據(jù),包括高鐵司機(jī)作業(yè)過(guò)程中注視起止時(shí)間和注視點(diǎn)坐標(biāo),掃視起止時(shí)間、掃視速度,及眨眼起止時(shí)間等,通過(guò)統(tǒng)計(jì)和計(jì)算可得所需眼動(dòng)特征。對(duì)于每個(gè)紅色信號(hào)燈刺激,特征提取時(shí)以信號(hào)燈亮起時(shí)刻為0時(shí)刻,截取-30～0 s區(qū)段的眼動(dòng)數(shù)據(jù)為該刺激對(duì)應(yīng)的特征提取單元。以時(shí)長(zhǎng)為5 s的時(shí)間窗將該段數(shù)據(jù)截取為6段,每個(gè)時(shí)間窗各自計(jì)算眼動(dòng)特征,最后平均6個(gè)時(shí)間窗的特征數(shù)據(jù)作為該試次的眼動(dòng)特征指標(biāo)。本研究所選取的7項(xiàng)眼動(dòng)指標(biāo)描述見(jiàn)表1。

表1 眼動(dòng)指標(biāo)描述

2.2 心電特征提取

心電信號(hào)由一系列重復(fù)的波組構(gòu)成,其中QRS波群對(duì)高鐵司機(jī)警覺(jué)度的變化最為敏感[25]。提取特征時(shí)先采用帶寬為0.01～45 Hz的帶通濾波器對(duì)原始心電數(shù)據(jù)進(jìn)行濾波,去除肌電、工頻信號(hào)等偽跡,并校正基線漂移。然后以次任務(wù)刺激出現(xiàn)前30 s的數(shù)據(jù)為分析單元提取特征。時(shí)域特征方面,利用間譜法通過(guò)差分原理對(duì)QRS波群進(jìn)行檢測(cè),獲取R-R間期數(shù)據(jù),根據(jù)R-R間期計(jì)算時(shí)域指標(biāo)[26]。包括R-R間期平均值(MEAN)、R-R間期標(biāo)準(zhǔn)差(SDNN)、相鄰R-R間期差值大于50 ms的頻次(NN50)以及相鄰R-R間期差值大于50 ms的百分比(PNN50),上述指標(biāo)在高鐵司機(jī)警覺(jué)度衰減時(shí)會(huì)顯著下降。

高鐵司機(jī)警覺(jué)度衰減時(shí),其心電信號(hào)的低頻能量會(huì)有所增強(qiáng)。提取頻域特征,對(duì)每個(gè)分析單元采用窗長(zhǎng)為2 s的漢明窗以50%的覆蓋率進(jìn)行分段,將每段數(shù)據(jù)通過(guò)快速傅里葉變換(Fast Fourier Transform, FFT)由時(shí)域轉(zhuǎn)換至頻域,即

( 1 )

式中:x(n)為高鐵司機(jī)的心電數(shù)據(jù);N為傅里葉變換的點(diǎn)數(shù),本文中取值為2 048;x(k)為漢明窗k對(duì)應(yīng)的頻譜,通過(guò)對(duì)頻譜積分求得心電信號(hào)的低頻能量LF(0.04～0.15 Hz)和高頻能量HF(0.15～0.40 Hz),并通過(guò)對(duì)各窗的特征取均值得到對(duì)應(yīng)分析單元的頻域特征,以及低頻高頻比(LF/HF)。

由于高鐵司機(jī)心電信號(hào)的能量主要集中在低頻部分。為進(jìn)一步挖掘心電信號(hào)的特征,提高低頻特征的分辨率,可將線性頻率分布轉(zhuǎn)換為Mel頻率分布,提取心電特征的Mel頻率倒譜系數(shù)(MFCC)。MFCC系數(shù)特征呈對(duì)數(shù)分布,對(duì)高鐵司機(jī)警覺(jué)度衰減時(shí)心電低頻部分的變化更加敏感,且具有良好的抗噪性[27]。提取MFCC特征,首先通過(guò)求取x(k)的平方得到能量譜,然后用M個(gè)三角帶通濾波器進(jìn)行過(guò)濾,其中第m個(gè)濾波器的傳遞函數(shù)Hm(k)為

( 2 )

每個(gè)濾波器的對(duì)數(shù)能量S(m)為

( 3 )

經(jīng)過(guò)離散余弦變換即可得到MFCC系數(shù)C(l)為

l=1,2,…,L0

( 4 )

式中:L為MFCC系數(shù)的總階數(shù)。參考腦電相關(guān)的研究[28],本文設(shè)定M=20,L=12。以各窗口數(shù)據(jù)的MFCC系數(shù)作為該分析單元的MFCC系數(shù)特征,即每個(gè)分析單元可得12個(gè)MFCC系數(shù)特征,記為MF1～MF12。

2.3 高鐵司機(jī)行車(chē)環(huán)境參數(shù)提取

高鐵司機(jī)的警覺(jué)度不光受其自身狀態(tài)的影響,同樣也會(huì)受到作業(yè)環(huán)境和作業(yè)特性的影響。實(shí)際生活中,高鐵司機(jī)需要在不同的時(shí)間段執(zhí)行運(yùn)輸作業(yè)。一趟執(zhí)乘任務(wù)經(jīng)歷的路線可能包含不同的道路環(huán)境,以本研究中選取的滬昆鐵路貴州段為例,其中包含了大量的隧道。隧道行車(chē)光環(huán)境變化明顯,可能對(duì)警覺(jué)度造成影響。因此,本文擬選取執(zhí)乘時(shí)段(T1為9:30—11:00,T2為13:30—15:00)和線路隧道(隧道內(nèi)Tin,隧道外Tout)兩個(gè)因素分析其對(duì)警覺(jué)度的影響。

2.4 基于灰色關(guān)聯(lián)的警覺(jué)度特征篩選

對(duì)40名高鐵司機(jī)在任務(wù)中的160個(gè)試次提取眼動(dòng)和心電特征,可得每名司機(jī)的生理特征數(shù)據(jù)集xl=(x1,x2,…,x26),l=1,2,…,40,維度為26×160。在將生理特征輸入預(yù)測(cè)模型前,需對(duì)特征進(jìn)行篩選以避免冗余信息影響模型的精度和速度?；疑P(guān)聯(lián)分析法的思想是通過(guò)對(duì)比數(shù)據(jù)序列幾何關(guān)系和曲線幾何形狀的相似性來(lái)判斷指標(biāo)間的關(guān)聯(lián)程度,適合小樣本分析。本研究中,比較序列為高鐵司機(jī)警覺(jué)度第i列特征指標(biāo)xi,參考序列為高鐵司機(jī)對(duì)刺激信號(hào)燈的反應(yīng)時(shí)間yl。警覺(jué)度特征xi和對(duì)應(yīng)反應(yīng)時(shí)間序列yl的灰色關(guān)聯(lián)度ri為

( 5 )

( 6 )

Δi(n)=|yl(n)-xi(n)|

( 7 )

式中:ξi為警覺(jué)度特征xi與反應(yīng)時(shí)間yl的關(guān)聯(lián)系數(shù);ρ為分辨系數(shù),一般取值為0.5;N1為樣本量,本文中為160。

灰色關(guān)聯(lián)度ri的值越大,說(shuō)明警覺(jué)度特征xi與高鐵司機(jī)的反應(yīng)時(shí)間曲線相似程度越高。本文選取與高鐵司機(jī)反應(yīng)時(shí)間平均關(guān)聯(lián)度高于0.7的q項(xiàng)警覺(jué)度生理特征作為后續(xù)模型的輸入。

通過(guò)特征提取和篩選,最后用于構(gòu)建高鐵司機(jī)警覺(jué)度預(yù)測(cè)模型的特征集為xl=(x1,x2,…,xq,T1,T2,Tin,Tout),包括高鐵司機(jī)的眼動(dòng)特征、心電特征以及作業(yè)環(huán)境參數(shù)。

3 基于LSTM-Attention的高鐵司機(jī)警覺(jué)度預(yù)測(cè)模型構(gòu)建

3.1 LSTM網(wǎng)絡(luò)

高鐵司機(jī)的警覺(jué)度不是瞬時(shí)變化的,狀態(tài)起伏具有時(shí)序特征,因此本文選取適用于處理時(shí)序問(wèn)題的LSTM模型預(yù)測(cè)高鐵司機(jī)的警覺(jué)度。LSTM通常包含輸入層、隱藏層和輸出層,記憶單元是LSTM模型隱藏層的基本單元,每個(gè)記憶單元中含有一個(gè)控制單元,并使用忘記門(mén)、輸入門(mén)和輸出門(mén)這3個(gè)門(mén)控開(kāi)關(guān)進(jìn)行控制。忘記門(mén)決定記憶單元中信息的刪除與保留,輸入門(mén)決定當(dāng)前輸入對(duì)記憶單元狀態(tài)的影響,輸出門(mén)決定當(dāng)前記憶單元輸出內(nèi)容,記憶單元結(jié)構(gòu)見(jiàn)圖2。

圖2 LSTM記憶單元結(jié)構(gòu)

LSTM記憶單元在時(shí)刻t有3個(gè)輸入:當(dāng)前輸入數(shù)據(jù)xt,包含高鐵司機(jī)在時(shí)刻t的眼動(dòng)特征、心電特征以及作業(yè)環(huán)境參數(shù),上一時(shí)刻記憶單元輸出ht-1和上一時(shí)刻記憶單元狀態(tài)Ct-1。輸出內(nèi)容包括當(dāng)前時(shí)刻輸出值ht和單元當(dāng)前狀態(tài)Ct。t時(shí)刻LSTM記憶單元狀態(tài)更新過(guò)程為

Ft=σ(WF·xt+UF·ht-1+bF)

(8)

It=σ(WI·xt+UI·ht-1+bI)

(9)

(10)

(11)

Ot=σ(WO·xt+UO·ht-1+bO)

(12)

ht=Ot·tanh(Ct)

(13)

3.2 注意力機(jī)制

為進(jìn)一步挖掘高鐵司機(jī)警覺(jué)度特征的時(shí)序特性對(duì)模型性能的影響,本文引入了注意力機(jī)制,突出重要特征,進(jìn)一步提升模型的效率和可靠性[29],Attention機(jī)制結(jié)構(gòu)見(jiàn)圖3。

圖3 Attention機(jī)制結(jié)構(gòu)

當(dāng)LSTM模型的輸入包含K個(gè)時(shí)刻的警覺(jué)度特征時(shí),隱藏層有K個(gè)輸出向量hk,k=1,2,…,K,將輸出向量輸入一個(gè)全連接網(wǎng)絡(luò),可得到每個(gè)輸出向量對(duì)模型最終輸出的影響力得分Sk為

Sk=tanh(Wk·hk+bk)

(14)

式中:Wk、bk為全連接網(wǎng)絡(luò)的權(quán)重系數(shù)、偏置。

然后通過(guò)將每個(gè)輸出向量的影響力得分歸一化至0～1,得到各向量的權(quán)重系數(shù)αk為

(15)

(16)

(17)

式中:Wd和bd分別是輸出層的權(quán)重系數(shù)和偏置,active(·)為激活函數(shù),由于對(duì)高鐵司機(jī)反應(yīng)時(shí)間的預(yù)測(cè)屬于回歸問(wèn)題,此處選用線性函數(shù)作為輸出層的激活函數(shù)。

3.3 遺傳算法優(yōu)化LSTM

在模型參數(shù)優(yōu)化方法中,遺傳算法(Genetic Algorithm,GA)具有較強(qiáng)的全局搜索能力,因此本文選用GA對(duì)LSTM模型的參數(shù)進(jìn)行優(yōu)化。優(yōu)化的參數(shù)包括:LSTM隱藏層的神經(jīng)元數(shù)量、初始學(xué)習(xí)率、以及全連接層的神經(jīng)元數(shù)量,優(yōu)化流程見(jiàn)圖4。設(shè)置初始神經(jīng)元個(gè)數(shù)在[16,128]范圍內(nèi)產(chǎn)生的隨機(jī)數(shù),初始學(xué)習(xí)率為尋優(yōu)范圍為[0.01,1],生成初始種群。根據(jù)每個(gè)種群的染色體構(gòu)建LSTM模型對(duì)高鐵司機(jī)的反應(yīng)時(shí)間進(jìn)行預(yù)測(cè)。采用均等系數(shù)作為種群適應(yīng)度f(wàn)itness為

圖4 遺傳算法優(yōu)化流程

(18)

3.4 模型評(píng)價(jià)

本文選取平均絕對(duì)誤差nMAE、均方根誤差nRMSE和平均相對(duì)誤差nMRE用于評(píng)價(jià)高鐵司機(jī)警覺(jué)度預(yù)測(cè)模型對(duì)反應(yīng)時(shí)間的預(yù)測(cè)效果,各指標(biāo)計(jì)算式為

(19)

(20)

(21)

4 結(jié)果分析與討論

4.1 高鐵司機(jī)警覺(jué)度客觀量化指標(biāo)有效性驗(yàn)證

實(shí)驗(yàn)中通過(guò)KSS量表分?jǐn)?shù)和高鐵司機(jī)對(duì)隨機(jī)刺激的反應(yīng)時(shí)間來(lái)量化司機(jī)在作業(yè)過(guò)程中的警覺(jué)度。為保障后續(xù)分析的準(zhǔn)確性,首先對(duì)警覺(jué)度的客觀評(píng)價(jià)指標(biāo)進(jìn)行有效性驗(yàn)證。針對(duì)每名被試,以其反應(yīng)時(shí)間的三分位數(shù)為閾值,將對(duì)應(yīng)的KSS分值樣本劃分為3組并對(duì)每組求得KSS均值。40名司機(jī)在不同反應(yīng)時(shí)間對(duì)應(yīng)的KSS分值統(tǒng)計(jì)見(jiàn)圖5。司機(jī)對(duì)隨機(jī)刺激的反應(yīng)時(shí)間越長(zhǎng),其對(duì)應(yīng)的KSS分值越高,具有顯著的統(tǒng)計(jì)差異,反應(yīng)時(shí)間這個(gè)客觀指標(biāo)與KSS分值顯示出較好的一致性。表明司機(jī)對(duì)隨機(jī)刺激的反應(yīng)時(shí)間是量化其警覺(jué)度水平的一個(gè)有效的客觀指標(biāo)。

圖5 高鐵不同反應(yīng)時(shí)間對(duì)應(yīng)KSS量表分?jǐn)?shù)

4.2 高鐵司機(jī)行車(chē)環(huán)境對(duì)警覺(jué)度的影響

高鐵作業(yè)外部環(huán)境對(duì)司機(jī)警覺(jué)度的影響見(jiàn)圖6,如圖6所示,相較于上午時(shí)段,當(dāng)高鐵司機(jī)在下午執(zhí)乘作業(yè)時(shí),其口頭報(bào)告的KSS分值和反應(yīng)時(shí)間都有所增加,但是在統(tǒng)計(jì)上并不顯著。此種增加的趨勢(shì)可能是由于司機(jī)的生理節(jié)律導(dǎo)致的。而在線路情況方面,隧道內(nèi)的口頭報(bào)告KSS分值顯著高于隧道外,而隧道內(nèi)的反應(yīng)時(shí)間卻顯著低于隧道外。可能是因?yàn)楦哞F司機(jī)在隧道內(nèi)行車(chē),環(huán)境相對(duì)昏暗,缺乏有效的參照系統(tǒng),注視范圍更集中,使得司機(jī)的視覺(jué)負(fù)荷增加,所以主觀上會(huì)有顯著的疲勞感。但是由于一直注釋前方,所以在觀察和反應(yīng)時(shí)間上有所降低。由于司機(jī)在隧道內(nèi)外在主客觀上都表明線路環(huán)境對(duì)其警覺(jué)度有影響,因此將隧道內(nèi)外這一作業(yè)環(huán)境變量納入后續(xù)建模,定義隧道內(nèi)行車(chē)特征值為1,隧道外行車(chē)特征值為0。

圖6 高鐵作業(yè)外部環(huán)境對(duì)司機(jī)警覺(jué)度的影響

4.3 基于灰色關(guān)聯(lián)分析的生理特征選取

分別計(jì)算2.1節(jié)中提取的7項(xiàng)眼動(dòng)特征指標(biāo)和2.2節(jié)提取的19項(xiàng)心電特征指標(biāo)與高鐵司機(jī)反應(yīng)時(shí)間的灰色關(guān)聯(lián)度,分析結(jié)果見(jiàn)表2。由表2可知,共計(jì)14項(xiàng)指標(biāo)與高鐵司機(jī)反應(yīng)時(shí)間關(guān)聯(lián)度高于0.7,其中包含4項(xiàng)眼動(dòng)特征指標(biāo)和10項(xiàng)心電特征指標(biāo)。灰色關(guān)聯(lián)分析結(jié)果表明不同警覺(jué)度狀態(tài)下心電信號(hào)的MFCC特征指標(biāo)變化規(guī)律與反應(yīng)時(shí)間的起伏相似性略?xún)?yōu)于心電的線性頻譜和時(shí)域特征指標(biāo)。值得注意的是,與汽車(chē)駕駛?cè)司X(jué)度研究中有所不同的是,眼動(dòng)的SS, FD以及FP指標(biāo)并沒(méi)有展現(xiàn)出與高鐵司機(jī)警覺(jué)度有較好的關(guān)聯(lián)性?？赡苁歉哞F駕駛和汽車(chē)駕駛作業(yè)特性的區(qū)別導(dǎo)致的,與汽車(chē)駕駛不同,高鐵司機(jī)主要注視區(qū)域在正前方,掃視區(qū)域相對(duì)較小,見(jiàn)圖7。因此司機(jī)的注視、掃視特征變化不明顯。

表2 基于灰色關(guān)聯(lián)分析的特征選取結(jié)果

圖7 高鐵司機(jī)行車(chē)過(guò)程中主要注視區(qū)域

4.4 模型預(yù)測(cè)結(jié)果

4.4.1 模型參數(shù)優(yōu)化

為更好的屏蔽個(gè)體差異的影響,本研究對(duì)每名司機(jī)的數(shù)據(jù)進(jìn)行獨(dú)立建模,以4項(xiàng)眼動(dòng)特征指標(biāo)、10項(xiàng)心電特征及隧道參數(shù)特征為自變量,對(duì)刺激信號(hào)的反應(yīng)時(shí)間為因變量,建立LSTM-Attention回歸模型。對(duì)于每名被試,75%的樣本用于訓(xùn)練模型,25%的樣本作為驗(yàn)證集以查看模型的泛化效果。LSTM-Attention模型的搭建基于TensorFlow1.8學(xué)習(xí)框架實(shí)現(xiàn),模型權(quán)重優(yōu)化器采用Adam算法,損失函數(shù)采用均方誤差,激活函數(shù)為L(zhǎng)inear函數(shù),Batch_size為16,Epoch為100。本文采用GA算法對(duì)模型參數(shù)進(jìn)行優(yōu)化,GA尋優(yōu)結(jié)果見(jiàn)表3。

表3 GA尋優(yōu)結(jié)果

4.4.2 高鐵司機(jī)警覺(jué)度預(yù)測(cè)模型性能分析

為探究高鐵司機(jī)警覺(jué)度特征的時(shí)序特性對(duì)模型預(yù)測(cè)性能的影響,構(gòu)建LSTM-Attention模型時(shí)分別輸入了時(shí)序長(zhǎng)度為1～10的序列特征,輸入不同時(shí)間序列長(zhǎng)度時(shí)模型性能見(jiàn)表4。當(dāng)警覺(jué)度特征的時(shí)間序列長(zhǎng)度為5時(shí),模型的預(yù)測(cè)效果最佳。實(shí)驗(yàn)過(guò)程中,高鐵司機(jī)對(duì)信號(hào)刺激的反應(yīng)時(shí)間為720～1 340 ms,平均反應(yīng)時(shí)間為966.08 ms。模型對(duì)司機(jī)反應(yīng)時(shí)間預(yù)測(cè)的nMAE和nRMSE均值分別為92.86、102.31 ms,模型預(yù)測(cè)的相對(duì)誤差為9.6%。當(dāng)輸入特征為單點(diǎn)時(shí)刻樣本時(shí),模型nMAE和nRMSE均值分別為110.82、136.57 ms,隨著輸入時(shí)間序列長(zhǎng)度的增加,模型的預(yù)測(cè)性能有了顯著的提升,當(dāng)序列長(zhǎng)度為5時(shí)達(dá)到最佳預(yù)測(cè)效果。結(jié)果表明利用司機(jī)警覺(jué)度特征在時(shí)間層面的信息可以有效提升LSTM-Attention模型對(duì)高鐵司機(jī)反應(yīng)時(shí)間的預(yù)測(cè)效果。但隨著時(shí)間序列長(zhǎng)度的持續(xù)增加,模型性能出現(xiàn)輕微的下降,可能是過(guò)長(zhǎng)的時(shí)間序列特征包含了部分的冗余信息,影響了高鐵司機(jī)警覺(jué)度預(yù)測(cè)模型的精度。

表4 輸入不同時(shí)間序列長(zhǎng)度k時(shí)模型性能

為進(jìn)一步分析探究LSTM模型的性能以及注意力機(jī)制對(duì)模型預(yù)測(cè)能力的影響,將時(shí)序長(zhǎng)度為5的高鐵司機(jī)警覺(jué)度特征分別輸入LSTM、SVR、LSSVM和LSTM-Attention模型進(jìn)行對(duì)比,模型預(yù)測(cè)性能對(duì)比見(jiàn)表5。LSTM的預(yù)測(cè)精度顯著高于SVR和LSSVM,表明LSTM處理高鐵司機(jī)的警覺(jué)度時(shí)序特征更有更強(qiáng)的適應(yīng)性。另一方面,注意力機(jī)制的引入使LSTM模型的nMAE降低約5%,nRMSE降低約7%。表明注意力機(jī)制有助于提取高鐵司機(jī)各模態(tài)特征與警覺(jué)度關(guān)聯(lián)的時(shí)間特性,進(jìn)一步提升了LSTM模型對(duì)高鐵司機(jī)反應(yīng)時(shí)間的預(yù)測(cè)精度。

表5 模型預(yù)測(cè)性能對(duì)比

分別將眼動(dòng)特征、心電特征、線路參數(shù)逐步輸入LSTM-Attention模型探究不同模態(tài)特征對(duì)模型性能的影響。輸入模態(tài)模型性能的影響見(jiàn)表6。從單一生理特征看,采用眼動(dòng)特征預(yù)測(cè)高鐵司機(jī)的反應(yīng)時(shí)間效果優(yōu)于采用心電特征。相較于僅以眼動(dòng)特征為輸入,心電特征的加入讓模型的nMAE由98.96 ms降至93.28 ms,nRMSE由123.48 ms降至104.68 ms,兩個(gè)指標(biāo)分別降低5.7%和15.2%。結(jié)果表明融合兩種模態(tài)的生理特征可從不同角度對(duì)高鐵司機(jī)的警覺(jué)狀態(tài)進(jìn)行描述,從而提升模型對(duì)反應(yīng)時(shí)間的預(yù)測(cè)精度。此外,線路環(huán)境是本文考慮影響司機(jī)警覺(jué)度水平變化的因素之一,當(dāng)將線路特征和高鐵司機(jī)的生理特征一起輸入模型,模型預(yù)測(cè)能力有進(jìn)一步提升,模型對(duì)司機(jī)反應(yīng)時(shí)間預(yù)測(cè)的nMAE和nRMSE均值分別為92.82、103.28 ms,模型預(yù)測(cè)的相對(duì)誤差為9.6%。

表6 LSTM-Attention模型輸入模態(tài)模型性能的影響

5 結(jié)論

本文結(jié)合警覺(jué)度的時(shí)間特性,提出一種基于LSTM-Attention模型的高鐵司機(jī)警覺(jué)度預(yù)測(cè)方法,模型以眼動(dòng)、心電信號(hào)以及線路參數(shù)的時(shí)間序列特征和作業(yè)線路特征為輸入,通過(guò)Attention機(jī)制調(diào)整各時(shí)刻特征對(duì)輸出的貢獻(xiàn)權(quán)重來(lái)對(duì)高鐵司機(jī)的反應(yīng)時(shí)間進(jìn)行回歸預(yù)測(cè),以此實(shí)現(xiàn)對(duì)高鐵司機(jī)警覺(jué)度的預(yù)測(cè)?；谀M實(shí)驗(yàn)數(shù)據(jù),LSTM-Attention模型的平均絕對(duì)誤差為92.86 ms,均方根誤差為102.31 ms,模型預(yù)測(cè)的相對(duì)誤差約為9.6%,基本實(shí)現(xiàn)對(duì)高鐵司機(jī)警覺(jué)度的連續(xù)度量,可為高鐵司機(jī)的警覺(jué)度監(jiān)測(cè)、預(yù)警設(shè)備的設(shè)計(jì)和開(kāi)發(fā)提供理論支撐。數(shù)據(jù)結(jié)果還表明高鐵司機(jī)警覺(jué)度特征的時(shí)間特性可用于對(duì)警覺(jué)度的預(yù)測(cè),后續(xù)研究中可通過(guò)調(diào)整特征提取的時(shí)間窗口大小,進(jìn)一步探究警覺(jué)度變化的時(shí)間特性,提升模型的預(yù)測(cè)精度。