張少涵，馬錦山，陳澤龍，謝子彥，林少煒，張振昌

(1.福建農(nóng)林大學(xué) 計(jì)算機(jī)與信息學(xué)院，福建 福州 350002;2.聯(lián)勤保障部隊(duì)第900醫(yī)院醫(yī)學(xué)影像中心，福建 福州 350002;3.福建醫(yī)科大學(xué)，福建 福州 350002)

隨著時(shí)代的發(fā)展，社會(huì)生產(chǎn)力不斷提高，人們的工作量也隨之增加。由于工作時(shí)間過(guò)長(zhǎng)、工作壓力過(guò)大等產(chǎn)生疲勞的現(xiàn)象在日常生活中時(shí)常發(fā)生[1]，而疲勞會(huì)影響人們工作效率甚至導(dǎo)致事故的發(fā)生。

在生物醫(yī)學(xué)數(shù)字信號(hào)處理技術(shù)的不斷發(fā)展下，研究者們發(fā)現(xiàn)腦電信號(hào)和眼電信號(hào)與人的精神疲勞有顯著的相關(guān)關(guān)系[2]。在傳統(tǒng)方法中，劉苗苗等[3]使用非線性動(dòng)力學(xué)的多尺度熵方法來(lái)分析不同駕駛狀態(tài)下的腦電信號(hào)，發(fā)現(xiàn)受試者在疲勞狀態(tài)下駕駛時(shí)的熵值低于非疲勞狀態(tài)下的熵值。李超[4]使用與的比值來(lái)客觀性的判斷人腦的疲勞狀態(tài)。周佳蘋(píng)[5]研究發(fā)現(xiàn)α波、β波、θ波及（α+θ）/β、β/α在疲勞和不疲勞狀態(tài)下的表現(xiàn)都有顯著差異。

生物信號(hào)是一種十分復(fù)雜以及微弱的時(shí)序信號(hào)，具有非平穩(wěn)性和非線性的特點(diǎn)，通常情況是由多電極測(cè)得的多通道信號(hào)，這使得疲勞檢測(cè)評(píng)估更為復(fù)雜。近幾年來(lái)隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，神經(jīng)網(wǎng)絡(luò)也開(kāi)始應(yīng)用在生物信號(hào)分析上，它在面對(duì)復(fù)雜問(wèn)題上具有強(qiáng)大學(xué)習(xí)力，對(duì)于多通道的信號(hào)也能夠?qū)W習(xí)到其中的相關(guān)信息。韓霜等[6]提出基于深度收縮自編碼網(wǎng)絡(luò)的飛行員疲勞狀態(tài)識(shí)別模型。張兆瑞等[7]建立疲勞識(shí)別模型對(duì)疲勞進(jìn)行檢測(cè)。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在疲勞檢測(cè)中廣泛的應(yīng)用[8]，但是普通的卷積網(wǎng)絡(luò)并沒(méi)有利用到生物信號(hào)上的時(shí)間信息。時(shí)序處理算法（Long Short-Term Memory,LSTM）是專門用于時(shí)間序列的模型，在對(duì)于含有時(shí)間信息的模型，通常使用基于LSTM網(wǎng)絡(luò)進(jìn)行研究，以使得模型能夠?qū)W習(xí)到序列的時(shí)間信息。張楠等[9]使用微分熵的特征輸入LSTM模型中，來(lái)預(yù)測(cè)警惕性水平。但是LSTM不能夠并行計(jì)算，使得模型訓(xùn)練時(shí)候需要消耗大量的時(shí)間成本。

TCN網(wǎng)絡(luò)[10]是在卷積網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，以適用在時(shí)間序列的問(wèn)題上。它通過(guò)使用擴(kuò)張卷積對(duì)全局信息進(jìn)行學(xué)習(xí)，使其具有學(xué)習(xí)時(shí)間信息的能力。于是本文運(yùn)用TCN網(wǎng)絡(luò)在生物信號(hào)的疲勞檢測(cè)問(wèn)題，利用鄭偉龍等[11]公開(kāi)的SEED-VIG數(shù)據(jù)集進(jìn)行進(jìn)一步研究，他們將數(shù)據(jù)集的標(biāo)簽PERCLOS按閾值[0.35,0.7]分為3類，但我們?cè)谶M(jìn)行數(shù)據(jù)預(yù)處理中發(fā)現(xiàn)，3類的數(shù)據(jù)集數(shù)量嚴(yán)重不平衡，一些實(shí)驗(yàn)對(duì)象數(shù)據(jù)分布極端化，這可能導(dǎo)致模型訓(xùn)練的無(wú)效性。于是，本文針對(duì)該數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別建立連續(xù)的P-TCN模型和連續(xù)的P-LSTM網(wǎng)絡(luò)模型，在模型中并行輸入數(shù)據(jù)集中EEG和EOG的數(shù)據(jù)，最后通過(guò)全連接輸出疲勞程度。實(shí)驗(yàn)結(jié)果表明，在同樣采取并行結(jié)構(gòu)的方法下，PTCN的預(yù)測(cè)結(jié)果更好。

1 資料與方法

1.1 SEED-VIG數(shù)據(jù)集

研究使用BCMI實(shí)驗(yàn)室公開(kāi)的數(shù)據(jù)集SEED-VIG[11],實(shí)驗(yàn)要求被試者模擬駕駛車輛，并且在測(cè)試前一天無(wú)服用酒精咖啡因等物質(zhì)。使用Neuroscan系統(tǒng)記錄了23名被試者的EEG和EOG，同時(shí)在實(shí)驗(yàn)過(guò)程中使用跟蹤眼鏡標(biāo)記對(duì)應(yīng)的PERCLOS（眼睛閉合時(shí)間長(zhǎng)度/時(shí)間區(qū)間總長(zhǎng)度）指標(biāo)值作為警戒的標(biāo)簽。實(shí)驗(yàn)在午后進(jìn)行，時(shí)間持續(xù)2 h以上，以便在嗜睡的晝夜節(jié)律高峰和長(zhǎng)時(shí)間的駕駛下確保實(shí)驗(yàn)對(duì)象進(jìn)入疲勞的狀態(tài)。數(shù)據(jù)的采樣頻率為1000 Hz。PERCLOS標(biāo)簽的區(qū)間為[0,1]，這里的PERCLOS只作為標(biāo)簽數(shù)據(jù)使用。

數(shù)據(jù)集中將腦電信號(hào)數(shù)據(jù)下采樣至200 Hz，EOG信號(hào)充當(dāng)EEG信息的補(bǔ)充，它攜帶眨眼時(shí)的有關(guān)信息。通過(guò)在每個(gè)腦電信號(hào)中以2 Hz的頻率分辨率從總頻帶（50 Hz）中提取25個(gè)頻域，計(jì)算25個(gè)頻域下的EEG的微分熵作為特征值；通過(guò)在眼電信號(hào)中檢測(cè)眨眼和掃視的持續(xù)時(shí)間，均值，最大值，方差等統(tǒng)計(jì)參數(shù)中提取了36個(gè)EOG的特征值。

1.2 TCN網(wǎng)絡(luò)

1.2.1 因果卷積

為提高疲勞判斷的準(zhǔn)確度，運(yùn)用由WaveNet提出的基于時(shí)間的因果卷積模型[12]，該模型能夠針對(duì)生物信號(hào)來(lái)進(jìn)行序列的卷積建模。規(guī)范的CNN并不能夠處理到生物信號(hào)的特征問(wèn)題。而將因果卷積應(yīng)用在生物信號(hào)序列中，能確保在建立模型時(shí)不會(huì)改變生物信號(hào)的順序，從而實(shí)現(xiàn)對(duì)生物信號(hào)序列一一對(duì)應(yīng)的問(wèn)題。下圖1顯示因果卷積結(jié)構(gòu)的圖示。

圖1 因果卷積Fig.1 Causal convolution

1.2.2 擴(kuò)展卷積

腦電信號(hào)和眼電信號(hào)的采樣頻率較高，因此信號(hào)的序列較長(zhǎng)，需要較長(zhǎng)的時(shí)域感受野。對(duì)于一個(gè)長(zhǎng)序列進(jìn)行因果卷積，卷積層需要不斷增加，才能達(dá)到要求。這就會(huì)出現(xiàn)梯度消失，過(guò)擬合等問(wèn)題。擴(kuò)展卷積能夠很好的解決這個(gè)問(wèn)題，Dilation是擴(kuò)展卷積的大小，Dilation的大小隨著層數(shù)增加而增加。擴(kuò)展卷積的結(jié)構(gòu)如下圖2所示。設(shè)生理信號(hào)為X=（x1，x2，…，xt），則序列擴(kuò)展卷積運(yùn)算F定義為：

圖2 擴(kuò)展卷積Fig.2 Extended convolution

D表示膨脹因子，k表示卷積核的大小，s-d·i表示過(guò)去的比例，增大d可以增加感受野，在信號(hào)訓(xùn)練中更大的d，可以應(yīng)用更長(zhǎng)的序列。

1.2.3 殘差學(xué)習(xí)

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，導(dǎo)致參數(shù)過(guò)多，且標(biāo)準(zhǔn)的反向傳播無(wú)法找到最優(yōu)權(quán)重，這就會(huì)出現(xiàn)退化問(wèn)題。生理信號(hào)的數(shù)列數(shù)據(jù)龐大，為了提升模型的性能，在TCN模型中添加殘差和參數(shù)化跳過(guò)連接，具體結(jié)構(gòu)如下圖3所示。

圖3 殘差模塊結(jié)構(gòu)Fig.3 Residual module structure

殘差模塊的輸出包括了卷積網(wǎng)絡(luò)的輸出和輸入信息，其輸出簡(jiǎn)單表示為y=F（X）+X。

1.3 實(shí)驗(yàn)

該實(shí)驗(yàn)使用Python語(yǔ)言在Pytorch環(huán)境下實(shí)現(xiàn)提出的 P-TCN模型，在硬件方面使用 Nvidia GTX1080TI訓(xùn)練模型。

提出融合EEG和EOG的P-TCN結(jié)構(gòu)，首先將兩種信號(hào)并列輸入TCN進(jìn)行學(xué)習(xí)后，然后把兩種信號(hào)特征融合后，再次輸入不同參數(shù)的TCN模塊，使得模型學(xué)習(xí)到不同尺度下的多尺度的信息，最后由全連接層輸出疲勞狀態(tài)值。EEG和EOG具有不同的信號(hào)特征，分別運(yùn)用不同大小的TCN模塊提取不同信號(hào)的時(shí)序特征進(jìn)行特征融合，更優(yōu)于將信號(hào)數(shù)據(jù)先融合后輸入模型的方法。

數(shù)據(jù)輸入模型之前使用BatchNorma函數(shù)對(duì)數(shù)據(jù)集進(jìn)行處理，可加快模型的收斂速度。模型中殘差學(xué)習(xí)和跳過(guò)鏈接的結(jié)構(gòu)，可以使得模型具有較深的網(wǎng)絡(luò)，在模型網(wǎng)絡(luò)中層與層之間加入dropout層，以防止出現(xiàn)過(guò)擬合，并且加快模型訓(xùn)練的速度。P-TCN的算法結(jié)構(gòu)如圖4。

圖4 P-TCN結(jié)構(gòu)Fig.4 P-TCN structure

模型的輸入形狀為EEG[25*17*885]、EOG[36*1*885]，分別經(jīng)過(guò)8層和5層的TCN模塊層，通過(guò)torch.cat函數(shù)進(jìn)行特征拼接融合后；再分別輸入3層和2層的TCN模塊層，再次通過(guò)torch.cat函數(shù)進(jìn)行特征拼接，把拼接結(jié)果矩陣通過(guò)reshape為一個(gè)676維的向量，最后，利用3層全連接進(jìn)行回歸，分別由32，16，1個(gè)神經(jīng)元組成，得到接近的PERCLOS值。優(yōu)化算法采用adam進(jìn)行參數(shù)調(diào)整。其他一些參數(shù)設(shè)置學(xué)習(xí)率為0.001，batch設(shè)置為24，epoch設(shè)置為100，dropout設(shè)置為0.5。

1.4 評(píng)估指標(biāo)

為評(píng)估模型的檢測(cè)程度，我們引入平均絕對(duì)誤差（MAE），均方誤差（MSE）,可釋方差得分（EVS），R2（r2_score）評(píng)估實(shí)驗(yàn)的模型，yi表示第i個(gè)真實(shí)值，表示第i預(yù)測(cè)值，表示一段信號(hào)y的平均值，指標(biāo)可表示如下：

2 實(shí)驗(yàn)結(jié)果

由于不同個(gè)體間具有差異性，在相同的疲勞程度下不同個(gè)體在生物信號(hào)上有不同表現(xiàn)，且每個(gè)人對(duì)于疲勞的感應(yīng)力不相同，因此該實(shí)驗(yàn)對(duì)同一個(gè)被試者進(jìn)行建模。同時(shí)為防止數(shù)據(jù)集劃分不平衡出現(xiàn)訓(xùn)練無(wú)效的現(xiàn)象，不對(duì)標(biāo)簽進(jìn)行閾值上的分類劃分，而是使用連續(xù)型的數(shù)據(jù)進(jìn)行建模。為了使得模型能夠?qū)W習(xí)到每個(gè)狀態(tài)下的信息，通過(guò)隨機(jī)劃分確定訓(xùn)練集和測(cè)試集，將提出的模型與單一信號(hào)的TCN模型、P-LSTM模型進(jìn)行對(duì)比實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)結(jié)果如下表1所示：

表1 不同模型指標(biāo)結(jié)果Tab.1 Results of different model indicators

從表1中可以看出，在使用單一的信號(hào)時(shí)，使用EEG對(duì)比EOG有更好的表現(xiàn)，這可能是EEG對(duì)精神疲勞的變化更為敏感。提出的模型對(duì)比P-LSTM模型的評(píng)價(jià)指標(biāo)有較大的提升。其中均方誤差下降到0.0022，平均絕對(duì)誤差下降到0.0370。各模型對(duì)于同一實(shí)驗(yàn)對(duì)象測(cè)試集的預(yù)測(cè)曲線如圖5所示。

圖5 P-LSTM和P-TCN的預(yù)測(cè)曲線Fig.5 P-LSTM and P-TCN prediction curves

實(shí)驗(yàn)控制相同的神經(jīng)網(wǎng)絡(luò)層數(shù)，相同的訓(xùn)練次數(shù)epoch=50下。P-LSTM也能取得不錯(cuò)的預(yù)測(cè)，但PTCN在訓(xùn)練模型時(shí)消耗的時(shí)間比P-LSTM少得多，且在預(yù)測(cè)曲線中表現(xiàn)更貼近實(shí)際值，在真實(shí)曲線中波動(dòng)較大地方和細(xì)節(jié)處表達(dá)的更好，體現(xiàn)出模型更強(qiáng)的學(xué)習(xí)能力和性能。

3 討論和結(jié)論

在上述實(shí)驗(yàn)中融合兩種信號(hào)的方法對(duì)比單一信號(hào)確實(shí)有更好的表現(xiàn)。LSTM網(wǎng)絡(luò)結(jié)構(gòu)決定讀取數(shù)據(jù)時(shí)只能等上一個(gè)時(shí)間點(diǎn)讀取完畢才能讀取進(jìn)行下一個(gè)時(shí)間點(diǎn)，于是它在處理龐大的生物信號(hào)數(shù)據(jù)時(shí)會(huì)導(dǎo)致訓(xùn)練的時(shí)間過(guò)長(zhǎng)，訓(xùn)練后使用模型進(jìn)行預(yù)測(cè)計(jì)算速度更耗時(shí)，影響腦電疲勞檢測(cè)的實(shí)時(shí)性。提出的改進(jìn)TCN模型融合了EEG+EOG的并行計(jì)算，該算法針對(duì)時(shí)序信息具有更大的感受野。既兼顧學(xué)習(xí)到時(shí)間序列信息，也能夠通過(guò)大規(guī)模的卷積并行計(jì)算提升訓(xùn)練速度，計(jì)算成本更低，模型性能更加優(yōu)異。

在TCN網(wǎng)絡(luò)中并行輸入兩種生理信號(hào)，將輸出的特征融合后，再輸入不同層數(shù)參數(shù)的TCN模塊以學(xué)習(xí)不同尺度下的信息。該模型對(duì)比同類研究具有較大的改進(jìn)，加快了訓(xùn)練的速度提高了模型的魯棒性，對(duì)于實(shí)時(shí)的疲勞檢測(cè)研究具有重要意義。