摘 "要： 疲勞檢測對日常生活是至關重要的，尤其對于駕駛領域?；谀X電（EEG）信號的疲勞駕駛檢測已吸引了眾多學者的關注，但由于高質(zhì)量帶標簽的EEG樣本稀少問題嚴重阻礙了疲勞檢測領域的發(fā)展。因此，文中首次將自監(jiān)督學習（SSL）與擴散模型（DDPM）相結合應用于EEG的疲勞檢測研究中，提出一種基于SSL?DDPM的腦電疲勞狀態(tài)檢測方法。該方法分為預訓練和下游任務兩部分，預訓練階段中首先對原始信號進行DDPM擴增，然后以ResNeXt代替ResNet為骨干網(wǎng)絡對擴增前后的EEG信號進行特征提取，最后對提取的特征進行信號重構。下游任務的網(wǎng)絡以共享預訓練網(wǎng)絡參數(shù)為主，對擴增前后的信號進行疲勞檢測。通過SEED數(shù)據(jù)集和Multi?channel數(shù)據(jù)集進行實驗驗證，最終分類準確率分別達到88.23%和86.14%，驗證了文中疲勞狀態(tài)檢測方法的有效性。

關鍵詞： 腦電信號； 疲勞檢測； 自監(jiān)督學習； 擴散模型； 骨干網(wǎng)絡； 信號重構

中圖分類號： TN911.7?34； TP391 " " " " " " " " "文獻標識碼： A " " " " " " " " " " 文章編號： 1004?373X（2024）21?0040?06

EEG fatigue state detection method based on SSL?DDPM

ZHANG Linhua1， GUO Caiping1， XU Xiaozhe2， FU Lizhen3， XING Zhenzhen1

（1. Department of Computer Engineering， Taiyuan Institute of Technology， Taiyuan 030008， China;

2. Shanxi Cultural Tourism Group Shantou Information Co.， Ltd.， Taiyuan 030008， China;

3. School of Software， North University of China， Taiyuan 030008， China）

Abstract： Fatigue detection is vital to daily life， especially to the field of driving. Fatigue driving detection based on EEG signals has attracted much attention. However， the lack of high?quality labeled EEG samples has hindered the development of fatigue detection seriously. Therefore， a self?supervised learning （SSL） combined with diffusion model （abbreviated as DDPM） is applied to the fatigue detection of EEG for the first time， and an EEG fatigue detection method based on SSL?DDPM is proposed. The method is divided into two parts， named pre?training and downstream tasks. At the stage of pre?training， the original signal is amplified by DDPM， and then ResNeXt is used as the backbone network instead of ResNet to extract the features of EEG signals before and after amplification. Finally， the extracted features are subjected to signal reconstruction. The network for downstream tasks performs the signal fatigue detection before and after amplification by mainly sharing the pre?training network parameters. The SEED data set and Multi?channel data set are used for experimental verification， and the experimental results show that the final classification accuracy rates on the two data sets reach 88.23% and 86.14%， respectively， which verifies the validity of the fatigue state detection method in this paper.

Keywords： EEG signal; fatigue detection; self?supervised learning; diffusion model; backbone network; signal reconstruction

0 "引 "言

腦疲勞導致注意力控制削弱、個體警覺性降低等，還會阻礙認知資源的合理分配[1]。在駕駛卡車、高速列車以及飛機等工作中，警惕性下降或注意力缺失會造成不可挽回的生命財產(chǎn)損失。駕駛安全被認為受到環(huán)境單調(diào)、睡眠剝奪、長期嗜睡等多種因素的影響，其中最主要的因素之一是疲勞駕駛[2]。因此，疲勞檢測對降低駕駛事故的發(fā)生頻率和嚴重程度具有重要意義。

疲勞檢測模型的關鍵在于疲勞標簽的劃分，近年來，疲勞劃分方法主要有三種：基于駕駛員的行為特征[1?5]，基于心理學的調(diào)查[6?7]，基于EEG[8]、眼電圖[9]、心電圖[10]或組合多種生理信號對疲勞進行檢測。其中，基于EEG的方法被認為是最有效的方法之一，因為EEG可以直接反映大腦神經(jīng)細胞的活動，從而揭示駕駛人在駕駛過程中心理狀態(tài)的變化。

在基于EEG的疲勞估計中，分類和回歸是兩種基本方法。目前疲勞評測方法大多數(shù)通過監(jiān)督學習對疲勞狀態(tài)進行分類，旨在將大腦狀態(tài)分為兩個或兩個以上的警戒和疲勞狀態(tài)[5]。這種方法通常采用基于[δ]、[θ]、[α]、[β]，以及樣本熵、模糊熵、近似熵、譜熵和小波熵等特征[11?13]，分別結合支持向量機（SVM）、線性判別分析、K最相鄰、隨機森林、多層感知器等機器學習或者深度學習方法[14?15]對疲勞狀態(tài)進行識別。然而，在EEG信號采集過程中，容易受到環(huán)境、被試主觀因素的影響，疲勞狀態(tài)標簽無法完全準確，導致監(jiān)督學習方法在腦電疲勞狀態(tài)檢測中應用受限。同時由于疲勞誘導任務時間長，采集的疲勞狀態(tài)下的EEG信號樣本量較少，在網(wǎng)絡訓練過程中出現(xiàn)過擬合現(xiàn)象，使疲勞檢測模型性能下降。隨著深度學習的發(fā)展，自監(jiān)督學習通過運用預訓練模型至下游任務在一定程度上減少了帶標簽樣本數(shù)量的使用。為此，許多學者將自監(jiān)督學習方法應用于EEG信號分析研究中[16?17]。

為了提高疲勞檢測模型的性能，對EEG信號進行數(shù)據(jù)增強至關重要。文獻[18]提出了一種基于生成對抗網(wǎng)絡的自監(jiān)督數(shù)據(jù)增強框架用于EEG的情緒識別。文獻[19]提出了一種結合時空特征的雙編碼器變分自編碼器生成對抗網(wǎng)絡用于情緒識別。這些方法忽視了EEG信號的內(nèi)在結構，且在訓練過程中模型可能出現(xiàn)不穩(wěn)定和模型崩潰等問題，限制了數(shù)據(jù)增強技術在EEG信號疲勞檢測領域中的應用。

為了提高EEG信號疲勞狀態(tài)分類的正確率，解決高質(zhì)量帶標簽EEG樣本量稀缺的問題，本文首次將SSL與DDPM相結合應用到基于EEG信號的疲勞識別任務中，提出一種基于SSL?DDPM的腦電疲勞狀態(tài)檢測方法。該方法分為預訓練和下游任務兩部分，在預訓練階段先對原始信號進行DDPM擴增，然后使用預訓練網(wǎng)絡進行特征提取，最后對提取的特征進行信號重構，并計算MSE損失以不斷更新網(wǎng)絡參數(shù)。在下游任務中，將擴增前后的信號進行融合，通過共享與訓練網(wǎng)絡中的參數(shù)進行疲勞檢測。該方法可以使更多未標記的數(shù)據(jù)用于疲勞檢測模型的預訓練過程，提高疲勞檢測模型的預測性能。

1 "數(shù)據(jù)集介紹

1.1 "SEED數(shù)據(jù)集

為了收集EEG和EOG數(shù)據(jù)，文獻[20]開發(fā)了一個基于虛擬現(xiàn)實的模擬駕駛系統(tǒng)。在真實車輛前方大型LCD屏幕上，可以看到以筆直為主的四車道公路場景，這樣更容易誘發(fā)被試疲勞。軟件中的車輛運動由方向盤和油門踏板控制，場景根據(jù)被試的操作同步更新，該實驗共有21名被試參加。實驗過程中采用1 000 Hz采樣率的Neuroscan系統(tǒng)同時記錄前額EOG信號以及后腦（CP1、CPZ、CP2、P1、PZ、P2、PO3、POZ、PO4、O1、OZ、O2）和顳葉（FT7、FT8、T7、T8、TP7、TP8）的18個通道的EEG，眼球運動同時使用SMI ETG眼動跟蹤眼鏡記錄。對于SEED數(shù)據(jù)集的標簽劃分，以數(shù)據(jù)集中閉眼百分比（PERCLOS）作為指標，具體計算公式如下：

[PERCLOS=blink+CLOSinterval] " " （1）

[interval=blink+fixation+saccade+CLOS] " "（2）

式中：CLOS、blink、fixation、saccade分別代表閉眼的持續(xù)時間，眼動追蹤眼鏡所提供的眨眼、注視、掃視變量。

1.2 "Multi?channel數(shù)據(jù)集

該數(shù)據(jù)集由文獻[21]在沉浸式駕駛模擬器的場景下采集的，采集實驗從90 min持續(xù)注意力任務中獲得被試的行為和大腦動力學，包括62份32通道的EEG數(shù)據(jù)。該實驗邀請了27名被試在一條四車道的高速公路上行駛，車道偏離事件隨機誘導，使汽車從原來的車道漂移到左車道或右車道，每個被試都被要求通過操控車輪讓汽車行駛回原來的車道。為了避免在駕駛過程中受其他因素的影響，被試僅通過轉動方向盤對車道擾動事件做出反應，不需要控制油門或剎車踏板。使用32通道quick?cap（Compumedical NeuroScan）記錄EEG，分別為Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCZ、FC4、FT8、T3、C3、Cz、C4、T4、TP7、CP3、CPz、CP4、TP8、A1、T5、P3、PZ、P4、T6、A2、O1、Oz和O2電極，在乳突骨上放置兩個電極（Al和A2）作為參考，第33個信號為車輛位置。對于Multi?channel數(shù)據(jù)集EEG信號的標簽劃分，采用與文獻[22?23]相同的方法進行標記，即將反應時長轉化為嗜睡指數(shù)作為指標[24]，計算方法如公式（3）所示：

[DI=max0，1-e-（τ-τ0）1+e-（τ-τ0）] （3）

式中：[τ0]設為1；[τ]為自變量，在這里指反應時長。

2 "方 "法

2.1 "數(shù)據(jù)增強方法

DDPM[25]由于其在生成真實且豐富的數(shù)據(jù)樣本方面表現(xiàn)卓越，廣泛應用于圖像和聲音生成等領域。它包括噪聲添加和噪聲去除兩個主要過程：正向擴散也為噪聲添加過程，主要控制噪聲擴散的程度；逆向生成也為噪聲去除，主要根據(jù)降噪模型預估噪聲以生成原始數(shù)據(jù)。

在EEG信號中，正向擴散主要是在原始信號[x0]的基礎上采用馬爾科夫鏈不斷添加噪聲[ε∈N（0，1）]直至信號為純高斯分布噪聲[xT]，逆向生成過程為正向擴散的逆過程。對于降噪模型，本文采用UNet網(wǎng)絡，在UNet模型的編碼部分模型會逐步壓縮信號的大??；在解碼部分則會逐步還原信號的大小。同時，在編碼和解碼間還會使用“殘差連接”，確保解碼部分在推理和還原信號時不會丟失掉之前步驟的信息。擴散具體過程如圖1所示。

由于EEG信號是一段較長的時間序列，需要對其進行合理劃分。為了最大程度地利用已有的腦電數(shù)據(jù)，本研究采用隨機偏移零重疊采樣方法[22?23]與DDPM相結合對腦電數(shù)據(jù)進行擴增。該方法首先通過隨機偏移零重疊采樣方法將原始EEG信號劃分為數(shù)據(jù)段序列，然后將劃分后的EEG信號片段進行DDPM擴增，最后將增強前和增強后的數(shù)據(jù)一起輸入到自監(jiān)督框架中進行疲勞識別，具體數(shù)據(jù)增強流程如圖2所示。

2.2 "自監(jiān)督學習

自監(jiān)督學習主要分為預訓練和下游任務兩部分。本研究所設置的預訓練任務是對增強后的特征進行信號重構，為后續(xù)下游任務奠定堅實的模型基礎。在預訓練網(wǎng)絡參數(shù)迭代中，需要比較重構后的信號與原始信號的區(qū)別，即計算MSE損失作為網(wǎng)絡的損失函數(shù)進行傳播，使模型能有效學習信號中的每個細粒度特征。

由于不同個體的EEG信號差異較大，需要一種既能有效提取腦電疲勞狀態(tài)的淺層特征，又能深入挖掘其深層結構的網(wǎng)絡。ResNet是一種卷積神經(jīng)網(wǎng)絡，它主要是通過在淺層網(wǎng)絡和深層網(wǎng)絡之間添加跳躍連接的殘差單元，以緩解在訓練過程中出現(xiàn)的網(wǎng)絡梯度消失或梯度爆炸問題。ResNeXt是ResNet的一種變體，它引入了一種新的聚合操作，允許通過增加分組卷積數(shù)量來增加網(wǎng)絡的寬度，而不是增加層數(shù)，以此提升模型的表現(xiàn)。

由于EEG信號是一段連續(xù)的時間序列，EEG數(shù)據(jù)段之間的遠程時間信息對疲勞狀態(tài)的識別同等重要。因此，本文的預訓練網(wǎng)絡架構采用ResNeXt與時間序列提取單元GRU相結合，預訓練的具體過程如圖3所示。

下游任務主要包括一個特征提取器和分類器，其中特征提取器以共享預訓練網(wǎng)絡參數(shù)為主，從而融合預訓練任務所學到的EEG信號的細粒度特征。分類器采用SVM，主要對所提取的EEG信號特征進行分類，并計算交叉熵損失（Cross_Entroy）進行下游任務網(wǎng)絡的參數(shù)更新，從而提高疲勞檢測模型的性能。下游任務的具體過程如圖4所示。

3 "實驗與結果

3.1 "參數(shù)設置

SEED數(shù)據(jù)集有21個被試，多通道數(shù)據(jù)集有27名被試，本文采用跨被試實驗驗證。設置如下：將數(shù)據(jù)集分為5份，采用五折交叉留一驗證方法。優(yōu)化器采用隨機梯度下降（SGD），批量大小為128。預訓練的動量為0.9，學習率采用余弦預熱學習率調(diào)整方法，最小為0.05，下游任務階段的學習率最小為0.09。預訓練和下游任務階段網(wǎng)絡均未采用dropout策略。

3.2 "實驗結果

3.2.1 "結果分析

在數(shù)據(jù)增強方法中，本文對每個被試的EEG信號都使用DDPM進行增強。當擴增了0、1 000、2 000、4 000、6 000、8 000、10 000個樣本時，訓練集為擴增后的樣本和原始樣本的集合，測試集樣本不變，分別輸入到本文方法中進行疲勞狀態(tài)預測。SEED數(shù)據(jù)集的預測結果如表1所示，Multi?channel數(shù)據(jù)集的預測結果如表2所示。

從表1、表2可以觀察到，在SEED數(shù)據(jù)集驗證實驗中，當每個被試的數(shù)據(jù)擴增6 000個樣本時，準確率達到88.23%，比沒有擴增樣本時的準確率提高了11.21%。當繼續(xù)擴增時，網(wǎng)絡出現(xiàn)過擬合現(xiàn)象。在Multi?channel數(shù)據(jù)集實驗驗證中，當每個被試的數(shù)據(jù)擴增8 000個樣本時，準確率達到了86.14%。當擴增到10 000個樣本時，準確率為86.04%。因此，DDPM數(shù)據(jù)增強方法在增加樣本量的同時提高了疲勞檢測模型的性能，接下來本文以SEED數(shù)據(jù)集為例進行對比消融實驗驗證本文方法的優(yōu)越性。

3.2.2 "對比消融實驗

為了更進一步驗證本文方法的優(yōu)越性，本文以SEED數(shù)據(jù)集為例將所提方法與文獻[22]提出的方法、ResNet50、未擴增樣本的方法分別進行對比，其中本文方法中將每個被試的樣本擴增了8 000個，對比消融實驗結果如表3所示。

從表3可以觀察到，將每個被試的樣本擴增了8 000個后，本文方法的準確率仍然優(yōu)越于其他方法，ResNet50的準確率最低。這可能是由于ResNet50主要通過增加網(wǎng)絡深度來提升模型的性能，而ResNeXt重點在于通過增加寬度來提高性能，寬度增加代表網(wǎng)絡的視野變大，能捕獲較長的EEG信號的時間序列信息。

為了更詳細地驗證本文方法的性能，以SEED數(shù)據(jù)集中某個被試為例，展示文獻[22]提出的方法、ResNet50、未擴增樣本的方法和本文方法計算的疲勞指標曲線，如圖5所示。

從圖5可以觀察到，圖5d）曲線的擬合程度最好，圖5b）效果最差。對位于200～400之間的峰值三種方法均做出快速上升響應，但對于變化幅度較小的波形，前兩種方法的適應性較差。因此，進一步驗證了本文方法的優(yōu)越性。

4 "結 "語

為解決高質(zhì)量帶標簽的EEG樣本稀少問題，本文首次將DDPM與自監(jiān)督學習框架有機結合應用至EEG信號疲勞檢測領域，提出了一種基于SSL?DDPM的腦電疲勞狀態(tài)檢測方法。研究在預訓練階段中采用DDPM進行EEG數(shù)據(jù)增強操作，主要任務是利用DDPM進行EEG信號重構，使得模型在重構信號的過程中能更加清晰地學習到清醒、疲勞、困倦狀態(tài)下的細粒度特征，從而捕獲疲勞狀態(tài)的通用特征。另一方面，由于腦電信號是一個連續(xù)的時間信號，疲勞狀態(tài)的變化也是隨時間變化的序列，因此在自監(jiān)督學習中，本文采用ResNeXt作為骨干網(wǎng)絡。ResNeXt具有更寬的視野，能融合更長先前的時間信號，通過對時間連續(xù)性的學習從而更精準地預測之后腦電信號的狀態(tài)。下一步的研究方向是考慮不同誘因引發(fā)的疲勞特征及如何最小化這些疲勞特征之間的差異，進一步提高算法的魯棒性。

注：本文通訊作者為郭彩萍。

參考文獻

[1] LIU Y S， LAN Z R， CUI J， et al. Inter?subject transfer learning for EEG?based mental fatigue recognition [J]. Advanced engineering informatics， 2020， 46： 101157.

[2] 許龍銘.基于改進PERCLOS的疲勞駕駛檢測系統(tǒng)的設計[J].現(xiàn)代電子技術，2023，46（22）：41?45.

[3] 徐敬一，田瑾，劉翔，等.基于注意力機制改進的疲勞駕駛檢測方法[J].傳感器與微系統(tǒng)，2024，43（4）：115?118.

[4] WANG F， WU S， PING J， et al. EEG driving fatigue detection with PDC?based brain functional network [J]. IEEE sensors journal， 2021， 21（9）： 10811?10823.

[5] ZENG H， ZHANG J M， ZAKARIA W， et al. An improved transfer?learning method for EEG?based cross?subject fatigue detection [J]. Sensors， 2020， 20（24）： 7251.

[6] YANG Z W， REN H J. Feature extraction and simulation of EEG signals during exercise?induced fatigue [J]. IEEE access， 2019， 7： 46389?46398.

[7] KRIGOLSON O E， HAMMERSTROM M R， ABIMBOLA W， et al. Using muse： Rapid mobile assessment of brain performance [J]. Frontiers in neuroscience， 2021， 15： 231733675.

[8] Al?SHARGIE F， HASSANIN O， TARIG U， et al. EEG?based semantic vigilance level classification using directed connectivity patterns and graph theory analysis [J]. IEEE access， 2020， 8： 115941?115956.

[9] MULAM H， MUDIGONDA M. Empirical mean curve decomposition with multiwavelet transformation for eye movements recognition using electrooculogram signals [J]. Journal of engineering in medicine， 2020， 234（8）： 794?811.

[10] LI R， WANG L， SOURINA O. Subject matching for cross?subject EEG?based recognition of driver states related to situation awareness [J]. Methods， 2022， 202： 136?143.

[11] 王忠民，鄭镕林，趙玉鵬，等.基于腦電信號的疲勞駕駛檢測研究綜述[J].西安郵電大學學報，2022，27（6）：52?66.

[12] 王家曜，馬亮亮，王飛，等.一種基于改進ResNet的疲勞檢測方法[J].自動化與儀表，2023，38（11）：66?70.

[13] 吳天昊，張震，王家曜.一種基于卷積神經(jīng)網(wǎng)絡的疲勞駕駛檢測方法[J/OL].控制工程：1?7[2023?12?21].https：//doi.org/10.14107/j.cnki.kzgc.20230854.

[14] WANG F， MA M， FU R， et al. EEG?based detection of driving fatigue using a novel electrode [J]. Sensors and actuators A： Physical， 2024， 365： 114895.

[15] CHEN Z Y， MENG Y H， WANG R Y， et al. A novel recurrent self?evolving fuzzy neural network for consensus decision?making of unmanned aerial vehicles [J]. International journal of advanced robotic systems， 2024， 21（2）： 7168?7183.

[16] ZHANG M， CUI Y L. Self supervised learning based emotion recognition using physiological signals [J]. Frontiers in human neuroscience， 2024， 18： 1?6.

[17] SUN J， XIAO C， WESTOVER M B， et al. Self?supervised electroencephalogram representation learning for automatic sleep staging [J]. Model development and evaluation study， 2023， 2： 46769.

[18] ZHANG Z， LIU Y， ZHONG S H. GANSER： A self?supervised data augmentation framework for EEG?based emotion recognition [J]. IEEE transactions on affective computing， 2022， 14（3）： 2048?2063.

[19] TIAN C， MA Y， CAMMON J， et al. Dual?encoder VAE?GAN with spatiotemporal features for emotional EEG data augmentation [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 2018?2027.

[20] ZHENG W L， LU B L. A multimodal approach to estimating vigilance using EEG and forehead EOG [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1611.08492.

[21] CAO Z， CHUANG C H， KING J K， et al. Multi?channel EEG recordings during a sustained?attention driving task [J]. Scientific data， 2020， 6（1）： 19.

[22] YUAN D Y， YUE J W， XIONG X F， et al. A regression method for EEG?based cross?dataset fatigue detection [J]. Frontiers in physiology， 2023， 14： 1196919.

[23] YUAN D Y， YUAN J W， XU H Y， et al. A regression model combined convolutional neural network and recurrent neural network for electroencephalogram?based cross?subject fatigue detection [J]. Review of scientific instruments， 2023， 94（9）： 094101.

[24] YANG Y， GAO Z， LI Y， et al. A CNN identified by reinforcement learning?based optimization framework for EEG?based state evaluation [J]. Journal of neural engineering， 2021， 18（4）： 046059.

[25] HO J， JAIN A， ABBEEL P. Denoising diffusion probabilistic models [EB/OL]. [2021?01?19]. https：//proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b?Abstract.html.

作者簡介：張麟華（1982—），男，山西陽曲人，碩士研究生，副教授，研究方向為智能數(shù)據(jù)處理。

郭彩萍（1981—），女，山西文水人，博士研究生，教授，碩士生導師，研究方向為信號與信息處理。

許驍哲（1990—），男，山西運城人，博士研究生，研究方向為人工智能。

富麗貞（1982—），女，山西大同人，博士研究生，講師，研究方向為多模態(tài)信息融合。

邢珍珍（1987—），女，山西文水人，博士研究生，副教授，研究方向為深度學習。