王家曜，馬亮亮，王 飛，趙德京

（1.青島大學(xué) 自動(dòng)化學(xué)院，青島 266071；2.山東省工業(yè)控制重點(diǎn)實(shí)驗(yàn)室，青島 266071；3.哈爾濱工程大學(xué) 煙臺(tái)研究院，煙臺(tái) 264000；4.山東濰坊煙草有限公司，濰坊 262400）

疲勞駕駛是指駕駛員在睡眠不足的情況下，長時(shí)間持續(xù)駕車且未得到休息，導(dǎo)致反應(yīng)能力下降的現(xiàn)象。在導(dǎo)致交通事故的所有原因中，大部分的根源就是疲勞駕駛。目前，對(duì)于疲勞檢測(cè)的方法具體分為主觀方法和客觀方法[1]。主觀方法受被試者和檢測(cè)者主觀影響較大，且在實(shí)時(shí)檢測(cè)方面具有很大局限性；客觀方法具體有基于車輛軌跡、面部特征[2]和生理特征的檢測(cè)方法，其中生理特征與大腦的活動(dòng)最具相關(guān)性，因此該類方法在近幾年成為了主流，生理信號(hào)種類很多，例如心電信號(hào)[3]、肌電信號(hào)、眼電信號(hào)[4]和腦電信號(hào)[5]等。

深度學(xué)習(xí)被廣泛應(yīng)用于檢測(cè)領(lǐng)域，并取得了出色效果。針對(duì)腦電信號(hào)這類時(shí)序數(shù)據(jù)的分類問題，出現(xiàn)了許多檢測(cè)方法，如多種信號(hào)融合的疲勞檢測(cè)方法[6]，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，如缺陷檢測(cè)[7]、人臉識(shí)別[8]等，疲勞檢測(cè)領(lǐng)域也引入了許多圖像分類算法。文獻(xiàn)[9]將腦電信號(hào)的時(shí)域數(shù)據(jù)分解成alpha、beta、delta 和theta 4 個(gè)頻段，用以檢測(cè)疲勞狀態(tài)。文獻(xiàn)[10]將腦電信號(hào)進(jìn)行特征提取后，采用BNN成功識(shí)別駕駛員的實(shí)時(shí)疲勞狀態(tài)。

本文在ResNet 網(wǎng)絡(luò)基礎(chǔ)上，減少了卷積層數(shù)量并引入深度卷積，對(duì)標(biāo)準(zhǔn)化方法進(jìn)行調(diào)整，引入平均池化和encoder 網(wǎng)絡(luò)[11]的注意機(jī)制部分。對(duì)多個(gè)權(quán)威的腦電數(shù)據(jù)集進(jìn)行性能驗(yàn)證，以達(dá)到有效檢測(cè)疲勞狀態(tài)的目的。

1 改進(jìn)后的ResNet 網(wǎng)絡(luò)

在時(shí)序分類中，隨著網(wǎng)絡(luò)層數(shù)的疊加，卷積神經(jīng)網(wǎng)絡(luò)易出現(xiàn)梯度消失、退化的情況，這就會(huì)導(dǎo)致模型學(xué)習(xí)效果大大降低。而ResNet 網(wǎng)絡(luò)則能達(dá)到在網(wǎng)絡(luò)加深的同時(shí)還能保證模型學(xué)習(xí)效率的目的。ResNet 的殘差單元結(jié)構(gòu)如圖1 所示。

在圖1 中，輸入x 經(jīng)過一層權(quán)重層后得到映射函數(shù)F（x），經(jīng)ReLU 激活函數(shù)進(jìn)入第二個(gè)權(quán)重層，同時(shí)加入x 的全等映射，得到最終的映射函數(shù)F（x）+x。ResNet 最初的目的是避免更深層次的網(wǎng)絡(luò)在訓(xùn)練集上出現(xiàn)誤差上升的情況，故使用全等映射將前一層輸出傳到后面。圖2 為本文模型改進(jìn)后的殘差模塊，其中加入了平均池化和深度卷積，將標(biāo)準(zhǔn)化方法改為實(shí)例標(biāo)準(zhǔn)化，并對(duì)網(wǎng)絡(luò)中的結(jié)構(gòu)進(jìn)行了相應(yīng)調(diào)整以更加適合用于疲勞程度的分類。圖3 為本文模型架構(gòu)圖，在堆疊了3 個(gè)圖2 所示的殘差模塊后，將輸出分為兩部分，一部分不作處理，另一部分經(jīng)過Softmax 函數(shù)，將兩部分?jǐn)?shù)據(jù)按照對(duì)應(yīng)位置相乘，最后經(jīng)全連接層和標(biāo)準(zhǔn)化處理后輸出。

圖2 本文模型的殘差模塊Fig.2 Residual module of this paper model

圖3 本文模型架構(gòu)圖Fig.3 Model architecture diagram of this paper

1.1 卷積模塊

腦電數(shù)據(jù)的表示輸入向量格式為（數(shù)據(jù)量，步長，通道數(shù)），是三維Tensor 張量。本文模型3 個(gè)殘差模塊中一維卷積的輸出維度分別設(shè)置為64、128、128。卷積層的數(shù)學(xué)模型為

深度卷積工作原理如圖4 所示，此模塊關(guān)注每個(gè)通道內(nèi)部序列之間的信息，且1 個(gè)卷積核處理1個(gè)通道的信息，數(shù)量與通道數(shù)一一對(duì)應(yīng)。深度卷積模塊與傳統(tǒng)卷積達(dá)到相同性能時(shí)，前者參數(shù)量更少。

圖4 深度卷積Fig.4 Deep convolution

1.2 池化層

本文在改進(jìn)ResNet 的同時(shí)加入了平均池化層，該結(jié)構(gòu)能降低參數(shù)量，提升計(jì)算效率，增加感受野，是一種降采樣操作，其原理為

1.3 標(biāo)準(zhǔn)化與注意機(jī)制

本文模型將批量標(biāo)準(zhǔn)化改為實(shí)例標(biāo)準(zhǔn)化，將關(guān)注點(diǎn)由每批數(shù)據(jù)轉(zhuǎn)移到每個(gè)樣本數(shù)據(jù)。該方法有利于全局信息的整合和調(diào)整，對(duì)于訓(xùn)練來說也更加穩(wěn)定。本文還引入注意機(jī)制模塊，可以提升ResNet 在變化幅度較大的時(shí)間序列上的性能和表現(xiàn)。該機(jī)制使用了Lamda 層，作用是將輸入張量x 包裝為層對(duì)象，進(jìn)行無狀態(tài)計(jì)算。

在本文模型中，第三個(gè)殘差模塊輸出x 維度為128，將其前64 維度與后64 維度隔開，并將后者輸入Softmax 激活函數(shù)，將后64 維度的各節(jié)點(diǎn)的值映射到［0，1］范圍內(nèi)，并約束各輸出節(jié)點(diǎn)輸出值的和為1，再將經(jīng)Softmax 函數(shù)處理的后64 維度與前64維度的對(duì)應(yīng)元素相乘，得到輸出。Softmax 函數(shù)的定義為

式中：zi為第i 個(gè)節(jié)點(diǎn)的輸出值；C 為輸出節(jié)點(diǎn)的個(gè)數(shù)，即類別數(shù)。

1.4 優(yōu)化器和損失函數(shù)

本文模型使用Adam 優(yōu)化器，其根據(jù)梯度震蕩情況和過濾震蕩后的歷史梯度對(duì)變量進(jìn)行更新，既能適應(yīng)稀疏梯度，又能緩解梯度震蕩問題。

損失函數(shù)使用交叉熵?fù)p失函數(shù)，交叉熵是用來評(píng)估當(dāng)前訓(xùn)練得到的概率分布與真實(shí)分布的差異情況，其統(tǒng)計(jì)的是模型的預(yù)測(cè)輸出和期望輸出之間的差距，交叉熵的計(jì)算公式為

式中：N 為樣本數(shù)量；M 為類別數(shù)量；yic表示若第i 個(gè)樣本的標(biāo)簽等于c，則取1，否則取0；pic表示第i個(gè)樣本屬于類別c 的預(yù)測(cè)概率。

2 數(shù)據(jù)集

本文的數(shù)據(jù)集有：SEED-VIG 數(shù)據(jù)集[12]、多熵融合疲勞檢測(cè)數(shù)據(jù)集[13]、SPIS 靜息狀態(tài)數(shù)據(jù)集[14]。其中SEED-VIG 采集了21 名被試者的腦電數(shù)據(jù)，包含以2 Hz 帶寬計(jì)算的50 Hz 腦電特征，有4 種特征處理后的數(shù)據(jù)形式（如表1 所示）。多熵融合數(shù)據(jù)集采集了12 名被試者在進(jìn)行高速公路模擬駕駛實(shí)驗(yàn)時(shí)的腦電數(shù)據(jù)，SPIS 數(shù)據(jù)集則是采集了10 名被試者在睜眼和閉眼狀態(tài)下的腦電信號(hào)，每種狀態(tài)記錄2.5 min。

表1 不同標(biāo)簽在SEED-VIG 數(shù)據(jù)集中的數(shù)量Tab.1 Number of different tags in the SEED-VIG dataset

SEED-VIG 數(shù)據(jù)集按清醒、疲勞和嗜睡將標(biāo)簽分為3 類，多熵融合數(shù)據(jù)集按疲勞和非疲勞將標(biāo)簽分為2 類，SPIS 數(shù)據(jù)集按睜眼和閉眼將標(biāo)簽分為2類。具體狀態(tài)下的標(biāo)簽數(shù)量如表1 和表2 所示。

表2 不同標(biāo)簽在多熵融合疲勞檢測(cè)和SPIS 靜息狀態(tài)數(shù)據(jù)集中的數(shù)量Tab.2 Number of different labels in multi-entropy fusion fatigue detection and SPIS resting state datasets

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)和平臺(tái)

為檢驗(yàn)本文模型性能，同時(shí)對(duì)3 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。不同類別標(biāo)簽的數(shù)量如表2 和表3 所示，其中括號(hào)外是訓(xùn)練集中該標(biāo)簽的數(shù)量，括號(hào)內(nèi)是測(cè)試集中該標(biāo)簽的數(shù)量。

表3 ResNet 和本文模型在SEED-VIG 數(shù)據(jù)集上的性能指標(biāo)Tab.3 Performance metrics for ResNet and this article’s model on the SEED-VIG dataset

本文實(shí)驗(yàn)環(huán)境的詳細(xì)信息：Windows11 系統(tǒng)；CPU：12th Gen Intel（R）Core（TM）i7-12700KF 3.6 GHz；GPU：NVIDIA GeForce RTX 3080；編程語言為python3.8；深度學(xué)習(xí)框架為Tensorflow2.10.0。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

為了直觀地對(duì)模型的檢測(cè)效果進(jìn)行對(duì)比，引入準(zhǔn)確率、精確率和召回率，具體計(jì)算公式為

式中：N 表示總數(shù)據(jù)量；TP 表示“實(shí)際為正，預(yù)測(cè)為正”；TN 表示“實(shí)際為負(fù)，預(yù)測(cè)為負(fù)”；FP 表示“實(shí)際為負(fù)，預(yù)測(cè)為正”；FN 表示“實(shí)際為正，預(yù)測(cè)為負(fù)”。

3.3 基于SEED-VIG 數(shù)據(jù)集的實(shí)驗(yàn)

在SEED-VIG 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，ResNet 網(wǎng)絡(luò)和本文模型都是在初始learning rate=0.0001、batch size=64、epoches=500 的參數(shù)條件下進(jìn)行訓(xùn)練。性能指標(biāo)如表3 所示。

由表3 可知，在微分熵特征數(shù)據(jù)集上，二者精度相差不大，而在功率譜特征數(shù)據(jù)集上，ResNet 的精度則嚴(yán)重下滑。本文模型經(jīng)過改進(jìn)，在4 個(gè)特征數(shù)據(jù)集上的平均準(zhǔn)確率達(dá)到了96.9%，比ResNet 網(wǎng)絡(luò)（70.4%）高出了26.5%。

圖5 展示了本文模型在微分熵-線性動(dòng)力系統(tǒng)特征數(shù)據(jù)集上的損失值變化情況，隨著訓(xùn)練輪次的增加，訓(xùn)練集和測(cè)試集的損失值逐漸下降，在350輪時(shí)趨于平穩(wěn)。從曲線可以看出，模型在訓(xùn)練過程中的效果越來越好。

圖5 損失值曲線Fig.5 Loss value curve

3.4 基于多熵融合和SPIS 數(shù)據(jù)集的實(shí)驗(yàn)

為了更直觀地體現(xiàn)本文模型的性能，選取了其他模型作為基準(zhǔn)：殘差網(wǎng)絡(luò)（ResNet）、傳統(tǒng)CNN 網(wǎng)絡(luò)、多層感知機(jī)（MLP）、Time Le-Net 模型（t-LeNet）、時(shí)間扭曲不變回聲狀態(tài)網(wǎng)絡(luò)（TWIESN）[15]。所有模型都是在同樣的參數(shù)條件下進(jìn)行訓(xùn)練，實(shí)驗(yàn)得到的性能指標(biāo)如表4、表5 所示。

表5 各模型在SPIS 靜息狀態(tài)數(shù)據(jù)集上的性能指標(biāo)Tab.5 Performance indicators of each model on the SPIS resting state dataset

由表4 和表5 可知，各模型在2 個(gè)數(shù)據(jù)集上的平均準(zhǔn)確率為CCN（76.4%）、MLP（61.2%）、t-LeNet（67.7%）、TWIESN（88.9%）、ReNet（97.9%）、本文模型（98.5%）。

由表可知，各模型在多熵融合數(shù)據(jù)集上效果普遍較好，在SPIS 數(shù)據(jù)集上，CNN、MLP 和t-LeNet 表現(xiàn)不佳。而本文模型取得了最高和近似最高的性能指標(biāo)。

3.5 消融實(shí)驗(yàn)

為探究模型中各部分的性能增益，進(jìn)行表6 所示的消融實(shí)驗(yàn)，其中1、2、3、4 號(hào)模型分別為去掉深度卷積、去掉平均池化、去掉標(biāo)準(zhǔn)化和去掉注意機(jī)制后的本文模型。

表6 本文模型消融研究Tab.6 Study on model ablation in this paper

由1 號(hào)模型可知，深度卷積除了減少模型參數(shù)外，還能提升一定的準(zhǔn)確率。由2 號(hào)模型可知，去掉平均池化后，準(zhǔn)確率并沒有受到太大影響，但池化層可以減少計(jì)算量并提升訓(xùn)練速度。由3 號(hào)和4 號(hào)模型可知，引入標(biāo)準(zhǔn)化和注意機(jī)制能有效提升本文模型的準(zhǔn)確率。從結(jié)果來看，本文模型引入和改進(jìn)的部分在疲勞檢測(cè)領(lǐng)域提升了ResNet 網(wǎng)絡(luò)的性能。

4 結(jié)語

本文采用改進(jìn)ResNet 網(wǎng)絡(luò)，在疲勞檢測(cè)領(lǐng)域幾個(gè)權(quán)威腦電數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，取得了較為理想的結(jié)果。實(shí)驗(yàn)表明，本文模型已經(jīng)取得了能夠與主流模型相媲美的性能。通過消融實(shí)驗(yàn)，發(fā)現(xiàn)本文模型引入和改進(jìn)的模塊對(duì)提升準(zhǔn)確率都有幫助，尤其是實(shí)例標(biāo)準(zhǔn)化，使得本文模型在各數(shù)據(jù)集上的平均準(zhǔn)確率上升了將近26 個(gè)百分點(diǎn)。從數(shù)據(jù)集的分類準(zhǔn)確率來看，本文模型在3 個(gè)數(shù)據(jù)集上的表現(xiàn)較好且較為均衡，平均準(zhǔn)確率達(dá)到97.4%。