(1.浙江工業(yè)大學(xué) 經(jīng)貿(mào)管理學(xué)院，杭州 330014; 2.浙江工業(yè)大學(xué) 軟件學(xué)院，杭州 330014)

0 引言

疲勞是由長期高強度工作下引起的主觀不適感覺，具體表現(xiàn)在注意力難以集中、反應(yīng)遲鈍等癥狀，給人們正常生活帶來不便，嚴(yán)重時甚至?xí)鹇云诘燃膊?，因此，對于疲勞狀態(tài)進(jìn)行檢測可預(yù)防該類疾病的發(fā)生。腦電信號是由生物體腦部皮層神經(jīng)產(chǎn)生的生物電信號，與腦部活動密切相關(guān)，可直接反映生物體精神狀態(tài)，可作為精神疲勞評價指標(biāo)[1]。雖然疲勞是主觀不適感覺，但是在客觀同等條件下會影響原來所從事的正?；顒幽芰?。疲勞主要表現(xiàn)結(jié)果是精力不集中、反應(yīng)遲緩、預(yù)測能力下降。如果人們在正常工作中出現(xiàn)疲勞，不僅會降低工作效率，還容易出現(xiàn)重大交通事故問題，嚴(yán)重威脅人們生命安全。精神疲勞對人們正常工作帶來了極大影響，其產(chǎn)生的機理還處于研究與探索階段，從理論角度分析還難以做出準(zhǔn)確描述，而從現(xiàn)象角度分析也具有較大個體差異，這給預(yù)防精神疲勞所引起的疾病帶來較大難題，因此有必要建立一個定量、可觀疲勞檢測系統(tǒng)[2]?，F(xiàn)有大多數(shù)疲勞檢測系統(tǒng)僅適用于個別疲勞狀態(tài)的檢測，致使該類方法目前尚未形成有效且統(tǒng)一評價標(biāo)準(zhǔn)。采用傳統(tǒng)面部特征檢測系統(tǒng)對人臉各個器官進(jìn)行定位，容易受到環(huán)境、光照因素影響，導(dǎo)致系統(tǒng)檢測精準(zhǔn)度較低；相比較來說，設(shè)計深度信念網(wǎng)絡(luò)的腦電信號疲勞檢測系統(tǒng)，不會受到測試環(huán)境限制，可檢測日常工作中的精神疲勞，具有良好普適性[3]。

1 系統(tǒng)整體結(jié)構(gòu)設(shè)計

深度信念網(wǎng)絡(luò)是一個概率生成模型，該模型是在數(shù)據(jù)觀察與標(biāo)簽聯(lián)合分布基礎(chǔ)上建立的，與傳統(tǒng)判別神經(jīng)網(wǎng)絡(luò)模型相比，其判別是具有全面性的。深度信念網(wǎng)絡(luò)是由多個限制玻爾茲曼機組成的，具體分為兩個層次，分別是可視層和隱藏層，屬于典型網(wǎng)絡(luò)結(jié)構(gòu)。雖然可視層和隱藏層表面是具有密切關(guān)系的，但實際上，兩個層次內(nèi)部結(jié)構(gòu)是完全不相關(guān)的，其中隱藏層單元被單獨訓(xùn)練捕捉相關(guān)高階數(shù)據(jù)[4]。在該網(wǎng)絡(luò)條件下，設(shè)計腦電信號疲勞檢測系統(tǒng)，可直觀反映出腦部神經(jīng)細(xì)胞活動特征，精準(zhǔn)表達(dá)精神狀態(tài)。

腦電圖可通過腦電極記錄相關(guān)腦細(xì)胞群發(fā)性與節(jié)律性，是腦內(nèi)大量神經(jīng)元活動綜合反映，而腦機能狀態(tài)變化可引起腦電圖發(fā)生改變[5]。雖然腦電信號經(jīng)過顱骨、軟組織、頭皮，在空間上彌散開來，并和皮層其它位置信號相互混合，使頭皮記錄的電信號成為皮層電信號的混合體，使腦電圖在空間上變得極為模糊?；诓煌枨螅藗冊O(shè)計出多種腦-機接口原型系統(tǒng)。該系統(tǒng)通常是有輸入、輸出、信號處理與轉(zhuǎn)換模型組成的，其中輸入環(huán)節(jié)可產(chǎn)生某種特性腦部活動特征信號，而信號處理是將連續(xù)的特征信號轉(zhuǎn)換為某些特征參數(shù)數(shù)字信號，方便讀取與處理，并對數(shù)字信號進(jìn)行識別與分類[6]。

采集腦電信號，利用疲勞實時檢測系統(tǒng)進(jìn)行在線分析，通過對分析結(jié)果總結(jié)來驗證該系統(tǒng)有效性，整個系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)示意圖

由圖1可知：腦-機接口在人腦與計算機之間建立直接交流通道，通過該通道人可直接通過大腦來表達(dá)想法，而不需要語言或動作，有效增強外界交流與外部環(huán)境能力，提高使用者活動便攜性。在大腦產(chǎn)生動作意識之后，其腦電信號會發(fā)生相應(yīng)改變，這種變化可通過一定方式檢測出來，并作為動作發(fā)出特征信號，通過特征信號進(jìn)行分類識別，分辨出引發(fā)腦電變化動作示意圖，之后還可以通過接口轉(zhuǎn)化，將人的思維活動轉(zhuǎn)換為命令信號驅(qū)動設(shè)備，實現(xiàn)無肌肉和外圍神經(jīng)參與下的疲勞檢測[7]。

2 系統(tǒng)硬件模塊設(shè)計

疲勞檢測系統(tǒng)硬件結(jié)構(gòu)通常是由信號采集、顯示輸出、同步邏輯控制、圖像分析和處理、結(jié)果顯示與報警組成的，具體設(shè)計如圖2所示。

圖2 疲勞檢測系統(tǒng)硬件結(jié)構(gòu)

采用seed-vpm642作為硬件平臺，設(shè)計硬件結(jié)構(gòu)，支持4路制式信號輸入。采用型號為TMS320DM642的DSP數(shù)字信號處理器和TVP5150型號信號編碼器，可直接與信號解碼器接口相連接，根據(jù)不同應(yīng)用，編制不同處理程序，可實現(xiàn)各類信號處理，具有較大靈活性。

2.1 采集模塊設(shè)計

硬件結(jié)構(gòu)中的采集模塊原理是通過CCD采集到連續(xù)特征信號，經(jīng)過A/D信號轉(zhuǎn)換，變成數(shù)字信號形式。通過數(shù)據(jù)處理模塊對信號進(jìn)行處理[8]。

在該模塊設(shè)計過程中，采用某公司生產(chǎn)的SAA7115型號解碼器完成數(shù)字化信號分離，采集模塊電路圖如圖3所示。

圖3 采集模塊電路圖

由圖3可知：采用型號為TMS320DM642的DSP數(shù)字信號處理器，可連接所有信號端口，在設(shè)計過程中，將信號輸入端口進(jìn)行編號，分別為0和1，而端口2作為信號顯示端口。其中端口1通過RCA類型插座連接低噪聲的Video接口，輸入的信號必須為合成信號，通過I2C總線接口實現(xiàn)存儲器串行擴展，增加輸出傳輸速度，提高信號采集精準(zhǔn)度。

2.2 顯示模塊設(shè)計

將TMS320DM642信號端口與編碼器相連接，利用現(xiàn)場可編程門陣列FPGA，在默認(rèn)條件下可通過SAA7105編碼器進(jìn)行復(fù)合信號編碼。FPGA為系統(tǒng)提供了FIFOs，可將信號端口2數(shù)據(jù)與FIFOs端口數(shù)據(jù)相混合，將混合數(shù)據(jù)通過空間同步模式EMIF輸出到外部存儲器接口進(jìn)行存取。

采用seed-vpm642硬件平臺，設(shè)計硬件結(jié)構(gòu)，根據(jù)CCD采集連續(xù)特征信號工作原理，將特征信號轉(zhuǎn)變成數(shù)字信號，通過信號預(yù)處理、分割、特征提出與識別，實現(xiàn)數(shù)字化信號分離。采用型號為TMS320DM642的DSP數(shù)字信號處理器，可對端口1的信號進(jìn)行合成，對端口2的信號進(jìn)行復(fù)合信號編碼，通過DM642I2C總線進(jìn)行配置，將混合數(shù)據(jù)存儲到外部存儲器處，由此完成系統(tǒng)硬件模塊設(shè)計。

3 系統(tǒng)軟件功能設(shè)計

系統(tǒng)軟件功能設(shè)計可將深度信念網(wǎng)絡(luò)訓(xùn)練分成兩個階段，分別是非監(jiān)督貪婪逐層訓(xùn)練和監(jiān)督訓(xùn)練。通過非監(jiān)督貪婪逐層訓(xùn)練方法去訓(xùn)練每一層以獲取生物模型權(quán)值，再通過監(jiān)督訓(xùn)練對整個網(wǎng)絡(luò)進(jìn)行調(diào)整。

由于深度信念網(wǎng)絡(luò)含有多個神經(jīng)元，在計算過程中將每層輸出都作為下層網(wǎng)絡(luò)輸入，通過每層參數(shù)來設(shè)置最底層輸入的腦電信號數(shù)據(jù)?？梢晫优c第一層隱藏層形成一個受限玻爾茲曼機，通過貪婪逐層訓(xùn)練方法使受限玻爾茲曼機達(dá)到能量平衡狀態(tài)，并將訓(xùn)練結(jié)果輸出，即隱藏層作為下一個受限玻爾茲曼機的輸入，并單獨進(jìn)行參數(shù)調(diào)整，促使第2個受限玻爾茲曼機也能達(dá)到能量平衡，使用同樣方法進(jìn)行訓(xùn)練，直到最后一個受限玻爾茲曼機訓(xùn)練完成[9]。

將受限玻爾茲曼機提取的特征向量進(jìn)行分類，調(diào)整深度信念網(wǎng)絡(luò)，具體訓(xùn)練過程為：先通過正向傳輸，將輸入特征向量沿著輸入端傳輸?shù)捷敵龆?；再通過反向傳輸，降低輸出誤差，由此獲取的數(shù)據(jù)可從輸出端反向傳輸?shù)捷斎攵?，以此修改深度信念網(wǎng)絡(luò)參數(shù)。

通過大腦發(fā)送的特征信號對其疲勞程度進(jìn)行檢測與跟蹤，獲取腦電信號特征參數(shù)，以此判斷測試者是否疲勞，整個軟件設(shè)計流程如圖4所示。

圖4 軟件設(shè)計流程

根據(jù)硬件結(jié)構(gòu)中的采集模塊，獲取精準(zhǔn)數(shù)據(jù)。由于腦電信號包含隨機成分，因此在大腦處于疲勞狀態(tài)時，腦電信號復(fù)雜程度將會降低，信號呈規(guī)律性波形。因此，需對腦電時間序列近似熵進(jìn)行分析，并提取相關(guān)未疲勞非線性特征，通過腦電波動指數(shù)，實現(xiàn)疲勞檢測。

(1)近似熵。

使用近似熵定量描述時間序列的非線性動力學(xué)參數(shù)，其是一個非負(fù)數(shù)，可表示時間過程復(fù)雜程度，衡量時間序列中新特征出現(xiàn)的概率。在既定時間序列{a(x),x=1,...,Y}下，近似熵表示特征維數(shù)變化時間序列中所產(chǎn)生新模式概率大小，并反映出自相似程序，與其他非線性動力學(xué)參量相比，近似熵具有較強抗干擾能力。

(2)腦電波動指數(shù)。

根據(jù)腦電時間序列近似熵分析結(jié)果，對腦電波動指數(shù)進(jìn)行研究。當(dāng)大腦處于疲勞狀態(tài)下時，其產(chǎn)生慢波波形，對應(yīng)的頻率大小應(yīng)為5～35Hz。在深度信念網(wǎng)絡(luò)下，分解多尺度腦電信號，選擇頻段在該范圍內(nèi)的尺度分量。通常情況下，疲勞狀態(tài)下的腦電信號波動比未疲勞狀態(tài)下的腦電信號波動較為劇烈，因此通過波動指數(shù)來說明腦電信號變化強度，計算公式如下所示：

(1)

公式(1)中：rk表示第k尺度上重構(gòu)信號幅度；L表示腦電信號波長。

根據(jù)腦電信號變化強度，區(qū)分疲勞和未疲勞狀態(tài)下腦電信號特征，以此完成系統(tǒng)軟件功能設(shè)計。

4 數(shù)值實驗分析

針對基于深度信念網(wǎng)絡(luò)的腦電信號疲勞檢測系統(tǒng)設(shè)計是否合理，進(jìn)行數(shù)值實驗進(jìn)行分析。

4.1 參數(shù)設(shè)置

實驗參數(shù)設(shè)置如表1所示。

表1 實驗參數(shù)設(shè)置

根據(jù)實驗參數(shù)，對數(shù)據(jù)進(jìn)行采集。

4.2 數(shù)據(jù)采集

為了保證腦電信號的可靠性，要求采集環(huán)境必須是在無高頻輻射環(huán)境下進(jìn)行，并保證光線適中、通風(fēng)順暢，不會影響腦電信號突變。

實驗選擇9位受試者進(jìn)行腦電信號采集，在實驗前，要求這9位受試者，在12小時內(nèi)不可進(jìn)食，并保證充足睡眠。而在實驗過程中，保證這9位受試者不進(jìn)行任何大幅度運動，避免數(shù)據(jù)采集結(jié)果不精準(zhǔn)問題的出現(xiàn)。

設(shè)置3種信號采集方式，分別是運動開始和停止信號采集、運動前進(jìn)和后退信號采集、運動左轉(zhuǎn)和右轉(zhuǎn)信號采集，具體采集流程如圖5所示。

圖5 具體采集流程

由圖5可知：在實驗開始階段，進(jìn)行第一種腦電信號采集，在此過程中，需要測試者保持全身心放松狀態(tài)，保證大腦處于放空模式。在時間為6 s時，測試者將會開始運動；在時間為8 s時，測試者將會停止運動；在時間為12 s時，測試者依然停止運動，進(jìn)入休息狀態(tài)；

同理，在第2種腦電信號采集與第3種腦電信號采集過程都與第一種腦電信號采集過程大體相似，只有第2種采集時間為12 s時，測試者將會進(jìn)行后退運動；在時間為14 s時，測試者再次停止試驗，進(jìn)入休息狀態(tài)；在時間為16 s時，測試者將會進(jìn)行左轉(zhuǎn)運動；在時間為18 s時，測試者停止試驗；在時間為20 s時，測試者進(jìn)行右轉(zhuǎn)運動；在時間為22 s時，測試者停止試驗，進(jìn)入休息狀態(tài)。

通過上述實驗內(nèi)容，對測試者不同程度腦電信號進(jìn)行采集，并對數(shù)據(jù)進(jìn)行初步處理。實驗數(shù)據(jù)樣本具有3種，分別是第一種數(shù)據(jù)中的7～8 s和9～10 s之間數(shù)據(jù)、第2種數(shù)據(jù)中的7～8 s、9～10 s和13～15 s之間數(shù)據(jù)、第3種數(shù)據(jù)中的7～8 s、9～10 s、13～15 s、19～21 s之間數(shù)據(jù)。本次實驗采用Biosemi便攜腦電采集儀，具有128 Hz采樣頻率，為了使實驗效果更加準(zhǔn)確，從3種數(shù)據(jù)中采集了27個數(shù)據(jù)作為實驗樣本，共分為3種，其中每種都包含了9個數(shù)據(jù)樣本。

4.3 實驗結(jié)果與分析

為了驗證深度信念網(wǎng)絡(luò)下的系統(tǒng)(DBN)疲勞檢測效果，將基于深度信念網(wǎng)絡(luò)下檢測系統(tǒng)作為實驗組，選擇基于支持向量機檢測系統(tǒng)(SVM)、面部特征檢測系統(tǒng)(Ff)、基于特征數(shù)據(jù)檢測系統(tǒng)(Fd)作為對照組。深度信念網(wǎng)絡(luò)在進(jìn)行腦電信號分類時，需對各個網(wǎng)絡(luò)節(jié)點數(shù)和權(quán)值衰減情況進(jìn)行設(shè)置與分析。由于深度信念網(wǎng)絡(luò)每層節(jié)點數(shù)量較為龐大，對于有效節(jié)點選擇極為困難，選擇節(jié)點數(shù)量過多，將會影響原始信息表達(dá)能力，但選擇節(jié)點數(shù)量過少，又會導(dǎo)致大量信息丟失。因此，通過反復(fù)實驗確定網(wǎng)絡(luò)既具備泛化能力，又不丟失信息，需在各層安置節(jié)點數(shù)量為800、500、300，保證網(wǎng)絡(luò)具有良好識別效率。

深度信念網(wǎng)絡(luò)學(xué)習(xí)效率與權(quán)值緊密相連，學(xué)習(xí)效率太大則會導(dǎo)致權(quán)值過大，影響結(jié)果精準(zhǔn)度，因此，應(yīng)保證網(wǎng)絡(luò)處于緩慢收斂狀態(tài)，設(shè)置學(xué)習(xí)效率為0.1。深度信念網(wǎng)絡(luò)中權(quán)值發(fā)生改變，通常需要加入較大懲罰因子，避免系統(tǒng)擬合狀態(tài)。對于第一種腦電信號只需分類運行開始與停止，對9位測試者在不同系統(tǒng)下疲勞檢測效率進(jìn)行對比分析，結(jié)果如表2所示。

由表2可知：對不同測試者疲勞情況進(jìn)行檢測，發(fā)現(xiàn)SVM系統(tǒng)、Fd系統(tǒng)和Ff系統(tǒng)檢測效率都比DBN系統(tǒng)檢測效率低。當(dāng)通過Ff系統(tǒng)檢測時，測試者E1，檢測效率最高，為0.712；測試者E9，檢測效率最低，為0.541。而通過DBN檢測時，測試者E4，檢測效率最高，為0.967；測試者E6，檢測效率最低，為0.897。

針對第2種、第3種腦電信號，對9位測試者在不同系統(tǒng)下疲勞檢測效率進(jìn)行對比分析，結(jié)果如表3～4所示。

表2 第一種腦電信號不同系統(tǒng)下疲勞檢測效率對比分析

表3 第2種腦電信號不同系統(tǒng)下疲勞檢測效率對比分析

表4 第3種腦電信號不同系統(tǒng)下疲勞檢測效率對比分析

由表3可知：當(dāng)通過Ff系統(tǒng)檢測時，測試者F7檢測效率最高，為0.451；測試者F4檢測效率最低，為0.227。而當(dāng)通過BDN系統(tǒng)檢測時，測試者F1，DBN系統(tǒng)檢測效率最高，為0.995；測試者F8檢測效率最低，為0.925。

由表4可知：當(dāng)通過Ff系統(tǒng)檢測時，測試者G1檢測效率最高，為0.554；測試者G8檢測效率最低，為0.442。而當(dāng)通過BDN系統(tǒng)檢測時，測試者G9，DBN系統(tǒng)檢測效率最高，為0.924；測試者G1檢測效率最低，為0.857。

根據(jù)上述對比結(jié)果可知，DBN系統(tǒng)檢測效率比其它系統(tǒng)檢測效率要高。

4.4 實驗結(jié)論

在不同腦電信號下，SVM系統(tǒng)、Ff系統(tǒng)和Fd系統(tǒng)檢測效率最高都沒有超過80%，而DBN系統(tǒng)檢測效率最低也超過85%，由此對比結(jié)果可知，采用基于深度信念網(wǎng)絡(luò)的腦電信號疲勞檢測系統(tǒng)設(shè)計是具有合理性的。

5 結(jié)束語

5.1 研究成果

結(jié)合深度信念網(wǎng)絡(luò)設(shè)計腦電信號疲勞檢測系統(tǒng)是一種全新思路，該網(wǎng)絡(luò)具備高維特征向量，具有較強特征學(xué)習(xí)能力。通過深度信念網(wǎng)絡(luò)能夠從腦電信號中提取相關(guān)特征數(shù)據(jù)，并正確分類，經(jīng)過對不同被試進(jìn)行測試分析可知，采用該網(wǎng)絡(luò)設(shè)計的系統(tǒng)檢測效果優(yōu)于基于支持向量機檢測系統(tǒng)(SVM)、面部特征檢測系統(tǒng)(Ff)和基于特征數(shù)據(jù)檢測系統(tǒng)(Fd)，且最高檢測效率可達(dá)到0.995，具有良好檢測效果。

5.2 未來展望

雖然使用深度信念網(wǎng)絡(luò)能夠得到良好檢測效率，但是只是對小范圍內(nèi)的運動腦電信號進(jìn)行疲勞檢測，對于未來工作可從如下幾個方面進(jìn)行：利用電子設(shè)備采集更多樣本數(shù)據(jù)，結(jié)合深度信念網(wǎng)絡(luò)檢測復(fù)雜腦電信號，不斷優(yōu)化結(jié)構(gòu)參數(shù)，有效提高腦電信號疲勞檢測能力。