姚娟娟,路 堃,許金秀

1(北京市地鐵運(yùn)營有限公司 地鐵運(yùn)營技術(shù)研發(fā)中心 地鐵運(yùn)營安全保障技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044)

2(上海帝儀科技有限公司,上海 200232)

情緒在日常生活中扮演著重要角色,消極的情緒會(huì)影響人的身心健康及工作狀態(tài).研究證明駕駛員的情緒狀態(tài)對(duì)其警覺度、危險(xiǎn)意識(shí)和操控能力等方面有直接影響[1].據(jù)統(tǒng)計(jì),與情緒化駕駛相關(guān)的交通事故約占事故總數(shù)的9.2～14.8%[2],其中與駕駛員開心和興奮狀態(tài)相關(guān)的事故占比約為5.6～7.4%,而與駕駛員悲傷狀態(tài)相關(guān)的事故占比約為3.3～4.6%.因此,情緒化駕駛行為是交通安全的影響因素之一,駕駛員情緒狀態(tài)的識(shí)別技術(shù)研究對(duì)于車輛主動(dòng)安全技術(shù)和道路交通安全系統(tǒng)都具有一定的應(yīng)用價(jià)值.

目前,在眾多情緒研究手段中,腦電信號(hào)(Electro Encephalo Graphy,EEG)因其時(shí)間分辨率高、不可偽裝、能夠客觀的反應(yīng)人的狀態(tài)而受到研究人員的重視,成為情緒研究中常用的手段之一.由于情緒涉及的腦區(qū)較廣,大部分研究者利用多通道腦電設(shè)備進(jìn)行情緒識(shí)別的研究.Lin 等通過32 通道腦電數(shù)據(jù)對(duì)稱電極位點(diǎn)功率的差異,使用SVM 分類器得到情緒4 分類的準(zhǔn)確率為90.72%[3].Schaaff 等利用16 導(dǎo)腦電,基于短時(shí)傅里葉變換提取特征,得到情緒3 分類的準(zhǔn)確率為62.07%[4].Li 等通過對(duì)62 通道的EEG 頻率信息進(jìn)行特征統(tǒng)計(jì),基于KNN 算法得情緒5 分類的準(zhǔn)確率為83.04%[5].同時(shí)也有研究者利用較少導(dǎo)聯(lián)腦電信號(hào)來進(jìn)行情緒的劃分.Liu 和Sourina 等通過4 通道腦電數(shù)據(jù)的分形維度,基于SVM 分類器對(duì)8 種情緒進(jìn)行了分類,得到了53.75%的識(shí)別準(zhǔn)確率[6].Ishino 等基于3 通道腦電數(shù)據(jù),對(duì)小波變換和傅里葉變化后提取的特征進(jìn)行統(tǒng)計(jì)分析,最終提取其均值和方差特征,使用神經(jīng)網(wǎng)絡(luò)算法得4 種情緒的識(shí)別準(zhǔn)確率為67.7%[7].Schaff 等對(duì)4 通道數(shù)據(jù),使用統(tǒng)計(jì)的方法對(duì)其功率特征和互相關(guān)特征進(jìn)行提取并對(duì)提取的有效特征進(jìn)行融合,最終針對(duì)3 種情緒的分類,僅得到47.11%的準(zhǔn)確率[8].

本研究擬使用便攜式雙通道腦電信號(hào)研究受試者快樂和悲傷兩種情緒狀態(tài)下的腦電特征變化,選擇相對(duì)較優(yōu)分類器,為未來將腦電識(shí)別情緒技術(shù)應(yīng)用于駕駛員情緒狀態(tài)的識(shí)別奠定理論基礎(chǔ).

1 對(duì)象和方法

1.1 對(duì)象

被試共17 人(男13 人,女4 人),年齡25～44 歲,平均(34.5±5.34)歲.身體健康,視力或矯正視力正常,聽覺正常,經(jīng)過癥狀自評(píng)量表(Symptom Check List 90,SCL90)、態(tài)-特質(zhì)焦慮問卷(State Trait Anxiety Inventory,STAI)、抑郁問卷(Beck Depression Inventory,BDI)檢查無明顯情緒問題和精神疾病[9–11].實(shí)驗(yàn)開始前24 小時(shí)內(nèi)未服用咖啡、酒精飲品.實(shí)驗(yàn)開始前被試充分了解實(shí)驗(yàn)內(nèi)容和流程,并自愿簽寫知情同意書.被試如在實(shí)驗(yàn)過程中無法接受影片所播放的內(nèi)容,可以選擇不觀看該影片或者終止實(shí)驗(yàn).其中有1 個(gè)被試實(shí)驗(yàn)開始沒多久選擇終止實(shí)驗(yàn),共收集了16 人數(shù)據(jù)用于后續(xù)分析.

1.2 刺激方法

本研究采用視頻誘發(fā)情緒的方法.影片片段選擇羅躍嘉研究組制作的《中國情緒影像材料庫》中誘發(fā)快樂和悲傷的影片片段[12],每種情緒影片包含5 個(gè)片段.所用的影片片段示例如圖1所示,圖1(a)和圖1(b)擬誘發(fā)被試快樂的情緒;圖1(c)和圖1(d)擬誘發(fā)被試悲傷的情緒.

1.3 實(shí)驗(yàn)流程

被試平靜放松準(zhǔn)備1 min 后,進(jìn)入實(shí)驗(yàn)任務(wù)狀態(tài).根據(jù)實(shí)驗(yàn)任務(wù)指令,被試先完成睜眼/閉眼實(shí)驗(yàn)各2 分鐘,完成后休息1 分鐘,然后開始情緒實(shí)驗(yàn).被試首先進(jìn)行PAD (Pleasure Arousal Dominance)情感量表評(píng)估受試者的初始情緒狀態(tài)[13],接著被試被要求觀看一系列的電影片段,感受電影的情境中的情緒.電腦屏幕全屏顯示不同的刺激情緒的影片片段,被試根據(jù)影片片段所呈現(xiàn)出的情緒類別以及任務(wù)提示進(jìn)行試驗(yàn).所選擇的情緒庫中的影片隨機(jī)順序播放,但同種情緒類型的片段最多連續(xù)呈現(xiàn)兩次.每次觀看影片片段完成后受試者需要填寫喚醒度問卷,要求受試者報(bào)告看完該片段后的實(shí)際感受,而不是看完該片段后應(yīng)該有的感受.

對(duì)于喚醒度,參考羅躍嘉研究組、Schaefer 等及Gross 等的研究,使用自我報(bào)告的5 點(diǎn)量表評(píng)分方法[14–16],對(duì)被試所誘發(fā)的主觀情緒強(qiáng)度進(jìn)行評(píng)定.觀看影片時(shí),產(chǎn)生的情緒越強(qiáng)烈,評(píng)分越接近4,越不強(qiáng)烈,評(píng)分約接近0,如:“你在觀看這個(gè)片段時(shí),0=沒有產(chǎn)生任何情緒,4=產(chǎn)生了強(qiáng)烈的情緒”.被試評(píng)價(jià)完喚醒度后,休息的同時(shí)聽1 分鐘音樂,使情緒狀態(tài)恢復(fù)后再進(jìn)行下一個(gè)片段的觀看.本研究中每個(gè)受試者對(duì)每個(gè)影片片段進(jìn)行喚醒度評(píng)分后,結(jié)果顯示快樂和悲傷影片片段的喚醒度分別為(2.59±0.57)和(2.39±0.77).

2 數(shù)據(jù)采集與分析方法

基于視頻誘發(fā)情緒的方法,使用前額雙通道設(shè)備進(jìn)行腦電信號(hào)的采集,為消除噪聲和冗余信號(hào)對(duì)腦電數(shù)據(jù)進(jìn)行預(yù)處理,之后進(jìn)行特征向量的提取與降維處理,最終基于機(jī)器學(xué)習(xí)分類算法進(jìn)行情緒的分類.本研究整體流程如圖2所示.

2.1 數(shù)據(jù)采集

腦電采集裝置為自主研發(fā)的雙通道干電極腦電采集設(shè)備采集前額Fp1 和Fp2 位置的腦電信號(hào),電極的阻抗保持在5 kΩ 以下,采樣頻率500 Hz.每位受試者每次實(shí)驗(yàn)信號(hào)采集過程如表1所示.

表1 信號(hào)采集過程

2.2 數(shù)據(jù)預(yù)處理

采集的腦電信號(hào)有噪音等干擾信號(hào),需要對(duì)腦電信號(hào)進(jìn)行處理.依據(jù)表1信號(hào)采集過程采集數(shù)據(jù),對(duì)采集的前額Fp1 和Fp2 通道數(shù)據(jù)進(jìn)行研究,由于該算法擬用于交通行駛過程中對(duì)駕駛員情緒的實(shí)時(shí)識(shí)別,因此在處理階段采用實(shí)時(shí)處理的方法進(jìn)行特征的提取,所有處理過程不涉及當(dāng)前時(shí)間之后的數(shù)據(jù)作為研究對(duì)象.

將時(shí)序信號(hào)按照4 s 一個(gè)窗長,步長為2 s 進(jìn)行劃分,本研究中共劃分出快樂情緒幀數(shù)940 幀,悲傷情緒幀數(shù)245 幀.對(duì)每幀信號(hào)使用去直流處理,即每幀數(shù)據(jù)中的每個(gè)數(shù)值均減去每幀數(shù)據(jù)的均值.之后進(jìn)行0.1–50 Hz 的帶通濾波器去噪處理.并且為縮短芯片的計(jì)算效率,對(duì)數(shù)據(jù)進(jìn)行4 倍降采樣處理.

2.3 特征提取

本研究通過二階統(tǒng)計(jì)原理的盲源分離算法[17]將設(shè)備采集到的腦電信號(hào)中的眼電信號(hào)進(jìn)行分離,基于提取的腦電信號(hào)通過時(shí)頻域分析的方法進(jìn)行特征提取,最后對(duì)所有特征向量進(jìn)行PCA 降維.對(duì)單幀腦電信號(hào)進(jìn)行特征提取的具體方法如下.

數(shù)據(jù)預(yù)處理后,將兩通道矩陣按式(1)計(jì)算協(xié)方差矩陣,并計(jì)算該協(xié)方差矩陣對(duì)應(yīng)的特征值和特征向量,將特征值進(jìn)行降序排列,且將特征向量依據(jù)其對(duì)應(yīng)特征值的順序進(jìn)行重新排序.

式中,vector即對(duì)應(yīng)的雙通道數(shù)據(jù)vector'表示雙通道矩陣的轉(zhuǎn)置矩陣,N為雙通道矩陣的長度,此處固定值為500.

對(duì)進(jìn)行排序后的特征向量和特征值再進(jìn)行白化處理,通過式(2)計(jì)算白化矩陣,以及式(3)計(jì)算白化矩陣的觀測(cè)信號(hào)矩陣.

其中,D和E表示通過式(1)計(jì)算得到的特征值和特征向量,Inv表示計(jì)算特征值平方根的逆矩陣,g(x)為經(jīng)預(yù)處理后雙通道矩陣.

對(duì)于白化后觀測(cè)信號(hào)矩陣通過式(1)計(jì)算其協(xié)方差矩陣與其協(xié)方差矩陣二范數(shù)的乘積矩陣M,并進(jìn)行聯(lián)合近似對(duì)角化計(jì)算,最終輸出分離的源矩陣S和估計(jì)混合矩陣H.

2.3.1 基于時(shí)序序列的特征提取

對(duì)盲源分離后的源矩陣S中的每個(gè)通道內(nèi)的每幀時(shí)序信號(hào)進(jìn)行研究,基于Katz 算法對(duì)其分形維數(shù)進(jìn)行估算[18]具體公式為:

式中,D為分形維數(shù),N為盲源分離后源矩陣S的長度,d為所有采樣點(diǎn)距離與第一個(gè)采樣點(diǎn)相距在最大距離.

由于任一段數(shù)據(jù)的概率分布往往都是不可知的,因此本研究中使用樣本熵對(duì)每一幀腦電序列的熵進(jìn)行估計(jì).

對(duì)任一時(shí)間序列,其樣本熵的計(jì)算公式為:

其中,m為設(shè)定的固定子序列長度,r是判斷兩個(gè)子序列相似距離的誤差閾值,Bm(r)為序列中滿足誤差閾值條件的且長度為m的子序列個(gè)數(shù).

因此每幀數(shù)據(jù)在時(shí)序中提取四維特征向量:2(分形維數(shù)和樣本熵)×2(2 個(gè)通道)=4.

2.3.2 基于頻域的特征提取

對(duì)分離出的源信號(hào)矩陣S進(jìn)行特征提取.對(duì)于每幀數(shù)據(jù)共有4 s 信息,將每幀數(shù)據(jù)分成4 段進(jìn)行研究.首先使用海明窗(hamming)將時(shí)域信息轉(zhuǎn)變成頻域信息,對(duì)于每幀數(shù)據(jù)進(jìn)行如下公式的轉(zhuǎn)換.

式中,f(x)為頻域信號(hào),S(x)為盲源分離后的源矩陣,mean(S)和std(S)分別表示為該幀信號(hào)時(shí)域信息的均值和標(biāo)準(zhǔn)差,hamming為海明窗結(jié)構(gòu)體.

同時(shí)為了研究序列的復(fù)雜程度,引入微分熵進(jìn)行度量,如式(7)所示.

其中,f(x)是序列X的概率密度函數(shù).

此研究中,根據(jù)每幀數(shù)據(jù)的時(shí)間序列,對(duì)每秒的信號(hào)進(jìn)行提取其theta,alpha,beta1,beta2,gamma 波段的能量值,通過每個(gè)波段每秒的能量構(gòu)成一個(gè)時(shí)間序列,計(jì)算其微分熵.

統(tǒng)計(jì)上述4 段數(shù)據(jù)其頻域上每個(gè)通道內(nèi)theta,alpha,beta1,beta2,gamma 波段的能量,并分別計(jì)算其微分熵和均值,作為特征向量,即:2(2 個(gè)通道)×2(微分熵和均值)×5(5 個(gè)能量段)=20.

2.3.3 不對(duì)稱指數(shù)

Coan 等(2004)研究表明了大腦額葉不對(duì)稱現(xiàn)象與情緒分類有關(guān)[19],本研究主要針對(duì)大腦前額葉Fp1 和Fp2 腦電信號(hào)進(jìn)行研究,分別計(jì)算了其特征參數(shù).最后基于上述特征計(jì)算其不對(duì)稱指數(shù),分別使用式(8)～(10)計(jì)算各個(gè)特征參數(shù)下的不對(duì)性,每個(gè)公式計(jì)算可計(jì)算得到12 維特征向量,共計(jì)36 維特征向量.

式中,fea_Fp1 為Fp1 通道的特征,同理fea_Fp2 為Fp2 通道的特征.

基于上述方法,每幀數(shù)據(jù)共提取60 維特征向量,使用主成分分析(PCA)降維的方法提取其前5 維特征向量進(jìn)行模式識(shí)別.

2.4 模式識(shí)別

情緒信號(hào)分類是根據(jù)不同的行為意識(shí),使腦電活動(dòng)產(chǎn)生差異響應(yīng)的特征性來確認(rèn)行為的類型與特征信號(hào)之間的關(guān)系[20],本研究中選用4 種分類器對(duì)快樂和悲傷情緒進(jìn)行分類,分別為RBF-SVC 和樸素貝葉斯分類,以及集成學(xué)習(xí)算法——梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)和隨機(jī)森林(Random Forest,RF).

訓(xùn)練集和測(cè)試集樣本分配比例為8:2,即訓(xùn)練集快樂樣本為752 幀,悲傷樣本196 幀,測(cè)試集快樂樣本188,悲傷樣本49 例.

訓(xùn)練集選用十折交叉驗(yàn)證的方法分別計(jì)算每折特征快樂樣本和悲傷樣本各自的識(shí)別率以及總識(shí)別率.通過十折平均的方法計(jì)算訓(xùn)練集的識(shí)別率,最終通過所有訓(xùn)練集樣本預(yù)測(cè)最終測(cè)試集識(shí)別率.

3 結(jié)果與討論

最終基于上述訓(xùn)練集和測(cè)試集劃分方法以及分類策略得各個(gè)分類器的結(jié)果如表2所示.

表2 各分類器識(shí)別結(jié)果(%)

從表2中可以看出,不論總識(shí)別率還是各狀態(tài)的識(shí)別率,基于集成學(xué)習(xí)算法的識(shí)別率高于樸素貝葉斯分類和RBF_SVC,且由于樣本的不均勻性,導(dǎo)致了RBF_SVC 和樸素貝葉斯分類的快樂樣本的識(shí)別率極高,而悲傷樣本的識(shí)別率很低,因此識(shí)別結(jié)果不具備代表性.對(duì)于此類問題,說明基于單核分類算法在劃分超平面時(shí)對(duì)樣本進(jìn)行分類的能力略弱于基于多核分類的集成算法.且從表2可以看出,同樣是集成學(xué)習(xí),GBDT 的分類效果優(yōu)于RF,說明建立使之前模型殘差往梯度方向減小的方法在本研究中比生成并行化決策樹的方法具有更加的分類效果.

現(xiàn)有的EEG 情緒算法大多基于被試的個(gè)人情況,在實(shí)時(shí)識(shí)別之前需要進(jìn)行訓(xùn)練,通過刺激(如聲音或影片)來誘發(fā)被試的情緒,并同時(shí)記錄實(shí)時(shí)EEG 信號(hào),再基于采集到的信號(hào)進(jìn)行特征提取和分類建模.現(xiàn)在已有一些研究通過機(jī)器學(xué)習(xí)的方法對(duì)情緒分類,而情緒分類的關(guān)鍵在于不同情感的特征提取過程,針對(duì)這個(gè)問題,研究人員從不同角度做了大量的工作,比如分別提取能量特征量、功率譜特征量、熵值等非線性參數(shù)以及統(tǒng)計(jì)特性量等.例如,劉爽等提取腦電的功率譜特征,使用SVM 對(duì)四分類進(jìn)行分類,文章提出了使用同源樣本捆綁法,剔除非情緒因素的影響,避免傳統(tǒng)的樣本劃分方法帶來的虛高情緒識(shí)別率,提高了情緒識(shí)別的正確率,視頻誘發(fā)任務(wù)的平均識(shí)別率為72.53%[21].李昕等比較使用單一小波特征(小波系數(shù)能量和小波熵)、近似熵和Hurst 指數(shù)特征量與融合特征在情緒識(shí)別上的準(zhǔn)確性,單一特征的正確率情感識(shí)別的均值分別是73.15%、50.00%和45.54%,而改進(jìn)算法識(shí)別準(zhǔn)確率均值在85%左右[22].鐘銘恩等利用db5 小波分解算法分解信號(hào),提取情緒狀態(tài)顯著的腦電信號(hào)成分,并計(jì)算相應(yīng)的功率譜,識(shí)別出平靜、興奮和悲傷3 種情緒狀態(tài)[23].Nie D 等使用多特征融合的方法,采用SVM分類器,進(jìn)行2 分類,得到87.53%的準(zhǔn)確率,對(duì)特征進(jìn)行處理,去除與情緒無關(guān)的特征,得到89.22%[24].本文采用特征融合的方法,將分形維度、樣本熵、微分熵等特征進(jìn)行特征融合,得到了較好的情緒識(shí)別的特征.

也有研究者對(duì)情緒識(shí)別的分類器進(jìn)行的研究,例如,Zheng WL 等將深度學(xué)習(xí)與傳統(tǒng)的分類器KNN、SVM、GELM 等分類器進(jìn)行對(duì)比,對(duì)情緒進(jìn)行二分類[25].本文也選取了幾種分類器對(duì)情緒進(jìn)行分類,結(jié)果顯示GBDT 的分類效果優(yōu)于RF.

在實(shí)際應(yīng)用場(chǎng)景中,多通道腦電產(chǎn)品不適用,影響客戶體驗(yàn),雖然有研究使用較少的通道來進(jìn)行情緒識(shí)別,但是有效率低,實(shí)際試用中可能出現(xiàn)識(shí)別不出或者區(qū)分錯(cuò)誤的情況.本研究使用雙通道便攜式腦電設(shè)備采集前額腦電信號(hào)(Fp1 和Fp2),提取多種特征進(jìn)行融合,比較多種分類器,表明了僅采集兩通道數(shù)據(jù)的情況下,也可以達(dá)到較高的識(shí)別率,成果可為駕駛員情緒化狀態(tài)的實(shí)時(shí)監(jiān)測(cè)和識(shí)別提供新方法,以利于提高行車的安全性.

然而,本研究只是針對(duì)特定的視頻片斷進(jìn)行特征提取以及分類,還未達(dá)到對(duì)真實(shí)環(huán)境下的實(shí)時(shí)判斷,由于腦電信號(hào)中的時(shí)間動(dòng)態(tài)信息至關(guān)重要,而深度學(xué)習(xí)理論下長短時(shí)記憶網(wǎng)絡(luò)在時(shí)間上的遞歸結(jié)構(gòu),可以有效地解決這個(gè)問題,因此在后續(xù)的實(shí)時(shí)環(huán)境下,可采用LSTM 分類模型對(duì)不同情緒進(jìn)行了分類.

4 結(jié)論

本文采用便攜式設(shè)備采集前額雙通道腦電數(shù)據(jù),通過視頻誘發(fā)情緒的方法,對(duì)被試觀看快樂和悲傷視頻時(shí)提取的腦電信號(hào)作為研究對(duì)象,基于二階統(tǒng)計(jì)原理的盲源分離算法剔除前額腦電信號(hào)中的眼電信息,之后分別從時(shí)域、頻域以及特征對(duì)稱性3 個(gè)方面進(jìn)行特征向量的提取,并對(duì)所有特征向量使用PCA 降維.通過比較不同分類器的識(shí)別結(jié)果,得到GBDT 算法對(duì)快樂和悲傷情緒分類的準(zhǔn)確率最高,為95.78%.本研究采用便攜式設(shè)備,在僅采集了雙通道數(shù)據(jù)的情況下完成了快樂和悲傷情緒的分類,得到了較高的識(shí)別率,為將來對(duì)駕駛員情緒化狀態(tài)的實(shí)時(shí)監(jiān)測(cè)和識(shí)別奠定了基礎(chǔ),為提高行車的安全性提供了理論保障.