袁密桁，董煜陽，呂曉彤

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引言

情緒是身體對(duì)外界環(huán)境的變化進(jìn)行適應(yīng)性改變的反應(yīng)方式，是通過對(duì)客觀事物的態(tài)度和行為等產(chǎn)生的心理或生理變化。情緒控制能力是一個(gè)人適應(yīng)社會(huì)生活環(huán)境的重要能力。擁有良好的情緒調(diào)控能力，是一個(gè)人心理健康的重要標(biāo)志。一個(gè)人如果情緒調(diào)控能力過低，或者無法調(diào)控自身情緒，容易出現(xiàn)抑郁癥、焦慮癥等神經(jīng)精神障礙[1]。

目前對(duì)于情緒的調(diào)節(jié)，主要是通過心理手段進(jìn)行情緒的干預(yù)調(diào)節(jié)。但是由于個(gè)人對(duì)于情緒的表達(dá)具有主觀性，在個(gè)人刻意隱瞞的情況下，很難直觀地觀察出其情緒的變化，無法做出準(zhǔn)確的判斷。因此，需要更加客觀的指標(biāo)來對(duì)情緒進(jìn)行檢測識(shí)別。研究發(fā)現(xiàn)，情緒的變化與生理信號(hào)存在客觀關(guān)系。對(duì)生理信號(hào)進(jìn)行分析，可以作為情緒識(shí)別的重要方法[2-3]。腦-機(jī)接口（Brain-Computer Interface，BCI）是一個(gè)將大腦與外部環(huán)境連接起來的交互系統(tǒng)，它通過獨(dú)立于外周神經(jīng)和肌肉的傳導(dǎo)通路，將信息和命令從大腦傳送到外界[4]。通過BCI 系統(tǒng)可以實(shí)現(xiàn)對(duì)情緒的檢測識(shí)別功能，其中使用EEG 信號(hào)進(jìn)行情緒的識(shí)別是現(xiàn)如今科研人員重點(diǎn)研究的方向。杭州電子科技大學(xué)彭勇團(tuán)隊(duì)提出了一種稱為sJSFE（半監(jiān)督聯(lián)合樣本和特征重要性評(píng)估）的模型，分別通過自定進(jìn)度學(xué)習(xí)和特征自加權(quán)來定量測量樣本和特征重要性。通過SEED 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，sJSFE 在識(shí)別任務(wù)中分類準(zhǔn)確率為82.45%[5]。SUBASI 等人對(duì)SEED 數(shù)據(jù)集使用可調(diào)Q 因子小波變化（Tunable Q-Factor Wavelet Transform，TQWT）進(jìn)行預(yù)處理，隨后使用旋轉(zhuǎn)森林集成（RFE）分類器與不同的分類算法一起使用，如k-近鄰（K-NearestNeighbor，KNN）、支持向量機(jī)（Support Vector Machine，SVM）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）、隨機(jī)森林（Random Forest，RF）以及四種不同類型的決策樹（DT）算法。最后實(shí)驗(yàn)結(jié)果表明，使用RFE 和SVM 的分類結(jié)果準(zhǔn)確精度超過93%[6]。

人的大腦對(duì)人的各類日?；顒?dòng)以及心理變化進(jìn)行控制，每個(gè)腦區(qū)各司其職，負(fù)責(zé)不同的人體活動(dòng)。德國神經(jīng)科醫(yī)生科比尼安·布洛德曼（Korbinian Brodmann）根據(jù)大腦皮質(zhì)細(xì)胞在密度、形狀、性質(zhì)上的相似性，將大腦劃分為52 個(gè)區(qū)，因此被稱為Brodmann 分區(qū)[6]。在這些區(qū)域中，9、12、23、28、31、38 等區(qū)域都與人的情感有關(guān)[7]。但其中有很大一部分腦區(qū)對(duì)應(yīng)的電極與本文所研究的情感內(nèi)容沒有關(guān)聯(lián)，這樣將會(huì)使后期數(shù)據(jù)處理過程過于煩瑣，同時(shí)可能會(huì)對(duì)實(shí)驗(yàn)結(jié)果造成一定程度的干擾。

本文通過采集數(shù)據(jù)進(jìn)行溯源成像，得到了進(jìn)行情緒活動(dòng)的相關(guān)腦區(qū)，從而剔除與情緒無關(guān)的通道，對(duì)SEED 數(shù)據(jù)集數(shù)據(jù)進(jìn)行通道篩選，隨后將腦電數(shù)據(jù)進(jìn)行預(yù)處理，使用Hjorth 參數(shù)與差分方法進(jìn)行特征提取，并將特征向量分別使用SVM、CNN 及NBC 分類器進(jìn)行分類，希望能夠通過較少的通道對(duì)情緒進(jìn)行準(zhǔn)確識(shí)別。

1 材料與方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

1.1.1 被 試

本次溯源分析實(shí)驗(yàn)共招募了15 名被試，其中男生8名，女生7名，均是昆明理工大學(xué)在校研究生。所有被試都沒有腦損傷或者各類神經(jīng)精神障礙史，視力及聽力正常。所有被試都被告知在實(shí)驗(yàn)開始前兩小時(shí)不能進(jìn)行劇烈運(yùn)動(dòng)，不飲用碳酸飲料、咖啡、茶、功能飲料以及酒精等飲品。被試到達(dá)實(shí)驗(yàn)室后，需要了解實(shí)驗(yàn)?zāi)康?、?shí)驗(yàn)步驟、風(fēng)險(xiǎn)及注意事項(xiàng)，并簽署實(shí)驗(yàn)知情同意書。本次實(shí)驗(yàn)研究已獲得昆明理工大學(xué)醫(yī)學(xué)倫理委員會(huì)的批準(zhǔn)。

1.1.2 實(shí)驗(yàn)材料

本次實(shí)驗(yàn)主要使用羅躍嘉教授牽頭制作的中國情緒材料情感圖片系統(tǒng)（CAPS）中的圖片進(jìn)行情緒的誘發(fā)。該素材對(duì)156 名平均年齡為22 歲的大學(xué)生進(jìn)行喚醒值、效價(jià)值及優(yōu)勢度的評(píng)價(jià)，具有較高的可信度[8]。實(shí)驗(yàn)選擇了5 張正性情緒圖片、5張中性情緒圖片以及5 張負(fù)性情緒圖片。其中正性情緒圖片價(jià)效平均值為6.77，喚醒平均值為6.49；中性情緒圖片價(jià)效平均值為5.72，喚醒平均值為5.19；負(fù)性情緒圖片價(jià)效平均值為2.79，喚醒平均值為3.89。

本次實(shí)驗(yàn)采用澳大利亞生產(chǎn)的Neuroscan Syn Amps2 64 導(dǎo)腦電采集設(shè)備進(jìn)行數(shù)據(jù)的采集，采樣率為500 Hz，64 個(gè)電極按照國際10-20 系統(tǒng)排布方式進(jìn)行記錄，接地和參考電極位于Fpz 和FCz 上。

1.1.3 SEED 數(shù)據(jù)集

情緒分類實(shí)驗(yàn)使用上海交通大學(xué)BCMI 實(shí)驗(yàn)室提供的SEED 數(shù)據(jù)集，其通過對(duì)上海交通大學(xué)招募的15 名被試進(jìn)行數(shù)據(jù)采集得到。15 名被試中有7名男生和8 名女生，平均年齡為23.27 歲[9]。該數(shù)據(jù)集采集了被試在觀看不同電影片段時(shí)所誘發(fā)的情緒EEG 信號(hào)。該數(shù)據(jù)集中實(shí)驗(yàn)的誘發(fā)素材都是包含正性情緒、中性情緒以及負(fù)性情緒的電影片段。對(duì)于電影片段的選擇，主要通過電影片段的時(shí)間長度、誘發(fā)情緒的簡易程度、誘發(fā)情緒的單一性以及誘發(fā)情緒的強(qiáng)度4 個(gè)方面來進(jìn)行[10]。

1.2 實(shí)驗(yàn)范式

在實(shí)驗(yàn)開始前，需要運(yùn)用E-prime 軟件進(jìn)行編程，準(zhǔn)備實(shí)驗(yàn)范式，并調(diào)整好所有采集設(shè)備的參數(shù)。本次實(shí)驗(yàn)采樣率為200 Hz，帶通濾波在0.5～30 Hz。被試按實(shí)驗(yàn)順序進(jìn)入實(shí)驗(yàn)室并準(zhǔn)備就緒后，佩戴腦電帽，通過調(diào)試腦電帽中的電極使所有電極阻抗降到20 kΩ 以下，之后開始正式實(shí)驗(yàn)。實(shí)驗(yàn)范式時(shí)序如圖1 所示。

圖1 實(shí)驗(yàn)范式時(shí)序圖

實(shí)驗(yàn)開始后，被試首先根據(jù)屏幕的“靜息”提示保持身體放松，不想任何事情，保持180 s。靜息結(jié)束后，屏幕顯示“實(shí)驗(yàn)1”，持續(xù)2 s，之后出現(xiàn)“+”，提醒被試即將開始情緒刺激。之后，屏幕顯示相應(yīng)的刺激圖片對(duì)被試進(jìn)行情緒誘導(dǎo)，這個(gè)過程持續(xù)5 s。刺激圖片消失后，屏幕顯示“自我評(píng)價(jià)”，持續(xù)20 s，被試需要在這段時(shí)間內(nèi)對(duì)剛剛的圖片進(jìn)行打分。隨后，屏幕顯示“Next”，持續(xù)3 s，被試在3 s 內(nèi)調(diào)整情緒，準(zhǔn)備下一輪實(shí)驗(yàn)。以上為一個(gè)trail，被試在此次實(shí)驗(yàn)中需要進(jìn)行15 個(gè)trail。在這15 個(gè)trail 中，每次圖片都不相同。

1.3 實(shí)驗(yàn)數(shù)據(jù)分析方法

1.3.1 sLORETA 成像方法與通道選擇

1.3.1.1 sLORETA 成像方法

PASCUAL M R D 于2002 年提出了標(biāo)準(zhǔn)低分辨率斷層成像（sLORETA）的方法。該方法基于分布式源模型，通過有限反演估計(jì)出標(biāo)準(zhǔn)腦圖譜空間內(nèi)腦電信號(hào)的概率源。與其他算法不同，sLORETA在理想情況下可以實(shí)現(xiàn)源定位零誤差[11]。

腦電逆問題可表示為：

式中：B為平均參考變換以后m×1 維頭皮腦電信號(hào)（m為電極數(shù)），S為n×1 維腦電源信號(hào)（n為大腦皮層上的體素?cái)?shù)），L為m×n維導(dǎo)聯(lián)矩陣。由于m＜＜n，該方程為欠定方程，沒有唯一解，因此引入代價(jià)方程：

式中：α為正則化參數(shù)，且α＞0。通過式（2）的最小化代價(jià)方程，可求得S的最小范數(shù)估計(jì)S^ 為：

式中：T=LT[LLT+αH]+，H=I-11T/1T1，其中I為單位矩陣，1 為單位向量。

以上得出的結(jié)果為最小范數(shù)估計(jì)的解[12]。sLORETA 算法則需要對(duì)的方差進(jìn)行估計(jì)，通過貝葉斯公式以及對(duì)信號(hào)源和噪聲間相互獨(dú)立的假設(shè)。B方差的估計(jì)可用式（4）表示：

式中：VB為腦電源信號(hào)的方差。由式（2）和式（3）可得源信號(hào)方差的估計(jì)為：

由式（1）和式（4）可得：

式中：R為分辨率矩陣，=R=LT[LLT+αH]+L。因此，sLORETA 對(duì)標(biāo)準(zhǔn)化電流密度功率的估計(jì)為：

式中：為對(duì)第l個(gè)源的電流密度估計(jì)，表示矩陣中第l個(gè)對(duì)角線元素[11-13]。

1.3.1.2 通道選擇

通過sLORETA 源成像，可以分析出每1 ms 所對(duì)應(yīng)的源模型圖像，如圖2 所示，能夠具體反映出在當(dāng)前時(shí)刻具體某一腦區(qū)的放電情況，同時(shí)在界面中也會(huì)有文字進(jìn)行說明。

圖2 溯源結(jié)果示例

1.3.2 特征提取

本次實(shí)驗(yàn)主要采用差分與Hjorth 參數(shù)的方法進(jìn)行特征提取。Hjorth 參數(shù)是Bo Hjorth 在1970 年引入的時(shí)域中用于信號(hào)處理的統(tǒng)計(jì)屬性的指標(biāo)，該方法主要包含活動(dòng)性、復(fù)雜性及移動(dòng)性3 個(gè)參數(shù)[14]。這些參數(shù)可以用于EEG 特征提取。其中，活動(dòng)性用ac表示，表示EEG 信號(hào)的平均功率，即所測量時(shí)間段內(nèi)信號(hào)的方差，該參數(shù)不常用于EEG 信號(hào)的特征提取。復(fù)雜性用co表示，主要用于表示EEG 信號(hào)的帶寬。移動(dòng)性用mo表示，主要用于測量EEG 信號(hào)的平均頻率。復(fù)雜性co和移動(dòng)性mo通過式（8）和式（9）表示：式中：x(n)為某個(gè)通道的腦電信號(hào)，n為采樣點(diǎn)，var 表示方差。

2 實(shí)驗(yàn)結(jié)果

2.1 通道選擇結(jié)果

由于情緒的特殊性，本次實(shí)驗(yàn)中，將每50 ms數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)，得出其中放電區(qū)域最多的電極，隨后將進(jìn)行溯源的15 位被試的數(shù)據(jù)進(jìn)行整合統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如圖3 所示。在進(jìn)行統(tǒng)計(jì)后，運(yùn)用Matlab軟件繪制Brodmann分區(qū)激活時(shí)間占比，如圖4所示。Brodmann 分區(qū)圖中共有49 個(gè)黑點(diǎn)，左下角第一個(gè)點(diǎn)為1、2、3 區(qū)總和，隨后其他點(diǎn)從左往右為分別代表一個(gè)腦區(qū)，從4，5，6 以此類推。

圖3 Brodmann 腦區(qū)統(tǒng)計(jì)結(jié)果

圖4 Brodmann 分區(qū)激活時(shí)間占比

本次統(tǒng)計(jì)結(jié)果中，38 區(qū)的激活時(shí)間最高，占52%；其次是7 區(qū)，占33%；5 區(qū)占6%，6 區(qū)占4%，剩下其余各區(qū)合計(jì)占比5%。根據(jù)有關(guān)情感所在的腦區(qū)進(jìn)行篩選[15]，選擇38 區(qū)附近通道F7，F(xiàn)8，F(xiàn)T7，F(xiàn)T8，T7，T8，TP7，TP8，O2，O1 進(jìn)行后期數(shù)據(jù)處理。

2.2 分類結(jié)果

本次研究主要對(duì)SEED 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行算法方面的驗(yàn)證，分別使用方差、Hjorth 參數(shù)及差分的方法進(jìn)行特征提取，隨后分別使用SVM、KNN、NBC 分類器對(duì)特征進(jìn)行分類。

表1 為該數(shù)據(jù)集下15 名被試通過方差與Hjorth參數(shù)相結(jié)合的特征提取在不同分類器中的分類結(jié)果。本次選用10 個(gè)訓(xùn)練集與5 個(gè)測試集交叉驗(yàn)證得出結(jié)果。在該特征提取方法下，SVM、KNN、NBC 的分類平均準(zhǔn)確率分別為39.11%±10.35%，48%±17.32%，50.26%±20.68%。

表1 方差、Hjorth 參數(shù)特征分類精度

表2 為該數(shù)據(jù)集下15 名被試通過差分與Hjorth參數(shù)相結(jié)合的特征提取在不同分類器中的分類結(jié)果。本次選用10 個(gè)訓(xùn)練集與5 個(gè)測試集交叉驗(yàn)證得出結(jié)果。在該特征提取方法下，SVM、KNN、NBC 的分類平均準(zhǔn)確率分別為68%±13.14%，74.67%±10.74%，87.11%±6.65%。

表2 差分、Hjorth 參數(shù)特征分類精度

3 結(jié)語

本文首先通過自采數(shù)據(jù)進(jìn)行sLORETA 溯源進(jìn)行通道選擇，選出通道F7，F(xiàn)8，F(xiàn)T7，F(xiàn)T8，T7，T8，TP7，TP8，O2，O1 等10 個(gè)通道進(jìn)行情緒識(shí)別實(shí)驗(yàn)。隨后對(duì)SEED 數(shù)據(jù)集使用方差與Hjorth 參數(shù)分別提取特征進(jìn)行情緒分類，但是實(shí)驗(yàn)結(jié)果不太理想，雖然最高達(dá)到86.67%，最低僅有26.67%，可能與個(gè)體差異有關(guān)，通過15 個(gè)被試取均值，準(zhǔn)確率僅有39.11%，48%，50.26%。經(jīng)過改進(jìn)，使用差分的特征進(jìn)行分類，由實(shí)驗(yàn)結(jié)果可知，各分類器的準(zhǔn)確率都有了明顯的提高，其中NBC 分類器平均準(zhǔn)確率達(dá)到87.56%±6.65%，且在15 組數(shù)據(jù)中最高分類精度達(dá)到93.33%。結(jié)果表明，將腦電信號(hào)使用差分與Hjorth 參數(shù)的方法進(jìn)行特征提取，隨后使用NBC分類器所得到的分類精度高于其他方法，同時(shí)與相關(guān)實(shí)驗(yàn)研究中的準(zhǔn)確度相比也有一定的優(yōu)勢，可為后續(xù)情緒識(shí)別研究提供一定的參考。