張博，劉璐，楊立波，李哲

（1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022；2.長(zhǎng)春光華學(xué)院 音樂學(xué)院，長(zhǎng)春 130033）

21世紀(jì)是“腦科學(xué)世紀(jì)”，對(duì)腦科學(xué)的研究越來越受到全世界眾多科研工作者和工程技術(shù)人員的關(guān)注。在人體內(nèi)，結(jié)構(gòu)和功能最復(fù)雜的組織就是大腦，它控制著人類的情緒、語言、思維等高級(jí)活動(dòng)［1］。情緒作為人腦對(duì)外界事物的回應(yīng)，可以實(shí)時(shí)表達(dá)人與外界事物的關(guān)聯(lián)性。在安全領(lǐng)域，通過對(duì)詢問對(duì)象進(jìn)行測(cè)謊，可以判斷其傳達(dá)信息的準(zhǔn)確性［2］。近年來，隨著人們壓力的不斷增大，許多人都會(huì)產(chǎn)生壓抑、焦慮等負(fù)面情緒。長(zhǎng)期處于負(fù)面情緒的人不僅會(huì)對(duì)生活、學(xué)習(xí)帶來負(fù)面影響，嚴(yán)重者會(huì)患抑郁癥。因此，已經(jīng)有越來越多腦電研究人員對(duì)于情緒識(shí)別在醫(yī)療領(lǐng)域的研究方面進(jìn)行了大量的工作，并取得了大量的研究成果。

Matthias J等人［3］利用腦機(jī)接口技術(shù)，采用正性圖片、中性圖片以及負(fù)性圖片對(duì)震顫性麻痹患者研究了正負(fù)情緒的分類。Tommaso等人［4］采用標(biāo)準(zhǔn)的正性和負(fù)性圖片庫作為試驗(yàn)素材對(duì)亨廷頓患者進(jìn)行了正負(fù)情緒的檢測(cè)研究。有一些研究者通過采用不同的情緒刺激手段來設(shè)計(jì)不同的實(shí)驗(yàn)范式進(jìn)行情緒識(shí)別研究。Jan De Houwer等人［5］使用同種類不同的效價(jià)圖片，如動(dòng)物圖片（蝴蝶和蛇），作為情緒誘發(fā)的方法進(jìn)行情緒識(shí)別的研究。

腦電信號(hào)的情緒識(shí)別，其關(guān)鍵是對(duì)腦電信號(hào)進(jìn)行處理，本文研究設(shè)計(jì)實(shí)驗(yàn)，采集被試腦電信號(hào)，選取時(shí)域特征和頻域特征，分別使用SVM和HMM-SVM模型對(duì)EEG信號(hào)進(jìn)行情緒分類，同時(shí)針對(duì)情緒分類結(jié)果進(jìn)行了實(shí)際數(shù)據(jù)的比對(duì)驗(yàn)證，具有一定的實(shí)際應(yīng)用價(jià)值。

1 情緒識(shí)別理論分析

目前對(duì)情緒識(shí)別的方法較多，常用的有通過心電圖以及呼吸等方法進(jìn)行識(shí)別判斷，但是這些信號(hào)在情緒改變時(shí)存在差異性較小，變化速率不明顯等缺點(diǎn)，因此準(zhǔn)確率較低。而采用腦電信號(hào)（EEG）進(jìn)行情緒識(shí)別已經(jīng)是越來越多研究者所采用的方法［6］，其實(shí)時(shí)性好，差異性大，當(dāng)情緒發(fā)生改變時(shí)，腦電信息隨之發(fā)生變化，因此本文采取腦電信號(hào)進(jìn)行情緒分類的研究。

腦電信號(hào)幅度微弱，頻率在1～50 Hz之間，是一種隨機(jī)性很強(qiáng)的非平穩(wěn)信號(hào)，因此在腦電信號(hào)里摻雜了各種EEG偽跡，需要對(duì)原始腦電信號(hào)進(jìn)行預(yù)處理，去除EEG偽跡［7］。然后提取出其時(shí)域和頻域特征信息，作為原始信號(hào)，通過基于熵的可分性判據(jù)方法來進(jìn)行特征選擇，最后利用SVM分類器和HMM-SVM模型來進(jìn)行情緒的分類實(shí)現(xiàn)，對(duì)于時(shí)域和頻域的原始信號(hào)處理，能夠大幅提高情緒識(shí)別的準(zhǔn)確度。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)條件及對(duì)象

本次實(shí)驗(yàn)選擇了32名被試者來參加實(shí)驗(yàn)，均為大學(xué)生，男生、女生各一半，聽力正常，身體健康，無任何腦神經(jīng)損傷，并且保持良好的精神狀態(tài)來參加實(shí)驗(yàn)。實(shí)驗(yàn)在輕松舒適的環(huán)境下進(jìn)行，保證不被打擾。被試者坐在舒適柔軟的沙發(fā)上，要求被試者在實(shí)驗(yàn)的過程中盡量保持不動(dòng)，以免增加肌電等干擾。音樂播放的音量按照被試者的要求調(diào)整到最合適的位置，確保被試者全身心投入到實(shí)驗(yàn)中。

2.2 腦電采集設(shè)備

實(shí)驗(yàn)EEG信號(hào)采集設(shè)備是可持續(xù)采集腦電信號(hào)的8通道OpenBCI V3 8bit開源Arduino EEG模塊，腦電采樣頻率為250 Hz，可在實(shí)驗(yàn)中持續(xù)采集被試者的EEG信號(hào)。按照國際10-20系統(tǒng)電極放置法，將腦電帽的8個(gè)電極分別安放于大腦左前額區(qū)Fp1、右前額區(qū)Fp2、C3（左側(cè)中央?yún)^(qū)，通道3）、右側(cè)中央?yún)^(qū)C4、左后顳區(qū)T5、右后顳區(qū)T6、左枕區(qū) O1、右枕區(qū) O2，如圖 1所示［8］。圖 2是主要芯片硬件工作原理。

圖1 電極位置圖

圖2 芯片硬件工作原理

將8個(gè)電極置于頭皮表層，記錄下腦細(xì)胞群的節(jié)律性和其他自發(fā)性的電活動(dòng)，橫軸為時(shí)間，縱軸為腦細(xì)胞的實(shí)時(shí)電位，這就是腦電圖EEG，如圖3所示。

圖3 腦電圖EEG實(shí)際波形

2.3 實(shí)驗(yàn)流程

為了在實(shí)驗(yàn)環(huán)境中激發(fā)特定的情緒，實(shí)驗(yàn)使用精心挑選的40首具有高度情感（快樂、悲傷）的音樂片段作為刺激，以保證激發(fā)情感的可靠性。音樂片段的選擇標(biāo)準(zhǔn)如下：

（1）整個(gè)實(shí)驗(yàn)時(shí)間不宜過長(zhǎng)，以免造成聽覺疲勞；

（2）音樂內(nèi)容無需解釋即可理解；

（3）音樂應(yīng)該誘發(fā)一個(gè)期望的目標(biāo)情緒。

在所選的素材庫中總共有40首關(guān)于兩種情緒（快樂、悲傷）的音樂片段，32名受試者被要求在聽完每首音樂片段后評(píng)估自己的情緒，其中包括情緒關(guān)鍵詞（快樂、悲傷）和兩個(gè)維度：愉悅度（Valence）和喚醒度（Arousal）來度量情緒狀態(tài)。度量標(biāo)準(zhǔn)是從數(shù)字1到9打分。

在二維空間平面中Valence和Arousal情緒狀態(tài)的分類標(biāo)準(zhǔn)為：

快樂態(tài)：（arousal<3）∩（valence>6）

悲傷態(tài)：（arousal>5）∩（valence<3）

被試的腦電信號(hào)是由前文提到的便攜式腦電帽來采集。

下面給出了本文設(shè)計(jì)的情緒實(shí)驗(yàn)的詳細(xì)方案，如圖4所示。實(shí)驗(yàn)中，每首音樂都是30秒，且音樂類型是隨機(jī)呈現(xiàn)的。實(shí)驗(yàn)開始前有一個(gè)5秒的開始提示，以提高被試者的注意力。每首音樂播放之后有10秒的自我評(píng)估以及10秒的靜音間隔。為避免被試者產(chǎn)生聽覺疲勞，播放20首音樂后有10分鐘的休息時(shí)間。被試者的自我評(píng)估是基于他們聽音樂片段時(shí)的真實(shí)感受，而不是他們認(rèn)為音樂片段的情感應(yīng)該是什么。根據(jù)反饋，如果參與者未能激發(fā)出正確的情緒，或者喚起的情緒不夠強(qiáng)烈，這些數(shù)據(jù)就會(huì)被丟棄。

圖4 情緒實(shí)驗(yàn)的詳細(xì)方案

2.4 腦電數(shù)據(jù)的處理與分析

2.4.1 預(yù)處理

采集到的腦電信號(hào)需要經(jīng)過預(yù)處理，消除外界的干擾（噪聲等），得到可用于實(shí)驗(yàn)的純凈的腦電信號(hào)［9］。如眼電偽跡，可以使用Scan4.5軟件里的Ocular Artifact Reduction功能去除；舌電偽跡，可以借助Scan4.5軟件的Artifact Rejection功能進(jìn)行去除。

2.4.2 特征提取

EEG信號(hào)的特征提取是情緒識(shí)別、分類中的關(guān)鍵一步，不同的特征所對(duì)應(yīng)的分類精確度大不相同［10］。本設(shè)計(jì)分別提取腦電信號(hào)的時(shí)域特征和頻域特征來進(jìn)行情緒識(shí)別的研究。

（1）時(shí)域特征

時(shí)域特征是在時(shí)域上將腦電信號(hào)的信號(hào)統(tǒng)計(jì)結(jié)果作為特征。本設(shè)計(jì)對(duì)EEG數(shù)據(jù)采用了以下五種時(shí)域特征為腦電特征進(jìn)行情緒識(shí)別的研究：

原始信號(hào)的均值，如式（1）所示

式中，E(n)表示原始EEG信號(hào)；N表示信號(hào)的總采樣點(diǎn)數(shù)。

（a）原始信號(hào)標(biāo)準(zhǔn)差σE，如式（2）所示：

（b）原始信號(hào)的一階差分平均絕對(duì)值δE，如式（3）所示：

（2）頻域特征

利用快速傅里葉變換（FFT）將時(shí)域信號(hào)轉(zhuǎn)換為頻域信號(hào)，然后提取出與不同情緒對(duì)應(yīng)的頻率信息，從而完成情緒識(shí)別分類，腦電信號(hào)在頻域上分為五個(gè)頻帶，分布范圍從1～50 Hz之間，如表1所示。

表1 腦電信號(hào)在頻域上的5個(gè)主要?jiǎng)澐?/p>

這五種頻帶分布對(duì)應(yīng)了不同的心理狀態(tài)和情緒種類。

得到EEG信號(hào)的快速傅里葉變換后，將EEG信號(hào)的頻域劃分到五個(gè)頻帶上，得到五個(gè)頻帶的傅里葉變換，然后利用公式：

得到每個(gè)頻帶的頻譜，即能量。8導(dǎo)腦電信號(hào)在五個(gè)頻帶上共有40個(gè)特征。

2.4.3 特征選擇

本設(shè)計(jì)采用基于熵（entropy）的可分性判斷進(jìn)行特征選擇。已經(jīng)有研究者們利用信息論中熵的概念來衡量各類后驗(yàn)概率的集中分散程度［11］。

Shannon熵：

在Shannon熵的基礎(chǔ)上，對(duì)特征的所有值取積分，就得到了基于熵的可分性判斷：

JE越小，則可分性越好；反之，可分性越差。

3 HMM-SVM模型

支持向量機(jī)的英文是Support Vector Machine，簡(jiǎn)稱SVM。它不僅結(jié)構(gòu)簡(jiǎn)單，而且具有很強(qiáng)的分類能力，是近年來被廣泛研究和使用的分類算法。其核心是最優(yōu)化問題，定義適當(dāng)?shù)暮撕瘮?shù)，在高維特征空間求取最優(yōu)線性分類面從而實(shí)現(xiàn)分類。如圖5所示，實(shí)心點(diǎn)和空心點(diǎn)分別代表兩類訓(xùn)練樣本，其中M為最優(yōu)分類線，M1和M2與最優(yōu)分類線平行，并且是各類樣本中離分類線最近的兩條直線。M1和M2間的距離是兩類的分類間隔或分類間隙，M1和M2上的點(diǎn)稱為支持向量。如果在高維空間中，最優(yōu)分類線就是最優(yōu)分類面。其目的是將兩類準(zhǔn)確無誤的分隔開來并且使兩類的分類間隔最大化。

圖5 SVM線性分類面

在選取核函數(shù)時(shí)，選取的標(biāo)準(zhǔn)是歸納誤差最小。通過比對(duì)，選取徑向基核函數(shù)（Radial Basis Function）：

由于SVM的分類速度慢，往往需要較長(zhǎng)的計(jì)算時(shí)間。為彌補(bǔ)這一缺點(diǎn)，引入HMM。

隱馬爾可夫模型（Hidden Markov Model，HMM）是在馬爾可夫鏈的基礎(chǔ)上發(fā)展起來的，開創(chuàng)了對(duì)隨機(jī)過程“Markov過程”的研究，為自然過程的研究提供了一般性的數(shù)學(xué)分析工具［12］。HMM是一個(gè)雙重的隨機(jī)過程，即包含可觀測(cè)狀態(tài)和隱含狀態(tài)兩種。其中隱含狀態(tài)不能直接通過觀測(cè)獲取相應(yīng)的信息，需要利用可觀測(cè)的狀態(tài)通過轉(zhuǎn)移概率進(jìn)行推測(cè)得到。如圖6所示。

圖6 HMM模型

HMM因其嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)結(jié)構(gòu)和可靠的計(jì)算性能在識(shí)別技術(shù)領(lǐng)域得到廣泛應(yīng)用［13］。一個(gè)HMM可以簡(jiǎn)記為：

①X：隱含狀態(tài)的集合X={θ1,θ2,…,θN}

②Y：觀測(cè)狀態(tài)的集合Y={V1,V2,…,VM}

③π：初始概率分布矢π=(π1,π2,…,πN)，

其中，πi=P(q1=θi),1≤i≤N。

④A：狀態(tài)轉(zhuǎn)移概率矩陣A=(aij)N×M，其中

⑤B：觀察值概率矩陣B=(bjk)N×M，其中對(duì)于連續(xù)HMM，B是一組觀察值概率函數(shù)，即

因此本文結(jié)合兩個(gè)統(tǒng)計(jì)，即SVM很強(qiáng)的分類能力與HMM可靠的計(jì)算識(shí)別能力正好彌補(bǔ)了彼此的不足。HMM-SVM模型情緒識(shí)別分類原理如圖7所示：首先對(duì)經(jīng)過預(yù)處理和特征提取的數(shù)據(jù)訓(xùn)練HMM模型和SVM分類器；然后計(jì)算每個(gè)HMM模型對(duì)信號(hào)的匹配程度，排除掉概率小的類，得到候選模式集，最后利用SVM分類器進(jìn)行辨識(shí)得到分類結(jié)果。

圖7 HMM-SVM情緒識(shí)別分類模型

4 結(jié)果與分析

分別利用SVM和HMM-SVM模型兩種方法對(duì)腦電數(shù)據(jù)進(jìn)行情緒二分類，結(jié)果表明，基于HMM-SVM模型進(jìn)行情緒的分類，可以提高分類的準(zhǔn)確性。對(duì)于情緒分類的結(jié)果，不僅考慮其準(zhǔn)確率（accuracy），還引進(jìn)了另外兩個(gè)指標(biāo)：靈敏度（sensitivity）和特異性（specificity）衡量最后的分類效果。

4.1 基于時(shí)域特征的分類結(jié)果

圖8 五種時(shí)域特征平均分類準(zhǔn)確率

圖9 基于時(shí)域特征的分類結(jié)果

4.2 基于頻域特征的分類結(jié)果

本文提取了頻域上五個(gè)頻帶的能量作為腦電特征，利用這五個(gè)頻帶情緒的二分類。同樣，使用SVM和HMM-SVM進(jìn)行分類，取32位被試者的平均分類準(zhǔn)確率，如圖10所示。將五種頻域特征融合后，8個(gè)通道則共有40維特征。分類結(jié)果如圖11所示，橫坐標(biāo)表示特征維數(shù)，縱坐標(biāo)代表分類精確率。

由圖8和圖10可以看出，在所選的五種特征和五個(gè)頻帶上，使用HMM-SVM模型的分類效果均優(yōu)于單使用SVM的分類效果。

圖10 五種頻域特征平均分類準(zhǔn)確率

由圖9和圖11兩個(gè)結(jié)果圖可看出，分別使用以上兩種分類方法，基于時(shí)域特征的平均分類準(zhǔn)確率最高可達(dá)80.07%（SVM）和84.97%（HMMSVM），平均準(zhǔn)確率分別為73.59%和81.06%；基于頻域特征的平均分類準(zhǔn)確率最高可達(dá)83.02%（SVM）和87.68%（HMM-SVM），平均準(zhǔn)確率分別為79.18%和83.93%。兩種特征平均分類精確率達(dá)到最高時(shí)的特異性和靈敏度相差均不到0.15，另外三條曲線還有重合的點(diǎn)，代表此時(shí)的分類效果最好。

圖11 基于時(shí)域特征的分類結(jié)果

通過以上分析，使用HMM-SVM模型、選取頻域特征作為腦電特征的分類效果最好，平均準(zhǔn)確率可達(dá)83.93%。

5 結(jié)論

基于EEG信號(hào)的情緒識(shí)別研究中，不同的分類器模型以及特征提取的好壞對(duì)最后的情緒識(shí)別分類結(jié)果起決定性作用。為了提高識(shí)別情緒的準(zhǔn)確率，本研究在支持向量機(jī)（SVM）分類器的基礎(chǔ)上，構(gòu)建HMM-SVM模型，提取腦電信號(hào)的時(shí)、頻域特征，并設(shè)計(jì)情緒識(shí)別的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，構(gòu)建的HMM-SVM模型在基于腦電頻域特征方面的情緒識(shí)別準(zhǔn)確率更高。