周奕雋，李冬冬，王 喆，高大啟

華東理工大學 信息科學與工程學院，上海 200237

1 引言

情緒是一種特殊的、強烈的心理活動[1]，它可以透過聲音、文字、表情以及腦電波等多種表現媒介體現出來。近年來，隨著計算機技術不斷地進步，人們對于更良好的人機交互體驗的渴求越來越熱切，這使得情感識別逐漸成為一個熱點的研究話題。

腦電信號（EEG）是一種自發(fā)的、非平穩(wěn)、非線性的神經電活動[2]，由中樞神經系統(tǒng)產生，通過外界的刺激誘發(fā)而引起，常見的誘發(fā)因素有音樂、圖像等。有研究表明，腦電信號所包含的情感相較于語音、表情等都較為客觀、可靠，能夠反映一個人最為真實的情感狀態(tài)[3]。因此正確識別腦電信號所包含的情感信息對人們的日常生活都有著重要的意義。

識別EEG 信號所包含的情感分類首先需要提取EEG特征，常用的腦電特征提取方式是通過先對原始的EEG信號用小波變換的處理方式，濾波到多個平穩(wěn)的頻帶 Theta、Beta、Gamma 和 Alpha 波等，再對其提取對應的特征信息。然而，單一的EEG 特征識別能力主要有兩個不足，一方面在于傳統(tǒng)的EEG 特征在表現EEG 低頻信號段的能力較弱，另一方面在于其容易受到噪音的干擾[4]。為了解決以上不足，本文考慮引入語音特征來增強EEG的特征表示。語音特征的類型有很多[5]，每種類型的特征都有各自的特性，Temko等人[6]對EEG信號引入語音倒譜類特征，并在預測新生兒癲癇的識別問題中，倒譜特征的識別能力達到了93.1%的ROC 覆蓋面積。MFCC[7-8]在語音識別中是個常用的倒譜類特征，它的主要特性體現在對于信號的低頻段信息特征提取能力很好[9]，以及有著不錯的降低信號特征維度，減少噪音的能力[10]。而上述兩點優(yōu)勢可以彌補傳統(tǒng)的EEG 特征信息的缺點。因此，本文將語音倒譜特征MFCC 引入進來，從小波變換后的EEG 信號中同時提取EEG 特征和語音MFCC 特征，并將二者融合在一起，從而豐富特征的情感信息與表示能力。此外，深度學習是近年來的研究熱點，其優(yōu)秀的學習能力使得許多研究將深度學習模型引入到了EEG 的情感分類任務中，并也取得了不錯的成績[11-12]。

本文選取了深度殘差網絡作為分類模型框架，一方面是因為其利用殘差單元的堆積能顯著性地提高網絡的深度和學習的準確度。另一方面是因為殘差網絡有著比較好的可拓展性，方便后續(xù)工作對模型進一步的疊加與研究。

基于上述討論，本文在DEAP這一公開數據集上開展了對所提特征與模型的相關研究與討論，通過分析結果，驗證了該方法的可行性。

2 DEAP數據集

DEAP[13]（Database for Emotion Analysis using Physiological Signals）是一個開放的多模態(tài)數據集，常常被用于從腦電圖信號中分析情感。該數據庫由32名受試者（16名男性和16名女性）通過觀看40個60 s的音樂視頻，并在他們頭部的額葉、頂葉、枕葉和顳葉四個區(qū)域配置了32個信號傳感器采集受試者在觀看音樂視頻時所產生的腦電信號，32個傳感器位置如圖1所示。實驗采集得到的信號包含開頭的3 s基線信號以及后60 s的視頻信號共計63 s的信號。受試者在觀看完視頻后，用 1～9 的數值，分別從 Arousal、Valence、Domination 和Liking等四個維度進行打分量化，從而獲得一個對每段視頻盡可能客觀的評價分數。

圖1 DEAP數據集32個電極示意圖

此外，本文選取的是該數據集中經過預處理后的數據版本，該版本去除了眼電信號的干擾，并將原始的512 Hz 的采樣信號頻率降采樣到了128 Hz。即一段63 s 的信號長度包含了共計128×63=8 064 個數據點。本文選取的信號特征是從后60 s 的腦電特征信號依次減去前3 s 的基線特征所得的最終信號特征共計128×60=7 860個數據點。

3 情感的二維表示

人類的情感非常的復雜，究竟何為情感，很難有個準確的定義，通常說的情感的宏觀定義[14]可以為對于外界刺激所產生的肯定或否定的生理反應，但在實際應用中，個體差異十分迥然。在眾多的情感分類研究中，學者們將情感大體分為了兩種表示方式：連續(xù)表示[15-16]和離散表示[17]。

識別EEG情感的方法常常采用的是基于連續(xù)表示的二維情感模型。如圖2 所示，該模型將情感按照Arousal 和Valence的程度量化到坐標軸上進行表示，其中Valence 是指人的情感的愉快程度，從消極情緒遞增到積極情緒；而Arousal指的是人的興奮程度，從平淡情緒遞增到興奮情緒。本文所做的情感分類同樣采用了二維情感模型，對EEG在Arousal和Valence兩個維度上進行了二分類識別，其中，將取值為1～5 之間的樣本歸為一類，取值為5～9之間的樣本歸為另一類。

圖2 Arousal-Valence二維情感模型

4 DEAP數據集

4.1 EEG信號特征提取

EEG 特征提取流程如圖3 所示，由于Deap 數據集中，一段EEG 信號有60 s 的時間長度，而長時的信號是不穩(wěn)定的，容易帶來噪聲，且不利于后續(xù)的信號變換處理，因此需要對EEG信號進行分幀處理，將EEG劃分為一個個短時的信號再提取特征。本文選取3 s 為一個幀，幀長為3 s，即沒有重疊幀，總計3×128=384 個數據點，從而將一個60 s 的信號長度分割為20 個3 s 的短時信號，再分別對每一個短時信號進行特征提取。

圖3 EEG特征提取流程圖

其次，EEG 信號是不平穩(wěn)的時變信號，需要用時頻分析的方法對其進行處理。小波變換[18]（Wavelet Transform，WT）就是一種典型的時頻分析方法，小波變換的定義式如式（1）所示：

其中，α是伸縮系數，τ是平移量，ψ(?)是共軛復數。小波變換在傅里葉變換的基礎上，對時頻窗都采用了可變換的分析方法，使得腦電這種非平穩(wěn)的時變信號變得更易被處理。

本文通過對EEG 進行小波變換，使得EEG 信號分解成4 種不同頻帶的信號，Theta、Beta、Gamma 和Alpha波，如表1 所示。由于信號的采樣頻率是128 Hz，故有效的采樣頻率為64 Hz，將各層的信號分解到各個波段，選取的小波頻帶與各個分級頻帶相近。

表1 EEG信號的小波分解

再分別對這四種信號分別提取五個不同的特征。主要提取的特征有：

（1）差分熵

該式中Var(?)表示求取方差，x為選取的數據點集。

（2）均值

該式中N表示數據點集總數，即384。

（3）標準差

（4）峰度

（5）功率譜密度

由式（2）～（6），分別對上述每個小波頻帶提取了差分熵、均值、標準差、峰度以及功率譜密度等五種常用的EEG特征。

4.2 MFCC信號特征提取

MFCC[1（9]Mel-scale Frequency Cepstral Coefficients，MFCC）即梅爾倒譜系數，是在語音識別及語音情感識別中都比較常用的一種語音倒譜特征。MFCC 的主要特點是擁有豐富的倒譜信息以及對低頻信號分辨率高，因此，本文將MFCC 特征應用于EEG 信號來完成情感識別的任務，MFCC的提取流程如圖4所示。

圖4 MFCC特征提取流程圖

如圖4所述，提取MFCC首先需要對原始的EEG信號進行分幀以及小波變換處理，采取與上述提取EEG信號特征時同樣的分幀策略。其次，對小波變換后獲得的小波信號進行快速傅里葉變換（FFT）獲得各幀在頻譜上的能量分布，FFT可由下式表示：

其中，x(n)為輸入的信號，N表示傅里葉變換的點數，本文取值為512。其次，為變換后的信號附加Mel三角濾波器組，同時計算每幀信號在每個通道上的對數能量E(m)。

其中，CMFCC(i)為第i階MFCC，L為MFCC的階數，本文取L=13。

4.3 融合特征

從傳統(tǒng)的EEG 情感識別的方法中，發(fā)現只用單一的EEG特征所獲得的情感信息在表現EEG低頻信號段的能力與去噪能力兩個方面上有所不足。為了解決這幾個問題，考慮采取融合特征的方法來優(yōu)化特征的情感信息，融合特征的優(yōu)勢在于能夠結合各類不同特征的自身的特點，取長補短，充分利用特征間的互補性，將原始樣本信息最大化體現出來，從而增加最終情感的識別準確率?？紤]到同樣是情感識別，語音情感識別中的倒譜特征MFCC能夠有效地識別不同的情感，且對于識別不同被試者，倒譜類的特征也尤為關鍵，因此本文考慮將語音倒譜特征MFCC 與EEG 特征相互融合，構建一個穩(wěn)定性，互補性更強的融合特征。

由3.1 節(jié)與3.2 節(jié)得到EEG 信號特征和語音MFCC特征后再通過線性拼接便得到了本文所用的融合特征。拼接的方式如圖5所示。

圖5 融合特征提取圖

其中Time 指的是時序維度，αE表示在Alpha 波下提取的EEG 特征，αM表示在Alpha 波下提取的MFCC特征，Ci表示第i個通道。

5 模型框架

本文的方法模型框架如圖6所示。首先通過對原始EEG 信號預處理，在分別從語音與腦電兩個維度提取MFCC和EEG的特征，再將這兩類特征融合獲得一個表述信息優(yōu)異的特征再通過后續(xù)的模型進行分類識別。

本文選取的識別分類模型是深度殘差網絡（ResNet）[20]，其優(yōu)勢在于能在增加網絡深度的同時解決梯度爆炸，模型退化等問題。深度殘差網絡的構建是通過如圖7所示的殘差單元堆砌而成的。

在圖7 中，x在輸入到模型層時，一部分通過權重層進行學習訓練，另一部分繞過訓練的權重層，直接與訓練后的輸出F(x)進行累加，因此，一個殘差單元所得的輸出y可由式（10）所表示：

圖7 ResNet殘差學習單元

其中，wi表示第i個殘差單元的權重值。因此，不同于傳統(tǒng)深度模型訓練時的逐層訓練，殘差網絡一方面能學習前層所得到的深度特征表示，另一方面能將前層信息越過訓練模塊，從而學習到特征的淺層的信息，這種優(yōu)勢使得網絡結構可以構筑得更深而不擔心梯度爆炸等問題。

關于ResNet 的網絡結構的研究很多，常見的結構有，ResNet18、ResNet34 以及 ResNet50 等，它們之間的主要區(qū)別在于堆砌的殘差網絡單元的數量不同。本文選取了ResNet18作為此次的分類模型的主要結構。具體的結構如表2所示。

表2 ResNet18結構參數

6 實驗設置與實驗結果

6.1 各個波段的實驗結果

本文首先對EEG信號在經過小波變換后得到的各個波段所提出的特征分別進行了對比的實驗。探究各個單一波段與四個波段合并所得的特征信息之間的識別能力的差異性。

圖6 融合特征方法模型框架

如上文所述，每個受試者的實驗數據被處理為40×7 680×32，其中40指的是看的音樂視頻數量，7 680指的是經過處理后的信號長度，32 則是額頭上的32 個電極通道。對于每一個樣本7 680×32，通過EEG的特征提取后，轉變?yōu)?0×20×32，其中前一個20 指的是分幀數量，后一個 20 指的是 4 個波段，即 Theta、Beta、Gamma 和Alpha各提取5個特征總計20個特征數，32指的是電極通道。因此，對于一名受試者的一個視頻樣本，最終會被處理成一個一個20×20×32 的特征矩陣，用以后續(xù)的識別分類，而對于單一波段的特征則是20×4×32的特征矩陣大小。

本文基于Arousal-Valence二維情感模型，對各個樣本標注了高 Arousal/低 Arousal、高 Valence/低 Valence 的標簽，并分別對上述四個類別做各自的二分類任務，實驗從被試者獨立和被試者不獨立兩個角度分別進行實驗，兩類實驗均采用的是十折交叉驗證方法。實驗結果如圖8所示。

圖8 各個波段二分類實驗結果

從圖8（a）被試者獨立的實驗結果可知，在高Arousal/低Arousal 這一分類任務中，融合四個波段的特征能獲得最高的分類準確率79.45%，其次為單一Beta 波段準確率為79.29%，單一的Theta和Alpha波段準確率相近，分別為78.44%和78.43%，單一Gamma波段的準確率最低為77.66%。而在高Valence/低Valence 這一分類任務中，融合四個波段的特征也獲得了最高的分類準確率80.85%，其次依照波頻的大小反向排列，即Theta 為80.73%，Alpha為80.54%，Beta為80.31%以及Gamma為79.06%。而在圖8（b）被試者不獨立的實驗結果中，在高Arousal/低Arousal這一分類任務中，融合四個波段的特征同樣獲得了最高的準確率58.46%，其后依次為Theta、Alpha、Beta與Gamma波段，分別為57.96%、57.80%、57.79%與56.72%。在高Valence/低Valence這一分類任務中，融合四個波段的特征也獲得了最高的分類準確率59.96%，之后依次是Theta波段59.91%、Alpha波段59.18%、Beta波段58.85%以及Gamma波段58.83%。

基于以上的實驗結果，可以發(fā)現：（1）單一波段特征的準確率不如四個波段的融合。（2）各個波段特征在Valence的二分類的識別任務中，其準確率要高于Arousal的二分類的識別任務。（3）高頻波段Gamma波段的識別準確率比較差。（4）由于不同被試者之間的腦波差異性存在，因此被試者獨立的識別準確率要高于非獨立的情況。

6.2 融合特征的實驗結果

基于對上一個實驗的分析，本文將MFCC 特征與EEG 特征互相融合，從而獲得一個更好的特征表示，提升識別能力。

經過EEG信號預處理后得到的一個受試者的語音特征MFCC 為40×20×52×32，其中40 指的是看的音樂視頻數量，20 指的是分幀數量，52 指的是MFCC 的所取維度在各個波段下的維度之和，即13×4=52，32 則是電極通道，通過與EEG特征相融合所得的一個樣本特征矩陣為20×（20+52）×32，實驗策略同樣是對Arousal 和Valence的二分類和十折交叉驗證，實驗結果如表3所示。

表3 融合特征二分類實驗結果 %

從表3的結果可知，結合了MFCC的新的融合特征相比較原始的單一EEG特征和MFCC特征在被試者獨立與不獨立這兩個實驗中都有了一定的準確率上的提升，其中在高Arousal/低Arousal 這一分類任務中，融合特征的準確率在被試者不獨立的條件下有61.31%，而在被試者獨立的條件下有86.01%。相較于只用原始的EEG 特征分別提升了2.85%和6.56%。而在高Valence/低Valence 這一分類任務中，融合特征的準確率在被試者不獨立的條件下有62.10%，而在被試者獨立的條件下有85.46%。相較于只用原始的EEG特征分別提升了2.15%和4.61%。實驗結果表明，這種將MFCC 特征與EEG 特征進行融合的方式，對于EEG 的情感識別分類是有效的。

此外，為了探究分析融合特征的對于不同受試者的魯棒性，本文在被試者獨立的實驗基礎上對32 個被試者各自的分類結果做了研究，結果如圖9所示。

圖9 32個受試者分類結果比較

由圖9可知，融合特征的方法在兩個分類任務中對于各個受試者都能獲得相較于只用單一MFCC 特征或單一EEG特征比較好的結果，其分類結果的均值區(qū)間是最高的。只用單一EEG特征，最后的分類結果區(qū)間落差比較大，即意味著對于不同人的結果差異較大。而只用單一MFCC 特征，雖然對不同人的識別會相對穩(wěn)定，即區(qū)間落差小，但平均準確率提升不高。而將兩個特征融合的方法，則使得特征之間信息互補，從而發(fā)揮各自的優(yōu)勢，彌補各自的不足，達到一個區(qū)間落差小，均值最好的效果，這也驗證了本文提出的方法不僅有效，而且對于不同的受試者也能普遍魯棒，達到一個最好的準確率。

7 結束語

本文將語音倒譜特征MFCC 引入EEG 信號之中，將傳統(tǒng)的EEG 特征與之融合，構造了新融合而成的特征，新的融合特征結合了語音特征MFCC 與原始EEG特征各自的特點，有著更為豐富的情感信息。

為了驗證該方法的有效性，本文在常用的EEG 數據集DEAP數據集中開展了相關實驗研究，利用了一個ResNet18神經網絡來進行分類識別，其優(yōu)勢在于能夠在增加網絡深度從而更好地學習特征信息的同時防止過深的神經網絡所造成的梯度爆炸等問題。最終融合特征的分類準確率在各個特征的比較中是最好，并且在不同受試者的實驗結果中，該融合特征還體現了最好的魯棒性。

此外，本文所提的融合語音特征的方法可以為腦電信號的分類與識別提供參考和幫助，語音信號特征還有很多種別的類型，將各類的語音特征與EEG 特征相融合，值得后續(xù)深入研究。