連衛(wèi)芳，晁 浩，劉永利

（河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南焦作 454000）

0 概述

情感是機(jī)體內(nèi)部的主觀體驗(yàn)，是綜合感覺、思想和行為而產(chǎn)生的心理和生理狀態(tài)。情感有生理喚醒、主觀體驗(yàn)以及外部表現(xiàn)3 種成分，人類情感的早期研究通常利用外部表現(xiàn)，包括對人的面部表情和聲音信號進(jìn)行情感狀態(tài)識別。近年來的研究結(jié)果表明，腦電（Electroencephalographic，EEG）信號所包含的情感相較于語音［1］、表情［2］等更為客觀可靠，更能反映一個人最真實(shí)的情感狀態(tài)［3］。因此，有很多研究人員開始利用EEG 信號進(jìn)行情感識別。

利用EEG 信號進(jìn)行情感識別時常用的特征有時域特征［4］、頻域特征［5］和時頻域特征［6］。時域特征主要集中在事件相關(guān)電位（Event-Related Potentials，ERPs）的研究中，統(tǒng)計(jì)學(xué)特征也被用于描述EEG 信號時間序列，主要包括能量特征、幅值特征等。頻域特征主要包括功率譜密度（Power Spectral Density，PSD）、自回歸（Autoregressive，AR）模型功率譜估計(jì)、能量及其不對稱性（Asymmetry，ASM）以及快速傅里葉變換等。時頻域特征包含基于小波變換、小波包變換、Wigner-Ville 分布、短時傅里葉變換（Short-Time Fourier Transform，STFT）、希爾伯 特-黃 譜（Hilbert-Huang Spectrum，HHS）［7］的特征等。由于EEG 信號具有隨時間瞬變的特點(diǎn)，因此只使用時域、頻域或時頻域特征中的一種將難以取得良好的識別效果。具體而言，使用單一的EEG 特征進(jìn)行識別時存在2 點(diǎn)不足：一是傳統(tǒng)的EEG 特征在低頻信號段時表現(xiàn)能力較弱；二是EEG 特征容易受到噪聲的干擾。

深度學(xué)習(xí)能將底層特征提取為抽象的高層特征，可以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示［8］，同時對高維特征進(jìn)行自動提取和分類，因此，深度學(xué)習(xí)適用于EEG 信號分析。文獻(xiàn)［9］提出一種基于多融合層堆疊式自動編碼器的集成分類器，將其用于情緒識別。文獻(xiàn)［10］運(yùn)用監(jiān)督限制玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）修改了標(biāo)準(zhǔn)深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN），并提出基于監(jiān)督DBN 的情感狀態(tài)識別模型。文獻(xiàn)［11］提出基于DBN 的半監(jiān)督深度學(xué)習(xí)模型（Semi-Supervised Deep Learning Model，Semi-DLM），用于二元情感分類。文獻(xiàn)［12］提出一種基于EEG 信號的主題獨(dú)立情感識別方法，該方法以變分模態(tài)分解（Variational Modal Decomposition，VMD）為特征提取技術(shù)，以深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）為分類器。文獻(xiàn)［13］使用改進(jìn)的基于SincNet 的深度學(xué)習(xí)模型進(jìn)行EEG 情感分類。

作為深度學(xué)習(xí)模型的關(guān)鍵組成部分，堆疊式降噪自動編碼器（Stacked Denoising Auto-Encoder，SDAE）不僅可以通過數(shù)據(jù)學(xué)習(xí)特征，而且能夠獲得不同數(shù)據(jù)級別的特征表達(dá)。但是，由于結(jié)構(gòu)較深，SDAE 難以以較快的學(xué)習(xí)速度獲得良好的泛化性能?；谔荻认陆档姆聪騻鞑ィ˙ackpropagation，BP）算法很容易陷入局部最優(yōu)，導(dǎo)致其分類精度不佳。極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）以較快的學(xué)習(xí)速度和良好的泛化性能引起了研究人員的廣泛關(guān)注，但是，由于輸入權(quán)重和隱藏偏差的隨機(jī)選擇，ELM 傾向于使用更多的隱藏節(jié)點(diǎn)以實(shí)現(xiàn)更好的泛化性能，這使得其網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜。

本文提出一種SDAE 和正則化極限學(xué)習(xí)機(jī)（Regularized Extreme Learning Machine，RELM）相結(jié)合的EEG 特征提取與識別方法。利用SDAE 對EEG 多分析域特征進(jìn)行降維去噪處理，以過濾生理特征中的有害噪聲并導(dǎo)出穩(wěn)定的特征表示。通過RELM 實(shí)現(xiàn)情感分類，使用SDAE 和RELM 相結(jié)合的深度學(xué)習(xí)方法捕捉高維數(shù)據(jù)中的有效特征并提高表達(dá)能力。將SDAE 用于優(yōu)化RELM 的輸入權(quán)重和隱藏層偏差，從而以更少的隱藏層節(jié)點(diǎn)來簡化模型。同時，將時域、頻域和時頻域特征相結(jié)合并應(yīng)用于EEG 信號分析，利用三者自身的優(yōu)點(diǎn)提取EEG 信號的多角度特征，以實(shí)現(xiàn)更好的識別效果。

1 DEAP 數(shù)據(jù)集和特征提取

DEAP 數(shù)據(jù)集［14］是倫敦女王大學(xué)瑪麗分校某研究小組開發(fā)的一個基于生理信號的開放數(shù)據(jù)集，該數(shù)據(jù)集中包括32 位健康參與者（19 歲～37 歲，平均26.9 歲，男性和女性參與者均為16 人），對于每位參與者，在40 次實(shí)驗(yàn)中使用40 個時長1 min 的音樂視頻作為視覺刺激，以激發(fā)不同的情感，同時記錄EEG 信號和部分外周生理信號。在每次實(shí)驗(yàn)結(jié)束后，參與者對他們的喚醒度（Arousal）、效價（Valence）、優(yōu)勢度（Dominance）和喜好程度（Liking）進(jìn)行自我評估。本文關(guān)注喚醒度、效價和優(yōu)勢度3 個指標(biāo)，每次實(shí)驗(yàn)針對3 個指標(biāo)將結(jié)果均分為兩類，如果被試者對某一音樂視頻的評級分低于4.5，則標(biāo)簽被設(shè)置為“l(fā)ow”；如果大于等于4.5，則標(biāo)簽被設(shè)置為“high”。3 個指標(biāo)均有2 個標(biāo)簽，分別為HA（高喚醒度）、LA（低喚醒度）、HV（高效價）、LV（低效價）、HD（高優(yōu)勢度）和LD（低優(yōu)勢度）。因此，情感識別任務(wù)轉(zhuǎn)化為3 個二分類問題，圖1 所示為三維情感模型。

圖1 三維情感模型Fig.1 Three-dimensional emotion model

在預(yù)處理階段，512 Hz 采樣頻率的EEG 信號被下采樣成128 Hz。采用一個4.0 Hz～45.0 Hz 的帶通濾波器進(jìn)行濾波，從而消除EEG 信號中眼電（Electrooculogram，EOG）信號的影響。為了充分利用EEG 信號中蘊(yùn)含的多分析域特征，提取每個樣本的EEG 信號特征，特征具體描述如表1 所示。

表1 4 種初始EEG 信號特征描述Table 1 Description of the four initial EEG signal features

假設(shè)每一個通道的EEG 信號為s(t)，t=1,2,…，T，其中，t為信號時長。時域和頻域提取的均值、方差、過零率、近似熵和功率譜密度5 種特征表示公式分別為：

其中：?m(r)表示平均相似率，可以表示為?m(r)=為時間序列屬性統(tǒng)計(jì)數(shù)值；m表示子序列數(shù)量；FT(ω)為s(t)的傅里葉變換。

由于短時傅里葉變換在所有頻率下均具有恒定的分辨率，因此不適合分析EEG 這種非平穩(wěn)信號。而離散小波變換（Discrete Wavelet Transform，DWT）在非平穩(wěn)信號分析中具有多分辨率的特性，可以捕獲信號的局部行為，并且同時獲得瞬態(tài)非平穩(wěn)信號的頻率和時間信息。因此，本文使用DWT 進(jìn)行EEG信號分析。在第一級分解中，低通和高通濾波器用于獲得原始信號表示，以近似系數(shù)（A1）和細(xì)節(jié)系數(shù)（D1）表示數(shù)字信號，DWT 分解定義如下：

其中：dj,k和Cn,k分別代表近似系數(shù)和細(xì)節(jié)系數(shù)；n是分解級別；? 表示規(guī)模函數(shù)。隨后分解近似系數(shù)并多次重復(fù)上述過程。

本文將DWT 應(yīng)用于32 個腦電通道的EEG 信號分析，由于4 級分解提供了最好的信號特征，因此本文使用Daubechies4（db4）小波對EEG 信號進(jìn)行4 級DWT 處理。圖2 所示為DWT 樹結(jié)構(gòu)，其中包含采樣頻率為128 Hz 的EEG 信號分解，將每一通道的EEG信號分解為5 個不同的波段，包括δ（0～4 Hz）、θ（4 Hz～8 Hz）、α（8 Hz～16 Hz）、β（16 Hz～32 Hz）和γ（32 Hz～64 Hz）。如表2 所示，本文分別提取γ、β、α和θ4 個波段的能量和熵值作為時頻域特征。

圖2 DWT 樹結(jié)構(gòu)Fig.2 DWT tree structure

表2 離散小波分解Table 2 Discrete wavelet decomposition

熵是信號中信息量的度量值，計(jì)算特定頻帶內(nèi)時間窗上的信號熵如下：

通過將時間窗上的小波系數(shù)進(jìn)行平方求和，可以得出每個頻帶的能量如下：

其中：j是小波分解級別（頻帶）；k是j頻帶中的小波系數(shù)。

2 基于SDAE-RELM 的深度學(xué)習(xí)框架

2.1 堆疊式自動編碼器

自動編碼器（Auto-Encoder，AE）是一種盡可能復(fù)現(xiàn)輸入信號的前向型神經(jīng)網(wǎng)絡(luò)，其包含輸入層、隱含層（特征層）和輸出層，輸出向量與輸入向量同維，常用于無監(jiān)督學(xué)習(xí)中的特征提取任務(wù)。圖3（a）所示為簡單的AE 模型結(jié)構(gòu)。堆疊式自動編碼器（Stacked Auto-Encoder，SAE）將多個AE 堆 疊在一起，如圖3（b）所示。SAE 采用逐層貪婪訓(xùn)練方法以無監(jiān)督的方式對每個AE 進(jìn)行單獨(dú)訓(xùn)練，通過堆疊多個AE 形成SAE 網(wǎng)絡(luò)，以層次結(jié)構(gòu)計(jì)算生理特征抽象。逐層確定SAE 參數(shù)的過程稱為預(yù)訓(xùn)練，要進(jìn)行情感識別需要在SAE 的頂級編碼層添加一個與二元情緒相對應(yīng)的含2 個神經(jīng)元的輸出層。最后，用BP算法對訓(xùn)練好的SAE 參數(shù)進(jìn)行微調(diào)。

圖3 AE 和SAE 的結(jié) 構(gòu)Fig.3 Structure of AE and SAE

2.2 正則化極限學(xué)習(xí)機(jī)

ELM 是一種具有單隱藏層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feed Forward Neural Networks，SLFNs）結(jié)構(gòu)的算法，其網(wǎng)絡(luò)拓?fù)渑c反向傳播（BP）神經(jīng)網(wǎng)絡(luò)相同，由輸入層、隱藏層和輸出層組成。雖然網(wǎng)絡(luò)結(jié)構(gòu)相同，但是ELM 和BP 的訓(xùn)練方法大不相同。BP 網(wǎng)絡(luò)需要使用梯度下降算法，通過多次迭代來求解網(wǎng)絡(luò)權(quán)重，而ELM 通過隨機(jī)生成輸入權(quán)重和隱藏偏差來求解輸出權(quán)重。ELM 的具體架構(gòu)參考文獻(xiàn)［15］，RELM 在標(biāo)準(zhǔn)ELM 的二次型指標(biāo)中增加了正則化項(xiàng)。

RELM 的目標(biāo)是獲得最低的訓(xùn)練誤差和最小的輸出權(quán)重，其極限學(xué)習(xí)機(jī)的目標(biāo)函數(shù)為：

加入正則化項(xiàng)可控制模型的復(fù)雜程度，將約束條件引入其目標(biāo)函數(shù)中，即得到下面的等價優(yōu)化問題：

利用訓(xùn)練集樣本數(shù)量N和RELM 隱藏層神經(jīng)元數(shù)量L，根據(jù)KKT（Karush-Kuhn-Tucker）定理［16］可以得到β的2 種不同的近似解，如下：

其中：I是單位矩陣；C是正則化系數(shù)。

2.3 SDAE-RELM 模型

為了防止過擬合問題，同時學(xué)習(xí)到較魯棒的特征并提高模型的訓(xùn)練穩(wěn)定性，本文在AE 的輸入層數(shù)據(jù)中引入50%的隨機(jī)噪聲，將其變?yōu)镈AE。在該過程中，本文還嘗試引入30%、40%和60%的隨機(jī)噪聲，但引入50%隨機(jī)噪聲時效果最好。為了實(shí)現(xiàn)情感分類，本文在SDAE 的頂端編碼層添加一個分類器，使用RELM 代替softmax 作為分類器可以有效提高網(wǎng)絡(luò)訓(xùn)練速度，且通過訓(xùn)練SDAE 可以獲得RELM 的網(wǎng)絡(luò)參數(shù)。如圖4 所示，SDAE-RELM 情感識別模型結(jié)構(gòu)由3 個部分組成，包括數(shù)據(jù)預(yù)處理、特征融合和情感識別，系統(tǒng)架構(gòu)如圖5 所示。

圖4 SDAE-RELM 情感識別模型結(jié)構(gòu)Fig.4 SDAE-RELM emotion recognition model structure

圖5 SDAE-RELM 系統(tǒng)架構(gòu)Fig.5 SDAE-RELM system architecture

實(shí)驗(yàn)將32 路腦電通道中每一通道的60 s 腦電信號無重疊等分為30 段，每段2 s 作為獨(dú)立樣本繼承原始樣本的標(biāo)簽。首先，分別計(jì)算如表1 所示的初始600 維情感特征，包括統(tǒng)計(jì)特征、能量特征、能量差異特征和小波變換特征；然后，通過多層SDAE 模型進(jìn)行特征融合并提取高層抽象EEG 特征；最后，將獲得的高層抽象特征輸入RELM，實(shí)現(xiàn)情感分類。模型的訓(xùn)練過程分為2 個部分：

1）特征提取。SDAE 模型通過重構(gòu)誤差的反向傳播訓(xùn)練無監(jiān)督模型，先對每個單隱藏層的DAE 單元進(jìn)行無監(jiān)督預(yù)訓(xùn)練，然后再堆疊得到一個包含多個隱藏層結(jié)構(gòu)的SDAE。為了進(jìn)行線模型的訓(xùn)練，本文將小批量梯度下降用作優(yōu)化器算法，并將均方誤差（Mean Square Error，MSE）作為損失函數(shù)。

2）特征分類。本文將特征提取部分最后一層的輸出作為RELM 的輸入，RELM 的隱藏層激活函數(shù)選擇非線性函數(shù)hardlim，如式（14）所示：

使用RELM 分類器進(jìn)行分類，計(jì)算其隱藏層的權(quán)值，至此網(wǎng)絡(luò)模型的權(quán)值都被確定下來，即訓(xùn)練完畢。本文選取整個實(shí)驗(yàn)過程中所有分類結(jié)果的最優(yōu)值作為模型分類結(jié)果。算法詳細(xì)描述如下：

算法1SDAE-RELM 算法

輸入特征H0=，標(biāo)簽T=，隱藏節(jié)點(diǎn)數(shù)Li，隨機(jī)噪聲的百分比，正則化系數(shù)C

輸出所有隱藏層的權(quán)值βi

步驟1訓(xùn)練SDAE 的第一個隱藏層DAE。建立DAE 網(wǎng)絡(luò)的第一層，并使用梯度下降法訓(xùn)練，獲得該隱藏層的輸出H1和相應(yīng)的網(wǎng)絡(luò)參數(shù)θ1，H1為輸入特征的抽象表示，且θ1=(W1,b1)。

步驟2訓(xùn)練SDAE 的第i個隱藏層DAE。將第i-1 層的輸出作為第i層的輸入，建立DAE 網(wǎng)絡(luò)的第i層，并使用梯度下降法訓(xùn)練，以確定RELM 的輸入權(quán)重和隱藏偏差，獲得該隱藏層的輸出Hi和相應(yīng)的網(wǎng)絡(luò)參數(shù)θi，Hi為Hi-1的抽象表示，且θi=（Wi，bi）。

步驟3訓(xùn)練RELM。建立RELM 分類器，輸入為最后一層DAE 的輸出，權(quán)重和隱藏層偏置為θi+1=（Wi+1，bi+1），RELM 網(wǎng)絡(luò)的隱藏層輸出矩陣為Hi+1，輸出權(quán)重向量β可以根據(jù)式（13）計(jì)算而得。

3 實(shí)驗(yàn)結(jié)果及分析

本文使用DEAP 數(shù)據(jù)集中全部32 個通道的EEG數(shù)據(jù)。數(shù)據(jù)預(yù)處理是處理原始EEG 數(shù)據(jù)的第一步，去除前3 s 靜默狀態(tài)數(shù)據(jù)，為了避免腦電信號連續(xù)樣本之間存在的依賴性，采用無重疊固定寬度滑動窗口技術(shù)將后60 s 數(shù)據(jù)無重疊等分為30 段，每段為2 s并作為獨(dú)立的樣本數(shù)據(jù)，提取特征向量并繼承原始樣本的標(biāo)簽，則每位被試者的實(shí)驗(yàn)數(shù)據(jù)樣本數(shù)為1 200（40×30），特征向量維數(shù)為600。

在實(shí)驗(yàn)中采用交叉驗(yàn)證技術(shù)。訓(xùn)練時每一位參與者的1 200個樣本被劃分為不重合的10個子集，9個子集（1 080 個樣本）分配給訓(xùn)練集，1 個子集（120 個樣本）分配給測試集。以上過程重復(fù)10 次，直到測試完所有子集。

3.1 超參數(shù)選擇

一般而言，隨著網(wǎng)絡(luò)深度的增加，可以獲得更抽象的特征表示。但是，太多的層數(shù)會使網(wǎng)絡(luò)難以有效訓(xùn)練，同時帶來更多的參數(shù)需要學(xué)習(xí)，因此，將花費(fèi)更長的訓(xùn)練時間。本文對3 個情感維度分別進(jìn)行測試，得出2 層或3 層隱藏層能取得較好的結(jié)果。因此，在超參數(shù)的選擇中，首先將SDAE 模型的隱藏層數(shù)設(shè)置為2 層或3 層，對于SDAE-RELM 模型，SDAE和RELM 模型分別進(jìn)行訓(xùn)練。如2.3 節(jié)所述，本文使用SDAE 的網(wǎng)絡(luò)進(jìn)行特征提取，對SDAE 中的降噪自動編碼器都進(jìn)行200 個epochs（批量大小為100）的訓(xùn)練，然后微調(diào)為500 個epochs（批量大小為120）。

SDAE 將softmax 回歸分類器添加到SDAE 的頂級編碼層，并且在訓(xùn)練的最后一步微調(diào)所有層的參數(shù)以實(shí)現(xiàn)所需的分類性能。SDAE-ELM 將ELM 添加到SDAE 的頂層作為分類器。對于3 個維度的分類精度，本文均使用輸入的初始600 維高維特征進(jìn)行訓(xùn)練測試，分別尋找ELM 和RELM 的最佳隱藏節(jié)點(diǎn)數(shù)。從圖6 可以看出，隨著隱藏節(jié)點(diǎn)數(shù)量的增加，ELM 和RELM 的分類精度提升。當(dāng)隱藏節(jié)點(diǎn)的數(shù)量增加到30 000 時，SDAE-ELM 的精度達(dá)到77.5%。此后，由于模型處于過擬合狀態(tài)，精度幾乎保持不變。因此，在對SDAE-ELM 進(jìn)行訓(xùn)練時，需將ELM的隱藏層節(jié)點(diǎn)數(shù)設(shè)置為30 000。由此可見，為了獲得更好的分類效果，ELM 需要大量的隱藏節(jié)點(diǎn)，網(wǎng)絡(luò)結(jié)構(gòu)將會很復(fù)雜。當(dāng)使用RELM 進(jìn)行分類時，僅需15 000 個隱藏節(jié)點(diǎn)即可獲得77.5%的精度。因此，本文所提方法可以有效減少ELM 的隱藏層節(jié)點(diǎn)數(shù)，從而簡化網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 ELM 和RELM 在不同隱藏層節(jié)點(diǎn)數(shù)量下的分類準(zhǔn)確率Fig.6 Classification accuracy of ELM and RELM under different numbers of hidden layer nodes

對于RELM，需要調(diào)整正則化系數(shù)C和隱藏層節(jié)點(diǎn)數(shù)量L這2個參數(shù)。實(shí)驗(yàn)中需要尋找C和L的最佳組合：

本文采用網(wǎng)格搜索法確定了C和L的最佳組合值，分別是100 和15 000。

3.2 SDAE 和SDAE-RELM 的 結(jié)果分析

為了驗(yàn)證SDAE-RELM 的學(xué)習(xí)性能，本文對SDAE 和SDAE-RELM 模型采用5 種參數(shù)組合進(jìn)行測試，同時確定模型參數(shù)的最佳組合。對于每一個組合，分別訓(xùn)練一個SDAE 和SDAE-RELM，在訓(xùn)練時，1 200 樣本被劃分為1 080 個樣本（訓(xùn)練集）和120 個樣本（測試集），采用10 折交叉驗(yàn)證法，根據(jù)表3 和表4 所示的5 種模型參數(shù)組合分別對喚醒度、效價和優(yōu)勢度3 個維度進(jìn)行訓(xùn)練測試，對32 個被試者測得的最高分類精度值取平均。圖7（a）～圖7（c）所示為情感狀態(tài)分類結(jié)果。

表3 SDAE 模型參數(shù)設(shè)置Table 3 Parameter settings of SDAE model

表4 SDAE-RELM 模型參數(shù)設(shè)置Table 4 Parameter settings of SDAE-RELM model

圖7 不同模型參數(shù)組合在3 個維度的識別精度對比Fig.7 Comparison of recognition accuracy of different model parameter combinations in three dimensions

可以看出，無論使用哪種參數(shù)組合來構(gòu)建模型，每一維度SDAE-RELM 的識別準(zhǔn)確率都要明顯優(yōu)于SDAE 模型。在喚醒維度，SDAE-RELM 采用Model 4的參數(shù)組合達(dá)到了最優(yōu)的識別效果（77.08%）；在效價維度，SDAE-RELM 采用Model 2 的參數(shù)組合達(dá)到了最優(yōu)的識別效果（77.69%）；在優(yōu)勢維度，SDAERELM 采用Model 5 的參數(shù)組合達(dá)到了最優(yōu)的識別效果（78.46%）。

本文還比較了SDAE 和SDAE-RELM 的訓(xùn)練時間，結(jié)果如表5 所示。從表5 可以看出，無論采用哪種參數(shù)組合方式，在輸入特征相同的情況下，SDAE-RELM 的訓(xùn)練時間均少于SDAE，這是因?yàn)镾DAE 將softmax 回歸分類器添加到頂級編碼層，并且在訓(xùn)練的最后一步微調(diào)所有層的參數(shù)以實(shí)現(xiàn)所需的分類性能，會花費(fèi)較多時間，而本文提出的EEG 情感識別方法將具有更快學(xué)習(xí)速度和更少調(diào)整參數(shù)的RELM 添加到SDAE 的頂層作為分類器，其不需要微調(diào)所有層的參數(shù)，即減少了網(wǎng)絡(luò)訓(xùn)練所需時間。

表5 SDAE 和SDAE-RELM 的訓(xùn)練時間比較Table 5 Comparison of training time of SDAE and SDAE-RELM s

3.3 SDAE-RELM 模型與常用分類器比較

為了驗(yàn)證本文所提模型利用時域、頻域和時頻域特征進(jìn)行情感識別的有效性，使用10 折交叉驗(yàn)證技術(shù)，用相同的特征分別訓(xùn)練幾種常用的情感分類模型，并對每種模型的最優(yōu)識別結(jié)果進(jìn)行對比分析，對比模型包括決策樹（Decision Tree，DT）、隨機(jī)決策森 林（Random Decision Forest，RDF）、K 近 鄰（KNearest Neighbor，KNN）、支持向量機(jī)（Support Vector Machines，SVM）以及SDAE-DT、SDAE-RBF、SDAEKNN 和SDAE-SVM，實(shí)驗(yàn)結(jié)果如表6 所示。其中，最優(yōu)結(jié)果加粗表示，SDAE-RELM 的分類結(jié)果是從表4 的5 種模型中選出的最優(yōu)值。

表6 不同模型的識別性能比較Table 6 Comparison of recognition performance of different models %

從表6 可以看出，深度學(xué)習(xí)算法（如SDAE、SDAE-SVM 和本文方法等）比傳統(tǒng)機(jī)器學(xué)習(xí)算法（如DT、KNN 和RDF 等）識別精度更高，這是因?yàn)閭鹘y(tǒng)機(jī)器學(xué)習(xí)算法需要充分訓(xùn)練樣本來確保識別性能，由于網(wǎng)絡(luò)結(jié)構(gòu)淺，這些算法無法有效地將目標(biāo)的固有類信息與特征空間中的某些外部因素區(qū)分開，深度學(xué)習(xí)算法在逐層解調(diào)各種因素之間的耦合關(guān)系時，會盡可能少地?fù)p失目標(biāo)的固有類信息，即深度網(wǎng)絡(luò)中的底層功能通常是分布式的，并且可以在不同的類之間共享，而高層功能通常更抽象，更可分離，這說明了SDAE 能夠有效地提取EEG 信號中蘊(yùn)含的情感狀態(tài)區(qū)分性信息。SDAE-RELM 方法被試者間的標(biāo)準(zhǔn)差和其他方法相近，與其他方法相比，SDAERELM 的平均分類精度更高（喚醒度為76.3%，效價為76.8%，優(yōu)勢度為78.5%），這驗(yàn)證了本文所提方法不僅有效，而且對于不同被試者也更魯棒。

RELM 通過使用多個隱藏節(jié)點(diǎn)來實(shí)現(xiàn)更好的泛化性能，而研究模型的泛化性能需要證明在訓(xùn)練樣本較少的情況下也可以獲得良好的識別性能。本文比較SAE、ELM、主成分分析（Principal Component Analysis，PCA）、SDAE-SVM 和SDAE-RELM 5 種模型在優(yōu)勢維使用不同數(shù)量訓(xùn)練樣本時的情感分類準(zhǔn)確率，結(jié)果如圖8 所示。從圖8 可以看出，隨著訓(xùn)練樣本數(shù)量的增加，5 種模型的分類精度提高。當(dāng)訓(xùn)練樣本較少時，SDAE-RELM 的分類性能優(yōu)于其他模型，說明該模型具有較好的泛化性能，當(dāng)只有少量訓(xùn)練樣本可用時，SDAE-RELM 也可以獲得良好的情感識別效果。

圖8 5 種模型在不同數(shù)量訓(xùn)練樣本時的分類性能比較Fig.8 Comparison of classification performance of five models with different number of training samples

3.4 本文所提方法與其他方法比較

在DEAP 數(shù)據(jù)集上，文獻(xiàn)［17］將EEG 的原始通道通過Pearson 相關(guān)系數(shù)和重新排列的腦電圖輸入卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。文獻(xiàn)［18］提出一種基于經(jīng)驗(yàn)?zāi)B(tài)分解（Empirical Mode Decomposition，EMD）的特征提取與情感識別方法。文獻(xiàn)［19］提出一種基于多通道腦電圖的SAE和長短時記憶網(wǎng)絡(luò)（Long Short Term Memory Network，LSTM）相結(jié)合的情感識別框架。文獻(xiàn)［20］提出提取大腦連通性特征并使用SVM 識別情緒的方法。文獻(xiàn)［21］使用深度信念網(wǎng)絡(luò)（DBN）從原始EEG 信號中自動提取高級特征進(jìn)行情感識別的方法。文獻(xiàn)［22］結(jié)合CNN 和遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN），用于提取與任務(wù)相關(guān)的特征，挖掘通道間的相關(guān)性并從這些特征中獲得上下文信息。文獻(xiàn)［23］使用EEG 的雙樹復(fù)小波包變換（Double-Tree Complex Wavelet Packet Transform，DT-CWPT）時頻域特征，用以檢測情緒，并分析不同情緒狀態(tài)下的大腦活動。將本文所提方法的情感識別結(jié)果與上述方法的識別結(jié)果進(jìn)行比較，結(jié)果如表7 所示。

表7 不同方法的分類準(zhǔn)確率比較Table 7 Comparison of classification accuracy of different methods %

在喚醒和優(yōu)勢2 個維度，本文所提方法均達(dá)到了最好的識別效果，在效價維度上其識別準(zhǔn)確率也優(yōu)于多數(shù)對比方法，但低于文獻(xiàn)［19］方法，原因是文獻(xiàn)［19］方法采用的是包含所有被試者信息的數(shù)據(jù)樣本，使得模型訓(xùn)練更加充分，而本文方法對每一位被試者的樣本分別進(jìn)行訓(xùn)練。此外，本文所提方法在喚醒、效價和優(yōu)勢3 個維度的識別準(zhǔn)確率相近，這表明該方法在綜合使用表1 所述的時域、頻域和時頻域3 種分析域特征進(jìn)行情感識別時具有有效性。

4 結(jié)束語

本文提出一種基于SDAE 和RELM 的EEG 情感識別方法SDAE-RELM。利用SDAE 對EEG 信號的多分析域特征進(jìn)行降維去噪，過濾生理特征中的有害噪聲并導(dǎo)出穩(wěn)定的特征表示。在網(wǎng)絡(luò)的回歸層，使用RELM 實(shí)現(xiàn)快速的情感分類。實(shí)驗(yàn)結(jié)果表明，與SDAE 相比，SDAE-RELM 方法喚醒度提升6.8%，效價提升7.5%，優(yōu)勢度提升12.6%，平均節(jié)省約17.11 s 訓(xùn)練時間，其在準(zhǔn)確性和實(shí)時性方面均有明顯提升，與其他傳統(tǒng)基于機(jī)器學(xué)習(xí)的方法相比，SDAE-RELM 在隱藏節(jié)點(diǎn)較少的情況下?lián)碛懈叩淖R別精度，喚醒度為76.3%，效價為76.8%，優(yōu)勢度為78.5%，當(dāng)僅有少量訓(xùn)練樣本可用時，該方法也具有良好的識別性能。下一步將使用多模態(tài)生理信號進(jìn)行情感識別，包括實(shí)時記錄的中樞神經(jīng)系統(tǒng)和外周神經(jīng)系統(tǒng)的生理信號。此外，本文所提方法僅在DEAP 數(shù)據(jù)集上進(jìn)行了測試，今后將在更多的情感數(shù)據(jù)集上對其進(jìn)行測試，以驗(yàn)證該方法的普適性。