郭國棟，高亞罕，曹宇杰

（1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200093；2.上海健康醫(yī)學(xué)院 醫(yī)療器械學(xué)院，上海 200237）

0 引言

情緒是以個(gè)體的需要、愿望等傾向?yàn)橹薪榈囊环N心理現(xiàn)象，是人對客觀事物的態(tài)度體驗(yàn)以及相應(yīng)的行為反應(yīng)［1］。早在1884 年，情緒的概念第一次被提出。隨著研究的深入，Ekman等［2］將情緒劃分為6種基本形式，包括悲傷（Sad）、高興（Happy）、恐懼（Fear）、厭惡（Dis-gust）、驚訝（Surprise）和憤怒（Angry）。在進(jìn)行情緒識別時(shí)微表情信息、語言語態(tài)、姿態(tài)表情、生理信號等都是重要的數(shù)據(jù)來源［3］。其中，生理信號具有難以偽裝、信息量更加豐富等特點(diǎn)。腦電信號就是一種典型的生物電信號，是大腦皮層神經(jīng)細(xì)胞或頭皮表層電活動的總體反應(yīng)，其中包含了大量的生理和病理信息［4］。同時(shí)，情緒的波動會對肌體生理信號產(chǎn)生影響，不可避免會對腦波產(chǎn)生相應(yīng)的影響［5］。因此，通過對腦電信號進(jìn)行采集和分析可以直觀準(zhǔn)確地判斷人體的生理及心理狀態(tài)。

腦電信號的情緒識別主要包括了5 個(gè)基本步驟［6］，如圖1 所示。本文主要對腦波情緒特征提取、情緒分類方法以及基于深度學(xué)習(xí)的腦電信號情緒識別方法進(jìn)行歸納與總結(jié)。并且，腦電信號數(shù)據(jù)集是情緒識別研究中的重要部分，主要對常用的腦電信號數(shù)據(jù)集進(jìn)行介紹與分析。最后，闡述了目前腦電情緒研究中存在的問題，并對其未來發(fā)展作出了展望。

Fig.1 Main steps of emotion recognition of EEG signals圖1 腦電信號情緒識別主要步驟

1 情緒腦電信號采集及特征提取

腦電信號是一種極其微弱的生理信號（幅值在微伏級別），在采集過程中不僅會受到腦電數(shù)據(jù)采集設(shè)備和外部環(huán)境的干擾，人體自身的一些生理因素如眼電、肌電等也會對腦電信號產(chǎn)生影響［7］。同時(shí)，測試者自身當(dāng)下的生理及心理狀態(tài)也會對腦電信號的采集產(chǎn)生影響。大量的偽跡信號會增加腦電信號分析難度，難以從中直觀分析出與情緒的內(nèi)在聯(lián)系。為了便于后續(xù)研究，對采集到的信號作一定預(yù)處理，通過這種初步處理，可以得到具有一定規(guī)律的信號［8］。

腦電信號的情感識別是情感計(jì)算領(lǐng)域的一個(gè)重要研究方向，腦電信號的特征提取與分類是進(jìn)行情緒識別的基礎(chǔ)。傳統(tǒng)腦電信號的特征提取，主要從時(shí)域特征、頻域特征、時(shí)頻域以及非線性動力學(xué)分析4 種特征入手，如圖2 所示。研究表明，右腦區(qū)在情緒方面有更多信息［9］。傳統(tǒng)的特征提取方法從每個(gè)通道提取腦電特征，卻忽略了通道的空間特征和全局同步信息。這些特征也包含了與情緒狀態(tài)相關(guān)的信息，因此在進(jìn)行腦電情緒識別時(shí)有必要對空間域特征進(jìn)行分析。

Fig.2 Feature extraction of EEG signals圖2 腦電信號的特征提取

（1）時(shí)域特征。時(shí)域特征也稱信號的統(tǒng)計(jì)特征，Kwon等［10］將腦電信號采集時(shí)對稱電極間產(chǎn)生的幅值差作為特征信號進(jìn)行采集，并取得了較好的分類效果；Zhuang 等［11］利用經(jīng)驗(yàn)?zāi)Ｊ椒纸猓‥MD）的特征提取和情感識別方法，適用于非線性非平穩(wěn)信號的分析處理，可提高情感識別性能。因?yàn)槟X電信號的特殊性，難以通過某一確定的時(shí)域特征進(jìn)行分析，在實(shí)際運(yùn)用過程中想要達(dá)到預(yù)期處理效果，需根據(jù)特定需求對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行有針對性的處理。

（2）頻域特征。在腦電情感識別中，最常見的特征是來自不同頻帶的功率特征，可通過傅里葉變換（Fourier Transfer，F(xiàn)T）將時(shí)域信號轉(zhuǎn)換為頻域信號。Xing 等［12］利用腦電信號和視聽特征視頻情感識別的融合方法將功率譜密度與視頻視聽特征相結(jié)合，取得了較好的分類效果。通過頻域特征進(jìn)行提取，可從分離不同頻帶相應(yīng)的特征信號加以分析，但在腦電信號采集中會產(chǎn)生干擾導(dǎo)致頻帶出現(xiàn)重疊，此時(shí)提取的特征值會產(chǎn)生偏差。

（3）時(shí)頻域特征。腦電信號是一種非平穩(wěn)隨機(jī)信號，僅從時(shí)域或頻域進(jìn)行特征提取具有局限性，最常用的還是時(shí)頻結(jié)合的分析方法。在運(yùn)用小波變換處理信號時(shí)只對信號的低頻部分進(jìn)行分解，而拋棄對信號高頻部分的處理。因此，需依據(jù)小波包變化對小波空間作進(jìn)一步分解，能同時(shí)對信號的低、高頻部分進(jìn)行多層次劃分，可以對腦電信號的任意頻段信號進(jìn)行特征提?。?3］。希爾伯特黃變換與傳統(tǒng)方法相比，其在處理非線性非平穩(wěn)信號方面更具優(yōu)勢。Mutlu［14］提出一種基于Hilbert 振動分解（HVD）的腦電信號識別框架，其計(jì)算復(fù)雜度較低，更適合于實(shí)時(shí)生理信號處理應(yīng)用?？傮w而言，時(shí)頻域法能夠更加細(xì)節(jié)地表現(xiàn)出腦電信號的瞬時(shí)特征。

（4）非線性動力學(xué)分析。腦電信號具有非線性和混沌性的特點(diǎn)［15］，傳統(tǒng)的腦電信號分析大多基于傅立葉變換技術(shù)，該技術(shù)假定被分析信號的線性和平穩(wěn)性，由于腦電活動的復(fù)雜性和動態(tài)性，非線性方法更適合于評估腦電的內(nèi)在動力學(xué)，探索情緒發(fā)生時(shí)大腦活動的生理機(jī)制。Zheng等［16］通過具有微分熵特征的判別圖正則化極值學(xué)習(xí)機(jī)實(shí)現(xiàn)情緒有效識別；Thammasan 等［17］采用分形維數(shù)（FD）從原始腦電信號中提取信息特征，對情緒進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，F(xiàn)D 在喚醒和價(jià)態(tài)分類方面略優(yōu)于PSD 方法，并且FD與情緒的相關(guān)性高于PSD。

（5）空間域特征。腦電信號采集時(shí)在大腦頭皮層上放置不同位置的電極，這些電極在大腦頭皮上有固定的空間分布模式。同時(shí)，不同腦區(qū)對不同情緒的反應(yīng)也不盡相同。因此，在對腦電信號的空間域特征進(jìn)行提取時(shí)主要從空頻域特征和電極空間組合上加以分析。Hao 等［18］在進(jìn)行腦電信號情緒識別時(shí)融入對空間特性的分析，構(gòu)造了多通道腦電信號的多帶特征矩陣（MFM）。隨著研究的深入，Chao 等［19］提出一種借助通道的空間特征和全局同步信息，將多通道腦電信號封裝成灰度圖像的全局特征提取方法。結(jié)果表明，對腦電信號全局同步特征和空間特征的分析有利于情緒識別。

2 腦電信號情緒分類與識別

2.1 腦電信號情緒分類

在對腦電信號進(jìn)行特征提取后，依據(jù)提取出的特征對腦電信號進(jìn)行情緒分類處理。隨著人工智能的不斷發(fā)展，情緒識別計(jì)算技術(shù)已經(jīng)成功地將情緒變化與腦電信號聯(lián)系起來，因此只要施加適當(dāng)?shù)拇碳?，就可以從腦電信號中識別情緒變化并對其加以分類。

目前，傳統(tǒng)機(jī)器學(xué)習(xí)研究方向主要包括決策樹、隨機(jī)森林、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)等。每一個(gè)預(yù)測模型都獨(dú)有一個(gè)特定的算法結(jié)構(gòu)，通過參數(shù)微調(diào)完成不同的識別任務(wù)。在進(jìn)行預(yù)測時(shí)首先根據(jù)數(shù)據(jù)特點(diǎn)選定一個(gè)模型結(jié)構(gòu)，然后將訓(xùn)練數(shù)據(jù)輸入模型，最后輸出一個(gè)使輸出錯(cuò)誤最小化的基于特定參數(shù)的學(xué)習(xí)模型。Zhang 等［20］采用EMD策略提取特征向量，通過支持向量機(jī)分類器進(jìn)行訓(xùn)練和識別情緒。隨后Mohammadi 等［21］將支持向量機(jī)和K-近鄰分類器相結(jié)合對所提取的特征進(jìn)行情感狀態(tài)檢測。針對多通道的信號特征，Zheng［22］提出一種新的群稀疏典型相關(guān)分析（GSCCA）方法，非常適合同時(shí)處理EEG 情感識別和自動通道選擇問題。與利用SVM 法不同的是，Tripathi 等［23］探索了兩種不同的神經(jīng)網(wǎng)絡(luò)模型，一種簡單的深層神經(jīng)網(wǎng)絡(luò)和一種用于分類的卷積神經(jīng)網(wǎng)絡(luò)。同時(shí)，證明了神經(jīng)網(wǎng)絡(luò)可以作為大腦信號的魯棒分類器，甚至優(yōu)于傳統(tǒng)的學(xué)習(xí)技術(shù)。每種模式都有自己的特點(diǎn)，在一些任務(wù)中表現(xiàn)不錯(cuò)，但在其他方面表現(xiàn)不佳。因此，Mehmood 等［24］將SVM、K-近鄰、線性判別分析、樸素貝葉斯、隨機(jī)森林、深度學(xué)習(xí)和4 種集成方法（Bagging、Boosting、Stacking 和Voting）相結(jié)合對最優(yōu)特征作了進(jìn)一步處理。實(shí)驗(yàn)結(jié)果表明，與常用的譜功率帶方法相比，該方法極大提高了情感識別率。

2.2 基于深度學(xué)習(xí)的情緒識別分類

傳統(tǒng)的機(jī)器學(xué)習(xí)分類器存在著缺乏確定模型結(jié)構(gòu)的專業(yè)知識和多模態(tài)特征提取過于簡單的不足［25］。利用深度學(xué)習(xí)，學(xué)習(xí)腦電信號樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，能夠讓機(jī)器具有分析學(xué)習(xí)能力，在處理復(fù)雜的樣本數(shù)據(jù)和進(jìn)行分類處理時(shí)更具優(yōu)勢。

（1）卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。CNN 是一類基于卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，在圖像領(lǐng)域取得了巨大成功。近年來，它們被引入到腦電、肌電圖、心電圖等生理信號的處理中。Xiang等［26］進(jìn)一步設(shè)計(jì)了一個(gè)結(jié)合CNN 和RNN 的混合深度學(xué)習(xí)模型，在提取任務(wù)相關(guān)特征、挖掘信道間相關(guān)性以及從這些幀中合并上下文信息方面具有更好的效果；Li 等［27］利用層次卷積神經(jīng)網(wǎng)絡(luò)（HCNN）對情緒的積極、中性和消極狀態(tài)進(jìn)行分類。研究表明，HCNN 在二維空間中具有很強(qiáng)的表征學(xué)習(xí)能力，它在情緒識別尤其是在β 波和伽瑪波上具有很高的識別效率。

（2）深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）。深度神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的模型，由一組簡單的RBM 模型組成。可以逐步提取輸入數(shù)據(jù)的深層特征，通過預(yù)訓(xùn)練學(xué)習(xí)深度輸入特性。Zheng 等［28］介紹了一種新的基于差分熵特征的深度信念網(wǎng)絡(luò)（DBN），將兩種情緒類別（正和負(fù)）從EEG 數(shù)據(jù)中進(jìn)行分類，結(jié)合隱馬爾可夫模型（HMM）準(zhǔn)確捕捉更可靠的情緒階段轉(zhuǎn)換，DBN-HMM 的平均準(zhǔn)確率達(dá)87.62%。Kawde 等［29］將原始的EEG、EMG、EOG 和GSR 信號直接輸入到DBN 中，根據(jù)數(shù)據(jù)分布提取高級特征，在DEAP 數(shù)據(jù)庫上，對價(jià)態(tài)和喚醒的識別準(zhǔn)確率分別為78.28%和70.33%。

（3）概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）。PNN 是一種基于貝葉斯策略的前饋神經(jīng)網(wǎng)絡(luò)。PNN 學(xué)習(xí)過程簡單、訓(xùn)練速度快、分類更準(zhǔn)確、容錯(cuò)性好等，使得分類更加準(zhǔn)確，對誤差和噪聲有較高的容忍度。Siao 等［30］利用PNN 和KNN 研究左腦損傷和右腦損傷對情緒識別的影響，發(fā)現(xiàn)RBD 在情緒識別方面存在更大的障礙。

（4）長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）。LSTM 可以處理RNN 的消失梯度問題，并且可以利用長期依賴序列和上下文信息。Salma 等［31］提出一種從原始腦電信號中識別情緒的深度學(xué)習(xí)方法，通過LSTM 從腦電信號中學(xué)習(xí)特征，然后由稠密層將這些特征分為低/高喚醒、價(jià)態(tài)和喜歡。在DEAP 數(shù)據(jù)集上對該方法進(jìn)行了驗(yàn)證，結(jié)果表明，喚醒類、價(jià)態(tài)類和喜歡類的平均準(zhǔn)確率分別為85.65%、85.45%和87.99%。

人工神經(jīng)網(wǎng)絡(luò)（ANN）是當(dāng)前備受青睞的計(jì)算智能技術(shù)之一。然而，傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)在人類情感分析等應(yīng)用中的性能并不理想。這就需要對神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，使其具有比傳統(tǒng)系統(tǒng)更好的性能。為了克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在計(jì)算復(fù)雜度和準(zhǔn)確性方面的不足，Zhong 等［32］利用深度學(xué)習(xí)方法提出一種基于多層融合層的層疊式自動編碼器（MESAE）集成分類器用于情緒識別，基于生理數(shù)據(jù)驅(qū)動的方法識別深層結(jié)構(gòu)。與現(xiàn)有最好的情感分類器相比，分類率和F 評分的平均值提高5.26%。Hemanth 等［33］提出循環(huán)反向傳播神經(jīng)網(wǎng)絡(luò)（CBPN）和深Kohonen 神經(jīng)網(wǎng)絡(luò)（DKNN）?；谝陨涎芯?，探討使用腦電圖（EEG）信號對人類不同情緒進(jìn)行分類時(shí)的表現(xiàn)。

3 情緒腦電信號數(shù)據(jù)集比較與分析

腦電信號情緒識別中各數(shù)據(jù)集比較如下：

（1）DEAP。2012 年，Koelstra 等［34］創(chuàng)建了一個(gè)多模態(tài)數(shù)據(jù)集用來分析人類的情感狀態(tài)。該數(shù)據(jù)集是目前公開的情緒腦電信號數(shù)據(jù)集中較為完善的數(shù)據(jù)集，共采集了32名受試者，每位受試者進(jìn)行40 次長度為1 分鐘的音樂視頻刺激，采集相應(yīng)的腦電圖（EEG）和外周生理信號，同時(shí)還記錄了其中22 人的正面面部視頻。受試者從視頻的熟悉程度、不喜歡程度、興趣程度進(jìn)行評分。

（2）NeuroMarketing［35］。該數(shù)據(jù)集是一個(gè)通過腦電信號分析神經(jīng)營銷的數(shù)據(jù)集，共采集了25 名受試者，受試者觀看14 種商業(yè)電子商務(wù)產(chǎn)品后作出喜歡與否的判斷。

（3）SEED［36-37］。該數(shù)據(jù)集擁有最多的腦電信號采集通道，對15 名受試者的62 個(gè)通道的腦電信號進(jìn)行采集。通過令受試者觀看每段約4 分鐘的蘊(yùn)含正/負(fù)/中性情緒的視頻，記錄相應(yīng)的腦電信號。該數(shù)據(jù)集用于情緒刺激的視頻時(shí)間長度較長，更有利于受試者的情緒表達(dá)。

（4）SEED-IV［38］。該數(shù)據(jù)集在腦電信號的基礎(chǔ)上，添加了眼球運(yùn)動。該數(shù)據(jù)集對每位受試者進(jìn)行了更多的實(shí)驗(yàn)次數(shù)，在不同的時(shí)間段對受試者進(jìn)行3 個(gè)階段采集，每個(gè)階段包含24 個(gè)試驗(yàn)共觀看72 個(gè)電影片段，并記錄相應(yīng)的腦電信號。使用62 通道ESI 神經(jīng)掃描系統(tǒng)和SMI 眼睛跟蹤眼鏡收集他（她）的EEG 信號和眼球運(yùn)動。

（5）HCI-Tagging。該數(shù)據(jù)集建立在對多媒體標(biāo)簽這一新領(lǐng)域的研究上，在腦電信號的基礎(chǔ)上，記錄音頻、視頻、凝視數(shù)據(jù)和生理數(shù)據(jù)，建立了一個(gè)在多媒體信息檢索中用戶對媒體內(nèi)容的情感反饋數(shù)據(jù)集，是目前腦電信號采集中數(shù)據(jù)類型最豐富的數(shù)據(jù)集。

（6）DREAMER［39］。建立了一個(gè)多模式數(shù)據(jù)集，該數(shù)據(jù)集由23 名參與者通過視聽刺激在情感激發(fā)過程中記錄的腦電圖（EEG）和心電圖（ECG）信號組成。同時(shí)，參與者在每次刺激后對他們的情感狀態(tài)進(jìn)行自我評估，包括配價(jià)、喚醒和支配力。

（7）MPED［40］。建立了一個(gè)多模態(tài)生理情感數(shù)據(jù)庫，該數(shù)據(jù)集中的情緒類型最豐富，通過28 個(gè)視頻作為誘導(dǎo)樣本刺激6 種不同情緒和中性情緒，收集了腦電圖（EEG）、皮膚電反應(yīng)、呼吸和心電圖（ECG）4 種生理信號。

這些數(shù)據(jù)集在樣本個(gè)數(shù)、數(shù)據(jù)類型等方面略有不同，具體如表1 所示。

Table 1 Comparison of emotional EEG data sets表1 情緒腦電信號各數(shù)據(jù)集比較

4 腦波數(shù)據(jù)增強(qiáng)

數(shù)據(jù)擴(kuò)充是通過轉(zhuǎn)換訓(xùn)練生成新樣本的過程數(shù)據(jù)，目的是提高分類器的準(zhǔn)確性和魯棒性［41］。隨著深度學(xué)習(xí)在情緒識別領(lǐng)域的發(fā)展，訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要更豐富、均衡的數(shù)據(jù)集。但現(xiàn)有數(shù)據(jù)集仍面臨著采集規(guī)模較小、數(shù)據(jù)量不足以及樣本不均衡的問題。因此，提出通過從少量原始訓(xùn)練數(shù)據(jù)中生成大量人工訓(xùn)練數(shù)據(jù)，并利用這些數(shù)據(jù)擴(kuò)充訓(xùn)練集以解決該問題。在語音識別、圖像處理等領(lǐng)域，這已被證明可以提高分類精度。Lotte 等［42］針對BCI 領(lǐng)域提出在時(shí)域、時(shí)頻域進(jìn)行信號分割和重組，使用類比方法生成大量人工訓(xùn)練數(shù)據(jù)，并利用這些數(shù)據(jù)擴(kuò)充訓(xùn)練集以解決該問題。在處理腦電信號時(shí)，Palazzo 等［43］在腦電圖儀（EEG）記錄的大腦信號基礎(chǔ)上利用生成對抗網(wǎng)絡(luò)（GAN）生成匹配特定對象類別或短文本描述的圖像。同時(shí)，由于生成對抗網(wǎng)絡(luò)產(chǎn)生的人工腦電圖數(shù)據(jù)是由單通道產(chǎn)生的，缺乏通道相關(guān)性。Wang 等［44］提出通過幾何變換和加噪（高斯，Poisson，Salt，Pepper 等）同時(shí)隨機(jī)加入一些局部噪聲（泊松噪聲、Salt 噪聲，或胡椒噪聲）的方法進(jìn)行數(shù)據(jù)擴(kuò)充，并在HCI 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，數(shù)據(jù)擴(kuò)充是解決該問題的有效方法。

5 結(jié)語

隨著人工智能的發(fā)展，腦機(jī)接口技術(shù)不斷進(jìn)步，通過腦電信號進(jìn)行情緒識別的需求日益凸顯，腦電情緒信號研究具有廣闊前景。情緒識別可從技術(shù)創(chuàng)新與應(yīng)用開發(fā)兩方面進(jìn)行探討。

在技術(shù)層面注重與情緒相關(guān)的特征識別，考慮更多的邊緣信息，也與其他生理信號相結(jié)合進(jìn)行情緒識別。同時(shí)，改進(jìn)深度學(xué)習(xí)模型，雖然當(dāng)前學(xué)習(xí)模型可以得到較高的識別結(jié)果，但在數(shù)據(jù)預(yù)訓(xùn)練過程中會產(chǎn)生大量參數(shù)，導(dǎo)致成本增加，且距離實(shí)時(shí)識別還有一定距離，應(yīng)在降低成本的同時(shí)進(jìn)一步提高準(zhǔn)確率。在數(shù)據(jù)增強(qiáng)方面，通過合理的技術(shù)手段對原始數(shù)據(jù)進(jìn)行人工合成以提高數(shù)據(jù)規(guī)模，從而達(dá)到更好的訓(xùn)練效果。

在應(yīng)用開發(fā)方面，與腦機(jī)接口技術(shù)進(jìn)一步結(jié)合，使設(shè)備輕便化，增加情緒識別的實(shí)用性，做到實(shí)時(shí)的情緒識別、情緒反饋。在心理學(xué)領(lǐng)域，將進(jìn)一步探索在傳統(tǒng)的微表情等情緒識別中加入生理信號的相互佐證。隨著腦科學(xué)的不斷發(fā)展和腦機(jī)融合技術(shù)的逐步完善，通過腦電信號對人們的情緒以及各項(xiàng)生理指標(biāo)進(jìn)行智能分析和判斷將成為現(xiàn)實(shí)。