金雨鑫 駱懿 于洋

摘 要：為了改善傳統(tǒng)腦電情緒識(shí)別方法需要對(duì)腦電信號(hào)進(jìn)行深入了解，且需要人工提取相關(guān)特征的缺點(diǎn)，基于深度森林的表征學(xué)習(xí)能力對(duì)腦電樣本的時(shí)域與頻域數(shù)據(jù)進(jìn)行自動(dòng)特征提取，并融合32通道腦電信號(hào)的時(shí)域特征向量和頻域特征向量，通過級(jí)聯(lián)森林對(duì)特征作進(jìn)一步學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)效價(jià)二分類預(yù)測(cè)的準(zhǔn)確率達(dá)到68.4%，查準(zhǔn)率達(dá)到66.3%，查全率達(dá)到89.9%，F(xiàn)1分?jǐn)?shù)達(dá)到76.3%;對(duì)喚醒度二分類預(yù)測(cè)的準(zhǔn)確率達(dá)到68.2%，查準(zhǔn)率達(dá)到65.8%，查全率達(dá)到91.2%，F(xiàn)1分?jǐn)?shù)達(dá)到76.4%。通過與DEAP數(shù)據(jù)集使用EEG信號(hào)給出的二分類實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，基于深度森林的腦電情緒識(shí)別方法對(duì)未知樣本的識(shí)別準(zhǔn)確率高于DEAP的結(jié)果。

關(guān)鍵詞：情緒識(shí)別;DEAP;腦電;深度森林

DOI：10. 11907/rjdk. 182720 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）007-0053-03

Research on EEG Emotion Recognition Based on Deep Forest

JIN Yu-xin， LUO Yi， YU Yang

（School of Communication Engineering，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：In order to improve the traditional EEG emotion recognition method， the EEG signals need to be deeply understood， and the shortcoming of relevant features need to be extracted manually.Based on the representation learning ability of deep forest， the time-domain data and frequency-domain data of EEG samples were automatically extracted. Then，the time-domain feature vectors and frequency-domain feature vectors of 32-channel EEG signals were integrated. The features were further learned through the cascade forest.Experimental results show that the binary classification accuracy rate of valence is 68.4%， the precision rate is 66.3%， the recall rate is 89.9% and the F1 score is 76.3%. The binary classification accuracy rate of arousal reached 68.2%， the precision rate reached 65.8%， the recall rate reached 91.2%， and the F1 score reached 76.4%. EEG recognition based on deep forest can not only extract features automatically， but also identify unknown samples more accurately than the results in DEAP paper.

Key Words： emotion recognition; DEAP; EEG; deep forest

作者簡(jiǎn)介：金雨鑫 （1994-），男，杭州電子科技大學(xué)通信工程學(xué)院碩士研究生，研究方向?yàn)榍楦杏?jì)算、情緒識(shí)別;駱懿（1976-），男，杭州電子科技大學(xué)通信工程學(xué)院高級(jí)實(shí)驗(yàn)師，研究方向?yàn)榍度胧较到y(tǒng)、模式識(shí)別;于洋 （1995-），男，杭州電子科技大學(xué)通信工程學(xué)院碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別、計(jì)算機(jī)視覺。本文通訊作者：駱懿。

0 引言

情緒是集人們心理和生理作用于一體的復(fù)雜表現(xiàn)，早在1884年，心理學(xué)之父James第一次提出了情緒概念。自情感計(jì)算[1]提出以來(lái)，學(xué)者們致力于對(duì)情緒進(jìn)行數(shù)學(xué)化處理，從而使計(jì)算機(jī)能夠識(shí)別與處理，為人機(jī)交互提供更加可靠的信號(hào)輸入。在該研究領(lǐng)域，通常使用生理信號(hào)提取有用特征，并應(yīng)用統(tǒng)計(jì)機(jī)器學(xué)習(xí)領(lǐng)域相關(guān)技術(shù)識(shí)別情緒結(jié)果。

腦電信號(hào)是大腦皮層錐體細(xì)胞及垂直樹突共同作用產(chǎn)生的電位總和，其包含了大量人體生理、心理的有效信息[2]。因此，測(cè)量與分析腦電信息能更加有效地認(rèn)識(shí)人體生理及心理狀態(tài)。Verma等[3]提取了EEG信號(hào)alpha、beta、gamma和theta 4個(gè)頻率帶的相對(duì)能量、對(duì)數(shù)相對(duì)能量、對(duì)數(shù)絕對(duì)值相對(duì)能量、標(biāo)準(zhǔn)差及譜熵特征，并采用SVM、MLP、KNN等算法對(duì)情緒進(jìn)行分類;Sepideh等[4]使用AR模型對(duì)EEG信號(hào)進(jìn)行建模，然后提取相關(guān)特征，并使用KNN算法對(duì)情緒進(jìn)行分類;Xu等[5]采用短時(shí)傅里葉變換計(jì)算功率譜，以及theta、alpha、lower beta、upper beta和gamma頻帶相關(guān)特征，并利用深度信念網(wǎng)絡(luò)對(duì)情緒進(jìn)行分類;Jenke等[6]使用EEG提取統(tǒng)計(jì)特征、Hjorth特征、分形維數(shù)、高階譜特征、希爾伯特—黃譜特征、離散小波時(shí)頻譜特征及微分幾何特征等，并利用Relief進(jìn)行特征選擇;Zhang等[7]采用經(jīng)驗(yàn)?zāi)B(tài)分解方法，并提取固有模態(tài)函數(shù)的樣本熵作為特征;Al等[8]使用離散小波變換提取多個(gè)通帶的小波熵，統(tǒng)計(jì)特征并使用SVM進(jìn)行分類;陳明[9-10]將腦電信號(hào)劃分為4s一組，使用巴特沃茲濾波器將信號(hào)分解為多個(gè)頻帶，提取其中的信號(hào)功率作為特征，并采用RelifF算法進(jìn)行通道選擇;成敏敏[11]利用遷移學(xué)習(xí)方法對(duì)腦電情緒特征提取與分類進(jìn)行研究;趙國(guó)朕[12]綜述了國(guó)內(nèi)外基于生理大數(shù)據(jù)的情緒識(shí)別發(fā)展現(xiàn)狀，并推薦學(xué)者使用公開發(fā)表的DEAP數(shù)據(jù)集進(jìn)行研究;蔣靜芳[13]綜述了基于腦電的情緒識(shí)別研究，對(duì)腦電特征提取方法進(jìn)行了詳細(xì)介紹。縱觀國(guó)內(nèi)外學(xué)者的已有研究，其大多采用傳統(tǒng)特征工程提取方法，需要研究者對(duì)EEG信號(hào)有很深入的了解。近年來(lái)隨著深度學(xué)習(xí)算法的發(fā)展，由于其具有獨(dú)特的表征學(xué)習(xí)能力，使對(duì)EEG信號(hào)分析的門檻大大降低。

針對(duì)目前EEG信號(hào)情緒識(shí)別研究大多采用傳統(tǒng)機(jī)器學(xué)習(xí)方法，人工提取相關(guān)特征向量的現(xiàn)狀，本文主要研究?jī)?nèi)容如下：采用公開發(fā)表且目前數(shù)據(jù)量最大的情緒分析生理信號(hào)數(shù)據(jù)集DEAP[14]，使用該標(biāo)準(zhǔn)數(shù)據(jù)集的32路腦電EEG數(shù)據(jù)，應(yīng)用深度森林對(duì)時(shí)域與頻域數(shù)據(jù)進(jìn)行多粒度特征掃描，自動(dòng)提取特征向量，并融合32路EEG信號(hào)時(shí)域特征向量和32路EEG信號(hào)頻域特征向量，給出對(duì)未知數(shù)據(jù)的預(yù)測(cè)。

1 數(shù)據(jù)選取及預(yù)處理

基于生理信號(hào)的情緒識(shí)別公開數(shù)據(jù)集主要有奧格斯堡大學(xué)數(shù)據(jù)集[15]、DEAP數(shù)據(jù)集[14]等。DEAP數(shù)據(jù)集是目前數(shù)據(jù)樣本最大、生理信號(hào)種類及數(shù)量最多的數(shù)據(jù)集，因此本實(shí)驗(yàn)采用DEAP數(shù)據(jù)集32通道腦電數(shù)據(jù)作為數(shù)據(jù)樣本。DEAP數(shù)據(jù)集主要屬性如表1所示。

表1 DEAP數(shù)據(jù)集屬性簡(jiǎn)介

DEAP數(shù)據(jù)集采用SAM（Self-Assessment Manikins）表給每一次情緒觸發(fā)實(shí)驗(yàn)標(biāo)注4個(gè)維度的標(biāo)簽值（Valence，Arousal，Liking，Dominance）。常見情緒模型是以Russell[16]為代表的維度模型，也是以愉悅度—喚醒度組成的二維空間模型，愉悅度又稱為效價(jià)[17]。圖1為愉悅度和喚醒度二維模型與某些情緒的對(duì)應(yīng)關(guān)系，圖2為全部1 280個(gè)數(shù)據(jù)樣本在效價(jià)和喚醒度平面上的分布。研究中采用與DEAP數(shù)據(jù)集相同的二分類劃分方法，即以效價(jià)和喚醒度評(píng)分的中值5進(jìn)行劃分。

圖1 情緒效價(jià)-喚醒度模型

圖2 1 280個(gè)數(shù)據(jù)樣本分布

2 深度森林識(shí)別算法

深度森林（Deep Forest）[18]是一種基于多粒度掃描（Multi-Grained Scanning）與級(jí)聯(lián)森林結(jié)構(gòu)（Cascade Forest）的深度學(xué)習(xí)模型[19]。深度森林不僅具有與卷積神經(jīng)網(wǎng)絡(luò)相似的表征學(xué)習(xí)（Representation Learning）能力及端到端學(xué)習(xí)能力，且后續(xù)使用級(jí)聯(lián)森林對(duì)表征學(xué)習(xí)所學(xué)習(xí)的特征向量作進(jìn)一步加工處理。深度森林相比于普通卷積神經(jīng)網(wǎng)絡(luò)更加容易訓(xùn)練，沒有過多的超參數(shù)，能夠自動(dòng)學(xué)習(xí)特征，而且還能自動(dòng)確定級(jí)聯(lián)森林的層數(shù)。在泛化性能方面與卷積神經(jīng)網(wǎng)絡(luò)相近，且在特定領(lǐng)域的數(shù)據(jù)集上具有更優(yōu)異的表現(xiàn)。

2.1 多粒度掃描

通常對(duì)腦電信號(hào)采用傳統(tǒng)機(jī)器學(xué)習(xí)工具進(jìn)行分類時(shí)，需要使用人工特征工程進(jìn)行預(yù)處理，而分類效果很大程度上取決于特征質(zhì)量。傳統(tǒng)機(jī)器學(xué)習(xí)模型需要強(qiáng)有力的特征，使學(xué)者們不得不在特征工程方面花費(fèi)大量時(shí)間。深度森林使用可變的滑動(dòng)窗口，根據(jù)預(yù)先設(shè)定的步長(zhǎng)，在腦電數(shù)據(jù)上通過滑窗提取原始特征向量。將原始特征向量送入第一級(jí)級(jí)聯(lián)森林并給出每一個(gè)樣本預(yù)測(cè)結(jié)果，將所有預(yù)測(cè)向量拼接形成下一級(jí)級(jí)聯(lián)森林的輸入。圖3展示了深度森林對(duì)8 064個(gè)點(diǎn)的生理時(shí)域信號(hào)進(jìn)行多粒度掃描、提取原始特征向量的過程。

圖3 多粒度掃描一個(gè)樣本EEG信號(hào)

EEG信號(hào)頻域特征往往具有時(shí)域特征無(wú)法表達(dá)的重要信息，頻域分析是EEG信號(hào)分析領(lǐng)域不可或缺的重要工具。通常對(duì)時(shí)域信號(hào)采用傅里葉變換，將其變換成頻域信息。使用離散傅里葉（DFT）變換將8 064點(diǎn)時(shí)域信號(hào)變換為頻域，并利用多粒度掃描對(duì)頻域幅度譜進(jìn)行特征提取。8 064點(diǎn)DFT公式定義如下：

[DFT8064[x（n）]=n=08064-1x（n）e-j2πnk/8064，（k=0，1，？，8064-1）] （1）

2.2 多通道信號(hào)向量融合

多粒度掃描可以提取序列數(shù)據(jù)的抽象特征，并用于后續(xù)級(jí)聯(lián)森林對(duì)特征向量的進(jìn)一步處理。不同通道的腦電信號(hào)采用AgCl電極采集，代表了大腦不同位置的生理活動(dòng)強(qiáng)弱，比如Coan等[20]研究發(fā)現(xiàn)具有積極作用的情緒通常與大腦左部額葉有關(guān)，而消極情緒則與大腦右部額葉有關(guān)。因此，需要融合32個(gè)不同位置的EEG信號(hào)，通過信號(hào)整體對(duì)情緒結(jié)果作出預(yù)測(cè)。多通道信號(hào)向量融合步驟如圖4所示，提取32通道EEG信號(hào)時(shí)域特征向量和頻域特征向量融合成高維特征向量并送入級(jí)聯(lián)森林。

圖4 多通道信號(hào)向量融合過程

2.3 級(jí)聯(lián)森林

級(jí)聯(lián)森林輸入為多通道信號(hào)融合之后的向量。級(jí)聯(lián)森林采用與深層神經(jīng)網(wǎng)絡(luò)類似的層級(jí)堆疊結(jié)構(gòu)，從淺層輸入數(shù)據(jù)，數(shù)據(jù)結(jié)果作為更深一層的輸入，并且每一層都拼接原始輸入向量。不同于深層神經(jīng)網(wǎng)絡(luò)采用的神經(jīng)元結(jié)構(gòu)，深度森林的神經(jīng)元是決策樹，在此之上組合成隨機(jī)森林。如圖5所示，每層包含兩種隨機(jī)森林，分別為完全隨機(jī)森林和普通隨機(jī)森林。每一層級(jí)聯(lián)森林將多粒度掃描輸出的向量與當(dāng)前層所有森林預(yù)測(cè)輸出的向量組合形成下一層輸入。由于隨機(jī)森林引入了屬性擾動(dòng)和樣本擾動(dòng)，增加了各個(gè)基模型之間的差異性和多樣性，使得集成之后的學(xué)習(xí)效果魯棒性更強(qiáng)。由于級(jí)聯(lián)森林對(duì)森林個(gè)數(shù)等超參數(shù)不是特別敏感，在研究中每一級(jí)采用2片隨機(jī)森林與2片完全隨機(jī)森林進(jìn)行組合，每片森林擁有101棵決策樹，級(jí)聯(lián)森林的深度由算法交叉驗(yàn)證，確定預(yù)測(cè)精度沒有提升或提升不大時(shí)則森林停止生長(zhǎng)。圖5展示了級(jí)聯(lián)森林對(duì)多通道信號(hào)融合之后向量的訓(xùn)練過程。

圖5 級(jí)聯(lián)森林對(duì)多通道信號(hào)融合之后的向量訓(xùn)練過程

3 實(shí)驗(yàn)與結(jié)果分析

在樣本劃分上，為檢驗(yàn)?zāi)Ｐ蛯?duì)未知EEG信號(hào)的泛化能力，通過分層采樣劃分70%的樣本作為訓(xùn)練集，30%的樣本作為未知測(cè)試集。采用準(zhǔn)確率（Accuracy）、查準(zhǔn)率（Precision）、查全率（Recall）、F1分?jǐn)?shù) （F1-score）衡量模型效果，并與DEAP數(shù)據(jù)集使用EEG信號(hào)給出的二分類實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表2所示，相比于DEAP數(shù)據(jù)集，由深度森林學(xué)習(xí)給出的效價(jià)二分類準(zhǔn)確率提高了10.8%，F(xiàn)1分?jǐn)?shù)提高了20.0%，喚醒度二分類準(zhǔn)確率提高了6.2%，F(xiàn)1分?jǐn)?shù)提高了18.1%。

表2 實(shí)驗(yàn)結(jié)果與DEAP數(shù)據(jù)集結(jié)果對(duì)比

4 結(jié)語(yǔ)

本文使用深度森林算法對(duì)DEAP數(shù)據(jù)集32路腦電數(shù)據(jù)進(jìn)行多粒度掃描，并融合32通道掃描結(jié)果形成多維向量。實(shí)驗(yàn)結(jié)果表明，基于深度森林的表征學(xué)習(xí)能力可對(duì)腦電數(shù)據(jù)實(shí)現(xiàn)有效的自動(dòng)特征提取，且二分類精確度高于使用人工特征工程提取的算法。雖然深度森林自動(dòng)學(xué)習(xí)特征并未在預(yù)測(cè)精度上超過專家學(xué)者精心設(shè)計(jì)的人工特征，但在一定程度上降低了分析EEG信號(hào)所需的專業(yè)知識(shí)門檻。

參考文獻(xiàn)：

[1] PICARD R W. Affective computing[M]. Massachusetts：MIT Press， 1997.

[2] 李穎潔. 腦電信號(hào)分析方法及其應(yīng)用[M]. 北京：科學(xué)出版社，2009.

[3] VERMA G K，TIWARY U S. Multimodal fusion framework： a multiresolution approach for emotion classification and recognition from physiological signals.[J]. Neuroimage， 2014， 102：162-172.

[4] SEPIDEH H，KEIVAN M，MOTIE N A. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals[J]. Journal of Medical Signals & Sensors， 2014， 4（3）：194-201.

[5] XU H， PLATANIOTIS K N. Affective states classification using EEG and semi-supervised deep learning approaches[C].IEEE， International Workshop on Multimedia Signal Processing， 2017：1-6.

[6] JENKE R，PEER A，BUSS M. Feature extraction and selection for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing， 2017， 5（3）：327-339.

[7] ZHANG Y， JI X， ZHANG S. An approach to EEG-based emotion recognition using combined feature extraction method[J]. Neuroscience Letters， 2016， 633：152-157.

[8] ALI M， MOSA A H， MACHOT F A， et al. EEG-based emotion recognition approach for e-healthcare applications[C].ACM Symposium on Applied Computing. ACM， 2016：162-164.

[9] 陳明. 基于腦電信號(hào)的情緒識(shí)別[D]. 杭州：杭州電子科技大學(xué)，2017.

[10] ZHANG J，CHEN M，HU S，et al. PNN for EEG-based emotion recognition[C].IEEE International Conference on Systems， Man， and Cybernetics， 2017：002319-002323.

[11] 成敏敏. 基于EEG的情緒信息特征及其分類方法研究[D]. ？南京：東南大學(xué)，2017.

[12] 趙國(guó)朕，宋金晶，葛燕，等. 基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展[J]. 計(jì)算機(jī)研究與發(fā)展，2016，53（1）：80-92.

[13] 蔣靜芳，曾穎，林志敏，等. 基于腦電信號(hào)的情緒評(píng)估研究綜述[J]. 信息工程大學(xué)學(xué)報(bào)，2016，17（6）：686-693.

[14] KOELSTRA S，MUHL C，SOLEYMANI M，et al. DEAP： a database for emotion analysis using physiological signals[J]. IEEE Transactions on Affective Computing， 2012， 3（1）：18-31.

[15] WAGNER J，KIM N J，ANDRE E. From physiological signals to emotions： implementing and comparing selected methods for feature extraction and classification[C]. IEEE International Conference on Multimedia and Expo. IEEE， 2005：940-943.

[16] RUSSELL J A. A circumplex model of affect [J]. Journal of Personality & Social Psychology， 1980， 39（6）：1161-1178.

[17] 鄒吉林，張小聰，張環(huán)，等. 超越效價(jià)和喚醒——情緒的動(dòng)機(jī)維度模型述評(píng)[J]. 心理科學(xué)進(jìn)展，2011，19（9）：1339-1346.

[18] ZHOU Z H，F(xiàn)ENG J. Deep forest： towards an alternative to deep neural networks[C]. IJCAI，2017.

[19] 孫志軍，薛磊， 許陽(yáng)明， 等. 深度學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[20] COAN J A，ALLEN J J B，HARMON-JONES E. Voluntary facial expression and hemispheric asymmetry over the frontal cortex[J]. Psychophysiology， 2010， 38（6）：912-925.

（責(zé)任編輯：黃 ?。?/p>