杜秀麗 郭慶汝 邱少明 呂亞娜

(大連大學(xué)通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室 遼寧 大連 116622)

0 引 言

人類(lèi)的情感既包含人類(lèi)對(duì)外部世界或自身刺激產(chǎn)生的心理反應(yīng)，同時(shí)也包含這些心理反應(yīng)帶來(lái)的生理反應(yīng)[1]。它是一種綜合了人的思維、感覺(jué)、行為的狀態(tài)[2]。對(duì)情感進(jìn)行識(shí)別有助于探尋精神疾病、心理障礙產(chǎn)生機(jī)理與發(fā)作規(guī)律，幫助醫(yī)生做出最有針對(duì)性的治療方案。在人機(jī)交互系統(tǒng)中，如果能夠準(zhǔn)確并且快速地識(shí)別體驗(yàn)者的情感變化，智能設(shè)備可以以此為依據(jù)進(jìn)行調(diào)整，使交互過(guò)程更加智能和友好[3]。因此，對(duì)情感進(jìn)行分析和評(píng)估已經(jīng)成為心理學(xué)、神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)和人工智能等領(lǐng)域的一項(xiàng)重要的交叉學(xué)科研究課題。

腦電信號(hào)(Electroencephalogram,EEG)因具有不可偽裝性、實(shí)時(shí)差異性和容易采集等優(yōu)點(diǎn)逐步成為研究情感識(shí)別的生理依據(jù)。EEG信號(hào)是一種復(fù)雜的、時(shí)變的非線性信號(hào)，在利用傳統(tǒng)的一維線性分析方法分析腦電信號(hào)過(guò)程中會(huì)不可避免地丟失非線性隱匿特證。當(dāng)前，腦電信號(hào)的非線性分析方式主要有Lyapunov指數(shù)、近似熵[4]、遞歸圖[5-6](Recurrence Plot,RP)和在遞歸圖理論基礎(chǔ)上的遞歸定量分析[7](Recurrence Quantification Analysis,RQA)等。Ouyang等[6]利用RQA分析大鼠癲癇發(fā)作各個(gè)階段EEG信號(hào)的確定性特性。Yang[8]對(duì)心電信號(hào)進(jìn)行小波分解，并對(duì)產(chǎn)生的各層分量進(jìn)行遞歸量化分析實(shí)現(xiàn)對(duì)心肌梗塞疾病的分類(lèi)識(shí)別，平均敏感性為96.5%，平均特異性為75%。李世丹等[9]采用排序遞歸圖和遞歸量化分析方法，對(duì)不同刺激下各導(dǎo)聯(lián)的腦電數(shù)據(jù)進(jìn)行特征提取，可以有效地分析不同狀態(tài)下視覺(jué)、聽(tīng)覺(jué)的整合效應(yīng)，得到較高的準(zhǔn)確率。Goshvarpour等[1]利用遞歸定量分析的方法評(píng)估情感視覺(jué)刺激期間大腦的狀態(tài)，通過(guò)分析EEG信號(hào)在遞歸圖中的遞歸率、確定性、對(duì)角線結(jié)構(gòu)長(zhǎng)度等特征來(lái)捕捉不同情感狀態(tài)間的差異。Heunis等[10]選取17個(gè)導(dǎo)聯(lián)的腦電數(shù)據(jù)，經(jīng)過(guò)相空間重構(gòu)，對(duì)生成的RP進(jìn)行遞歸定量分析選取10個(gè)特征參數(shù)結(jié)合支持向量機(jī)識(shí)別有患自閉癥風(fēng)險(xiǎn)的兒童，準(zhǔn)確率達(dá)到92.86%，靈敏度為100%，特異性為85.71%。遞歸圖幾乎不會(huì)受到信號(hào)長(zhǎng)度的影響，并且對(duì)信號(hào)的穩(wěn)定性要求也比較低。將非線性動(dòng)力系統(tǒng)的行為直觀可視化，是分析時(shí)間序列非平穩(wěn)性、混沌性的一種重要手段。傳統(tǒng)的遞歸圖分析方法都是引入遞歸定量分析方法進(jìn)行定量分析(即選擇遞歸率、確定率、遞歸熵、分層度等)，使得特征選擇比較繁瑣，這也是當(dāng)前遞歸圖應(yīng)用所面臨的挑戰(zhàn)。

當(dāng)前腦電信號(hào)情感識(shí)別研究中存在如下問(wèn)題：傳統(tǒng)機(jī)器學(xué)習(xí)方法大都需要對(duì)不同的數(shù)據(jù)進(jìn)行相應(yīng)的特征提取和后續(xù)的結(jié)合數(shù)據(jù)特點(diǎn)進(jìn)行特征選擇，這往往會(huì)因手動(dòng)設(shè)計(jì)特征不當(dāng)而無(wú)法捕捉到輸入信息中能夠反映情緒變化的特征，進(jìn)而導(dǎo)致情感分類(lèi)準(zhǔn)確率下降；利用淺層神經(jīng)網(wǎng)絡(luò)分類(lèi)器對(duì)大數(shù)據(jù)進(jìn)行訓(xùn)練，效率不高，非線性擬合能力較低。深度學(xué)習(xí)可以消除當(dāng)前在情感識(shí)別建模過(guò)程中特征提取和特征選擇的局限性，特別是近年來(lái)，得益于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)的蓬勃發(fā)展，深度學(xué)習(xí)在圖像處理[11]、音頻處理[12]、文本識(shí)別[13]領(lǐng)域應(yīng)用十分廣泛。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)從圖像的像素特征中逐漸組合線條、邊、角、簡(jiǎn)單形狀、復(fù)雜形狀等更有效的復(fù)雜特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，實(shí)現(xiàn)特征的自動(dòng)提取。相比于傳統(tǒng)人工提取的特征，這些自動(dòng)提取的特征在眾多研究中被證實(shí)更具有表征力，可以獲得更優(yōu)異的分類(lèi)識(shí)別效果。

本文提出基于無(wú)閾值遞歸圖[14](Thresholdless Recurrence Plot,TRP)和深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)相結(jié)合的腦電信號(hào)情感識(shí)別方法。該方法在相空間重構(gòu)與遞歸圖理論相結(jié)合的基礎(chǔ)上將情感腦電信號(hào)轉(zhuǎn)換為相應(yīng)的無(wú)閾值遞歸圖，從而將情感腦電信號(hào)非線性特征映射到二維平面，作為深度殘差網(wǎng)絡(luò)的輸入，進(jìn)行腦電信號(hào)特征自動(dòng)提取、學(xué)習(xí)、分類(lèi)，以提高EEG信號(hào)情感識(shí)別的準(zhǔn)確率。

1 相關(guān)概念

1.1 相空間重構(gòu)

相空間重構(gòu)是遞歸圖方法的必要步驟，此步驟的好壞直接影響到遞歸圖的質(zhì)量。相空間重構(gòu)的關(guān)鍵是構(gòu)造一個(gè)非線性時(shí)間序列的嵌入，選擇合適的延遲時(shí)間和嵌入維數(shù)[15]。給定某非線性時(shí)間序列為x(n),n=1,2,…,N；相空間重構(gòu)后得到m維的相空間向量：

X(n)=(x(n),x(n+τ),…,x(n+(m-1)τ))

(1)

式中：n=1,2,…,N-(m-1)τ;m為嵌入維數(shù);τ為延遲時(shí)間。

結(jié)合目前現(xiàn)有的研究，確定嵌入維數(shù)m常用的方法有假近鄰算法(False Nearest Neighbor,FNN)[16]、Cao分析法、C-C算法[17]；確定時(shí)間延遲τ常用的方法有自相關(guān)分析法、平均位移分析法、互信息分析法[18]。以上方法各有優(yōu)缺點(diǎn)，需要根據(jù)實(shí)際情況選擇。

1.2 遞歸圖

遞歸圖的核心思想就是將高維運(yùn)動(dòng)狀態(tài)的軌跡映射到二維平面上，來(lái)實(shí)現(xiàn)可以直接表征其動(dòng)力學(xué)行為的目的，將系統(tǒng)動(dòng)力學(xué)特征可視化。RP算法如下所示。

時(shí)間序列經(jīng)過(guò)相空間重構(gòu)后得到向量集合{X(n)}，兩個(gè)時(shí)刻X(i)與X(j)之間的距離為rij，則遞歸圖定義如下：

Rij=Θ(ε-rij)i,j=1,2,…,N-(m-1)τ

(2)

式中：rij=‖X(i)-X(j)‖;ε為距離閾值;Θ(·)為Heavside函數(shù)即：

(3)

遞歸圖可以表示為：

(4)

如圖1所示，根據(jù)兩個(gè)時(shí)刻的遞歸狀態(tài)，分別由i、j表示橫、縱坐標(biāo)，可以得到一個(gè)由0和1組成的二值遞歸矩陣Rij。將遞歸矩陣中的0用白點(diǎn)表示，代表i和j時(shí)刻的狀態(tài)明顯不同，1用黑點(diǎn)表示，代表i和j時(shí)刻的狀態(tài)相似，從而將遞歸矩陣轉(zhuǎn)換成一個(gè)黑白遞歸圖，即為非線性時(shí)間序列x(n)的遞歸圖。

圖1 遞歸圖構(gòu)造示意圖

1.3 深度殘差網(wǎng)絡(luò)

CNN是一種非常高效的深層前饋神經(jīng)網(wǎng)絡(luò)，誕生的主要目標(biāo)是識(shí)別二維圖像，其網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或其他形式的變形具有高度不變性。典型的CNN結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層，以及輸出層組成。

對(duì)于深度神經(jīng)網(wǎng)絡(luò)，普遍認(rèn)為加深網(wǎng)絡(luò)層次是增強(qiáng)非線性擬合能力、提高模型識(shí)別準(zhǔn)確率的有效手段。因?yàn)榫W(wǎng)絡(luò)層數(shù)與神經(jīng)元數(shù)量越多，就意味著可以挖掘到不同層的特征越豐富，提取到的特征就越抽象，越具有語(yǔ)義信息。但是這也同時(shí)出現(xiàn)了一個(gè)嚴(yán)峻的問(wèn)題，隨著網(wǎng)絡(luò)層次的增加，會(huì)時(shí)常伴隨著梯度消失和梯度爆炸的現(xiàn)象。為了解決深度卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)層數(shù)加深而引發(fā)的退化現(xiàn)象，He等[19]提出了深度殘差網(wǎng)絡(luò)的模型結(jié)構(gòu)。ResNet與以往的網(wǎng)絡(luò)模型最大的不同就是引入了殘差塊[20]，其核心思想是通過(guò)多層網(wǎng)絡(luò)來(lái)達(dá)到擬合一個(gè)殘差映射的目的，而不是簡(jiǎn)單地利用網(wǎng)絡(luò)層來(lái)擬合所期望的恒等映射。如圖2所示,H(x)是期望得到的隱匿映射關(guān)系，x用來(lái)表示前一網(wǎng)絡(luò)的輸出。通過(guò)多個(gè)連續(xù)堆疊的非線性計(jì)算層來(lái)擬合輸入數(shù)據(jù)與映射后的輸出數(shù)據(jù)之間的殘差F(x)=H(x)-x，殘差越是逼近于零，表示網(wǎng)絡(luò)挖掘的特征與原始輸入越相近。

圖2 殘差學(xué)習(xí)：堆疊模塊

將殘差模塊按照一定的規(guī)則進(jìn)行堆疊構(gòu)成的深度殘差網(wǎng)絡(luò)解決了深層網(wǎng)絡(luò)面臨的收斂難、調(diào)優(yōu)難等問(wèn)題，克服了傳統(tǒng)卷積網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的退化問(wèn)題。

2 方法設(shè)計(jì)

本文提出的腦電信號(hào)情感識(shí)別方法原理框圖如圖3所示，對(duì)EEG預(yù)處理后進(jìn)行相空間重構(gòu)，轉(zhuǎn)換為無(wú)閾值遞歸圖，然后將生成的二維無(wú)閾值遞歸圖作為深度殘差網(wǎng)絡(luò)的輸入進(jìn)行自動(dòng)特征提取、學(xué)習(xí)，建立EEG情感分類(lèi)模型。為了提高情感識(shí)別的性能，本文在單導(dǎo)聯(lián)識(shí)別的基礎(chǔ)上，進(jìn)行多導(dǎo)聯(lián)聯(lián)合識(shí)別。

圖3 本文方法原理框圖

2.1 腦電信號(hào)的無(wú)閾值遞歸圖

首先對(duì)EEG分別利用互信息分析法與假近鄰算法確定對(duì)應(yīng)的延遲時(shí)間與嵌入維數(shù)，參數(shù)如表1所示，進(jìn)行相空間重構(gòu)。為了盡可能保留腦電信號(hào)中的非線性特征，也考慮到卷積神經(jīng)網(wǎng)絡(luò)可以模擬人類(lèi)神經(jīng)元結(jié)構(gòu)逐層實(shí)現(xiàn)信息傳遞，具有強(qiáng)大的特征自動(dòng)提取能力，增強(qiáng)模型的自適應(yīng)性，將EEG信號(hào)轉(zhuǎn)換為相應(yīng)的無(wú)閾值遞歸圖，以此作為網(wǎng)絡(luò)的輸入。

表1 各個(gè)導(dǎo)聯(lián)時(shí)間延遲與嵌入維數(shù)

圖4是三類(lèi)EEG信號(hào)波形和所對(duì)應(yīng)的遞歸圖、無(wú)閾值遞歸圖，觀察RP可以發(fā)現(xiàn)：三種情感狀態(tài)下的EEG遞歸狀態(tài)的點(diǎn)主要集中在少數(shù)區(qū)域，使得RP中某些區(qū)域出現(xiàn)了空白區(qū)域，此現(xiàn)象與正弦信號(hào)的RP相類(lèi)似。

圖4 三種情感腦電所對(duì)應(yīng)的遞歸圖、無(wú)閾值遞歸圖

對(duì)比遞歸圖與無(wú)閾值遞歸圖可以發(fā)現(xiàn)，雖然遞歸圖可以直觀地表達(dá)EEG信號(hào)遞歸特性，但相較于無(wú)閾值遞歸圖丟失了較多的肉眼無(wú)法識(shí)別的隱匿信息；無(wú)閾值遞歸圖包含了更多豐富的非線性動(dòng)力學(xué)特征，保留了較多抽象的高層表示屬性特征，這種特性正好與CNN的優(yōu)越特性形成完美的契合。仔細(xì)觀察可以發(fā)現(xiàn)，無(wú)閾值遞歸圖關(guān)于45°對(duì)角線對(duì)稱(chēng)，沒(méi)有明顯的周期現(xiàn)象，與腦電波形相符合，可以充分反映出EEG信號(hào)各個(gè)時(shí)刻波峰與波谷之間的起伏走勢(shì)。

2.2 深度殘差網(wǎng)絡(luò)設(shè)計(jì)

腦電信號(hào)經(jīng)過(guò)相空間重構(gòu)、無(wú)閾值遞歸圖表示后轉(zhuǎn)化為1 500×1 500×1大小的矩陣、通過(guò)偽彩色處理變成224×224×3的特征圖，以此作為深度殘差網(wǎng)絡(luò)的輸入。表2為設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，圖5為結(jié)構(gòu)圖，原始的ResNet18是為了1 000個(gè)分類(lèi)類(lèi)別設(shè)計(jì)的，本文只針對(duì)EEG情感狀態(tài)的三分類(lèi)，所以網(wǎng)絡(luò)最后通過(guò)Softmax函數(shù)得到三種情感識(shí)別結(jié)果。

表2 ResNet18超參數(shù)

圖5 本文設(shè)計(jì)的ResNet18結(jié)構(gòu)圖

圖4中的三種情感狀態(tài)所對(duì)應(yīng)的無(wú)閾值遞歸圖經(jīng)過(guò)各個(gè)網(wǎng)絡(luò)層自動(dòng)提取后得到的部分特征圖如圖6所示。不同卷積核提取不同的特征，(a)、(b)、(c)是無(wú)閾值遞歸圖經(jīng)過(guò)conv1處理后，提取的主要初級(jí)紋理特征，有效保留了圖像整體輪廓，(d)、(e)、(f)是特征圖經(jīng)過(guò)conv7處理后輸出的特征圖。通過(guò)對(duì)比可以清楚地發(fā)現(xiàn)conv7輸出特征圖比conv1輸出特征圖可以反映出更多的紋理細(xì)節(jié)信息，是對(duì)原始圖像細(xì)節(jié)特征與更高級(jí)特征的提取，幾乎無(wú)法用肉眼清晰識(shí)別，充分挖掘了無(wú)閾值遞歸圖的隱匿特征，使不同情感狀態(tài)下腦電無(wú)閾值遞歸圖有了更好的可分性。所以，可以通過(guò)合理的卷積層的設(shè)置與堆疊獲得不同層級(jí)紋理信息。另外卷積核處理得越多，挖掘的無(wú)閾值遞歸圖的紋理信息就愈發(fā)全面，更好地表現(xiàn)出情感腦電信號(hào)的非線性動(dòng)力學(xué)特征。

圖6 三種無(wú)閾值遞歸圖經(jīng)不同卷積的特征提取結(jié)果

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的硬件設(shè)備為 Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。軟件環(huán)境采用MATLAB 2014a和PyCharm 2019，同時(shí)借助Keras框架實(shí)現(xiàn)改進(jìn)的ResNet18網(wǎng)絡(luò)，采用自適應(yīng)動(dòng)量估計(jì)(Adaptive Moment Estimation，Adam)優(yōu)化算法，分別設(shè)置參數(shù)為：循環(huán)迭代次數(shù)100次，初始化學(xué)習(xí)率為0.001。

3.2 數(shù)據(jù)來(lái)源

EEG信號(hào)采集流程如圖7所示，本文采用國(guó)際公認(rèn)的人類(lèi)腦電情感數(shù)據(jù)集SEED作為實(shí)驗(yàn)數(shù)據(jù)[2]。該數(shù)據(jù)集使用電影片段作為情感誘發(fā)素材，情感狀態(tài)分為三類(lèi)：積極，消極，平靜。

圖7 視聽(tīng)情感腦電信號(hào)采集實(shí)驗(yàn)

對(duì)EEG信號(hào)數(shù)據(jù)預(yù)處理，選擇與情感腦電有關(guān)的前額區(qū)(Fp1、Fp2)、額區(qū)(F3、F4)通道數(shù)據(jù)做相關(guān)分析(實(shí)驗(yàn)中每部電影EEG采樣時(shí)長(zhǎng)為4 min，截取信號(hào)長(zhǎng)度為1 500個(gè)點(diǎn)，步長(zhǎng)為1 500，去除不符合實(shí)驗(yàn)要求的樣本后，每個(gè)通道的樣本數(shù)據(jù)量為9 225條腦電數(shù)據(jù))。把數(shù)據(jù)歸一化到[0,1]區(qū)間上。

3.3 仿真及實(shí)驗(yàn)結(jié)果分析

本文采用下列四個(gè)定量模型評(píng)估指標(biāo)對(duì)模型的性能進(jìn)行評(píng)估，即準(zhǔn)確率(A)、精確率(P)、召回率(R)與調(diào)和均值(F1)，定義如下：

(5)

(6)

(7)

(8)

對(duì)于N分類(lèi)問(wèn)題的調(diào)和均值為：

(9)

式中：TP為被模型分類(lèi)正確的正樣本；FP為被模型分類(lèi)錯(cuò)誤的負(fù)樣本；TN為被模型分類(lèi)正確的負(fù)樣本；FN為被模型分類(lèi)錯(cuò)誤的正樣本。

3.3.1單導(dǎo)聯(lián)腦電信號(hào)情感識(shí)別

為了評(píng)估基于無(wú)閾值遞歸圖與深度殘差網(wǎng)絡(luò)相結(jié)合的情感腦電信號(hào)識(shí)別效果，對(duì)與情感相關(guān)大的Fp1、Fp2、F3、F4單通道腦電數(shù)據(jù)進(jìn)行了分析。為了使結(jié)果更具有說(shuō)服性與有效性，將樣本進(jìn)行隨機(jī)打亂操作，對(duì)樣本集進(jìn)行五折交叉驗(yàn)證實(shí)驗(yàn)，每一折中訓(xùn)練集占80%，測(cè)試集占20%，模型中batch_size=32，epoch=100，模型優(yōu)化函數(shù)為Adam。表3給出了四導(dǎo)聯(lián)腦電數(shù)據(jù)五折實(shí)驗(yàn)的測(cè)試集平均準(zhǔn)確率、標(biāo)準(zhǔn)差(std)。

表3 四導(dǎo)聯(lián)腦電數(shù)據(jù)五折實(shí)驗(yàn)的平均準(zhǔn)確率、標(biāo)準(zhǔn)差

仔細(xì)觀察可以清晰地發(fā)現(xiàn)：?jiǎn)螌?dǎo)聯(lián)腦電(Fp1、Fp2、F3、F4)數(shù)據(jù)在基于無(wú)閾值遞歸圖與深度殘差網(wǎng)絡(luò)相結(jié)合的情感識(shí)別模型上都取得了比較理想的識(shí)別效果。Fp1、Fp2、F3、F4測(cè)試集平均準(zhǔn)確率分別達(dá)到了93.82%、93.62%、94.54%、92.92%，證明了本文方法的有效性。對(duì)比四個(gè)單通道的平均識(shí)別準(zhǔn)確率可以發(fā)現(xiàn)，本文方法在F3導(dǎo)聯(lián)數(shù)據(jù)集上腦電情感識(shí)別效果明顯高于其他三者，說(shuō)明本文情感識(shí)別方法在相同環(huán)境條件下與F3導(dǎo)聯(lián)EEG信號(hào)特性較其余三個(gè)通道更加貼切符合。

如表4所示,為了更全面地對(duì)模型性能進(jìn)行評(píng)估，采用另外三個(gè)模型評(píng)價(jià)指標(biāo)，分別為精確率、召回率和調(diào)和均值。精確率與召回率這兩個(gè)指標(biāo)是一對(duì)矛盾體，一般呈現(xiàn)負(fù)相關(guān)關(guān)系，從表中來(lái)看，每折實(shí)驗(yàn)的精準(zhǔn)率與召回率之間都相差大約0.03，并且普遍保持在0.91以上，整體在0.91～0.97之間，體現(xiàn)出本文模型具有很強(qiáng)的泛化能力。對(duì)于綜合指標(biāo)Macro-F1來(lái)說(shuō)，單導(dǎo)聯(lián)F3模型每折實(shí)驗(yàn)的值均在0.940以上，說(shuō)明在Precision與Recall一樣重要的情況下，本文方法達(dá)到了較為理想的結(jié)果。

表4 F3導(dǎo)聯(lián)分類(lèi)指標(biāo)

3.3.2多導(dǎo)聯(lián)腦電信號(hào)情感狀態(tài)的聯(lián)合識(shí)別

不同導(dǎo)聯(lián)腦電信號(hào)之間具有很強(qiáng)的相關(guān)性，在上述實(shí)驗(yàn)的基礎(chǔ)上，將不同導(dǎo)聯(lián)的腦電(Fp1、Fp2、F3、F4)信號(hào)情感結(jié)果做綜合考慮，同時(shí)將其對(duì)應(yīng)的輸出結(jié)果按照“投票法”完成多導(dǎo)聯(lián)EEG信號(hào)情感狀態(tài)的聯(lián)合識(shí)別，如果投票結(jié)果呈現(xiàn)出2∶2的局面，以F3導(dǎo)聯(lián)腦電情感識(shí)別分類(lèi)作為最終決策結(jié)果(上述實(shí)驗(yàn)表明F3導(dǎo)聯(lián)數(shù)據(jù)集上腦電情感識(shí)別準(zhǔn)確率最高)。

為了對(duì)比多導(dǎo)聯(lián)聯(lián)合情感識(shí)別與單導(dǎo)聯(lián)情感識(shí)別的效果，同樣采樣五折交叉驗(yàn)證實(shí)驗(yàn)取平均測(cè)試準(zhǔn)確率，圖8分別給出了單導(dǎo)聯(lián)(Fp1、Fp2、F3、F4)EEG情感識(shí)別與多導(dǎo)聯(lián)EEG情感狀態(tài)聯(lián)合識(shí)別的平均準(zhǔn)確率，通過(guò)對(duì)比可以發(fā)現(xiàn)多導(dǎo)聯(lián)EEG信號(hào)情感狀態(tài)聯(lián)合識(shí)別的平均準(zhǔn)確率高達(dá)94.95%，比識(shí)別效果最好的F3導(dǎo)聯(lián)的平均準(zhǔn)確率(94.54%)還高出0.41%。分析可以發(fā)現(xiàn)，即使單導(dǎo)聯(lián)腦電可以取得良好的識(shí)別效果，但是多導(dǎo)聯(lián)聯(lián)合識(shí)別的總體性能都高于單導(dǎo)聯(lián)腦電情感識(shí)別效果。說(shuō)明基于本文方法的多導(dǎo)聯(lián)EEG信號(hào)情感狀態(tài)的聯(lián)合識(shí)別效果明顯比單導(dǎo)聯(lián)腦電情感識(shí)別效果要好。

圖8 單導(dǎo)聯(lián)腦電信號(hào)情感識(shí)別與多導(dǎo)聯(lián)聯(lián)合識(shí)別平均準(zhǔn)確率

分析表5，可以發(fā)現(xiàn)多導(dǎo)聯(lián)聯(lián)合模型的Macro-F1較單導(dǎo)聯(lián)F3的值有所改善，也證明了基于本文方法多導(dǎo)聯(lián)聯(lián)合情感識(shí)別效果比單導(dǎo)聯(lián)情感識(shí)別效果要好。

表5 多導(dǎo)聯(lián)聯(lián)合分類(lèi)結(jié)果

續(xù)表5

3.3.3同類(lèi)研究對(duì)比

為了進(jìn)一步驗(yàn)證基于本文方法的腦電情感識(shí)別效果的科學(xué)性與優(yōu)越性，將本文方法與采用相同數(shù)據(jù)集的其他識(shí)別方法進(jìn)行比較，對(duì)比結(jié)果如表6所示。文獻(xiàn)[21]將提取到的不同導(dǎo)聯(lián)腦電信號(hào)的微分熵映射為二維形式，以此作為分層卷積神經(jīng)網(wǎng)絡(luò)的輸入，識(shí)別準(zhǔn)確率為88.20%，同時(shí)發(fā)現(xiàn)Beta波和Gamma波對(duì)情感識(shí)別起著關(guān)鍵作用。文獻(xiàn)[2]提取腦電信號(hào)的微分熵特征進(jìn)行特征平滑、降維，將得到的低維特征結(jié)合判別圖正則極限學(xué)習(xí)機(jī)進(jìn)行情感識(shí)別，準(zhǔn)確率為91.07%。文獻(xiàn)[22]采用一維卷積神經(jīng)網(wǎng)絡(luò)隨機(jī)森林情感識(shí)別的方法對(duì)62導(dǎo)聯(lián)的腦電數(shù)據(jù)進(jìn)行自動(dòng)特征提取，識(shí)別準(zhǔn)確度達(dá)到94.7%。由表6對(duì)比發(fā)現(xiàn)，本文基于無(wú)閾值遞歸圖與深度殘差網(wǎng)絡(luò)相結(jié)合的識(shí)別方法在相同數(shù)據(jù)集上充分挖掘了EEG信號(hào)非線性特征，利用了較少的導(dǎo)聯(lián)腦電信號(hào)得到了較高的識(shí)別效果，不但減輕了腦電信號(hào)采集工作量，還減少了參數(shù)的計(jì)算，具有明顯的優(yōu)勢(shì)。

表6 同類(lèi)研究對(duì)比

4 結(jié) 語(yǔ)

腦電信號(hào)情感識(shí)別過(guò)程中，特征提取與特征分類(lèi)在情感識(shí)別過(guò)程中占據(jù)著決定性作用。本文提出一種基于無(wú)閾值遞歸圖和深度殘差網(wǎng)絡(luò)相結(jié)合的腦電情感識(shí)別方法，不但克服了傳統(tǒng)遞歸圖分析中閾值選取的問(wèn)題將EEG信號(hào)非線性特征映射到二維平面，同時(shí)利用深度殘差網(wǎng)絡(luò)實(shí)現(xiàn)特征圖非線性特征的自動(dòng)提取，充分挖掘了EEG信號(hào)中的隱匿特征。該方法將預(yù)處理、歸一化后的情感腦電信號(hào)經(jīng)過(guò)相空間重構(gòu)、遞歸圖轉(zhuǎn)化后得到無(wú)閾值遞歸圖，將情感腦電信號(hào)的非線性特征映射到二維平面。同時(shí)基于本文識(shí)別的情感類(lèi)別，設(shè)計(jì)了深度為18層的深度殘差網(wǎng)絡(luò)，將無(wú)閾值遞歸圖作為ResNet18的輸入，利用網(wǎng)絡(luò)進(jìn)行特征的自動(dòng)提取、學(xué)習(xí)、分類(lèi)。在單導(dǎo)聯(lián)情感識(shí)別的基礎(chǔ)上，采用“投票法”完成多導(dǎo)聯(lián)腦電信號(hào)情感狀態(tài)的聯(lián)合識(shí)別，以進(jìn)一步提高腦電情感識(shí)別的精度。

為了驗(yàn)證本文方法的有效性，首先將本文方法結(jié)合單導(dǎo)聯(lián)(Fp1、Fp2、F3、F4)腦電信號(hào)進(jìn)行情感識(shí)別，測(cè)試集平均準(zhǔn)確率分別為93.82%、93.62%、94.54%、92.92%，有效地證明了本文方法的有效性。利用精準(zhǔn)率、召回率、調(diào)和均值三個(gè)模型分類(lèi)指標(biāo)將多導(dǎo)聯(lián)聯(lián)合識(shí)別與單導(dǎo)聯(lián)識(shí)別進(jìn)行對(duì)比，發(fā)現(xiàn)多導(dǎo)聯(lián)聯(lián)合識(shí)別效果能對(duì)各個(gè)單導(dǎo)聯(lián)識(shí)別效果進(jìn)行信息的補(bǔ)償與強(qiáng)化，性能更優(yōu)。實(shí)驗(yàn)結(jié)果表明，本文提出的腦電信號(hào)情感識(shí)別方法是有效的，相比當(dāng)前的腦電情感識(shí)別方法可以獲得更高的分類(lèi)準(zhǔn)確率，有較強(qiáng)的實(shí)用價(jià)值。