陳景霞,郝 為,張鵬偉,閔重丹,李玥辰

(陜西科技大學(xué) 電子信息與人工智能學(xué)院,陜西 西安 710021)

近年來,隨著深度學(xué)習(xí)、人工智能技術(shù)的發(fā)展,情感識(shí)別已經(jīng)成為人機(jī)交互和情感計(jì)算領(lǐng)域一個(gè)備受關(guān)注的研究熱點(diǎn).情感識(shí)別是理解一個(gè)人所表達(dá)的情感類型的過程,開發(fā)高效、魯棒的人類情感識(shí)別算法,將對(duì)人機(jī)交互方式產(chǎn)生重大影響[1].在人機(jī)交互應(yīng)用程序中引入自動(dòng)情感識(shí)別技術(shù),可以顯著提高用戶體驗(yàn)的質(zhì)量,帶來更多感知情感的計(jì)算機(jī)交互界面,并且可以實(shí)現(xiàn)許多基于情緒感知、情緒調(diào)節(jié)的控制功能.腦電圖(electroencephalogram,簡稱EEG)是一種非侵入性腦成像技術(shù),依賴于頭皮的電極來測(cè)量大腦的電生理活動(dòng),其中包含了大量的生理、心理與病理信息.神經(jīng)生理學(xué)、心理學(xué)大量研究發(fā)現(xiàn):人類情感的產(chǎn)生及活動(dòng)與大腦皮層的活動(dòng)相關(guān)度很大,人類不同的認(rèn)知和情感活動(dòng)能夠誘發(fā)產(chǎn)生不同的EEG 信號(hào),對(duì)其進(jìn)行有效的特征提取與分類,可以達(dá)到情感腦-機(jī)接口控制的目的[2,3].與人類的面部表情、語音、心電、核磁等生理信號(hào)相比,EEG 信號(hào)由于其客觀性強(qiáng)、不易偽造、采集設(shè)備便攜、易于操作、成本低等優(yōu)點(diǎn),正越來越多地被應(yīng)用到人類情感的識(shí)別中[4].

腦電圖信號(hào)的處理與識(shí)別具有極大的挑戰(zhàn)性.首先,EEG 信號(hào)具有很低的信噪比,容易受到多種噪聲的干擾.例如:敏感的記錄設(shè)備很容易受到周圍環(huán)境的干擾,而且肌肉活動(dòng)、眼球運(yùn)動(dòng)或眨眼都可能帶來其他不必要的噪音;其次,人們往往只對(duì)特定大腦活動(dòng)相關(guān)的EEG 信號(hào)感興趣,但是卻很難從背景中將這個(gè)信號(hào)分離出來.雖然EEG 信號(hào)在頭皮上空間分辨率較低,但它較高的時(shí)間分辨率(毫秒級(jí))可以記錄緩慢或快速變化的大腦活動(dòng)動(dòng)態(tài)[5].因此,為了確定和提取EEG 信號(hào)中與特定大腦活動(dòng)或情感相關(guān)的部分,需要復(fù)雜的EEG 信號(hào)分析與處理技術(shù),既要考慮EEG 信號(hào)空間的相關(guān)性,也要考慮時(shí)間上的相關(guān)性.

近年來,深度學(xué)習(xí)技術(shù)由于具有很強(qiáng)的端對(duì)端自學(xué)習(xí)復(fù)雜特征表示的能力,避免了大量手工特征提取,在計(jì)算機(jī)視覺、自動(dòng)語音識(shí)別、自然語言處理和生物信息學(xué)等領(lǐng)域的識(shí)別任務(wù)中取得了巨大的成功[6-8].卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,簡稱CNN)是當(dāng)前識(shí)別圖像和視頻數(shù)據(jù)的最佳架構(gòu)的核心,這主要是因?yàn)樗鼈兡軌驅(qū)W習(xí)并提取對(duì)輸入數(shù)據(jù)的部分平移和變形具有魯棒性的特征表示[9].而循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,簡稱RNN)和長短時(shí)記憶網(wǎng)絡(luò)(LongShortTerm memory,簡稱LSTM)在許多涉及時(shí)間序列動(dòng)力學(xué)的應(yīng)用中表現(xiàn)出了最先進(jìn)的性能,如文本和語音識(shí)別[7]、信息抽取與語義分析[10]等.此外,文獻(xiàn)[11]中,Ng 等人將這兩種類型的網(wǎng)絡(luò)相結(jié)合用于視頻分類,并且取得了較好的效果.

隨著便攜式腦電采集技術(shù)和設(shè)備的出現(xiàn),大規(guī)模腦電數(shù)據(jù)變得更易獲取,CNN,RNN 和LSTM 等深度學(xué)習(xí)技術(shù)也越來越多地應(yīng)用于腦電圖時(shí)間序列的分類與識(shí)別中.Bashivan 等人[12]針對(duì)認(rèn)知和精神負(fù)荷分類實(shí)驗(yàn)中采集的EEG 數(shù)據(jù),提出了一種深度遞歸卷積神經(jīng)網(wǎng)絡(luò)R-CNN,從EEG 序列中學(xué)習(xí)那些對(duì)于時(shí)、空、頻這3 個(gè)維度的變化都不敏感的魯棒性特征,其分類錯(cuò)誤率比他們之前采用的支持向量機(jī)和隨機(jī)森林的錯(cuò)誤率降低了50%以上.Ryan 等人[13]采用基于LSTM 的深度循環(huán)神經(jīng)網(wǎng)絡(luò)來解釋認(rèn)知相關(guān)腦電信號(hào)在時(shí)間上依賴性,從而顯著提高了跨天采集的EEG 特征的穩(wěn)定性,其被試內(nèi)的平均分類準(zhǔn)確率達(dá)到93%.Dalin 等人[14]提出了一種深度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型,通過有效地學(xué)習(xí)原始EEG 數(shù)據(jù)流時(shí)空相關(guān)特征表示,來準(zhǔn)確地識(shí)別人類運(yùn)動(dòng)意圖,在MI-EEG 數(shù)據(jù)集上取得了98.3%的被試依賴的分類準(zhǔn)確率,其性能均高于其他簡單分類器和別的基于深度學(xué)習(xí)的EEG 分類模型.Lawhern 等人[15]提出了一種沒有完全連接層的多層純卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用,該方法在基于P300 的oddball 識(shí)別任務(wù)、手指運(yùn)動(dòng)任務(wù)中運(yùn)動(dòng)相關(guān)皮層電位識(shí)別和運(yùn)動(dòng)想象中感官運(yùn)動(dòng)節(jié)律識(shí)別等范式中都取得了目前為止最好的性能.上述方法都為基于EEG 的情感識(shí)別提供了有益的參考.

Alhagry 等人[16]提出了一種基于LSTM 長短時(shí)記憶結(jié)構(gòu)的深度循環(huán)神經(jīng)網(wǎng)絡(luò),在DEAP 公開數(shù)據(jù)集上,喚 醒/效價(jià)/喜歡這3 個(gè)情感維度上依賴于被試的平均分類準(zhǔn)確率分別達(dá)到85.65%,85.45%和87.99%,與傳統(tǒng)方法相比,該方法具有較高的平均精度.Soleymani 等人[17]提出利用LSTM-RNN 和連續(xù)條件隨機(jī)場(chǎng)(CCRF)算法,從被試的腦電信號(hào)和面部表情即時(shí)檢測(cè)被試觀看視頻時(shí)情感狀態(tài)的方法,取得了較好的效果.Salama 等人[18]采用一種三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN),針對(duì)多通道腦電圖數(shù)據(jù)進(jìn)行情緒識(shí)別,在效價(jià)和喚醒上的識(shí)別準(zhǔn)確率分別為87.44%和88.49%.本文作者也曾采用深度CNN 模型[19],基于DEAP 數(shù)據(jù)集EEG 信號(hào)時(shí)域、頻域及其組合特征,端對(duì)端自學(xué)習(xí)這些特征的高層抽象表示,在效價(jià)和喚醒度上的分別取得了88.5%和86.7%的識(shí)別準(zhǔn)確率.在文獻(xiàn)[20]中,我們還采用了一種基于注意力機(jī)制的多層雙向GRU(gated recurrent unit)模型對(duì)DEAP 數(shù)據(jù)集中連續(xù)的EEG 序列信號(hào)進(jìn)行情感識(shí)別.實(shí)驗(yàn)證明,該模型能夠有效降低EEG 序列長時(shí)非穩(wěn)定性對(duì)情感識(shí)別的影響.上述這些方法都在一定程度上提高了EEG 情感分類的性能,但是還沒有一種模型能夠有效地在空間、時(shí)間和頻域上同步學(xué)習(xí)腦電信號(hào)情感相關(guān)的判別性特征,進(jìn)一步提高基于EEG 的情感識(shí)別的準(zhǔn)確率和魯棒性仍然面臨較大的挑戰(zhàn).

本文提出一種新的腦電圖數(shù)據(jù)表示方法,將一維鏈?zhǔn)紼EG 序列轉(zhuǎn)換成二維網(wǎng)狀矩陣序列,使矩陣結(jié)構(gòu)與EEG 電極位置的腦區(qū)分布相對(duì)應(yīng),以此來表示EEG 信號(hào)物理上多個(gè)相鄰電極之間的空間特征.再應(yīng)用滑動(dòng)窗采樣的方法將二維矩陣序列分成一個(gè)個(gè)等長的時(shí)間片段,作為新的融合了EEG 時(shí)空相關(guān)性的數(shù)據(jù)表示.本文還提出了級(jí)聯(lián)卷積-循環(huán)神經(jīng)網(wǎng)絡(luò)(CASC_CNN_LSTM)與級(jí)聯(lián)卷積-卷積神經(jīng)網(wǎng)絡(luò)(CASC_CNN_CNN)這兩種深度學(xué)習(xí)模型,二者都通過CNN 卷積神經(jīng)網(wǎng)絡(luò)從轉(zhuǎn)換的二維網(wǎng)狀EEG 數(shù)據(jù)表示中捕獲物理上相鄰腦電信號(hào)之間的空間相關(guān)性,而前者通過LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)EEG 數(shù)據(jù)流在時(shí)序上的依賴關(guān)系,后者則通過CNN 卷積神經(jīng)網(wǎng)絡(luò)挖掘局部時(shí)間與空間更深層的相關(guān)判別性特征,從而精確識(shí)別腦電信號(hào)中包含的情感類別.

1 本文提出的方法

1.1 二維EEG網(wǎng)狀特征轉(zhuǎn)換

基于EEG 的情感腦-機(jī)接口系統(tǒng)通常使用便攜式可穿戴的多通道電極帽采集EEG 信號(hào),當(dāng)被試者觀看刺激視頻時(shí),電極帽上的傳感器捕獲被試大腦頭皮電流的波動(dòng)情況.本文提出的EEG 信號(hào)采集與特征轉(zhuǎn)換的總體流程如圖1 所示,其中,EEG 電極地圖顯示了一種BCI 常用電極帽上的電極位置分布.不同BCI 系統(tǒng)的腦電記錄通道數(shù)量不同,其電極的分布也有所不同.

Fig.1 EEG data acquisition and pre-processing process圖1 腦電數(shù)據(jù)采集和預(yù)處理流程

EEG 采集系統(tǒng)獲取的傳感器讀數(shù)表示一定采樣頻率下的腦電信號(hào)時(shí)間序列.通常,時(shí)間點(diǎn)t采集的原始 EEG 信號(hào)用一個(gè)一維數(shù)據(jù)向量表示,其中,n表示采集系統(tǒng)的通道總數(shù),表示第n個(gè)電極通 道在第t個(gè)時(shí)間點(diǎn)的讀數(shù).對(duì)于觀測(cè)時(shí)間段[t,t+N-1],共有N個(gè)一維這樣的數(shù)據(jù)向量,每一個(gè)向量都包含n個(gè)元素,對(duì)應(yīng)電極帽上第n個(gè)電極的讀數(shù).

從EEG 頭皮電極分布圖可以看出:每個(gè)電極在物理上都與多個(gè)電極相鄰,用于測(cè)量大腦某一區(qū)域的EEG 信號(hào),而且不同的大腦區(qū)域?qū)?yīng)于不同的大腦活動(dòng).上述一維鏈?zhǔn)紼EG 數(shù)據(jù)向量僅能表示兩個(gè)相鄰電極位置的相關(guān)性,因此,本文根據(jù)EEG 采集系統(tǒng)的電極空間位置關(guān)系,將獲取的一維原始腦電序列轉(zhuǎn)換為二維網(wǎng)狀矩陣序列.本文將32 通道一維EEG 數(shù)據(jù)向量Xt轉(zhuǎn)換成如下所示的二維網(wǎng)狀矩陣Yt:

其中,t表示某一具體的時(shí)間點(diǎn),沒有使用的電極位置被置為0,在神經(jīng)網(wǎng)絡(luò)中不起作用.通過轉(zhuǎn)換,觀測(cè)時(shí)間段[t,t+N-1]內(nèi)的一維EEG 向量序列[Xt,Xt+1,…,Xt+N-1]被轉(zhuǎn)換成二維矩陣序列[Yt,Yt+1,…,Yt+N-1],其中,二維網(wǎng)狀矩陣的數(shù)量仍然是N.再通過Z-score 算法對(duì)該二維矩陣中的非零數(shù)據(jù)進(jìn)行歸一化處理,這樣產(chǎn)生的二維網(wǎng)狀矩陣序列既包含了時(shí)間信息,又包含了該時(shí)間點(diǎn)相關(guān)大腦活動(dòng)的空間信息.然后,如圖1 的最后一步所示,應(yīng)用滑動(dòng)窗將二維網(wǎng)狀矩陣序列劃分為一個(gè)個(gè)單獨(dú)的片段Pj,作為融合了時(shí)空特征的一個(gè)EEG 樣本,每個(gè)片段具有固定長度(窗口大小),而且相鄰兩個(gè)片段之間不重疊,具體表示為Pj=[Yt,Yt+1,…,Yt+s-1].其中,s表示窗口的大小,即采樣點(diǎn)的個(gè)數(shù);j=1,2,…,q,q是觀測(cè)時(shí)間段被劃分成EEG 樣本片段的個(gè)數(shù).本文將進(jìn)一步提出一種有效的混合深度學(xué)習(xí)模型,同時(shí)學(xué)習(xí)每個(gè)樣本的矩陣序列Pj在時(shí)間和空間上的相關(guān)性特征,并預(yù)測(cè)每個(gè)樣本片段被試對(duì)應(yīng)的情感類別.

1.2 Casc-CNN-LSTM級(jí)聯(lián)卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型

本文首先提出用來學(xué)習(xí)捕獲EEG 序列的空間和時(shí)間特征的Casc-CNN-LSTM 的模型結(jié)構(gòu),如圖2 所示.模型的輸入是經(jīng)過上述預(yù)處理的二維網(wǎng)狀矩陣序列(如樣本Pj),它是一個(gè)包含了空間和時(shí)間信息的三維數(shù)據(jù)結(jié)構(gòu).首先,采用CNN 網(wǎng)絡(luò)從每一個(gè)二維網(wǎng)狀矩陣中提取EEG 數(shù)據(jù)的空域特征;然后,將提取的空間特征序列輸入到LSTM 網(wǎng)絡(luò),進(jìn)一步提取EEG 數(shù)據(jù)的時(shí)域特征;最后,通過一個(gè)全連接層接收LSTM 網(wǎng)絡(luò)最后一個(gè)時(shí)間點(diǎn)的輸出,得到的特征向量再輸入到一個(gè)softmax層進(jìn)行最后的情感類別預(yù)測(cè).

為了提取每一個(gè)二維網(wǎng)狀矩陣的空間特征,我們采用如圖2 所示的一個(gè)深度二維CNN 網(wǎng)絡(luò)進(jìn)行空間特征學(xué)習(xí).如上所述,輸入模型的第j個(gè)EEG 片段用二維網(wǎng)狀矩陣序列Pj=[Yt,Yt+1,…,Yt+s-1]∈Rs×h×w表示,其中包含s個(gè)Yk(k=t,t+1,…,t+s-1)表示的二維網(wǎng)狀矩陣元素,其大小是h×w,h和w分別表示電極位置網(wǎng)狀矩陣的高和寬.將每一個(gè)網(wǎng)狀矩陣分別輸入到一個(gè)2D-CNN 網(wǎng)絡(luò),經(jīng)學(xué)習(xí)得到對(duì)應(yīng)的空間特征表示Zk(k=t,t+1,…,t+s-1):Zk=CNN2D(Yk),Zk∈Rl.Zk是一個(gè)包含l 個(gè)元素的一維特征向量.由此,輸入的EEG 矩陣序列被轉(zhuǎn)換成空間特征向量的序列:Cas-CNN:Pj→Qj,whereQj=[Zt,Zt+1,…,Zt+s-1]∈Rs×l.該2D-CNN 模型包含4 個(gè)卷積層,每層分別采用16,32,64,128 個(gè)大小都是3×3 的卷積核進(jìn)行非填充的卷積操作,每一層都采用ReLu激活函數(shù)和Adam 優(yōu)化器,學(xué)習(xí)率取0.0005.經(jīng)過學(xué)習(xí),第1 個(gè)卷積層得到16 個(gè)7×7 的特征圖,第2 個(gè)卷積層得到32 個(gè)5×5 的特征圖,第3 個(gè)卷積層得到64 個(gè)3×3 的特征圖,第4 個(gè)卷積層得到128 個(gè)1×1 的特征圖.之后,應(yīng)用一個(gè)包含128 個(gè)神經(jīng)元的全連接層將128 個(gè)特征映射轉(zhuǎn)換成最終的空間特征表示Zk∈R128.在將2D-CNN 的輸出結(jié)果輸入RNN 網(wǎng)絡(luò)之前,這個(gè)全連接層是可選的.但是實(shí)驗(yàn)發(fā)現(xiàn):添加這個(gè)全連接層,對(duì)于幫助模型收斂、提高整個(gè)框架的性能起著重要的作用.

通過對(duì)模型的精準(zhǔn)性和時(shí)效性的雙重篩選,本文最終使用如圖2 所示的LSTM 單元構(gòu)建一個(gè)單層雙向RNN 模型,將空間特征表示序列Qj輸入到該RNN 模型,進(jìn)一步計(jì)算EEG 片段時(shí)域的相關(guān)性特征.LSTM 是一種為了解決梯度消失和梯度爆炸問題而提出對(duì)RNN 隱含層改進(jìn)后的神經(jīng)元結(jié)構(gòu).在雙向LSTM 中,順逆序傳播可以分別提取某一節(jié)點(diǎn)EEG 與其前后片段的關(guān)系,從而使該模型提取的特征更加客觀和準(zhǔn)確.

Fig.2 Combination model Casc_CNN_LSTM圖2 Casc_CNN_LSTM 組合模型

該模型的每個(gè)傳播方向上都包含s個(gè)LSTM 單元,LSTM 單元在當(dāng)前時(shí)間點(diǎn)t處的隱狀態(tài)用ht表示,則ht-1表示前一個(gè)時(shí)間點(diǎn)t-1 處的隱狀態(tài).同一層前一個(gè)時(shí)間點(diǎn)的信息被傳到當(dāng)前時(shí)間點(diǎn),以此類推影響到最后的輸出.本文使用LSTM 單元的隱狀態(tài)作為其輸出,正向LSTM 單元輸出的隱狀態(tài)序列為[ht,ht+1,…,ht+s-1],逆向LSTM 單元輸出的隱狀態(tài)序列為.由于我們感興趣的是大腦在整個(gè)樣本時(shí)間段內(nèi)的情感類別,所以分別從兩個(gè)方向上取LSTM 學(xué)習(xí)完整個(gè)窗口內(nèi)所有時(shí)間點(diǎn)后提取的最后一個(gè)時(shí)間點(diǎn)的輸出ht+s-1和.將ht+s-1和在描述特征向量大小的維度上進(jìn)行拼接,記為Hj.而Hj作為整個(gè)RNN 網(wǎng)絡(luò)學(xué)習(xí)到的時(shí)序特征送入下一個(gè) 全連接層,如圖2 的最后階段所示.EEG 網(wǎng)狀矩陣序列Pj的時(shí)域特征Hj表示為

其中,i表示一個(gè)LSTM 單元的隱狀態(tài)的大小.最后,在全連接層之后,采用一個(gè)Softmax層產(chǎn)生最終每一類情感的概率預(yù)測(cè)值:Softmax:Cj=SoftMax(Hj),Cj∈Rk,其中,k表示模型最終要識(shí)別的情感類別數(shù).

總的來說,我們的框架首先將觀測(cè)時(shí)間段內(nèi)的EEG 數(shù)據(jù)流轉(zhuǎn)換、切分成二維的網(wǎng)狀矩陣序列片段,然后對(duì)每一個(gè)片段進(jìn)行k類情感分類.每一個(gè)片段Pj包含s個(gè)已經(jīng)被轉(zhuǎn)換的二維網(wǎng)狀矩陣[Yt,Yt+1,…,Yt+s-1].在每一個(gè)片段內(nèi)部,應(yīng)用一個(gè)3 層2D-CNN 網(wǎng)絡(luò)對(duì)其中每一個(gè)網(wǎng)狀矩陣提取其空間特征,得到空間特征序列[zt,…,zt+s-1];隨后,應(yīng)用RNN 網(wǎng)絡(luò)對(duì)整個(gè)空間特征序列進(jìn)行學(xué)習(xí),進(jìn)而提取時(shí)域特征Hj;最后,使用Softmax分類器計(jì)算每一個(gè)片段k種情感的分類概率.原始EEG 記錄經(jīng)由Cas-CNN-RNN 模型處理的過程可以描述為Input(s×n)-Trans(s×h×w)-Conv(s×h×w×16)-Conv(s×h×w×32)-Conv(s×h×w×64)-Conv(s×h×w×128)-FC(l)-LSTM(s×2i)-FC(l)-Softmax(k).其中:Input(s×n)表示分段大小為s且包含n個(gè)通道數(shù)據(jù)的一維原始EEG 記錄序列,Trans(s×h×w)表示將一維EEG 記錄序列轉(zhuǎn)換為長度為s大小為h×w的網(wǎng)狀矩陣序列,Conv(s×h×w×m)表示一個(gè)卷積層從一個(gè)網(wǎng)狀矩陣學(xué)習(xí)得到m個(gè)特征映射,FC(l)表示具有l(wèi)個(gè)神經(jīng)元的全連接層,LSTM(s×2i)表示順逆兩個(gè)傳播方向分別具有s個(gè)LSTM 單元的隱含層學(xué)習(xí)得到大小為i的隱狀態(tài),Softmax(k)表示用于預(yù)測(cè)k個(gè)情感類別的Softmax層.

在級(jí)聯(lián)結(jié)構(gòu)的2D-CNN 模型中,卷積層后面都沒有使用池化操作.雖然在CNN 體系結(jié)構(gòu)中,一個(gè)卷積層通常與一個(gè)池化層成對(duì)使用,但池化操作并不一定是必須的,池化操作是以犧牲一部分信息為代價(jià)來進(jìn)行數(shù)據(jù)降維.然而在EEG 數(shù)據(jù)分析問題中,數(shù)據(jù)的維度比計(jì)算機(jī)視覺研究中使用的數(shù)據(jù)維度要小得多,為了不丟失有用的EEG 信息,本文沒有使用池化操作,而是直接將4 個(gè)卷積層進(jìn)行了連接.

1.3 Casc-CNN-CNN級(jí)聯(lián)雙卷積神經(jīng)網(wǎng)絡(luò)模型

本文提出的用來挖掘更深層局部時(shí)空特征的Casc-CNN-CNN 模型結(jié)構(gòu)如圖3 所示.

Fig.3 Combination model Casc_CNN_CNN圖3 Casc_CNN_CNN 組合模型

模型的輸入同Casc-CNN-RNN 的輸入一樣,都是包含了空間和時(shí)間信息的三維數(shù)據(jù)結(jié)構(gòu).模型采用CNN 網(wǎng)絡(luò)從每一個(gè)二維網(wǎng)狀矩陣中提取EEG 數(shù)據(jù)的空域特征,然后將提取的空間特征按照時(shí)間順序重新排列,再次輸入一個(gè)CNN 網(wǎng)絡(luò),繼續(xù)提取EEG 數(shù)據(jù)深層局部時(shí)空特征,最后通過一個(gè)全連接層接收CNN 網(wǎng)絡(luò)的輸出,得到的特征向量再輸入到一個(gè)softmax層進(jìn)行最后的情感類別預(yù)測(cè).

Casc_CNN_CNN 與級(jí)聯(lián)模型Casc_CNN_LSTM 中的CNN 部分相同,將二維網(wǎng)狀矩陣序列Pj輸入進(jìn)一個(gè)由4 個(gè)卷積層與一個(gè)全連接層組成的CNN 網(wǎng)絡(luò)中,并轉(zhuǎn)換成具有空間特征向量的序列Qj,whereQj=[Zt,Zt+1,…,Zt+s-1]∈Rs×l.其中,Zk(k=t,t+1,…,t+s-1):Zk=CNN2D(Yk),Zk∈Rl是一個(gè)包含l 個(gè)元素的經(jīng)過CNN 學(xué)習(xí)后的一維空間特征向量.將Qj整合成形如s×l的矩陣后,再次使用CNN(為區(qū)別于前文CNN,下將該網(wǎng)絡(luò)稱作CNNII)網(wǎng)絡(luò)提取原始EEG 的進(jìn)階空間特征.式中s表示向量序列的長度,l表示每個(gè)序列所包含的元素個(gè)數(shù).CNNII 由兩個(gè)卷積層、兩個(gè)池化層、一個(gè)全連接層組成,兩個(gè)池化層分別連接在兩個(gè)卷積層后,將經(jīng)過第2 個(gè)池化層池化過的數(shù)據(jù)進(jìn)行向量化處理后,接入一個(gè)神經(jīng)元數(shù)為512的全連接層,最終在全連接后接入Softmax層,產(chǎn)生最終每一類情感的概率預(yù)測(cè)值.兩個(gè)卷積層分別采用32 和64 個(gè)3×3 大小的卷積核進(jìn)行有填充的卷積操作.兩個(gè)池化層都采用2×2 大小且步長為2 的Maxpooling 過濾器對(duì)卷積結(jié)果進(jìn)行下采樣處理.卷積層和全連接層采用ReLu激活函數(shù)以及Adam 優(yōu)化器,學(xué)習(xí)率取0.000 1.

原始EEG 記錄經(jīng)由Cas-CNN-RNN 模型處理的過程可以描述為Input(s×n)-Trans(s×h×w)-Conv(s×h×w× 16)-Conv(s×h×w×32)-Conv(s×h×w×64)-Conv(s×h×w×128)-FC(l)-Cat(b)-Trans(s×h×w)-Conv(s×h×w×32)-Pooling(max,2)-Conv(s×h×w×64)-Pooling(max,2)-FC(l)-softmax(k).其中,Input(s×n)表示分段大小為s且包含n個(gè)通道數(shù)據(jù)的一維原始EEG 記錄序列,Trans(s×h×w)表示將一維EEG 記錄序列轉(zhuǎn)換為長度為s大小為h×w的網(wǎng)狀矩陣序列,Conv(s×h×w×m)表示一個(gè)卷積層從一個(gè)網(wǎng)狀矩陣學(xué)習(xí)得到m個(gè)特征映射,Cat(b)表示將b個(gè)向量按時(shí)間順序連接,Pool(max,2)表示使用步長為2,核為2×2 的最大池化層,FC(l)表示具有l(wèi)個(gè)神經(jīng)元的全連接層,Softmax(k)表示用于預(yù)測(cè)k個(gè)情感類別的softmax層.

2 實(shí)驗(yàn)及結(jié)果分析

首先介紹實(shí)驗(yàn)采用的DEAP 數(shù)據(jù)集及EEG 數(shù)據(jù)預(yù)處理與特征提取的方法,然后在效價(jià)維度上進(jìn)行被試內(nèi)兩類情感的分類實(shí)驗(yàn),以BT,SVM 淺層分類器以及深度CNN 模型在1 秒EEG 片段上的分類性能為基準(zhǔn),同Cas- CNN-RNN 和Cas-CNN-CNN 模型的分類性能進(jìn)行比較與分析.同時(shí),通過對(duì)比實(shí)驗(yàn)研究了時(shí)空信息對(duì)EEG 情感分類性能的影響.

2.1 數(shù)據(jù)集

本文基于公開的大規(guī)模EEG 情感數(shù)據(jù)集DEAP[21]驗(yàn)證所提出的級(jí)聯(lián)和并行深度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型的有效性.該數(shù)據(jù)集是由倫敦瑪麗皇后大學(xué)的相關(guān)研究團(tuán)隊(duì)開發(fā)的包含EEG 等多種生理信號(hào)的大規(guī)模開源數(shù)據(jù)集,它記錄了32 個(gè)被試者觀看40 個(gè)時(shí)長約為1 分鐘的、帶有不同情感傾向的音樂視頻所誘發(fā)的腦電、心電、肌電等生理信號(hào),之后,被試對(duì)所觀看的視頻在喚醒度、效價(jià)、喜好、優(yōu)勢(shì)度和熟悉度方面,使用1~9 的連續(xù)數(shù)值進(jìn)行評(píng)價(jià),評(píng)價(jià)值由小到大分別表示各項(xiàng)指標(biāo)由負(fù)到正或由弱到強(qiáng).40 個(gè)刺激視頻中包含20 個(gè)高效價(jià)/喚醒度刺激和20 個(gè)低效價(jià)/喚醒度刺激.本文取其中32 通道的EEG 信號(hào),采樣頻率降至128Hz.為了消除直流噪聲、電源噪聲和其他偽跡,使用4Hz~45Hz 的帶通濾波器進(jìn)行數(shù)據(jù)過濾,再采用盲源分離技術(shù)去除了眼電干擾,得到總時(shí)長為63s 的EEG 信號(hào),包括觀看視頻的60s 和觀看前靜息態(tài)的3s.

2.2 數(shù)據(jù)預(yù)處理與特征提取

本文提取了每個(gè)視頻誘發(fā)的60s 的EEG 序列做進(jìn)一步分析.為了校正與刺激無關(guān)的信號(hào)隨時(shí)間的變化,將觀看視頻之前3s 的EEG 信號(hào)作為基線,從60s 實(shí)驗(yàn)信號(hào)中去除基線,得到刺激相關(guān)的序列變化.以1s 為窗長對(duì)每個(gè)序列進(jìn)行不重疊分段,每次實(shí)驗(yàn)得到60 個(gè)片段,則每個(gè)被試40 次實(shí)驗(yàn)的EEG 片段(也稱樣本)總數(shù)為40×60=2400 個(gè),每個(gè)片段包含128 個(gè)采樣點(diǎn)(即窗口大小為128),每個(gè)采樣點(diǎn)包含32 個(gè)EEG 通道的數(shù)據(jù),簡稱RAW 特征,其維度大小表示為2400×128×32.實(shí)驗(yàn)觀察發(fā)現(xiàn),使用大于或小于128 的窗口分段都會(huì)降低組合模型的性能,這也許與人類大腦情感活動(dòng)的周期長度有關(guān).再對(duì)分段以后的EEG 數(shù)據(jù)按通道進(jìn)行歸一化,得到每個(gè)被試時(shí)域上的NORM 特征.

神經(jīng)科學(xué)和心理學(xué)的研究表明,EEG 信號(hào)在delta(1Hz~4Hz),theta(4Hz~8Hz),alpha(8Hz~13Hz),beta(13Hz~ 30Hz)和gamma(30Hz 以上)這5 個(gè)頻段上包含大量與情緒等心理活動(dòng)密切相關(guān)的節(jié)律信息[22].作者之前的研 究[19]也發(fā)現(xiàn),EEG 信號(hào)在4Hz~45Hz 頻帶上的功率譜密度(power spectral density,簡稱PSD)特征在2D-CNN 網(wǎng)絡(luò)上的分類性能明顯優(yōu)于時(shí)域上的RAW 特征和NORM 特征.這也許是因?yàn)镻SD 頻域特征的提取需要在較大連續(xù)采樣周期內(nèi)進(jìn)行,而情感腦電任務(wù)也是一種相對(duì)長時(shí)的大腦活動(dòng),所以頻域特征能夠捕獲更多情感相關(guān)的大腦動(dòng)態(tài).因此,本文在NORM 特征基礎(chǔ)上,在4Hz~45Hz 頻帶上,利用快速傅立葉算法,在1s 的EEG 片段的每個(gè)通道上使用0.5s 的Hamming 窗無重疊地滑動(dòng)提取64 個(gè)PSD 特征,每個(gè)被試40 次實(shí)驗(yàn),共提取PSD 特征的維度是2400×64×32.

接下來處理每個(gè)EEG 樣本的標(biāo)簽,基于被試對(duì)每個(gè)視頻在1~9 范圍內(nèi)的評(píng)價(jià)值,以中位數(shù)5 作為閾值,將效價(jià)和喚醒度上的評(píng)價(jià)值劃分為兩類:在某個(gè)維度上解決2 分類問題時(shí),大于5 代表高類或正性指標(biāo),用1 表示;小于或等于5 代表低類或負(fù)性指標(biāo),用0 表示.再對(duì)數(shù)據(jù)和標(biāo)簽做均衡化處理,使兩類中每一類EEG 數(shù)據(jù)和標(biāo)簽數(shù)量相同.

接著,根據(jù)DEAP 數(shù)據(jù)集的腦電電極分布,按照公式(1)將每個(gè)EEG 樣本的一維鏈?zhǔn)较蛄啃蛄修D(zhuǎn)換成大小為9×9 的二維網(wǎng)狀矩陣序列.轉(zhuǎn)換以后,EEG 樣本包含了豐富的空間、時(shí)間與頻域上的信息,數(shù)據(jù)和標(biāo)簽的維度見表1.然后,使用每個(gè)被試的所有EEG 樣本構(gòu)建被試內(nèi)交叉驗(yàn)證集,即:每次隨機(jī)從2 類各取80%的EEG 數(shù)據(jù)和標(biāo)簽來訓(xùn)練模型,其余20%的樣本來驗(yàn)證訓(xùn)練模型,以此方法為每個(gè)被試構(gòu)建40 重交叉驗(yàn)證數(shù)據(jù)集.

Table 1 Formats of segmented 1D and 2D EEG data and labelsof each subject表1 每個(gè)被試分段以后1D 與2D 的EEG 數(shù)據(jù)及標(biāo)簽格式

2.3 基準(zhǔn)模型

接下來簡要介紹EEG 情感識(shí)別方面目前比較先進(jìn)的方法和基準(zhǔn)模型,所有這些模型都基于與本文相同的數(shù)據(jù)集DEAP.

? Alhagry 等人[16]采用一種基于LSTM 長短時(shí)記憶結(jié)構(gòu)的深度循環(huán)神經(jīng)網(wǎng)絡(luò),在DEAP 數(shù)據(jù)集的喚醒/效價(jià)/喜歡這個(gè)維度上進(jìn)行了被試內(nèi)兩類情感分類,3 個(gè)維度上二分類的平均分類準(zhǔn)確率分別達(dá)到了85.65%,85.45%和87.99%;

? 本文作者在文獻(xiàn)[19]中提出的使用淺層機(jī)器學(xué)習(xí)模型BT(BaggingTree)對(duì)DEAP 數(shù)據(jù)集EEG 信號(hào)的PSD 特征在效價(jià)上和喚醒度上進(jìn)行被試內(nèi)兩類情感分類的準(zhǔn)確率分別達(dá)到了86.31%和86.18%;

? Salama 等人[18]采用一種三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN),針對(duì)多通道腦電圖數(shù)據(jù)進(jìn)行情感識(shí)別,在效價(jià)和喚醒度上的被試內(nèi)兩類情感識(shí)別準(zhǔn)確率分別為87.44%和88.49%;

? 本文作者也曾采用深度2D-CNN 模型,基于DEAP 數(shù)據(jù)集EEG 的時(shí)域與頻域組合特征,端對(duì)端自學(xué)習(xí)這些特征的高層抽象表示,在效價(jià)和喚醒度上進(jìn)行被試內(nèi)兩類情感識(shí)別的準(zhǔn)確率分別達(dá)到了88.53%和86.67%[19].

除了上述最新的方法外,為了增加實(shí)驗(yàn)結(jié)果的可信度,本文作者對(duì)文獻(xiàn)[17]中提出的2D-CNN 模型加以改進(jìn),輸入將時(shí)頻組合特征變?yōu)榉侄蔚逆準(zhǔn)絇SD 特征,深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)以及超參數(shù)配置則同Casc_CNN_CNN中的第2 個(gè)CNN 一致,都是兩組卷積池化層后接一個(gè)具有512 個(gè)神經(jīng)元的全連接層和一個(gè)Softmax輸出層.其中,兩個(gè)卷積層分別采用3×3 大小的32 和64 個(gè)卷積核進(jìn)行有填充的卷積操作,池化層依然采用步長為2 的2×2大小的過濾器對(duì)卷積結(jié)果進(jìn)行降維處理.

為了深入探究混合模型與單一模型在分類性能上的優(yōu)劣,本文還設(shè)計(jì)了用于對(duì)比實(shí)驗(yàn)的BiLSTM(64)模型.該模型也采用分段的鏈?zhǔn)絇SD 特征作為輸入,網(wǎng)絡(luò)結(jié)構(gòu)同Casc_CNN_LSTM 中的LSTM 網(wǎng)絡(luò)一致,采用雙向LSTM 單元進(jìn)行時(shí)域特征提取.其中,正向(順序)、逆向(倒序)LSTM 單元的隱單元個(gè)數(shù)(隱狀態(tài)長度)均為64.將雙向網(wǎng)絡(luò)各自傳播盡頭的兩個(gè)單元的隱狀態(tài)在特征個(gè)數(shù)維度上進(jìn)行連接后,接入一個(gè)具有128 個(gè)神經(jīng)元的全連接神經(jīng)網(wǎng)絡(luò),最終接入Softmax層產(chǎn)生預(yù)測(cè)值.

本文研究的神經(jīng)網(wǎng)絡(luò)均采用TensorFlow 框架,并基于NvidiaTitanXPascalGPU,以完全監(jiān)督的方式從頭開始訓(xùn)練實(shí)現(xiàn).采用基于Adam 更新規(guī)則的隨機(jī)梯度下降法,最小化模型的交叉熵?fù)p失函數(shù).

2.4 實(shí)驗(yàn)結(jié)果

本節(jié)展示本文所提出的級(jí)聯(lián)組合模型的總體性能,并系統(tǒng)分析EEG 空間和時(shí)間上下文信息對(duì)實(shí)驗(yàn)結(jié)果的影響.并通過NORM 特征和PSD 特征在效價(jià)和喚醒度兩個(gè)維度上二分類計(jì)算的精度,對(duì)本文提出的模型以及特征表示方法進(jìn)行深入的探究.

2.4.1 效價(jià)維度上的實(shí)驗(yàn)結(jié)果與分析

本文提出的級(jí)聯(lián)組合模型以及各種基準(zhǔn)模型的整體實(shí)驗(yàn)性能見表2.觀察發(fā)現(xiàn):以二維網(wǎng)狀PSD 特征為輸入的Casc_CNN_LSTM 和Casc_CNN_CNN 分別取得了93.15%和92.37%的準(zhǔn)確率,兩種組合模型均優(yōu)于幾種基準(zhǔn)模型和最新方法的分類性能.這表明上下文空間和時(shí)間信息對(duì)于提升EEG 情感分類識(shí)別性能非常關(guān)鍵.實(shí)驗(yàn)中,我們還嘗試使用了較大或較小的滑動(dòng)窗進(jìn)行EEG 數(shù)據(jù)分段,結(jié)果都會(huì)導(dǎo)致組合模型性能明顯下降.在不同范圍內(nèi)通過改變滑動(dòng)窗口大小,可以使模型適應(yīng)不同類型的EEG 信號(hào)分類,體現(xiàn)該方法具有較好的靈活性.而且與以往的研究相比,該模型對(duì)原始數(shù)據(jù)的預(yù)處理較少,更適合于BCI 等實(shí)時(shí)應(yīng)用.

Table 2 Comparison of the accuracy of two types of emotion classification in the valence dimension between the benchmark model and the cascade hybrid model表2 基準(zhǔn)模型與級(jí)聯(lián)混合模型在效價(jià)上進(jìn)行兩類情感分類準(zhǔn)確率的比較

除此以外,我們發(fā)現(xiàn):基于文獻(xiàn)[19]中2D-CNN 模型改進(jìn)的2D-CNN-V2 模型,分類準(zhǔn)確率相較之前高出了1.63%.原因一方面是輸入特征的變化,正如第2.2 節(jié)中所述,由于頻域特征能夠捕獲更多情感相關(guān)的大腦動(dòng)態(tài),PSD 特征相較于NORM 特征在情感分類任務(wù)中的準(zhǔn)確率更高,而PSD 與NORM 的混合特征雖然擴(kuò)充了數(shù)據(jù)量,并在一定程度上提升了模型的泛化能力,但對(duì)于情感分類任務(wù)而言,混合特征的準(zhǔn)確率低于單一的PSD 特征;另一方面是由于改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)更加復(fù)雜,卷積層中卷積核的個(gè)數(shù)由4 個(gè)上升為32 個(gè),提取了更多的空間信息,從而提升了模型的性能.

以PSD 特征為輸入的BILSTM(64)模型的分類準(zhǔn)確率達(dá)到了89.81%,低出2D-CNN-V2 模型僅有0.35%的差距.這說明無論是在時(shí)域還是空域上,針對(duì)DEAP 數(shù)據(jù)集,單一模型在不同維度上的情感分類任務(wù)精度相差不大.而2D-CNN-V2 模型相較于Casc-CNN-CNN 模型準(zhǔn)確率降低了2.21%,BiLSTM(64)模型相較于Casc-CNN- LSTM 模型準(zhǔn)確率降低了3.34%,這說明單一模型在不同維度上的表現(xiàn)都不如混合模型.

與文獻(xiàn)[16,18,19]中最新的方法相比,本文提出的Casc-CNN-CNN 模型比Alhagr 等人[16]提出的LSTM 模型的性能高出6.92%,比Chen 等人[19]提出的BT 淺層分類器的性能高出6.06%,比Salama 等人[18]提出的3D-CNN模型和Chen 等人[19]提出2D-CNN 模型的性能分別高出4.93%和3.84%.Casc-CNN-LSTM 模型也比Alhagr 等人[16]提出的LSTM 模型的性能高出7.7%,比Chen 等人[19]提出的BT 淺層分類器的性能高出了6.84%,比Salama等人[18]提出的3D-CNN 模型和Chen 等人[19]提出2D-CNN 模型的性能分別高出5.71%和4.62%,性能提升都比較顯著.這表明本文提出的二維網(wǎng)狀PSD 特征相較于一維鏈?zhǔn)教卣靼烁嗟臅r(shí)空上下文信息,而且本文提出的兩種混合深度神經(jīng)網(wǎng)絡(luò)相較淺層機(jī)器學(xué)習(xí)算法和單一神經(jīng)網(wǎng)絡(luò)模型在深層時(shí)空特征聯(lián)合學(xué)習(xí)上具有明顯的優(yōu)越性.

本文提出的以二維網(wǎng)狀PSD 特征為輸入Casc_CNN_CNN 模型的測(cè)試集平均分類準(zhǔn)確率達(dá)到了92.37%,32名被試者詳細(xì)的預(yù)測(cè)精度如圖4 所示.

Fig.4 Statistics chart of Casc_CNN_CNN model test set classification accuracy results圖4 Casc_CNN_CNN 模型測(cè)試集分類精度結(jié)果統(tǒng)計(jì)圖

第18 名被試者的分類準(zhǔn)確率達(dá)到了97.19%,為所有被試者中最高.圖5 為其訓(xùn)練過程曲線,下方曲線表示訓(xùn)練平均誤差loss,上方曲線表示訓(xùn)練準(zhǔn)確率acc.

Fig.5 Casc_CNN_CNN model sub18 training process diagram圖5 Casc_CNN_CNN 模型sub18 訓(xùn)練過程示意圖

通過觀察圖5 可以得知:訓(xùn)練過程中,隨著迭代次數(shù)iteration 的增加,平均誤差loss 雖然出現(xiàn)過3 次驟然上升后又急速下降的情況,但整體依然呈現(xiàn)下降并不斷向零趨近的態(tài)勢(shì);訓(xùn)練準(zhǔn)確率acc 整體上向1 趨近,最終在0.99 附近達(dá)到收斂.Iteration 從0 增至3500 期間,loss 初始值從0.7 附近開始,隨著iteration 的變大而以螺旋梯度下降的方式不斷向0 逼近.而acc 以將近每iteration 增加1.86×10-4的速度,以螺旋梯度上升的方式,從0.3 升至0.95.在這一過程中,acc 的增速在iteration 等于1800~2500 左右出現(xiàn)過3 次幅度較大的減小.隨著acc 曲線斜率的降低,loss 值雖然不斷減小,但其下降趨勢(shì)也逐步放緩.本文作者分析認(rèn)為,該現(xiàn)象的出現(xiàn)有兩個(gè)原因:一是由于超參數(shù)batch_size 設(shè)置偏小,在模型較為復(fù)雜的情況下,每輪迭代需要更新的參數(shù)較多,如果輸入數(shù)據(jù)不足,則會(huì)導(dǎo)致loss 函數(shù)震蕩而不收斂的情況;二是由于超參數(shù)learning rate 設(shè)置的偏大,雖然在訓(xùn)練開始時(shí)模型的性能得到了快速的提升,但隨著iteration 的增加,模型難以快速找到最優(yōu)解,從而導(dǎo)致了loss 震蕩而不收斂情況的出現(xiàn).而當(dāng)?shù)?600、4200、5500 輪左右時(shí),模型都出現(xiàn)了loss 突然增大和acc 突然減小的情況,但作者認(rèn)為,這是由于學(xué)習(xí)過程中的梯度并不是目標(biāo)函數(shù)最優(yōu)方向所導(dǎo)致的正常現(xiàn)象.而隨著iteration 的繼續(xù)增加,兩條曲線都趨于平穩(wěn),斜率也逐漸收斂至0.最終,作者以acc 在4000 輪內(nèi)無增長作為模型終止訓(xùn)練的條件.訓(xùn)練終止后,將測(cè)試集數(shù)據(jù)放進(jìn)該模型中進(jìn)行分類預(yù)測(cè),記錄預(yù)測(cè)結(jié)果并繪制成如圖4 所示柱狀圖.

本文提出的以二維網(wǎng)狀PSD 特征為輸入的Casc_CNN_LSTM 模型的測(cè)試集平均分類準(zhǔn)確率達(dá)到了93.15%,32 名被試者詳細(xì)的預(yù)測(cè)精度如圖6 所示.

Fig.6 Statistics chart of Casc_CNN_LSTM model test set classification accuracy results圖6 Casc_CNN_LSTM 模型測(cè)試集分類精度結(jié)果統(tǒng)計(jì)圖

觀察圖4 和圖6 不難發(fā)現(xiàn):在Casc_CNN_CNN 和Casc_CNN_LSTM 兩種模型上,效價(jià)情感分類精度的前三名是相同的第18、第22、第27 這3 名被試.可見:兩種混合模型性能總體上具有一致性和穩(wěn)定性,也表明該3個(gè)被試的二維網(wǎng)狀PSD 特征中被挖掘到的情感相關(guān)的空間、時(shí)間判別性信息較少.第27 名被試者的分類準(zhǔn)確率達(dá)到了97.28%,為所有被試者中最高.圖7 為其訓(xùn)練過程曲線,下方曲線表示訓(xùn)練平均誤差loss,上方曲線表示訓(xùn)練準(zhǔn)確率acc.

Fig.7 Casc_CNN_LSTM model sub27 training process diagram圖7 Casc_CNN_LSTM 模型sub27 訓(xùn)練過程示意圖

通過觀察上圖可以得知:訓(xùn)練過程中,平均誤差loss 在逐步降低并收斂的同時(shí),訓(xùn)練準(zhǔn)確率acc 也逐步收斂于1.迭代次數(shù)iteration 從0 至3500 期間,loss 呈現(xiàn)螺旋梯度下降的態(tài)勢(shì),該時(shí)期內(nèi)的acc 以螺旋梯度上升的態(tài)勢(shì)從0.32 提升至0.94 附近.而當(dāng)iteration 從3500 增至7000 期間,loss 和acc 均在一定幅度內(nèi)發(fā)生震蕩.但在迭代7000 次之后,acc 和loss 雖依然有所波動(dòng),但相較之前震幅明顯變小.最終,loss 曲線逐漸收斂于0,acc曲線逐漸收斂于1.iteration 從0 增至3500 期間,acc 增幅為0.62,增速約為每iteration 增長1.774×10-4;而iteration 從 3500 增至7000 的震蕩期,acc 增幅為僅為0.05,增速約為每iteration 增長1.429×10-5,衰減達(dá)到了91.945%.這也是由于超參數(shù)learningrate 設(shè)置偏大,模型的梯度難以按照預(yù)想的方式下降,而最終表現(xiàn)為loss 曲線的震蕩.訓(xùn)練終止后,將測(cè)試集數(shù)據(jù)放進(jìn)該模型中進(jìn)行分類預(yù)測(cè),預(yù)測(cè)結(jié)果如圖6 所示.

為了進(jìn)一步探究二維網(wǎng)狀EEG 時(shí)空特征表示方法的普適性以及CASC_CNN_CNN 和CASC_CNN_LSTM模型的通用性,作者以變換特征類別、變換EEG 維度為實(shí)驗(yàn)方法,以模型進(jìn)行二分類計(jì)算的準(zhǔn)確率為衡量標(biāo)準(zhǔn),對(duì)本文所提出的特征表示方法以及模型的性能進(jìn)行研究.為了保證對(duì)比實(shí)驗(yàn)的客觀性和有效性,除PSD 特征之外,作者還選擇了應(yīng)用范圍廣泛算法原理清晰的NORM 特征(提取方法如第2.2 節(jié)中所述,數(shù)據(jù)格式見表1)在效價(jià)和喚醒度兩個(gè)維度上進(jìn)行二分類計(jì)算.每個(gè)特征在每個(gè)維度上分別使用 2D-CNN-V2,BILSTM(64),CASC-CNN-CNN,CASC-CNN-LSTM 這4 種模型進(jìn)行情感分類計(jì)算.效價(jià)維度上的計(jì)算結(jié)果見表3.

Table 3 Comparison of the accuracy of NORM features between two types of emotion classification in the valence dimension表3 效價(jià)維度上NORM 和PSD 特征兩類情感分類準(zhǔn)確率的比較

在效價(jià)維度上,以2D-NORM 特征作為輸入的CASC-CNN-CNN,CASC-CNN-LSTM 模型的分類精度為62.39%,55.21%,比以鏈?zhǔn)?NORM 特征作為輸入的 2D-CNN-V2,BILSTM(64)模型的 55.2%,50.7%分別高出7.19%和4.51%.效價(jià)維度上的NORM 特征經(jīng)過維度轉(zhuǎn)換后,分類精度平均提高了5.85%.而當(dāng)兩個(gè)級(jí)聯(lián)模型以2D-PSD 特征作為輸入時(shí),分類準(zhǔn)確率分別達(dá)到了92.37%和93.15%,比以鏈?zhǔn)絇SD 特征作為輸入的2D-CNN- V2,BILSTM(64)模型的90.16%,89.81%分別高出2.21%和3.34%.效價(jià)維度上的PSD 特征經(jīng)過維度轉(zhuǎn)換后,分類精度平均提高了2.775%.效價(jià)維度上的NORM 特征在兩類情感計(jì)算任務(wù)中4 種模型的平均分類精度僅有55.875%,而PSD 特征4 種模型的平均分類精度則達(dá)到了91.37%.

就平均分類精度而言,PSD 特征相較NORM 特征高出了35.495%.但就特征結(jié)構(gòu)的改變對(duì)特征可分性的影響而言,NORM 特征則比PSD 特征高出3.075%.該組實(shí)驗(yàn)可以證明:級(jí)聯(lián)模型比單一模型的分類能力更強(qiáng),二維網(wǎng)狀特征比一維鏈?zhǔn)教卣鞯目煞中愿?并且就特征的維度轉(zhuǎn)換對(duì)于特征數(shù)據(jù)可分性的提升而言,NORM 特征相較于PSD 特征的提升幅度更大.

2.4.2 喚醒度維度上的實(shí)驗(yàn)結(jié)果與分析

為了更加全面地探究二維網(wǎng)狀EEG 時(shí)空特征表示方法的普適性,同時(shí)為了增強(qiáng)實(shí)驗(yàn)間的可對(duì)比性,結(jié)合DEAP 數(shù)據(jù)集的特點(diǎn),作者選擇在喚醒度維度(arousal)上同樣對(duì)NORM 和PSD 特征進(jìn)行4 種模型的腦電分類計(jì)算.特征提取、特征結(jié)構(gòu)轉(zhuǎn)換方法及分類所用模型和模型結(jié)構(gòu)同上文所述完全相同,具體實(shí)驗(yàn)結(jié)果見表4.

Table 4 Comparison of the accuracy of NORM &PSD features between two types of emotion classification in the arousal dimension表4 喚醒度維度上NORM 和PSD 特征兩類情感分類準(zhǔn)確率的比較

在喚醒度維度上,以2D-NORM 特征作為輸入的CASC-CNN-CNN,CASC-CNN-LSTM 模型的分類精度為57.64%,56.63%,比以鏈?zhǔn)絅ORM 特征作為輸入的2D-CNN-V2,BILSTM(64)模型的53.95%,49.57%分別高出3.69%和7.06%.喚醒度維度上的NORM 特征經(jīng)過維度轉(zhuǎn)換后,分類精度平均提高了5.375%.而當(dāng)兩個(gè)級(jí)聯(lián)模型以2D-PSD 特征作為輸入時(shí),分類準(zhǔn)確率分別達(dá)到了91.02%和92.84%,比以鏈?zhǔn)絇SD 特征作為輸入的2D-CNN- V2,BILSTM(64)模型的88.51%,88.89%分別高出2.51%和3.95%.喚醒度維度上的PSD 特征經(jīng)過維度轉(zhuǎn)換后,分類精度平均提高了3.23%.就特征結(jié)構(gòu)的改變對(duì)特征可分性的影響而言,喚醒度維度下,NORM 特征依然比PSD特征高出2.145%.

結(jié)合表3、表4 可以發(fā)現(xiàn):效價(jià)維度上NORM 特征經(jīng)過結(jié)構(gòu)轉(zhuǎn)換后,其分類精度提升了5.85%;而在喚醒度維度上,NORM 特征經(jīng)過轉(zhuǎn)換后提升的精度值為5.375%.二者僅相差0.475%.而效價(jià)和喚醒度維度上的PSD 特征經(jīng)過轉(zhuǎn)換后提升的分類精度分別為2.775%和3.23%,兩者的差值也僅為0.455%.

以上實(shí)驗(yàn)說明:在效價(jià)和喚醒度維度上,NORM 特征和PSD 特征數(shù)據(jù)由一維鏈?zhǔn)浇Y(jié)構(gòu)轉(zhuǎn)變?yōu)槎S網(wǎng)狀結(jié)構(gòu)后,特征的可分性都會(huì)得到提升;并且特征結(jié)構(gòu)的轉(zhuǎn)換對(duì)于只包含時(shí)域信息的NORM 特征的影響大于包含時(shí)頻信息的PSD 特征的影響;同時(shí),對(duì)于NORM 特征和PSD 特征而言,當(dāng)其分別處于效價(jià)和喚醒度維度上時(shí),一維到二維的特征結(jié)構(gòu)變化為其分類精度帶來的提高大致相同.

2.5 時(shí)間與空間信息對(duì)模型性能的影響

我們還比較了兩種級(jí)聯(lián)組合神經(jīng)網(wǎng)絡(luò)與其他幾種基準(zhǔn)神經(jīng)網(wǎng)絡(luò)的性能,來研究分析空間與時(shí)間信息對(duì)EEG 情感識(shí)別的影響.通過比較Casc-CNN-CNN 與2D-CNN 發(fā)現(xiàn),Casc-CNN-CNN 的總體性能優(yōu)于2D-CNN.這表明提取二維網(wǎng)狀物理相鄰傳感器上的腦電信號(hào)比簡單的一維鏈?zhǔn)侥X電信號(hào)能更有效地捕獲EEG 的空間相關(guān)性,這更有助于識(shí)別人類大腦的情感模式.從表2 可見:Casc-CNN-CNN 模型的性能又明顯優(yōu)于3D-CNN 與LSTM 模型的性能,比3D-CNN 模型在效價(jià)上的分類性能提高了4.63%,比LSTM 模型的性能提高了6.92%,表現(xiàn)出了顯著的持續(xù)提升趨勢(shì).

而我們的Casc-CNN-LSTM 級(jí)聯(lián)組合模型在對(duì)每一個(gè)采樣點(diǎn)的二維網(wǎng)狀數(shù)據(jù)進(jìn)行空間特征學(xué)習(xí)后,利用LSTM 提取進(jìn)一步學(xué)習(xí)一個(gè)EEG 樣本內(nèi)連續(xù)采樣點(diǎn)之間的全局時(shí)間動(dòng)態(tài),因此在效價(jià)上的分類性能進(jìn)一步提高.然而,當(dāng)使用單純的LSTM 模型只考慮時(shí)間相關(guān)性時(shí),其識(shí)別率下降到85.45%,與組合模型的93.15%相差7.7%,這說明時(shí)空特征的結(jié)合對(duì)腦電信號(hào)的準(zhǔn)確分析是至關(guān)重要的.我們提出的級(jí)聯(lián)卷積遞歸組合模型的識(shí)別率達(dá)到93%以上,表明這種特征融合方法具有很強(qiáng)的時(shí)空表示能力,時(shí)空融合特征明顯增強(qiáng)了腦電信號(hào)情感識(shí)別的準(zhǔn)確性.

3 總 結(jié)

本文首先提出一種新的基于網(wǎng)狀序列的EEG 時(shí)空特征表示方法,將每一個(gè)采樣點(diǎn)上原始的一維鏈?zhǔn)酵ǖ佬畔⑥D(zhuǎn)換成二維網(wǎng)狀空間信息,該網(wǎng)狀結(jié)構(gòu)與EEG 電極位置的腦區(qū)分布相對(duì)應(yīng),以此更好地表示EEG 信號(hào)物理上多個(gè)相鄰電極之間的空間相關(guān)性.再應(yīng)用滑動(dòng)窗將二維網(wǎng)狀序列切分成一個(gè)個(gè)等長的時(shí)間片段,作為新的融合了EEG 時(shí)空相關(guān)性的數(shù)據(jù)表示.本文還提出兩種用于EEG 情感識(shí)別的端對(duì)端、可訓(xùn)練的混合深度神經(jīng)網(wǎng)絡(luò)模型:通過CNN 網(wǎng)絡(luò),從轉(zhuǎn)換的EEG 時(shí)空數(shù)據(jù)表示中捕獲物理上相鄰電極之間數(shù)據(jù)的空間相關(guān)性;通過LSTM網(wǎng)絡(luò),學(xué)習(xí)EEG 數(shù)據(jù)流在時(shí)序上的依賴關(guān)系.采用大規(guī)模數(shù)據(jù)集DEAP 中32 名被試在效價(jià)和喚醒度上兩類EEG數(shù)據(jù),來評(píng)估我們提出的EEG 時(shí)空特征表示方法及混合深度學(xué)習(xí)模型的性能.實(shí)驗(yàn)結(jié)果表明:兩種級(jí)聯(lián)混合深度學(xué)習(xí)模型在效價(jià)上兩類情感的識(shí)別的平均準(zhǔn)確率分別達(dá)到了93.15%和92.37%,均明顯優(yōu)于目前最先進(jìn)的方法,表明本文提出的方法能夠利用混合神經(jīng)網(wǎng)絡(luò)有效地聯(lián)合學(xué)習(xí)腦電信號(hào)在空間與時(shí)間上的相關(guān)性,進(jìn)一步提高EEG 情感識(shí)別的準(zhǔn)確率和魯棒性,可以有效地應(yīng)用到基于EEG 的情感分類與識(shí)別相關(guān)應(yīng)用當(dāng)中.