房春英, 張 影
(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院, 哈爾濱 150022)
情感是大腦的高級(jí)認(rèn)知過(guò)程,情感的不同狀態(tài)會(huì)誘發(fā)大腦活動(dòng);反之,大腦的活動(dòng)會(huì)反映出情感狀態(tài)的變化。神經(jīng)科學(xué)表明,人類的情感與大腦的各個(gè)腦區(qū)密切相關(guān),如眼眶前額葉皮質(zhì)、腹側(cè)前額葉皮質(zhì)和杏仁核等[1]。因此,研究人腦產(chǎn)生情感的生理機(jī)制對(duì)研究和探索人工智能、臨床疾病監(jiān)測(cè)和情感識(shí)別具有重要價(jià)值和研究意義。目前,常見的情感識(shí)別研究方法主要是基于生理信號(hào),其中,腦電信號(hào)具有不易偽裝性、實(shí)時(shí)差異性、易采集等優(yōu)點(diǎn),具有更高的識(shí)別精度,應(yīng)用也更加廣泛[2]?;谀X電信號(hào)的主要研究步驟為腦電信號(hào)的獲取、預(yù)處理、特征提取以及分類識(shí)別[3]。
在特征提取和情感識(shí)別方面,Petrantonakis等[4]通過(guò)高階通道提取腦電特征,利用支持向量機(jī)算法進(jìn)行情感分類,正確率達(dá)83.33%。Hosseini等[5]在腦電信號(hào)中提取了可以代表信號(hào)的熵值特征——近似熵和小波熵,使用SVM進(jìn)行分類,情緒識(shí)別準(zhǔn)確率達(dá)到了73.25%。樊強(qiáng)等[6]對(duì)不同情感狀態(tài)下信息交流問(wèn)題進(jìn)行研究,基于EEG的情感腦網(wǎng)絡(luò)進(jìn)行二分類研究,實(shí)現(xiàn)了83.6%的二分類準(zhǔn)確率,獲得了不同的情緒狀態(tài)下各腦區(qū)的信息流量強(qiáng)度與喚醒度有關(guān)。Li等[7]提取了EEG的波段信號(hào),利用SVM進(jìn)行正負(fù)情緒識(shí)別,識(shí)別率為93.5%。
在采用較少節(jié)點(diǎn)進(jìn)行情感識(shí)別的研究中,Zheng等[8]構(gòu)建了識(shí)別人類情感的多模態(tài)框架,對(duì)情感四分類的實(shí)驗(yàn)證明了6個(gè)電極通道可以實(shí)現(xiàn)略低于全部節(jié)點(diǎn)通道的性能。Zheng等[9]討論了四種頻帶和通道的模式下情感識(shí)別的準(zhǔn)確率,其中12通道模式得到最佳準(zhǔn)確率為86.65%,可以選擇較少的通道數(shù)對(duì)情感信息進(jìn)行表達(dá),但是識(shí)別率依然需要進(jìn)一步提高。
雖然已有的研究方法可以有效進(jìn)行情感識(shí)別,但沒有較好的方法選擇腦區(qū)節(jié)點(diǎn),所提取的特征識(shí)別率仍然可以進(jìn)一步提升。因此,筆者針對(duì)目前腦區(qū)分析空缺和對(duì)大腦節(jié)點(diǎn)選擇缺少依據(jù)的研究現(xiàn)狀,提出基于節(jié)點(diǎn)波動(dòng)指標(biāo)的情感腦區(qū)分析,利用計(jì)算出的節(jié)點(diǎn)波動(dòng)指標(biāo)來(lái)量化腦區(qū)的活躍程度,從而實(shí)現(xiàn)情感狀態(tài)下腦區(qū)分析和相關(guān)節(jié)點(diǎn)的選擇。
腦網(wǎng)絡(luò)情感識(shí)別領(lǐng)域的經(jīng)典研究方法,如圖1所示。即通過(guò)刺激誘發(fā)情感來(lái)建立和驗(yàn)證收集腦電圖數(shù)據(jù)模型,對(duì)采集的原始EEG數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,基于領(lǐng)域知識(shí)引導(dǎo)的特征提取、篩選與情感狀態(tài)相關(guān)的特征,以及選擇學(xué)習(xí)模型評(píng)估指標(biāo)和性能。
圖1 腦網(wǎng)絡(luò)情感識(shí)別研究方法
鑒于大腦在不同情感狀態(tài)下腦區(qū)的活躍程度不同,在提取情感相關(guān)特征時(shí),選取的評(píng)價(jià)指標(biāo)不統(tǒng)一導(dǎo)致不能準(zhǔn)確選擇出能夠識(shí)別大腦情感的腦區(qū)和節(jié)點(diǎn),因此,采用基于腦網(wǎng)絡(luò)節(jié)點(diǎn)波動(dòng)分析情感腦區(qū),得出大腦情感的腦區(qū)分布模式,并對(duì)分析結(jié)果進(jìn)行驗(yàn)證。主要包括:鎖相值(Phase locking value,PLV)構(gòu)建腦網(wǎng)絡(luò)、基于節(jié)點(diǎn)波動(dòng)(Node fluctuations, NF)指標(biāo)的情感腦區(qū)分析、提取特征差分熵(Differential entropy, DE)和情感識(shí)別。研究流程如圖2所示。
圖2 文中研究流程
1.2.1 鎖相值構(gòu)建腦網(wǎng)絡(luò)
PLV主要適用于神經(jīng)電信號(hào)之間的計(jì)算,通過(guò)有限脈沖響應(yīng)(FIR)濾波器選取所需要的頻帶,利用希爾伯特變換計(jì)算信號(hào)的瞬時(shí)相位值為
(1)
窄帶信號(hào)x(t)=a(t)cos(2πfst+φ(t)),其中φ(t)為相位值。
使用得到的相位值進(jìn)行計(jì)算PLV[12]的表達(dá)式為
(2)
式中:N——trial的個(gè)數(shù);
φ(t,n)——不同導(dǎo)聯(lián)之間的瞬時(shí)相位差;
P——鎖相值。
鎖相值取值范圍為0~1,反映兩個(gè)信號(hào)的相位波動(dòng)情況[10-13]。將N導(dǎo)聯(lián)的電極作為節(jié)點(diǎn),節(jié)點(diǎn)間的鎖相值為邊,構(gòu)建腦電信號(hào)的相關(guān)性矩陣,選擇合適的閾值,將相關(guān)性矩陣轉(zhuǎn)換為鄰接矩陣,生成腦功能網(wǎng)絡(luò)[14]。
1.2.2 基于節(jié)點(diǎn)波動(dòng)指標(biāo)的情感腦區(qū)分析方法
動(dòng)態(tài)腦網(wǎng)絡(luò)的構(gòu)建方法,在時(shí)頻域?qū)r(shí)序信息情感活動(dòng)構(gòu)建為腦功能網(wǎng)絡(luò)表示可解釋的時(shí)間序列,可以理解為每個(gè)腦功能網(wǎng)絡(luò)不同的狀態(tài)表示在時(shí)間上的波動(dòng)。針對(duì)腦功能網(wǎng)絡(luò)序列中的動(dòng)態(tài)演化,本研究從時(shí)頻域提出基于節(jié)點(diǎn)波動(dòng)指標(biāo)的情感腦區(qū)發(fā)現(xiàn)方法。
大腦通過(guò)刺激信息引發(fā)情感時(shí),可以檢出與刺激有相對(duì)固定時(shí)間間隔的生物電反應(yīng)。它反映了情感過(guò)程中大腦的神經(jīng)電生理變化,采用節(jié)點(diǎn)波動(dòng)方法分析情感過(guò)程中信息加工的神經(jīng)元變化,找出產(chǎn)生情感過(guò)程中,與刺激相關(guān)的神經(jīng)元活動(dòng)明顯的時(shí)段。針對(duì)每個(gè)時(shí)段計(jì)算節(jié)點(diǎn)波動(dòng),計(jì)算方法如算法1所示,N個(gè)時(shí)間段得到{NF1,NF2,…,NFN}指標(biāo)。
算法1節(jié)點(diǎn)波動(dòng)計(jì)算算法
輸入:Dataset SEED
導(dǎo)入數(shù)據(jù)
fort=1 to fileNum do
Array{1, 2, … , Nnum}importData(file)
end
fori= 1 to nodeNum do
forj= 1 to fileNum do
forq= 1 to fileNum do
aA{j}; bA{q};
TimeMatrix (j,q)corr2(a(i, :), b(i, :));
end
end
NF(TimeMatrix)
end
輸出:NF
其中:fileNum為腦功能網(wǎng)絡(luò)數(shù),nodeNum為腦網(wǎng)絡(luò)節(jié)點(diǎn)數(shù),TimeMatrix為節(jié)點(diǎn)波動(dòng)矩陣,NF為節(jié)點(diǎn)波動(dòng)矩陣指標(biāo),corr為皮爾森相關(guān)性系數(shù)。
1.2.3 提取差分熵特征
差分熵?cái)U(kuò)展了香農(nóng)熵的思想,用于測(cè)量連續(xù)隨機(jī)變量的復(fù)雜性,由于腦電數(shù)據(jù)的低頻能量高于高頻能量,DE具有區(qū)分低頻和高頻能量的腦電模式的平衡能力[9]。差分熵的計(jì)算公式為
(3)
式(3)中,隨機(jī)變量X服從高斯分布N(μ,σ2),差分熵為
(4)
研究表明,對(duì)于一個(gè)固定長(zhǎng)度的腦電分段,差分熵等價(jià)于特定頻帶內(nèi)的對(duì)數(shù)能量譜[10]。因此,差分熵可以在五個(gè)頻段計(jì)算,對(duì)于特定的腦電序列,使用256點(diǎn)短時(shí)傅里葉變換和1 s的非重疊漢寧窗來(lái)提取腦電信號(hào)的五個(gè)頻帶。
采用的腦電信號(hào)數(shù)據(jù)來(lái)源是上海交通大學(xué)公開的腦電情感數(shù)據(jù)集(SJTU EEG Emotion dataset,SEED)[11]。該數(shù)據(jù)集選擇15個(gè)電影片段引出積極、消極和中性三種情緒狀態(tài),其中,5個(gè)用于激發(fā)積極情緒,5個(gè)用于激發(fā)消極情緒,5個(gè)用于激發(fā)中性情緒。15名受試者參與實(shí)驗(yàn)(7男性和8女性;平均年齡:23.27,方差:2.37),每個(gè)人隔一周或更長(zhǎng)時(shí)間參加三次實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中,使用62通道電極帽采集受試者的EEG信號(hào),采樣率為1 000 Hz。電影片段是按隨機(jī)順序播放的,每個(gè)片段前有10 s的提示,每個(gè)片段后休息20 s,電影片段持續(xù)約4 min。SEED數(shù)據(jù)集公開的數(shù)據(jù)采樣頻率為已降采樣至200 Hz。實(shí)驗(yàn)流程如圖3所示。
圖3 SEED數(shù)據(jù)集采集流程
數(shù)據(jù)集中包含15名受試者的3次實(shí)驗(yàn)數(shù)據(jù),其中每次實(shí)驗(yàn)包括15個(gè)時(shí)長(zhǎng)約4 min的觀看電影片段引發(fā)的腦電數(shù)據(jù)。本研究提取每部電影持續(xù)時(shí)間相對(duì)應(yīng)的EEG片段,每個(gè)片段采集到的腦電數(shù)據(jù)是62×47 001的二維矩陣,其中,62表示電極通道數(shù),47 001表示每個(gè)電極位置的樣本點(diǎn)個(gè)數(shù)。為了便于計(jì)算和切片,僅選擇36 000個(gè)樣本點(diǎn)數(shù)據(jù)作為各個(gè)數(shù)據(jù)的大小,將多出的部分舍棄。
實(shí)驗(yàn)選擇15名受試者,對(duì)每名受試者觀看電影片段所采集的腦電數(shù)據(jù)進(jìn)行三分類的實(shí)驗(yàn)。實(shí)驗(yàn)總樣本量為675個(gè)樣本數(shù)據(jù),其中,選取405個(gè)作為訓(xùn)練數(shù)據(jù),270個(gè)作為測(cè)試數(shù)據(jù),每個(gè)樣本的62個(gè)通道被劃分為相同長(zhǎng)度的1 s進(jìn)行切片,窗口沒有重疊。
腦網(wǎng)絡(luò)特征分析中常用的統(tǒng)計(jì)分析方法包括:配對(duì)樣本T檢驗(yàn)(matched T-test,T-test)和統(tǒng)計(jì)分布程度計(jì)算。
2.2.1 配對(duì)樣本T檢驗(yàn)
T-test經(jīng)常用于兩組連續(xù)變量的差異性分析。兩組配對(duì)樣本u1和u2,其檢驗(yàn)統(tǒng)計(jì)量t計(jì)算公式[14-15]為
(5)
式中:d——每對(duì)數(shù)據(jù)的差值;
Sd——差值的標(biāo)準(zhǔn)差;
n——樣本數(shù)量;
μd——假設(shè)的均差值。
根據(jù)自由度計(jì)算統(tǒng)計(jì)量t,查詢t分布表對(duì)比其自由度在n-1 處的p值(p值是抽樣分布中大于或小于樣本統(tǒng)計(jì)量的概率);當(dāng)p值低于或等于顯著性水平0.05,則可以拒絕無(wú)效假設(shè),即兩組配對(duì)數(shù)據(jù)有顯著差異。
2.2.2 統(tǒng)計(jì)分布計(jì)算
標(biāo)準(zhǔn)差是常用衡量統(tǒng)計(jì)分布程度的重要指標(biāo),能夠反映一個(gè)數(shù)據(jù)集的離散程度[16]。標(biāo)準(zhǔn)差越大,表示數(shù)據(jù)集大部分?jǐn)?shù)值與其平均值差異較大。
標(biāo)準(zhǔn)差的公式為
(6)
式中:n——樣本數(shù)量;
xi——樣本值;
2.3.1 基于NF指標(biāo)的情感腦區(qū)選擇
采用鎖相值方法將62通道的EEG數(shù)據(jù)構(gòu)建成動(dòng)態(tài)腦功能網(wǎng)絡(luò),在時(shí)頻域內(nèi)計(jì)算62通道的節(jié)點(diǎn)波動(dòng)矩陣,并將節(jié)點(diǎn)波動(dòng)矩陣的標(biāo)準(zhǔn)差作為NF指標(biāo),繪出腦地形圖。通過(guò)圖中顏色情況可以判斷大腦在情感狀態(tài)下活動(dòng)區(qū)域和活躍程度,如圖4~6所示。
圖4 積極情感狀態(tài)下不同頻段的節(jié)點(diǎn)波動(dòng)腦地形
圖5 中性情感狀態(tài)下不同頻段的節(jié)點(diǎn)波動(dòng)腦地形
圖6 消極情感狀態(tài)下不同頻段的節(jié)點(diǎn)波動(dòng)腦地形
通過(guò)文中的計(jì)算結(jié)果可以看出,在情感狀態(tài)下,高頻段的額葉與顳葉腦區(qū)活躍程度明顯高于低頻段的腦區(qū)活躍程度。在低頻段的腦區(qū)活動(dòng)程度中,delta頻段高于alpha頻段和theta頻段。
由圖4~6可見,呈現(xiàn)了刺激引發(fā)的三種情感狀態(tài)下能量變化模式,三種情感中都存在高頻頻段的能量增強(qiáng)?;谖闹刑岢龅姆椒ㄔ诘皖l波段得到的結(jié)果可以看出,低頻時(shí)大腦皮層兩側(cè)增量減少;而高頻時(shí),大腦皮層兩側(cè)和前部能量增強(qiáng)。
選擇的電極如圖7所示。根據(jù)節(jié)點(diǎn)波動(dòng)發(fā)現(xiàn)的情感規(guī)律,在每個(gè)頻帶的62腦電信號(hào)通道中選擇12個(gè)通道的腦電信號(hào),分布在左右顳葉區(qū),具體為F7、FT7、T7、T8、TP7、F8、FT8、TP8、F3、F4、C3、C4。
圖7 選擇的電極
2.3.2 基于情感腦區(qū)的情感狀態(tài)特征
文中將所發(fā)現(xiàn)的大腦情感狀態(tài)規(guī)律引入到基于大腦活動(dòng)的可靠情感模型中。通過(guò)節(jié)點(diǎn)波動(dòng)指標(biāo)選擇出的腦電信號(hào)通道數(shù)據(jù)進(jìn)行特征提取并驗(yàn)證特征的差異性。對(duì)于一個(gè)特定的腦電序列,采用256點(diǎn)短時(shí)傅里葉變換和1 s的非重疊漢寧窗提取腦電信號(hào)的5個(gè)頻帶,然后計(jì)算每個(gè)頻帶的差分熵。
為了驗(yàn)證文中方法所選擇腦電通道在情感狀態(tài)中的可區(qū)分性,提取了12個(gè)節(jié)點(diǎn)數(shù)據(jù)的差分熵特征,將TP8作為研究對(duì)象進(jìn)行詳細(xì)分析。
TP8電極信號(hào)三種情感狀態(tài)的差分熵特征如圖8所示。從圖8可以看出,不同情感在TP8電極信號(hào)的差分熵特征不同。因此,進(jìn)一步從統(tǒng)計(jì)分析角度驗(yàn)證TP8電極信號(hào)差分熵特征的差異性。對(duì)于同一個(gè)被試,三種情感每種情感的5次實(shí)驗(yàn)進(jìn)行配對(duì)T檢驗(yàn)分析,圖9~11為TP8節(jié)點(diǎn)的積極情感與消極情感、積極情感與中性情感和消極情感與中性情感的差分熵統(tǒng)計(jì)分析結(jié)果。
圖8 三種情感的TP8差分熵特征
圖9 積極和消極情感的TP8差分熵特征統(tǒng)計(jì)
圖10 積極和中性情感的TP8差分熵特征統(tǒng)計(jì)
圖11 消極和中性情感的TP8差分熵特征統(tǒng)計(jì)
從統(tǒng)計(jì)檢驗(yàn)結(jié)果可以看出,三種情感的TP8電極信號(hào)的差分熵特征差異顯著(p<0.05)。對(duì)于其他選取節(jié)點(diǎn)差分熵的差異性采用同樣方法驗(yàn)證后,均得到差異顯著的結(jié)果。上述結(jié)果表明,采用節(jié)點(diǎn)波動(dòng)方法選擇出的節(jié)點(diǎn)在三種情感狀態(tài)下差分熵特征存在明顯的差異,可以將差分熵作為分類特征進(jìn)行識(shí)別。
2.3.3 EEG情感識(shí)別
數(shù)據(jù)集中,每個(gè)被試進(jìn)行三次實(shí)驗(yàn),每次實(shí)驗(yàn)觀看15個(gè)電影頻段,分別對(duì)應(yīng)5次積極、5次中性、5次消極的三種情感類別,其中每次實(shí)驗(yàn)分類策略設(shè)為前9個(gè)頻段為訓(xùn)練集,后6個(gè)頻段為測(cè)試集。實(shí)驗(yàn)的總樣本量為675,為了提高識(shí)別的準(zhǔn)確度,每個(gè)樣本按照1 s一次切片,沒有窗口重疊,將樣本擴(kuò)展為121 500。每次實(shí)驗(yàn)24 300個(gè)作為訓(xùn)練數(shù)據(jù)集,162 00個(gè)作為測(cè)試數(shù)據(jù)集。構(gòu)成特征集后,選擇SVM分類器,利用Libsvm工具箱對(duì)特征進(jìn)行分類識(shí)別,分類結(jié)果如表1所示。
表1 每名被試數(shù)據(jù)的分類結(jié)果
由表1可知,每名受試者三次實(shí)驗(yàn)的分類結(jié)果。15名受試者的三次實(shí)驗(yàn)分類結(jié)果中,第一次實(shí)驗(yàn)的分類結(jié)果最高達(dá)到88.27%,取得的分類效果較好。而第二次實(shí)驗(yàn)和第三次實(shí)驗(yàn)的分類結(jié)果分別為87.41%和80.93%,與第一次實(shí)驗(yàn)的分類結(jié)果差別不大,表明文中所用的分類方法在跨時(shí)間預(yù)測(cè)結(jié)果方面依然有參考價(jià)值。
文中還針對(duì)delta、theta、alpha、beta和gamma5個(gè)頻段上DE特征的進(jìn)行分類識(shí)別,結(jié)果如表2所示。由表2可知,gamma頻段的性能優(yōu)于其他頻段,平均識(shí)別率最高達(dá)到86.67%,略低于全頻段88.27%,并且beta頻段識(shí)別率也達(dá)到了80.26%。這一結(jié)果與Duan等[11]的結(jié)論一致,表明gamma頻段與腦電信號(hào)的關(guān)系比其他頻段更為密切,也驗(yàn)證了前文節(jié)點(diǎn)波動(dòng)指標(biāo)在高頻頻段能量增強(qiáng),這一結(jié)果證明了gamma和beta頻段信息是最適合情感識(shí)別的維度,且全頻段信息的結(jié)合可以達(dá)到情感識(shí)別的最佳性能。
表2 不同頻段的分類識(shí)別率
為了驗(yàn)證文中所提出節(jié)點(diǎn)選擇方法的有效性,將文中的研究結(jié)果與發(fā)布SEED數(shù)據(jù)集研究人員公開的分類結(jié)果進(jìn)行對(duì)比,如表3所示。由表3可知,分類器都選用SVM,特征選用DE,以15個(gè)被試一次實(shí)驗(yàn)的總平均為對(duì)比。
表3 實(shí)驗(yàn)結(jié)果對(duì)比
由表3可知,文中通過(guò)基于節(jié)點(diǎn)波動(dòng)指標(biāo)表征的情感腦區(qū)和篩選出的節(jié)點(diǎn)可以對(duì)情感進(jìn)行識(shí)別。在電極數(shù)基本持平的情況下,多被試平均識(shí)別率取得了88.89%的較好結(jié)果。另外,Zheng等[9]所采用的DBN深度信念網(wǎng)絡(luò)對(duì)相同被試和實(shí)驗(yàn)次數(shù)的識(shí)別中達(dá)到86.08%。
采用節(jié)點(diǎn)波動(dòng)選取的腦區(qū)節(jié)點(diǎn)前后分類情況的混淆矩陣,如圖12所示。
圖12 混淆矩陣對(duì)比
圖12a表示Zheng等[9]選取的12節(jié)點(diǎn)腦區(qū),分類時(shí)將消極情感與中性情感和積極情感混淆,不能有效識(shí)別消極情感。而圖12b顯示了采用文中提出的基于節(jié)點(diǎn)波動(dòng)指標(biāo)選擇的腦區(qū)節(jié)點(diǎn)。結(jié)果顯示,在相同分類器的情況下,文中選取的節(jié)點(diǎn)不僅可以提高對(duì)三種情感的識(shí)別效率,還提高了對(duì)消極情感的識(shí)別,大大減少消極情感和中性情感的混淆,驗(yàn)證了文中所采用的基于節(jié)點(diǎn)波動(dòng)指標(biāo)的腦網(wǎng)絡(luò)分析方法可以對(duì)情感進(jìn)行有效識(shí)別。
由此可得,文中方法取得的識(shí)別效率更高,且可以提高對(duì)消極情感的識(shí)別精度,因此文中選擇節(jié)點(diǎn)的方法是成效顯著的。
(1)在目前情感識(shí)別方法的基礎(chǔ)上,提出了基于節(jié)點(diǎn)波動(dòng)指標(biāo)的EEG情感識(shí)別方法,引入節(jié)點(diǎn)波動(dòng)指標(biāo)的計(jì)算方法,該方法可以直觀地量化和分析情感腦區(qū)活躍程度,篩選出明顯與情感相關(guān)的腦區(qū)節(jié)點(diǎn)。
(2)針對(duì)腦網(wǎng)絡(luò)的動(dòng)態(tài)特征,采用鎖相值方法構(gòu)建腦功能網(wǎng)絡(luò),選取符合需要的信號(hào)頻段,并選用分類效果較好的差分熵特征作為情感識(shí)別的分類特征,驗(yàn)證了選取的腦區(qū)節(jié)點(diǎn)可以有效提高大腦在情緒狀態(tài)下的分類效率。
(3)為了便于結(jié)果的橫向?qū)Ρ?文中分類器僅選用了支持向量機(jī)一種分類器,未來(lái)需要增加神經(jīng)網(wǎng)絡(luò)分類方法進(jìn)一步提升情感腦區(qū)識(shí)別效率。