黃義華，童 玥，衡 霞,3，盧 忱，王忠民,3

(1.中興通訊股份有限公司 企業(yè)發(fā)展部，廣東 深圳 518057;2.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121；3.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121;4.移動網(wǎng)絡(luò)和移動多媒體技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518055)

0 引 言

人腦中存在成千上萬的神經(jīng)元，通過神經(jīng)元之間的電位活動傳遞信息，控制著人體的思維活動、肢體協(xié)調(diào)水平和情感狀態(tài)。在情緒產(chǎn)生過程中大腦的許多區(qū)域會被激活共同作用控制，表現(xiàn)為大腦的前部和左、右腦區(qū)最為活躍。由于現(xiàn)有基于單通道特征的研究方法均忽略了信號在空間結(jié)構(gòu)和功能聯(lián)系上的信息，使得提取的特征不能準(zhǔn)確地表征情感。因而從大腦整體宏觀角度，利用腦網(wǎng)絡(luò)對大腦進(jìn)行研究是必要的，又因近年圖論概念的引入以及網(wǎng)絡(luò)分析工具的不斷增加，使得基于復(fù)雜網(wǎng)絡(luò)的研究成為腦電研究領(lǐng)域的熱點(diǎn)。

現(xiàn)有基于腦網(wǎng)絡(luò)的情感識別研究中，主要使用基于靜態(tài)連接的功能性腦網(wǎng)絡(luò)，即默認(rèn)構(gòu)建的腦網(wǎng)絡(luò)狀態(tài)在給定的較短的時(shí)間范圍內(nèi)是相對穩(wěn)定的，其拓?fù)溥B接、功能性表達(dá)不受時(shí)間的改變而變化。Tommaso等人構(gòu)建了基于相位同步的靜態(tài)腦功能連接，結(jié)果表明在悲傷期間全腦區(qū)的相位同步普遍增加，而高興狀態(tài)時(shí)額葉和枕葉間會產(chǎn)生較多的相位同步現(xiàn)象。Lee等人使用包括相干性在內(nèi)的三種不同的靜態(tài)功能連接方法對積極、中性、消極三種情緒進(jìn)行了分類，并最終取得了最高 79%的分類準(zhǔn)確率，結(jié)果表明基于腦網(wǎng)絡(luò)的情感分析有很大發(fā)展空間。近年研究發(fā)現(xiàn)，隨著時(shí)間的變化功能性腦網(wǎng)絡(luò)的狀態(tài)也會發(fā)生變化，而這種時(shí)變性改變能夠反映大腦自發(fā)活動的非穩(wěn)定特征，即功能連接也是隨著時(shí)間變化而動態(tài)變化的。Liu等人基于相位滯后指數(shù)構(gòu)建的靜態(tài)功能性腦網(wǎng)絡(luò)，顯示了功能連通性在研究與情感有關(guān)的大腦機(jī)制方面的潛力。大腦是在秒級與毫秒級動態(tài)變化的，靜態(tài)連接的處理方式會失去大腦活動在時(shí)間維度上的部分有效信息。因此，研究功能性腦網(wǎng)絡(luò)的動態(tài)性是極其必要的。

大腦的功能連通性主要是將大腦不同區(qū)域的神經(jīng)細(xì)胞群活動之間的瞬時(shí)相干性作為一個(gè)同步度量矩陣進(jìn)行分析。文獻(xiàn)[6-10]提出了各種連通性測量方法，這些方法在腦電信號的分析中均沒有直接可見的動態(tài)特征，然而，網(wǎng)絡(luò)動態(tài)分析對于理解全腦功能具有潛在的重要性。為了分析情感轉(zhuǎn)換過程的大腦動態(tài)連接，該文對刺激過程中整個(gè)頭皮電極在不同頻段的同步模式進(jìn)行估計(jì)，并計(jì)算相應(yīng)的測量矩陣進(jìn)行動態(tài)分析。主要貢獻(xiàn)有：提出了一個(gè)系統(tǒng)的分析框架，該框架包括相關(guān)性度量計(jì)算，腦狀態(tài)分割，代表性時(shí)間片段提取以及動態(tài)網(wǎng)絡(luò)測量方法，評估驗(yàn)證這種方法能夠捕獲情緒轉(zhuǎn)換過程中的大腦動力學(xué)特征。

1 基于腦電信號動態(tài)功能性腦網(wǎng)絡(luò)

1.1 動態(tài)功能連通性分析框架

基于動態(tài)功能性腦網(wǎng)絡(luò)的情感分析框架如圖1所示。該框架由三個(gè)模塊構(gòu)成，分別是相關(guān)性度量模塊、腦狀態(tài)劃分和關(guān)鍵時(shí)間段提取模塊以及動態(tài)網(wǎng)絡(luò)構(gòu)建和分析模塊。

圖1 動態(tài)功能連通性分析框架

各功能模塊具體描述如下:

(A)模塊：

相關(guān)性度量模塊，對于每個(gè)時(shí)間點(diǎn)的EEG信號計(jì)算各通道間相關(guān)性，獲得

M

×

M

維度的鄰接矩陣，其中

M

表示的是腦電通道數(shù)。

(B)模塊：

腦狀態(tài)劃分和關(guān)鍵時(shí)間段提取模塊，計(jì)算任意兩個(gè)相鄰時(shí)間點(diǎn)的SVD矢量空間距離，將相似度低的時(shí)間點(diǎn)評估作為腦狀態(tài)變化點(diǎn)，基于此生成多個(gè)時(shí)間片段。該過程可以理解為狀態(tài)分割，也就是將非平穩(wěn)腦狀態(tài)劃分為多個(gè)穩(wěn)定狀態(tài)。

(C)模塊：

動態(tài)網(wǎng)絡(luò)構(gòu)建和分析模塊，對于每個(gè)時(shí)間片段，通過構(gòu)建動態(tài)功能性腦網(wǎng)絡(luò)來分析情感狀態(tài)。(a)采用2 s長度的滑動時(shí)間窗來提取相關(guān)有效時(shí)間序列；(b)通道間相關(guān)性：使用皮爾遜相關(guān)系數(shù)來衡量個(gè)電極間的連通性；(c)功率分布：在相關(guān)指定頻段下計(jì)算各個(gè)電極通道的功率分布；(d)在任意時(shí)間窗上的鄰接矩陣間計(jì)算相關(guān)性動態(tài)矩陣(correlation dynamic matrix，CDM)，獲得網(wǎng)絡(luò)級動態(tài)屬性；(e)計(jì)算任意兩時(shí)間窗的功率分布間的功率動態(tài)(power dynamic matrix，PDM)矩陣，獲得網(wǎng)絡(luò)級動態(tài)屬性；(f)提取動態(tài)矩陣特征；(g)選用SVM進(jìn)行三分類情感識別任務(wù)。

1.2 功能連通性計(jì)算

功能性腦網(wǎng)絡(luò)是依據(jù)時(shí)間序列關(guān)系建立的無向網(wǎng)絡(luò)，利用復(fù)雜網(wǎng)絡(luò)理論有助于研究不同腦區(qū)之間的相互作用、拓?fù)浣Y(jié)構(gòu)和動力學(xué)信息以及與生理功能和疾病產(chǎn)生的關(guān)系。皮爾遜相關(guān)系數(shù)是衡量時(shí)間序列之間無向關(guān)系的最經(jīng)典方法，該方法主要用于衡量兩個(gè)時(shí)間序列

X

和

Y

間的線性關(guān)系，定義為兩個(gè)變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商，如式(1):

(1)

其中，cov(

X

,

Y

)表示變量

X

和

Y

之間的協(xié)方差；

σ

σ

表示變量

X

和

Y

之間的標(biāo)準(zhǔn)差。又因式(2)～式(4)的緣故：

(2)

(3)

μX

=

EX

(4)

則對于給定的時(shí)間序列

X

(

t

)和

Y

(

t

)，在該時(shí)間段內(nèi)的皮爾遜相關(guān)系數(shù)如式(5)所示：

(5)

如果皮爾遜相關(guān)系數(shù)等于1，則說明兩個(gè)序列

X

和

Y

呈正相關(guān)，等于-1說明兩個(gè)序列呈負(fù)相關(guān)，等于0則不相關(guān)。

1.3 基于SVD向量空間距離的腦狀態(tài)分割

提取SVD矢量空間距離：腦狀態(tài)分割旨在將非平穩(wěn)的大腦動態(tài)時(shí)間過程劃分為幾個(gè)準(zhǔn)穩(wěn)態(tài)的片段。采用SVD矢量空間距離方法來識別時(shí)間序列{

t

,

t

,…,

t

}中的異常點(diǎn)，SVD矢量空間距離表示為

d

(

t

)，如式(6)和式(7)所示：用來度量相鄰時(shí)間點(diǎn)

t

-1和

t

的SVD向量

U

(

t

-1)和

U

(

t

)之間的加權(quán)cos相似度，其中加權(quán)cos相似度計(jì)算如式(8)所示。

(6)

(7)

(8)

其中，

μ

(

t

-1)∈

U

(

t

-1)、

μ

(

t

)∈

U

(

t

)分別是對應(yīng)于最大奇異值

λ

(

t

-1)和

λ

(

t

)的向量，而cos

θ

表示cos的相似度。腦狀態(tài)分割：為了提取{

t

,

t

,…,

t

}時(shí)間序列中的異常轉(zhuǎn)換點(diǎn)，使用了基于重要性值的閾值化方法，該方法包括以下步驟：

(1)用對數(shù)正態(tài)分布擬合SVD向量空間距離，以估計(jì)比例、形狀和位置參數(shù)。

(2)設(shè)置初始閾值計(jì)算腦狀態(tài)轉(zhuǎn)換臨界點(diǎn)，并生成一組臨界的候選點(diǎn)。

則對于兩個(gè)連續(xù)的腦狀態(tài)轉(zhuǎn)換點(diǎn)cp和cp+1，在時(shí)間段(cp,cp+1)中定義一個(gè)大腦狀態(tài)

o

，該狀態(tài)不同于

o

-1但與

o

,…,

o

-2狀態(tài)類似。

1.4 動態(tài)網(wǎng)絡(luò)分析

腦狀態(tài)分割完成之后提取代表性時(shí)間片段，采用基于相關(guān)模式和頻帶功率分布方法構(gòu)建不同網(wǎng)絡(luò)模式，利用滑動窗口法估計(jì)動態(tài)相關(guān)模式和動態(tài)功率分布變化，然后提取網(wǎng)絡(luò)級的腦動力學(xué)的多變量特征。為了量化動態(tài)矩陣，將每個(gè)動力學(xué)矩陣的矩陣均值和矩陣清晰度作為提取的動態(tài)矩陣特征。

矩陣均值：動態(tài)相關(guān)性矩陣的平均值，如式(9)所示：

(9)

矩陣清晰度：描述不同網(wǎng)絡(luò)狀態(tài)之間轉(zhuǎn)換的度量，如式(10)所示：

(10)

式(9)、式(10)中，

f

,=

f

(

x

,

y

)表示矩陣

x

行、

y

列的標(biāo)量值，

k

是矩陣的行數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)選用SEED數(shù)據(jù)集，有15名被試者(7名男性，8名女性)參加實(shí)驗(yàn)，每名被試均進(jìn)行了3次實(shí)驗(yàn)，為了避免一次性長時(shí)間采集數(shù)據(jù)給被試造成腦疲勞或者抵抗心理，在每次實(shí)驗(yàn)之后設(shè)置了一周的間隔休息時(shí)間。每次實(shí)驗(yàn)中每位被試均被要求觀看15個(gè)電影片段(每個(gè)4 min)，這些視頻片段均選自大眾好評的電影，將其作為刺激因子用于激發(fā)出情感，其中電影片段主要包括三個(gè)情感類別：愉悅(Positive)、中性(Neutral)和悲傷(Negative)。在被試觀看電影片段的同時(shí)，被試通過頭戴電極設(shè)備記錄下大腦活動所產(chǎn)生的微弱電信號，其采樣頻率為1 000 Hz。SEED數(shù)據(jù)集采用的是國際10-20標(biāo)準(zhǔn)的62通道的電極帽設(shè)備，各電極在電極帽上的分布如圖2所示。

圖2 62通道的電極分布圖

2.2 結(jié)果與分析

選取被試djc的積極、中性和負(fù)面情緒的腦電信號片段，得出不同頻帶上的動態(tài)相關(guān)性矩陣和動態(tài)功率矩陣，如圖3～圖5所示。

圖3 愉悅狀態(tài)下10 s EEG片段的CDM和PDM

圖4 中性狀態(tài)下10 s EEG片段的CDM和PDM

圖5 悲傷狀態(tài)下10 s EEG片段的CDM和PDM

從圖3～圖5可以觀察到以下幾點(diǎn)：

三種不同情緒狀態(tài)下，基于頻帶功率分布所構(gòu)建的動態(tài)腦網(wǎng)絡(luò)比基于皮爾遜相關(guān)性構(gòu)建的腦網(wǎng)絡(luò)隱含更多的時(shí)間維度信息，即不同時(shí)間窗間的PDM值高于CDM。

從頻帶上來說，隨著頻段變高，且當(dāng)所有頻帶同時(shí)使用時(shí)，CDM和PDM的相關(guān)性就越高。這表明頻段越高，與情緒活動的相關(guān)性就越大。

在all波段下，愉悅情緒和悲傷情緒的CDM矩陣基本一致，而PDM矩陣變化較大。這說明情緒轉(zhuǎn)變過程中頻帶功率分配模式比網(wǎng)絡(luò)相關(guān)模式更能表征情緒變化。

三種不同情緒狀態(tài)下，PDM矩陣相比于CDM矩陣差異較大。這說明在研究情緒轉(zhuǎn)變過程時(shí)應(yīng)重點(diǎn)關(guān)注功率分布動態(tài)變化。

2.3 基于動態(tài)矩陣的情感分析

為了驗(yàn)證基于通道間功率分布相關(guān)性的動態(tài)網(wǎng)絡(luò)更能表征情緒變化過程，提取PDM和CDM矩陣的動態(tài)特征，然后用SVM進(jìn)行分類識別并與其他方法進(jìn)行對比。該文選用不同頻段的兩種動態(tài)矩陣的腦電特征來評價(jià)腦電情緒識別方法的性能，動態(tài)矩陣特征分別為：矩陣均值和矩陣銳度。

從表1分析數(shù)據(jù)發(fā)現(xiàn)：動態(tài)腦網(wǎng)絡(luò)特征相比靜態(tài)腦網(wǎng)絡(luò)特征在SVM方法下的情感識別率較高，這是因?yàn)閯討B(tài)網(wǎng)絡(luò)相比靜態(tài)網(wǎng)絡(luò)考慮到了情感轉(zhuǎn)換過程中有效的時(shí)間信息。

表1 SEED數(shù)據(jù)集上不同腦電特征在SVM下的平均準(zhǔn)確率 %

3 結(jié)束語

以辨別和描述人腦網(wǎng)絡(luò)的狀態(tài)特征為目標(biāo)，針對靜態(tài)功能連接會缺失與時(shí)間相關(guān)的有效信息，該文提出了一種基于相關(guān)模式和頻帶功率分布的動態(tài)腦電情感分析方法。利用通道間相關(guān)性和各通道功率矢量分布相關(guān)性構(gòu)建網(wǎng)絡(luò)模式，并使用滑動窗口方法來估計(jì)各窗口間的動態(tài)相關(guān)性，在SEED數(shù)據(jù)集上進(jìn)行分類識別驗(yàn)證所提方法的合理性。

研究發(fā)現(xiàn)以下幾點(diǎn)：

采用通道間相關(guān)性和跨通道頻帶功率相關(guān)性方法，利用滑動窗口的動態(tài)數(shù)據(jù)分析均可完成全腦動態(tài)功能網(wǎng)絡(luò)構(gòu)建。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)人腦在三種情緒狀態(tài)下功能性腦網(wǎng)絡(luò)的變化具有一定規(guī)律性，從而了驗(yàn)證方法的有效性。

在情感分析中PDM相比CDM具有較好的分類識別性能，這可能是由于腦電信號是一種非平穩(wěn)信號，而皮爾遜相關(guān)系數(shù)是用來測量信號間線性關(guān)系。