王 斌，王忠民，2，張 榮，2

（1.西安郵電大學計算機學院，西安 710121；2.陜西省網(wǎng)絡數(shù)據(jù)分析與智能處理重點實驗室，西安 710121）

0 概述

情感的產(chǎn)生是一個生理和心理相互作用的過程，與感受、想法和行為有關(guān)［1-2］。腦電（EEG）是一種典型的中樞神經(jīng)生理信號［3］，可以用來檢測大腦對不同情緒狀態(tài)的反應，為情緒識別提供更加客觀和全面的信息，并且EEG 數(shù)據(jù)具有時間分辨率高、成本低、易于獲得和使用等特點［4-5］。因此，EEG 被廣泛應用于大腦研究領域。

EEG 主要通過構(gòu)建腦網(wǎng)絡來反映大腦的相互作用，目前已構(gòu)建的腦網(wǎng)絡主要分為功能性腦網(wǎng)絡和因果腦網(wǎng)絡2 種。功能性腦網(wǎng)絡［6］主要反映網(wǎng)絡中節(jié)點之間的連接關(guān)系，是研究大腦工作機制的重要渠道。文獻［7］使用相位滯后指數(shù)（Phase Lag Index，PLI）在DEAP 公共情緒數(shù)據(jù)集上構(gòu)建了不同波段下的人腦EEG 功能性腦網(wǎng)絡進行情緒識別。因果腦網(wǎng)絡［8-9］研究主要針對腦功能網(wǎng)絡中的有向信息流和因果屬性，其反映節(jié)點之間的因果關(guān)系，可以更好地觀察到情緒信息在不同腦區(qū)的流動方向，并從流動的方向來判斷出因果關(guān)系。對于這2 種腦網(wǎng)絡而言，因果網(wǎng)絡的研究更能反映出腦網(wǎng)絡的變化，揭示情緒產(chǎn)生的機理。

格蘭杰（Granger）因果檢驗因其簡單性和易于實現(xiàn)性而成為計算時間序列之間因果關(guān)系的一種主流方法［10］。文獻［11］采用格蘭杰因果關(guān)系構(gòu)建因果連接腦網(wǎng)絡，并提取了腦網(wǎng)絡的連接密度和因果流來對5 種情緒進行分類，文獻［12］則采用格蘭杰因果關(guān)系分析調(diào)查了Gamma 波段的腦連接。但是格蘭杰因果檢驗在計算時僅考慮2 個時間序列之間的關(guān)系，沒有考慮其他時間序列的影響。本文引入條件格蘭杰因果檢驗（Conditional Granger Causality text，CGC）算法［10］研究在其他通道信息影響下各通道之間的因果關(guān)系，找出在情緒產(chǎn)生過程中起到主要作用的腦區(qū)和通道，進而簡化因果網(wǎng)絡。在此基礎上，將簡化網(wǎng)絡中節(jié)點之間的因果關(guān)系作為特征送入SVM 和KNN 分類器進行訓練分類，驗證本文方法的有效性。

1 因果腦網(wǎng)絡計算方法

1.1 CGC 算法

格蘭杰因果檢驗原理為：在多元自回歸（MVAR）模型中，如果時間序列Y的歷史信息顯著提高了時間序列X的預測準確性，則可以確定時間序列Y到X的格蘭杰因果關(guān)系［13］。但是此方法只適合分析2 個時間序列之間的因果關(guān)系，一旦時間序列超過2 個就不得不考慮其他時間序列的影響。本文利用CGC 算法分析在其他時間序列影響下任意序列之間的因果關(guān)系的計算問題。

假設有3 個時間序列X1(t)、X2(t)和X3(t)，在X3(t)存在的條件下，X1(t)和X2(t)的自回歸模型為：

X1(t)、X2(t)的聯(lián)合回歸模型為：

其中：t=0，1，…，n；m為回歸模型的階數(shù)；εi和ηj為回歸估計殘差，它們的均值為0，且互不相關(guān)，方差分別表示為和。由此，X2(t)對X1(t)的因果影響定義為：

如果式（3）所示等式的值大于0，則ε1>η1，證明在X3(t)存在的條件下，X1(t)和X2(t)聯(lián)合預測的誤差小于X1(t)自身預測的誤差，必然是因為X2(t)對X1(t)的預測，因此，在X3(t)存在的條件下，稱X2(t)對X1(t)有因果作用；如果式（3）所示等式的值不大于0，則證明X2(t)對X1(t)無因果作用。

同理，在X3(t)存在的條件下，X1(t)對X2(t)的因果影響定義為：

1.2 介數(shù)計算公式

腦網(wǎng)絡中節(jié)點的介數(shù)公式定義為：

其中：V表示網(wǎng)絡中節(jié)點的總數(shù)目；σst(v)表示經(jīng)過v的腦網(wǎng)絡節(jié)點s到t的最短路徑數(shù)；σst表示s到t的最短路徑數(shù)。從式（5）可以看出，CB(v)反映了節(jié)點v在因效網(wǎng)絡中的重要程度，CB(v)的值越大，代表節(jié)點v越重要。

1.3 因果網(wǎng)絡構(gòu)建

腦電預處理先對腦電信號的均值和平穩(wěn)性進行處理，再利用計算得到的因果矩陣可視化構(gòu)建因果網(wǎng)絡，在不同情緒下對因果網(wǎng)絡進行屬性分析，主要包括通道之間信息的流向和介數(shù)屬性。因果網(wǎng)絡的情感狀態(tài)分析方法流程如圖1 所示。

圖1 因果網(wǎng)絡情感狀態(tài)分析流程Fig.1 Emotion state analysis procedure of causal network

2 實驗設計

2.1 實驗數(shù)據(jù)集

DEAP［14］是人類情緒狀態(tài)的公共數(shù)據(jù)集，其中記錄了32 位參與者（16 位男性和16 位女性）在觀看40 個帶有不同情感標記的視頻片段時的各種生理信號，參與者看完視頻片段以后，對每一個視頻在效價和喚醒的維度上劃分1～9 的等級。對收集到的腦電信號應用512 Hz 采樣和4.0～45 Hz 的帶通濾波器進行濾波。實驗記錄的EEG 信號為63 s 的數(shù)據(jù)，其中前3 s 是記錄的基線數(shù)據(jù)。由于本文的主要研究內(nèi)容是用CGC 計算腦電信號，因此選擇大腦內(nèi)部不同腦區(qū)中32 個EEG 的信號通道，另外8 個通道是外圍的生理信號，本文不做參考。

根據(jù)國際10-20腦電系統(tǒng)，可以將大腦劃分為額葉、頂葉、枕葉、左顳葉、右顳葉、中央大腦區(qū)域6 個區(qū)域。每個腦區(qū)對應不同的通道，表1 列出了實驗所選擇的6 個腦區(qū)的32 個通道，每個大腦區(qū)域位置的電極名稱與DEAP 情感數(shù)據(jù)集中對應的電極名稱相同。

表1 每個腦區(qū)所對應的電極名稱Table 1 Name of electrode corresponding to each brain region

在實驗預處理的過程中，刪除前3 s 的基線數(shù)據(jù)，僅保留剩余60 s的數(shù)據(jù)，同時將EOG偽影和尾跡從EEG信號中刪除，然后根據(jù)參與者劃分的標簽選擇數(shù)據(jù)。為避免中性數(shù)據(jù)的干擾并確保提供足夠的數(shù)據(jù)，對個體和實驗都進行篩選，在效價的維度上，將大于7 的視為積極情緒，將小于3 的視為消極情緒，根據(jù)劃分的范圍選擇積極和消極的實驗次數(shù)都大于9的個體［15］。圖2顯示了篩選的個體以及該個體對應的積極實驗和消極實驗的數(shù)量。

圖2 篩選得到的實驗個體Fig.2 Selected experimental individual

2.2 CGC 矩陣

根據(jù)CGC 計算的標準化流程［16-17］，計算出每個個體在不同情緒下每次實驗不同通道之間的因果關(guān)系。圖3 和圖4 分別顯示個體的2 次實驗得到的因果關(guān)系所對應的因果關(guān)系矩陣，包括1 次積極情緒狀態(tài)下的實驗和1 次消極情緒狀態(tài)下的實驗，其中坐標軸代表所選的大腦內(nèi)部的32 個通道，最右側(cè)數(shù)值代表通道之間的因果作用大小，數(shù)值越大，代表通道之間的因果作用越強烈。通過2 幅圖之間的對比可以看出：消極情緒狀態(tài)下通道之間的因果作用強度要明顯大于積極情緒狀態(tài)下的因果作用強度，且消極情緒狀態(tài)下通道之間的反應要明顯大于積極狀態(tài)下通道之間的反應，這說明消極情緒狀態(tài)下通道之間的連接更復雜多樣。

圖3 積極情緒狀態(tài)下的因果關(guān)系矩陣Fig.3 Causality matrix under positive emotion state

圖4 消極情緒狀態(tài)下的因果關(guān)系矩陣Fig.4 Causality matrix under negative emotion state

2.3 因果網(wǎng)絡屬性分析

利用上述計算得到的因果關(guān)系可視化構(gòu)建因果網(wǎng)絡，因為CGC 計算得出的因果關(guān)系是一個確定的數(shù)值，所以在進行可視化之前先對因果數(shù)值進行二值化處理，將通道之間因果值大于0 的設置為1，小于等于0 的設置為0。在因果網(wǎng)絡中，節(jié)點代表腦區(qū)的通道，邊代表通道之間的因果作用。入/出度［8，18］和介數(shù)拓撲屬性［19-20］是衡量因果網(wǎng)絡的2 個重要指標。分析這2 個重要指標的目的是找出網(wǎng)絡中的關(guān)鍵通道。入/出度是從信息流向的角度對網(wǎng)絡中通道的因果連接關(guān)系進行分析，通道的出度越多，表明該通道對其他通道的影響越大；通道的入度越多，表明該通道受其他通道的影響越多；入度和出度越多，則表明此通道更活躍，在網(wǎng)絡中的地位越高。介數(shù)拓撲屬性描繪了通道或者通道之間的連接邊在整個網(wǎng)絡中的作用和影響力，介數(shù)高的通道往往位于網(wǎng)絡中的重要位置。

積極情緒和消極情緒下因果網(wǎng)絡中節(jié)點的入度和出度分別如圖5 和圖6 所示。由計算可以得出消極情緒下通道入度和出度的數(shù)目大于積極情緒下入度和出度的數(shù)目，這表明消極情緒下大腦區(qū)域形成的網(wǎng)絡更復雜，信息交互更活躍，這一點與上文分析一致。此外，2種情緒下通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3 的入度和出度數(shù)目都較多，說明這些通道對其他通道或者是受到其他通道的影響較多，在情緒的產(chǎn)生過程中起到主要作用。因此，可以初步認為這些通道是因果網(wǎng)絡中的關(guān)鍵通道。

圖5 積極情緒狀態(tài)下節(jié)點的入度和出度Fig.5 In-degree and out-degree of nodes under positive emotion state

圖6 消極情緒狀態(tài)下節(jié)點的入度和出度Fig.6 In-degree and out-degree of nodes under negative emotion state

為得到不同情緒下因果網(wǎng)絡中的關(guān)鍵通道，分別計算網(wǎng)絡中通道的介數(shù)拓撲屬性。圖7 描繪了被試者在積極和消極2 種情緒狀態(tài)下因果網(wǎng)絡的介數(shù)拓撲屬性，介數(shù)的值越大，通道在因果網(wǎng)絡的地位越高?？梢钥闯觯悍e極情緒狀態(tài)下因果網(wǎng)絡中介數(shù)較高的通道為AF3、AF4、FP1、FP2、P8、P7、PO4、F3，消極情緒狀態(tài)下介數(shù)較高的通道為AF3、AF4、FP1、FP2、T7、F8、PO3、PO4。通過分析比較可以看出，即使在不同情緒下，因果網(wǎng)絡的關(guān)鍵通道也基本一致，因此，不同情緒狀態(tài)下所構(gòu)建的因果網(wǎng)絡的相似度很高。由此可見，通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4 在因果網(wǎng)絡中的地位較高，可將這些通道歸為網(wǎng)絡中的關(guān)鍵通道。

圖7 網(wǎng)絡介數(shù)拓撲屬性Fig.7 Network betweenness topological properties

通過入度和出度的分析，可以得出因果網(wǎng)絡中的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3；通過對介數(shù)拓撲屬性的分析，可以得出因果網(wǎng)絡中的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4。由此可以看出，對網(wǎng)絡的2種屬性分析得到的關(guān)鍵通道基本一致，取2 次屬性分析關(guān)鍵通道的并集作為最終選取的關(guān)鍵通道，因此，最終選取的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4?？梢钥闯觯P(guān)鍵通道主要位于腦區(qū)中的額葉、顳葉和枕葉，由此判斷這些腦區(qū)在情緒產(chǎn)生的過程中起到主要作用，這個結(jié)果與多數(shù)已有研究結(jié)果相同［21-22］。在簡化因果網(wǎng)絡的過程中，本文只保留與關(guān)鍵通道相連接的邊和通道，因為這些通道為關(guān)鍵通道，在因果網(wǎng)絡中起到重要作用，保留與這些通道相連接的邊可反映出網(wǎng)絡的主要特征。圖8 是個體簡化網(wǎng)絡之后的因果連接網(wǎng)絡，個體包括1 次積極實驗和1 次消極實驗。

圖8 不同情緒狀態(tài)下的因果連接網(wǎng)絡Fig.8 Causal connection networks under different emotion states

3 有效性驗證

為驗證簡化得到的因果網(wǎng)絡，將節(jié)點之間的因果連接關(guān)系作為一種特征進行情緒識別，使用SVM和KNN 對數(shù)據(jù)進行訓練和分類。實驗的個體共有8 個，為了將全部的數(shù)據(jù)都應用于訓練和分類，對實驗數(shù)據(jù)采用8 倍交叉驗證，以平均識別率作為最終的識別精度。實驗結(jié)果表明，本文方法構(gòu)建的基于多通道腦電信號的因果網(wǎng)絡平均識別精度分別為75.3%和78.4%，整體識別率較高，表明CGC 算法是一種有效的計算時間序列間因果關(guān)系的方法，由此證明本文方法的有效性。

4 結(jié)束語

本文提出一種面向多通道腦電信號的因果網(wǎng)絡情緒識別方法。利用條件格蘭杰因果檢驗算法得到不同情緒下大腦內(nèi)部各通道之間的因果關(guān)系，以此構(gòu)建因果網(wǎng)絡，并使用簡化的因果網(wǎng)絡進行情緒分類。實驗結(jié)果表明，本文方法能夠?qū)Σ煌那榫w進行有效分類。后續(xù)將去除多余的EEG 通道，而只選取關(guān)鍵通道計算其間的因果關(guān)系，進一步提高分類精度。