楊淑瑩，國海銘，李欣

基于通道選擇和多維特征融合的腦電信號(hào)分類

楊淑瑩*，國海銘，李欣

（天津理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，天津 300384）（ ? 通信作者電子郵箱 yangshuying@email.tjut.edu.cn）

針對(duì)多通道腦電信號(hào)（EEG）相互干擾、存在個(gè)體差異性導(dǎo)致分類結(jié)果不同和單域特征識(shí)別率低等問題，提出一種通道選擇和特征融合的方法。首先，對(duì)獲取到的EEG進(jìn)行預(yù)處理，使用梯度提升決策樹（GBDT）選出重要通道；其次，采用廣義預(yù)測控制（GPC）模型構(gòu)建重要通道的預(yù)測信號(hào)，辨析多維相關(guān)信號(hào)之間的細(xì)微差別，再使用SE?TCNTA（Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention）模型提取不同幀之間的時(shí)序特征；然后，使用皮爾遜相關(guān)系數(shù)計(jì)算通道間的關(guān)系，提取EEG的頻域特征和預(yù)測信號(hào)的控制量作為輸入，建立空間圖結(jié)構(gòu)，并采用圖卷積網(wǎng)絡(luò)（GCN）提取頻域、空域的特征；最后，將上述二者特征輸入全連接層進(jìn)行特征融合，實(shí)現(xiàn)EEG的分類。在公共數(shù)據(jù)集BCICIV_2a上的實(shí)驗(yàn)結(jié)果表明，在進(jìn)行通道選擇的情況下，與首個(gè)用于ERP檢測的EEG-Inception模型以及同樣采用雙分支提取特征的DSCNN （Shallow Double-branch Convolutional Neural Network）模型方法相比，所提方法的分類準(zhǔn)確率分別提升了1.47%和1.69%，Kappa值分別提升了1.25%和2.53%。所提方法能夠提高EGG的分類精度，同時(shí)減少冗余數(shù)據(jù)對(duì)特征提取的影響，因此更適用于腦機(jī)接口（BCI）系統(tǒng)。

腦電信號(hào)；特征融合；通道選擇；圖卷積網(wǎng)絡(luò)；時(shí)序卷積網(wǎng)絡(luò)；廣義預(yù)測控制模型

0 引言

腦機(jī)接口（Brain-Computer Interface， BCI）系統(tǒng)可以實(shí)現(xiàn)人腦與計(jì)算機(jī)的交流和溝通，在醫(yī)學(xué)上能夠幫助患者進(jìn)行康復(fù)訓(xùn)練，具有很廣泛的應(yīng)用前景。腦電信號(hào)（ElectroEncephaloGraphy， EEG）是一種由大腦神經(jīng)元產(chǎn)生的生物電信號(hào)，它是一種非平穩(wěn)的時(shí)序信號(hào)，具有低成本和非入侵等優(yōu)點(diǎn)，經(jīng)常用于研究BCI［1-2］。運(yùn)動(dòng)想象腦電信號(hào)［3］是一種內(nèi)源性自發(fā)腦電，與誘發(fā)腦電不同，它無需外界刺激，只需人進(jìn)行運(yùn)動(dòng)想象，腦電波就呈現(xiàn)特異波形。研究運(yùn)動(dòng)想象腦電信號(hào)具有重要意義，可以完成殘障人士的肢體運(yùn)動(dòng)康復(fù)和控制外部設(shè)備等任務(wù)，改善他們的生活。

EEG通常由多電極采集得到，多通道數(shù)據(jù)同時(shí)輸入網(wǎng)絡(luò)會(huì)增大計(jì)算量，導(dǎo)致訓(xùn)練時(shí)間長，因此有必要進(jìn)行通道選擇。目前的研究表明，通過對(duì)多維信號(hào)降維，可以在不影響精度的前提下去除一些冗余的信息，并且降低計(jì)算量，縮短算法的識(shí)別時(shí)間。Bavkar等［4］提出重力搜索算法（Improved Binary Gravitational Search Algorithm， IBGSA）為運(yùn)動(dòng)想象腦電信號(hào)選擇最佳通道，但是該方法未考慮任務(wù)的特異性和事件相關(guān)去同步（Event-Related Desynchronization， ERD）/事件相關(guān)同步化（Event Related Synchronization， ERS）特征的判別性。共空間模式（Common Spatial Pattern， CSP）算法以及稀疏共空間模式算法可用于實(shí)現(xiàn)通道選擇，但是CSP容易受到EEG噪聲的影響。二進(jìn)制粒子群優(yōu)化（Binary Particle Swarm Optimization， BPSO）算法［5］也可與CSP算法相結(jié)合選擇最優(yōu)的通道，但這些算法通常對(duì)計(jì)算要求很高。相比以上算法，梯度提升決策樹（Gradient Boosting Decision Tree， GBDT）具有預(yù)測精度高，構(gòu)建過程簡便，能處理非線性、連續(xù)和離散數(shù)據(jù)，結(jié)果可解釋等優(yōu)點(diǎn)。GBDT組合弱學(xué)習(xí)器形成一個(gè)強(qiáng)學(xué)習(xí)器，可以計(jì)算不同通道的特征重要度，具備區(qū)分不同通道的天然優(yōu)勢(shì)。

近年來，深度學(xué)習(xí)的普及使EEG的研究達(dá)到了前所未有的高度。Sun等［12］提出了SE-CNN（Squeeze and Excitation block- Convolutional Neural Network），使用稀疏頻譜時(shí)間分解算法提取時(shí)頻特征，比傳統(tǒng)算法的準(zhǔn)確率更高。Xu等［13］通過融合注意力機(jī)制設(shè)計(jì)了端到端的編碼器模型，通過深度卷積網(wǎng)絡(luò)DHDANet（Dual HeaDed Attention via deep convolution Net）同時(shí)學(xué)習(xí)時(shí)間和空間特征，能夠達(dá)到不錯(cuò)的準(zhǔn)確率。Tortora等［14］提出了一個(gè)長短期記憶（Long Short-Term Memory， LSTM）深度神經(jīng)網(wǎng)絡(luò)，可以自動(dòng)處理大腦信號(hào)中的時(shí)間相關(guān)信息。在時(shí)域分析中，時(shí)序卷積網(wǎng)絡(luò)（Temporal Convolutional Network， TCN）更具優(yōu)勢(shì)，而LSTM參數(shù)量較大，導(dǎo)致訓(xùn)練時(shí)間長，因此選擇參數(shù)量更少的神經(jīng)網(wǎng)絡(luò)模型可以加速訓(xùn)練。

隨著深度學(xué)習(xí)的發(fā)展，研究人員設(shè)計(jì)了能處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并將它們應(yīng)用在空域分析中，即圖神經(jīng)網(wǎng)絡(luò)，通過聚合節(jié)點(diǎn)及其鄰接節(jié)點(diǎn)的特征信息，捕獲圖結(jié)構(gòu)的依賴關(guān)系。EEG中也具有空間結(jié)構(gòu)的特征，不同通道的位置信息、特征信息都會(huì)影響正確率。Feng等［15］通過圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network， GCN）解碼不同的運(yùn)動(dòng)想象信號(hào)，達(dá)到了不錯(cuò)的準(zhǔn)確率。Chang等［16］通過GCN研究精神分裂癥患者的腦功能連接，提取了圖論特征進(jìn)行分析。由于電極分布不同，圖網(wǎng)絡(luò)非常適合EEG研究，能提取更具代表性的特征。由于圖神經(jīng)網(wǎng)絡(luò)在運(yùn)動(dòng)想象腦電信號(hào)中的應(yīng)用較少，因此本文使用GCN提取空域頻域特征，再結(jié)合其他領(lǐng)域特征進(jìn)行研究。

研究表明，時(shí)頻分析相比單一鄰域分析可以取得更好的分類準(zhǔn)確率。Li等［17］提出使用神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）提取空間特征，用LSTM提取時(shí)間特征；隨后通過特征融合進(jìn)行分類，提高了準(zhǔn)確率。李紅利等［18］設(shè)計(jì)了模型內(nèi)融合（With-in Model Fusion-Feature， WMFF）和模型間融合（Cross Model Fusion-Feature， CMFF）兩種特征融合策略。WMFF策略提取CNN每一層特征進(jìn)行融合；CMFF策略融合CNN和LSTM并提取每一層特征。此類方法雖然可以縮短時(shí)間，可是神經(jīng)網(wǎng)絡(luò)并非人腦，在獲取細(xì)節(jié)特征時(shí)具有一定的限制，從而影響分類的準(zhǔn)確率。由此可以看出，進(jìn)行特征融合可以達(dá)到不錯(cuò)的效果，融合后的特征更利于分類。

結(jié)合上述分析，為了提高運(yùn)動(dòng)想象分類的準(zhǔn)確率，避免丟失免細(xì)節(jié)特征，本文提出了一種融合通道選擇算法和時(shí)頻特征提取模型的分類方法。該方法首先對(duì)采集到的EEG使用巴特沃斯濾波器進(jìn)行帶通濾波，然后使用GBDT算法進(jìn)行重要性分析，并使用GPC模型對(duì)重要通道信號(hào)進(jìn)行特征提??；提取后的特征參數(shù)送入SE-TCNTA模型和GCN模型，以進(jìn)一步提取局部時(shí)域特征和全局頻域特征；最后，將提取的多領(lǐng)域特征進(jìn)行融合輸入全連接層，得到分類的準(zhǔn)確率。該方法能夠減少冗余數(shù)據(jù)，簡化EEG并從多領(lǐng)域提取特征，且特征都基于GPC模型，能夠提升所應(yīng)用系統(tǒng)的效率。

本文的主要工作如下：

1）提出了一種基于GBDT的通道選擇算法，選擇重要通道，提高特征提取的效率。

2）利用GPC模型為每一幀EEG構(gòu)建預(yù)測信號(hào)，使用最小二乘法進(jìn)行參數(shù)辨析，通過SE-TCNTA模型提取精確的時(shí)域特征。

3）將預(yù)測信號(hào)的功率譜密度和控制量作為頻域特征，利用GCN模型提取頻域特征。

4）實(shí)現(xiàn)特征融合并進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性，表明該方法能夠在減少冗余信息前提下，提取精細(xì)的時(shí)頻特征，提高準(zhǔn)確率。

1 本文方法

本文方法的整體流程如圖1所示：采用GBDT算法對(duì)預(yù)處理信號(hào)進(jìn)行通道選擇，然后對(duì)重要通道信號(hào)進(jìn)行分幀處理，使用GPC模型對(duì)每幀信號(hào)建模，提取參數(shù)特征。特征提取分為兩個(gè)分支：上分支使用SE-TCNTA模型對(duì)不同時(shí)間步的特征進(jìn)行加權(quán)，得到精細(xì)的時(shí)域特征；下分支使用GCN，將GPC模型的控制量和相關(guān)頻段的功率譜密度作為節(jié)點(diǎn)特征。接著計(jì)算皮爾遜相關(guān)系數(shù)，建立節(jié)點(diǎn)聯(lián)系創(chuàng)建圖信息，提取頻域特征。最后進(jìn)行特征融合，輸入全連接層得到分類結(jié)果。

圖1　本文方法總體流程

1.1　數(shù)據(jù)集

本文使用具有22個(gè)通道的公開數(shù)據(jù)集BCICIV_2a［19］進(jìn)行實(shí)驗(yàn)并對(duì)結(jié)果進(jìn)行分析。該數(shù)據(jù)集包括9名實(shí)驗(yàn)人員的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，分別用于訓(xùn)練和測試。

數(shù)據(jù)集包括4類運(yùn)動(dòng)想象，即左手、右手、腳和舌頭。數(shù)據(jù)采集電極分布位置采用國際10-20系統(tǒng)的電極分布形式，如圖2所示。數(shù)據(jù)集共有9人，每人進(jìn)行6輪的運(yùn)動(dòng)想象采集，每一輪4類運(yùn)動(dòng)想象類型實(shí)驗(yàn)各12次，因此每人總共有288次的運(yùn)動(dòng)想象實(shí)驗(yàn)樣本作為訓(xùn)練數(shù)據(jù)集。另外還有相同數(shù)量的測試數(shù)據(jù)集。

圖2　國際10-20系統(tǒng)的電極分布

1.2　預(yù)處理

經(jīng)過儀器采集的EEG具有噪聲和偽影，為了防止噪聲和偽影對(duì)特征提取的影響，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。本文使用范圍為0.5～60 Hz的五階巴特沃斯帶通濾波器去除無用頻段和工頻的干擾，獲取運(yùn)動(dòng)想象腦電信號(hào)的感興趣頻段區(qū)域。由于還混雜其他腦電偽跡，因此還需要利用自適應(yīng)偽跡檢測法剔除偽跡片段和基線漂移等干擾信號(hào)，最后通過手動(dòng)檢查刪除混淆的數(shù)據(jù)段，并對(duì)數(shù)據(jù)段歸一化，從而獲得滿足實(shí)驗(yàn)要求且能有效提高實(shí)驗(yàn)準(zhǔn)確率的腦電信號(hào)。

圖3　經(jīng)過預(yù)處理后的某段EEG

1.3　基于GBDT的通道選擇

EEG由多電極采集而成，處理多通道數(shù)據(jù)會(huì)造成計(jì)算量大、資源消耗大、浪費(fèi)時(shí)間等問題，降低特征提取的效率，因此需要選擇重要通道進(jìn)行分析。本文使用GBDT算法計(jì)算不同通道的特征重要性，并選出重要性較高的幾個(gè)通道進(jìn)行后續(xù)研究，能減少工作量，提高分類準(zhǔn)確率。

GBDT是一種迭代的決策樹算法［20］，它使用分類回歸樹（Classification And Regression Tree， CART）作為基學(xué)習(xí)器，通過多輪迭代，每輪學(xué)習(xí)都在上一輪訓(xùn)練的殘差（用損失函數(shù)的負(fù)梯度來替代）基礎(chǔ)上進(jìn)行訓(xùn)練，降低殘差，提高分類精度，每輪迭代產(chǎn)生一棵CART，迭代結(jié)束時(shí)將得到多棵CART，最后將所有的樹累加起來就得到了最終的提升樹。

2）對(duì)于建立棵分類回歸樹=1，2，…，：

①對(duì)1，2，…，，計(jì)算第棵樹對(duì)應(yīng)的響應(yīng)值（損失函數(shù)的負(fù)梯度，即偽殘差）：

特征重要度代表了不同通道對(duì)最終分類結(jié)果［左手，右手，雙腳，舌頭］的影響程度，GBDT的特征重要度通過特征在單棵樹中的重要度的平均值來衡量：

1.4　時(shí)域特征

1.4.1EEG-GPC

為了更好地描述腦機(jī)接口內(nèi)部系統(tǒng)，本文提出了基于腦電接口的GPC模型。實(shí)驗(yàn)結(jié)果表明，通過預(yù)測模型擬合EEG，以預(yù)測模型參數(shù)作為時(shí)域特征進(jìn)行后續(xù)分析可以達(dá)到良好的效果。GPC是基于參數(shù)模型的控制算法，通過求解控制量的形式對(duì)模型進(jìn)行反饋矯正，通過前面時(shí)刻的信息計(jì)算下一步的控制量信息，將它加入下一次的運(yùn)算過程中［21-22］。控制量信息根據(jù)前面序列的變化計(jì)算產(chǎn)生，在預(yù)測中通過對(duì)下一步預(yù)測結(jié)果的調(diào)整來達(dá)到更好的擬合效果，并結(jié)合了辨識(shí)和自校正機(jī)制，具有良好的魯棒性。由于EEG采集具有較多的噪聲影響，GPC模型考慮了噪聲影響，因此更具有優(yōu)勢(shì)?？刂屏糠从沉薊EG的跳變性，隱含了不同個(gè)體間進(jìn)行運(yùn)動(dòng)想象EEG的瞬間變化信息，更適合非平穩(wěn)的EEG。

由于EEG具有時(shí)序性，本文將選擇的重要通道進(jìn)行分幀，對(duì)每幀EEG使用GPC模型建模，計(jì)算模型參數(shù)。將參數(shù)特征作為時(shí)域特征，控制量作為頻域特征輸入兩個(gè)分支中進(jìn)一步進(jìn)行特征提取。

GPC采用下列CARIMA模型，求解控制量過程如下：

則預(yù)測誤差的方差：

性能指標(biāo)函數(shù)如下所示：

其中：

其中：

將式（21）代入式（18）中，得：

則當(dāng)前時(shí)刻的控制量為：

1.4.2最小二乘法實(shí)現(xiàn)參數(shù)估計(jì)

參數(shù)特征使用最小二乘法進(jìn)行辨識(shí)，考慮如下簡易模型：

設(shè)時(shí)刻的批處理最小二乘估計(jì)為：

則

又由式（27）得：

則由式（29）及式（30）得：

于是時(shí)刻的最小二乘估計(jì)可表示為

針對(duì)式（33）的目標(biāo)函數(shù)，可得遺忘因子遞推最小二乘參數(shù)估計(jì)公式：

1.4.3SE-TCNTA

提取完參數(shù)特征后，將每幀特征看作不同時(shí)間步的特征，為了進(jìn)一步提取時(shí)域特征，本文借鑒擠壓激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Network， SENet）中的SE Block結(jié)構(gòu)，將它置于時(shí)序卷積網(wǎng)絡(luò)（TCN）之前，并在TCN之后加入時(shí)間注意力（Temporal Attention）機(jī)制，組成SE-TCNTA網(wǎng)絡(luò)作為EEG時(shí)域特征的提取模型。通過該模型，可以對(duì)不同時(shí)間步的特征進(jìn)行加權(quán)，選擇重要特征，達(dá)到提取精確特征的目的。

圖4　TCN結(jié)構(gòu)

時(shí)間注意力機(jī)制可以認(rèn)為是對(duì)不同時(shí)間步進(jìn)行權(quán)值分配，不同的權(quán)重代表不同的重要性。本文提出利用時(shí)間注意機(jī)制對(duì)TCN輸出的時(shí)間步進(jìn)行加權(quán)，得到每個(gè)時(shí)間步注意力權(quán)重，從而進(jìn)一步提高模型的準(zhǔn)確度。

本文先利用SE Block模塊處理每幀提取的特征，通過圖5可以看出，SE Block先對(duì)所有特征進(jìn)行平均池化，然后將特征進(jìn)行壓縮，再通過兩層全連接使特征變回原來的維度，接著對(duì)特征進(jìn)行Sigmoid激活，最后將權(quán)重加權(quán)到原本的特征上。將上述SE Block的輸出按時(shí)序順序輸入TCN，利用TCN的并行計(jì)算優(yōu)勢(shì)提取時(shí)域特征，將所有TCN的輸出通過時(shí)間注意力層，對(duì)時(shí)間步進(jìn)行權(quán)重分配，得到時(shí)序特征。由于特征參數(shù)相比多維信號(hào)減少，為了獲得更大的感受野，本文對(duì)TCN的參數(shù)進(jìn)行了修改：將第一層TCN的膨脹系數(shù)修改為3的倍數(shù)，以獲得更多的特征信息；將第二層TCN的膨脹系數(shù)修改為固定值（1，2，4），保證不會(huì)影響較少的特征參數(shù)。

圖5　SE-TCNTA模型

1.5　頻域特征

頻域特征通過圖譜卷積將空域轉(zhuǎn)化為譜域進(jìn)行提取，借助圖譜的理論來實(shí)現(xiàn)拓?fù)鋱D上的卷積操作。本文使用皮爾遜相關(guān)系數(shù)計(jì)算通道間相關(guān)性，建立圖信息，提取GPC模型中的控制量和預(yù)測信號(hào)中相關(guān)頻段的功率譜密度作為輸入，通過圖卷積進(jìn)行節(jié)點(diǎn)特征聚合得到頻域特征。

1.5.1圖卷積

圖卷積網(wǎng)絡(luò)（Graph Convolutional Network， GCN）［24-26］是在非歐氏空間結(jié)構(gòu)數(shù)據(jù)上的深度學(xué)習(xí)技術(shù)，在EEG中的應(yīng)用較少，它將傳統(tǒng)的離散卷積思想應(yīng)用在圖結(jié)構(gòu)上以獲取節(jié)點(diǎn)特征信息在圖結(jié)構(gòu)上不同層次的譜域表示，能夠充分考慮節(jié)點(diǎn)自身的特征信息及節(jié)點(diǎn)之間的關(guān)聯(lián)信息，更詳細(xì)深入地描述圖信息數(shù)據(jù)。由于大多數(shù)研究建立在歐氏空間上，而對(duì)于EEG來說，不同的電極分布并非歐氏空間，因此圖網(wǎng)絡(luò)更具有優(yōu)勢(shì)。圖卷積主要分為空域圖卷積和譜域圖卷積兩類［27］。本文使用譜域圖卷積，根據(jù)圖譜理論和卷積定理，將數(shù)據(jù)由空域轉(zhuǎn)換到譜域做處理，理論基礎(chǔ)非常扎實(shí)。

為了減少計(jì)算成本，本文采用譜圖卷積對(duì)GBDT選出的重要通道提取特征信息，圖卷積的原理如下：

定義為從節(jié)點(diǎn)出發(fā)的所有邊的權(quán)重之和（×的方陣，是對(duì)角矩陣）。則的拉普拉斯矩陣可以表示為：

將該拉普拉斯矩陣進(jìn)行歸一化得到：

圖卷積經(jīng)歷過很多版本，本文使用的GCN卷積公式基于切比雪夫圖卷積改進(jìn)而來，定義為：

1.5.2皮爾遜相關(guān)系數(shù)

本文使用皮爾遜相關(guān)系數(shù)計(jì)算節(jié)點(diǎn)之間的相關(guān)性以建立圖信息中的鄰接矩陣，計(jì)算運(yùn)動(dòng)想象相關(guān)頻段的功率譜密度和控制量作為節(jié)點(diǎn)特征，由此建立圖信息。它的定義如下：

1.5.3頻域特征提取

本文提取與運(yùn)動(dòng)想象相關(guān)的、兩個(gè)波段的功率譜密度并結(jié)合GPC模型的控制量作為圖卷積節(jié)點(diǎn)特征的輸入。功率譜密度表示輸入信號(hào)在一定頻率范圍內(nèi)的功率。利用Welch算法計(jì)算腦電功率譜密度值，該方法將原始數(shù)據(jù)分成段，允許數(shù)據(jù)重疊。采用窗函數(shù)完成數(shù)據(jù)截取，每一段的功率譜密度記作xx（）。

所以功率譜為：

頻域特征提取的主要步驟如下：

1）使用皮爾遜相關(guān)系數(shù)計(jì)算通道相關(guān)性，建立GCN的鄰接矩陣；

2）計(jì)算信號(hào)的功率譜密度并結(jié)合模型的控制量作為通道的頻域特征矩陣，與鄰接矩陣建立圖信息；

3）通過GCN進(jìn)行頻域信息特征提取，設(shè)定兩層圖卷積，聚合節(jié)點(diǎn)特征，最后得到全局的頻域特征矩陣。

頻域特征需要從全局考慮，通過圖卷積建立了通道的關(guān)聯(lián)性，得到全局的頻域特征，能夠避免特征信息的丟失。

1.6　特征融合和分類

本文分別提取了時(shí)域和頻域特征，但單一地提取時(shí)域或頻域特征會(huì)導(dǎo)致部分信息丟失，因此有必要充分挖掘信號(hào)中的全部信息，采用特征拼接的方式進(jìn)行特征融合，公式如下：

其中：表示時(shí)域特征；表示頻域特征；表示融合特征，融合特征的向量長度是時(shí)域與頻域特征長度之和。將融合的時(shí)域頻域特征輸入全連接層，使用Softmax激活函數(shù)返回每個(gè)類別的概率值。損失函數(shù)使用交叉熵?fù)p失函數(shù)。圖6展示了本文特征融合的模型結(jié)構(gòu)。根據(jù)EEG的復(fù)雜性，建立了時(shí)頻特征并行提取結(jié)構(gòu)。時(shí)序特征提取由輸入層、SE Block模塊、TCN、時(shí)間注意力層和扁平層組成，對(duì)每幀信號(hào)進(jìn)行分析，提取精確的時(shí)序特征。頻域特征提取由輸入層、2個(gè)圖卷積層和扁平層組成，計(jì)算整段信號(hào)的功率譜密度結(jié)合控制量，能夠提取全局的頻域特征。最后將兩部分輸入全連接層進(jìn)行分類。另外，為了防止過擬合，在GCN中使用Dropout層，圖卷積層之間使用線性整流函數(shù)（Rectified Linear Unit， ReLU）進(jìn)行激活。

2 實(shí)驗(yàn)與結(jié)果分析

2.1　通道選擇實(shí)驗(yàn)分析

將受試者經(jīng)過預(yù)處理的EEG使用GBDT進(jìn)行通道選擇，設(shè)置迭代次數(shù)250，學(xué)習(xí)率0.01，經(jīng)過GBDT計(jì)算重要度后，得到22個(gè)通道的重要性評(píng)分，如圖7所示。

通過計(jì)算通道重要度，可以得到幾個(gè)較為重要的通道，但是通道數(shù)的選擇也需要進(jìn)行考慮，因此有必要通過消融實(shí)驗(yàn)選擇合適的個(gè)數(shù)。為了探究通道數(shù)對(duì)實(shí)驗(yàn)的影響，保持后面的模型參數(shù)不變，并且添加了沒有進(jìn)行通道選擇的實(shí)驗(yàn)進(jìn)行對(duì)比，表1展示了不同通道數(shù)的分類效果。

通過表1可以發(fā)現(xiàn)，當(dāng)通道數(shù)為5時(shí)，準(zhǔn)確率比其他通道數(shù)更高。這是由于選擇較少通道時(shí)，特征不足導(dǎo)致準(zhǔn)確率下降，應(yīng)該保持精度不變的情況下選擇較少的通道數(shù)，這樣可以減少參數(shù)量和計(jì)算時(shí)間。增加通道數(shù)會(huì)導(dǎo)致模型中輸入數(shù)據(jù)對(duì)應(yīng)的維度也增加，而后續(xù)的特征提取是根據(jù)選擇的通道進(jìn)行計(jì)算，因此可以看到每個(gè)受試者選擇不同通道數(shù)時(shí)會(huì)導(dǎo)致結(jié)果的浮動(dòng)較大。通過實(shí)驗(yàn)結(jié)果可以看出，不進(jìn)行通道選擇時(shí)，平均準(zhǔn)確率只達(dá)到了76.61%。為了保證參數(shù)量最少且不影響準(zhǔn)確率，因此本文挑選得分大于0.07的5個(gè)通道（通道3、5、6、8、9）數(shù)據(jù)。

表1　不同通道數(shù)的分類結(jié)果 單位： %

2.2　EEG-GPC

圖8　EEG的擬合圖

2.3　建立圖信息

由于GCN的輸入由節(jié)點(diǎn)的鄰接矩陣與特征組成。因此需要對(duì)選擇的通道信號(hào)建立圖信息，根據(jù)皮爾遜相關(guān)系數(shù)計(jì)算通道的相關(guān)性，由此建立鄰接矩陣。由于EEG具有個(gè)體差異性，本文對(duì)每個(gè)受試者都計(jì)算相關(guān)性，設(shè)定大于0.8的兩個(gè)通道為相關(guān)。將其鄰接矩陣對(duì)應(yīng)的位置設(shè)置為1，其余為0，計(jì)算的皮爾遜矩陣如圖11所示。

圖9　參數(shù)趨勢(shì)曲線

圖10　控制量跳變信息

圖11　皮爾遜相關(guān)系數(shù)

2.4　實(shí)驗(yàn)分析

本次實(shí)驗(yàn)的軟件和硬件情況如下：采用Intel 2.90 GHz Core i5和NVIDIA GTX1650，內(nèi)存4 GB；使用Python中的深度學(xué)習(xí)Keras框架。表2展示了本文模型的具體結(jié)構(gòu)，對(duì)于時(shí)序特征的提取，首先使用SE Block計(jì)算GPC模型提取的每幀特征權(quán)重并加到自身，然后將特征輸入兩層TCN中，設(shè)置卷積核參數(shù)為12。將TCN的輸出通過時(shí)間注意力層，對(duì)時(shí)間步重新分配，得到時(shí)序特征。而對(duì)于頻域特征的提取，首先輸入節(jié)點(diǎn)特征和鄰接矩陣信息，節(jié)點(diǎn)特征的維度為（5，280），鄰接矩陣大小為（5，5），設(shè)置2個(gè)圖卷積層，神經(jīng)元分別設(shè)置為16、8，使用先行激活函數(shù)ReLU防止過擬合，兩個(gè)特征提取分支分別設(shè)置了一個(gè)展平層，將提取的多維特征轉(zhuǎn)換為一維，然后通過全連接層進(jìn)行特征融合。模型訓(xùn)練時(shí)，本文方法定義損失函數(shù)采用Categorical_Crossentropy，優(yōu)化器使用Adam，學(xué)習(xí)率設(shè)置為0.001。

為了證明多維特征融合的重要性，本文還設(shè)置了兩個(gè)領(lǐng)域特征的單獨(dú)實(shí)驗(yàn)對(duì)照特征融合實(shí)驗(yàn)，將選擇后的通道數(shù)據(jù)分別進(jìn)行時(shí)域頻域的特征提取進(jìn)行分類，驗(yàn)證本文算法的有效性。表3展示了時(shí)域特征、頻域特征與時(shí)頻特征融合實(shí)驗(yàn)的準(zhǔn)確率。從表3可以看出，在選擇相同的通道數(shù)下，時(shí)域特征提取的準(zhǔn)確率達(dá)到了83.30%，頻域特征提取達(dá)到了84.26%。由于時(shí)域信號(hào)比頻域所含信息較少，因此準(zhǔn)確率略低于頻域特征。這兩種方法都達(dá)到了不錯(cuò)的效果，驗(yàn)證了本文特征提取方法的可行性。通過特征融合的準(zhǔn)確率達(dá)到了86.07%，驗(yàn)證了使用特征融合比單一提取特征效果更好。

表2　網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)

表3　單一算法與特征融合算法的比較 單位： %

為了體現(xiàn)本文方法的有效性，使用BCI競賽公共數(shù)據(jù)集BCICIV_2a進(jìn)行實(shí)驗(yàn)。對(duì)于每個(gè)受試者，按照8∶2的比例劃分為訓(xùn)練集和測試集。為更好地評(píng)價(jià)本文方法的分類效果，與以下方法進(jìn)行比較：DSCNN（Shallow Double-branch Convolutional Neural Network）［28］、EEG-inception［29］、M3DCNN（Multi-Branch 3D Convolutional Neural Network）［30］、FBSF-TSCNN（Filter-Bank Spatial Filtering and Temporal-Spatial Convolutional Neural Network）［31］、AMSI-EEGNET（Auxiliary Multi-Scale Input CNN for EEG）［32］、MCNN（Multi-layer CNN）［33］和EGGNet［34］。其中，EEG-Inception是首個(gè)集成了Inception模塊并用于ERP檢測的模型。DSCNN則是一種淺層的雙分支卷積神經(jīng)網(wǎng)絡(luò)，采用雙分支并行提取特征，其中：左分支只包含兩個(gè)單一的時(shí)間和空間卷積層來提取共同的腦電特征；類似地，右分支首先引入一維卷積來利用多個(gè)時(shí)間尺度上的信道相關(guān)性和時(shí)間特征，隨后采用沿深度方向可分離的卷積層優(yōu)化EEG序列。本文也借鑒了DSCNN模型采用兩個(gè)分支提取特征的方法，并將兩個(gè)分支的特征進(jìn)行融合，表3的實(shí)驗(yàn)結(jié)果說明了兩個(gè)分支提取特征能夠包含豐富的原始信號(hào)信息，充分考慮不同領(lǐng)域信號(hào)的影響，能夠最大限度地減少特征對(duì)最終分類的影響，驗(yàn)證了特征融合的重要性。

本文使用Kappa系數(shù)衡量分類精度，Kappa系數(shù)也通常作為BCICIV_2a的驗(yàn)證標(biāo)準(zhǔn)，計(jì)算公式如下：

表4展示了9個(gè)受試者（A01～A09）在本文方法和其他文獻(xiàn)方法的平均分類準(zhǔn)確率，可以看到：受試者A02分類的準(zhǔn)確率最低，但仍高于其他方法；受試者A04和A05比其他方法的準(zhǔn)確率最高，達(dá)到了85.68%和84.39%。本文方法平均分類準(zhǔn)確率比對(duì)比方法分別提升了9.8、11.05、14.07、1.25、8.35、1.43個(gè)百分點(diǎn)，說明使用本文模型進(jìn)行特征融合時(shí)能夠充分提取EEG的特征信息并提高準(zhǔn)確率。

表5則展示了不同算法的Kappa值，可以看出，本文方法的Kappa平均值優(yōu)于對(duì)比方法，與EEG-inception和DSCNN相比，Kappa值分別提升了1.25%和2.53%。

圖12為不同方法訓(xùn)練的受試者3的混淆矩陣，混淆矩陣中橫、縱坐標(biāo)代表預(yù)測和實(shí)際的運(yùn)動(dòng)想象分類類型，中間數(shù)值為對(duì)應(yīng)分類概率?？梢钥闯觯疚姆椒▽?duì)四種分類任務(wù)的分類概率分別達(dá)到了0.91、0.92、0.95、0.94，而EEGNet方法對(duì)雙腳的識(shí)別率較低，本文通過特征融合能夠?qū)λ念惾蝿?wù)都取得較高的識(shí)別率。

表4　本文方法與其他文獻(xiàn)方法的準(zhǔn)確率對(duì)比 單位： %

表5　本文方法與其他文獻(xiàn)方法的Kappa值對(duì)比

圖12　不同方法下受試者3的混淆矩陣

3 結(jié)語

本文提出了一種基于通道選擇和多維特征融合的EEG分類方法。在不影響精度的情況下，進(jìn)行重要性選擇用來減少參數(shù)量；提取了時(shí)間特征，頻域特征，譜域特征并進(jìn)行融合，由此來提取更為有用的特征信息。通過實(shí)驗(yàn)表明，在選擇出重要的通道信號(hào)后再進(jìn)行特征融合能夠有效地提高分類的準(zhǔn)確率，說明通道選擇和特征融合能夠挖掘更深層的特征信息。綜上所述，本文提出的方法能夠?qū)EG進(jìn)行降維，減少冗余的數(shù)據(jù)對(duì)算法的影響，并且提取時(shí)域頻域相關(guān)的特征進(jìn)行融合，提高分類精度，為EEG分類研究提供了新的途徑。在未來，我們將設(shè)計(jì)屬于自己的范式，并將虛擬人應(yīng)用在提取數(shù)據(jù)中，將算法應(yīng)用在情緒識(shí)別或其他研究中。

[1] DOUIBI K， LE BARS S， LEMONTEY A， et al. Toward EEG-based BCI applications for Industry 4.0： challenges and possible applications［J］. Frontiers in Human Neuroscience， 2021， 15： No.705064.

[2] MINI P P， THOMAS T， GOPIKAKUMARI R， et al. EEG based direct speech BCI system using a fusion of SMRT and MFCC/LPCC features with ANN classifier［J］. Biomedical Signal Processing and Control， 2021， 68： No.102625.

[3] VIDAURRE C， JORAJURíA T， RAMOS-MURGUIALDAY A， et al. Improving motor imagery classification during induced motor perturbations［J］. Journal of Neural Engineering， 2021， 18（4）： No.0460b1.

[4] BAVKAR S， IYER B， DEOSARKAR S， et al. Rapid screening of alcoholism： an EEG based optimal channel selection approach［J］. IEEE Access， 2019， 7：99670-99682.

[5] LV J， LIU M. Common spatial pattern and particle swarm optimization for channel selection in BCI［C］// Proceedings of the 3rd International Conference on Innovative Computing Information and Control. Piscataway： IEEE， 2008： 457-457.

[6] ANNABY M H， SAID M H， ELDEIB A M， et al. EEG-based motor imagery classification using digraph Fourier transforms and extreme learning machines［J］. Biomedical Signal Processing and Control， 2021， 69： No.102831.

[7] RAMOSER H， MüLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement［J］. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）： 441-446.

[8] ZAHID S Z， AQIL M， TUFAIL M， et al. Online classification of multiple motor imagery tasks using filter bank based maximum-a-posteriori common spatial pattern filters［J］. IRBM， 2020， 41（3）：141-150.

[9] ANG K K， CHIN Z Y， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface［C］// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks （IEEE World Congress on Computational Intelligence）. Piscataway： IEEE， 2008： 2390-2397.

[10] HAN Y， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neural network［J］. Biomedical Signal Processing and Control， 2022， 71（Pt B）： No.103190.

[11] VENKATA PHANIKRISHNA B， CHINARA S. Automatic classification methods for detecting drowsiness using wavelet packet transform extracted time-domain features from single-channel EEG signal［J］. Journal of Neuroscience Methods， 2021， 347： No.108927.

[12] SUN B， ZHAO X， ZHANG H， et al. EEG motor imagery classification with sparse spectrotemporal decomposition and deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2021， 18（2）： 541-551.

[13] XU M， YAO J， NI H. Dual head and dual attention in deep learning for end-to-end EEG motor imagery classification［J］. Applied Sciences， 2021， 11（22）： No.10906.

[14] TORTORA S， GHIDONI S， CHISARI C， et al. Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network［J］. Journal of Neural Engineering， 2020， 17（4）： No.046011.

[15] FENG N， HU F， WANG H， et al. Motor intention decoding from the upper limb by graph convolutional network based on functional connectivity［J］. International Journal of Neural Systems， 2021， 31（12）： No.2150047.

[16] CHANG Q， LI C C， TIAN Q， et al. Classification of first-episode schizophrenia， chronic schizophrenia and healthy control based on brain network of mismatch negativity by graph neural network［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29：1784-1794.

[17] LI H， DING M， ZHANG R， et al. Motor imagery EEG classification algorithm based on CNN-LSTM feature fusion network［J］. Biomedical Signal Processing and Control， 2022， 72（Pt A）： No.103342.

[18] 李紅利，丁滿，張榮華，等. 基于特征融合神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電分類算法［J］. 中國醫(yī)學(xué)物理學(xué)雜志， 2022， 39（1）：69-75.（LI H L， DING M， ZHANG R H， et al. Motor imagery EEG classification algorithm based on feature fusion neural network［J］. Chinese Journal of Medical Physics， 2022， 39（1）： 69-75.）

[19] Institute for Knowledge Discovery， Graz University of Technology. BCI Competition IV — data sets 2a［DB/OL］. ［2022-05-13］. https：//www.bbci.de/competition/iv/#dataset2a.

[20] DEVOS L， MEERT W， DAVIS J. Fast gradient boosting decision trees with bit-level data structures［C］// Proceedings of the 2019 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 11906. Cham： Springer， 2020： 590-606.

[21] MENDOZA-SOTO J L， RODRíGUEZ CORTéS H. Generalized predictive control for trajectory tracking of a quadcopter vehicle［C］// Proceedings of the 2017 International Conference on Unmanned Aircraft Systems. Piscataway： IEEE， 2017： 206-212.

[22] ZHANG T， LI C X， LI Z L. Generalized predictive control and delay compensation for high-speed EMU network control system［C］// Proceedings of the 6th International Conference on Computer Science and Network Technology. Piscataway： IEEE， 2017： 511-515.

[23] 李紅利，尹飛超，張榮華，等. 基于通道注意力和稀疏時(shí)頻分解的運(yùn)動(dòng)想象分類［J］. 生物醫(yī)學(xué)工程學(xué)雜志， 2022， 39（3）：488-497.（LI H L， YIN C F， ZHANG R H， et al. Motor imagery electroencephalogram classification based on sparse spatiotemporal decomposition and channel attention［J］. Journal of Biomedical Engineering， 2022， 39（3）： 488-497.）

[24] ZHOU Y， ZHENG H， HUANG X， et al. Graph neural networks： taxonomy， advances and trends［J］. ACM Transactions on Intelligent Systems and Technology， 2022， 13（1）： No.15.

[25] SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80.

[26] SHI X， LV F， SENG D， et al. Visualizing and understanding graph convolutional network［J］. Multimedia Tools and Applications， 2021， 80（6）： 8355-8375.

[27] SALIM A， SUMITRA S. Spectral graph convolutional neural networks in the context of regularization theory［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022（Early Access）： 1-12.

[28] MA W， GONG Y， XUE H， et al. A lightweight and accurate double-branch neural network for four-class motor imagery classification［J］. Biomedical Signal Processing and Control， 2022， 75： No.103582.

[29] ZHANG C， KIM Y K， ESKANDARIAN A. EEG-inception： an accurate and robust end-to-end neural network for EEG-based motor imagery classification［J］. Journal of Neural Engineering， 2021， 18（4）： No.046014.

[30] ZHAO X， ZHANG H， ZHU G， et al. A multi-branch 3D convolutional neural network for EEG-based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[31] CHEN J， YU Z， GU Z， et al. Deep temporal-spatial feature learning for motor imagery-based brain-computer interfaces［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2020， 28（11）： 2356-2366.

[32] RIYAD M， KHALIL M， ADIB A. A novel multi-scale convolutional neural network for motor imagery classification［J］. Biomedical Signal Processing and Control， 2021， 68： No.102747.

[33] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi-layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101：542-554.

[34] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： No.056013.

EEG classification based on channel selection and multi-dimensional feature fusion

YANG Shuying*， GUO Haiming， LI Xin

（，，300384，）

To solve the problems of the mutual interference of multi-channel ElectroEncephaloGraphy （EEG）， the different classification results caused by individual differences， and the low recognition rate of single domain features， a method of channel selection and feature fusion was proposed. Firstly， the acquired EEG was preprocessed， and the important channels were selected by using Gradient Boosting Decision Tree （GBDT）. Secondly， the Generalized Predictive Control （GPC） model was used to construct the prediction signals of important channels and distinguish the subtle differences among multi-dimensional correlation signals， then the SE-TCNTA （Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention） model was used to extract temporal features between different frames. Thirdly， the Pearson correlation coefficient was used to calculate the relationship between channels， the frequency domain features of EEG and the control values of prediction signals were extracted as inputs， the spatial graph structure was established， and the Graph Convolutional Network （GCN） was used to extract the features of frequency domain and spatial domain. Finally， the above two features were input to the fully connected layer for feature fusion in order to realize the classification of EEG. Experimental results on public dataset BCICIV_2a show that in the case of channel selection， compared with the first EEG-inception model for ERP detection and DSCNN （Shallow Double-branch Convolutional Neural Network） model that also uses double branch feature extraction， the proposed method has the classification accuracy increased by 1.47% and 1.69% respectively， and has the Kappa value increased by 1.25% and 2.53% respectively. The proposed method can improve the classification accuracy of EEG and reduce the influence of redundant data on feature extraction， so it is more suitable for Brain-Computer Interface （BCI） systems.

ElectroEncephaloGraphy (EEG); feature fusion; channel selection; Graph Convolution Network (GCN); Temporal Convolutional Network (TCN); Generalized Predictive Control (GPC) model

1001-9081（2023）11-3418-10

10.11772/j.issn.1001-9081.2022101590

2022?10?24；

2023?01?31；

2019年天津市教育科學(xué)規(guī)劃院教學(xué)成果獎(jiǎng)重點(diǎn)培育項(xiàng)目（PYGJ?015）； 2020年天津理工大學(xué)校級(jí)重點(diǎn)教學(xué)基金資助項(xiàng)目（ZD20?04）。

楊淑瑩（1964—），女，四川成都人，教授，博士，主要研究方向：模式識(shí)別、智能機(jī)器人； 國海銘（1998—），男，河北衡水人，碩士研究生，主要研究方向：模式識(shí)別； 李欣（1998—），男，安徽六安人，碩士研究生，主要研究方向：模式識(shí)別。

TP301.6

A

2023?01?31。

This work is partially supported by 2019 Key Cultivation Project of Teaching Achievement Award of Tianjin Institute of Educational Science Planning （PYGJ-015）， School Level Teaching Fund of Tianjin University of Technology （ZD20-04）.

YANG Shuying， born in 1964， Ph. D.， professor. Her research interests include pattern recognition， intelligent robots.

GUO Haiming， born in 1998， M. S. candidate. His research interest includes pattern recognition.

LI Xin， born in 1998， M. S. candidate. His research interest includes pattern recognition.