摘 "要： 以運動想象為基礎的腦機接口技術有助于運動障礙患者的康復，因而被廣泛應用于康復醫(yī)療領域。針對目前腦電信號的信噪比導致深度學習方法在運動想象數(shù)據(jù)集上解碼精度不高的問題，提出一種基于注意力時間卷積的運動想象腦電分類方法。首先利用深度卷積模塊初步提取腦電信號中的時間與空間信息，采用多尺度卷積模塊中三個不同大小的卷積塊進一步提取MI?EEG（運動想象腦電）數(shù)據(jù)中整體和細節(jié)特征；再經(jīng)過多頭注意力模塊突出數(shù)據(jù)中最有價值的特征，利用時間卷積網(wǎng)絡提取高級時間特征；最后，經(jīng)過全連接網(wǎng)絡和softmax層輸出分類結(jié)果。實驗結(jié)果表明，在BCI競賽IV?2b數(shù)據(jù)集上，所提模型對運動想象二分類任務的平均分類準確率達到了84.26%，與已有的基準模型相比，該方法的準確率有顯著提高。

關鍵詞： 腦機接口； 運動想象； 時間卷積網(wǎng)絡； 深度學習； 多頭注意力模塊； 多尺度卷積； 信號分類

中圖分類號： TN911.7?34； TP391 " " " " " " " " " 文獻標識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）18?0070?07

Method of MI?EEG classification based on attentional temporal convolution

XU Jiazhen， HE Wenxue， LI Haoran

（School of Automation， Qingdao University， Qingdao 266071， China）

Abstract： Brain?computer interface （BCI） technology based on motor imagery is helpful for the rehabilitation of patients with movement disorders， and thus it is widely used in the field of rehabilitation medicine. In allusion to the problem that the current signal?to?noise ratio of EEG signals leads to poor decoding accuracy of deep learning methods on motor imagery datasets， a method of MI?EEG （motor imagery electroencephalogram） classification based on attentional temporal convolution is proposed. The deep convolution module is used to initially extract the temporal and spatial information in the EEG signals， and three convolutional blocks with different size in the multi?scale convolution module are used to further extract the global and detailed features from the MI?EEG data. The most valuable features in the data are highlighted by means of multi?head attention module， and the advanced temporal features are extracted by means of temporal convolution network， and then the classification results are output by connected network and softmax layer. The experimental results show that， on the BCI competition IV?2b dataset， the proposed model can realize an average classification accuracy of 84.26% for the motor imagery binary classification task， and this method has significantly improved accuracy compared with existing benchmark models.

Keywords： brain?computer interface; motor imagery; temporal convolutional network; deep learning; multi?head attention module; multi?scale convolution; signal classification

0 "引 "言

腦?機接口（Brain?Computer Interface， BCI）通過腦電傳感器采集大腦電信號，并利用腦電解碼算法將人的思維活動轉(zhuǎn)化為驅(qū)動外部設備的命令信號，從而實現(xiàn)人與外部設備之間的信息交互[1]。這種技術使得運動障礙患者不需要進行肢體相關活動便可以通過大腦控制外部設備。

BCI技術的應用前景非常廣闊，如卒中后運動康復、虛擬現(xiàn)實、3D四軸飛行器控制等。為了支持這些應用，準確、快速的解碼腦電信號起著至關重要的作用[2]。由于各種因素影響，MI?EEG信號表現(xiàn)出低信噪比，例如受試者的精神狀態(tài)、環(huán)境噪聲、由皮層作為體積導體的行為引起的信號失真，或其他生理信號的干擾[3]。

為了解決這個問題，有學者提出以深度學習為基礎的神經(jīng)網(wǎng)絡模型，用于MI?EEG信號分類[4]。腦電信號是通過多個電極在大腦皮層上提取的一維時間序列，它具有時間特征和不同電極之間的空間特征[5]。與其他噪聲信號相比，運動想象任務相關的腦電信號往往更為微弱，因此利用深度學習模型提取腦電信號中的特征信息更具有挑戰(zhàn)性[6]。文獻[7]中提出并行卷積神經(jīng)網(wǎng)絡模型，在網(wǎng)絡中融入不同大小的卷積核，用來提高分類準確率。文獻[8]中提出混合多尺度卷積神經(jīng)網(wǎng)絡模型，利用帶通濾波器將腦電信號分為三個不同的子頻帶，再通過不同大小的卷積核分別獲得三個頻帶信號的特性，并將其特征融合。文獻[9]中提出一種基于注意力機制的多尺度融合卷積神經(jīng)網(wǎng)絡，將三種特性進行了整合，并通過注意力模塊對特性進行了篩選。文獻[10]中提出一種基于遷移學習的多尺度特征融合網(wǎng)絡，通過不同卷積尺度來捕獲腦電信號中各種非重疊標準頻帶的可區(qū)分特征，以提高分類準確率。

基于上述研究，本文提出一種基于多頭注意力的多尺度卷積結(jié)合時間卷積的運動想象腦電分類模型。所提模型以Inception[11]結(jié)構(gòu)為基礎串聯(lián)時間卷積網(wǎng)絡模塊，以獲取時間與空間特征，利用多頭注意力模塊篩選重要特征，達到分類目的。

1 "方 "法

1.1 "整體模型

本文提出的基于注意力的時間卷積網(wǎng)絡模型結(jié)構(gòu)如圖1所示，將運動想象腦電信號定義為[X∈RC×T]，模型輸出定義為[P∈RN]，C表示腦電信號的導聯(lián)通道數(shù)，T表示腦電信號時間點的個數(shù)[12]，N表示類別數(shù)。整體結(jié)構(gòu)中，5個模塊串聯(lián)連接。

深度卷積模塊和多尺度卷積模塊分別提取不同電極通道間的空間特征和不同頻率上的時間特征，輸出高維時間序列。利用多頭注意力模塊突出時間序列中最重要的特征信息，時間卷積模塊提取時間序列中的高級時間特征，最后將提取到的特征通過分類模塊中的softmax函數(shù)轉(zhuǎn)換成概率分布，使得模型能夠更好地進行分類決策。

1.2 "深度卷積模塊

首先在腦電信號[X]的維度上添加一個通道維度，通道維度大小設置為1，將[X∈R1×C×T]作為深度卷積模塊的輸入。

在深度卷積模塊中，通過[F1]個大小為（1，125）的卷積核沿著原始信號的時間軸進行卷積，提取出[F1]組2 Hz以上信息的特征圖；接著在每一張?zhí)卣鲌D上通過大小為（3，1）的卷積核進行[D]次卷積操作，輸出[F2]組特征圖，批量歸一化處理特征圖，使用指數(shù)線性單元（ELU）激活函數(shù)[13]。最后經(jīng)過大小為（1，8）的最大池化層進行數(shù)據(jù)降采樣，通過保留最顯著的特征來減少數(shù)據(jù)冗余，并生成特征圖作為輸出[U∈RF2×1×T/8]。為避免訓練模型時過擬合，使用Dropout技術[14]，并將Dropout值設置為0.25。深度卷積模塊具體結(jié)構(gòu)如圖2所示。

1.3 "多尺度卷積模塊

大尺度卷積核能夠獲取總體特征，但對細節(jié)特征的敏感度較低，而小尺度卷積核對這些細粒度特征信息的獲取更為有效[15]。在Inception結(jié)構(gòu)框架下，構(gòu)建多尺度卷積模塊，通過（1，63）大小的卷積核提取腦電信號中整體特征信息，（1，15）大小的卷積核捕捉相對粗略的局部特征信息，而（1，3）大小的卷積核可以有效地保留細粒度特征信息，具體結(jié)構(gòu)如圖3所示。

首先通過三種大小不等的卷積核并聯(lián)連接，最大池化層對數(shù)據(jù)進行降采樣，減小計算量，去掉冗余信息；此外，最大池化操作還可以對特征圖的特征信息進行保留，進而提高模型分類準確率。最大池化層后連接一個（1，1）大小的卷積核，使得此分支上的特征圖通道數(shù)與其余三個分支的通道數(shù)相同。將四個并聯(lián)連接的網(wǎng)絡層得到的特征映射在通道維度上進行拼接操作，輸出[U∈R4F2×1×T/64]給后續(xù)模塊。

1.4 "多頭注意力模塊

多頭注意力模塊由8個自注意力層（縮放點積注意力）組成，如圖4所示。每個自注意力層包含查詢Q、鍵K和值V三個部分。首先對查詢和鍵進行點積運算，獲得注意力分數(shù)；然后使用縮放因子來增強或減弱這些分數(shù)，將縮放后得到的分數(shù)輸入softmax函數(shù)，得出每個元素的注意力權(quán)重；再根據(jù)這些權(quán)重對值進行加權(quán)求和，從而得到最終的輸出。

多尺度卷積模塊的輸出重塑為[I∈RTc×d]作為多頭注意力模塊的輸入，其中[Tc=T64]，[d=4F2]。將輸入I通過線性變換得到查詢Q、鍵K、值V矩陣為：

[Q=WQ?I]

[K=WK?I]

[V=WV?I] " " " " " "（1）

式中：[WQ]、[WK]、[WV]分別是可學習的權(quán)重矩陣。

對于每一個注意力頭h，都要計算出一個注意力權(quán)重矩陣[ah]，把Q、[KT]矩陣做點積，再除以一個縮放因子[d]，最后進行softmax操作得出：

[ah=softmaxQ·KTd ] " " " " " （2）

使用注意力權(quán)重矩陣[ah]對值矩陣V進行加權(quán)求和，得到每個注意力頭h的輸出，公式如下：

[Oh=ahV] " " " " " "（3）

將每個注意力頭的輸出[Oh]拼接起來，得到H個頭注意力的輸出：

[AQ，K，V=Concat（O1，O2，…，OH）] （4）

最后，將多頭注意力的輸出通過一個線性變換[WO]和一個ReLU激活函數(shù)進行處理，獲得最終多頭注意力模塊的輸出。

[MHAQ，K，V=WO?AQ，K，V+b] " （5）

式中：[WO]是可學習的權(quán)重矩陣；[b]是偏置向量。

softmax函數(shù)為：

[softmaxxi=exij=1Nexj] " " " " （6）

式中：[softmaxxi]是輸入張量中的第i個元素經(jīng)過softmax操作后的值；x是softmax函數(shù)的輸入向量；N是類別數(shù)量。

1.5 "時間卷積模塊

時間卷積模塊結(jié)構(gòu)如圖5所示，包含兩個時間卷積殘差塊。每個殘差塊中串聯(lián)兩個膨脹因果卷積層，每個卷積層后進行批量歸一化操作和ELU函數(shù)激活。

因果卷積被用來防止任何信息從未來傳播到過去，也就是t時刻的輸出只依賴于t時刻和更早時間的輸入。膨脹卷積允許接受域呈指數(shù)級擴張，同時增加網(wǎng)絡的深度。因此，膨脹因果卷積可以學習長序列中的關系。殘差連接對輸入和輸出特征映射進行元素加法，即[F（x）+x]。在殘差塊中，使用恒等映射，因為輸入和輸出維數(shù)相同，否則，將使用一個線性變換，即1×1卷積。

時間卷積網(wǎng)絡的感受野大小（RFS）隨著堆疊殘差塊數(shù)量L的增加呈指數(shù)增長，這是由于每個后續(xù)塊的膨脹因子D呈指數(shù)增長。感受野大小由兩個參數(shù)控制：殘差塊數(shù)量L和核大小[KT]，公式如下：

[RFS=1+2KT-1（2L-1）] " " （7）

此模塊由2個時間卷積殘差塊和32個[KT=4]的濾波器組成，每個時間卷積網(wǎng)絡的RFS為19，即時間卷積網(wǎng)絡可以在一個序列中處理多達19個元素，如圖6所示。因此，輸入時間卷積塊的時間序列應小于或等于19，以允許時間卷積網(wǎng)絡處理所有的時間信息而不丟失。

圖6顯示了輸入時間卷積網(wǎng)絡的15個時間元素序列，每個元素都是一個大小為F的向量。網(wǎng)絡輸出時間序列中最后一個元素，它是一個大小為[FT]的向量，其中F=[FT]=32。然后輸入分類模塊，模塊中具有兩個神經(jīng)元的全連接（FC）層，神經(jīng)元的數(shù)量與MI類的數(shù)量相同，利用softmax函數(shù)獲得每個類別的概率輸出。

本文所使用的超參數(shù)如表1所示，這些參數(shù)是基于多個實驗的經(jīng)驗設置，并且對所有受試者都是固定的。

2 "實 "驗

2.1 "數(shù)據(jù)集描述與預處理

為了訓練和測試本文的模型，在此使用公開的MI?BCI競賽腦電數(shù)據(jù)集（BCI competition Dataset IV?2b）[16]。該數(shù)據(jù)集中包含了9名受試者腦電圖數(shù)據(jù)，每名受試者進行5次運動想象腦電采集記錄，前2次記錄共240次實驗，后3次記錄共480次實驗且包含微笑反饋。分別進行兩類運動想象任務，包含想象左手運動和想象右手運動。采樣頻率為250 Hz，導聯(lián)通道數(shù)為3，每個通道都經(jīng)過帶通濾波器0.5～100 Hz和陷波濾波器50 Hz預處理。此外，本文采用相關研究中常見的0～4 s線索時間窗切割數(shù)據(jù)集，因此每個受試者獲得720個樣本。

2.2 "實驗設置

本文將數(shù)據(jù)集按照3∶1∶1比例劃分為訓練集、驗證集和測試集。采用Adam優(yōu)化器和交叉熵損失函數(shù)來更新網(wǎng)絡參數(shù)，批次大小設置為32，最大訓練周期設置為1 000，當驗證準確率在200次內(nèi)未提升，訓練提前停止，以防止訓練過擬合。在訓練過程中引入了余弦退火策略來動態(tài)調(diào)整學習率，學習率范圍設置為0.002～0.000 1。余弦退火是一種在優(yōu)化目標函數(shù)的同時動態(tài)調(diào)整學習速率的方法，公式如下：

[ηt=ηmin+12ηmax-ηmin1+cosTcurTmaxπ] （8）

式中：[ηt]表示在時間t處的學習率；[ηmin]表示學習率的最小值；[ηmax]表示學習率的最大值，即初始學習率；[Tcur]表示當前的訓練周期；[Tmax]表示最大訓練周期。在此方法中，學習率的變化形式類似于余弦函數(shù)圖形。開始時學習率較大，在[Tcur]=0時達到了最大值[ηmax]。然后，通過余弦函數(shù)，學習率逐漸減小，直到[Tcur]=[Tmax]時達到最小值[ηmin]。這種方式使得模型在訓練初期收斂更快，而在訓練后期更細致地調(diào)整。

實驗使用的編程語言是Python 3.7，基于PyTorch框架設計，利用MNE庫對腦電信號進行預處理，Scikit?learn庫用于數(shù)據(jù)分割和模型評估，模型的訓練和測試是在Nvidia RTX 4060 GPU上完成的。

2.3 "評價指標

為了直觀地對模型的分類性能進行評估，引入準確率（Accuracy），公式如下：

[Accuracy=TP+TNTP+FN+FP+TN] " " " "（9）

式中：TP（True Positive）表示原始數(shù)據(jù)為正，分類后仍然為正的樣本數(shù)；TN（True Negative）表示原始數(shù)據(jù)為負，分類后仍然為負的樣本數(shù)；FN（False Negative）表示原始數(shù)據(jù)為正，但是分類后為負的樣本數(shù)；FP（False Positive）表示原始數(shù)據(jù)為負，但是分類后為正的樣本數(shù)。

3 "實驗結(jié)果與分析

3.1 "不同模型的分類結(jié)果比較

表2所示為應用于BCI competition IV?2b數(shù)據(jù)集時，本文模型與三種基準模型單個受試者分類準確率的比較結(jié)果。表中，本文提出的模型在9個受試者上的平均分類準確率達到了84.26%，優(yōu)于其他三種基準模型。對比每個受試者單獨的分類準確率，本模型僅在受試者3、受試者4和受試者8中未能達到最高準確率，可能原因是該模型對腦電信號中的噪聲特征進行了學習，導致分類效果不佳。針對特定受試者的腦電信號，個別模型具有較強的敏感性，對受試者腦電信號分類準確率相對較高。此外，超參數(shù)設置不當也會導致模型訓練時過擬合，使得測試分類準確率不高。

根據(jù)分類標簽和模型預測值繪制了平均混淆矩陣，如圖7所示。由混淆矩陣可看出，每個受試者有144個測試樣本，其中分類正確的樣本數(shù)有122個，準確率為84.72%。

3.2 "繪制特征散點圖

為了進一步證明本文模型的解碼和分類能力，對受試者B6進行t分布隨機鄰域嵌入（t?SNE）分析。這是一種非線性的降維技術，用于向二維或三維空間映射高維數(shù)據(jù)，以便可視化[20]。它在保留數(shù)據(jù)點之間的局部結(jié)構(gòu)的同時，盡可能地將相似的數(shù)據(jù)點映射到降維空間中的相鄰位置。

首先，對于給定的高維數(shù)據(jù)集，通過高斯核函數(shù)來度量數(shù)據(jù)點之間的相似性。假設有N個數(shù)據(jù)點，使用條件概率來表示數(shù)據(jù)點[xi]在給定數(shù)據(jù)點[xj]的條件下的相似性：

[pji=exp-xi-xj222ik≠iexp-xi-xk222i] " " "（10）

式中[pji]是一個與數(shù)據(jù)點[xi]相關的方差參數(shù)，通常由固定的高斯核帶寬或基于數(shù)據(jù)點的局部密度來確定。

計算低維空間中各數(shù)據(jù)點的相似度。使用t?分布來測量低維空間中數(shù)據(jù)點的相似度，因為t?分布具有厚尾的性質(zhì)，有助于保留數(shù)據(jù)點之間的局部結(jié)構(gòu)。在t?SNE中，相似性度量定義為：

[qji=1+yi-yj2-1k≠i1+yi-yk2-1] " " " "（11）

式中：[yi]和[yj]是數(shù)據(jù)點[xi]和[xj]在低維空間中的投影。

t?SNE通過最小化高維空間中數(shù)據(jù)點之間的相似性與低維空間中數(shù)據(jù)點之間的相似性的差異來優(yōu)化投影[yi]，即通過最小化高維空間中相似性分布P與低維空間中相似性分布Q之間的差異：

[C=KLPQ=ijpjilogpjiqji] " " （12）

在優(yōu)化過程中，使用隨機梯度下降算法來更新低維投影[yi]，使得KL散度逐漸減小，最終收斂到局部最優(yōu)解。圖8a）是受試者B6原始數(shù)據(jù)的降維投影，由圖可見，在未經(jīng)解碼時，其數(shù)據(jù)類別雜亂且不可分。圖8b）是受試者B6經(jīng)過本模型解碼后的降維特征，除了有小部分類別重疊，二類任務都具有高度的聚類性和離散性。

3.3 "消融實驗

為了研究每個模塊對整個模型的影響，通過去除相應模塊來測試剩余網(wǎng)絡模型的分類效果，平均分類結(jié)果如表3所示。

表3 "基于BCI competition IV?2b的模型消融實驗

[去除模塊 AVG/% 時間卷積 82.04 多頭注意力 82.16 多尺度卷積 78.27 深度卷積 62.13 ]

表3結(jié)果顯示，相對于本文模型的平均準確率84.26%，去除深度卷積模塊對分類準確率影響最大，準確率下降了22.13%，而去除多尺度卷積模塊分類準確率下降了5.99%，去除多頭注意力模塊分類準確率下降2.1%，去除時間卷積模塊分類準確率下降2.22%。

此外，針對多頭注意力模塊中注意力頭數(shù)的選擇，做了多組對比實驗，結(jié)果如表4所示。

表4結(jié)果顯示，當注意力頭數(shù)為8時，平均分類效果最好，故多頭注意力模塊選取8個頭。

4 "結(jié) "論

本文提出的基于多頭注意力的多尺度卷積結(jié)合時間卷積的運動想象腦電分類模型，可以提取腦電數(shù)據(jù)中整體特征和局部細節(jié)特征，多頭注意力對特征進行融合和篩選，以增強有效特征的表征能力，最后利用時間卷積提取高級時間特征，進一步提高分類效果。在BCI competition IV?2b數(shù)據(jù)集上的實驗結(jié)果表明，該模型與近年來先進的深度學習方法相比有明顯的優(yōu)勢。未來的研究中，將在多分類運動想象數(shù)據(jù)集上對模型進行改進。

注：本文通訊作者為何文雪。

參考文獻

[1] 楊幫華.運動想象腦機接口在神經(jīng)系統(tǒng)疾病康復中的應用[J].康復學報，2023，33（6）：477?485.

[2] JIA H， YU S Q， YIN S J， et al. A model combining multi branch spectral?temporal CNN， efficient channel attention， and light GBM for MI?BCI classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1311?1320.

[3] LOTTE F， BOUGRAIN L， CICHOCKI A， et al. A review of classification algorithms for EEG?based brain?computer interfaces： a 10 year update [J]. Journal of neural engineering， 2018， 15（3）： 031005.

[4] LIH L， DING M， ZHANG R， et al. Motor imagery EEG classifi?cation algorithm based on CNN?LSTM feature fusion network [J]. Biomedical signal processing and control， 2022， 72： 103342.

[5] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M. Physics?informed attention temporal convolutional network for EEG?based motor imagery classification [J]. IEEE transactions on industrial informatics， 2023， 19（2）： 2249?2258.

[6] 李紅利，劉浩雨，陳虹宇，等.基于時間序列數(shù)據(jù)增強的運動想象腦電多尺度特征提取分類[J].生物醫(yī)學工程學雜志，2023，40（3）：418?425.

[7] HAN Y X， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neuralnetwork [J]. Biomed signal process control， 2022， 71： 103190.

[8] DAI G H， ZHOU J， HUANG J H， et al. HS?CNN： a CNN with hybridconvolution scale for EEG motor imagery classification [J]. Journal of neural engineering， 2020， 17（1）： 016025.

[9] LI D L， XU J C， WANG J H， et al. A multi?scale fusion convolutional neuralnetwork based on attention mechanism for the visualization analysis of EEG signals decoding [J]. IEEE transactions on neural systems and rehabilitation engineering， 2020， 28（12）： 2615?2626.

[10] ROYA M. Adaptive transfer learning?based multiscale feature fused deep convolutional neural network for EEG MI multi classification in brain?computer interface [J]. Engineering applications of artificial intelligence， 2022， 116： 105347.

[11] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： IEEE， 2015： 1?9.

[12] 賈子鈺，林友芳，劉天航，等.基于多尺度特征提取與擠壓激勵模型的運動想象分類方法[J].計算機研究與發(fā)展，2020，57（12）：2481?2489.

[13] KOL W， RANGA S S K， KOMARV O， et al. Development of single?channel hybrid BCI system using motor imagery and SSVEP [J]. Journal of healthcare engineering， 2017， 2017： 1?7.

[14] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（1）： 1929?1958.

[15] 劉培，宋耀蓮.基于通道選擇的多尺度Inception網(wǎng)絡的腦電信號分類研究[J].現(xiàn)代電子技術，2023，46（23）：59?65.

[16] LEEB R， BRUNNER C， MULLER?PUTZ G R， et al. BCI competition 2008 { Graz data set B [EB/OL]. [2023?07?18]. bbci.de/competition/iv/desc_2a.pdf.

[17] LAWHERNV J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain?computer interfacing [J]. Journal of neural engineering， 2018， 15（5）： 056013.1?056013.30.

[18] WANGJ H， YAO L and WANG Y M. IFNet： an interactive frequency convolutional neural network for enhancing motor imagery decoding from EEG [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1900?1911.

[19] ZHAO X F， LIU D， MA L， et al. Deep CNN model based on serial?parallel structure optimization for four?class motor imagery EEG classification [J]. Biomedical signal processing and control， 2022， 72： 103338.

[20] 申佳華，代成龍，李光輝.AFBCNet：一種基于自適應濾波器組的運動想象卷積神經(jīng)網(wǎng)絡[J].傳感技術學報，2023，36（11）：1714?1723.