摘 "要： 以運(yùn)動(dòng)想象為基礎(chǔ)的腦機(jī)接口技術(shù)有助于運(yùn)動(dòng)障礙患者的康復(fù)，因而被廣泛應(yīng)用于康復(fù)醫(yī)療領(lǐng)域。針對(duì)目前腦電信號(hào)的信噪比導(dǎo)致深度學(xué)習(xí)方法在運(yùn)動(dòng)想象數(shù)據(jù)集上解碼精度不高的問(wèn)題，提出一種基于注意力時(shí)間卷積的運(yùn)動(dòng)想象腦電分類方法。首先利用深度卷積模塊初步提取腦電信號(hào)中的時(shí)間與空間信息，采用多尺度卷積模塊中三個(gè)不同大小的卷積塊進(jìn)一步提取MI?EEG（運(yùn)動(dòng)想象腦電）數(shù)據(jù)中整體和細(xì)節(jié)特征；再經(jīng)過(guò)多頭注意力模塊突出數(shù)據(jù)中最有價(jià)值的特征，利用時(shí)間卷積網(wǎng)絡(luò)提取高級(jí)時(shí)間特征；最后，經(jīng)過(guò)全連接網(wǎng)絡(luò)和softmax層輸出分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，在BCI競(jìng)賽IV?2b數(shù)據(jù)集上，所提模型對(duì)運(yùn)動(dòng)想象二分類任務(wù)的平均分類準(zhǔn)確率達(dá)到了84.26%，與已有的基準(zhǔn)模型相比，該方法的準(zhǔn)確率有顯著提高。

關(guān)鍵詞： 腦機(jī)接口； 運(yùn)動(dòng)想象； 時(shí)間卷積網(wǎng)絡(luò)； 深度學(xué)習(xí)； 多頭注意力模塊； 多尺度卷積； 信號(hào)分類

中圖分類號(hào)： TN911.7?34； TP391 " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " " "文章編號(hào)： 1004?373X（2024）18?0070?07

Method of MI?EEG classification based on attentional temporal convolution

XU Jiazhen， HE Wenxue， LI Haoran

（School of Automation， Qingdao University， Qingdao 266071， China）

Abstract： Brain?computer interface （BCI） technology based on motor imagery is helpful for the rehabilitation of patients with movement disorders， and thus it is widely used in the field of rehabilitation medicine. In allusion to the problem that the current signal?to?noise ratio of EEG signals leads to poor decoding accuracy of deep learning methods on motor imagery datasets， a method of MI?EEG （motor imagery electroencephalogram） classification based on attentional temporal convolution is proposed. The deep convolution module is used to initially extract the temporal and spatial information in the EEG signals， and three convolutional blocks with different size in the multi?scale convolution module are used to further extract the global and detailed features from the MI?EEG data. The most valuable features in the data are highlighted by means of multi?head attention module， and the advanced temporal features are extracted by means of temporal convolution network， and then the classification results are output by connected network and softmax layer. The experimental results show that， on the BCI competition IV?2b dataset， the proposed model can realize an average classification accuracy of 84.26% for the motor imagery binary classification task， and this method has significantly improved accuracy compared with existing benchmark models.

Keywords： brain?computer interface; motor imagery; temporal convolutional network; deep learning; multi?head attention module; multi?scale convolution; signal classification

0 "引 "言

腦?機(jī)接口（Brain?Computer Interface， BCI）通過(guò)腦電傳感器采集大腦電信號(hào)，并利用腦電解碼算法將人的思維活動(dòng)轉(zhuǎn)化為驅(qū)動(dòng)外部設(shè)備的命令信號(hào)，從而實(shí)現(xiàn)人與外部設(shè)備之間的信息交互[1]。這種技術(shù)使得運(yùn)動(dòng)障礙患者不需要進(jìn)行肢體相關(guān)活動(dòng)便可以通過(guò)大腦控制外部設(shè)備。

BCI技術(shù)的應(yīng)用前景非常廣闊，如卒中后運(yùn)動(dòng)康復(fù)、虛擬現(xiàn)實(shí)、3D四軸飛行器控制等。為了支持這些應(yīng)用，準(zhǔn)確、快速的解碼腦電信號(hào)起著至關(guān)重要的作用[2]。由于各種因素影響，MI?EEG信號(hào)表現(xiàn)出低信噪比，例如受試者的精神狀態(tài)、環(huán)境噪聲、由皮層作為體積導(dǎo)體的行為引起的信號(hào)失真，或其他生理信號(hào)的干擾[3]。

為了解決這個(gè)問(wèn)題，有學(xué)者提出以深度學(xué)習(xí)為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型，用于MI?EEG信號(hào)分類[4]。腦電信號(hào)是通過(guò)多個(gè)電極在大腦皮層上提取的一維時(shí)間序列，它具有時(shí)間特征和不同電極之間的空間特征[5]。與其他噪聲信號(hào)相比，運(yùn)動(dòng)想象任務(wù)相關(guān)的腦電信號(hào)往往更為微弱，因此利用深度學(xué)習(xí)模型提取腦電信號(hào)中的特征信息更具有挑戰(zhàn)性[6]。文獻(xiàn)[7]中提出并行卷積神經(jīng)網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)中融入不同大小的卷積核，用來(lái)提高分類準(zhǔn)確率。文獻(xiàn)[8]中提出混合多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，利用帶通濾波器將腦電信號(hào)分為三個(gè)不同的子頻帶，再通過(guò)不同大小的卷積核分別獲得三個(gè)頻帶信號(hào)的特性，并將其特征融合。文獻(xiàn)[9]中提出一種基于注意力機(jī)制的多尺度融合卷積神經(jīng)網(wǎng)絡(luò)，將三種特性進(jìn)行了整合，并通過(guò)注意力模塊對(duì)特性進(jìn)行了篩選。文獻(xiàn)[10]中提出一種基于遷移學(xué)習(xí)的多尺度特征融合網(wǎng)絡(luò)，通過(guò)不同卷積尺度來(lái)捕獲腦電信號(hào)中各種非重疊標(biāo)準(zhǔn)頻帶的可區(qū)分特征，以提高分類準(zhǔn)確率。

基于上述研究，本文提出一種基于多頭注意力的多尺度卷積結(jié)合時(shí)間卷積的運(yùn)動(dòng)想象腦電分類模型。所提模型以Inception[11]結(jié)構(gòu)為基礎(chǔ)串聯(lián)時(shí)間卷積網(wǎng)絡(luò)模塊，以獲取時(shí)間與空間特征，利用多頭注意力模塊篩選重要特征，達(dá)到分類目的。

1 "方 "法

1.1 "整體模型

本文提出的基于注意力的時(shí)間卷積網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，將運(yùn)動(dòng)想象腦電信號(hào)定義為[X∈RC×T]，模型輸出定義為[P∈RN]，C表示腦電信號(hào)的導(dǎo)聯(lián)通道數(shù)，T表示腦電信號(hào)時(shí)間點(diǎn)的個(gè)數(shù)[12]，N表示類別數(shù)。整體結(jié)構(gòu)中，5個(gè)模塊串聯(lián)連接。

深度卷積模塊和多尺度卷積模塊分別提取不同電極通道間的空間特征和不同頻率上的時(shí)間特征，輸出高維時(shí)間序列。利用多頭注意力模塊突出時(shí)間序列中最重要的特征信息，時(shí)間卷積模塊提取時(shí)間序列中的高級(jí)時(shí)間特征，最后將提取到的特征通過(guò)分類模塊中的softmax函數(shù)轉(zhuǎn)換成概率分布，使得模型能夠更好地進(jìn)行分類決策。

1.2 "深度卷積模塊

首先在腦電信號(hào)[X]的維度上添加一個(gè)通道維度，通道維度大小設(shè)置為1，將[X∈R1×C×T]作為深度卷積模塊的輸入。

在深度卷積模塊中，通過(guò)[F1]個(gè)大小為（1，125）的卷積核沿著原始信號(hào)的時(shí)間軸進(jìn)行卷積，提取出[F1]組2 Hz以上信息的特征圖；接著在每一張?zhí)卣鲌D上通過(guò)大小為（3，1）的卷積核進(jìn)行[D]次卷積操作，輸出[F2]組特征圖，批量歸一化處理特征圖，使用指數(shù)線性單元（ELU）激活函數(shù)[13]。最后經(jīng)過(guò)大小為（1，8）的最大池化層進(jìn)行數(shù)據(jù)降采樣，通過(guò)保留最顯著的特征來(lái)減少數(shù)據(jù)冗余，并生成特征圖作為輸出[U∈RF2×1×T/8]。為避免訓(xùn)練模型時(shí)過(guò)擬合，使用Dropout技術(shù)[14]，并將Dropout值設(shè)置為0.25。深度卷積模塊具體結(jié)構(gòu)如圖2所示。

1.3 "多尺度卷積模塊

大尺度卷積核能夠獲取總體特征，但對(duì)細(xì)節(jié)特征的敏感度較低，而小尺度卷積核對(duì)這些細(xì)粒度特征信息的獲取更為有效[15]。在Inception結(jié)構(gòu)框架下，構(gòu)建多尺度卷積模塊，通過(guò)（1，63）大小的卷積核提取腦電信號(hào)中整體特征信息，（1，15）大小的卷積核捕捉相對(duì)粗略的局部特征信息，而（1，3）大小的卷積核可以有效地保留細(xì)粒度特征信息，具體結(jié)構(gòu)如圖3所示。

首先通過(guò)三種大小不等的卷積核并聯(lián)連接，最大池化層對(duì)數(shù)據(jù)進(jìn)行降采樣，減小計(jì)算量，去掉冗余信息；此外，最大池化操作還可以對(duì)特征圖的特征信息進(jìn)行保留，進(jìn)而提高模型分類準(zhǔn)確率。最大池化層后連接一個(gè)（1，1）大小的卷積核，使得此分支上的特征圖通道數(shù)與其余三個(gè)分支的通道數(shù)相同。將四個(gè)并聯(lián)連接的網(wǎng)絡(luò)層得到的特征映射在通道維度上進(jìn)行拼接操作，輸出[U∈R4F2×1×T/64]給后續(xù)模塊。

1.4 "多頭注意力模塊

多頭注意力模塊由8個(gè)自注意力層（縮放點(diǎn)積注意力）組成，如圖4所示。每個(gè)自注意力層包含查詢Q、鍵K和值V三個(gè)部分。首先對(duì)查詢和鍵進(jìn)行點(diǎn)積運(yùn)算，獲得注意力分?jǐn)?shù)；然后使用縮放因子來(lái)增強(qiáng)或減弱這些分?jǐn)?shù)，將縮放后得到的分?jǐn)?shù)輸入softmax函數(shù)，得出每個(gè)元素的注意力權(quán)重；再根據(jù)這些權(quán)重對(duì)值進(jìn)行加權(quán)求和，從而得到最終的輸出。

多尺度卷積模塊的輸出重塑為[I∈RTc×d]作為多頭注意力模塊的輸入，其中[Tc=T64]，[d=4F2]。將輸入I通過(guò)線性變換得到查詢Q、鍵K、值V矩陣為：

[Q=WQ?I]

[K=WK?I]

[V=WV?I] " " " " " "（1）

式中：[WQ]、[WK]、[WV]分別是可學(xué)習(xí)的權(quán)重矩陣。

對(duì)于每一個(gè)注意力頭h，都要計(jì)算出一個(gè)注意力權(quán)重矩陣[ah]，把Q、[KT]矩陣做點(diǎn)積，再除以一個(gè)縮放因子[d]，最后進(jìn)行softmax操作得出：

[ah=softmaxQ·KTd ] " " " " " （2）

使用注意力權(quán)重矩陣[ah]對(duì)值矩陣V進(jìn)行加權(quán)求和，得到每個(gè)注意力頭h的輸出，公式如下：

[Oh=ahV] " " " " " "（3）

將每個(gè)注意力頭的輸出[Oh]拼接起來(lái)，得到H個(gè)頭注意力的輸出：

[AQ，K，V=Concat（O1，O2，…，OH）] （4）

最后，將多頭注意力的輸出通過(guò)一個(gè)線性變換[WO]和一個(gè)ReLU激活函數(shù)進(jìn)行處理，獲得最終多頭注意力模塊的輸出。

[MHAQ，K，V=WO?AQ，K，V+b] " （5）

式中：[WO]是可學(xué)習(xí)的權(quán)重矩陣；[b]是偏置向量。

softmax函數(shù)為：

[softmaxxi=exij=1Nexj] " " " " （6）

式中：[softmaxxi]是輸入張量中的第i個(gè)元素經(jīng)過(guò)softmax操作后的值；x是softmax函數(shù)的輸入向量；N是類別數(shù)量。

1.5 "時(shí)間卷積模塊

時(shí)間卷積模塊結(jié)構(gòu)如圖5所示，包含兩個(gè)時(shí)間卷積殘差塊。每個(gè)殘差塊中串聯(lián)兩個(gè)膨脹因果卷積層，每個(gè)卷積層后進(jìn)行批量歸一化操作和ELU函數(shù)激活。

因果卷積被用來(lái)防止任何信息從未來(lái)傳播到過(guò)去，也就是t時(shí)刻的輸出只依賴于t時(shí)刻和更早時(shí)間的輸入。膨脹卷積允許接受域呈指數(shù)級(jí)擴(kuò)張，同時(shí)增加網(wǎng)絡(luò)的深度。因此，膨脹因果卷積可以學(xué)習(xí)長(zhǎng)序列中的關(guān)系。殘差連接對(duì)輸入和輸出特征映射進(jìn)行元素加法，即[F（x）+x]。在殘差塊中，使用恒等映射，因?yàn)檩斎牒洼敵鼍S數(shù)相同，否則，將使用一個(gè)線性變換，即1×1卷積。

時(shí)間卷積網(wǎng)絡(luò)的感受野大小（RFS）隨著堆疊殘差塊數(shù)量L的增加呈指數(shù)增長(zhǎng)，這是由于每個(gè)后續(xù)塊的膨脹因子D呈指數(shù)增長(zhǎng)。感受野大小由兩個(gè)參數(shù)控制：殘差塊數(shù)量L和核大小[KT]，公式如下：

[RFS=1+2KT-1（2L-1）] " " （7）

此模塊由2個(gè)時(shí)間卷積殘差塊和32個(gè)[KT=4]的濾波器組成，每個(gè)時(shí)間卷積網(wǎng)絡(luò)的RFS為19，即時(shí)間卷積網(wǎng)絡(luò)可以在一個(gè)序列中處理多達(dá)19個(gè)元素，如圖6所示。因此，輸入時(shí)間卷積塊的時(shí)間序列應(yīng)小于或等于19，以允許時(shí)間卷積網(wǎng)絡(luò)處理所有的時(shí)間信息而不丟失。

圖6顯示了輸入時(shí)間卷積網(wǎng)絡(luò)的15個(gè)時(shí)間元素序列，每個(gè)元素都是一個(gè)大小為F的向量。網(wǎng)絡(luò)輸出時(shí)間序列中最后一個(gè)元素，它是一個(gè)大小為[FT]的向量，其中F=[FT]=32。然后輸入分類模塊，模塊中具有兩個(gè)神經(jīng)元的全連接（FC）層，神經(jīng)元的數(shù)量與MI類的數(shù)量相同，利用softmax函數(shù)獲得每個(gè)類別的概率輸出。

本文所使用的超參數(shù)如表1所示，這些參數(shù)是基于多個(gè)實(shí)驗(yàn)的經(jīng)驗(yàn)設(shè)置，并且對(duì)所有受試者都是固定的。

2 "實(shí) "驗(yàn)

2.1 "數(shù)據(jù)集描述與預(yù)處理

為了訓(xùn)練和測(cè)試本文的模型，在此使用公開(kāi)的MI?BCI競(jìng)賽腦電數(shù)據(jù)集（BCI competition Dataset IV?2b）[16]。該數(shù)據(jù)集中包含了9名受試者腦電圖數(shù)據(jù)，每名受試者進(jìn)行5次運(yùn)動(dòng)想象腦電采集記錄，前2次記錄共240次實(shí)驗(yàn)，后3次記錄共480次實(shí)驗(yàn)且包含微笑反饋。分別進(jìn)行兩類運(yùn)動(dòng)想象任務(wù)，包含想象左手運(yùn)動(dòng)和想象右手運(yùn)動(dòng)。采樣頻率為250 Hz，導(dǎo)聯(lián)通道數(shù)為3，每個(gè)通道都經(jīng)過(guò)帶通濾波器0.5～100 Hz和陷波濾波器50 Hz預(yù)處理。此外，本文采用相關(guān)研究中常見(jiàn)的0～4 s線索時(shí)間窗切割數(shù)據(jù)集，因此每個(gè)受試者獲得720個(gè)樣本。

2.2 "實(shí)驗(yàn)設(shè)置

本文將數(shù)據(jù)集按照3∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。采用Adam優(yōu)化器和交叉熵?fù)p失函數(shù)來(lái)更新網(wǎng)絡(luò)參數(shù)，批次大小設(shè)置為32，最大訓(xùn)練周期設(shè)置為1 000，當(dāng)驗(yàn)證準(zhǔn)確率在200次內(nèi)未提升，訓(xùn)練提前停止，以防止訓(xùn)練過(guò)擬合。在訓(xùn)練過(guò)程中引入了余弦退火策略來(lái)動(dòng)態(tài)調(diào)整學(xué)習(xí)率，學(xué)習(xí)率范圍設(shè)置為0.002～0.000 1。余弦退火是一種在優(yōu)化目標(biāo)函數(shù)的同時(shí)動(dòng)態(tài)調(diào)整學(xué)習(xí)速率的方法，公式如下：

[ηt=ηmin+12ηmax-ηmin1+cosTcurTmaxπ] （8）

式中：[ηt]表示在時(shí)間t處的學(xué)習(xí)率；[ηmin]表示學(xué)習(xí)率的最小值；[ηmax]表示學(xué)習(xí)率的最大值，即初始學(xué)習(xí)率；[Tcur]表示當(dāng)前的訓(xùn)練周期；[Tmax]表示最大訓(xùn)練周期。在此方法中，學(xué)習(xí)率的變化形式類似于余弦函數(shù)圖形。開(kāi)始時(shí)學(xué)習(xí)率較大，在[Tcur]=0時(shí)達(dá)到了最大值[ηmax]。然后，通過(guò)余弦函數(shù)，學(xué)習(xí)率逐漸減小，直到[Tcur]=[Tmax]時(shí)達(dá)到最小值[ηmin]。這種方式使得模型在訓(xùn)練初期收斂更快，而在訓(xùn)練后期更細(xì)致地調(diào)整。

實(shí)驗(yàn)使用的編程語(yǔ)言是Python 3.7，基于PyTorch框架設(shè)計(jì)，利用MNE庫(kù)對(duì)腦電信號(hào)進(jìn)行預(yù)處理，Scikit?learn庫(kù)用于數(shù)據(jù)分割和模型評(píng)估，模型的訓(xùn)練和測(cè)試是在Nvidia RTX 4060 GPU上完成的。

2.3 "評(píng)價(jià)指標(biāo)

為了直觀地對(duì)模型的分類性能進(jìn)行評(píng)估，引入準(zhǔn)確率（Accuracy），公式如下：

[Accuracy=TP+TNTP+FN+FP+TN] " " " "（9）

式中：TP（True Positive）表示原始數(shù)據(jù)為正，分類后仍然為正的樣本數(shù)；TN（True Negative）表示原始數(shù)據(jù)為負(fù)，分類后仍然為負(fù)的樣本數(shù)；FN（False Negative）表示原始數(shù)據(jù)為正，但是分類后為負(fù)的樣本數(shù)；FP（False Positive）表示原始數(shù)據(jù)為負(fù)，但是分類后為正的樣本數(shù)。

3 "實(shí)驗(yàn)結(jié)果與分析

3.1 "不同模型的分類結(jié)果比較

表2所示為應(yīng)用于BCI competition IV?2b數(shù)據(jù)集時(shí)，本文模型與三種基準(zhǔn)模型單個(gè)受試者分類準(zhǔn)確率的比較結(jié)果。表中，本文提出的模型在9個(gè)受試者上的平均分類準(zhǔn)確率達(dá)到了84.26%，優(yōu)于其他三種基準(zhǔn)模型。對(duì)比每個(gè)受試者單獨(dú)的分類準(zhǔn)確率，本模型僅在受試者3、受試者4和受試者8中未能達(dá)到最高準(zhǔn)確率，可能原因是該模型對(duì)腦電信號(hào)中的噪聲特征進(jìn)行了學(xué)習(xí)，導(dǎo)致分類效果不佳。針對(duì)特定受試者的腦電信號(hào)，個(gè)別模型具有較強(qiáng)的敏感性，對(duì)受試者腦電信號(hào)分類準(zhǔn)確率相對(duì)較高。此外，超參數(shù)設(shè)置不當(dāng)也會(huì)導(dǎo)致模型訓(xùn)練時(shí)過(guò)擬合，使得測(cè)試分類準(zhǔn)確率不高。

根據(jù)分類標(biāo)簽和模型預(yù)測(cè)值繪制了平均混淆矩陣，如圖7所示。由混淆矩陣可看出，每個(gè)受試者有144個(gè)測(cè)試樣本，其中分類正確的樣本數(shù)有122個(gè)，準(zhǔn)確率為84.72%。

3.2 "繪制特征散點(diǎn)圖

為了進(jìn)一步證明本文模型的解碼和分類能力，對(duì)受試者B6進(jìn)行t分布隨機(jī)鄰域嵌入（t?SNE）分析。這是一種非線性的降維技術(shù)，用于向二維或三維空間映射高維數(shù)據(jù)，以便可視化[20]。它在保留數(shù)據(jù)點(diǎn)之間的局部結(jié)構(gòu)的同時(shí)，盡可能地將相似的數(shù)據(jù)點(diǎn)映射到降維空間中的相鄰位置。

首先，對(duì)于給定的高維數(shù)據(jù)集，通過(guò)高斯核函數(shù)來(lái)度量數(shù)據(jù)點(diǎn)之間的相似性。假設(shè)有N個(gè)數(shù)據(jù)點(diǎn)，使用條件概率來(lái)表示數(shù)據(jù)點(diǎn)[xi]在給定數(shù)據(jù)點(diǎn)[xj]的條件下的相似性：

[pji=exp-xi-xj222ik≠iexp-xi-xk222i] " " "（10）

式中[pji]是一個(gè)與數(shù)據(jù)點(diǎn)[xi]相關(guān)的方差參數(shù)，通常由固定的高斯核帶寬或基于數(shù)據(jù)點(diǎn)的局部密度來(lái)確定。

計(jì)算低維空間中各數(shù)據(jù)點(diǎn)的相似度。使用t?分布來(lái)測(cè)量低維空間中數(shù)據(jù)點(diǎn)的相似度，因?yàn)閠?分布具有厚尾的性質(zhì)，有助于保留數(shù)據(jù)點(diǎn)之間的局部結(jié)構(gòu)。在t?SNE中，相似性度量定義為：

[qji=1+yi-yj2-1k≠i1+yi-yk2-1] " " " "（11）

式中：[yi]和[yj]是數(shù)據(jù)點(diǎn)[xi]和[xj]在低維空間中的投影。

t?SNE通過(guò)最小化高維空間中數(shù)據(jù)點(diǎn)之間的相似性與低維空間中數(shù)據(jù)點(diǎn)之間的相似性的差異來(lái)優(yōu)化投影[yi]，即通過(guò)最小化高維空間中相似性分布P與低維空間中相似性分布Q之間的差異：

[C=KLPQ=ijpjilogpjiqji] " " （12）

在優(yōu)化過(guò)程中，使用隨機(jī)梯度下降算法來(lái)更新低維投影[yi]，使得KL散度逐漸減小，最終收斂到局部最優(yōu)解。圖8a）是受試者B6原始數(shù)據(jù)的降維投影，由圖可見(jiàn)，在未經(jīng)解碼時(shí)，其數(shù)據(jù)類別雜亂且不可分。圖8b）是受試者B6經(jīng)過(guò)本模型解碼后的降維特征，除了有小部分類別重疊，二類任務(wù)都具有高度的聚類性和離散性。

3.3 "消融實(shí)驗(yàn)

為了研究每個(gè)模塊對(duì)整個(gè)模型的影響，通過(guò)去除相應(yīng)模塊來(lái)測(cè)試剩余網(wǎng)絡(luò)模型的分類效果，平均分類結(jié)果如表3所示。

表3 "基于BCI competition IV?2b的模型消融實(shí)驗(yàn)

[去除模塊 AVG/% 時(shí)間卷積 82.04 多頭注意力 82.16 多尺度卷積 78.27 深度卷積 62.13 ]

表3結(jié)果顯示，相對(duì)于本文模型的平均準(zhǔn)確率84.26%，去除深度卷積模塊對(duì)分類準(zhǔn)確率影響最大，準(zhǔn)確率下降了22.13%，而去除多尺度卷積模塊分類準(zhǔn)確率下降了5.99%，去除多頭注意力模塊分類準(zhǔn)確率下降2.1%，去除時(shí)間卷積模塊分類準(zhǔn)確率下降2.22%。

此外，針對(duì)多頭注意力模塊中注意力頭數(shù)的選擇，做了多組對(duì)比實(shí)驗(yàn)，結(jié)果如表4所示。

表4結(jié)果顯示，當(dāng)注意力頭數(shù)為8時(shí)，平均分類效果最好，故多頭注意力模塊選取8個(gè)頭。

4 "結(jié) "論

本文提出的基于多頭注意力的多尺度卷積結(jié)合時(shí)間卷積的運(yùn)動(dòng)想象腦電分類模型，可以提取腦電數(shù)據(jù)中整體特征和局部細(xì)節(jié)特征，多頭注意力對(duì)特征進(jìn)行融合和篩選，以增強(qiáng)有效特征的表征能力，最后利用時(shí)間卷積提取高級(jí)時(shí)間特征，進(jìn)一步提高分類效果。在BCI competition IV?2b數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型與近年來(lái)先進(jìn)的深度學(xué)習(xí)方法相比有明顯的優(yōu)勢(shì)。未來(lái)的研究中，將在多分類運(yùn)動(dòng)想象數(shù)據(jù)集上對(duì)模型進(jìn)行改進(jìn)。

注：本文通訊作者為何文雪。

參考文獻(xiàn)

[1] 楊幫華.運(yùn)動(dòng)想象腦機(jī)接口在神經(jīng)系統(tǒng)疾病康復(fù)中的應(yīng)用[J].康復(fù)學(xué)報(bào)，2023，33（6）：477?485.

[2] JIA H， YU S Q， YIN S J， et al. A model combining multi branch spectral?temporal CNN， efficient channel attention， and light GBM for MI?BCI classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1311?1320.

[3] LOTTE F， BOUGRAIN L， CICHOCKI A， et al. A review of classification algorithms for EEG?based brain?computer interfaces： a 10 year update [J]. Journal of neural engineering， 2018， 15（3）： 031005.

[4] LIH L， DING M， ZHANG R， et al. Motor imagery EEG classifi?cation algorithm based on CNN?LSTM feature fusion network [J]. Biomedical signal processing and control， 2022， 72： 103342.

[5] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M. Physics?informed attention temporal convolutional network for EEG?based motor imagery classification [J]. IEEE transactions on industrial informatics， 2023， 19（2）： 2249?2258.

[6] 李紅利，劉浩雨，陳虹宇，等.基于時(shí)間序列數(shù)據(jù)增強(qiáng)的運(yùn)動(dòng)想象腦電多尺度特征提取分類[J].生物醫(yī)學(xué)工程學(xué)雜志，2023，40（3）：418?425.

[7] HAN Y X， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neuralnetwork [J]. Biomed signal process control， 2022， 71： 103190.

[8] DAI G H， ZHOU J， HUANG J H， et al. HS?CNN： a CNN with hybridconvolution scale for EEG motor imagery classification [J]. Journal of neural engineering， 2020， 17（1）： 016025.

[9] LI D L， XU J C， WANG J H， et al. A multi?scale fusion convolutional neuralnetwork based on attention mechanism for the visualization analysis of EEG signals decoding [J]. IEEE transactions on neural systems and rehabilitation engineering， 2020， 28（12）： 2615?2626.

[10] ROYA M. Adaptive transfer learning?based multiscale feature fused deep convolutional neural network for EEG MI multi classification in brain?computer interface [J]. Engineering applications of artificial intelligence， 2022， 116： 105347.

[11] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： IEEE， 2015： 1?9.

[12] 賈子鈺，林友芳，劉天航，等.基于多尺度特征提取與擠壓激勵(lì)模型的運(yùn)動(dòng)想象分類方法[J].計(jì)算機(jī)研究與發(fā)展，2020，57（12）：2481?2489.

[13] KOL W， RANGA S S K， KOMARV O， et al. Development of single?channel hybrid BCI system using motor imagery and SSVEP [J]. Journal of healthcare engineering， 2017， 2017： 1?7.

[14] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（1）： 1929?1958.

[15] 劉培，宋耀蓮.基于通道選擇的多尺度Inception網(wǎng)絡(luò)的腦電信號(hào)分類研究[J].現(xiàn)代電子技術(shù)，2023，46（23）：59?65.

[16] LEEB R， BRUNNER C， MULLER?PUTZ G R， et al. BCI competition 2008 { Graz data set B [EB/OL]. [2023?07?18]. bbci.de/competition/iv/desc_2a.pdf.

[17] LAWHERNV J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain?computer interfacing [J]. Journal of neural engineering， 2018， 15（5）： 056013.1?056013.30.

[18] WANGJ H， YAO L and WANG Y M. IFNet： an interactive frequency convolutional neural network for enhancing motor imagery decoding from EEG [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1900?1911.

[19] ZHAO X F， LIU D， MA L， et al. Deep CNN model based on serial?parallel structure optimization for four?class motor imagery EEG classification [J]. Biomedical signal processing and control， 2022， 72： 103338.

[20] 申佳華，代成龍，李光輝.AFBCNet：一種基于自適應(yīng)濾波器組的運(yùn)動(dòng)想象卷積神經(jīng)網(wǎng)絡(luò)[J].傳感技術(shù)學(xué)報(bào)，2023，36（11）：1714?1723.