摘" 要： 針對運動想象腦電信號（MI?EEG）樣本數(shù)據(jù)分布不平衡、時序特征提取時對長距離的依賴和關(guān)注度不均衡、局部特征提取難導(dǎo)致的基于MI?EEG的運動意圖識別實時性差、精度低的問題，提出一種融合改進(jìn)的雙向長短時記憶神經(jīng)網(wǎng)絡(luò)（BiLSTM）和全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的MI?EEG信號分類方法。首先，該方法利用條件生成對抗網(wǎng)絡(luò)產(chǎn)生虛假的MI?EEG信號樣本，實現(xiàn)訓(xùn)練樣本集的有效擴(kuò)充，解決了數(shù)據(jù)集過少且各類別數(shù)量不平衡的問題；其次，利用雙向自注意力長短時記憶神經(jīng)網(wǎng)絡(luò)和全卷積神經(jīng)網(wǎng)絡(luò)的各自優(yōu)勢，避免了時序特征提取時對長距離的依賴和關(guān)注度不均衡、局部特征提取難以及無法兼顧MI?EEG信號的時?空域特征的問題；在此基礎(chǔ)上，構(gòu)建融合特征與動作分類標(biāo)簽間的非線性映射關(guān)系，從而提高模型的識別精度。最終將此分類模型與其他的MI?EEG分類模型在測試數(shù)據(jù)集進(jìn)行了對比實驗。研究成果表明，該MI?EEG識別模型準(zhǔn)確度達(dá)到了97%，顯示出較強的泛化能力。

關(guān)鍵詞： 運動想象； 腦電信號分類； 生成對抗網(wǎng)絡(luò)； 長短時記憶網(wǎng)絡(luò)； 全卷積神經(jīng)網(wǎng)絡(luò)； 注意力機制

中圖分類號： TN911?34； TP391" " " " " " " " " " "文獻(xiàn)標(biāo)識碼： A" " " " " " " " " " 文章編號： 1004?373X（2025）07?0057?08

Motion imaging EEG classification based on CWGAN?ABiLSTM?FCN

WU Shengbiao1， 2， CHENG Xianpeng1， LI Huaning1

（1. School of Mechanical and Electronic Engineering， East China University of Technology， Nanchang 330013， China;

2. Jiangxi Rehabilitation Aids Technology Industry Research Institute， Nanchang 330013， China）

Abstract： In view of the poor real?time performance and low accuracy of motion intention recognition based on MI?EEG （motor imagery EEG）， such as unbalanced distribution of sample data of MI?EEG， imbalance dependence and attention on long distance in the extraction of time?series feature， and the difficulties in extracting the local feature， an MI?EEG signal classification method combining improved bidirectional long short?term memory （BiLSTM） neural network and full convolutional network （FCN） is proposed. In the proposed method， the conditional generative adversarial network （CGAN） is used to generate 1 MI?EEG signal samples， so as to realize effective expansion of the training sample set， which avoids the fact that the data set is excessively small and the number of its categories is unbalanced. By the respective advantages of bidirectional self?attention long short?term memory （LSTM） neural network and FCN， the facts of long?distance dependence and unbalanced attention in time?series feature extraction， difficulties in local feature extraction and inability to take into account the time?space domain features of MI?EEG signals are avoided. On this basis， the nonlinear mapping relationship between fusion features and action classification labels is constructed， so as to improve the recognition accuracy of the model. Finally， this classification model is compared with the other MI?EEG classification models in the test data set. The experimental results show that the accuracy of the proposed MI?EEG classification model reaches 97%， so it has good generalization performance.

Keywords： MI; EEG classification; GAN; LSTM neural network; FCN; attention mechanism

0" 引" 言

腦機接口（Brain?Computer Interface， BCI）作為新興技術(shù)，旨在通過記錄大腦活動，將人的意識直接與外部設(shè)備進(jìn)行交互。運動想象（Motor Imagery， MI）是常用的BCI范式之一，通過要求被試者在腦中想象特定的運動，從大腦提取與運動想象相關(guān)的腦電信號（Electroencephalography， EEG），MI?EEG便可用于控制外部設(shè)備如外骨骼機器人和假肢等。因此，可通過BCI技術(shù)幫助具有肢體運動障礙的患者重新獲得一定的肢體運動能力[1?2]。如何有效利用MI?EEG準(zhǔn)確識別人體運動意圖，是研究BCI技術(shù)的關(guān)鍵。

有研究指出人在MI的過程中，大腦皮層會產(chǎn)生兩種變化明顯的節(jié)律信號，分別是8～13 Hz的μ節(jié)律信號和13～32 Hz的β節(jié)律信號，并且大腦皮層對應(yīng)腦區(qū)會出現(xiàn)事件相關(guān)去同步（Event Related Desyn?chronization， ERD）和事件相關(guān)同步（Event Related Synchronization， ERS）現(xiàn)象[3?4]。因此，可通過MI?EEG的ERD/ERS現(xiàn)象區(qū)分MI任務(wù)。

然而研究人員在對MI?EEG構(gòu)建分類模型時發(fā)現(xiàn)可用的高質(zhì)量訓(xùn)練數(shù)據(jù)仍顯不足[5]，其主要原因包括：復(fù)雜或難以執(zhí)行的任務(wù)導(dǎo)致受試者的注意力分散，進(jìn)而導(dǎo)致不同MI狀態(tài)下EEG數(shù)據(jù)的數(shù)量不平衡；實驗中的噪音和干擾會對MI?EEG產(chǎn)生負(fù)面影響。因此，高質(zhì)量MI?EEG數(shù)據(jù)的缺乏限制了MI?EEG分類模型的發(fā)展。

近年來，生成對抗網(wǎng)絡(luò)（Generative Adversarial Net?work， GAN）得到了快速發(fā)展[6]。但原始GAN存在訓(xùn)練不穩(wěn)定的問題，有研究者便提出了基于Wasserstein的WGAN，提高了穩(wěn)定性和生成樣本的質(zhì)量[7]。文獻(xiàn)[8]提出一種深度卷積生成對抗網(wǎng)絡(luò)（Conditional Deep Convolutional Generative Adversarial Network， cDCGAN），在關(guān)于運動想象的BCI競賽數(shù)據(jù)集上進(jìn)行了驗證，擴(kuò)充了C3、Cz、C4電極的MI?EEG數(shù)據(jù)，并提高了最終的分類精度[8]。文獻(xiàn)[9]提出ERP?WGAN框架，結(jié)果表明少于5維特征訓(xùn)練的通用分類器的準(zhǔn)確率能夠提高20%～25%，還可以減少73%的真實EEG數(shù)據(jù)和獲取成本。雖然基于GAN增強原始MI?EEG數(shù)據(jù)集的方法取得了較大進(jìn)展，但仍處于探索階段，存在一些問題待解決，比如如何保證最后生成各類別MI?EEG數(shù)據(jù)樣本的平衡性，如何使得GAN能夠注重MI?EEG數(shù)據(jù)前后時序特征的聯(lián)系來生成數(shù)據(jù)從而提高數(shù)據(jù)生成質(zhì)量[10]。

在對MI?EEG數(shù)據(jù)進(jìn)行模式識別方面，基于機器學(xué)習(xí)的傳統(tǒng)MI?EEG分類策略在某些方面取得了進(jìn)展，但它們?nèi)圆豢杀苊獾亟沂玖藗鹘y(tǒng)算法的若干限制。近年來，隨著針對MI?EEG數(shù)據(jù)分析算法研究不斷深入，證明了基于深度學(xué)習(xí)的方法在MI?EEG分類問題中有極大的可行性[11]。

文獻(xiàn)[12]使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）從EEG中提取特征，并進(jìn)行分類，最終證明了CNN在EEG分類方面效果更好。文獻(xiàn)[13]使用混合神經(jīng)網(wǎng)絡(luò)，將CNN與遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）相結(jié)合，在DEAP數(shù)據(jù)集上提高了分類準(zhǔn)確率。文獻(xiàn)[14]提出了一種基于CNN和長短時記憶（Long Short?Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)結(jié)合的混合模型，從而實現(xiàn)提取更具區(qū)分度的MI?EEG特征?；谏疃葘W(xué)習(xí)的MI?EEG分類方法取得了很大的進(jìn)展，但仍存在一些問題，如分類實時性效果不好以及不能較好挖掘到MI?EEG前后時序特征的聯(lián)系。

本文提出了融合改進(jìn)的BiLSTM和FCN的實時意圖識別方法。本文的主要工作包括以下兩方面。

1） 提出一種條件生成對抗網(wǎng)絡(luò)（Conditional Wasser?stein GAN， CWGAN）的數(shù)據(jù)增強方法，提高了此模型穩(wěn)定的特征學(xué)習(xí)能力，解決了數(shù)據(jù)集過少和各數(shù)據(jù)點分布不平衡的問題；

2） 基于注意力機制的雙向長短時記憶網(wǎng)絡(luò)（Attention?based Bidirectional Long Short?term Memory， ABiLSTM）和全卷積網(wǎng)絡(luò)（Fully Convolutional Neural Network， FCN）對MI?EEG數(shù)據(jù)進(jìn)行分類識別，解決了時間特征提取中對長距離的依賴性和局部特征提取難的問題。

基于CWGAN?ABiLSTM?FCN的運動想象腦電信號分類框架圖如圖1所示。

1" 實驗數(shù)據(jù)與處理

本文選用的數(shù)據(jù)集是EEG Motor Imagery Da?taset[15]，該數(shù)據(jù)集是受試者在執(zhí)行不同的MI任務(wù)時，同時使用BCI2000系統(tǒng)記錄了64通道的MI?EEG數(shù)據(jù)，采樣頻率為64 Hz。在該數(shù)據(jù)集中，受試者的MI狀態(tài)包括靜息態(tài)（T0）、想象雙手松開或握緊狀態(tài)（T1）、想象雙腳松開或握緊狀態(tài)（T2）。

受試者執(zhí)行MI任務(wù)時的時序圖如圖2所示。在開始時，受試者執(zhí)行2 min的基線測試（一次睜眼、一次閉眼），隨后進(jìn)行每項任務(wù)的3次2 min MI測試。本文只截取受試者執(zhí)行MI任務(wù)時的數(shù)據(jù)作為單次的MI?EEG樣本[16]。

所有預(yù)處理數(shù)據(jù)的步驟通過Matlab中EEGLAB插件進(jìn)行，主要包括濾波、分段、獨立主成分分析等步驟。本文首先采用EEGLAB工具箱內(nèi)的Batterworth濾波器對原始的MI?EEG數(shù)據(jù)進(jìn)行8～32 Hz的帶通濾波[17]。然后對執(zhí)行不同MI任務(wù)的EEG數(shù)據(jù)進(jìn)行分段。本文還利用EEGLAB插件[18]對其進(jìn)行獨立主成分分析，剔除偽跡成分[19]。以C3、C4通道為例，圖3和圖4展示了預(yù)處理前后的一段MI?EEG數(shù)據(jù)。圖5展示了預(yù)處理后不同MI狀態(tài)的一段MI?EEG數(shù)據(jù)。

本文選取受試者的60個任務(wù)，在對這些MI?EEG數(shù)據(jù)進(jìn)行上述處理后，便獲得了大約3 840組數(shù)據(jù)，并按照大約7∶3的比例劃分為訓(xùn)練集和測試集。最終，對三個類別的MI?EEG數(shù)據(jù)進(jìn)行了one?hot編碼。

2" CWGAN模型構(gòu)建

2.1" 基于GAN的MI?EEG數(shù)據(jù)增強

GAN是一種深度學(xué)習(xí)模型，由生成器G和判別器D兩部分組成[20]。GAN通過生成器與判別器相互對抗的方式學(xué)習(xí)原始MI?EEG數(shù)據(jù)與生成MI?EEG數(shù)據(jù)之間的映射關(guān)系。GAN的核心宗旨是讓判別器無法辨別出由生成器產(chǎn)生的MI?EEG數(shù)據(jù)與實際MI?EEG數(shù)據(jù)之間的差異。

圖6展示了基于GAN的MI?EEG數(shù)據(jù)增強模型的結(jié)構(gòu)。在這個模型中，生成器由編碼器與解碼器兩部分構(gòu)成，編碼器采用多層卷積網(wǎng)絡(luò)提取數(shù)據(jù)特征，而解碼器則通過多層反卷積網(wǎng)絡(luò)重建MI?EEG數(shù)據(jù)，判別器使用多層卷積層進(jìn)行特征提取。此外，還增設(shè)了全連接層以及Softmax層進(jìn)行最終真假數(shù)據(jù)分類[21]。

假設(shè)現(xiàn)在已具有[n]組MI?EEG數(shù)據(jù)樣本，MI?EEG數(shù)據(jù)樣本可表示為[X=x1，x2，…，xn]，其中，[n]代表樣本[X]中MI?EEG數(shù)據(jù)的總數(shù)目，MI?EEG數(shù)據(jù)樣本服從某種潛在分布特征[Pr]，將服從高斯分布的隨機噪聲向量[z]輸入到生成器中，然后輸出滿足[Pg]分布的新樣本，通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，得到[Pg]到[Pr]的映射關(guān)系。

生成器G希望生成的樣本被判別器D錯誤分類為真實的MI?EEG數(shù)據(jù)樣本，因此生成器目標(biāo)是最小化對抗損失。損失函數(shù)表達(dá)式如式（1）所示：

[LG=-Ez～Pz[D（G（z））]] （1）

式中：[LG]為生成器的損失函數(shù)；[E[?]]為期望函數(shù)；[G[?]]為生成器函數(shù)；[Pz[?]]為噪聲數(shù)據(jù)分布；[z]為輸入的噪聲數(shù)據(jù)。

判別器D輸出的是真實樣本或者生成樣本的概率，屬于[0，1]，因此判別器目標(biāo)是最大化對抗損失。損失函數(shù)表達(dá)式如式（2）所示：

[LD=Ex～Pr[D（x）]-Ez～PzDG（z）] （2）

式中：[LD]為判別器損失函數(shù)；[Pr[?]]為真實數(shù)據(jù)分布。

GAN在設(shè)計中通過使用詹森?香農(nóng)（Jensen?shannon， JS）對散度和參數(shù)不斷優(yōu)化，生成器G和判別器D不斷改進(jìn)，使得生成器G能生成更逼真的MI?EEG數(shù)據(jù)樣本，而判別器D能更準(zhǔn)確地區(qū)分生成的樣本和真實樣本。

2.2" 基于CWGAN的MI?EEG數(shù)據(jù)增強

傳統(tǒng)的GAN模型雖然能夠生成MI?EEG數(shù)據(jù)樣本，但是其對噪聲非常敏感。因此，本文在傳統(tǒng)GAN網(wǎng)絡(luò)的基礎(chǔ)上引入了Wasserstein距離作為損失函數(shù)并加入了懲罰項[22]，實現(xiàn)Lipschitz約束。損失函數(shù)最終表達(dá)式如式（3）所示：

[wPr，Pg=supDL≤1Ex～Pr[D（x）]-Ez～PzDg（z）]" （3）

式中：[Dx]為判別器[D]的距離代價函數(shù)；[DL≤1]表示判別器距離代價函數(shù)滿足1?Lipschitz限制。這樣便從根本上解決了GAN的梯度消失、訓(xùn)練不穩(wěn)定以及模式崩潰的問題。

目前由于輸入信號是數(shù)目不平衡的MI?EEG數(shù)據(jù)，因此WGAN中生成器為了降低損失值從而會傾向于生成多數(shù)類別的MI?EEG數(shù)據(jù)。本文在WGAN的基礎(chǔ)上添加了控制平衡[23]的損失函數(shù)，也就可以被看作是CWGAN。其中判別器的損失函數(shù)表達(dá)式如式（4）所示：

[L（D）Pr，Pg，yr，yf=-Ex，yr～Pr，yr[D（x，yr）]+Ez，yf～Pg，yf[D（g（z，yf），yf）]] （4）

式中：[yr]是真標(biāo)簽；[yf]是假標(biāo)簽。這樣，CWGAN也就可以生成高質(zhì)量少數(shù)類別的MI?EEG數(shù)據(jù)。

3" MI?EEG分類模型構(gòu)建

3.1" 雙向自注意力長短時記憶神經(jīng)網(wǎng)絡(luò)

LSTM是RNN的改進(jìn)[24]，與RNN相比，LSTM可以采用獨特的門控機制和單元結(jié)構(gòu)來處理時間序列數(shù)據(jù)中的長期依賴關(guān)系。LSTM單元的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

在[t]時刻，當(dāng)輸入MI?EEG數(shù)據(jù)時，LSTM中輸入門[i]、遺忘門[f]、輸出門[o]、單元狀態(tài)[c]的更新公式如式（5）所示：

[it=γ（wixt+viht-1+bi）ft=γ（wfxt+vfht-1+bf）ot=γ（woxt+voht-1+bo）ct=ft*ct-1+it*tanh（wcxt+vcht-1+bc）ht=ot*tanh（ct）] （5）

式中：[w]和[v]分別表示輸入層和隱含層的權(quán)重；[b]表示偏差；[γ]表示Sigmoid函數(shù)；[h]是最終的輸出。

雙向長短時記憶（Bidirectional Long Short?term Memory， BiLSTM）網(wǎng)絡(luò)是LSTM的一種擴(kuò)展模型，其通過同時運行兩個LSTM以捕捉序列前后的信息特征。BiLSTM單元網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

自注意力機制是一種注意力機制的變體，用于在序列中對不同位置信息進(jìn)行加權(quán)融合[25]。自注意力機制使模型能更關(guān)注與當(dāng)前位置相關(guān)的上下時序信息。

綜上所述，BiLSTM與自注意力機制融合可以提高模型在序列任務(wù)中的性能，使其能夠更好地理解和建模序列數(shù)據(jù)中的依賴關(guān)系。

3.2" 全連接卷積神經(jīng)網(wǎng)絡(luò)

FCN是卷積神經(jīng)網(wǎng)絡(luò)的一種變體。網(wǎng)絡(luò)結(jié)構(gòu)上，F(xiàn)CN在CNN基礎(chǔ)上去除了全連接層，采用轉(zhuǎn)置卷積層進(jìn)行上采樣；在參數(shù)共享方面，CNN的全連接層是獨立的，而FCN是共享的；在跳躍連接方面，F(xiàn)CN引入跳躍連接可以將不同層次的特征進(jìn)行融合。

因此，卷積層和平均池化（GAP）層是FCN的核心，卷積層最重要的特征是權(quán)重共享，即相同的卷積核將以固定的步長處理一遍所有的MI?EEG數(shù)據(jù)，權(quán)重共享減少了網(wǎng)絡(luò)每一層的連接和過擬合的風(fēng)險。計算公式如式（6）所示：

[yl+1i（j）=kli*xl（j）+bli] （6）

式中：[xl（j）]為輸入的MI?EEG數(shù)據(jù)，[l]為網(wǎng)絡(luò)層的個數(shù)；[i]和[j]分別表示網(wǎng)絡(luò)層卷積核和神經(jīng)單元的序列號；[kli]和[bli]表示第[l]層第[i]個卷積核的權(quán)重和偏差；[yl+1i（j）]是第[l]層神經(jīng)元的輸出、第[l+1]層的輸入。

GAP層可以有效地提高網(wǎng)絡(luò)訓(xùn)練的效率，計算卷積層輸出的特征圖的全局平均值，并自動映射到集合全局平均池化核。GAP層可以自動實現(xiàn)維度交換和參數(shù)壓縮，能將模型參數(shù)的數(shù)量減少90%以上，計算公式如式（7）所示：

[Slap=1ci=1cXli] （7）

式中：[Slap]表示第[i]層的GAP結(jié)果；[Xli]表示特征圖中第一個特征值。

3.3" ABiLSTM?FCN網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)過預(yù)處理和數(shù)據(jù)增強后的MI?EEG數(shù)據(jù)是時序數(shù)據(jù)，為了實現(xiàn)MI?EEG序列數(shù)據(jù)的有效分類，本文將ABiLSTM與FCN相結(jié)合，形成了一種ABiLSTM?FCN的MI?EEG信號分類框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示。ABiLSTM?FCN的網(wǎng)絡(luò)結(jié)構(gòu)主要由轉(zhuǎn)置層、ABiLSTM模塊、FCN模塊、Softmax分類器組成。

FCN可以有效、快速地學(xué)習(xí)MI?EEG信號各頻段的特征，但是在序列特征學(xué)習(xí)過程中，F(xiàn)CN的每個卷積過程只能提取序列的局部特征，難以充分學(xué)習(xí)序列數(shù)據(jù)之間的相關(guān)性和依賴性。ABiLSTM可以在特征學(xué)習(xí)過程中通過兩個方向充分學(xué)習(xí)不同序列數(shù)據(jù)之間的長期和短期依賴性，但是ABiLSTM會很慢且效率低下，這與FCN相反。因此，ABiLSTM?FCN充分結(jié)合了FCN和 ABiLSTM的優(yōu)點，能夠快速提取MI?EEG信號的局部特征。結(jié)合兩個網(wǎng)絡(luò)模塊的過程是通過轉(zhuǎn)置層實現(xiàn)的，ABiLSTM?FCN的核心機制是通過置換層的維度變換，將連續(xù)采樣得到的時間序列信號分別轉(zhuǎn)換為具有多個特征和具有多時間步長的單個特征的單時間步長的形式，并分別輸入ABiLSTM和FCN進(jìn)行特征提取。MI?EEG信號的特征是并行學(xué)習(xí)的，兩個網(wǎng)絡(luò)模塊提取的特征在每一輪學(xué)習(xí)結(jié)束之后連接起來。最后，構(gòu)建Softmax分類器對融合特征進(jìn)行分類。

4" 實驗結(jié)果分析

4.1" CWGAN模型生成能力評估

經(jīng)反復(fù)測試，本文最終確定判別器選用4層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，生成器采用5層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。優(yōu)化求解器選用Adam，生成器與判別器學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練輪次為5 000次。

由于MI?EEG信號數(shù)據(jù)集有非平衡小樣本的特性，將預(yù)處理之后的MI?EEG信號數(shù)據(jù)切分成表1形式。

由表1可知，MI?EEG數(shù)據(jù)樣本庫訓(xùn)練集數(shù)據(jù)數(shù)量過少且不同種類數(shù)目不平衡，因此，采用CWGAN的方法對MI?EEG信號進(jìn)行數(shù)據(jù)增強，增強之后的數(shù)據(jù)如圖10所示。經(jīng)數(shù)據(jù)增強后將各種類訓(xùn)練集數(shù)據(jù)擴(kuò)充為表2。

由表2可知，通過數(shù)據(jù)增強之后，訓(xùn)練集每個類型的樣本數(shù)都擴(kuò)充到了2 200，這可以使得之后的分類模型更好地學(xué)習(xí)提取到MI?EEG數(shù)據(jù)的深層特征。由圖10可以看出，真實的MI?EEG數(shù)據(jù)與生成的MI?EEG數(shù)據(jù)在幅度增減趨勢上保持了較高的一致性，也從側(cè)面反映了該生成模型的可行性。

在本文中，選取了GAN和WGAN兩種生成模型作為比較標(biāo)準(zhǔn)，對它們以及另一種模型在生成MI?EEG信號方面的性能進(jìn)行了深入評估。通過對真實MI?EEG信號樣本以及由不同模型生成的信號樣本進(jìn)行快速傅里葉變換（FFT），繪制了相應(yīng)的二維時頻圖，并利用感知哈希算法來評估這些時頻圖的相似度。本文使用指紋匹配比例作為衡量相似度的指標(biāo)，該比例越高，表明樣本間的相似度越大。具體的比較結(jié)果如表3所示。

分析表3的數(shù)據(jù)，發(fā)現(xiàn)GAN生成的樣本在時頻圖相似度上普遍表現(xiàn)不佳，這可能是因為一些信號波動信息未能被保留。而WGAN在生成T0的MI?EEG信號時出現(xiàn)了模式崩塌，導(dǎo)致其時頻圖相似度指標(biāo)較低。相較之下，CWGAN在生成各種MI?EEG信號時，其相似度指標(biāo)及平均值均達(dá)到了最高，這表明其生成的波形與原始樣本的相似度最高。

以T2為例，圖11展示了利用t?分布隨機鄰域嵌入算法（t?distributed Stochastic Neighbor Embedding， t?SNE）對真實MI?EEG信號樣本及各模型的部分生成樣本進(jìn)行降維分析的結(jié)果。

圖11直觀地展示了GAN和WGAN模型生成的樣本主要聚集在真實樣本附近的一個較小區(qū)間內(nèi)。另一方面，CWGAN模型由于引入了1?Lipschitz約束，其生成的樣本在真實樣本的分布區(qū)間內(nèi)分布地更為廣泛，多樣性更好。

4.2" CWGAN模型生成能力評估

在原始數(shù)據(jù)集上，對多種基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的腦電信號分類模型進(jìn)行了訓(xùn)練與測試，其中4個模型的輸入大小為60×64，表示60個MI任務(wù)且每個MI任務(wù)的采集通道數(shù)為64。4個模型全部都是基于LSTM改進(jìn)的分類模型，實驗結(jié)果如圖12所示。

由圖12可見，在與單一LSTM模型的對比中，BiLSTM模型由于增加了后向傳播單元，能夠更有效地結(jié)合鄰近通道的信息，實現(xiàn)了89%的分類準(zhǔn)確率，顯著優(yōu)于單一LSTM網(wǎng)絡(luò)。此外，LSTM和BiLSTM在引入注意力機制后，都能進(jìn)一步改善對MI?EEG數(shù)據(jù)局部特征的提取能力，從而提高分類的準(zhǔn)確度。其中，ABiLSTM分類模型準(zhǔn)確率明顯高于ALSTM分類模型，準(zhǔn)確率高達(dá)94%。

總體來看，采用注意力機制增強的雙向長短時記憶網(wǎng)絡(luò)腦電信號分類模型，通過雙向LSTM層與注意力機制的協(xié)同作用，使網(wǎng)絡(luò)聚集到更具有區(qū)分度的腦電信號特征中。

為了驗證FCN模塊對分類模型的影響，選擇LSTM、FCN、LSTM?FCN、BiLSTM?FCN、ABiLSTM?FCN分類模型進(jìn)行實驗比較，上述分類模型都使用相同的網(wǎng)絡(luò)參數(shù)。

同時，為了驗證基于CWGAN的MI?EEG數(shù)據(jù)增強對整個分類模型的影響，分別將上述分類模型在原始數(shù)據(jù)集和平衡數(shù)據(jù)集進(jìn)行了實驗。因此，本文通過準(zhǔn)確率、召回率和[F1]分?jǐn)?shù)評估每個模型在數(shù)據(jù)不平衡的情況下的分類性能。表4展示了不同分類模型的分類性能。

由表4可知，在數(shù)據(jù)增強后的平衡數(shù)據(jù)集中，每個算法相較于之前分類效果都有提升，且三個指標(biāo)都保持在較高水平，誤判概率較小。從[F1]分?jǐn)?shù)中可以看出，CWGAN?ABiLSTM?FCN在這些算法中效果最好，其次是CWGAN?BiLSTM?FCN，單一LSTM的效果最差。雖然LSTM、FCN模型在原始數(shù)據(jù)集不平衡條件下，依然能保持80%以上的準(zhǔn)確率，但是召回率比較低，這表明分類模型將數(shù)據(jù)集中少數(shù)類別的數(shù)據(jù)錯誤分類到多數(shù)類別數(shù)據(jù)中的概率較高。本文提出的ABiLSTM?FCN不論是在原始數(shù)據(jù)集還是平衡數(shù)據(jù)集條件下分類效果都要明顯優(yōu)于其他模型?；贑WGAN?ABiLSTM?FCN的MI?EEG數(shù)據(jù)分類實驗結(jié)果如圖13所示。

由圖13和表4可知，本文提出的基于CWGAN?ABiLSTM?FCN的MI?EEG數(shù)據(jù)分類模型在數(shù)據(jù)平衡條件下能保持97%以上的準(zhǔn)確率以及召回率，充分證明了此分類模型的有效性。

5" 結(jié)" 論

針對MI?EEG數(shù)據(jù)收集昂貴且耗時較多、不同類別樣本數(shù)目不平衡以及分類精度難以提高的問題，本文提出一種基于CWGAN?ABiLSTM?FCN的MI?EEG數(shù)據(jù)分類方法。通過與單一LSTM、單一FCN、LSTM?FCN、BiLSTM?FCN等MI?EEG數(shù)據(jù)分類模型對比，實驗證明了基于CWGAN?ABiLSTM?FCN的MI?EEG數(shù)據(jù)分類模型的優(yōu)越性，提高了對MI意圖識別的精度。

未來工作首先將會考慮融合MI?EEG數(shù)據(jù)、表面肌電信號等數(shù)據(jù)來識別受試者的MI意圖；其次是本文使用的是公開數(shù)據(jù)集，未來可以自主采集不同人群、不同范式下的MI?EEG數(shù)據(jù)作為實驗數(shù)據(jù)；最后是根據(jù)上述的MI意圖識別結(jié)果完成外骨骼機器人的人機交互控制。

注：本文通訊作者為程顯朋。

參考文獻(xiàn)

[1] DOUIBI K， LE BARS S， LEMONTEY A， et al. Toward EEG?based BCI applications for industry 4.0： Challenges and possible applications [J]. Frontiers in human neuroscience， 2021， 15： 705064.

[2] V?RBU K， MUHAMMAD N， MUHAMMAD Y. Past， present， and future of EEG?based BCI applications [J]. Sensors， 2022， 22（9）： 3331.

[3] GANDEVIA S C， ROTHWELL J C. Knowledge of motor commands and the recruitment of human motoneurons [J]. Brain， 1987， 110（5）： 1117?1130.

[4] MAEDER C L， SANNELLI C， HAUFE S， et al. Pre?stimulus sensorimotor rhythms influence brain?computer interface classification performance [J]. IEEE transactions on neural systems and rehabilitation engineering， 2012， 20（5）： 653?662.

[5] 陳景霞，唐喆喆，林文濤，等.用于腦電數(shù)據(jù)增強和情緒識別的自注意力GAN[J].計算機工程與應(yīng)用，2023，59（5）：160?168.

[6] YANG Q， YAN P， ZHANG Y， et al. Low dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1348?1357.

[7] ARJOVSKY M， BOTTOU L. Towards principled methods for training generative adversarial networks [EB/OL]. [2017?01?17]. http：//arxiv.org/abs/1701.04862.

[8] ZHANG Q Q， LIU Y. Improving brain computer interface performance by data augmentation with conditional deep convolutional generative adversarial networks [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1806.07108.

[9] ZHANG R K， ZENG Y， TONG L， et al. ERP?WGAN： A data augmentation method for EEG single?trial detection [J]. Journal of neuroscience methods， 2022， 376： 109621.

[10] KWON M， HAN S， KIM K， et al. Super?resolution for improving EEG spatial resolution using deep convolutional neural network： Feasibility study [J]. Sensors， 2019， 19（23）： 5317.

[11] WALDERT S. Invasive vs. non?invasive neuronal signals for brain?machine interfaces： Will one prevail？ [J]. Frontiers in neuroscience， 2016， 10： 295.

[12] KEELAWAT P， THAMMASAN N， NUMAO M， et al. Spatiotemporal emotion recognition using deep CNN based on EEG during music listening [EB/OL]. [2019?10?25]. http：//arxiv.org/abs/1910.09719.

[13] YANG Y， WU Q， QIU M， et al. Emotion recognition from multi?channel EEG through parallel convolutional recur?rent neural network [C]// 2018 International Joint Conference on Neural Networks （IJCNN）. New York： IEEE， 2018： 1?7.

[14] SHEYKHIVAND S， MOUSAVI Z， REZAII T Y， et al. Recognizing emotions evoked by music using CNN?LSTM networks on EEG signals [J]. IEEE access， 2020， 8： 139.

[15] SCHALK G， MCFARLAND D J， HINTERBERGER T. BCI2000： A general?purpose brain?computer interface （BCI） system [J]. IEEE transactions on biomedical engineering， 2004， 51（6）： 1034?1043.

[16] BELWAFI K， GANNOUNI S， ABOALSAMH H， et al. A dynamic and self?adaptive classification algorithm for motor imagery EEG signals [J]. Journal of neuroscience methods， 2019， 327： 108346.

[17] MIRZAEI S， GHASEMI P. EEG motor imagery classification using dynamic connectivity patterns and convolutional autoencoder [J]. Biomedical signal processing and control， 2021， 68： 102584.

[18] BRUNNER C， DELORME A， MAKEIG S. Eeglab： An open source Matlab toolbox for electrophysiological research [EB/OL]. [2013?09?07]. https：//www.degruyter.com/document/doi/10.1515/bmt?2013?4182/html.

[19] BUIATTI M. The correlated nature of large?scale neural activity unveiled by the resting brain [J]. Biology forum， 2008， 101（3）： 353?373.

[20] GOODFELLOW I J， POUGET?ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// Advances in Neural Information Processing Systems 27： Annual Conference on Neural Information Processing Systems 2014. [S.l.： s.n.]， 2014： 2672?2680.

[21] ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein generative adversarial networks [C]// Proceedings of the 34th International Conference on Machine Learning. New York： PMLR， 2017： 214?223.

[22] 張德輝，董安明，禹繼國，等.融合門控循環(huán)單元及自注意力機制的生成對抗語音增強[J].計算機科學(xué)，2023，50（z2）：362?370.

[23] 路士杰，董馳，顧朝敏，等.適用于局放模式識別的WGAN?GP數(shù)據(jù)增強方法[J].南方電網(wǎng)技術(shù)，2022，16（7）：55?60.

[24] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation， 1997， 9（8）： 1735?1780.

[25] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate [EB/OL]. [2016?05?19]. https：//arxiv.org/abs/1409.0473？context=stat.ML.

作者簡介：吳生彪（1982—），男，安徽安慶人，博士研究生，副教授，研究方向為外骨骼機器人、腦肌電信號處理。

程顯朋（2000—），男，山東德州人，碩士研究生，研究方向為外骨骼機器人、運動意圖識別。

李花寧（1996—），女，甘肅慶陽人，碩士研究生，研究方向為外骨骼機器人、肌電信號分類。

收稿日期：2024?07?19" " " " " "修回日期：2024?08?08

基金項目：國家自然科學(xué)基金項目（62141102）；江西省教育廳科學(xué)技術(shù)研究項目（GJJ2200726）；東華理工大學(xué)博士科學(xué)研究基金項目（DHBK2019178）