彭禹，宋耀蓮，楊俊

基于數(shù)據(jù)增強的運動想象腦電分類

彭禹，宋耀蓮*，楊俊

（昆明理工大學(xué) 信息工程與自動化學(xué)院，昆明 650500）（?通信作者電子郵箱39217149@qq.com）

針對運動想象腦電（MI?EEG）多分類問題，在已有研究的基礎(chǔ)上進行改進，構(gòu)建了基于深度可分離卷積的輕量級卷積神經(jīng)網(wǎng)絡(luò)（L?Net）和輕量級混合網(wǎng)絡(luò)（LH?Net），并在BCI競賽Ⅳ-2a四分類數(shù)據(jù)集上進行了實驗和分析，結(jié)果表明：L?Net比LH?Net可以更快地擬合數(shù)據(jù)，訓(xùn)練時間更短；但LH?Net的穩(wěn)定性比L?Net更好，在測試集上的分類性能具有更好的穩(wěn)健性，平均準(zhǔn)確率和平均Kappa系數(shù)比L?Net分別提高了3.6個百分點和4.8個百分點。為了進一步提升模型分類性能，采用了基于時頻域的高斯噪聲添加新方法對訓(xùn)練樣本進行數(shù)據(jù)增強（DA），并針對噪聲的強度進行了仿真驗證，推測出了兩種模型的最優(yōu)噪聲強度的取值范圍。仿真結(jié)果表明使用了該數(shù)據(jù)增強方法后，兩種模型的平均準(zhǔn)確率最少提高了4個百分點，四分類效果均得到了明顯提升。

腦電信號；運動想象；深度學(xué)習(xí)；深度可分離卷積；數(shù)據(jù)增強

0 引言

腦機接口（Brain?Computer Interface， BCI）在人類大腦和外部設(shè)備之間提供了一種新的人機交流模式，通過它可以將人腦中的想法編碼成計算機可以識別的機器指令進一步控制外接設(shè)備運作［1］。在不同類型的腦電（ElectroEncephaloGraphy， EEG）信號中，運動想象腦電信號（Motor?Imagery EEG， MI?EEG）［2-3］近年來引起了廣泛的研究，目前研究人員已經(jīng)使用MI?EEG信號幫助中風(fēng)和癲癇患者交流［4-5］、控制輪椅和機器人等外部設(shè)備，甚至用于阿爾茨海默病等疾病的研究［6］。但是EEG信號由于受采集環(huán)境、設(shè)備以及受試者的身心狀態(tài)的影響，具有高度的非平穩(wěn)性和信噪比低的特點，增加了EEG分類任務(wù)的難度［7］。

1 相關(guān)工作

傳統(tǒng)的機器學(xué)習(xí)方法雖然在EEG分類方面取得了一定的成功，但仍不能達到良好的解碼精度。目前深度學(xué)習(xí)方法的成功推動了研究人員將其應(yīng)用于EEG信號分類，深度學(xué)習(xí)證明了EEG特征自動提取可以達到更好的效果［8］。Lawhern等［9］針對來自不同BCI范式的EEG信號提出了一種緊湊型的模型EEGNet，在目前較常用的四種BCI范式上表現(xiàn)出了良好的性能；Sakhavi等［10］基于濾波器組通用空間模式（Filter Bank Common Spatial Pattern， FBCSP）方法將EEG轉(zhuǎn)換成一種新的時間包絡(luò)表示，并使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）進行分類，在BCI競賽Ⅳ數(shù)據(jù)集2a上平均準(zhǔn)確率達到74.46%；Amin等［11］提出了多層CNN融合模型，該模型將多個不同深度的CNN提取到的特征分別通過多層感知器（Multi?Layer Perceptron， MLP）和自編碼器進行特征融合；杜秀麗等［12］提出了一種融合注意力模塊的CNN模型，通過注意力模塊增強重要特征信息、抑制不重要特征的方式有效提升了模型的分類性能，該模型在BCI競賽Ⅳ?2A數(shù)據(jù)集上平均準(zhǔn)確率達到了81.6%。包括以上分類方法在內(nèi)，目前大多數(shù)深度學(xué)習(xí)的模型都是在EEG的預(yù)處理，或者是在模型輸入形式上做了較多的特征處理工作，這很可能導(dǎo)致原始EEG信號中有效信息的丟失［13］，致使網(wǎng)絡(luò)模型分類表現(xiàn)欠佳。

針對以上問題，本文參考了EEGNet［9］的特點，構(gòu)建了兩種不同結(jié)構(gòu)的輕量級網(wǎng)絡(luò)：L?Net（Lightweight Convolutional Neural Network）和LH?Net（Lightweight Hybrid Network）；同時提出了基于短時傅里葉變換（Short?Time Fourier Transform， STFT）的高斯噪聲添加方式來擴充數(shù)據(jù)。為了驗證兩種模型以及基于STFT的數(shù)據(jù)增強方式的性能，在BCI競賽Ⅳ中2a數(shù)據(jù)集進行模型訓(xùn)練、測試和評價。

2 本文方法與原理

2.1　基于深度可分離卷積的分類方法

考慮到數(shù)據(jù)集規(guī)模較小的特點以及硬件設(shè)備的限制，本文設(shè)計了兩種網(wǎng)絡(luò)參數(shù)體量較小的輕量級網(wǎng)絡(luò)模型，分別為L?Net和LH?Net，二者的具體網(wǎng)絡(luò)結(jié)構(gòu)分別如圖1、2所示。在模型的輸入表示上，本文將EEG信號的通道數(shù)量作為輸入樣本尺寸的高度，將采樣點的數(shù)量作為樣本的寬度。這種將輸入表示為二維矩陣的形式，與將EEG信號轉(zhuǎn)化成時頻圖片的方式［16］相比，優(yōu)勢在于能顯著降低輸入的維數(shù)。

圖1　L?Net模型結(jié)構(gòu)

圖2　LH?Net模型結(jié)構(gòu)

L?Net根據(jù)網(wǎng)絡(luò)層的不同功能主要可劃分為三個模塊：

1）時空卷積模塊，對應(yīng)圖1中的二維的卷積和深度卷積，這兩個子層分別對經(jīng)過時間裁剪后的EEG信號進行時間域和空間域卷積［9］。二維卷積的卷積核的大小為64×1，輸出特征圖數(shù)量為F1即該層卷積核的數(shù)量。深度卷積的卷積核大小為1×22，輸出特征圖數(shù)量為F2。

2）深度可分離卷積模塊，分別對上一層輸出的所有特征圖按照通道順序做深度卷積，再進行逐點卷積。它將標(biāo)準(zhǔn)卷積操作分成了兩步，不僅減少了通道之間的耦合，還進一步減少了模型的參數(shù)量，輸出的特征圖數(shù)量仍然與上一層保持一致。

3）分類模塊，由一維卷積層、展平層和全連接層組成。一維卷積的卷積核大小為4，采用因果卷積來提取更加抽象的EEG特征，卷積之后向展平層輸入16個長度為17的特征向量；展平層則將所有向量連接展平為長度為16×17的特征向量，輸入到最后的全連接層，并通過Softmax激活函數(shù)輸出分類概率；全連接層共包含了4個神經(jīng)元，分別代表網(wǎng)絡(luò)的4類輸出結(jié)果（左手、右手、舌頭和雙腳），該層根據(jù)式（1）將輸入的特征向量通過一個權(quán)重矩陣進行加權(quán)求和。

有大量證據(jù)表明，EEG信號是跨多個時間尺度組成的，具有較好的時間分辨率［18］；而且在深度可分離卷積之后，特征圖仍包含了時間信息。因此，為了進一步在更深層次中提取關(guān)于EEG更為抽象的時間特征，增強模型的分類效果，本文在L?Net的基礎(chǔ)上，使用圖3（b）所示的殘差塊來堆疊時間卷積網(wǎng)絡(luò)（Temporal Convolutional Network， TCN），構(gòu)建了LH?Net。TCN是Bai等［19］于2018年提出的，且在多個數(shù)據(jù)集上的表現(xiàn)均比經(jīng)典的序列模型如長短期記憶（Long Short?Time Memory， LSTM）網(wǎng)絡(luò)和門控循環(huán)單元（Gated Recurrent Unit， GRU）等更優(yōu)秀，避免了序列模型經(jīng)常出現(xiàn)的梯度爆炸、梯度消失等問題。TCN模型的結(jié)構(gòu)特點是它在卷積層使用了因果卷積和膨脹卷積［20］，同時加入了殘差結(jié)構(gòu)。圖3（a）展示的便是TCN的核心模塊，它在卷積后面均添加了歸一化層、非線性層和Dropout層［19］。LH?Net也使用了與TCN殘差塊相同的結(jié)構(gòu)，但是在歸一化層上將權(quán)重歸一化換成了批量歸一化，激活函數(shù)由修正線性單元（Rectified Linear Unit， ReLU）換成了ELU。LH?Net在TCN模塊之后，將輸出的特征矩陣輸入到網(wǎng)絡(luò)的自定義層，并在該層實現(xiàn)了對特征矩陣進行跨通道的特征融合，最后輸入到包含四個輸出單元的全連接層，并通過Softmax激活函數(shù)輸出分類結(jié)果。

圖3　時間卷積網(wǎng)絡(luò)殘差塊

2.2　基于時頻域的數(shù)據(jù)增強方法

深度學(xué)習(xí)模型的分類性能非常依賴于參與模型訓(xùn)練的數(shù)據(jù)量，尤其在網(wǎng)絡(luò)深度不斷增加的情況下，極大概率會出現(xiàn)過度擬合的問題［21］。在圖像處理等領(lǐng)域，解決過擬合的最好方法就是增加訓(xùn)練樣本的數(shù)量，一般會對圖像進行幾何變換或者噪聲添加。如果對EEG信號進行同樣的幾何變換，會破壞數(shù)據(jù)的時域特征；如果直接在EEG信號中加入噪聲會破壞信號的幅值和相位信息，從而降低分類精度［14］。綜上分析，本文提供了基于STFT的噪聲添加方法來擴充訓(xùn)練用的樣本數(shù)量。同時考慮到EEG信號具有很強的隨機性和非平穩(wěn)性，隨機加入一些局部噪聲，如泊松噪聲、椒鹽噪聲，會局部改變EEG的有效特征［14］，因此，本文使用了高斯噪聲來進行噪聲添加，具體的算法流程如圖4所示。

圖4　基于時頻域的數(shù)據(jù)增強算法流程

高斯噪聲是指它的概率密度函數(shù)服從高斯分布的一類噪聲。式（8）是關(guān)于高斯隨機變量的概率密度函數(shù)表達式：

3 實驗數(shù)據(jù)與設(shè)置

3.1　數(shù)據(jù)集和預(yù)處理

本文使用的EEG數(shù)據(jù)來自BCI競賽Ⅳ-2a數(shù)據(jù)集，該數(shù)據(jù)集由奧地利格拉茨工業(yè)大學(xué)［22］提供。該數(shù)據(jù)集一共記錄了9名受試者關(guān)于左手、右手、雙腳和舌頭四種不同的運動想象任務(wù)的EEG腦電信號。每個受試者的數(shù)據(jù)由兩個部分組成：一部分用于訓(xùn)練，另一部分用于測試。每個部分都包含了288次實驗，每次實驗持續(xù)7.5 s，并根據(jù)圖5所示的計時方案來進行記錄。所有數(shù)據(jù)均是通過分布在頭部的22個Ag/AgCl電極記錄，采樣頻率為250 Hz，并且對采集的信號進行了0.5～100 Hz帶通濾波。

圖5　數(shù)據(jù)采集計時方案

本文首先對原始的EEG信號進行相關(guān)運動想象事件段的提取，從每個試次中提示出現(xiàn)的前0.5 s到3 s的運動想象實驗結(jié)束為止。從圖5中來看，即Cue的前0.5 s一直到第6 s運動想象結(jié)束，共4.5 s的時間長度。同時本文將提取到的樣本標(biāo)簽進行獨熱編碼，用一個長度為4的二進制向量來表示四種類別標(biāo)簽，最后左手、右手、雙腳和舌頭四類標(biāo)簽分別被編碼為1000、0100、0010和0001。MI?EEG在采集中很容易受到生理性和非生理性的噪聲影響，這些被記錄的噪聲便是偽影。非生理性偽影多數(shù)為操作不當(dāng)引起的，生理性偽影主要由眼部的活動、肌肉活動、呼吸以及汗水等引起。非生理性的偽影可以通過肉眼辨別出，但多數(shù)生理性偽影與MI?EEG的有效頻段重合難以剔除，為了盡量減少有效信息的損失，本文未進一步對提取到的數(shù)據(jù)段進行濾波。

3.2　實驗設(shè)置

EEG信號中含多個頻率分量，且漢寧窗對非平穩(wěn)信號的良好性能，可以防止頻譜泄漏同時消去高頻干擾［23］。因此本文在對EEG信號進行STFT時使用漢寧窗作為窗函數(shù)，同時為了獲得較高的頻率分辨率，將時間窗函數(shù)的長度設(shè)置為256。進行數(shù)據(jù)增強后，每個類別的訓(xùn)練樣本量均擴充為原來的兩倍。

圖6展示了某個受試者同一個通道上，關(guān)于左手和右手兩個類別的EEG信號在進行數(shù)據(jù)增強前后的時頻幅值對比。從圖6中可以發(fā)現(xiàn)，在時頻域?qū)τ?xùn)練樣本進行噪聲添加后，很好地保留了信號的時頻特征，同時在局部的特征上有比較明顯的區(qū)別，達到了本文數(shù)據(jù)增強的目的。

圖6　數(shù)據(jù)增強前后的時頻圖對比

本文對所有受試者分別使用兩種網(wǎng)絡(luò)模型進行訓(xùn)練和測試，將2a數(shù)據(jù)集中每個被試的訓(xùn)練子集部分用于訓(xùn)練，測試子集部分用于測試。在訓(xùn)練階段，每訓(xùn)練完一個epoch就將訓(xùn)練數(shù)據(jù)的順序打亂，同時為每個epoch設(shè)置了批大小（batchsize）。除了少數(shù)受試者的批大小設(shè)置為32，其余均為64。兩種模型在訓(xùn)練過程中均采用了最小化交叉熵損失函數(shù)，同時使用Adam優(yōu)化器算法對模型參數(shù)進行優(yōu)化，學(xué)習(xí)率均設(shè)置為0.001。本文所有實驗代碼均使用Python語言編寫，其中在網(wǎng)絡(luò)模型的構(gòu)建和訓(xùn)練測試部分采用了GPU版的Tensorflow框架。

4 實驗與結(jié)果分析

4.1　評價指標(biāo)

4.2　模型對比

圖7展示了4個受試者（A03、A05、A07、A08）在模型訓(xùn)練過程中的準(zhǔn)確率曲線。L?Net由于網(wǎng)絡(luò)的深度比LH?Net淺，因此在第100到200個epoch左右便可以很好地擬合訓(xùn)練樣本，而在圖（a）～（c）中LH?Net則需要訓(xùn)練400個epoch左右才能擬合數(shù)據(jù)，訓(xùn)練所需的時間是L?Net的兩倍多。雖然L?Net能更快地擬合數(shù)據(jù)，但是從圖中可以發(fā)現(xiàn)，在訓(xùn)練后期L?Net的準(zhǔn)確率出現(xiàn)了較大波動，而LH?Net則并未出現(xiàn)這種情況，訓(xùn)練期間的準(zhǔn)確率一直比較穩(wěn)定。

圖7　部分受試者的訓(xùn)練準(zhǔn)確率

為了驗證L?Net和LH?Net在運動想象四分類任務(wù)上的優(yōu)勢，本文選取了以下幾個近幾年來在該研究領(lǐng)域中性能表現(xiàn)優(yōu)秀的深度學(xué)習(xí)模型進行對比。

1）基于深度可分離卷積構(gòu)建的EEGNet［9］。它是一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型的可訓(xùn)練參數(shù)僅在2 000左右。該模型在目前最先進的BCI范式上表現(xiàn)出了相當(dāng)高的性能，且具有很好的泛化能力。

2）基于3D卷積的多分支卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network， 3DCNN）［24］。該模型開創(chuàng)性地提出了使用多維陣列來表示EEG信號，并使用3個不同接受視野大小的3D卷積網(wǎng)絡(luò)來提取運動想象的相關(guān)特征。

3）并行的多尺度濾波器組卷積神經(jīng)網(wǎng)絡(luò)（Multiscale Filter Bank Convolutional Neural Network， MSFBCNN）［25］。該網(wǎng)絡(luò)采用多個不同尺度的卷積核來提取EEG的時間特征。

表1展示了本文方法與MSFBCNN、EEGNet、3DCNN在2a數(shù)據(jù)集上的具體性能表現(xiàn)。從表1中可以發(fā)現(xiàn)，深度學(xué)習(xí)模型在分類性能上遠遠超過傳統(tǒng)的FBCSP，具有更好的泛化能力。其中L?Net與EEGNet、3DCNN、MSFBCNN的平均準(zhǔn)確率和平均Kappa系數(shù)相較于L?Net的總體性能略高于EEGNet同時略低于3DCNN，與MSFBCNN的分類性能則基本保持在同等水平。雖然在受試者A02、A03、A06和A08上的分類表現(xiàn)不佳，但是在A04和A05上的準(zhǔn)確率均達到了71%左右，Kappa系數(shù)則到達了61%左右，均高于前二者。由L?Net改進的LH?Net在平均準(zhǔn)確率和平均Kappa系數(shù)上分別達到了77.83%和70.44%，相較于EEGNet、3DCNN和MSFBCNN平均準(zhǔn)確率分別提高了4.4、1.6和2.9個百分點，平均Kappa系數(shù)則分別提升了5.9、2.1和3.9個百分點。同時在A03上將準(zhǔn)確率提升到91.57%，Kappa系數(shù)則提升到88.76%，均優(yōu)于EEGNet、3DCNN和MSFBCNN。結(jié)合圖7的訓(xùn)練情況和表1的測試結(jié)果，可以發(fā)現(xiàn)LH?Net雖然在訓(xùn)練時間效率上不如L?Net，但是在測試集上的表現(xiàn)要更優(yōu)于L?Net，性能上具有更好的泛化能力。

表1　各方法在測試集上的分類性能比較 單位： %

4.3　數(shù)據(jù)增強分析

本文針對每個受試者均采用了6種不同強度的噪聲來生成新的訓(xùn)練樣本，并從區(qū)間［0.001， 0.5］取值作為噪聲的強度值。圖8和圖9分別為兩種模型針對數(shù)據(jù)集中的9名受試者在采用不同噪聲強度的數(shù)據(jù)增強方法時的分類準(zhǔn)確率，圖中的橫軸坐標(biāo)代表6種噪聲強度的取值，與橫軸平行的散點代表不同受試者（A01～A09）未使用數(shù)據(jù)增強（a01～a09）時的分類準(zhǔn)確率。從圖8中可以明顯發(fā)現(xiàn)L?Net在使用6種不同強度的噪聲時，受試者A03、A07、A08的分類精度均比未使用數(shù)據(jù)增強的分類準(zhǔn)確率有了比較明顯的提高。其余的幾個受試者則只有在特定的噪聲強度范圍內(nèi)準(zhǔn)確率才有明顯提高，其中A02、A04、A06的最優(yōu)強度范圍大致在（0.05，0.001）區(qū)間，A05和A09的最優(yōu)強度范圍大致在（0.01，0.5），而A01只有在區(qū)間（0.01，0.1）內(nèi)準(zhǔn)確度才有提升。

圖9顯示，LH?Net在6種不同強度的噪聲下，受試者A01、A02、A04、A05、A06的分類準(zhǔn)確率均比未使用數(shù)據(jù)增強的準(zhǔn)確率有了比較明顯的提高，與圖8相比呈現(xiàn)出一種截然不同的情況。與圖8中不同的是，A03、A07、A08、A09的噪聲強度最優(yōu)范圍均縮小了，其中：A03的最優(yōu)強度范圍由（0.001， 0.5）縮小到（0.01， 0.5），噪聲強度設(shè)置過小，分類準(zhǔn)確度卻降低了；A07和A08的最優(yōu)強度范圍則是由（0.001， 0.5）縮小到（0.001， 0.01），噪聲強度過大反而導(dǎo)致了準(zhǔn)確率降低；A09在噪聲強度過大和過小時均會導(dǎo)致準(zhǔn)確率降低，只有在強度為0.01時準(zhǔn)確率才會有所上升。

圖8　9名受試者在L?Net上不同噪聲強度下的分類準(zhǔn)確率

圖9　9名受試者在LH?Net上不同噪聲強度下的分類準(zhǔn)確率

綜上所述，由于兩種模型結(jié)構(gòu)之間的差異和不同受試者自身數(shù)據(jù)的特異性，導(dǎo)致在進行數(shù)據(jù)增強時噪聲的強度成為影響模型性能的關(guān)鍵因素，不同受試者在不同模型上存在不同的最優(yōu)噪聲強度范圍。為了探索噪聲強度對該數(shù)據(jù)集總體分類效果的影響，本文在不同噪聲強度下，計算得到9名受試者的平均準(zhǔn)確率如圖10所示。

圖10　L?Net和LH?Net在不同噪聲強度下的平均分類準(zhǔn)確率

從圖10中可以發(fā)現(xiàn)隨著噪聲強度從0.5降低到0.05，兩種模型的平均分類準(zhǔn)確率都在逐漸升高。其中對于L?Net模型當(dāng)噪聲強度降低到為0.05時準(zhǔn)確度提升到75%左右，之后隨著噪聲強度的減弱平均分類準(zhǔn)確度未有明顯的提升。而LH?Net在噪聲強度降低到0.01時，平均準(zhǔn)確率上升到最高（81%左右），之后隨著強度的減弱平均準(zhǔn)確率呈現(xiàn)下降的趨勢。由此可初步推斷出兩種模型的最優(yōu)噪聲強度范圍大致分布在（0.001，0.05）、（0.01，0.05）。

表2展示了傳統(tǒng)的直接對信號樣本進行噪聲添加（Noise Addition， NA）與本文基于時頻域的噪聲添加方法（STFT+NA），兩種不同的數(shù)據(jù)增強方法在L?Net和LH?Net兩種模型上的分類性能。從表2可以看出，與未進行數(shù)據(jù)增強之前相比，兩種模型的性能指標(biāo)均得到了有效提升。其中L?Net和LH?Net在使用傳統(tǒng)的噪聲添加方式時，兩種分類指標(biāo)均提升了1～2個百分點；而使用基于時頻域的噪聲添加方法后，二者的分類指標(biāo)比使用傳統(tǒng)的噪聲添加方法提升效果更顯著，兩者的平均準(zhǔn)確率分別達到了79.12%和82.67%。相較于未采用數(shù)據(jù)增強策略得到的性能指標(biāo)，L?Net在平均準(zhǔn)確率和平均Kappa系數(shù)分別提升了4.90個百分點和6.55個百分點；而LH?Net則提升了4.84個百分點和6.46個百分點。同時LH?Net在受試者A03和A07上準(zhǔn)確率分別達到了95.24%，91.33%，Kappa系數(shù)則達到了93.65%，88.44%。

為了進一步比較兩種模型在不同類別上的性能優(yōu)異，本文在從所有受試者中挑選出最佳噪聲強度下的分類模型，并將所有人的預(yù)測結(jié)果和測試集的真實標(biāo)簽分別合并為一個標(biāo)簽集合來繪制混淆矩陣，同時與未進行數(shù)據(jù)增強的最優(yōu)模型進行了對比，如圖11所示。其中圖11（a）、（c）是在沒有使用數(shù)據(jù)增強的情況下得到的混淆矩陣，圖11（b）、（d）是在使用了數(shù)據(jù)增強的情況下得到的混淆矩陣。從圖11可以發(fā)現(xiàn)，使用數(shù)據(jù)增強后，LH?Net在四個類別上的準(zhǔn)確率均有了非常明顯的提升，每個類別的精度平均增長了4.8個百分點；而L?Net雖然在右手這一類別的準(zhǔn)確率降低了些許，但其他三類的準(zhǔn)確率均有不錯的提升，尤其在舌頭分類中，準(zhǔn)確率由72.6%提升到了83.1%，總體的平均增幅為4.9個百分點。

表2　L?Net和LH?Net使用不同數(shù)據(jù)增強方法的分類性能比較 單位： %

圖11　L?Net和LH?Net在測試集不同類別上的分類準(zhǔn)確率

表3給出了不同模型在相同訓(xùn)練次數(shù)時所耗費的時間。從表3可以發(fā)現(xiàn)：在未使用數(shù)據(jù)增強時，LH?Net總體耗費的時間比L?Net多161 s，每個受試者的平均訓(xùn)練時間多18 s；在使用數(shù)據(jù)增強后，由于數(shù)據(jù)集的樣本變?yōu)榱嗽瓉淼膬杀叮叩目傮w訓(xùn)練時間和平均訓(xùn)練時間也增加到了原來的兩倍左右。結(jié)合表2的分類性能分析，雖然LH?Net與L?Net相比增加了模型的復(fù)雜度，導(dǎo)致訓(xùn)練時間更長，但是模型的分類效果得到了有效提升，同時增加的訓(xùn)練時間在一個可接受的范圍。由此可見模型LH?Net的整體效果要優(yōu)于L?Net，同時本文使用的基于時頻域的數(shù)據(jù)增強方法在兩種模型上都取得了不錯的表現(xiàn)。

表3　不同模型的訓(xùn)練時間比較 單位： s

5 結(jié)語

本文提出了兩種不同結(jié)構(gòu)的輕量級網(wǎng)絡(luò)L?Net和LH?Net，它們在運動想象四分類任務(wù)中表現(xiàn)良好，且LH?Net比L?Net具有更好的魯棒性，分類性能更好；同時也說明了基于時頻域的數(shù)據(jù)增強方法能夠有效提升網(wǎng)絡(luò)模型的分類效果。本文基于時頻域的噪聲添加方法與目前使用對抗生成網(wǎng)絡(luò)的數(shù)據(jù)增強方法［16］相比，是一種高效、簡單的數(shù)據(jù)增強方法。L?Net和LH?Net的優(yōu)勢在于使用了深度可分離卷積，在大幅減少訓(xùn)練參數(shù)的同時，能保證模型較好的性能表現(xiàn)；而且由于網(wǎng)絡(luò)模型規(guī)模較小，與3DCNN等大規(guī)模的網(wǎng)絡(luò)模型相比，硬件部署的場景也會更廣泛。不過這兩個模型在部分受試者上的分類性能表現(xiàn)欠佳，因此我們的下一步工作將從特征選擇和遷移學(xué)習(xí)兩個方向繼續(xù)研究和探索。

[1] LONG J， LI Y， WANG H， et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2012， 20（5）： 720-729.

[2] ANG K K， CHIN Z Y， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b［J］. Frontiers in Neuroscience， 2012， 6： Article 39.

[3] TONIN L， CARLSON T， LEEB R， et al. Brain?controlled telepresence robot by motor?disabled people［C］// Proceedings of the 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2011： 4227-4230.

[4] ACHARYA U R， SREEr S V， SWAPNA G， et al. Automated EEG analysis of epilepsy： a review［J］. Knowledge?Based Systems， 2013， 45： 147-165.

[5] HOSSAIN M S， AMIN S U， ALSULAIMAN M， et al. Applying deep learning for epilepsy seizure detection and brain mapping visualization［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2019， 15（1）： 1-17.

[6] SAFI M S， SAFI S M M. Early detection of Alzheimer’s disease from EEG signals using Hjorth parameters［J］. Biomedical Signal Processing and Control， 2021， 65： 102338.

[7] ZHANG R， ZONG Q， DOU L， et al. Hybrid deep neural network using transfer learning for EEG motor imagery decoding［J］. Biomedical Signal Processing and Control， 2021， 63： 102144.

[8] CHIARELLI A M， CROCE P， MERLA A， et al. Deep learning for hybrid EEG?fNIRS brain?computer interface： application to motor imagery classification［J］. Journal of Neural Engineering， 2018， 15（3）： 036028.

[9] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain–computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.

[10] SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain?computer interface using convolutional neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629.

[11] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi?layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101： 542-554.

[12] 杜秀麗，馬振倩，邱少明，等.基于卷積注意力機制的運動想象腦電信號識別［J］.計算機工程與應(yīng)用，2021，57（18）：181-185.（DU X L， MA Z Q， QIU S M， et al. Motor imagery EEG signal recognition based on the convolutional attention mechanism［J］. Journal of Computer Engineering and Applications， 2021， 57（18）： 181-185.）

[13] SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.

[14] WANG F， ZHONG S?H， PENG J， et al. Data augmentation for EEG?based emotion recognition with deep convolutional neural networks［C］// Proceedings of the 2018 International Conference on Multimedia Modeling， LNCS 10705. Cham： Springer， 2018： 82-93.

[15] SCHWABEDAL J T C， SNYDER J C， CAKMAK A， et al. Addressing class imbalance in classification problems of noisy signals by using fourier transform surrogates［EB/OL］. （2019-01-28）［2021-06-19］. https：//arxiv.org/pdf/1806.08675.pdf.

[16] ZHANG K， XU G， HAN Z， et al. Data augmentation for motor imagery signal classification based on a hybrid neural network［J］. Sensors， 2020， 20（16）： 4485.

[17] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co?adaptation of feature detectors［EB/OL］. ［2021-09-01］. https：//arxiv.org/pdf/1207. 0580.pdf.

[18] CHAUDHARY S， TARAN S， BAJAJ V， et al. Convolutional neural network based approach towards motor imagery tasks EEG signals classification［J］. IEEE Sensors Journal， 2019， 19（12）： 4494-4500.

[19] BAI S， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［EB/OL］. （2018-04-19）［2021-06-19］. https：//arxiv.org/pdf/1803.01271.pdf.

[20] 袁華，陳澤濠.基于時間卷積神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測算法［J］.華南理工大學(xué)學(xué)報（自然科學(xué)版），2020，48（11）：107-113， 122.（YUAN H， CHEN Z H. Short?term traffic flow prediction algorithm based on time convolutional neural network［J］. Journal of South China University of Technology （Natural Science Edition）， 2020，48（11）： 107-113， 122.）

[21] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述［J］.計算機學(xué)報，2017，40（6）：1229-1251.（ZHOU F Y， JIN L P， DONG J. A survey of convolutional neural networks［J］. Chinese Journal of Computers，2017，40（6）： 1229-1251.）

[22] TANGERMANN M， MüLLER K?R， AERTSEN A， et al. Review of the BCI Competition Ⅳ［J］. Frontiers in Neuroscience， 2012， 6： Article 00055.

[23] SAMIEE K， KOVACS P， GABBOUJ M. Epileptic seizure classification of EEG time?series using rational discrete short?time Fourier transform［J］. IEEE Transactions on Biomedical Engineering， 2014， 62（2）： 541-552.

[24] ZHAO X， ZHANG H， ZHU G， et al. A multi?branch 3D convolutional neural network for EEG?based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[25] WU H， NIU Y， LI F， et al. A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification［J］. Frontiers in Neuroscience， 2019， 13： Article 01275.

Motor imagery electroencephalography classification based on data augmentation

PENG Yu， SONG Yaolian*， YANG Jun

（，，650500，）

Aiming at the multi?classification problem for Motor Imagery ElectroEncephaloGraphy （MI?EEG）， Lightweight convolutional neural Network （L?Net） and Lightweight Hybrid Network （LH?Net） based on deep separable convolution were built on the basis of existing research. Experiments and analyses were carried out on the BCI competition IV-2a data set. It was shown that L?Net could fit the data faster than LH?Net， and the training time was shorter. However， LH?Net is more stable than L?Net and has better robustness in classification performance on the test set， the average accuracy and average Kappa coefficient of LH?Net were increased by 3.6% and 4.8%， respectively compared with L?Net. In order to further improve the classification performance of the model， a new method of adding Gaussian noise based on the time?frequency domain was adopted to apply Data Augmentation （DA） on the training samples， and simulation verification of the noise intensity was carried out， thus the optimal noise intensity ranges of the two models were inferred. With the DA method， the average accuracies of the two models were increased by at least 4% in the simulation results， the four classification effects were significantly improved.

electroencephalography; motor imagery; deep learning; depth separable convolution; data augmentation

PENG Yu， born in 1995， M. S. candidate. His research interests include brain information decoding， deep learning.

SONG Yaolian， born in 1979， Ph. D.， associate professor. Her research interests include brain information decoding， communication system.

YANG Jun， born in 1984， Ph. D.， lecturer. His research interests include brain information decoding， deep learning.

1001-9081（2022）11-3625-08

10.11772/j.issn.1001-9081.2021091701

2021?09?30；

2022?01?05；

2022?01?28。

TP391.4

A

彭禹（1995—），男，四川瀘州人，碩士研究生，CCF會員，主要研究方向：腦信息解碼、深度學(xué)習(xí)；宋耀蓮（1979—），女，河南延津人，副教授，博士，主要研究方向：腦信息解碼、通信系統(tǒng)；楊俊（1984—），男，云南昆明人，講師，博士，主要研究方向：腦信息解碼、深度學(xué)習(xí)。