霍首君，郝 琰，石慧宇，董艷清，曹 銳

（太原理工大學(xué)軟件學(xué)院，山西晉中 030600）

0 引言

腦機(jī)接口（Brain-Computer Interface，BCI）是不依賴于肌肉組織和外圍神經(jīng)，在大腦與外部電子設(shè)備之間建立的一種新型信息傳輸通道的裝置。頭皮腦電信號(hào)（ElectroEncephaloGram，EEG）因其具有較高的時(shí)間分辨率、較好的便攜性以及非侵入式的優(yōu)勢(shì)，現(xiàn)已成為解碼大腦認(rèn)知活動(dòng)最有效的數(shù)據(jù)來(lái)源之一?；贓EG 的運(yùn)動(dòng)想象腦機(jī)接口（Motor Imagery Brain-Computer Interface，MI-BCI）屬于自發(fā)型腦機(jī)接口類別，其目的在于準(zhǔn)確地辨認(rèn)出用戶的肢體運(yùn)動(dòng)意圖，常見(jiàn)的包括左手、右手、雙腳以及舌頭運(yùn)動(dòng)的想象［1-2］，這對(duì)于醫(yī)療康復(fù)［3］、休閑娛樂(lè)［4］等領(lǐng)域具有重要意義。

運(yùn)動(dòng)想象腦電信號(hào)識(shí)別任務(wù)的傳統(tǒng)研究方法首先需要對(duì)EEG 信號(hào)進(jìn)行預(yù)處理，隨后選擇合適的方法提取不同認(rèn)知狀態(tài)下的腦電特征并挑選出最具識(shí)別性的特征子集［5-6］，最后通過(guò)機(jī)器學(xué)習(xí)方法完成對(duì)運(yùn)動(dòng)想象腦電信號(hào)的識(shí)別工作。比如Kevric 等［7］利用小波包分解子帶中提取的高階統(tǒng)計(jì)特征結(jié)合多尺度主成成分分析（Multiscale Principal Component Analysis，MSPCA）的降噪方法，在BCI Competition ⅢdatasetⅣa 數(shù)據(jù)集上得到了92.8%的平均識(shí)別準(zhǔn)確率。Baig 等［8］首先利用公共空間模式（Common Spatial Pattern，CSP）算法提取出左右手運(yùn)動(dòng)想象狀態(tài)下的特征集合，然后使用差分進(jìn)化的優(yōu)化算法提取各個(gè)被試的最優(yōu)特征子集，最后送入支持向量機(jī)（Support Vector Machine，SVM）中構(gòu)建分類模型，在BCI Competition Ⅲdataset Ⅳa數(shù)據(jù)集上得到了95%以上的平均分類準(zhǔn)確率。傳統(tǒng)的機(jī)器學(xué)習(xí)和統(tǒng)計(jì)方法面對(duì)復(fù)雜且往往是非結(jié)構(gòu)化的數(shù)據(jù)時(shí)常常要求一定的特征工程能力，以提取更為有效的特征或者選擇更加合適的模型參數(shù)，而深度學(xué)習(xí)可以訓(xùn)練出更抽象也更有效的特征來(lái)完成端到端［9］的學(xué)習(xí)任務(wù)。

近年來(lái)深度學(xué)習(xí)方法在機(jī)器視覺(jué)［10-11］和語(yǔ)音識(shí)別［12-13］等領(lǐng)域取得了巨大成功，證明深度學(xué)習(xí)方法可以很好地找出高維數(shù)據(jù)中隱藏的復(fù)雜結(jié)構(gòu)。Tabar 等［14］利用短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）提取出各通道中μ 和β節(jié)律的時(shí)頻信息，并將它們組合成2D 信息作為網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)是由卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和堆棧自編碼器（Stacked AutoEncoder，SAE）相結(jié)合形成的深層網(wǎng)絡(luò)，并通過(guò)SAE 對(duì)CNN 提取到的特征進(jìn)行分類，所提出的方法在BCI Competition Ⅳdataset 2b 數(shù)據(jù)集上的Kappa 值為0.547，相較于競(jìng)賽第一名有9%的改進(jìn)。Tang等［15］提出了一種新型卷積神經(jīng)網(wǎng)絡(luò)用于運(yùn)動(dòng)想象EEG 的模式識(shí)別，該網(wǎng)絡(luò)設(shè)置了2 層卷積層分別負(fù)責(zé)提取信號(hào)序列中的空間域特征和時(shí)間域特征。該文中使用的數(shù)據(jù)源自浙江大學(xué)自行設(shè)計(jì)的運(yùn)動(dòng)想象實(shí)驗(yàn)，每個(gè)被試執(zhí)行左、右手運(yùn)動(dòng)想象任務(wù)各230 次，實(shí)驗(yàn)結(jié)果表明使用本文提出的新型CNN 方法可以獲得比傳統(tǒng)方法更高的分類精度。

綜上所述：1）卷積神經(jīng)網(wǎng)絡(luò)避免了復(fù)雜的特征提取過(guò)程，且因其具有權(quán)值共享和稀疏連接等特性［16］，有效地降低了模型的復(fù)雜程度，因此，本文考慮將卷積神經(jīng)網(wǎng)絡(luò)引入到運(yùn)動(dòng)想象腦電信號(hào)的識(shí)別任務(wù)當(dāng)中。2）以經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則［17］（Empirical Risk Minimization，ERM）作為學(xué)習(xí)規(guī)則的網(wǎng)絡(luò)模型，鼓勵(lì)網(wǎng)絡(luò)記憶而不是泛化訓(xùn)練數(shù)據(jù)，特別是當(dāng)網(wǎng)絡(luò)在處理小樣本問(wèn)題時(shí)，僅從模型結(jié)構(gòu)上做調(diào)整來(lái)避免過(guò)擬合往往是不夠的，還需要在數(shù)據(jù)層面作進(jìn)一步處理。3）深層的網(wǎng)絡(luò)模型會(huì)構(gòu)成一個(gè)龐大的超參數(shù)集合，一直以來(lái)由于缺乏求解超參集最優(yōu)組合的理論支撐以及足夠窮舉所有組合的計(jì)算資源，因此需要根據(jù)訓(xùn)練樣本的特性從不同的角度對(duì)超參數(shù)的組合進(jìn)行嘗試，以求達(dá)到最優(yōu)的泛化效果。

1 數(shù)據(jù)準(zhǔn)備和分類方法

1.1 數(shù)據(jù)集

本文選用BCI Competition Ⅱdataset Ⅲ運(yùn)動(dòng)想象數(shù)據(jù)集，該數(shù)據(jù)集記錄了一位正常女性被試共280 次隨機(jī)的左右手運(yùn)動(dòng)想象實(shí)驗(yàn)，以隨機(jī)的方式挑選出140 次實(shí)驗(yàn)作為訓(xùn)練集，剩余的140 次實(shí)驗(yàn)作為測(cè)試集，其中訓(xùn)練集包括70 次左手想象和70 次右手想象。整個(gè)采集過(guò)程以128 Hz 采樣頻率記錄腦電信號(hào)，并進(jìn)行0.5～30 Hz帶通濾波。數(shù)據(jù)采集過(guò)程中每單次實(shí)驗(yàn)的時(shí)間流程如圖1所示。

圖1 單次運(yùn)動(dòng)想象任務(wù)時(shí)序圖Fig.1 Sequence diagram of single motor imagery task

每次實(shí)驗(yàn)持續(xù)時(shí)間共9 s，實(shí)驗(yàn)開(kāi)始之后會(huì)有2 s 準(zhǔn)備時(shí)間，在第3 秒開(kāi)始時(shí)會(huì)有短暫的聲音提示被試即將執(zhí)行運(yùn)動(dòng)想象任務(wù)，同時(shí)屏幕顯示一個(gè)交叉十字“+”持續(xù)時(shí)間為1 s，從第4 秒開(kāi)始屏幕會(huì)出現(xiàn)一個(gè)箭頭，被試通過(guò)運(yùn)動(dòng)想象拖動(dòng)反饋條向箭頭指示方向移動(dòng)，并保持至第9秒結(jié)束。

1.2 數(shù)據(jù)預(yù)處理

人在進(jìn)行肢體運(yùn)動(dòng)想象時(shí)大腦的運(yùn)動(dòng)感覺(jué)皮層中的特定位置會(huì)發(fā)生規(guī)律性的電位變化［18］，當(dāng)被試進(jìn)行單側(cè)肢體運(yùn)動(dòng)想象時(shí)，大腦對(duì)側(cè)皮層中μ 節(jié)律（8～12 Hz）的強(qiáng)度減小，同側(cè)皮層中β 節(jié)律（12～25 Hz）的強(qiáng)度增加，稱為事件相關(guān)去同步（Event Related Desynchronization，ERD）和事件相關(guān)同步（Event Related Synchronization，ERS）現(xiàn)象［19］。這兩種現(xiàn)象是判別不同類型腦電信號(hào)的重要依據(jù)，其中時(shí)頻域分析法是最為高效的分析方法之一［20］。

1.2.1 短時(shí)距傅里葉變換

短時(shí)距傅里葉變換先將整段時(shí)間序列切分成若干等長(zhǎng)的時(shí)間片段，再通過(guò)傅里葉變換計(jì)算出各個(gè)時(shí)間片段當(dāng)中的頻譜信息，從而獲得各頻率成分關(guān)于時(shí)間的變化。其計(jì)算公式如下：

其中：S(n)代表腦電信號(hào)的時(shí)間序列；W(n)表窗口函數(shù)；N代表記錄的時(shí)間點(diǎn)總數(shù)；k表示不同時(shí)間窗的索引；f代表信號(hào)中的頻率成分；n代表時(shí)間點(diǎn)。公式中要求劃分的時(shí)間窗口長(zhǎng)度相同，決定了該算法在測(cè)量高頻成分時(shí)表現(xiàn)良好，而在測(cè)量低頻成分時(shí)往往會(huì)伴有失真現(xiàn)象。為有效測(cè)量信號(hào)中μ節(jié)律和β 節(jié)律的變化趨勢(shì)，本文選用長(zhǎng)度為0.5 s 的時(shí)間窗口配合Hamming 窗口函數(shù)得到的時(shí)頻矩陣如圖2 所示。最后將C3、C4 兩個(gè)通道上的時(shí)頻矩陣進(jìn)行組合，得到33×35×2 大小的三維張量作為后續(xù)卷積神經(jīng)網(wǎng)絡(luò)的輸入。

1.2.2 連續(xù)Morlet小波變換

Morlet 小波變換屬于連續(xù)型小波變換（Continuous Wavelet Transform，CWT），它以有限長(zhǎng)度且會(huì)衰減的小波作為基底來(lái)測(cè)量信號(hào)中各個(gè)頻率成分強(qiáng)度隨時(shí)間的變化，其公式如下：

其中：x(t)代表信號(hào)序列；ψ(t)代表小波基底；t代表時(shí)間點(diǎn)；參數(shù)a控制小波函數(shù)的伸縮，當(dāng)a從小到大取值時(shí)，小波函數(shù)逐漸變寬，于是可以更好地對(duì)低頻成分作出測(cè)量，并且通過(guò)對(duì)參數(shù)b的調(diào)整控制小波函數(shù)的平移進(jìn)而得到不同時(shí)域位置上各個(gè)頻帶的強(qiáng)度信息。Morlet 小波中心時(shí)間和時(shí)域跨度的計(jì)算公式如下：

其中：Ψ(ω)是ψ(t)經(jīng)過(guò)傅里葉變換以后得到的頻率成分信息。由式（3）～（7）可知，小波變換在測(cè)量高頻成分時(shí)，由于使用的小波較窄，可以獲得較小的時(shí)域跨度，但相應(yīng)地會(huì)使頻域跨度變大，因此在輸出的時(shí)頻矩陣中，高頻部分頻率維度的解析度相對(duì)偏低，低頻部分則正好相反。本文使用Morlet 小波變換得到的結(jié)果如圖3 所示。同樣地，將C3、C4 通道位置信息進(jìn)行整合，得到大小為35×1 152×2 的樣本矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入。

圖2 STFT運(yùn)動(dòng)想象時(shí)頻圖Fig.2 STFT motor imagery time-frequency map

圖3 CWT運(yùn)動(dòng)想象時(shí)頻圖Fig.3 CWT motor imagery time-frequency map

2 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

2.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

為了能夠訓(xùn)練出同時(shí)間、頻率和空間三個(gè)維度均相關(guān)的高階特征，構(gòu)建出的CNN 模型如圖4 所示。為方便后續(xù)討論稱該網(wǎng)絡(luò)為MixedCNN。

具體的拓?fù)涿枋鋈缦拢?/p>

Input輸入層接收的樣本尺寸為F×T×C。

C1 卷積層使用的卷積核大小為3×3×2，經(jīng)該層卷積運(yùn)算后共向外輸出64個(gè)特征矩陣。

C2 卷積層使用的卷積核大小為3×3×64，并向后輸出64個(gè)特征矩陣。

Pool 池化層用于對(duì)C2 層的輸出進(jìn)行降采樣操作以縮減模型的計(jì)算規(guī)模，池化窗口大小為2×2。

FC1 和FC2 全連接層分別包含600 和300 個(gè)神經(jīng)元，為避免出現(xiàn)過(guò)擬合現(xiàn)象，引入50%的Dropout 策略，使用的激活函數(shù)為ReLu。

Output層僅共包含2個(gè)神經(jīng)元，代表網(wǎng)絡(luò)的2類輸出結(jié)果（左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象）。

為了避免在同一個(gè)卷積核內(nèi)混入不同維度的信息，本文另外設(shè)計(jì)了一套可以依次對(duì)空、時(shí)、頻三個(gè)維度的特征進(jìn)行提取的網(wǎng)絡(luò)模型如圖5 所示。為方便后續(xù)討論將該網(wǎng)絡(luò)記作StepByStepCNN。

具體的網(wǎng)絡(luò)拓?fù)涿枋鋈缦拢?/p>

Input輸入層接收的樣本尺寸為F×T×C。

C1卷積層使用大小為1×1×2的卷積核對(duì)C3、C4通道的空間信息進(jìn)行整合，并向后層輸出4個(gè)特征矩陣。

C2卷積層針對(duì)C1層輸出的每一個(gè)特征矩陣設(shè)計(jì)了16個(gè)大小為F×1的卷積核以提取其頻域特征，

共得到64個(gè)1×T大小的特征矩陣。

C3 卷積層使用16 個(gè)大小為1×6 的卷積核對(duì)輸入的每張?zhí)卣骶仃囘M(jìn)行時(shí)域上的特征提取。

FC1 和FC2 分別包含500 個(gè)和200 個(gè)神經(jīng)元，激活函數(shù)選用ReLU，且引入了50%的Dropout 機(jī)制并最終配合輸出層完成對(duì)樣本的識(shí)別工作。

Output層僅共包含2個(gè)神經(jīng)元，代表網(wǎng)絡(luò)的2類輸出結(jié)果（左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象）。

為方便后續(xù)討論將該網(wǎng)絡(luò)記作StepByStepCNN。

圖4 MixedCNN拓?fù)浣Y(jié)構(gòu)Fig.4 MixedCNN topology structure

圖5 StepByStepCNN拓?fù)浣Y(jié)構(gòu)Fig.5 StepByStepCNN topology structure

2.2 CNN的學(xué)習(xí)過(guò)程

在MixingCNN 網(wǎng)絡(luò)中將F×T×C的輸入張量記作a(0)，網(wǎng)絡(luò)中各層的計(jì)算描述如下：

Convolution1：對(duì)輸入張量執(zhí)行卷積操作。

其中：上標(biāo)代表層數(shù)；下標(biāo)s和i分別代表該卷積層內(nèi)卷積核的個(gè)數(shù)和卷積操作執(zhí)行的次數(shù)分別表示第s個(gè)卷積核的權(quán)重和偏置均為3×3×2 大小的矩陣；f(x)選擇ReLU 激活函數(shù)，輸出的每個(gè)特征矩陣的維度為F×T。

Convolution2：對(duì)C1層的輸出數(shù)據(jù)進(jìn)行卷積計(jì)算：

Pool1：對(duì)C2的輸出執(zhí)行最大池化操作，最大子采樣函數(shù)取區(qū)域內(nèi)所有輸出的最大值（max-pooling），輸出矩陣的大小npool可以由式（12）計(jì)算：

其中：n為特征矩陣的原始尺寸；p為邊緣填充數(shù)量；f為池化窗口的大??；s代表步長(zhǎng)；池化層的輸出記為a(3)。

FC1：該層中每一個(gè)神經(jīng)元均與前一層所有神經(jīng)元相連接，負(fù)責(zé)對(duì)訓(xùn)練得到的特征進(jìn)行分類。

其中：p(4)為Dropout 比例，且該操作僅在訓(xùn)練過(guò)程中執(zhí)行［21］；分別代表輸入權(quán)重和偏置。

FC2：由于深層結(jié)構(gòu)的網(wǎng)絡(luò)比相同神經(jīng)元數(shù)量的淺層網(wǎng)絡(luò)具有更好的表達(dá)非線性關(guān)系的能力，為此增加了FC2 全連接層，其計(jì)算過(guò)程和FC1完全相同：

同樣地，在StepByStepCNN網(wǎng)絡(luò)中將輸入張量記作a(0)，網(wǎng)絡(luò)中各層的計(jì)算描述如下：

Convolution1：對(duì)輸入張量做空間域卷積，

為確保上述兩種網(wǎng)絡(luò)可以得到有效的訓(xùn)練，采用在期望為0，方差為2/nl正態(tài)分布中隨機(jī)采樣的方式對(duì)各層神經(jīng)元的權(quán)重進(jìn)行初始化，其中nl為第l層神經(jīng)元的個(gè)數(shù)，以避免損失函數(shù)全程不下降問(wèn)題。網(wǎng)絡(luò)采用帶有動(dòng)量的梯度下降算法對(duì)損失函數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.001，最大迭代次數(shù)設(shè)置為300。

2.3 分類

本文根據(jù)EEG 信號(hào)的時(shí)-頻-空特性，設(shè)計(jì)了兩種不同卷積策略的網(wǎng)絡(luò)模型；然后將STFT 和CWT 預(yù)處理得到的樣本分別放入MixedCNN 和StepByStepCNN 進(jìn)行訓(xùn)練，最終得到四組模型；接著，使用準(zhǔn)確率、精確率、靈敏度、特異性以及ROC曲線下面積（Area Under Curve，AUC）對(duì)其進(jìn)行評(píng)估，并同時(shí)與CSP+SVM［22］、自適應(yīng)自回歸模型（Adaptive Autoregressive Modeling，AAR）+LDA［23］、離散小波變換（Discrete Wavelet Transform，DWT）+長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM［24］）和STFT+SAE［14］四種方法相比較；最后，挑選出識(shí)別性能最佳的模型并以此作為baseline 探討mixup 數(shù)據(jù)增強(qiáng)對(duì)模型泛化性能的影響。

3 mixup數(shù)據(jù)增強(qiáng)

不同于翻轉(zhuǎn)、平移、高斯噪聲等通用數(shù)據(jù)增強(qiáng)方法，mixup［25］采用對(duì)不同類別之間進(jìn)行建模的方式實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。mixup 數(shù)據(jù)增強(qiáng)受鄰域風(fēng)險(xiǎn)最小化策略［26］啟發(fā)構(gòu)建出一種通用的鄰域分布來(lái)近似真實(shí)分布，不同于Chapelle 等［26］提出的高斯鄰域，mixup鄰域的數(shù)學(xué)表示如下：

其中：λ～Beta(α，α)，α∈(0，∞)；mixup 使用從該鄰域采樣得到的虛擬樣本-標(biāo)簽對(duì)構(gòu)成新的訓(xùn)練數(shù)據(jù)，并以最小化式（28）對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。

其中：f()表示模型函數(shù)；?()表示損失函數(shù)；m表示虛擬樣本的數(shù)量。Zhang 等［25］指出當(dāng)α在區(qū)間［0.1，0.4］內(nèi)取值時(shí)可以獲得比ERM學(xué)習(xí)規(guī)則更好的泛化性能。在實(shí)驗(yàn)中將超參數(shù)α分別設(shè)置為0.1、0.2、0.3、0.4 并在每個(gè)batch 范圍內(nèi)將訓(xùn)練數(shù)據(jù)和標(biāo)簽分別做加權(quán)求和組成新的虛擬樣本集合。在損失函數(shù)構(gòu)建方面，需要將輸出的預(yù)測(cè)值分別與兩組標(biāo)簽求出損失，并與之前真實(shí)樣本分配的權(quán)重進(jìn)行加權(quán)求和。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 模型分析及對(duì)比

本文提出的4 種分類模型：CWT+MixedCNN、CWT+StepByStepCNN、STFT+MixedCNN、STFT+StepByStepCNN 在測(cè)試集上計(jì)算出的評(píng)價(jià)指標(biāo)如表1所示。

表1 實(shí)驗(yàn)組模型的評(píng)價(jià)指標(biāo)Tab.1 Evaluation indeces of models in experimental group

對(duì)于當(dāng)前被試的運(yùn)動(dòng)想象腦電數(shù)據(jù)，在相同預(yù)處理方式下，選擇MixedCNN 比選擇StepByStepCNN 訓(xùn)練出的分類模型具有更好的識(shí)別準(zhǔn)確率，且使用CWT 預(yù)處理方法配合MixedCNN 訓(xùn)練得到的模型準(zhǔn)確率最高，達(dá)到了92.14%。另一方面，相較于CWT，STFT 預(yù)處理方法得到的樣本在StepByStepCNN 上訓(xùn)練出的模型在準(zhǔn)確率指標(biāo)上更好。在使用相同卷積網(wǎng)絡(luò)模型的前提下，采用STFT預(yù)處理方式得到的模型在精確率指標(biāo)上表現(xiàn)更加突出。STFT+MixedCNN 和CWT+StepByStepCNN 兩種方案在靈敏度指標(biāo)上保持一致，CWT 配合MixedCNN 方法在靈敏度指標(biāo)上相較于其他3 種方法至少提升了超過(guò)4 個(gè)百分點(diǎn)。在采用相同卷積策略的條件下，預(yù)處理方式選擇STFT 相較于CWT 訓(xùn)練出的模型在特異性指標(biāo)上表現(xiàn)更好，其中采用STFT+StepByStepCNN 方案所得到的特異性指標(biāo)最高，達(dá)到了95.71%。最后，采用MixedCNN結(jié)構(gòu)的網(wǎng)絡(luò)訓(xùn)練出的模型在AUC 指標(biāo)上略優(yōu)于StepByStepCNN訓(xùn)練出的模型。

為與以上方法相比較，本文在BCI Competition ⅡdatasetⅢ數(shù)據(jù)集合上復(fù)現(xiàn)了另外4 種分析方法（CSP+SVM、AAR+LDA、DWT+LSTM、STFT+SAE），并在測(cè)試集上得到其評(píng)價(jià)指標(biāo)如表2 所示。其中STFT+SVM 方法在準(zhǔn)確率指標(biāo)上高于本文提出的CWT+StepByStepCNN、STFT+MixedCNN、STFT+StepByStepCNN 方法，以及另外3 種對(duì)比方法。在特異性指標(biāo)上STFT+SAE 方法和STFT+StepByStepCNN 方法保持一致，且在精確率指標(biāo)上高于STFT+StepByStepCNN 方法。CWT+MixedCNN 方法在準(zhǔn)確率、靈敏度和AUC 三種指標(biāo)上分別高出STFT+SAE 方法0.71個(gè)百分點(diǎn)，4.29個(gè)百分點(diǎn)和0.69個(gè)百分點(diǎn)。

表2 對(duì)照組模型的評(píng)價(jià)指標(biāo)Tab.2 Evaluation indeces of models in control group

4.2 mixup數(shù)據(jù)增強(qiáng)分析

本文選用準(zhǔn)確率最高的CWT+MixedCNN 方法作為mixup數(shù)據(jù)增強(qiáng)策略的baseline，其訓(xùn)練損失和測(cè)試損失如圖6 所示，當(dāng)?shù)?xùn)練達(dá)到500 次左右時(shí)模型基本處于收斂狀態(tài)，此后驗(yàn)證損失保持在0.6左右上下浮動(dòng)。

圖6 CWT+MixingCNN 損失曲線Fig.6 Loss curves of CWT+MixedCNN

樣本經(jīng)mixup 數(shù)據(jù)增強(qiáng)處理之后，送入MixedCNN 訓(xùn)練過(guò)程中模型在測(cè)試集上的損失曲線如圖7所示。當(dāng)α=0.1、0.2、0.4時(shí)其測(cè)試損失相較于baseline 均無(wú)明顯改善；當(dāng)α=0.3，且模型處收斂狀態(tài)時(shí)，測(cè)試損失穩(wěn)定在0.5 上下，相較于baseline降低了0.1左右。

圖7 四種α取值下的模型測(cè)試損失Fig.7 Model test loss under four α values

α取值對(duì)模型準(zhǔn)確率的影響如表3 所示，當(dāng)α=0.1、0.2時(shí)，相較于baseline 方法準(zhǔn)確率降低了0.71 個(gè)百分點(diǎn)；當(dāng)α=0.3、0.4 時(shí)，模型的準(zhǔn)確率分別提高了1.43 個(gè)百分點(diǎn)和0.71個(gè)百分點(diǎn)。

表3 α對(duì)模型準(zhǔn)確率的影響Tab.3 Influence of α on accuracy

5 結(jié)語(yǔ)

本文創(chuàng)新性地將深度學(xué)習(xí)框架引入對(duì)運(yùn)動(dòng)想象EEG 信號(hào)的識(shí)別任務(wù)當(dāng)中。首先，利用STFT 和CWT 獲得EEG 信號(hào)的時(shí)頻信息，并將其與電極通道的位置信息相結(jié)合構(gòu)成樣本數(shù)據(jù)，然后針對(duì)所構(gòu)建樣本數(shù)據(jù)的特性分別設(shè)計(jì)了兩種基于不同卷積策略的CNN，并在10折交叉驗(yàn)證過(guò)程中完成最優(yōu)超參數(shù)的選擇。其次，在Competition Ⅱdataset Ⅲ數(shù)據(jù)集上分別建立了4組實(shí)驗(yàn)組分類模型和4組對(duì)照組分類模型，測(cè)試結(jié)果表明，本文所提出的所有方法相較于CSP+SVM、AAR+LDA、DWT+LSTM 有了明顯的改善，且CWT+MixedCNN 方法在準(zhǔn)確率、靈敏度、AUC 指標(biāo)上均高于STFT+SAE，體現(xiàn)了更好的分類性能。最后，為進(jìn)一步提高模型的泛化能力，在CWT+MixedCNN 方法上引入了mixup 數(shù)據(jù)增強(qiáng)策略，通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)α取值為0.3 時(shí)mixup 策略顯著降低了模型的測(cè)試損失并將模型的準(zhǔn)確率指標(biāo)提升了1.43 個(gè)百分點(diǎn)。本文所做工作驗(yàn)證了深度卷積神經(jīng)網(wǎng)絡(luò)和mixup 數(shù)據(jù)增強(qiáng)策略在運(yùn)動(dòng)想象腦電信號(hào)識(shí)別任務(wù)當(dāng)中的有效性，可為運(yùn)動(dòng)想象腦機(jī)接口的應(yīng)用提供方法和思路上的參考。