鄭成杰, 肖國(guó)寶, 羅天健,3

1(福建師范大學(xué) 計(jì)算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院, 福州 350117)

2(閩江學(xué)院 計(jì)算機(jī)與控制工程學(xué)院, 福州 350108)

3(福建師范大學(xué) 數(shù)字福建環(huán)境監(jiān)測(cè)物聯(lián)網(wǎng)實(shí)驗(yàn)室, 福州 350117)

1 引言

腦機(jī)接口(brain computer interface, BCI)技術(shù)是一種建立在大腦和外部設(shè)備之間、且不依賴于外圍神經(jīng)系統(tǒng)與肌肉組織的新型人機(jī)交互方式[1]. BCI 技術(shù)可以實(shí)現(xiàn)大腦與外部電子設(shè)備的直接通信與控制, 主要涉及認(rèn)知神經(jīng)科學(xué)、信號(hào)處理和模式識(shí)別等多學(xué)科交叉.常見的BCI 技術(shù)包括無(wú)創(chuàng)BCI[2]和有創(chuàng)BCI, 其中無(wú)創(chuàng)BCI 可應(yīng)用于常人, 不用面對(duì)倫理道德問(wèn)題. 腦電信號(hào)是常用的無(wú)創(chuàng)BCI 技術(shù)手段之一, 基于腦電信號(hào)(electroencephalogram, EEG)的BCI 主要包含P300[3],穩(wěn)態(tài)視覺(jué)電位[4]和運(yùn)動(dòng)想象[5]3 個(gè)類別.

運(yùn)動(dòng)想象(motor imagery, MI)是指人在進(jìn)行運(yùn)動(dòng)想象(如想象左手、右手、舌、雙腳的運(yùn)動(dòng))時(shí)所產(chǎn)生的大腦運(yùn)動(dòng)感知節(jié)律變化, 主要由mu 節(jié)律和beta 節(jié)律組成[6]. 如人在進(jìn)行單側(cè)肢體的想象運(yùn)動(dòng)時(shí), 大腦皮層同側(cè)感覺(jué)區(qū)中的mu 和beta 節(jié)律幅值會(huì)增加, 發(fā)生事件相關(guān)同步(event-related synchronization, ERS)現(xiàn)象; 同時(shí), 大腦皮層對(duì)側(cè)運(yùn)動(dòng)感覺(jué)區(qū)中的mu 和beta 節(jié)律幅值會(huì)減少, 發(fā)生事件相關(guān)去同步(event-related desynchronization, ERD)現(xiàn)象[7]. 基于EEG 的運(yùn)動(dòng)想象腦機(jī)接口(motor imagery brain computer interface, MIBCI)系統(tǒng)可以對(duì)這些不同的ERD/ERS 模式進(jìn)行分類,其目的在于準(zhǔn)確的辨認(rèn)出受試者的肢體運(yùn)動(dòng)意圖[8]. 但由于MI-BCI 過(guò)程中采集到的EEG 信號(hào)信噪比低、空間分辨率低、非線性、非平穩(wěn)性和隨機(jī)性強(qiáng)等特點(diǎn),導(dǎo)致現(xiàn)有的腦電識(shí)別技術(shù)對(duì)EEG 信號(hào)的解碼正確率較低.

近年來(lái), 深度學(xué)習(xí)方法在圖像識(shí)別[9]、語(yǔ)音識(shí)別[10]等領(lǐng)域體現(xiàn)出其巨大的優(yōu)勢(shì). 目前, 眾多研究者已經(jīng)將深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)應(yīng)用到MI-BCI過(guò)程中 EEG 信號(hào)的模式識(shí)別中. 胡章芳等人[11]提出了一種短時(shí)傅里葉變換(short-time Fourier transform,STFT)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,ConvNet)相結(jié)合的方法進(jìn)行MI-BCI 過(guò)程中EEG 信號(hào)的識(shí)別分類, 該方法在BCI 競(jìng)賽數(shù)據(jù)集上獲得了86.5%的平均分類正確率, 優(yōu)于其他傳統(tǒng)識(shí)別分類方法. Tabar等人[12]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與堆疊自動(dòng)編碼器(stacked autoencoder, SAE)對(duì)MI-BCI 過(guò)程中EEG 信號(hào)進(jìn)行模式識(shí)別研究, 該方法首先采用短時(shí)傅里葉變換進(jìn)行EEG信號(hào)的時(shí)頻域特征預(yù)提取, 接著通過(guò)SAE 對(duì)ConvNet提取到的特征進(jìn)行最終分類. 該方法在2008 年BCI 競(jìng)賽數(shù)據(jù)集2b 上獲得了不錯(cuò)的分類性能, Kappa 值達(dá)到0.547, 比競(jìng)賽第一名的算法高出9%. 褚亞奇等人[13]提出一種基于時(shí)空特征學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(TSCNN)的運(yùn)動(dòng)想象腦電解碼方法, 該方法對(duì)公共數(shù)據(jù)集的平均解碼精度達(dá)到80.09%, 顯著提升了運(yùn)動(dòng)想象腦電解碼的可靠性. Dai 等人[14]提出一種將卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)與變分自編碼器(VAE)相結(jié)合的MI-BCI 過(guò)程中EEG 信號(hào)分類框架, 該框架平均Kappa 值為0.564, 優(yōu)于文獻(xiàn)中最好的BCI 競(jìng)賽IV 數(shù)據(jù)集2b 的分類方法,提高了3%的識(shí)別準(zhǔn)確率. Dai 等人[15]提出了一種混合尺度CNN 架構(gòu)和數(shù)據(jù)增強(qiáng)方法(HS-CNN)用于腦電運(yùn)動(dòng)圖像分類, 該方法在兩個(gè)常用數(shù)據(jù)集上的平均分類準(zhǔn)確率分別達(dá)到91.57%和87.6%, 優(yōu)于幾種最新的腦電運(yùn)動(dòng)圖像分類方法.

在采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行MI-BCI 過(guò)程中EEG 信號(hào)的模式識(shí)別中, 傳統(tǒng)的訓(xùn)練方法是使用trial-wise 方法: 即將整個(gè)試驗(yàn)(trial) 信號(hào)作為輸入樣本, 以每個(gè)trial 的標(biāo)簽作為目標(biāo)的訓(xùn)練策略. 但傳統(tǒng)的trial-wise策略具有兩大不足之處: 一是樣本量太少, 不適合用于深度神經(jīng)網(wǎng)絡(luò); 二是單個(gè)trial 的時(shí)間域過(guò)長(zhǎng), 特征維度太高, 導(dǎo)致分類效果不好. 為此, Schirrmeister 等人[16]設(shè)計(jì)了一種cropped 訓(xùn)練策略, 該策略通過(guò)滑動(dòng)時(shí)間窗口(sliding time windows)對(duì)每個(gè)trial 進(jìn)行裁剪, 既增加了訓(xùn)練樣本量, 又避免了數(shù)據(jù)特征維度太高對(duì)結(jié)果的影響. 但是由于單純的cropped 訓(xùn)練策略未考慮到EEG 信號(hào)具有時(shí)變性, 單純的cropped 訓(xùn)練策略無(wú)法提取和學(xué)習(xí)到各個(gè)切分后crops 之間的關(guān)聯(lián)性特征, 導(dǎo)致效果不佳. Schirrmeister 等人[16]設(shè)計(jì)的cropped 訓(xùn)練策略采用的是非重疊時(shí)間的cropped 切分方式, 即各個(gè)crops 之間沒(méi)有重疊部分, 并且原文中并未進(jìn)行trialwise 和cropped 的方式對(duì)比. 對(duì)此, 本文提出一種新型的重疊時(shí)間切片的訓(xùn)練策略, 并且詳細(xì)對(duì)比了幾種劃分方式的結(jié)果. 重疊時(shí)間切片的訓(xùn)練策略采用帶有重疊時(shí)間的滑動(dòng)時(shí)間窗口對(duì)原始輸入進(jìn)行切分, 并在計(jì)算最后的分類標(biāo)簽時(shí), 采用多數(shù)投票制確定樣本的預(yù)測(cè)標(biāo)簽. 帶有重疊的時(shí)間滑動(dòng)窗口可保證切分后的樣本之間保留其重疊部分的信息, 可通過(guò)神經(jīng)網(wǎng)絡(luò)提取和學(xué)習(xí)到切分后樣本之間的關(guān)聯(lián)性特征. 除此之外, 保留樣本間的重疊信息可以使可學(xué)習(xí)到的特征更加豐富,可以更加適應(yīng)較深層的網(wǎng)絡(luò).

本文的其余部分結(jié)構(gòu)如下: 第2 節(jié)介紹基于深度神經(jīng)網(wǎng)絡(luò)模型的運(yùn)動(dòng)想象EEG 模式識(shí)別中常見的5 種模型. 第3 節(jié)首先介紹用于運(yùn)動(dòng)想象EEG 信號(hào)的trial-wise 和cropped 訓(xùn)練策略, 以及本文提出的重疊時(shí)間切片的訓(xùn)練策略. 第4 節(jié)為實(shí)驗(yàn)的結(jié)果與分析, 包括實(shí)驗(yàn)框架、3 種開源MI 實(shí)驗(yàn)數(shù)據(jù)集, 以及各種策略在各種模型的對(duì)比結(jié)果.

本文的主要貢獻(xiàn):

(1)提出了一種改進(jìn)的重疊時(shí)間切片的訓(xùn)練策略,該訓(xùn)練策略可有效彌補(bǔ)一般訓(xùn)練策略帶來(lái)的訓(xùn)練樣本不足、特征維度太高和未能解決EEG 信號(hào)具有時(shí)變性的缺陷, 有效提升了EEG 信號(hào)的分類準(zhǔn)確率.

(2)在3 種不同公共數(shù)據(jù)集上對(duì)比了3 種不同訓(xùn)練策略的性能和效率. 本文提出的重疊時(shí)間切片訓(xùn)練策略對(duì)公共數(shù)據(jù)集的分類準(zhǔn)確率相比于先前兩種訓(xùn)練策略有較顯著的提升.

2 基于深度神經(jīng)網(wǎng)絡(luò)模型的運(yùn)動(dòng)想象EEG模式識(shí)別

2.1 Deep ConvNet

Deep ConvNet 架構(gòu)的靈感來(lái)自于Krizhevsky 等人[17]提出的且在計(jì)算機(jī)視覺(jué)領(lǐng)域取得成功的一種架構(gòu). 該架構(gòu)的出發(fā)點(diǎn)是想要找到一個(gè)能夠提取廣泛特征并且不限于特定特征類型的神經(jīng)網(wǎng)絡(luò)模型[18]. 設(shè)計(jì)這種通用體系的目的是揭露這種通用的ConvNet 是否可以僅靠少量的專業(yè)知識(shí)就可以取得具有競(jìng)爭(zhēng)力的準(zhǔn)確率.

Deep ConvNet 具有4 個(gè)卷積最大池化塊(convolution-max-pooling blocks), 其中第1 個(gè)特殊的塊用于處理輸入的EEG 信號(hào), 然后是3 個(gè)標(biāo)準(zhǔn)的卷積最大池化塊和一個(gè)Softmax 分類層. Deep ConvNet 的體系結(jié)構(gòu)如圖1.

圖1 Deep ConvNet 體系結(jié)構(gòu)

Deep ConvNet 的一些設(shè)計(jì)策略:

(1)為了更好的處理大量輸入通道, 第1 個(gè)卷積塊采取分步卷積, 分為兩層: 在第1 層中, 每個(gè)濾波器隨時(shí)間進(jìn)行卷積. 在第2 層中, 每個(gè)濾波器對(duì)先前進(jìn)行時(shí)間卷積后的電極對(duì)執(zhí)行權(quán)重的空間濾波.

(2)使用指數(shù)線性單元(exponential linear units,ELU)[19]作為激活函數(shù). 公式為:

(3)在每個(gè)卷積層的輸出使用批標(biāo)準(zhǔn)化和歸一化.對(duì)每一批訓(xùn)練樣本, 將網(wǎng)絡(luò)的中間輸出標(biāo)準(zhǔn)化為零均值和單位方差, 這可以使在訓(xùn)練過(guò)程中的層間的輸入保持近似的正態(tài)分布, 有助于優(yōu)化.

(4)在訓(xùn)練更新中采用dropout. 除第一個(gè)卷積層外, 以0.5 的概率隨機(jī)地將之后的卷積層的輸入設(shè)置為零.

2.2 Shallow ConvNet

Shallow ConvNet 是一種比較淺的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其受到濾波器組共空間模式(filter bank common spatial patterns, FBCSP)的啟發(fā), 是專門為解碼頻帶功率特征而量身定制的. 這里首先介紹FBCSP 解碼試驗(yàn)標(biāo)簽的一些步驟:

(1) 帶通濾波: 應(yīng)用不同的帶通濾波器將原始EEG 信號(hào)分離為不同的頻帶.

(2)劃分時(shí)間: 將連續(xù)的EEG 信號(hào)分為3 部分.

(3) CSP 特征計(jì)算: 在每個(gè)頻帶上, 將CSP 算法應(yīng)用于提取空間濾波器. CSP 的目的是提取空間濾波器,以通過(guò)空間濾波后的試驗(yàn)信號(hào)的功率來(lái)區(qū)分試驗(yàn).

(4)空間濾波: 將步驟(3)中計(jì)算出的空間濾波器應(yīng)用于EEG 信號(hào).

(5)特征構(gòu)造: 特征向量由濾波后的信號(hào)構(gòu)成, 具體來(lái)說(shuō), 特征向量是試驗(yàn)信號(hào)的每個(gè)頻帶使用不同空間濾波器空間濾波后的對(duì)數(shù)方差.

(6)分類: 基于特征向量訓(xùn)練一個(gè)分類器以預(yù)測(cè)每個(gè)試驗(yàn)標(biāo)簽.

Shallow ConvNet 的前兩層執(zhí)行時(shí)間卷積和空間濾波. 這類似于FBCSP 中的帶通濾波和CSP 空間濾波步驟. 與Deep ConvNet 相比, Shallow ConvNet 的時(shí)間卷積具有更大的卷積核(25 vs. 10), 從而允許在該層進(jìn)行更大范圍的轉(zhuǎn)換. 在Shallow ConvNet 的時(shí)間卷積和空間濾波后, 使用了平方非線性函數(shù)(square)、均值池化層和對(duì)數(shù)激活函數(shù)(log), 這些步驟組合在一起類似于FBCSP 中的試驗(yàn)的對(duì)數(shù)方差計(jì)算. 與FBCSP 相比,Shallow ConvNet 將所有計(jì)算步驟嵌入到單個(gè)網(wǎng)絡(luò)中,因此可以共同優(yōu)化所有步驟. Shallow ConvNet 的體系結(jié)構(gòu)如圖2 所示.

圖2 Shallow ConvNet 體系結(jié)構(gòu)

2.3 Hybrid ConvNet

Hybrid ConvNet 是一種融合Deep ConvNet 和Shallow ConvNet 的混合ConvNet 模型. Hybrid ConvNet 希望從Shallow ConvNet 中提取到更具體特征, 以及從Deep ConvNet 中提取到更通用的特征. Hybrid ConvNet 用Deep ConvNet 和Shallow ConvNet 的60 個(gè)和40 個(gè)濾波器ELU 層替換了兩個(gè)ConvNet 的4 個(gè)濾波器Softmax分類層. 將生成的100 個(gè)特征圖連接起來(lái), 并用作新的Softmax 分類層的輸入. Hybrid ConvNet 不使用任何Deep 或Shallow ConvNet 預(yù)先訓(xùn)練好的參數(shù), 而是對(duì)整個(gè)Hybrid ConvNet 進(jìn)行重新訓(xùn)練.

2.4 EEGNet

EEGNet 是由Lawhern 等人[20]提出的基于CNN的模型, 是一種緊湊的腦電分析卷積神經(jīng)網(wǎng)絡(luò), 專為常規(guī)EEG 信號(hào)識(shí)別任務(wù)而設(shè)計(jì). EEGNet 可以應(yīng)用于多種不同的BCI 范式, 不但可采用非常有限的數(shù)據(jù)進(jìn)行訓(xùn)練, 而且可以產(chǎn)生神經(jīng)生理學(xué)上可解釋的特征.

EEGNet 保留了Shallow ConvNet 中的時(shí)間和空間卷積層. EEGNet 引入了深度卷積和可分離卷積, 來(lái)代替Shallow ConvNet 中的簡(jiǎn)單卷積, 以減少訓(xùn)練參數(shù)的數(shù)量. EEGNet 還使用了ELU 激活函數(shù)代替Shallow ConvNet 的平方激活函數(shù). EEGNet 的總體結(jié)構(gòu)如圖3所示, 對(duì)于一個(gè)22×1125 的輸入樣本, 在Conv2D 層使用8 個(gè)大小為(1, 64)的卷積核, 使用線性激活函數(shù), 輸出大小為(8, 22, 1 125), 在DepthwiseConv2D 層使用16 個(gè)大小為(22, 1)的卷積核, 使用ELU 激活函數(shù), 輸出大小為(16, 1, 1 125), 接著是一個(gè)平均池化層Average-Pool2D, 卷積核為(1, 4), 輸出大小為(16, 1, 281), 在SeparableConv2D 層, 使用16 個(gè)大小為(1, 16)的卷積核, 使用ELU 激活函數(shù), 輸出大小為(16, 1, 281), 接著一個(gè)AveragePool2D 層, 卷積核為(1, 4), 輸出大小為(16, 1, 35), 然后展平成大小為560 的一維數(shù)組, 最后一個(gè)全連接層有2 240 卷積核, 使用Softmax 激活函數(shù),輸出大小為4 的一維數(shù)組.

2.5 EEGResNet

殘差網(wǎng)絡(luò)(residual network, ResNet)是由He 等人[21]提出的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 獲得了2015 年Image-Net 大規(guī)模視覺(jué)識(shí)別競(jìng)賽的第一名. ResNet 通常具有大量的層數(shù), 將ResNet 應(yīng)用于EEG 解碼旨在研究這種具有更多層數(shù)的網(wǎng)絡(luò)是否也能在EEG 解碼中獲得良好的性能. 在ResNet 的一個(gè)殘差塊結(jié)構(gòu)中, 記輸入為x, 其期望學(xué)習(xí)到的潛在映射記為H(x), 學(xué)習(xí)到的殘差為F(x)=H(x)-x. 當(dāng)殘差為F(x)=0時(shí), 此時(shí)殘差塊可以實(shí)現(xiàn)恒等映射. 殘差塊的設(shè)計(jì)如圖4.

圖4 殘差塊

EEGResNet 模型在第1 塊仍然是先進(jìn)行時(shí)間卷積和空間濾波, 接著是14 個(gè)殘差塊, 平均池化和最后的Softmax 分類層. EEGResNet 的體系結(jié)構(gòu)如表1.

表1 EEGResNet 體系結(jié)構(gòu)

3 運(yùn)動(dòng)想象EEG 信號(hào)單個(gè)trial 重疊時(shí)間切片策略

3.1 Trial-wise 策略的訓(xùn)練方法

通常, 為了訓(xùn)練一個(gè)ConvNet 模型, 需要對(duì)Conv-Net 模型中所有參數(shù)(包括所有權(quán)重和偏置)進(jìn)行聯(lián)合訓(xùn)練. 在有監(jiān)督分類問(wèn)題中, 構(gòu)建ConvNet 模型的目的是計(jì)算從輸入數(shù)據(jù)到其對(duì)應(yīng)的真實(shí)類別標(biāo)簽的一個(gè)函數(shù):

3.2 Cropped 策略的訓(xùn)練方法

Cropped 策略的訓(xùn)練使用裁剪方法, 即在原始輸入試驗(yàn)中使用滑動(dòng)窗口, 使輸入深度神經(jīng)網(wǎng)絡(luò)模型中的訓(xùn)練樣本比trail-wise 策略更多, 更適合于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練. 對(duì)于原始輸入試驗(yàn)樣本Xi∈RE,T, 采用T′作為裁剪長(zhǎng)度, 通過(guò)裁剪可得到一個(gè)裁剪樣本集合(crops):

3.3 重疊時(shí)間切片策略的訓(xùn)練方法

運(yùn)動(dòng)想象屬于長(zhǎng)時(shí)間、持續(xù)的過(guò)程, 根據(jù)經(jīng)典運(yùn)動(dòng)想象刺激范式, 在整個(gè)4 s 的信號(hào)采集過(guò)程中, 受試者都將持續(xù)保持運(yùn)動(dòng)想象. 雖然反映運(yùn)動(dòng)想象數(shù)據(jù)可能集中在部分采樣區(qū)間中, 但由于不同受試者對(duì)于運(yùn)動(dòng)想象的反應(yīng)時(shí)間、持續(xù)時(shí)間不同, 這樣的區(qū)間卻因?yàn)閭€(gè)體差異性而各不相同. 因此, 無(wú)法使用統(tǒng)一的方式從不同被試者的運(yùn)動(dòng)想象集中區(qū)間中提取有效特征.實(shí)際上, 由于卷積神經(jīng)網(wǎng)絡(luò)的特性, 誤差反向傳播將會(huì)對(duì)不同區(qū)間的權(quán)重進(jìn)行調(diào)整, 隨著訓(xùn)練的進(jìn)行那些蘊(yùn)含運(yùn)動(dòng)想象特征的權(quán)重越來(lái)越高, 而不蘊(yùn)含運(yùn)動(dòng)想象特征的權(quán)重將越來(lái)越低. 因此, 本文選擇采用重疊切片的方式, 讓蘊(yùn)含和不蘊(yùn)含運(yùn)動(dòng)想象特征的區(qū)間進(jìn)行組合, 保證蘊(yùn)含運(yùn)動(dòng)想象區(qū)間的部分以更多樣性的組合形式輸入至卷積神經(jīng)網(wǎng)絡(luò)中, 從而保證了采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)想象分類時(shí)的魯棒性.

圖5 重疊時(shí)間切片切分策略

在預(yù)測(cè)樣本標(biāo)簽時(shí), 采用多數(shù)投票制, 即對(duì)于來(lái)自同一個(gè)原始試驗(yàn)的切片, 統(tǒng)計(jì)這些切片的預(yù)測(cè)值, 將這些切片中出現(xiàn)最多次數(shù)的預(yù)測(cè)標(biāo)簽作為這個(gè)樣本本次預(yù)測(cè)的預(yù)測(cè)標(biāo)簽. 該策略的其余超參數(shù)與trial-wise 策略的超參數(shù)保持一致.

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)初始化

本文實(shí)驗(yàn)選用2008 年BCI Competition IV Dataset 1、2a 和2b 三個(gè)公開數(shù)據(jù)集.

Dataset 1 數(shù)據(jù)集包含來(lái)自7 位健康受試者執(zhí)行運(yùn)動(dòng)想象的EEG 數(shù)據(jù). 標(biāo)簽類型為2 種, 其中類別1 表示受試者在執(zhí)行左、右手或者腳的運(yùn)動(dòng)想象, 類別0 表示受試者無(wú)控制意圖. 該數(shù)據(jù)集測(cè)量了每個(gè)受試者的59 個(gè)在感覺(jué)運(yùn)動(dòng)區(qū)域上最密集的通道信號(hào). 信號(hào)以1 000 Hz 為采樣頻率, 并在0.05-200 Hz 之間進(jìn)行帶通濾波. Dataset 2a 數(shù)據(jù)集包含來(lái)自9 個(gè)受試者執(zhí)行運(yùn)動(dòng)想象的EEG 數(shù)據(jù). 運(yùn)動(dòng)想象類型為4 種, 包括左手、右手、雙腳和舌頭. 信號(hào)以250 Hz 為采樣頻率, 并在0.5-100 Hz 之間進(jìn)行帶通濾波. 放大器的靈敏度設(shè)置為100 μV, 并使用了50 Hz 陷波濾波器抑制線路噪聲.

Dataset 2a 數(shù)據(jù)集的EEG 信號(hào)采集過(guò)程如圖6 所示. 每個(gè)受試者坐在計(jì)算機(jī)屏幕前的舒適扶手椅上. 在實(shí)驗(yàn)開始時(shí), 屏幕上出現(xiàn)十字注視叉, 并發(fā)出簡(jiǎn)短的提示音, 2 s 后, 屏幕上出現(xiàn)持續(xù)1.25 s 的指向左、右、上或下(分別對(duì)應(yīng)于4 種運(yùn)動(dòng)想象類別)的箭頭, 隨后受試者執(zhí)行箭頭對(duì)應(yīng)的運(yùn)動(dòng)想象并持續(xù)到實(shí)驗(yàn)開始后的第6 s. 訓(xùn)練數(shù)據(jù)集包含每個(gè)受試者的288 次試驗(yàn)樣本,測(cè)試數(shù)據(jù)集同樣包含每個(gè)受試者的288 次試驗(yàn)樣本.

圖6 Dataset 2a 數(shù)據(jù)采集實(shí)驗(yàn)

Dataset 2b 數(shù)據(jù)集包含來(lái)自9 個(gè)右利手的受試者執(zhí)行運(yùn)動(dòng)想象的EEG 數(shù)據(jù). 運(yùn)動(dòng)想象類型為2 種, 包括左手和右手. 信號(hào)以250 Hz 為采樣頻率, 并在0.5-100 Hz之間進(jìn)行帶通濾波. 放大器的靈敏度設(shè)置為100 μV, 并使用了50 Hz 陷波濾波器以抑制線路噪聲. 每位受試者的腦電數(shù)據(jù)集都包括5 個(gè) Session, 前2 個(gè)Session為無(wú)視覺(jué)反饋的腦電想象數(shù)據(jù), 后3 個(gè)Session 為包含視覺(jué)反饋的腦電想象數(shù)據(jù).

Dataset 2b 數(shù)據(jù)集的采集工作分為無(wú)視覺(jué)反饋和有視覺(jué)反饋實(shí)驗(yàn). 無(wú)視覺(jué)反饋實(shí)驗(yàn)過(guò)程如圖7 所示, 在實(shí)驗(yàn)開始時(shí), 屏幕上出現(xiàn)十字注視叉, 并發(fā)出簡(jiǎn)短的提示音, 2 s 后, 屏幕上出現(xiàn)持續(xù)1.25 s 的指向左或右(分別對(duì)應(yīng)于左手或右手運(yùn)動(dòng))的箭頭, 隨后受試者執(zhí)行箭頭對(duì)應(yīng)的運(yùn)動(dòng)想象并持續(xù)到實(shí)驗(yàn)開始后的第6 s.

圖7 Dataset 2b 無(wú)視覺(jué)反饋數(shù)據(jù)采集實(shí)驗(yàn)

有視覺(jué)反饋實(shí)驗(yàn)過(guò)程如圖8 所示, 在實(shí)驗(yàn)開始時(shí),屏幕上顯示灰色的笑臉, 2 s 后發(fā)出簡(jiǎn)短的提示音, 3 s時(shí)屏幕上出現(xiàn)持續(xù)1.25 s 的指向左或右(分別對(duì)應(yīng)于左手或右手運(yùn)動(dòng))的箭頭, 隨后受試者執(zhí)行箭頭對(duì)應(yīng)的運(yùn)動(dòng)想象將笑臉向左或向右移動(dòng), 如果移動(dòng)方向正確,屏幕中的灰色笑臉就會(huì)變?yōu)樾δ? 反之, 變成哭臉.

圖8 Dataset 2b 有視覺(jué)反饋數(shù)據(jù)采集實(shí)驗(yàn)

本文實(shí)驗(yàn)的硬件配置為CPU: Intel(R) Core(TM)i5-10210U 1.60 GHz, GPU: NVIDIA GeForce MX350.

本文采用開源的ConvNet 模型EEG 信號(hào)識(shí)別框架進(jìn)行EEG 信號(hào)識(shí)別(https://github.com/braindecode/braindecode). 實(shí)驗(yàn)需安裝Python 第三方庫(kù)PyTorch. 數(shù)據(jù)預(yù)處理: 在讀取原始數(shù)據(jù)后, 將數(shù)據(jù)在3-38 Hz 之間進(jìn)行帶通濾波, 然后進(jìn)行數(shù)據(jù)切分, 以Dataset 2a 數(shù)據(jù)集為例, 切分的大小為22×1125, 形成訓(xùn)練和測(cè)試樣本,最后將切分后的樣本送入braindecode 框架中進(jìn)行處理. 實(shí)驗(yàn)參數(shù)設(shè)置: trial-wise 和overlapped 訓(xùn)練策略的最大迭代次數(shù)設(shè)為1 600, cropped 訓(xùn)練策略的最大迭代次數(shù)設(shè)為800. 學(xué)習(xí)率為0.001, 使用early-stopping,停止條件為達(dá)到最大迭代次數(shù)或者驗(yàn)證集上的誤分類率沒(méi)有下降. 優(yōu)化器使用torch.optim 中的Adam 優(yōu)化器, 損失函數(shù)使用torch.nn.functional 中的nll_loss 函數(shù). 實(shí)驗(yàn)結(jié)果的圖使用echarts (一個(gè)基于 JavaScript 的開源可視化圖表庫(kù))畫出.

4.2 Dataset 1 實(shí)驗(yàn)結(jié)果對(duì)比

基于本文介紹的trial-wise、cropped 和設(shè)計(jì)的重疊時(shí)間切片(overlapped)策略, 將這3 種訓(xùn)練方法應(yīng)用于本文介紹的5 種深度神經(jīng)網(wǎng)絡(luò)模型: Deep ConvNet、Shallow ConvNet、Hybrid ConvNet、EEGNet 和EEGResNet 上. 由于Dataset 1 數(shù)據(jù)集的單個(gè)trial 持續(xù)時(shí)間較短, 在Dataset 1 數(shù)據(jù)集上采用trial-wise、cropped和overlapped 三種策略訓(xùn)練2 種深度神經(jīng)網(wǎng)絡(luò)模型:Shallow ConvNet 和EEGNet, 得到所有受試者的測(cè)試集上的識(shí)別準(zhǔn)確率如表2 所示. 其中, 實(shí)驗(yàn)的overlapped訓(xùn)練方法中的 α, β參數(shù)值分為設(shè)置為100 和20.

由表2 可以看出, 在Dataset 1 數(shù)據(jù)集上, overlapped訓(xùn)練策略在Shallow ConvNet 和EEGNet 上的分類準(zhǔn)確率均高于cropped 訓(xùn)練策略的分類準(zhǔn)確率, 分別提升了5.4%和6.9%. 在EEGNet 模型上的分類準(zhǔn)確率高于trial-wise 訓(xùn)練策略的, 在Shallow ConvNet 模型上的分類準(zhǔn)確率與trail-wise 的相差不大.

表2 Trial-wise、cropped 和overlapped (100, 20)方法在Dataset 1 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率比較(%)

對(duì)于Dataset 1 數(shù)據(jù)集, 實(shí)驗(yàn)將 α設(shè)置為100、150或200, β設(shè)置為20、30 或40, 共產(chǎn)生9 組參數(shù)組合.

9 組不同參數(shù)組合的overlapped 策略應(yīng)用于2 種不同模型的識(shí)別準(zhǔn)確率的提升百分比如圖9 所示.

圖9 在Dataset 1 上9 組參數(shù)組合的overlapped 策略的識(shí)別準(zhǔn)確率提升百分比的比較

從圖9 可以看出, overlapped 訓(xùn)練策略的9 種參數(shù)組合在Shallow ConvNet 和EEGNet 兩種模型的識(shí)別準(zhǔn)確率均有提升. Shallow ConvNet 在 α=200 ,β=20時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 達(dá)到了6.5%. EEGNet在 α =150 , β=30時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 達(dá)到了7.964%.

4.3 Dataset 2a 實(shí)驗(yàn)結(jié)果對(duì)比

基于本文介紹的trial-wise、cropped 和設(shè)計(jì)的重疊時(shí)間切片(overlapped)策略, 將這3 種訓(xùn)練方法應(yīng)用于本文介紹的5 種深度神經(jīng)網(wǎng)絡(luò)模型: Deep ConvNet、Shallow ConvNet、Hybrid ConvNet、EEGNet 和EEGResNet 上, 并計(jì)算出其在Dataset 2a 數(shù)據(jù)集所有受試者的測(cè)試集上的識(shí)別準(zhǔn)確率如表3 所示. 其中, 實(shí)驗(yàn)的overlapped 訓(xùn)練方法中的 α , β參數(shù)值分為設(shè)置為500和100.

由表3 可以看出, 在Dataset 2a 數(shù)據(jù)集上, 對(duì)于Shallow ConvNet 和EEGNet 這兩種淺層模型, overlapped訓(xùn)練策略與trial-wise 訓(xùn)練策略的分類準(zhǔn)確率相差不大, 但都優(yōu)于cropped 訓(xùn)練策略. 對(duì)于Deep ConvNet、Hybrid ConvNet 和EEGResNet 3 種模型, overlapped 訓(xùn)練策略的分類準(zhǔn)確率均高于trial-wise 和cropped 訓(xùn)練策略的分類準(zhǔn)確率.

表3 Trial-wise、cropped 和overlapped (500, 100)方法在Dataset 2a 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率比較(%)

本文還通過(guò)設(shè)置不同的 α 和 β參數(shù), 以研究不同的α 和 β參數(shù)對(duì)overlapped 訓(xùn)練策略的性能影響. 實(shí)驗(yàn)將α設(shè)置為500、600 或800, β設(shè)置為100、150 或200,共產(chǎn)生9 組參數(shù)組合.

相比于cropped 策略, 9 組不同參數(shù)組合的overlapped 策略應(yīng)用于5 種不同模型的識(shí)別準(zhǔn)確率的提升百分比如圖10 所示.

圖10 在Dataset 2a 上9 組參數(shù)組合的overlapped 策略的識(shí)別準(zhǔn)確率提升百分比的比較

從圖10 可以看出, 除Hybrid ConvNet 和EEGResNet在 α =500 , β=200和 α =600 , β=200的參數(shù)設(shè)置之外,overlapped 的各組參數(shù)設(shè)置的識(shí)別準(zhǔn)確率均較cropped的識(shí)別準(zhǔn)確率有所提升. 由圖10 也可看出, 隨著 β值的增加, 即重疊的時(shí)間部分減少, overlapped 策略的識(shí)別準(zhǔn)確率提升百分比也在降低. Shallow ConvNet 和EEGResNet 在 α=800 , β=100時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 分別達(dá)到了5.826%和2.65%. Deep Conv-Net 和EEGNet 在 α =600 , β=100時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 分別達(dá)到了23.461%和5.887%. 由此可見, 可根據(jù)應(yīng)用的不同模型, 通過(guò)不斷調(diào)整, 可得到最適合該模型的 α 和 β參數(shù)值, 進(jìn)而得到較高的識(shí)別準(zhǔn)確率.

4.4 Dataset 2b 實(shí)驗(yàn)結(jié)果對(duì)比

同樣, 在Dataset 2b 數(shù)據(jù)集上采用cropped 和overlapped 兩種策略訓(xùn)練5 種深度神經(jīng)網(wǎng)絡(luò)模型, 得到所有受試者的測(cè)試集上的識(shí)別準(zhǔn)確率如表4 所示. 其中, 實(shí)驗(yàn)的overlapped 訓(xùn)練方法中的 α, β參數(shù)值分為設(shè)置為500 和100.

由表4 可以看出, 在Dataset 2b 數(shù)據(jù)集上, trialwise 訓(xùn)練策略在Shallow ConvNet、Deep ConvNet 和EEGNet 3 種模型上取得更好的分類準(zhǔn)確率, cropped訓(xùn)練策略在EEGResNet 模型上取得更好的分類準(zhǔn)確率, overlapped 訓(xùn)練策略在Hybrid ConvNet 模型上取得更好的分類準(zhǔn)確率.

從表2、表3 和表4 中的實(shí)驗(yàn)結(jié)果可以看出, 雖然overlapped 方法不能同時(shí)比trial-wise 和cropped 方法顯著提升識(shí)別準(zhǔn)確率. 但是, 采用student-test 方式進(jìn)行假設(shè)檢驗(yàn), 在Dataset 2a 和Dataset 2b 數(shù)據(jù)集上的5 種不同模型, oiverlapped 方法總能比trial-wise 或cropped 方法顯著提升識(shí)別準(zhǔn)確率(p＜0.05 或p＜0.01).實(shí)際上, 針對(duì)EEG 信號(hào)的預(yù)處理過(guò)程, 在不同數(shù)據(jù)集和不同卷積神經(jīng)網(wǎng)絡(luò)模型下, trial-wsie 方法由于樣本量較少, 更適合于簡(jiǎn)單模型或數(shù)據(jù)集(如Dataset 1 數(shù)據(jù)集和Shallow ConvNet 模型). Cropped 方法能夠彌補(bǔ)樣本不足和特征維度較高的缺點(diǎn), 因此更適合復(fù)雜的模型或數(shù)據(jù)量較大的情況(如Dataset 2a/2b 數(shù)據(jù)集和Hybrid ConvNet/EEGResNet 模型). 不同于二者都有適應(yīng)自己情況的數(shù)據(jù)集和模型, 通過(guò)實(shí)驗(yàn)結(jié)果可以看出,overlapped 方法能夠同時(shí)滿足數(shù)據(jù)量較小/較大、模型較簡(jiǎn)單/復(fù)雜的情況, 其對(duì)于運(yùn)動(dòng)想象識(shí)別率的魯棒性較高. 在實(shí)際基于運(yùn)動(dòng)想象的腦機(jī)接口應(yīng)用中, 采用overlapped 方法能夠極大的降低對(duì)于數(shù)據(jù)集和模型的依賴性, 保證運(yùn)動(dòng)想象識(shí)別準(zhǔn)確率的穩(wěn)定性.

表4 Trial-wise、cropped 和overlapped (500, 100)方法在Dataset 2b 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率比較(%)

在Dataset 2b 數(shù)據(jù)集上, 同樣將 α設(shè)置為500、600 或800, β設(shè)置為100、150 或200, 共產(chǎn)生9 組參數(shù)組合, 相比于cropped 策略, 9 組不同參數(shù)組合的overlapped 策略應(yīng)用于5 種不同模型的識(shí)別準(zhǔn)確率的提升百分比如圖11 所示.

圖11 在Dataset 2b 上9 組參數(shù)組合的overlapped 策略的識(shí)別準(zhǔn)確率提升百分比的比較

從圖11 可以看出, overlapped 訓(xùn)練策略在Shallow ConvNet、Deep ConvNet 和EEGNet 3 種模型的識(shí)別準(zhǔn)確率提升百分比較高. 隨著 β值的增加, 即重疊的時(shí)間部分減少, overlapped 策略的識(shí)別準(zhǔn)確率提升百分比也在降低. Shallow ConvNet、Deep ConvNet 和EEGNet 在 α =800 , β=100時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 分別達(dá)到了7.101%、21.965%和9.335%. Hybrid ConvNet 在α =600 , β=200時(shí), 識(shí)別準(zhǔn)確率提升百分比最大, 達(dá)到了1.423%. 對(duì)于EEGResNet, 9 種參數(shù)組合中, 僅有 α =800 , β=200時(shí), overlapped 策略的識(shí)別準(zhǔn)確率才有提升.

綜合以上在3 個(gè)數(shù)據(jù)集上應(yīng)用3 種不同訓(xùn)練策略的實(shí)驗(yàn)結(jié)果分析, 由于Dataset 1、2a 和2b 數(shù)據(jù)集中每個(gè)樣本的電極數(shù)分別為64、22 和3, 在使用相同的采樣率時(shí), Dataset 2b 數(shù)據(jù)集的數(shù)據(jù)量要遠(yuǎn)小于Dataset 1 和2a 的, 因此, 對(duì)于Dataset 1 和2a 數(shù)據(jù)集, 在遇到簡(jiǎn)單模型(如Shallow ConvNet 模型)時(shí), trial-wise 和overlapped 訓(xùn)練策略的識(shí)別性能相差不大, 當(dāng)遇到更復(fù)雜的模型時(shí), overlapped 訓(xùn)練策略可提供的海量樣本量的優(yōu)勢(shì)得以體現(xiàn)出來(lái). 對(duì)于Dataset 2b 數(shù)據(jù)集, 其數(shù)據(jù)量本身不大, 所以在簡(jiǎn)單模型上應(yīng)用trial-wise 訓(xùn)練策略的效果更好, 對(duì)于復(fù)雜模型, 由于數(shù)據(jù)量的限制,overlapped 訓(xùn)練策略較cropped 訓(xùn)練策略的優(yōu)勢(shì)不大.

實(shí)際上, 由于大數(shù)據(jù)時(shí)代的到來(lái), 遷移學(xué)習(xí)形成的海量樣本集, 促使我們使用更復(fù)雜的模型完成MI 的分類工作, 如Hybrid ConvNet 和EEGResNet, 此時(shí)采用overlapped 訓(xùn)練策略能夠保證較高的魯棒性, 并且避免trial-wise 訓(xùn)練策略帶來(lái)的過(guò)擬合問(wèn)題.

4.5 時(shí)間復(fù)雜度對(duì)比

本文實(shí)驗(yàn)還記錄了每個(gè)模型在應(yīng)用不同訓(xùn)練策略時(shí)每次迭代所花費(fèi)的時(shí)間, 以探究overlapped 策略在獲得更好的分類性能的同時(shí), 其時(shí)間復(fù)雜度與cropped策略的時(shí)間復(fù)雜度的對(duì)比情況.

以Dataset 2a 數(shù)據(jù)集的Subject 1 的數(shù)據(jù)為例, 5 種不同模型在應(yīng)用cropped 策略和應(yīng)用overlapped 的9 種參數(shù)組合(與第4.3 節(jié)中的參數(shù)組合相同)情況下,平均每輪訓(xùn)練迭代所花費(fèi)的時(shí)間如表5 所示.

表5 Cropped 與overlapped 策略應(yīng)用于5 種模型的平均每輪訓(xùn)練迭代所花費(fèi)的時(shí)間對(duì)比 (s)

5 結(jié)論與展望

本文提出了一種新型的重疊時(shí)間切片的訓(xùn)練策略以改進(jìn)深度神經(jīng)網(wǎng)絡(luò)在運(yùn)動(dòng)想象EEG 信號(hào)模式識(shí)別中的性能.

首先, 本文設(shè)計(jì)了重疊時(shí)間切片的訓(xùn)練策略并設(shè)計(jì)了全新的損失函數(shù)和預(yù)測(cè)標(biāo)簽方法. 其次, 在Competition IV Dataset 1、2a 和2b 數(shù)據(jù)集上分別建立使用trial-wise、cropped 和overlapped 策略的5 種深度神經(jīng)網(wǎng)絡(luò)模型, 其實(shí)驗(yàn)結(jié)果表明, overlapped 策略較cropped 策略擁有更好的識(shí)別性能. 對(duì)于使用的5 種模型, 在Dataset 1、2a 和2b 數(shù)據(jù)集上最高分類準(zhǔn)確率分別達(dá)到91.3%、77.3%和86.4%. 最后, 通過(guò)調(diào)整overlapped 策略的 α 和 β值, 設(shè)計(jì)了9 組不同的參數(shù)組合做分類性能和時(shí)間復(fù)雜度的對(duì)比實(shí)驗(yàn). 實(shí)驗(yàn)表明, 不同的α 和 β參數(shù)組合會(huì)影響最終的分類性能, 且分類性能的好壞并不與時(shí)間復(fù)雜度的高低呈某種特定的線性關(guān)系,可根據(jù)不同數(shù)據(jù)集, 通過(guò)不斷調(diào)整 α 和 β來(lái)達(dá)到時(shí)間復(fù)雜度低且分類性能好的參數(shù)組合. 在實(shí)驗(yàn)中, 對(duì)于使用overlapped 策略的5 種模型, 在Dataset 1、2a 和2b 數(shù)據(jù)集上最高分類準(zhǔn)確率分別達(dá)到了92.3%、77.8%和86.3%. 本文所做工作驗(yàn)證了重疊時(shí)間切片策略在MIBCI 中EEG 信號(hào)模式識(shí)別任務(wù)中的有效性, 可為構(gòu)建MI-BCI 的應(yīng)用提供方法和思路上的參考.

今后的工作要通過(guò)優(yōu)化深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以提升訓(xùn)練效率, 并將重疊時(shí)間切片策略與其他優(yōu)化策略相結(jié)合, 如隨機(jī)選取重疊切片, 將不同組合的重疊切片輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練, 進(jìn)一步提升運(yùn)動(dòng)想象EEG 信號(hào)識(shí)別性能.