王蒙昊, 方慧娟, 龔亨翔, 羅繼亮

(1. 華僑大學 信息科學與工程學院, 福建 廈門361021;2. 華僑大學 福建省電機控制與系統(tǒng)優(yōu)化調度工程技術研究中心, 福建 廈門 361021)

腦機接口(BCI)通過解碼人類思考時的腦神經(jīng)活動信息,建立大腦與外界之間的直接信息傳輸通道[1].BCI是一項有潛力改變世界的尖端技術,具有十分廣泛的應用.在醫(yī)療方面,BCI可以幫助中風患者、身體殘疾的人[2];在非醫(yī)療方面,BCI可以控制小車、機器人[3].由于實現(xiàn)BCI技術的關鍵在于腦電信號(EEG)的高識別率,因此,BCI研究的首要任務是腦電信號特征的提取和識別[4].

近年來,對腦電信號特征的有效提取以及分類的研究也越來越深入.研究主要分為機器傳統(tǒng)學習方法和機器深度學習方法.機器傳統(tǒng)學習方法依賴特定的領域知識,通常需要使用手工特征提取器(通道濾波共空間(FBCSP)[5]、小波變換[6]和快速傅里葉變換等),將提取的特征輸入到魯棒性較高的線性判別器(LDA)或者支持向量機(SVM)中進行分類.

機器深度學習方法不但具有比傳統(tǒng)方法更強大的擬合能力,還可以自動提取腦電信號特征.Lawhern等[7]提出了EEGNet模型,使用卷積神經(jīng)網(wǎng)絡(CNN)模塊[8]提取空間和時域特征,提取能力更強,魯棒性更好.Ingolfsson等[9]提出了EEG-TCNet模型,將一種專門為時間序列設計的卷積神經(jīng)網(wǎng)絡TCNet[10]模塊與CNN模塊相結合,增強模型的時域提取能力,達到更好的效果.Mane等[11]提出FBCNet模型,使用多種不同截止頻率的低濾波器提取不同維度的信息,以增強模型的頻域提取能力.Song 等[12]提出EEG-Conformer模型,將CNN模塊與通道注意力機制(SE)模塊結合,增強模型空域與時域特征提取能力.此外,文獻[13-15]還提出通訊信息進程(CSP)模塊與CNN模塊的結合、長短期記憶(LSTM)模塊與CNN模塊的結合的模型.

以上研究增強了時-頻-空域的特征提取能力,主要圍繞CNN+其他模塊.考慮到腦電信號的個體和時間差異性,腦電信號相關的信息會出現(xiàn)在頻譜的多種波段上,每層僅使用單一大小的卷積核提取特征,會丟失一些有用的特征.如果能使用多種不同大小的卷積核,并引入新穎的特征提取架構,有望進一步提高腦電信號特征提取和識別能力.本文應用多尺度混合卷積網(wǎng)絡的腦電信號特征提取與識別.

1 EEG-MSTNet模型

1.1 總體架構

EEG-MSTNet模型主要由3個模塊構成：多尺度卷積(MCNN)模塊、SE模塊和時域殘差(TRN)模塊.EEG-MSTNet模型總體架構,如圖1所示.圖1中：BN為批正則化層;ELU為指數(shù)線性單元激活層;Pool為池化層;Lambda為函數(shù);Dense為全連接操作.

圖1 EEG-MSTNet模型總體架構Fig.1 Overall structure of EEG-MSTNet model

首先,通過4組并行的卷積模塊(即多尺度卷積1)將EEG信號從低緯度的信號編碼到高緯度的信號,并將拼接到一起的信號送入下一個模塊.其次,通過核的大小與通道數(shù)相關的深度卷積沿通道方向卷積高維信號.最后,再用4組可分離的2D卷積(即多尺度卷積2)進一步提取特征.

輸出的時間序列特征包含時-頻-空3個維度豐富的信息,將其送入到SE模塊,突出時間序列中最重要的通道信息,提升模型學習效率同時降低特征冗余.通過TRN模塊,提取出更具有判別性的高維時域特征,對信號進行分類.

整體網(wǎng)絡的參數(shù)設置,如表1所示.表1中：大部分參數(shù)是根據(jù)實驗效果設定的最優(yōu)參數(shù);小部分參數(shù)(如多尺度卷積核大小)結合了對頻率域的分析和實驗效果而設置的參數(shù);Softmax為函數(shù).

表1 EEG-MSTNet模型的參數(shù)Tab.1 Parameters of EEG-MSTNet model

1.2 數(shù)據(jù)預處理和輸入特征信息

原始的MI-EEG模型信號沒有經(jīng)過任何預處理,將其直接輸入到EEG-MSTNet模型中.根據(jù)標簽標的每個開始的時間點,將session數(shù)據(jù)切分成多個trial數(shù)據(jù).輸入模型的trial數(shù)據(jù),xi∈RC×T,其中,C為輸入腦電信號的通道數(shù);T=t×f代表了每個EEG信號的采樣點個數(shù),t為運動想象切分的持續(xù)時間,f代表采樣率.基于運動想象分類任務可以被定義為建立x和相應類別y之間的映射,模型的目標是對訓練集{x,y}的學習,盡可能擬合該映射.對于BCI-Ⅳ-2a數(shù)據(jù)集,每個trial數(shù)據(jù)取1.5～6.0 s的數(shù)據(jù),采樣頻率為250 Hz,故采樣點C為22,18個session共切分成5 184個trial數(shù)據(jù).

1.3 卷積神經(jīng)網(wǎng)絡模塊

CNN模塊是一類使用卷積操作且具有深度結構的神經(jīng)網(wǎng)絡的統(tǒng)稱,最早應用于計算機視覺,解決了當時圖像分類難的問題,現(xiàn)在也應用于多種領域,其中,卷積成為模型提取特征基礎結構.1維卷積操作對腦電信號進行提取,卷積操作把卷積核與輸入信號按位相乘并求和.這種操作可考慮周圍點對當前點的影響,從而提取腦電信號的局部特征,卷積后的輸出特征為

(1)

式(1)中：x為信號的輸入特征;w為卷積核的權值;t0為信號當前時刻;K為卷積核的大小.

將1維卷積操作拓展為矩陣操作,即

(2)

CNN模塊,如圖2所示.圖2中：Spatial Conv為空間卷積;Ave Pool是平均池化;Separable Conv為可分離卷積.CNN模塊主要包括卷積層、池化層、激活層,以及全連接層.卷積層的層與層之間通過局部連接、權值共享,大幅減少參數(shù)量的同時,也提升了模型的魯棒性.隨著對機器學習研究的不斷深入,現(xiàn)階段的CNN模塊增加了批正則化層和丟棄層加快模型的訓練并減少過擬合,使用ELU激活層替代線性整流函數(shù)(RELU),使模型取得更好的訓練效果.

圖2 卷積神經(jīng)網(wǎng)絡模塊Fig.2 Module of convolutional neural network

端到端的CNN模塊作為基線模型可以自動提取腦電信號的特征,提取分為3個部分.1) 使用F1個大小為(1,64)的卷積,主要提取頻譜特征;2) 使用D個大小為(C,1)的深度卷積,主要提取通道特征;3) 使用F1×D個大小為(1,16)的卷積,主要提取時域特征.基線模型在第2,3部分使用大小為(1,8)的平均池化減小的維度、ELU激活層;在第1,3部分使用丟棄層;在每個部分都使用批正則化層.

1.4 多尺度卷積模塊

MCNN包含了4組不同大小的卷積核,對信號提取特征,大尺度卷積核可以捕獲低頻率的整體特征,小尺度卷積核可以捕獲高頻率的局部特征,通過對局部和整體特征的整理,可以有效地增強卷積的特征提取能力,即

(3)

式(3)中：i為卷積第i的的分支;N為分支數(shù),N=4.

卷積神經(jīng)網(wǎng)絡第1,3層使用多尺度卷積,增強模型對頻域和時域信息的提取能力.多尺度卷積神經(jīng)網(wǎng)絡總體架構,如圖3所示.圖3中：Average表示取平均值.多尺度卷積1分別使用4組大小不同的卷積,其中,64取1/4的采樣率,可以提取4 Hz以上的頻譜特征.4組卷積可以分別提取4,8,16,32 Hz的頻譜信息,近似對應腦電的θ,α,β波.由于卷積神經(jīng)網(wǎng)絡第2層后跟著一個(1,8)的平均池化,信號降采樣到32 Hz,故多尺度卷積2使用4組大小不同的卷積(圖3(b)),對(500.0,250.0,125.0,62.5 ms)信息進行解碼,增強模型對不同時間信息特征的提取能力.

(a) 多尺度卷積1 (b) 多尺度卷積2圖3 多尺度卷積神經(jīng)網(wǎng)絡模型總體架構Fig.3 Overall structure of multi-scale convolutional neural network model

1.5 通道注意力機制模塊

SE模塊啟發(fā)于卷積圖像領域2D SE模塊[16-17],能自適應地關注重要的通道.SE模塊有兩個優(yōu)勢：1) 經(jīng)過MCNN模塊輸出的特征存在一定的冗余,SE模塊可以除去非必要的特征信息;2) 在少量增加參數(shù)量和計算量情況下,增加模型的特征提取能力,關注更加重要的特征.SE模塊主要包括壓縮和激發(fā)兩個部分.壓縮部分主要解決通道相關性的問題,通過對MCNN模塊提取的高維時序特征U進行全局池化處理,將特征的時域維度T進行壓縮,只留下通道維度m.第q個通道特征mq表達式為

(4)

式(4)中：Uq為第q個通道維度的時序特征;L為時序特征在時域維度的長度;Fa表示取均值函數(shù).

通過兩層全連接層(先縮小再還原至原通道數(shù)C)完成激活,再通過權重W生成所要的權重信息,其中,W是通過學習得到的,第q個通道權重特征Sq表達式為

Sq=Fex(mq,W)=δ(W2(W1mq)).

(5)

式(5)中：W1和W2分別為兩層全連接的權值矩陣;δ為sigmoid激活函數(shù);Fex為激發(fā)函數(shù).

將通道權重與原特征層進行加權處理,得到突出重要通道信息的時間序列,即

fq=Fscale(Uq,Sq)=Uq×Sq.

(6)

式(6)中：Fscale表示相乘函數(shù).

1.6 時域殘差模塊

TRN模塊加深卷積的層數(shù),Chen等[18]發(fā)現(xiàn)加深網(wǎng)絡的層數(shù)到一定數(shù)量之后,準確率反而下降了.殘差結構通過添加網(wǎng)絡直連結構,可以改善網(wǎng)絡層數(shù)增加帶來的梯度消失和網(wǎng)絡退化問題,其表達式為

y=F(x)+x.

(7)

式(7)中：x為輸入特征,F(x)表示對x進行卷積操作的輸出.

時域殘差模塊與殘差模塊有兩點不同：1) 時域殘差模塊采用因果卷積,阻止任何之前信息進入到未來,這樣輸出時間t只有t及之前的時刻;2) 時域殘差模塊采用空洞卷積,感受野指數(shù)型地增加.時域殘差網(wǎng)絡架構,如圖4所示.圖4中：Dilated Causal Conv為空洞時域卷積;Optional表示可選.

圖4 時域殘差網(wǎng)絡架構Fig.4 Network achitecture of temporal residual convolutional

感受野計算公式為

RFS=1+2(KT-1)(2a-1).

(8)

式(8)中：RFS為感受野;a為時域殘差塊的個數(shù);KT卷積核大小.

MSTNet模型使用2個時域殘差塊,每個殘差塊由32個卷積核大小為4的空洞卷積構成,故經(jīng)時域殘差模塊輸出的特征的一個點可以感受19個元素.將SE模塊輸出的維度為(32,17)的時間序列輸入到時域殘差模塊后,最后一個點已經(jīng)感受到所有時間維度的信息,故只需將最后一個維度為(32,1)的高維時間特征送入到分類器(使用Softmax)的全連接層,對信號進行分類.

2 實驗結果與分析

2.1 實驗數(shù)據(jù)集

采用BCI Competition Ⅳ-2a公開數(shù)據(jù)集[19]訓練和評估EEG-MSTNet模型,它的數(shù)據(jù)量有限且數(shù)據(jù)包含在偽跡之中,因此,對腦電解碼來說是一個十分具有挑戰(zhàn)的任務.數(shù)據(jù)共有5 184個trials,受試者有9名(每名受試者在不同天做了兩個session,每個session有6個runs,每個runs有48個trials,左手12個,右手12個,雙腳12個,舌頭12個),運動想象3～6 s(從6 s十字架消失后,開始短暫休息).EEG通道有22個電極,EOG通道有3個電極,電極頻率為250 Hz,帶通濾波頻率為0.5～100.0 Hz.session1為訓練集(有標簽),session2為測試集.

2.2 實驗設置

EEG-MSTNet模型由GPU顯卡(NVIDIA RTX-3080Ti 12 GB)進行訓練和測試,采用TensorFlow框架.訓練配置如下：權重初始化均采用Glorot歸一;優(yōu)化方法采用Adam;學習頻率設置為0.001;批大小為64;訓練采用分類交叉熵損失函數(shù),對每名受試者分別訓練10次,盡可能保證所有模型達到最好的泛化效果,次數(shù)設置為1 000,采用提前停止技術,容忍度設為50(也就是當模型連續(xù)經(jīng)過50次訓練后,準確率沒有繼續(xù)提升,停止訓練);訓練集和測試集劃分比例為1∶1.

2.3 評估方法

采用準確率Pa和Kappa系數(shù)ζk更準確客觀地評估模型.Pa的計算式為

(9)

式(9)中：Ti為第i類中預測正確的樣本數(shù);Ii為第i類的樣本數(shù);n為類別的數(shù)量.

ζk的計算式為

(10)

式(10)中：n是類別的數(shù)量;Pe是預測與實際一致性的概率,當Pe為0.8～1.0時,概率幾乎完全一致,當Pe為0.6～0.8時,概率高度一致.

2.4 消融實驗

為了探究EEG-MSTNet模型的有效性,采用消融實驗評估EEG-MSTNet模型中每個模塊的效用.EEG-MSTNet模型中每個模塊對性能的貢獻,如表2所示.表2中：t為訓練時間.

表2 EEG-MSTNet模型中每個模塊對性能的貢獻Tab.2 Contribution of each model in EEG-MSTNet model to performance of classification

由表2可知;None模塊(卷積神經(jīng)網(wǎng)絡,基準模塊)全面考慮時域、頻域和空域信息,平均準確率為80.59%,與其相比,MCNN模塊的準確率提升了1.24%.TRN模塊準確率提升1.23%,SE模塊準確率幾乎沒有提升;兩個模塊及以上準確率均獲得較大的提升,SE+TRN模塊的準確率為82.56%,準確率比基準模塊提升1.97%,說明SE模塊要連接其他模塊才能發(fā)揮SE模塊的效果;MCNN+SE+TRN模塊比基準模塊準確率提升2.94%,其最高分類準確率為95.83%,平均準確率為83.52%.

由表2還可知;相比于基準模型,MCNN模塊增加1 792的參數(shù)量,SE模塊增加295的參數(shù)量,TRN模塊將增加16 056的參數(shù)量,這是由于高維特征圖的數(shù)量是低維特征圖的32倍,導致卷積層的參數(shù)量劇增,可以改用可分離卷積,大幅降低參數(shù)量.由于采用了提前停止技術,每個模塊訓練輪數(shù)不一致,采用訓練總時間除以訓練輪數(shù)作為訓練時間,可以看到SE模塊對訓練時間的影響較小,而MCNN模塊對訓練時間的影響較大,MCNN+SE+TRN模塊的訓練時間為0.240 s,較基準模塊需要多消耗0.110 s,處于可接受的范圍.

2.5 對比實驗

表3 EEG-MSTNet模型與其他相似模型的平均準確率比較Tab.3 Comparison of average accuracy of EEG-MSTNet modole with other similar modoles

EEG-MSTNet模型與近期研究模型的性能比較,如表4所示.由表4可知：采用3種模塊的EEG-MSTNet混合神經(jīng)網(wǎng)絡模型無論是在Pa還是ζk均優(yōu)于近期研究的模型.

表4 EEG-MSTNet模型與近期研究模型的性能比較Tab.4 Performance comparison of classification for the proposed model and recent research models

3 結束語

EEG-MSTNet模型可以端到端地進行腦電信號的特征提取與識別,不需要手工提取特征,它主要由MCNN模塊、SE模塊和TRN模塊組成.MCNN模塊增強卷積神經(jīng)網(wǎng)絡的時頻域特征提取能力,將原始的EEG信號編碼為一個高維的時間序列.SE模塊通過壓縮與激發(fā)突出時間序列中最重要的通道信息.TRN模塊從時間序列中提取更高維的時域特征.消融實驗表明,EEG-MSTNet模型的每個模塊都對分類性能的提升做出了貢獻,表明了這種混合架構設計的有效性.雖然每個模塊會增加模型的參數(shù)量和訓練時間,但在可接受的范圍內.值得注意的是,使用SE模塊后要連接其他模塊,才能發(fā)揮SE模塊的效果.同時,通過與其他模型進行對比[24-25],EEG-MSTNet模型有很強的競爭力.雖然EEG-MSTNet模型在運動想象領域進行測試,但是其設計思路對腦電信號的其他領域甚至圖像語音領域都有很好的借鑒意義.