朱永清，王文格

湖南大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，長沙 410006

腦機(jī)接口（brain-computer interface，BCI）是直接通過人類大腦信號確定其意圖，實(shí)現(xiàn)人腦與外部設(shè)備的通信和控制[1]。BCI 在腦控輪椅[2]、疾病康復(fù)[3]、神經(jīng)假肢[4]等領(lǐng)域具有廣泛地應(yīng)用前景，為殘障人群提供有效生活保障。目前，BCI技術(shù)最大難點(diǎn)在于如何提高腦電信號識別準(zhǔn)確率，因此腦電信號（electroencephalogram，EEG）的特征提取算法優(yōu)化以及分類器改進(jìn)是目前BCI 研究的重點(diǎn)，特別是在運(yùn)動想象腦電信號領(lǐng)域。

近年來，由于單一特征只能表征特定的腦電信息，而多特征融合因能包含不同維度的有效腦電信息，成為運(yùn)動想象多分類特征提取的研究熱點(diǎn)之一。其中具有代表性的有：李明愛等[5]提出一種基于希爾伯特-黃變換（Hilbert-Huang transform，HHT）與共空域子空間分解算法（CSSD）的特征提取算法，提取希爾伯特瞬時(shí)能量譜和邊際能量譜作為時(shí)頻特征，并提取空域特征，將融合特征使用矢量化神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類。Chen等[6]提出融合香農(nóng)熵、小波熵和樣本熵作為運(yùn)動想象腦電特征。楊默涵等[7]提出EEMD 與近似熵相結(jié)合的多特征提取方法。

在運(yùn)動想象分類識別中，常用的分類器有支持向量機(jī)（support vector machines，SVM）[8]和線性判別分析（linear discriminant analysis，LDA），然而在多任務(wù)分類情況下，兩者容易出現(xiàn)無法分類現(xiàn)象，而且隨著類別的增多，準(zhǔn)確率隨之下降，而深度學(xué)習(xí)因具有分類精度高且能夠自動提取最優(yōu)化特征和解碼等優(yōu)勢，逐漸被應(yīng)用于運(yùn)動想象分類識別。文獻(xiàn)[9]提出具有滑動裁剪策略的深度遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）應(yīng)用于腦電分類，并將能控循環(huán)單元和長短期記憶單元應(yīng)用于RNN 架構(gòu)。文獻(xiàn)[10]提出了使用連續(xù)小波變換提取腦電信號作為卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的輸入特征進(jìn)行分類。文獻(xiàn)[11]使用多層半監(jiān)督極限學(xué)習(xí)機(jī)（hierarchical semi-supervised extreme learning machine，HSS-ELM）作為分類器，但識別準(zhǔn)確率提升并不明顯。

為了改善運(yùn)動想象分類準(zhǔn)確率，本文提出利用腦電信號的時(shí)-頻-空以及非線性動力學(xué)4個(gè)維度的特征進(jìn)行加權(quán)融合，提取的特征分別為共空間特征，能量特征，邊際譜熵特征和非線性動力學(xué)特征；構(gòu)造CNN分類器，將融合特征作為CNN 分類器的輸入特征，在運(yùn)動想象多任務(wù)識別中取得了較好的效果。

1 相關(guān)理論

1.1 OVO-CSP

“一對一”共空間模式（one versus one-common spatial pattern，OVO-CSP）[12]是一種多任務(wù)運(yùn)動想象腦電信號特征提取算法，在多任務(wù)分類中取得了良好的效果，該算法思想是將多分類問題轉(zhuǎn)化成若干個(gè)二分類問題。

這里使用傳統(tǒng)二分類CSP 算法進(jìn)行說明，假設(shè)X1,X2∈RN×T是兩分類運(yùn)動想象的多通道誘發(fā)響應(yīng)時(shí)空信號矩陣，其中N為電極通道數(shù)，T為采樣長度。則協(xié)方差矩陣如下：

1.2 希爾伯特-黃變換

1.3 小波包變換

小波包變換（wavelet packet transform，WPT）具有無冗余、無疏漏優(yōu)勢，可以對腦電信號局部時(shí)頻分析。利用小波包變換可以對運(yùn)動想象EEG信號進(jìn)行細(xì)致有效的分解，能夠顯著提升運(yùn)動想象腦電特征分類的準(zhǔn)確率。函數(shù)的表達(dá)式如下[15]：

圖1 小波樹分解圖Fig.1 Diagram of wavelet tree decomposition

1.4 非線性動力學(xué)特征

2 特征提取與融合

2.1 數(shù)據(jù)來源

數(shù)據(jù)采用2008 年第四屆國際BCI 競賽中，由Graz科技大學(xué)提供的腦電數(shù)據(jù)集（Dataset 2a）[19]，該數(shù)據(jù)集由9 名受試者提供4 種不同的運(yùn)動想象任務(wù)，包括想象左手、右手、腳和舌頭的運(yùn)動。腦電信號共采集22 個(gè)EEG 通道，3 個(gè)EOG 通道，每個(gè)受試者共擁有訓(xùn)練集和測試集兩組數(shù)據(jù)，每組數(shù)據(jù)共288 次運(yùn)動想象，每個(gè)運(yùn)動想象任務(wù)隨機(jī)生成。

實(shí)驗(yàn)范式如圖2所示，實(shí)驗(yàn)開始時(shí)（t=0 s），屏幕出現(xiàn)十字交叉并發(fā)出運(yùn)動想象提示音，2 s 后出現(xiàn)一個(gè)持續(xù)1.25 s的向左、右、上、下的箭頭（分別表示左手、右手、舌頭、腳）提示受試者開始運(yùn)動想象，沒有提供反饋；受試者需要一直執(zhí)行運(yùn)動想象到t=6 s，接著是1.5 s的休息時(shí)間，然后不斷重復(fù)上述過程直至結(jié)束。

圖2 實(shí)驗(yàn)范式時(shí)序圖Fig.2 Sequence diagram of experimental paradigm

2.2 預(yù)處理

在特征提取前，需要對原始腦電數(shù)據(jù)集進(jìn)行預(yù)處理，才能更有效地提取EEG信號特征。根據(jù)圖2實(shí)驗(yàn)范式可知，有效腦電信號主要集中在運(yùn)動想象任務(wù)開始的3～6 s，因此提取運(yùn)動想象3～6 s 的采樣數(shù)據(jù)作為分類識別數(shù)據(jù)，將EEG 信號中含有“NaN”的數(shù)據(jù)置為0[20]。由于運(yùn)動想象產(chǎn)生的ERD/ERS主要分布在μ節(jié)律（8～13 Hz）和β節(jié)律（14～30 Hz）[21]，故對運(yùn)動想象信號進(jìn)行8～30 Hz的5階巴特沃斯帶通濾波，可以有效提高EEG信號的信噪比。

2.3 特征提取

數(shù)據(jù)集的采樣頻率為250 Hz，故選取dB4小波作為小波包變換的基函數(shù)，將預(yù)處理后的EEG信號分解為4層小波包，得到16 個(gè)頻率分量，其中最小分辨率f=7.8 Hz。根據(jù)表1 的小波子帶頻率范圍可以得知節(jié)點(diǎn)（4，1），（4，2），（4，3）的頻帶范圍為7.8～31.2 Hz，基本涵蓋運(yùn)動想象腦電信號的有效信息，因此選取節(jié)點(diǎn)（4，1），（4，2），（4，3）對運(yùn)動想象腦電信號進(jìn)行重構(gòu)。

表1 小波子頻帶頻率范圍Table 1 Range of wavelet sub-bands frequency

將重構(gòu)后的EEG 信號分別進(jìn)行相應(yīng)的特征提取，得到不同維度的有效腦電特征，具體算法流程如圖3所示。

圖3 特征提取算法流程Fig.3 Flow of feature extraction algorithm

提取共空間特征時(shí)，使用訓(xùn)練數(shù)據(jù)構(gòu)建OVO-CSP的空間濾波器，由于數(shù)據(jù)集為4 分類EEG 信號，需要構(gòu)建6 個(gè)空間濾波器。將EEG 數(shù)據(jù)分別輸入各個(gè)空間濾波器，可得共空間特征F1，F(xiàn)1為6×22 的共空間特征矩陣。

提取能量特征前，需要對EEG 信號進(jìn)行EMD 分解，分解得到的IMF 如圖4（a）所示。由圖可看出EEG信號的能量主要集中在前3 階的IMF，因此可以使用IMF1～I(xiàn)MF3 正向重構(gòu)信號，重構(gòu)后的信號含有大量有效腦電信號，重構(gòu)信號如圖4（b）所示。對于重構(gòu)后的信號首先提取其能量特征，其中包含22 個(gè)通道的能量特征，將腦電信號的能量特征記為F2；再對重構(gòu)的信號進(jìn)行Hilbert 變換，得到時(shí)頻譜和邊際譜，并提取邊際譜熵特征，每次樣本得到22通道的邊際譜熵特征，記為F3，如圖5 所示，從邊際譜圖可以看出，重構(gòu)信號能量主要集中在0～30 Hz之間，與運(yùn)動想象腦電信號分布在μ節(jié)律和β節(jié)律相符。

圖4 EMD分解和正向重構(gòu)Fig.4 EMD decomposition and forward reconstruction

圖5 邊際譜圖Fig.5 Marginal spectrogram

最后，提取小波包重構(gòu)后腦電信號的非線性動力學(xué)特征，包括近似熵特征、模糊熵特征和樣本熵特征。3種非線性動力學(xué)特征的維數(shù)和相似容限值分別取值為m=3，r=0.5，得到的非線性動力學(xué)特征記為F4，其為3×22的矩陣。

2.4 特征融合

通過特征提取得到F1、F2、F3、F4這4 種特征，對上述4種特征進(jìn)行如式（11）的加權(quán)融合，最終得到特征融合矩陣F，其中c1、c2、c3和c4為每種特征所賦予的權(quán)重值。對F進(jìn)行歸一化處理后，即可輸入至卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類識別。

3 基于卷積神經(jīng)網(wǎng)絡(luò)的EEG信號分類識別

3.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本章將構(gòu)建CNN分類器對四分類運(yùn)動想象數(shù)據(jù)集進(jìn)行分類識別，構(gòu)建的CNN 模型基于二維特征輸入的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型如圖6所示。

圖6 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 CNN architecture

（1）第一層為輸入層，輸入特征大小為11×22。

（2）接下來共有3個(gè)卷積層，第1個(gè)卷積層的卷積核大小為12×12，共有24 個(gè)卷積核；第2 個(gè)卷積層的卷積核大小為8×8，共有48 個(gè)卷積核；第3 個(gè)卷積層的卷積核大小為4×4，共有96個(gè)卷積核。每個(gè)卷積層后都跟著一個(gè)歸一化層和最大池化層，其中池化核大小為2×2，激活函數(shù)使用ReLU函數(shù)。

（3）最后是全連接層、激活層和分類層，其中全連接層為3個(gè)隱含層，神經(jīng)元個(gè)數(shù)分別為192、28和4，通過分類層輸出CNN所識別的腦電意圖。

3.2 基于融合特征的CNN分類識別

將9個(gè)志愿者的數(shù)據(jù)集以8∶2劃分為訓(xùn)練集和測試集，因此每個(gè)志愿者共有230個(gè)訓(xùn)練樣本和58個(gè)測試樣本。分析融合特征在CNN 分類器的分類效果之前，需要對式（11）的4 個(gè)權(quán)重參數(shù)取值進(jìn)行分析。對于權(quán)重取值，可以運(yùn)用控制單一變量法，分別對式（11）的4 個(gè)權(quán)重取值分析。由于不同維度的特征值存在數(shù)量級差異，如果差異過大將導(dǎo)致融合特征攜帶信息丟失，因此依次將其中一個(gè)權(quán)重設(shè)置成以100，101，…，105方式遞增，固定其他3個(gè)權(quán)重，使用相應(yīng)的融合特征對卷積神經(jīng)網(wǎng)絡(luò)完成訓(xùn)練，輸入測試集的特征矩陣至CNN分類器，得到結(jié)果如圖7 所示。最初先固定權(quán)重c2=c3=c4=1，由圖7（a）可知，c1=104時(shí)分類器表現(xiàn)最佳。因此將c1置為104對c2進(jìn)行分析，由圖7（b）得c2=1 時(shí)識別準(zhǔn)確率最佳。依次類推，分別得到c3=1,c4=104。

圖7 權(quán)重分析Fig.7 Weight analysis

通過以上權(quán)值分析，發(fā)現(xiàn)當(dāng)權(quán)值為c1=104,c2=1,c3=1,c4=104時(shí)分類器的識別效果較好。同時(shí)，分別使4 個(gè)權(quán)重中的3 個(gè)為1，另一個(gè)權(quán)重設(shè)為自增變量，使用CNN分類器在訓(xùn)練測試比例不變的情況下迭代300次，選取最高識別率，最終得到4 個(gè)權(quán)重參數(shù)的平均曲線圖，如圖8所示。

圖8 4個(gè)權(quán)值的平均曲線Fig.8 Average curve of four weights

由圖8 可以發(fā)現(xiàn)，c2和c3曲線均呈下降趨勢，隨著c2和c3的增長，CNN 分類器的識別準(zhǔn)確率有所下降。而c1和c4均在104時(shí)得到較好結(jié)果，因此，就整體平均水平而言，融合特征的權(quán)值在該取值策略下取值為c1=104,c2=1,c3=1,c4=104時(shí)可以得到較好的分類結(jié)果。然而由圖7可以發(fā)現(xiàn)，就個(gè)體而言在權(quán)重參數(shù)取值并不唯一，可以在不同其他取值情況下得到更好或者相同的識別效果，如圖7（b）的A06T 曲線和圖7（d）的A09T曲線。

最終得到每位志愿者在CNN分類器的識別準(zhǔn)確率如表2所示，與此同時(shí)得到SVM、BP分類器在該參數(shù)條件下也得到較好結(jié)果。其中SVM的輸入為11×22，輸出為識別結(jié)果；BP 分類器的輸入層、隱藏層、輸出層神經(jīng)元個(gè)數(shù)分別為242、34、4。以上分類器均是在參數(shù)最優(yōu)情況下獲得分類準(zhǔn)確率。

表2 融合特征下不同分類器的對比Table 2 Comparison of different classifiers under fusion features%

由表2 可知，CNN 分類器的平均分類準(zhǔn)確率比SVM高12.65個(gè)百分點(diǎn)，比BP高3.27個(gè)百分點(diǎn)，其最高準(zhǔn)確率比BP 高3.45 個(gè)百分點(diǎn)，比SVM 高10.34 個(gè)百分點(diǎn)，而最低分類準(zhǔn)確率要比兩者高10.33 個(gè)百分點(diǎn)。對比CNN和SVM，9位志愿者的分類精度均高于SVM；再對比CNN 與BP，僅A07T 志愿者高于CNN?？梢钥闯鯟NN的整體分類性能是要比SVM和BP神經(jīng)網(wǎng)絡(luò)優(yōu)越，是一種分類效果好、準(zhǔn)確度高的機(jī)器學(xué)習(xí)算法，而且在獨(dú)立個(gè)體的運(yùn)動想象腦電信號分類中表象良好。因此，選擇CNN分類器作為運(yùn)動想象多任務(wù)識別可以有效提高識別準(zhǔn)確率。

3.3 融合特征與單一特征對比

常用的特征提取算法是CSP共空間特征提取，該算法屬于單一特征提取算法，為與融合特征對比，同樣進(jìn)行小波包變換，然后提取其共空間特征。提取的共空間特征分別使用SVM、BP和CNN算法來訓(xùn)練分類器并進(jìn)行測試，此時(shí)3 種分類器的輸入特征大小為6×22，得到每位志愿者的測試準(zhǔn)確率如表3 所示。由表3 可以發(fā)現(xiàn)，以單一特征（WPT+CSP 特征提?。┳鳛榉诸惼鞯奶卣鬏斎霑r(shí)，仍是CNN分類器平均分類準(zhǔn)確率最高，可以說明CNN分類器在不同的特征輸入下表現(xiàn)出良好的分類情況。通過對比表2和表3可以發(fā)現(xiàn)，雖然SVM分類器在兩種特征輸入下的平均分類效果并無明顯區(qū)別，甚至前者略低于后者；但BP和CNN分類器以融合特征作為輸入，得到的分類準(zhǔn)確率明顯要高于WPT+CSP 特征，對CNN 分類器來說，前者得到的平均準(zhǔn)確率為75.88%，比后者高6.30 個(gè)百分點(diǎn)，說明融合特征能夠攜帶更多的腦電信息，能夠更好地提高運(yùn)動想象腦電識別準(zhǔn)確率，且明顯優(yōu)于WPT+CSP特征分類識別。

表3 單一特征下3種分類器的分類性能Table 3 Classification performance of three classifiers under single feature%

4 實(shí)驗(yàn)結(jié)果分析

在融合特征權(quán)值的取值分析過程中，得到如表3所示的融合特征在CNN分類器的分類結(jié)果。分類結(jié)果采用目前通用的Kappa系數(shù)進(jìn)行衡量：

式中，p0為準(zhǔn)確率。由式( )12 可知，Kappa 系數(shù)越高，代表對應(yīng)的識別率越高。9位志愿者在特征融合算法下得到的Kappa 系數(shù)如表4 所示，其中A03T 最高為0.87，A05T 最低為0.46，得到該算法平均Kappa 系數(shù)為0.70，處于分類準(zhǔn)確率相對較高的水平。

表4 9位志愿者的Kappa系數(shù)Table 4 Kappa coefficient of 9 subjects

將特征融合算法結(jié)合CNN分類器得到的分類結(jié)果與文獻(xiàn)[11]、[22]和[23]進(jìn)行比較，文獻(xiàn)[11]使用帶通濾波器去除噪聲進(jìn)行預(yù)處理在通過CSP濾波提取特征，最后使用HSS-ELM 進(jìn)行分類；文獻(xiàn)[22]在帶通濾波預(yù)處理后，采用小波分析，使用CSP進(jìn)行一級特征提取，再通過HT 變換進(jìn)行二級特征提取，然后使用歸一化和算數(shù)求和進(jìn)行終極特征提取，最后使用PSO-SVM 分類；文獻(xiàn)[23]使用孿生神經(jīng)網(wǎng)絡(luò)對腦電信號進(jìn)行分類。具體如表5所示。

表5 與已有方法分類準(zhǔn)確率的比較Table 5 Comparison with classification accuracy of existing methods%

由表5分析可知，文獻(xiàn)[11]僅A09T的準(zhǔn)確率高于本研究算法；而文獻(xiàn)[22]也只有A03T 的準(zhǔn)確率高于所提出的算法；對于文獻(xiàn)[23]而言，雖然A01T、A05T、A09T高于特征融合算法，但A01T 和A05T 僅略高1.46 個(gè)百分點(diǎn)和3.14 個(gè)百分點(diǎn)，就整體而言結(jié)合CNN 分類器算法還是要優(yōu)于文獻(xiàn)[23]，且最大識別率為89.66%，僅次于文獻(xiàn)[22]的最大識別率。由此可見，特征融合算法結(jié)合CNN分類器在提高多分類運(yùn)動想象識別準(zhǔn)確率上具有一定的優(yōu)勢。

5 結(jié)論

本文研究提出的運(yùn)動想象EEG 信號特征融合算法，充分考慮腦電信號多個(gè)維度特征，利用小波包變換分析EEG信號的時(shí)頻特點(diǎn)，通過共空間模式、希爾伯特-黃變換和非線性動力學(xué)算法進(jìn)行特征提取，然后將不同維度的特征加權(quán)融合得到融合特征，相比于小波包變換和CSP 共空間模式組合的特征提取算法具有較高的準(zhǔn)確率，再結(jié)合構(gòu)建的CNN分類器，可進(jìn)一步提高腦電信號的分類準(zhǔn)確率。該算法分類準(zhǔn)確率高、包含腦電信息多，取得了較為理想的結(jié)果。EEG信號多維度特征融合算法結(jié)合CNN 分類算法具有一定的優(yōu)勢，為運(yùn)動想象的BCI 在特征提取和分類準(zhǔn)確率提高等方面提供了理論基礎(chǔ)和實(shí)驗(yàn)借鑒。