楊懷花，葉慶衛(wèi)，羅慧艷，陸志華

(寧波大學(xué) 信息科學(xué)與工程學(xué)院,浙江 寧波 315211)

0 引言

腦機(jī)接口(BCI,brain computer interface)是一種不依賴大腦外周神經(jīng)與肌肉組成的正常輸出通路，通過對大腦活動產(chǎn)生的信號進(jìn)行分析，提取其中包含的動作意圖，控制外部設(shè)備的新型人機(jī)交互方式[1]。腦機(jī)接口技術(shù)的研究對臨床康復(fù)[2]、信息交流[3]以及休閑娛樂等領(lǐng)域的發(fā)展均具有較高的價值。目前，腦機(jī)接口方向的研究眾多，運(yùn)動想象腦電信號(MI-EEG，motor imagery electroenceph- alogram)作為自發(fā)性腦電一直以來受到研究學(xué)者的廣泛關(guān)注。MI-EEG信號是一種時變性很強(qiáng)的非平穩(wěn)信號，因此如何有效的對其進(jìn)行特征提取和分類成為了目前研究的重點(diǎn)。

當(dāng)前腦電信號特征提取的研究主要分為4個方面：時域、頻域、時頻域以及空間域等，常見的分析方法主要包括小波變換[4](WT,wavelet transform)、希爾伯特黃變換[5](HHT,hilbert-huang transform)、公共空間模式[6-8](CSP,common spatial pattern)、獨(dú)立分量分析[9](ICA,independent component analysis)等，常用的分類方法主要包括線性判別分析[10](LDA,linear discriminant analysis)、支持向量機(jī)[11](SVM,support vector machines)、貝葉斯線性回歸[12]、卷積神經(jīng)網(wǎng)絡(luò)[13](CNN,convolutional neural networks)等。由于深度學(xué)習(xí)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)成為了腦電信號識別分類的重要方法。

目前針對運(yùn)動想象腦機(jī)接口系統(tǒng)中分類準(zhǔn)確率低等問題，研究者們提出了很多改進(jìn)方法。文獻(xiàn)[14]提出了一種基于滑動窗口信息極大化原則(Infomax，information maximization)算法的動態(tài)獨(dú)立分量分析方法。文獻(xiàn)[15]提出了一種優(yōu)化多球面支持向量數(shù)據(jù)(SVDD,support vector data description)的模糊聚類方法，并通過多個運(yùn)動想象數(shù)據(jù)集的實(shí)驗(yàn)，完成了對運(yùn)動想象腦電信號數(shù)據(jù)的較好的表達(dá)。文獻(xiàn)[16]提出一種新的基于沃爾什哈達(dá)瑪變換的特征提取方法，將提取的特征通過人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，得到較為準(zhǔn)確的結(jié)果。文獻(xiàn)[17]提出將從腦電信號中提取的時間、頻率和位置信息，組合成2D信息輸入到卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural network)和堆棧自編碼器(SAE，stacked auto encoder)結(jié)合的深度網(wǎng)絡(luò)，得到較高的分類準(zhǔn)確率。

基于以上的研究內(nèi)容，本文提出一種3個權(quán)重共享子網(wǎng)絡(luò)構(gòu)成的改進(jìn)孿生網(wǎng)絡(luò)，將經(jīng)小波變換結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解預(yù)處理后的信號輸入此網(wǎng)絡(luò)，實(shí)現(xiàn)對腦電信號的特征提取和分類。通過對兩個數(shù)據(jù)集的仿真，相比現(xiàn)有算法均取得更好的分類準(zhǔn)確率，表明此方法能更好的應(yīng)用到MI-EEG信號的分類識別，并具有一定普遍性。

1 算法原理

1.1 孿生網(wǎng)絡(luò)改進(jìn)原理

經(jīng)典孿生神經(jīng)網(wǎng)絡(luò)由兩個子網(wǎng)絡(luò)構(gòu)成，這兩個子網(wǎng)絡(luò)之間結(jié)構(gòu)相同，并且共享權(quán)重和偏置等參數(shù)。若樣本(x1，x2)和標(biāo)簽y輸入孿生神經(jīng)網(wǎng)絡(luò)，其中輸入樣本類別相同標(biāo)簽y為1，相反標(biāo)簽為0，通過權(quán)重共享的子網(wǎng)絡(luò)提取樣本的低維特征，計(jì)算特征的距離度量樣本相似度。代價函數(shù)為對比損失函數(shù)公式如下：

L(w,(y,x1,x2))=

(1)

其中:DW為輸入樣本經(jīng)過孿生神經(jīng)網(wǎng)絡(luò)提取的低維特征之間的歐式距離，公式為DW(x1,x2)=‖f(x1)-f(x2)‖,f(x1)、f(x2)分別表示樣本x1、x2經(jīng)過神經(jīng)網(wǎng)絡(luò)映射出的低維特征，y為樣本標(biāo)簽，max表示最大值，m為設(shè)定的閾值。

本文提出一種3個權(quán)重共享的子網(wǎng)絡(luò)孿生系統(tǒng)如圖1所示，其主要包括兩部分：特征提取和相似度計(jì)算。在特征提取部分，本文選取5層的全連接神經(jīng)網(wǎng)絡(luò)。表1是網(wǎng)絡(luò)結(jié)構(gòu)的詳細(xì)說明。為了防止過擬合現(xiàn)象，每層全連接層后使用dropout函數(shù)。對于大部分?jǐn)?shù)據(jù)來說，ReLu 激活函數(shù)具有更好的擬合能力。因此隱藏層選取非線性的Relu作為激活函數(shù)，輸出層則使用sigmoid 激活函數(shù)，使得結(jié)果介于0到1。

表1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 改進(jìn)孿生網(wǎng)絡(luò)框架

當(dāng)輸入腦電信號樣本組合x1、x2、x3時，通過3個共享權(quán)值的子網(wǎng)絡(luò)提取低維特征，計(jì)算樣本特征之間的平均距離來表示樣本之間的差異，最后利用這個距離進(jìn)行相似度判斷。本文提出一種新的距離函數(shù)，如公式2所示：

DW(x1，x2，x3)=

(2)

其中:x1和x2、x3為輸入的樣本序列，f(x1)、f(x2)和f(x3)為經(jīng)過神經(jīng)網(wǎng)絡(luò)提取的低維特征，DW(x1，x2，x3)為特征之間的平均距離，采用公式(1)作為損失函數(shù)進(jìn)行訓(xùn)練。此距離函數(shù)消除了樣本因隨機(jī)選取產(chǎn)生的偶然性誤差，使分類系統(tǒng)更加穩(wěn)定，一定程度的提高了分類的準(zhǔn)確度。

1.2 學(xué)習(xí)樣本集采樣算法

設(shè)預(yù)處理后的訓(xùn)練集為Xtrain、Ytrain，其中Xtrain為預(yù)處理后的小波分量訓(xùn)練集信號，Ytrain為訓(xùn)練集樣本標(biāo)簽。

(3)

3)令i=1,…,n，因此可以得到包含n個樣本組的學(xué)習(xí)樣本集。

1.3 測試集樣本采集

設(shè)預(yù)處理后的測試集為Xtest、Ytest，其中:Xtest為預(yù)處理后的小波分量測試信號集，Ytest為測試集樣本標(biāo)簽。

(4)

4)令i=1,…,l，其中l(wèi)為預(yù)測樣本長度。即依次對測試集Xtest中所有樣本進(jìn)行上述操作，可得到Xtest的預(yù)測標(biāo)簽。

1.4 信號預(yù)處理過程

腦電信號是一種非線性、非平穩(wěn)的信號，小波變換是在一種時頻域分析方法，更好的分析和處理了非平穩(wěn)信號，早在1996年就被應(yīng)用于運(yùn)動想象腦電信號的去噪處理。對信號x(t)進(jìn)行分解，其離散小波函數(shù)表示為：

(5)

其中:ψj,k(t)為基本小波。

由于腦電信號的電壓普遍在μV量級，這一特點(diǎn)導(dǎo)致EEG信號極易受到眼動、肌電、高頻噪聲等干擾。因眼動干擾處于低頻段并與腦電信號重疊，使得其去除較為復(fù)雜，而肌電和高頻噪聲則處于高頻段。若將噪聲相關(guān)的頻段直接去除，則會導(dǎo)致一部分重要信息丟失，因此本文選取小波分量的最低頻段和最高頻段進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解(EMD,empirical mode decomposition)，通過自相關(guān)函數(shù)將EEG信號與噪聲信號盡可能進(jìn)行分離。

EMD分解是一種非線性濾波器，將信號分解為若干個IMF，其中IMF需要滿足以下兩個條件：

1)整個數(shù)據(jù)中，極值點(diǎn)和過零點(diǎn)數(shù)目相等或最多相差為1。

2)在任意一點(diǎn)，由局部極大值定義的包絡(luò)和由局部極小值定義的包絡(luò)的均值等于0。

自相關(guān)函數(shù)選取的是腦電自身信號與時延后的信號之間的相似度，其表達(dá)式為：

(6)

其中:x(t)為原始運(yùn)動想象腦電信號，Δτ為延時長度，Cov表示協(xié)方差，var則為方差。干擾噪聲一般表現(xiàn)為低頻、高幅度，因此對于含噪聲成分較高的IMF分量，自相關(guān)函數(shù)較高。而腦電信號具有隨機(jī)性較強(qiáng)、時變復(fù)雜等特點(diǎn)，因此其值較低。通過設(shè)定自相關(guān)閾值，篩選出腦電信號相關(guān)的IMFs分量進(jìn)行重構(gòu)，得到“純凈”的小波系數(shù)。

1.5 總體算法流程

算法流程如圖2所示，主要步驟為：

圖2 算法流程

1)將腦電信號進(jìn)行預(yù)處理，然后經(jīng)過5折交叉驗(yàn)證法將信號集分成訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。

2)根據(jù)1.2節(jié)學(xué)習(xí)樣本集采樣算法構(gòu)建三樣本組合學(xué)習(xí)樣本集，將其作為三權(quán)值共享的孿生神經(jīng)網(wǎng)絡(luò)的輸入，根據(jù)對比損失函數(shù)，利用全連接神經(jīng)網(wǎng)絡(luò)更新權(quán)值和偏置等參數(shù)。當(dāng)模型收斂或者到達(dá)設(shè)定次數(shù)時，模型訓(xùn)練結(jié)束，保存模型。

3)在測試過程中，根據(jù)1.3節(jié)依次對所有測試樣本構(gòu)造正負(fù)測試樣本集，對比正負(fù)測試樣本集平均距離，選擇最小平均距離(即相似度最高)所對應(yīng)的類別作為該待測樣本的類別號。

2 實(shí)驗(yàn)仿真與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文提出的方法得到來自The largest SCP data of Motor-Imagery和BCI Competition II Data set III兩個數(shù)據(jù)集的驗(yàn)證，接下來對其進(jìn)行介紹。

數(shù)據(jù)集1來自公開標(biāo)準(zhǔn)數(shù)據(jù)集BCI Competition II Data set III，該組數(shù)據(jù)是通過年齡為25歲的健康女性進(jìn)行想象左右手實(shí)驗(yàn)獲得的。本實(shí)驗(yàn)共進(jìn)行了7組,每組40次,共進(jìn)行了280次試驗(yàn)。每一次試驗(yàn)持續(xù)時間為9秒, 在0～2秒時為休息時間；在第2秒時進(jìn)行語音提示；第3秒開始屏幕上出現(xiàn)一個箭頭，同時要求受試者進(jìn)行相應(yīng)的運(yùn)動想象。數(shù)據(jù)的采集電極放置在國際標(biāo)準(zhǔn)的10～20導(dǎo)聯(lián)系統(tǒng)c3、cz、c4位置，其中采樣頻率為128 Hz。實(shí)施示意圖如圖3所示。

圖3 實(shí)施示意圖

數(shù)據(jù)集2來自2018年提出的國際標(biāo)準(zhǔn)腦電信號數(shù)據(jù)庫The largest SCP data of Motor-Imagery中的CLA左右手運(yùn)動想象數(shù)據(jù)集，此數(shù)據(jù)集是由7名健康受試者(S1～S7)面對圖形用戶界面(eGUI)的相應(yīng)提示執(zhí)行左手、右手運(yùn)動想象。數(shù)據(jù)的采集電極放置符合10～20導(dǎo)聯(lián)標(biāo)準(zhǔn)，每組數(shù)據(jù)包含21個通道的EEG信號，采樣頻率為200 Hz。實(shí)驗(yàn)過程中，圖形用戶界面上顯示一個左右手兩類刺激信號，動作信號在屏幕上保持1秒，同時受試者執(zhí)行了一次相應(yīng)的心理意象，隨后暫停1.5～2.5 s后結(jié)束單次試驗(yàn)，每段記錄持續(xù)50～55分鐘。對于7名實(shí)驗(yàn)對象采集的數(shù)據(jù)信息如表2所示。

表2 數(shù)據(jù)集信息

2.2 預(yù)處理過程

圖4分別為數(shù)據(jù)集1左右手運(yùn)動想象時通道c3、cz、c4的平均能量。由圖(a)可知，cz通道的左右手想象運(yùn)動能量幾乎沒有區(qū)別，由圖(b)和圖(c)可知c3、c4通道3.5～9時間段的平均能量差別較大，因此本文選取3.5～9時間段的c3、c4通道腦電信號進(jìn)行小波變換。

圖 4 各通道的信號平均能量圖

在進(jìn)行小波變換時，小波基[18-19]和自相關(guān)系數(shù)閾值的選取對腦電信號的處理影響較大。本文通過選取部分小波基用于離散小波變換，分別為dmey、db2、sym3、haar，經(jīng)過多次實(shí)驗(yàn)對比，發(fā)現(xiàn)選取demy小波基分類準(zhǔn)確率更高，穩(wěn)定性更強(qiáng)。相關(guān)系數(shù)閾值是一個重要的參數(shù)，其值直接影響了偽跡與腦電信號的分離，在保持其他條件不變的情況下，采用不同閾值得到分類準(zhǔn)確率。經(jīng)過多次試驗(yàn)當(dāng)閾值等于0.9時，正確率高達(dá)90%以上，因此本文選取0.9為相關(guān)函數(shù)閾值。

數(shù)據(jù)集1選取腦電信號樣本3.5～9時間段的C3、C4通道腦電信號分別進(jìn)行4層小波變換，其中選用demy為小波基，然后對小波分量的低頻部分A4和高頻段D1進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，將IMFs分量的自相關(guān)函數(shù)值小于0.9的進(jìn)行重構(gòu)，得到“干凈”的小波分量，然后將各個通道的小波分量進(jìn)行串接。

數(shù)據(jù)集2對21通道腦電信號進(jìn)行5層小波變換，其中選用demy為小波基，然后對小波分量的低頻部分A4和高頻段D1進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，將IMFs分量的自相關(guān)函數(shù)值小于0.9的進(jìn)行重構(gòu)，得到“干凈”的小波分量，然后將各個通道的小波分量進(jìn)行串接。

2.3 評價指標(biāo)

分類精準(zhǔn)度被用來直接衡量信號分類的準(zhǔn)確率，其公式為：

(7)

其中:TP和TN為左右手想象信號正確識別樣本數(shù)量，F(xiàn)P和FN為左右手想象信號錯誤識別樣本數(shù)量。

Kappa值是一個信號分類一致性的評價指標(biāo)，其公式為：

(8)

其中:p0是總的分類正確率。對于二分類而言，每一類實(shí)際樣本數(shù)為r1、r2，則每一個類別中預(yù)測樣本個數(shù)p1、p2，pe則為：

(9)

2.4 實(shí)驗(yàn)結(jié)果

下面運(yùn)用數(shù)據(jù)集1，對腦電信號進(jìn)行預(yù)處理后，分別通過經(jīng)典孿生神經(jīng)系統(tǒng)和改進(jìn)后的孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行腦電信號特征提取和分類，同時得到兩種方法在測試集上的分類混淆矩陣如圖5所示。由圖5可知，改進(jìn)孿生網(wǎng)絡(luò)在左右手想象信號相比經(jīng)典孿生網(wǎng)絡(luò)均具有更好的可分性，測試集上的識別精度更高。

圖5 經(jīng)典和改進(jìn)后孿生網(wǎng)絡(luò)混淆矩陣

將本文的算法與目前性能較高的現(xiàn)有算法進(jìn)行對比，其中用到對比算法主要有文獻(xiàn)[14]中基于滑動窗口Infomax算法的動態(tài)獨(dú)立分量分析方法，記為 ICA，文獻(xiàn) [15]使用AR算法和優(yōu)化多球面支持向量數(shù)據(jù)的模糊聚類方法相結(jié)合的方法，記為AR-SVDD。文獻(xiàn)[16] 中基于快速沃爾什哈達(dá)瑪變換的特征提取方法，并結(jié)合ANN分類器進(jìn)行分類，記為FWHT-ANN。文獻(xiàn)[17]中CNN結(jié)合SAE提出的一個新的深度網(wǎng)絡(luò)，記為CNN-SAE算法。文獻(xiàn)[20] 提出的Renyi熵特征提取方法，結(jié)合BLDS分類器對信號進(jìn)行處理，記為Renyi-BLDA。將經(jīng)過小波變換結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解預(yù)處理后的信號，輸入經(jīng)典孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和分類的方法，記為WT_emd_siamese。分類結(jié)果如表3所示。

表3 不同特征提取算法的分類正確率

從表3可知，本文算法分類準(zhǔn)確率均高于其他算法，其準(zhǔn)確率提高了4.29～13.06%，表明所提算法能更好地實(shí)現(xiàn)腦電信號處理。WT_emd_siamese算法分類正確率到達(dá)87.50%，進(jìn)一步證明了小波變換、經(jīng)驗(yàn)?zāi)B(tài)分解結(jié)合孿生網(wǎng)絡(luò)方法的可行性，這為運(yùn)動想象腦電信號處理提供了一種新思路。

2.5 算法在不同數(shù)據(jù)集的進(jìn)一步驗(yàn)證

為了進(jìn)一步驗(yàn)證算法的有效性，對數(shù)據(jù)集2進(jìn)行測試，并采用目前較為常用并取得較好結(jié)果的csp算法結(jié)合svm分類器辦法進(jìn)行基準(zhǔn)驗(yàn)證，結(jié)果如表4所示。由結(jié)果可知，此方法平均分類正確率高達(dá)到90.36%，相對csp_svm分類性能提升了12.5%，且最高達(dá)到97.43%，去除數(shù)據(jù)集S2和S6實(shí)驗(yàn)對象，平均分類準(zhǔn)確率高達(dá)94.30%，進(jìn)一步證明了此算法在腦電信號識別方面具有較好性能。此外，本文提出算法kappa值高達(dá)0.907，其具有較好的一致性，分類結(jié)果可靠。

表4 數(shù)據(jù)集2所有受試者分類正確率

圖6顯示了在數(shù)據(jù)集2上兩種算法測量的總分類混淆矩陣，如圖6中數(shù)據(jù)顯示，本文所提出的算法，相比csp_svm腦電信號處理辦法，無論在左手還是右手識別中精確度都得到極大地提升，其中左手識別精度到達(dá)96.7%，這也證明了本文算法在運(yùn)動想象任務(wù)中發(fā)揮著積極地作用。

圖6 混淆矩陣

3 結(jié)束語

本文提出一種3個權(quán)重系數(shù)共享子網(wǎng)絡(luò)構(gòu)成的改進(jìn)孿生網(wǎng)絡(luò)腦電信號的分類方法。通過小波變換結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解，對信號進(jìn)行預(yù)處理，然后將預(yù)處理的小波分量通過改進(jìn)的孿生神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行特征提取和分類。將改進(jìn)后的孿生網(wǎng)絡(luò)與經(jīng)典孿生網(wǎng)絡(luò)相比，利用新的距離函數(shù)消除了偶然誤差性，提高了分類正確率，使分類系統(tǒng)更加穩(wěn)定，同時在特征提取部分選擇簡單的全連接神經(jīng)網(wǎng)絡(luò)，在保證了分類性能的同時，極大地降低了系統(tǒng)的復(fù)雜性。通過對BCI Competition II Data set III數(shù)據(jù)集進(jìn)行仿真，本文提出的算法取得了94.29%的分類準(zhǔn)確率，與現(xiàn)有的研究結(jié)果進(jìn)行對比，可以更有效地進(jìn)行運(yùn)動想象腦電信號的分類。利用The largest SCP data of Motor-Imagery數(shù)據(jù)集進(jìn)一步驗(yàn)證，結(jié)果表明本文提出的方法在相同的數(shù)據(jù)類型下依舊保持優(yōu)異的性能。因此在接下來的研究過程中，可將此方法應(yīng)用到其他類型的腦電信號分析，這為腦電信號處理提供了一種新思路。