孔祥浩 馬 琳 薄洪健 李海峰

(哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院,黑龍江哈爾濱 150001)

1 引言

研究對腦電(Electroencephalograph, EEG)信號的快速精準的解析方法,高效地實現(xiàn)從復(fù)雜的EEG信號中提取有用的認知信息,實現(xiàn)對外部設(shè)備的控制是腦機接口(Brain Computer Interface, BCI)[1-3]領(lǐng)域的核心問題。但由于大腦活動的復(fù)雜性,認知狀態(tài)下的EEG信號不是腦認知信號和干擾信號的簡單疊加,而是非線性、時變信號。因此,獲得高效低維 EEG特征是BCI可靠應(yīng)用的重中之重。近幾年,通過大腦皮層電位信息來實現(xiàn)人與外界溝通聯(lián)系的BCI技術(shù)成為了該領(lǐng)域的一個研究熱點。2011年美國教授賀斌實現(xiàn)了基于運動想象的EEG控制三維空間的直升飛機飛行[4]。2012年,美國男子扎克·沃特利用腦控義肢,通過想象成功攀登了103層的芝加哥威利斯大廈。2014年巴西世界杯開幕式上,一名高位截癱少年身穿腦控外骨骼盔甲大腦想象開出世界杯第一球。在國內(nèi)的研究中,清華大學(xué)的高上凱課題組是研究腦電波控制技術(shù)最早的團隊之一,于2006展示了利用運動想象控制機器狗進行踢球的BCI系統(tǒng)[5- 6]?？焖俚貜膹?fù)雜的腦電信號中獲取有用的認知信息,進而實現(xiàn)對外部設(shè)備的控制,需要更加高效的信息解析技術(shù)。

小波變換[7-9]、AR模型[10-12]、頻帶能量[13-15]、獨立分量分析[16-17]和公共空間模式[18-19]等信號處理算法常常應(yīng)用于EEG信號的特征提取中。公共空間模式(Common Spatial pattern,CSP)算法做為一種高效的空間濾波算法,能夠在最大化第一類方差的同時最小化另一類方差,采用同時對角化協(xié)方差矩陣的方式,得到具有最大分辨能力的特征向量。因此CSP作為一種有效的空間特征提取方法被廣泛采用。

1991年,Z.J.Koles首次提出了應(yīng)用在EEG信號中的CSP方法[20]。1999年H.Ramoser等人使用CSP方法對運動想象領(lǐng)域的多導(dǎo)EEG信號進行特征提取,取得了較好結(jié)果,然而這種方法僅考慮空間信息,而忽略了時間信息[21]。2012年Wojciech Samek等人提出了一種將CSP正則化到固定子空間(sCSP)的方法,增加了分類精度,特別是對那些難以控制BCI的受試者[22]。2013年Mahnaz Arvaneh等人提出了一種KLCSP算法在最大化類均值差異的同時,通過基于KL散度的損失函數(shù)的測量最小化類內(nèi)的差異,但此方法過于依賴數(shù)據(jù)[23]。CSP能夠在腦電特征提取過程中特異性提取空間信息特征,因此可以對含有大量電極的多通道腦電信號進行分析,但同時,含有大量電極的腦電信號必然含有大量的冗余信息,經(jīng)CSP處理后的特征矩陣包含大量的冗余信息,這些冗余信息會導(dǎo)致計算復(fù)雜性提高,降低處理算法的速度,也會導(dǎo)致信號的識別率降低。因此需要對特征進行二次篩選,從特征矩陣中選擇具有更加代表性的特征,能夠提高識別率并降低計算的復(fù)雜性。

卷積神經(jīng)網(wǎng)絡(luò)[24](Convolutional Neural Network,CNN)是近些年發(fā)展起來,并廣受重視的一種高效識別方法,特別是在模式識別領(lǐng)域,得到了廣泛的應(yīng)用。CNN不僅具有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的容錯性強、自適應(yīng)能力強和自學(xué)習能力強的優(yōu)點,還能夠隱式地從訓(xùn)練數(shù)據(jù)中對特征模式進行學(xué)習,從而有效提取特征。另外,CNN具有局部權(quán)值共享的特殊結(jié)構(gòu),更加接近于實際的生物神經(jīng)網(wǎng)絡(luò),而權(quán)值共享地特性降低了網(wǎng)絡(luò)的復(fù)雜程度,因此對于多維輸入向量可以直接輸入網(wǎng)絡(luò),有效降低了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜程度。而且,在對網(wǎng)絡(luò)的學(xué)習行為進行分析時,CNN相比于多層前饋網(wǎng)絡(luò)更容易找到起作用的神經(jīng)元,更容易觀察到數(shù)據(jù)在網(wǎng)絡(luò)中的表現(xiàn)形式,進而對整個學(xué)習過程有更加深度地理解。

本文針對腦電信號分類識別中的特征優(yōu)化和選擇問題進行研究。本文采用CSP算法提取腦電信號特征,其特征選擇直觀可見,便于對特征選擇方法進行驗證。利用CNN的學(xué)習特性對EEG分類識別中提取的大量特征進行優(yōu)選,并定義基于CNN權(quán)值矩陣特性的特征篩選準則,得到效能高的最優(yōu)特征集。本文工作在BCI Competition IV數(shù)據(jù)集[25]上進行了實驗,證明了本文方法的高效性。本方法具有普遍性,適用于各種情況下的特征選擇問題。

本文后續(xù)章節(jié)安排如下：第二部分主要介紹公共空間模式(CSP)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基本原理,第三部分是對CNN與CSP相結(jié)合的腦電特征提取方法的基本原理,第四部分是對本文提出的腦電特征提取方法進行進一步的實驗及相應(yīng)結(jié)果分析,第五部分為本文結(jié)論。

2 公共空間模式(CSP)與卷積神經(jīng)網(wǎng)絡(luò)(CNN)技術(shù)原理

2.1 CSP原理

公共空間模式(CSP)算法做為一種高效的空間濾波算法,CSP算法的目標是創(chuàng)建出一個最優(yōu)的公共空間濾波器,能夠最大化一類方差的同時最小化另一類方差,采用同時對角化兩類任務(wù)協(xié)方差矩陣的方式,得到兩種任務(wù)的最大分辨能力的特征向量。

圖1 CSP特征提取方法過程示意圖

CSP算法的過程如下：

(1)先將原始數(shù)據(jù)按照類別分段。

將原始數(shù)據(jù)按照類別進行分段。如兩類樣本數(shù)據(jù)D可分段為D1和D2,D1表示第一類樣本數(shù)據(jù),D2表示第二類樣本數(shù)據(jù)。

(2)計算分段后的原始數(shù)據(jù)的協(xié)方差矩陣。則協(xié)方差矩陣的計算方式如下：

(1)

其中,DT為矩陣D的轉(zhuǎn)置矩陣,trace(D)表示求矩陣D的跡。

使用C1表示第一類樣本數(shù)據(jù)的空間協(xié)方差矩陣的期望,C2表示第二類樣本的空間協(xié)方差矩陣的期望,Cc表示兩類數(shù)據(jù)的空間協(xié)方差矩陣之和,則有：

Cc=C1+C2

(2)

上述的協(xié)方差矩陣可以通過平均多次實驗結(jié)果的方式獲得。

(3)對空間協(xié)方差矩陣進行正交白化變換并且同時對角化。

Cc作為兩個協(xié)方差矩陣的和,是一個正定矩陣,因此可令：

(3)

其中Uc表示特征向量矩陣,Λc表示特征值的對角陣。Λc中的特征值是降序排列的,白化轉(zhuǎn)換Uc后可以得到：

(4)

將矩陣P作用于C1和C2,可得到：

S1=PC1PT,S2=PC2PT

(5)

S1、S2具有公共特征向量,而且存在兩個對角矩陣Λ1、Λ2和特征向量矩陣B,滿足如下的條件：

S1=BΛ1BT

(6)

S2=BΛ2BT

(7)

Λ1+Λ2=I

(8)

其中I是單位陣。由此可見特征值λ1和λ2的和等于1。

(4)計算投影矩陣。

對于特征向量矩陣B,當一個類別S1有最大的特征值時,此時另一個類別S2有最小的特征值,因此可以利用矩陣B實現(xiàn)兩類問題的分類,可以得到投影矩陣：

W=(BTP)T

(9)

(5)經(jīng)過投影得到特征矩陣。

因此可以將一個原始腦電數(shù)據(jù)EM×N通過投影矩陣W進行投影,得到：

ZM×N=WM×MEM×N

(10)

可選擇ZM×N的前m行和后m行(2m

由CSP算法的原理可知,對于算法生成的CSP特征矩陣,其信息是不等效的。特征信息主要集中在特征矩陣的頭部和尾部,而中間的特征信息不明顯。但是,在傳統(tǒng)的CSP算法中,并沒有給出如何選取頭尾特征行數(shù),即選取m值的方法。因此如何選擇m,是一個關(guān)鍵性的問題。選擇的m值過小,特征信息并不足夠,導(dǎo)致識別率不夠高；選擇的m值過大,會有冗余的信息,導(dǎo)致訓(xùn)練難度增大,訓(xùn)練的速度減慢,進而導(dǎo)致識別率不夠理想。

2.2 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)是一種高效的識別方法,它可以直接輸入原始特征空間,并在網(wǎng)絡(luò)內(nèi)部對特征的進行提取和進一步優(yōu)化,因此再解決高維度特征的分類問題具有很好的效果。相比于全連接網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)具有兩個特性,分別是權(quán)值共享和局部感知。權(quán)值共享指的是同層某些神經(jīng)元之間的連接權(quán)值是共享的,局部感知指的是神經(jīng)元之間的連接并非是全連接,是局部的。這兩個特點能夠極大減少連接權(quán)值的數(shù)量,從而減少了模型的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示。

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積操作是CNN中最為重要的操作,是用來提取某種特征。在卷積層中,一般設(shè)置多個不同的卷積核來對輸入進行操作從而獲得不一樣的特性,進而達到提取特征的效果。具體計算過程如下,首先將卷積核的權(quán)值與上層數(shù)據(jù)進行卷積運算,然后使用激活函數(shù)進行處理并加上偏置值,于是可以得到一種特征表達。進而通過不同的卷積核便可以得到不同的特征表達,在不斷的迭代訓(xùn)練過程中有效的特征便會得到強化從而達到提取特征的目的。

具體來說,可用如下公式表示卷積層的卷積運算的過程：

(11)

在網(wǎng)絡(luò)的訓(xùn)練過程中,為了能夠使網(wǎng)絡(luò)有效收斂,需要設(shè)置一個loss函數(shù),也就是需要優(yōu)化的目標函數(shù)。因此可以設(shè)置目標函數(shù)為數(shù)據(jù)集所有數(shù)據(jù)的loss平均值。進而可以得到如下loss函數(shù)：

(12)

fW(x)計算的是數(shù)據(jù)X上的loss,D為整個數(shù)據(jù)集。方法是,求出所有樣本X(i)的loss值并且求和,最后再求均值。均方根誤差作為一種常用的loss函數(shù),求得是所有樣本估計值和預(yù)測值的歐氏距離的平方的均值。另外,r(W)是為了減弱過擬合現(xiàn)象而設(shè)置的正則項。

(13)

Wt+1=Wt+Vt+1

(14)

學(xué)習率為α,μ為上一次梯度的權(quán)重值,表示之前梯度下降的方向?qū)ΜF(xiàn)在梯度方向影響。

3 CNN與CSP相結(jié)合的腦電特征提取方法

3.1 CNN與CSP相結(jié)合的腦電特征提取方法工作流程

本文提出的CNN與CSP相結(jié)合的腦電特征提取與識別方法,工作流程如圖3所示。

在將原始腦電信號經(jīng)過預(yù)處理后,通過CSP空間變換得到相應(yīng)的特征矩陣。構(gòu)建CNN網(wǎng)絡(luò)進行特征矩陣學(xué)習,獲得CNN網(wǎng)絡(luò)全連接層的權(quán)值矩陣,并對其進行分析,定義了CSP矩陣特征篩選準則,得到降維高效的EEG特征集F；計算特征集F規(guī)模并構(gòu)建一個新網(wǎng)絡(luò)CNN分類器。

3.2 CNN學(xué)習與權(quán)值矩陣分析

本文的分析方法中,通過CSP空間變換得到相應(yīng)的特征矩陣。將得到的特征矩陣用CNN進行學(xué)習,進一步分析其全連接層的權(quán)值情況從而對特征矩陣進行二次特征提取。

圖3 基于CNN的自適應(yīng)CSP特征提取方法腦電分析框架圖

在對特征矩陣的學(xué)習過程中,本文所使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。整個CNN網(wǎng)絡(luò)結(jié)構(gòu)由5層組成,第1層為輸入層,第2、3層為卷積層,第4、5層為全連接層。

CNN網(wǎng)絡(luò)的具體參數(shù)如下：

(1)第一層(Data)：輸入層。輸入為經(jīng)CSP變換后的特征矩陣,維度為M×N,M為電極數(shù)目,N為每一個電極上的特征點數(shù)。

(2)第二層(C1)：該層為卷積層,該層設(shè)置32個卷積核,卷積核的大小為1×50,卷積步長為1×2,使用ReLU激活函數(shù)。為了在特征篩選階段對CSP特征矩陣的特征進行進一步篩選,在這里不在電極的維度上進行卷積,僅在特征點的維度上進行卷積。

(3)第三層(C2)：該層為卷積層,主要是對第二層的特征圖進行進一步的卷積,提取相應(yīng)的特征。 該層也設(shè)置為32個卷積核,卷積核的大小為1×20,步長為1×2,使用ReLU激活函數(shù)。

(4)第四層(FC1)：該層為全連接層,神經(jīng)元的個數(shù)為1000個,作用是配合卷積層形成對腦電信號的分類。

(5)第五層(FC2)：該層也為全連接層,共有2個神經(jīng)元,代表了二分類問題。

網(wǎng)絡(luò)中各層的具體參數(shù)是由實驗擇優(yōu)確定。

在使用CNN對特征矩陣進行學(xué)習之后,為了對篩選特征的有效性進行驗證,對CNN中全連接層的權(quán)值進行分析。我們展示第4節(jié)運動想象實驗中的2號被試一個實驗結(jié)果,對CNN全連接層的權(quán)值進行可視化,可得到如4所示。2號被試的原始腦電數(shù)據(jù)大小為118*200,其中118代表118個電極,200代表每個電極上的采樣點數(shù)是200。經(jīng)過CSP變換后得到特征矩陣大小為118*200,再經(jīng)過CNN學(xué)習,圖4為全連接層對應(yīng)第二層卷積層輸出的權(quán)值連接圖像(所有卷積核求平均,具體算法在3.2節(jié)),維度為118*29(為了顯示效果,對圖片進行了橫向放置)。

從圖4中可以觀察到大的權(quán)值(亮的部分)主要集中在前4列和后2列,分別對應(yīng)CSP矩陣前4行和后2行特征。表明CSP矩陣的有效特征信息主要集中在這幾行。為了對比圖4中每一列的權(quán)值大小差異,分別對每一行的權(quán)值進行疊加平均,并繪制柱狀圖,如圖5所示。

由圖5觀察可得,亮度大的權(quán)值主要集中前面4列和后面2列,這說明有效的特征主要集中在CSP特征矩陣的頭部和尾部?？梢?對CSP處理后的特征矩陣進行有效選擇可以得到更加有效的特征。

圖4 CNN全連接層可視化圖像

圖5 CNN全連接層對應(yīng)CSP矩陣各行特征的平均權(quán)值大小

3.3 基于CNN權(quán)值矩陣特性的CSP特征篩選準則

我們知道對于CSP的特征矩陣ZM×N,有效的信息集中在矩陣的前m行和后m行,一般選擇2行或者3行特征,但是對于具體問題,m值的確定是個難點問題,定義準確求取m值方法是CSP技術(shù)發(fā)揮最佳性能的關(guān)鍵。因此,本文提出基于CNN的CSP特征篩選算法,主要思路為,將特征矩陣輸送到CNN中進行學(xué)習,進而提取其全連接層的權(quán)值,通過其權(quán)值大小的分布來判斷特征矩陣中哪些部分對分類更加有效果,從而對部分特征進行篩選。

具體步驟如下：

首先求得有益加權(quán)權(quán)值矩陣。設(shè)CNN中全連接層接受的輸入特征圖數(shù)量為s,特征圖的維度為n×l,且有t層全連接層,每一層全連接層分別用W1,W2,…,Wt表示,且節(jié)點數(shù)目為k1,k2,…,kt。第t層全連接層,有kt個節(jié)點,在二分類問題中,kt為2。

當t=1時,即只有1個全連接層,即W1(維度為[s×n×l，kt])可作為有益加權(quán)權(quán)值矩陣。

當t>1時,為求得最有效的權(quán)值矩陣,對每一層,我們以下一層權(quán)值為權(quán)重對該層權(quán)值進行加權(quán),即有如下公式：

W=W1×W2×…×Wt

(15)

則W的維度為[s×n×l,kt],其中s為最后一層卷積層的卷積核數(shù)量,且卷積出來的特征圖大小為n×l,kt為第t層的節(jié)點數(shù)目,因為二分類問題,kt為2,且[s×n×l,1]與[s×n×l,2]權(quán)值的趨勢變化是相反的。然后將得到的W矩陣的第2個維度的第1行進行重排列得到[s,n,l]大小的矩陣W′。

矩陣W′可以看成是s幅n×l權(quán)值圖像。我們對每一幅圖像都進行取絕對值操作,即求得一幅圖中所有值對平均值的偏差程度,這樣會使有效的權(quán)值包括正相關(guān)權(quán)值和負相關(guān)權(quán)值變?yōu)榇笾?而無效的權(quán)值會趨近于0。進而對矩陣W′的s幅圖像求平均得：

(16)

對矩陣T,便可以求得每一行的標準差,i的取值范圍是(1≤i≤n)：

(17)

(18)

P為一個列向量,表示CSP特征矩陣中每一行的偏差程度,偏差程度越大說明這一行的特征越明顯?？梢杂^察到CSP特征矩陣中的列向量P有如下特征,中間的值趨近于0,而兩邊值較大。

可以對P的大小進行排序并選取前m′行,使得P(i)≥φ(φ為閾值,我們認為偏差標準值的0.5為有效特征,因此取φ=0.5)。

對應(yīng)選擇CSP矩陣中m′行做為特征集F。

具體如算法1所示。

算法1 基于CNN的CSP特征篩選算法

對于CSP特征篩選的過程,首先將全部的CSP特征矩陣輸送到一個CNN中進行識別,得到收斂后的CNN網(wǎng)絡(luò)權(quán)值,運用CSP特征篩選算法,即可從CNN網(wǎng)絡(luò)權(quán)值的分布計算得到最優(yōu)的特征集。

4 實驗及結(jié)果分析

我們在公開數(shù)據(jù)集(BCI Competition Ⅲ的Data set IVa數(shù)據(jù)集)[25]的運動想象數(shù)據(jù)集上進行了方法測試,并與傳統(tǒng)CSP方法、sCSP方法和KLCSP方法進行比較。

4.1 實驗數(shù)據(jù)集

BCI Competition Ⅲ的Data set IVa數(shù)據(jù)集是由Fraunhofer FIRST、Intelligent Data Analysis Group (Klaus-Robert Müller, Benjamin Blankertz)和Campus Benjamin Franklin of the Charité-University Medicine Berlin, Department of Neurology, Neurophysics Group (Gabriel Curio)提供的一個公共數(shù)據(jù)集。

此數(shù)據(jù)集是從五個健康被試身上采集下來的。被試坐在舒適的椅子上,雙臂放在扶手上。被試需要觀察3.5 s的視覺提示,然后被試進行運動想象,想象的內(nèi)容為兩個類型中的一個：(R)右手運動,(F)右腳運動,然后被試進行1.75～2.25的休息。每名被試需要做280次重復(fù)實驗。

本數(shù)據(jù)集為含有118個電極的連續(xù)腦電,每名被試的訓(xùn)練集與測試集數(shù)量分布如表1所示。

表1 訓(xùn)練集與測試集數(shù)量分布表

4.2 數(shù)據(jù)預(yù)處理

為了與相應(yīng)研究中的數(shù)據(jù)處理方法保持一致,本實驗使用每次試驗開始后0.5到2.5 s的腦電信號數(shù)據(jù)作為一個樣本數(shù)據(jù)[26],然后使用8至30 Hz的單帶通濾波器對腦電數(shù)據(jù)進行濾波。最后,選取于運動想象任務(wù)相關(guān)的兩個頻帶mu(8～12 Hz)和beta(18～25 Hz)節(jié)律[27]。

4.3 CSP算法處理

對經(jīng)過預(yù)處理后的腦電數(shù)據(jù)通過CSP算法提取相應(yīng)的特征。具體操作如下。

首先將原始EEG數(shù)據(jù)按照類別進行分段。一次腦電實驗中的任務(wù)數(shù)據(jù)表示為一個矩陣D,D的維度為M×N,M為電極數(shù)目,N為電極上的采樣點數(shù)?？蓪根據(jù)類別分段為D1和D2,D1表示第一類樣本數(shù)據(jù),D2表示第二類樣本數(shù)據(jù)。

根據(jù)CSP算法的步驟,然后對D1和D2分別求得協(xié)方差矩陣的期望并進行加和,然后再進行正交白化變換并且同時對角化,計算投影矩陣并進行投影得到相關(guān)的特征矩陣ZM×N。

4.4 最優(yōu)特征集的驗證實驗及識別結(jié)果

為了驗證由基于CNN的CSP特征篩選算法提取出來的最優(yōu)特征集的識別效果,進行如下對比實驗。

首先測試全部被試分別在不同m值(即對稱選取CSP特征矩陣的頭部和尾部各m行,由CSP矩陣的性質(zhì),取1≤m≤10)的情況下的識別率,為了防止網(wǎng)絡(luò)的隨機初始化給網(wǎng)絡(luò)的識別率帶來影響,因此,對于每一個被試的每一個m值,訓(xùn)練并測試5次,算出識別率的平均值作為真正的識別率。

然后運用基于CNN的CSP特征篩選算法計算出每一個被試的最優(yōu)特征集。

得到特征集后,為了驗證本文方法篩選的特征的有效性,分別對應(yīng)于不同m值,選取相同數(shù)量的最優(yōu)特征作為特征集,并再次構(gòu)建CNN分類器對特征集進行分類識別。為了提高訓(xùn)練的效率,加快收斂速度,使用的CNN分類器與CNN學(xué)習過程的網(wǎng)絡(luò)參數(shù)大致相同,并且復(fù)用卷積核權(quán)值和全連接層對應(yīng)特征的權(quán)值作為初始值進行訓(xùn)練。

具體的識別率對比如圖6所示,下圖的內(nèi)容為不同被試在不同m值下的識別率。

由圖6可以觀察到,本文方法選擇出來的特征集,相比于原CSP算法直接提取特征矩陣前m行和后m行的方法,具有很好的分類識別性能,能夠達到更高的識別率。說明本文方法能夠有效優(yōu)選出最佳特征。由圖中還可以觀察到,本文方法選取的特征集得到識別率隨著特征數(shù)量的增多呈現(xiàn)先增加后減小的趨勢,這說明隨著有效特征數(shù)量的增多,識別性能不斷增加,但增加到一個程度,即較有效的特征已經(jīng)被篩選完畢,再增加特征只會增大系統(tǒng)的負擔,導(dǎo)致識別率的降低。

對五名被試的觀察可以發(fā)現(xiàn),前三名被試的識別率比較穩(wěn)定,而后兩名被試隨著特征數(shù)量的增多識別率降低較為明顯。我們推測是因為訓(xùn)練樣本數(shù)較少的緣故,第4名被試的訓(xùn)練集只有56個樣本,而第5名只有28個樣本,在這種情況,很容易出現(xiàn)訓(xùn)練集過擬合,而同時測試集識別率并不高的情況。由于每次訓(xùn)練設(shè)置的網(wǎng)絡(luò)初始值是隨機的,在網(wǎng)絡(luò)收斂后測試集的識別率會有較大波動。我們在實驗過程中觀察到被試4和5在特征較多的情況下出現(xiàn)訓(xùn)練集識別率達到100%而測試集識別率相差較大的情況。而低的識別率會拉低平均識別率,這就是被試4、5隨著特征數(shù)量的增多平均識別率出現(xiàn)較大下滑的原因。

圖6 五名被試在不同m值下特征經(jīng)過篩選和未經(jīng)過篩選情況下的識別率

對同一被試由基于CNN的CSP特征篩選算法選擇出來的最優(yōu)特征集所對應(yīng)的識別率基本上為最優(yōu)識別率,因此基于CNN的CSP特征篩選算法能夠有效優(yōu)選出最佳特征。

4.5 CNN與CSP相結(jié)合的腦電特征提取與識別方法的對比實驗及結(jié)果

為了驗證本方法的有效性,在BCI Competition Ⅲ 的 Data set IVa數(shù)據(jù)集上與一些其他方法進行對比實驗。本文方法與傳統(tǒng)CSP方法、sCSP方法[22]和KLCSP方法[23]進行比較,這些方法的識別結(jié)果均是根據(jù)文獻中的記錄而來。在數(shù)據(jù)訓(xùn)練的過程中,需要為每一名被試單獨訓(xùn)練一個模型,并通過此模型來統(tǒng)計對應(yīng)被試的識別率。

現(xiàn)將各方法的結(jié)果總結(jié)如表2所示。

可以看到,CNN與CSP相結(jié)合的腦電特征提取與識別方法相比經(jīng)典CSP以及其一些改進方法在識別率上有一定程度的提高。與sCSP方法和KLCSP方法相比,本文方法的平均識別準確率分別提升了3.2%和2.4%,且本方法使用了全部的原始數(shù)據(jù),未剔除任何不佳的樣本數(shù)據(jù)?？梢哉f明本文方法在對運動想象數(shù)據(jù)進行識別方面是有很好的效果。

表2 不同實驗方法識別率對比表

表3 BCI Competition III的競賽數(shù)據(jù)集IVa上的最好分類結(jié)果

此外,在BCI Competition III的競賽數(shù)據(jù)集IVa上的最好分類結(jié)果如表3所示。本文的特征提取和分類算的最優(yōu)結(jié)果為88.3%。與競賽的第二優(yōu)勝者識別率有5%的提高。雖不及排名第一的清華大學(xué)識別結(jié)果,但系統(tǒng)在采用的特征數(shù)量和系統(tǒng)復(fù)雜性方面具有很好的優(yōu)勢。

5 結(jié)論

本文提出了一種CNN與CSP相結(jié)合的腦電特征提取與識別方法。首先在經(jīng)過預(yù)處理的原始腦電信號上進行CSP空間變換得到相應(yīng)的特征矩陣；其次,構(gòu)建CNN網(wǎng)絡(luò)進行特征矩陣學(xué)習,獲得 CNN網(wǎng)絡(luò)全連接層的權(quán)值矩陣,并對其進行分析,定義了CSP矩陣特征篩選準則,得到了低維高效的EEG特征集F；最后,根據(jù)特征集F構(gòu)建一個CNN網(wǎng)絡(luò)分類器進行分類。本文方法在BCI2005Ⅳa競賽數(shù)據(jù)集上進行實驗,首先通過CSP特征篩選算法的驗證實驗觀察到得到的特征集F都是最優(yōu)的,從而驗證了算法選取的特征集的有效性。然后通過與其他方法的對比實驗發(fā)現(xiàn),相比于sCSP和KLCSP方法,本文所提出的方法平均識別準確率分別提升了3.2%和2.4%。而且,本方法使用了全部的原始數(shù)據(jù),未剔除任何不佳的樣本數(shù)據(jù),更加適用于腦機接口系統(tǒng)。本文方法結(jié)合了時間、空間的特征信息,而且引入了根據(jù)結(jié)果對特征進行二次選擇的新觀點,為腦電的特征提取問題提供了一個新的思路。

[1] Guger C, Allison B, Ushiba J. Recent Advances in Brain-Computer Interface Research—A Summary of the BCI Award 2015 and BCI Research Trends[M]∥Brain-Computer Interface Research. Springer International Publishing, 2017: 131-136.

[2] Holz E M, Botrel L, Kaufmann T, et al. Long-term independent brain-computer interface home use improves quality of life of a patient in the locked-in state: a case study[J]. Archives of physical medicine and rehabilitation, 2015, 96(3): S16-S26.

[3] Hsu W Y. Brain-computer interface: The next frontier of telemedicine in human-computer interaction[J]. Telematics and Informatics, 2015, 32(1): 180-192.

[4] Doud A J, Lucas J P, Pisansky M T, et al. Continuous three-dimensional control of a virtual helicopter using a motor imagery based brain-computer interface[J]. PloS one, 2011, 6(10): 263-296.

[5] Gao X, Xu D, Cheng M, et al. A BCI-based environmental controller for the motion-disabled[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 137-140.

[6] Xu N, Gao X, Hong B, et al. BCI competition 2003-data set IIb: enhancing P300 wave detection using ICA-based subspace projections for BCI applications[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 1067-1072.

[7] Bashar S K, Hassan A R, Bhuiyan M I H. Identification of motor imagery movements from eeg signals using dual tree complex wavelet transform[C]∥Advances in Computing, Communications and Informatics (ICACCI), 2015 International Conference on. IEEE, 2015: 290-296.

[8] Hassan A R, Bhuiyan M I H. A decision support system for automatic sleep staging from EEG signals using tunable q-factor wavelet transform and spectral features[J]. Journal of Neuroscience Methods, 2016, 271: 107-118.

[9] Boonnak N, Kamonsantiroj S, Pipanmaekaporn L. Wavelet transform enhancement for drowsiness classification in EEG records using energy coefficient distribution and neural network[J]. International Journal of Machine Learning and Computing, 2015, 5(4): 288.

[10]Li P, Wang X, Li F, et al. Autoregressive model in the Lp norm space for EEG analysis[J]. Journal of Neuroscience Methods, 2015, 240: 170-178.

[11]Fang Y, Chen M, Zheng X. Extracting features from phase space of EEG signals in brain-computer interfaces[J]. Neurocomputing, 2015, 151: 1477-1485.

[12]Hsu W Y. Assembling a multi-feature EEG classifier for left-right motor imagery data using wavelet-based fuzzy approximate entropy for improved accuracy[J]. International Journal of Neural Systems, 2015, 25(8): 1550037.

[13]Meyer M C, Janssen R J, van Oort E S B, et al. The quest for EEG power band correlation with ICA derived fMRI resting state networks[J]. Frontiers in Human Neuroscience, 2013, 7: 315.

[14]Dan'ko S G, Gracheva L V, Boǐtsova I A, et al. Induction of emotional states during oral reading of texts with different emotional valence and EEG power dynamics in frequency bands beta2 and gamma[J]. Fiziologiia Cheloveka, 2011, 37(5): 46.

[15]Zheng W L, Lu B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162-175.

[16]Fitzgibbon S P, DeLosAngeles D, Lewis T W, et al. Automatic determination of EMG-contaminated components and validation of independent component analysis using EEG during pharmacologic paralysis[J]. Clinical Neurophysiology, 2016, 127(3): 1781-1793.

[17]Burger C, van den Heever D J. Removal of EOG artefacts by combining wavelet neural network and independent component analysis[J]. Biomedical Signal Processing and Control, 2015, 15: 67-79.

[18]Koles Z J. The quantitative extraction and topographic mapping of the abnormal components in the clinical EEG[J]. Electroencephalography and Clinical Neurophysiology, 1991, 79(6): 440- 447.

[19]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441- 446.

[20]Koles Z J. The quantitative extraction and topographic mapping of the abnormal components in the clinical EEG[J]. Electroencephalography and Clinical Neurophysiology, 1991, 79(6): 440- 447.

[21]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441- 446.

[22]Samek W, Vidaurre C, Müller K R, et al. Stationary common spatial patterns for brain-computer interfacing[J]. Journal of Neural Engineering, 2012, 9(2): 026013.

[23]Arvaneh M, Guan C, Ang K K, et al. Optimizing spatial filters by minimizing within-class dissimilarities in electroencephalogram-based brain-computer interface[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(4): 610- 619.

[24]Lawrence S, Giles C L, Tsoi A C, et al. Face recognition: A convolutional neural-network approach[J]. Neural Networks, IEEE Transactions on, 1997, 8(1): 98-113.

[25]Dornhege G, Blankertz B, Curio G, et al. Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 993-1002.

[26]Ang K K, Chin Z Y, Wang C, et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b[J]. Frontiers in Neuroscience, 2012, 6(2): 268-275.

[27]McFarland D J, Miner L A, Vaughan T M, et al. Mu and beta rhythm topographies during motor imagery and actual movements[J]. Brain Topography, 2000, 12(3): 177-186.