孟明 朱俊青 佘青山 馬玉良 羅志增

多類運動想象腦電信號的兩級特征提取方法

孟明1朱俊青1佘青山1馬玉良1羅志增1

共同空間模式(Common spatial pattern,CSP)是運動想象腦機接口(Brain-computer interface,BCI)中常用的特征提取方法,但對多類任務(wù)的分類正確率卻明顯低于兩類任務(wù).通過引入堆疊降噪自動編碼器(Stacked denoising autoencoders,SDA),提出了一種多類運動想象腦電信號(Electroencephalogram,EEG)的兩級特征提取方法.首先利用一對多CSP(One versus rest CSP,OVR-CSP)將腦電信號變換到使信號方差區(qū)別最大的低維空間,然后通過SDA網(wǎng)絡(luò)提取其中可以更好表達類別屬性的高層抽象特征,最后使用Softmax分類器進行分類.在對BCI競賽IV中Data-sets 2a的4類運動想象任務(wù)進行的分類實驗中,平均Kappa系數(shù)達到0.69,表明了所提出的特征提取方法的有效性和魯棒性.

腦機接口,特征提取,共同空間模式,堆疊降噪自動編碼器

DOI10.16383/j.aas.2016.c160122

通過大腦神經(jīng)活動來控制一些外部輔助設(shè)備(輪椅、服務(wù)機器人等),是使脊髓損傷、肌萎縮脊髓側(cè)索硬化、腦癱等嚴重神經(jīng)肌肉障礙患者在一定程度上恢復(fù)其交流和運動能力的有效途徑[1].腦機接口(Brain-computer interface,BCI)正是這樣一種不依賴人體神經(jīng)和肌肉組織的正常傳輸通路,而直接進行人腦與外界之間信息交流的新通道.人在進行不同肢體運動或想象時,在大腦皮層運動感知區(qū)會產(chǎn)生特定的自發(fā)性的腦電信號(Electroencephalogram,EEG)[2].運動想象型BCI通過捕捉和識別不同運動想象任務(wù)時的EEG,來實現(xiàn)大腦和外界的信息交換和控制.如何從高度復(fù)雜的運動想象EEG中提取出能有效識別運動任務(wù)的特征,對于BCI系統(tǒng)的性能至關(guān)重要.目前,共同空間模式(Common spatial pattern,CSP)及其改進方法是運動想象EEG分析中最有效的特征提取方法[3].

CSP是一種針對兩類運動想象EEG的處理算法,通過同時對角化兩個協(xié)方差矩陣構(gòu)建最優(yōu)濾波器來進行特征提取,在兩類運動想象任務(wù)問題上得到很高的分類準確率.李明愛等[4]運用CSP對BCI競賽II Data-sets III的兩類運動想象腦電數(shù)據(jù)得到的最優(yōu)正確率高達100%和98.57%;Zhang等[5]利用最優(yōu)空間譜濾波器網(wǎng)絡(luò)對CSP進行優(yōu)化,在BCI競賽IV Data-sets I數(shù)據(jù)集上得到最好的正確率達到96%.因此,許多研究者嘗試將CSP推廣到多類運動想象EEG分類問題上,提出基于CSP的改進算法,如一對多CSP(One versus rest CSP, OVR-CSP)[6]、一對一CSP(One versus one CSP, OVO-CSP)[7]等.但是,這些方法在多類運動想象任務(wù)識別問題上獲得的正確率卻遠低于兩類問題.這在一定程度上是由于對多類運動想象EEG來說,盡管CSP方法尋找使各類任務(wù)之間差別最大的空間濾波器進行投影,但得到的多類特征空間分布復(fù)雜,區(qū)分度較低,給后續(xù)的分類帶來困難.除了對CSP中的濾波器進行改進和優(yōu)化以外[8?9],從CSP特征中進一步提取任務(wù)區(qū)分度高的特征也是提高識別正確率的可行方向,最近興起的深度學習理論正是能夠?qū)崿F(xiàn)這一目的的有效方法.

堆疊降噪自動編碼器(Stacked denoising autoencoders,SDA)是一種典型的深度學習網(wǎng)絡(luò)模型,它模仿人類大腦機制來解釋數(shù)據(jù),通過組合低層特征形成更加抽象的高層次的特征表達,是一種自動提取表示屬性類別的高層樣本特征的方法[10].但是SDA是以半監(jiān)督方式自動學習數(shù)據(jù)的特征,如果原始數(shù)據(jù)過于復(fù)雜或者信噪比較低(例如腦電信號、自然圖像、語音信息等),SDA直接學習到的可能并不是與類別屬性緊密相關(guān)的特征,反而最終導(dǎo)致分類效果并不理想[11?13].而經(jīng)過CSP特征提取后, EEG的類別區(qū)分性得到提高,消除了部分干擾信息,為SDA提取更抽象的類別屬性提供了條件.為充分提取原始EEG數(shù)據(jù)中的有效特征,獲得更好的分類效果,本文結(jié)合OVR-CSP和SDA方法各自的優(yōu)勢,對于每個運動想象任務(wù)EEG,先使用OVRCSP進行變換,再將變換后的信號作為SDA的輸入信號進行高層次特征提取,構(gòu)成一個兩級的多類運動想象EEG特征提取方法,并利用BCI競賽IV中Data-sets 2a的數(shù)據(jù)進行了分類實驗驗證.

1 一對多共同空間模式

CSP是一種兩類空間濾波器,通過同時對角化兩個協(xié)方差矩陣,使得不同模式之間的EEG信號方差能夠最大化的區(qū)分開來.針對多類運動想象任務(wù)的需要,OVR-CSP是將CSP擴展到多類別分類的一種常用方法[7].它把其中一類模式當成一類,而余下的所有模式當成另外的一類,從而形成一個兩類的CSP,這樣依次對每一類模式計算對應(yīng)的CSP.

對于C類運動想象任務(wù)的特征提取,OVRCSP最后形成C個兩類CSP濾波器.記每個運動想象任務(wù)樣本的EEG分別為N×T維的矩陣Xi,i=1,···,C,其中N為通道數(shù),T表示每個通道的采樣點數(shù),則每一類想象任務(wù)信號的歸一化協(xié)方差矩陣為

式中,U0和∧分別為特征矢量矩陣和特征值對角陣.對U0和∧進行白化變換使方差均勻化,得到白化矩陣

然后采用經(jīng)典CSP算法，計算各個想象任務(wù)模式的空間濾波器.對于模式1為一類，其余C?1個模式為另一類的情況,記其中H1是白化矩陣.可以證明,如果S1可以被分解為則可以被分解為且有綜合以上各式,可得

從式(3)可以看出,變換后原協(xié)方差矩陣的特征值滿足和等于1,即在第1類信號的方差值最大的情況下其余所有模式信號的方差值最小.因此,可以選擇U1中前m個最大的特征值所對應(yīng)的特征向量來設(shè)計第1類模式的空間濾波器,此類模式下的投影方向可以表示為

其中,var(zp)表示Z中第p行分量的方差,得到向量F=[f1,···,fM]作為樣本的特征.

2 堆疊降噪自動編碼器

2.1 自動編碼器

自動編碼器(Autoencoders,AE)是根據(jù)人工神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)建立起來的特征表達網(wǎng)絡(luò),是深度學習的一個經(jīng)典模型[14].對于一個AE網(wǎng)絡(luò),如果使輸出結(jié)果等于輸入,那么可以通過訓練使得網(wǎng)絡(luò)對輸入進行重構(gòu),從而得到每一隱含層的權(quán)重.自然地,我們就得到了輸入的集中表達,因為學習過程中沒有使用樣本標簽,所以是屬于無監(jiān)督的方法.AE由輸入層、隱含層和輸出層組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 自動編碼器結(jié)構(gòu)Fig.1 The autoencoder architecture

AE的工作分為編碼和解碼兩個過程,其中編碼過程是輸入x到隱含層h的映射,表示為

其中,Sf是非線性激活函數(shù),常用Sigmoid函數(shù),即Sf(x)=1/(1+exp(?x)),參數(shù)集合記為θ={W,b}.解碼過程是函數(shù)將隱含層數(shù)據(jù)h映射回重構(gòu)y,表示為

其中,Sg是采用Sigmoid函數(shù)的非線性激活函數(shù),參數(shù)集合記為

在兩個參數(shù)集θ和θ′中,給權(quán)值矩陣W和W′增加限制,使其滿足W′=WT.然后利用訓練樣本數(shù)據(jù),通過最小化網(wǎng)絡(luò)的重構(gòu)誤差L(x,y)=‖x?y‖2,來找最優(yōu)參數(shù)

2.2 降噪自動編碼器

DAE是AE模型的一種變形,對AE的輸入數(shù)據(jù)x添加一定比例的噪聲,將污染了的數(shù)據(jù)作為編碼器的輸入進行訓練,調(diào)節(jié)參數(shù)使其能重新構(gòu)造出被修復(fù)的輸入數(shù)據(jù)[15].DAE的噪聲添加與重構(gòu)過程如圖2所示,首先利用隨機函數(shù)按一定的概率p,隨機地選擇輸入數(shù)據(jù)x的一些單元置0，余下的數(shù)據(jù)單元保持不變.再對添加了噪聲的數(shù)據(jù),根據(jù)式(6)～(8),訓練網(wǎng)絡(luò)使其能最大化地重構(gòu)原始數(shù)據(jù)x.

圖2 降噪自動編碼器加噪重構(gòu)過程Fig.2 The procedure of corrupting and reconstruction of DAE

由于DAE網(wǎng)絡(luò)要消除這些添加了噪聲的數(shù)據(jù)所受到的污染,重構(gòu)出沒有被污染的原始數(shù)據(jù),這就使得網(wǎng)絡(luò)可以學習到對輸入的魯棒表達方式,也說明DAE相比于一般的AE網(wǎng)絡(luò)其泛化能力更強.

2.3 堆疊降噪自動編碼器

把若干個DAE網(wǎng)絡(luò)堆疊在一起,就可以形成具有深度網(wǎng)絡(luò)結(jié)構(gòu)的SDA[10,16]，如圖3所示.SDA的每一層都將前一層的輸出作為干凈的輸入數(shù)據(jù),添加噪聲后作為被污染的數(shù)據(jù)進行訓練,從而使得每一層都是對輸入的一種特征表達.

圖3 堆疊降噪自動編碼器結(jié)構(gòu)Fig.3 The SDA architecture

SDA是一個特征提取器,通過訓練網(wǎng)絡(luò)得到原始輸入的不同表達,使高維數(shù)據(jù)壓縮成低維的數(shù)據(jù)表達,達到特征提取的目的.

3 基于OVR-CSP和SDA的兩級特征提取方法

結(jié)合OVR-CSP和SDA方法各自在特征提取上的特點,本文提出一種多類運動想象EEG兩級特征提取方法:1)將預(yù)處理后的數(shù)據(jù)通過CSP進行變換和特征提取;2)將得到的特征子集作為SDA網(wǎng)絡(luò)的輸入進行第2級的特征提取.由于SDA不具有分類能力,所以在SDA網(wǎng)絡(luò)特征提取后,選取Softmax分類器對運動想象任務(wù)進行分類.多類運動想象任務(wù)的EEG特征提取和分類的步驟如下:

步驟1.由于運動想象時的腦電特征主要體現(xiàn)在α節(jié)律與β節(jié)律,所以選用8～30Hz的Butterworth帶通濾波器對EEG進行預(yù)處理.

步驟2.對濾波后的訓練數(shù)據(jù)集,利用OVRCSP進行第1級特征提取.首先對C類運動想象任務(wù)構(gòu)建C個空間濾波器,每個濾波器的投影方向可以由式(4)求得,然后將訓練樣本向這C個投影模式方向上投影并按式(5)計算特征,從而得到降維的第1級特征向量F.

步驟3.將訓練數(shù)據(jù)集的第1級特征作為SDA網(wǎng)絡(luò)的輸入,運用Hinton等[17]提出的貪婪逐層訓練算法訓練網(wǎng)絡(luò),即把前一層的輸出添加噪聲之后作為后一層的輸入逐層訓練n層網(wǎng)絡(luò),計算網(wǎng)絡(luò)的參數(shù)集合θ={W,b}.

步驟4.在第n層網(wǎng)絡(luò)上添加Softmax分類器,作為網(wǎng)絡(luò)的第n+1層,對整個網(wǎng)絡(luò)通過有監(jiān)督學習的方式進行微調(diào).微調(diào)過程中運用反向傳播算法,將誤差從最后一層開始逐層向前進行傳遞,最小化誤差并更新網(wǎng)絡(luò)的參數(shù)集合.

步驟5.利用訓練好的網(wǎng)絡(luò)對測試數(shù)據(jù)進行分類.按步驟2提取測試數(shù)據(jù)集的第1級特征,然后輸入到步驟4中得到的SDA網(wǎng)絡(luò)中,對其進行二次特征提取并得出分類結(jié)果.

4 實驗及結(jié)果分析

4.1 實驗數(shù)據(jù)描述

本文采用的實驗數(shù)據(jù)來自2008年國際BCI競賽IV中的Data-sets 2a數(shù)據(jù)集[18],由奧地利格拉茨科技大學提供,包含9名受試者(編號A01～A09)的左手、右手、舌頭和足部動作這四類運動想象任務(wù).數(shù)據(jù)采集的實驗范式如圖4所示,在開始后的前2s中,受試者放松并舒適地坐在屏幕前方,屏幕顯示“+”符號;在2s結(jié)束時屏幕開始提供對應(yīng)表示四種任務(wù)的上下左右方向箭頭,受試者需要根據(jù)出現(xiàn)的箭頭方向做相應(yīng)的運動想象任務(wù),任務(wù)想象的時間為4s,即一直持續(xù)到第6s;接下來是一段時間的休息,受試者放松為下一組實驗做準備.每個受試者的實驗采集在兩天內(nèi)完成,每天采集6組,每組為48次運動想象數(shù)據(jù),所有數(shù)據(jù)被分為288個訓練樣本和288個測試樣本.

圖4 實驗范式時序圖[18]Fig.4 Timing scheme of the paradigm[18]

實驗共采集了25個通道的信號,其中22個通道為EEG,另外3個通道為眼電信號,均為以左乳突為參考、右乳突為地的單極信號.信號的采樣頻率為250Hz,并使用0.05～100Hz帶通濾波器和50Hz工頻陷波器進行濾波.競賽使用Kappa系數(shù)作為衡量分類準確率的標準,Kappa系數(shù)的計算方法為

其中,D為分類正確率,C為類別數(shù)目.

4.2 參數(shù)選取

在兩級特征提取中,需要確定第1級CSP特征提取時每類模式所選取的特征向量數(shù)目m,第2級高層特征提取時SDA網(wǎng)絡(luò)結(jié)構(gòu)和加噪水平等參數(shù),這些參數(shù)將直接影響特征提取的精度,并影響最終的分類正確率.本文采用訓練樣本數(shù)據(jù)10倍交叉驗證的方法來選取這些參數(shù).

每位受試者數(shù)據(jù)的分類正確率及全部受試者數(shù)據(jù)的分類正確率總體均值隨m變化的實驗結(jié)果如圖5所示.從圖5可以看出,隨著m值從2增大到20,各受試者數(shù)據(jù)的分類正確率都是按先逐漸增大,達到最大值后開始降低的趨勢變化.這個結(jié)果與文獻[19?20]中所述選取過多的特征值并不能提高分類正確率的論述相吻合.雖然各受試者數(shù)據(jù)的分類正確率有較大區(qū)別,但是正確率最大時所對應(yīng)的m值都在4～10之間.對于全部受試者數(shù)據(jù)的分類正確率總體均值,m=6時,平均正確率最高,考慮到算法對不同受試者的適應(yīng)性,本文選取最優(yōu)特征向量數(shù)m=6來對全部受試者數(shù)據(jù)構(gòu)建空間濾波器進行CSP特征提取.

圖5 取不同m值時的分類準確率Fig.5 Classifcation accuracies with various value ofm

分別選取不同隱含層層數(shù)和隱含層單元數(shù)進行實驗,為方便不同層數(shù)的比較,每個隱含層的單元數(shù)都取為24,平均Kappa值隨層數(shù)變化的結(jié)果如表1所示.可以看出,在隱藏層為4層情況下對所有受試者的平均Kappa系數(shù)值是最優(yōu)的.隨著層數(shù)的增加,網(wǎng)絡(luò)會變得的更加復(fù)雜,分類性能反而有明顯下降.確定隱含層數(shù)為4層進行隱含層單元數(shù)的比較,考慮降低特征維數(shù)和避免過擬合,除了各隱含層設(shè)置相同單元數(shù)外,還選取了各層隱含層單元數(shù)不同的網(wǎng)絡(luò)結(jié)構(gòu)進行實驗.三種典型組合結(jié)構(gòu)下的平均Kappa系數(shù)如表2所示,與隱含層層數(shù)相比,不同隱含層單元數(shù)的組合對平均Kappa系數(shù)影響不明顯.所以,選取網(wǎng)絡(luò)層數(shù)n=4,隱含層單元數(shù)為24-20-16-8,數(shù)據(jù)加噪水平p=0.1,進行SDA特征提取.

表1 平均Kappa系數(shù)隨隱含層層數(shù)的變化Table 1 Mean Kappa coefcient variation with the number of hidden layers

表2 平均Kappa系數(shù)隨隱含層單元數(shù)組合的變化Table 2 Mean Kappa coefcient variation with the combination of the number of units in the hidden layer

4.3 結(jié)果分析

應(yīng)用基于OVR-CSP和SDA的兩級特征提取方法在Data-sets 2a數(shù)據(jù)集上進行了四類運動想象任務(wù)分類測試實驗,表3給出了各受試者數(shù)據(jù)的分類結(jié)果,包括BCI競賽IV中在Data-sets 2a數(shù)據(jù)集上成績前三名的分類結(jié)果[21],以及采用OVOCSP/KNN方法的文獻[22]在同一數(shù)據(jù)集上的分類結(jié)果.

從表3可以看出,本文方法得到的全部受試者總體平均Kappa系數(shù)為0.69,高出競賽成績第1名0.12,相比結(jié)果稍優(yōu)的文獻[22]方法也有明顯提高.其中競賽第1名采用OVR方式將改進的濾波器組CSP擴展到多類,使用的分類器為樸素貝葉斯Parzen窗分類器[9,21].競賽第2名采用OVO-CSP提取特征后再用LDA方法進一步降維,使用貝葉斯分類器進行分類[7,21].競賽第3名采用CSP進行特征提取,利用SVM作為分類器構(gòu)建了三組兩層二叉樹多類分類器進行分類[21].從這五種方法結(jié)果的比較來看,OVO-CSP和OVR-CSP這兩種多類推廣方式的結(jié)果比較接近,但相比于分層二叉樹的方式有一定的優(yōu)勢.由于本文方法是在OVR-CSP基礎(chǔ)上又進行了一級的SDA特征提取,分類性能比只采用CSP特征的方法有明顯提高,總體Kappa系數(shù)均值提高約20%,在單個受試者上本文方法也表現(xiàn)出明顯優(yōu)勢,僅在A03受試者數(shù)據(jù)上得到的Kappa系數(shù)比其他方法略低一些.

表3 本文方法與BCI競賽前三名以及其他文獻方法的Kappa系數(shù)比較Table 3 Comparison of Kappa coefcient obtained from proposed method,frst three teams of the competition and other reference method

從表3中Kappa系數(shù)總體均值的標準差來看,本文方法得到的標準差為0.146,在五種方法中最小,雖然第3名的標準差為0.153,僅略高一點,但這是在較低的平均Kappa系數(shù)情況下得到的.說明本文方法對各個受試者數(shù)據(jù)的分類結(jié)果都比較穩(wěn)定,在達到較高的分類正確率的同時還具有較佳的魯棒性.盡管文獻[18]指出基于競賽數(shù)據(jù)的分類性能比較,會有隨機波動因素的影響,不能充分表明一個算法的性能優(yōu)劣.但表3中的綜合比較結(jié)果仍在很大程度上表明本文方法在多類運動想象EEG的特征提取上具有很好的性能.為進一步分析兩級特征提取方法的優(yōu)勢,本文對組合使用OVR-CSP與SDA的兩級特征提取方法與分別單獨使用OVR-CSP和SDA特征提取方法的分類性能進行了比較.實驗中,從數(shù)據(jù)集的288個訓練樣本中隨機選取192個作為訓練集,訓練SDA和分類器.分類測試使用兩個測試集,其一由余下的96個訓練樣本構(gòu)成,測試結(jié)果如圖6(a)所示;其二由從數(shù)據(jù)集的288個測試樣本中隨機選取的96個構(gòu)成,測試結(jié)果如圖6(b)所示.

從圖6(a)和圖6(b)可以看出,單獨使用SDA方法的結(jié)果明顯低于另外兩個方法,平均正確率略高于0.25,接近隨機分類的水平,說明SDA對于EEG的特征提取受到其復(fù)雜性的影響比較大,難以從中學習到與類別屬性相關(guān)的特征.當測試集為訓練樣本時,OVR-CSP和SDA的兩級方法在所有受試者數(shù)據(jù)上的分類結(jié)果上都比單獨OVR-CSP方法要好,這種優(yōu)勢尤其表現(xiàn)在受試者A02、A04和A06上.而當測試集來自測試樣本時,兩種方法的正確率都有所降低,但兩級方法仍要優(yōu)于單獨OVR-CSP方法,只有受試者A03的正確率較OVR-CSP略低.綜上所述,兩級特征提取方法明顯優(yōu)于單一的OVR-CSP以及SDA特征提取,第1級的CSP特征提取能夠得到使運動想象任務(wù)具有最大區(qū)別的特征,第2級的SDA網(wǎng)絡(luò)通過自學習更加抽象的類別表達,能提取更高層次的低維特征,使得分類正確率得到明顯提高.

圖6 三種方法的分類性能比較Fig.6 Comparison of classifcation performance of three methods

5 結(jié)論

從復(fù)雜的運動想象EEG中提取能夠很好表達運動意圖的特征是腦機接口系統(tǒng)的關(guān)鍵環(huán)節(jié),CSP類方法雖然在兩類想象任務(wù)分類問題中取得較好的結(jié)果,但對于多類任務(wù)卻難以達到較高的分類正確率.SDA網(wǎng)絡(luò)可以自動學習復(fù)雜的高層次特征,并通過對輸入添加噪聲使得網(wǎng)絡(luò)泛化能力增強.本文使用SDA網(wǎng)絡(luò)從由OVR-CSP變換得到的特征中提取更抽象的類別屬性特征,并采用Softmax分類器進行任務(wù)分類,構(gòu)建了多類EEG的兩級特征提取方法.該方法在BCI競賽IV中的Data-sets 2a數(shù)據(jù)集上對四類運動想象任務(wù)取得了較好的分類效果,同時相比于單獨的OVR-CSP和SDA方法,兩級方法的分類性能得到明顯提高,為多類運動想象腦機接口中的特征提取提供了一種新的思路.但本文方法在第1級CSP特征提取中,直接采用經(jīng)典方法求解空間濾波器,沒有結(jié)合運動想象EEG的特點進行濾波器的改進和優(yōu)化[8?9],同時在SDA網(wǎng)絡(luò)學習的微調(diào)步驟中運用反向傳播算法,會面臨局部最優(yōu)解的問題,這些問題可能是限制分類正確率進一步提高的原因.因此,CSP濾波器的改進與SDA參數(shù)集的優(yōu)化將是后續(xù)工作中的研究內(nèi)容.

1 Wang Xing-Yu,Jin Jing,Zhang Yu,Wang Bei.Brain control:human-computer integration control based on braincomputer interface.Acta Automatica Sinica,2013,39(3): 208?221 (王行愚,金晶,張宇,王蓓.腦控:基于腦-機接口的人機融合控制.自動化學報,2013,39(3):208?221)

2 Nicolas-Alanso L F,Corralejo R,Gomez-Pilar J,lvarez D,Hornero R.Adaptive stacked generalization for multiclass motor imagery-based brain computer interfaces.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2015,23(4):702?712

3 Aghaei A S,Mahanta M S,Plataniotis K N.Separable common spatio-spectral patterns for motor imagery BCI systems.IEEE Transactions on Biomedical Engineering,2016,63(1):15?29

4 Li Ming-Ai,Liu Jing-Yu,Hao Dong-Mei.EEG recognition of motor imagery based on improved CSP algorithm.Chinese Journal of Biomedical Engineering,2009,28(2):161?165 (李明愛,劉凈瑜,郝冬梅.基于改進CSP算法的運動想象腦電信號識別方法.中國生物醫(yī)學工程學報,2009,28(2):161?165)

5 Zhang H H,Chin Z Y,Ang K K,Guan C T,Wang C C.Optimum spatio-spectral fltering network for brain-computer interface.IEEE Transactions on Neural Networks,2011,22(1):52?63

6 Wu W,Gao X R,Gao S K.One-versus-the-rest(OVR)algorithm:an extension of common spatial patterns(CSP) algorithm to multi-class case.In:Proceedings of the 2005 IEEE Engineering in Medicine and the 27th Biology Annual Conference.Shanghai,China:IEEE,2006.2387?2390

7 Liu Guang-Quan,Huang Gan,Zhu Xiang-Yang.Application of CSP method in multi-class classifcation.Chinese Journal of Biomedical Engineering,2009,28(6):935?938 (劉廣權(quán),黃淦,朱向陽.共空域模式方法在多類別分類中的應(yīng)用.中國生物醫(yī)學工程學報,2009,28(6):935?938)

8 Zhang Y,Zhou G X,Jin J,Wang X Y,Cichocki A.Optimizing spatial patterns with sparse flter bands for motorimagery based brain-computer interface.Journal of Neuroscience Methods,2015,255:85?91

9 Ang K K,Chin Z Y,Wang C C,Guan C T,Zhang H H. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b.Frontiers in Neuroscience, 2012,6:39

10 Vincent P,Larochelle H,Lajoie I,Bengio Y,Manzagol P A. Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion.The Journal of Machine Learning Research,2010,11:3371?3408

11 Li J H,Struzik Z,Zhang L Q,Cichocki A.Feature learning from incomplete EEG with denoising autoencoder.Neurocomputing,2015,165:23?31

12 Geng Jie,Fan Jian-Chao,Chu Jia-Lan,Wang Hong-Yu.Research on marine foating raft aquaculture SAR image target recognition based on deep collaborative sparse coding network.Acta Automatica Sinica,2016,42(4):593?604 (耿杰,范劍超,初佳蘭,王洪玉.基于深度協(xié)同稀疏編碼網(wǎng)絡(luò)的海洋浮筏SAR圖像目標識別.自動化學報,2016,42(4):593?604)

13 Xu Shou-Jing,Han Li-Xin,Zeng Xiao-Qin.Natural images classifcation and retrieval based on improved SDA.Pattern Recognition and Artifcial Intelligence,2014,27(8):750?757 (徐守晶,韓立新,曾曉勤.基于改進型SDA的自然圖像分類與檢索.模式識別與人工智能,2014,27(8):750?757)

14 Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors.Nature,1986,323(6088):533?536

15 Vincent P,Larochelle H,Bengio Y,Manzagol P A.Extracting and composing robust features with denoising autoencoders.In:Proceedings of the 25th International Conference on Machine Learning.Helsinki,Finland:ACM,2008.1096?1103

16 Erhan D,Bengio Y,Courville A,Manzagol P A,Vincent P,Bengio Y.Why does unsupervised pre-training help deep learning?The Journal of Machine Learning Research,2010,11:625?660

17 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527?1554

19 Ramoser H,Muller-Gerking J,Pfurtscheller G.Optimal spatial fltering of single trial EEG during imagined hand movement.IEEE Transactions on Rehabilitation Engineering, 2000,8(4):441?446

20 Wang H X,Xu D.Comprehensive common spatial patterns with temporal structure information of EEG data:minimizing nontask related EEG component.IEEE Transactions on Biomedical Engineering,2012,59(9):2496?2505

21 Berlin Brain-Computer Interface.BCI competition IV-fnal results[Online],available:http://www.bbci.de,January 1,2016

22 Liu Chong,Yan Shi-Yu,Zhao Hai-Bin,Wang Hong.Study on multi-class motor imagery EEG classifcation based on KNN.Chinese Journal of Scientifc Instrument,2013,33(8): 1714?1720 (劉沖,顏世玉,趙海濱,王宏.多類運動想象任務(wù)腦電信號的KNN分類研究.儀器儀表學報,2013,33(8):1714?1720)

孟 明杭州電子科技大學副教授.主要研究方向為機器人智能控制,生物醫(yī)學信息處理和腦機接口.

E-mail:mnming@hdu.edu.cn

(MENG MingAssociate professor at Hangzhou Dianzi University.His research interest covers intelligent control of robot,biomedical information processing and brain-computer interface.)

朱俊青杭州電子科技大學自動化學院碩士研究生.主要研究方向為模式識別,腦機接口及相關(guān)應(yīng)用.

E-mail:141060042@hdu.edu.cn

(ZHU Jun-QingMaster student at the School of Automation,Hangzhou Dianzi University.His research interest covers pattern recognition and braincomputer interface and its applications.)

佘青山杭州電子科技大學副教授.主要研究方向為模式識別,生物醫(yī)學信號處理,腦機接口及相關(guān)應(yīng)用.

E-mail:qsshe@hdu.edu.cn

(SHE Qing-ShanAssociate professor at Hangzhou Dianzi University.His research interest covers pattern recognition,biomedical signal processing,and brain-computer interface and its applications.)

馬玉良杭州電子科技大學副教授.主要研究方向為模式識別,腦機接口技術(shù)和機器人智能控制.

E-mail:mayuliang@hdu.edu.cn

(MA Yu-LiangAssociate professor at Hangzhou Dianzi University.His research interest covers pattern recognition,brain-computer interface,and intelligent control of robot.)

羅志增杭州電子科技大學教授.主要研究方向為模式識別與智能系統(tǒng),康復(fù)機器人,生物信息檢測與處理.本文通信作者.E-mail:luo@hdu.edu.cn

(LUO Zhi-ZengProfessor at Hangzhou Dianzi University.His research interest covers pattern recognition and intelligent systems,rehabilitation robot,and detection and processing of biological information.Corresponding author of this paper.)

Two-level Feature Extraction Method for Multi-class Motor Imagery EEG

MENG Ming1ZHU Jun-Qing1SHE Qing-Shan1MA Yu-Liang1LUO Zhi-Zeng1

Common spatial pattern(CSP)is a popular method of feature extraction for motor imagery based braincomputer interface(BCI).However,the classifcation accuracy of multi-class tasks is obviously lower than that of twoclass tasks with CSP.By employing the stacked denoising autoencoders(SDA),a two-level feature extraction method for multi-class motor imagery electroencephalogram(EEG)is proposed.Firstly,one versus rest CSP(OVR-CSP)is adopted to convert EEG into low dimensional space in which the discrimination of signal variances is maximized.Then, SDA network is used to extract the higher level abstract features which can characterize the category attributes more efectively.Finally,the motor imagery tasks are classifed with Softmax classifer.In the classifcation experiment with four-class motor imagery tasks from Data-sets 2a of the BCI competition IV,this method achieves the average Kappa value of 0.69.The results show that the proposed method is efective and robust.

Brain-computer interface(BCI),feature extraction,common spatial pattern(CSP),stacked denoising autoencoders(SDA)

孟明,朱俊青,佘青山,馬玉良,羅志增.多類運動想象腦電信號的兩級特征提取方法.自動化學報,2016,42(12): 1915?1922

Meng Ming,Zhu Jun-Qing,She Qing-Shan,Ma Yu-Liang,Luo Zhi-Zeng.Two-level feature extraction method for multi-class motor imagery EEG.Acta Automatica Sinica,2016,42(12):1915?1922

2016-02-03 錄用日期2016-06-14

Manuscript received February 3,2016;accepted June 14,2016

國家自然科學基金(61671197,61372023),浙江省自然科學基金(LY 14F030023,LY15F010009)資助

Supported by National Natural Science Foundation of China (61671197,61372023)and Natural Science Foundation of Zhejiang Province(LY14F030023,LY15F010009)

本文責任編委程龍

Recommended by Associate Editor CHENG Long

1.杭州電子科技大學自動化學院智能控制與機器人研究所杭州3100 18

1.Institute of Intelligent Control and Robotics,School of Automation,Hangzhou Dianzi University,Hangzhou 310018