謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業(yè)大學(xué)電子信息學(xué)院，陜西西安 710072)

基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)設(shè)計

謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業(yè)大學(xué)電子信息學(xué)院，陜西西安 710072)

現(xiàn)有的腦-機接口系統(tǒng)大都只基于單模式的腦電特征，系統(tǒng)能實現(xiàn)的功能非常有限，從而制約了腦-機接口系統(tǒng)的應(yīng)用。采用基于多種模式腦電信號（electroencephalogram，EEG）的腦-機接口技術(shù)來實現(xiàn)虛擬鍵鼠系統(tǒng)，使得被試可以利用自身的腦電信號控制鼠標(biāo)和鍵盤的操作。研究了腦-機接口中常用的3種腦電信號，分別是P300波、alpha波以及穩(wěn)態(tài)視覺誘發(fā)電位（steady state visual evoked potential，SSVEP），通過設(shè)計實驗成功的誘發(fā)出了被試相應(yīng)的特征腦電信號。利用SSVEP的腦電特征設(shè)計6頻率LED閃爍刺激的虛擬鼠標(biāo)系統(tǒng)，實現(xiàn)控制鼠標(biāo)光標(biāo)移動、單擊左鍵和單擊右鍵的任務(wù)；利用P300波的腦電特征設(shè)計6×6的字符矩陣虛擬鍵盤系統(tǒng)，實現(xiàn)字符輸入的任務(wù)；利用被試自主閉眼增強alpha波的腦電特征，實現(xiàn)鼠標(biāo)和鍵盤應(yīng)用切換的任務(wù)。研究了適宜這3種腦電特征的最佳測量電極組合及模式識別算法，使得對3種腦電信號的識別正確率均達到了85%以上。測試結(jié)果顯示，文中設(shè)計的基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)能有效地實現(xiàn)鼠標(biāo)控制以及鍵盤輸入的任務(wù)。

腦電信號；腦-機接口；虛擬鍵/鼠系統(tǒng)；機器學(xué)習(xí)；模式識別

腦-機接口(Brain-Computer Interface，BCI)是一種不依賴于大腦外周神經(jīng)與肌肉組成的正常輸出通路的腦-機通訊系統(tǒng)，是一種新型的人機交互系統(tǒng)，它在人體與計算機之間建立連接，利用從人腦采集到的腦電信號控制計算機或者其他外部電子設(shè)備從而實現(xiàn)人機交互。腦-機接口系統(tǒng)的研究使得大腦與外界直接進行交互成為可能，在醫(yī)學(xué)、智能控制和軍事等領(lǐng)域都有著廣泛的潛在應(yīng)用［1］。

隨著現(xiàn)代電子科技的發(fā)展，計算機、手機等電子設(shè)備已經(jīng)成為人們的生活和工作中不可缺少的工具，其中電子設(shè)備的拼寫器應(yīng)用研究是腦-機接口系統(tǒng)研究中的一個熱門方向。鼠標(biāo)和鍵盤是計算機必備的控制配件，現(xiàn)今很多拼寫器和光標(biāo)控制腦-機接口系統(tǒng)的功能單一，如僅能實現(xiàn)拼寫器或者光標(biāo)任務(wù)，且不能很好地和普通計算機結(jié)合，需要開發(fā)相應(yīng)的特殊應(yīng)用才能供用戶使用，增加了腦-機接口系統(tǒng)的研發(fā)成本，限制了腦-機接口應(yīng)用的推廣。而且，現(xiàn)有的腦-機接口系統(tǒng)大都只基于單模式腦電特征，系統(tǒng)能實現(xiàn)的功能很有限，限制了腦-機接口系統(tǒng)的應(yīng)用。多模式腦-機接口技術(shù)能大大提高現(xiàn)有腦-機接口系統(tǒng)的性能，提供更豐富的控制信號，但同時這也為BCI的研究帶來了新的挑戰(zhàn)，比如多模式腦-機接口系統(tǒng)的刺激范式的設(shè)計，多模式腦電信號的特征提取與識別分類等。這些方法的研究成果將促進腦-機接口技術(shù)的發(fā)展，為BCI走向?qū)嵱没蛳聢詫嵉睦碚摶A(chǔ)。

P300(也稱為P3b)是能反映高級認(rèn)知處理過程的一個內(nèi)源性成分，是事件相關(guān)電位中投入研究最多、應(yīng)用最廣、最引人注目的成分之一，這種信號峰值一般出現(xiàn)在相關(guān)事件發(fā)生后大約300ms的時刻。它是腦-機接口中經(jīng)常使用的一種信號，其幅值與相關(guān)事件出現(xiàn)概率成反相關(guān)。Farwell和Donchin研發(fā)出基于P300的腦-機接口P3Speller［2］，利用字符矩陣行列掃描的方式誘發(fā)P300電位，通過檢測P300實現(xiàn)字符的輸入，之后又有很多關(guān)于改進這個范式的相關(guān)研究［3］。穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)，是當(dāng)被試者注意特定頻率(3.5～75 Hz)閃爍的視覺刺激時，在腦中產(chǎn)生相應(yīng)的電位響應(yīng)變化，其振蕩頻率與閃爍基頻一致，有研究利用SSVEP信號設(shè)計的拼寫器［4］。alpha波是種自發(fā)腦電，通過眼部運動可以增大alpha波幅度或阻斷alpha波。根據(jù)這個機理，可以通過檢測alpha波來檢測人的睜眼和閉眼狀態(tài)，以實現(xiàn)信息的傳遞，具有典型例子的是通過檢查人在閉眼后alpha波幅度的升高來控制電子開關(guān)。由此，本文選取P300波實現(xiàn)用戶字符輸入，選取SSVEP波實現(xiàn)光標(biāo)控制，并利用alpha波實現(xiàn)字符輸入與光標(biāo)控制之間的狀態(tài)轉(zhuǎn)換。

根據(jù)以上研究背景，本文研究設(shè)計了基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)，使腦-機接口系統(tǒng)應(yīng)用多元化；研究實時腦電特征提取和模式識別方法，提高腦-機接口系統(tǒng)的信息傳輸率、降低系統(tǒng)的差錯率；研究最優(yōu)測量腦電信號的電極數(shù)目，降低系統(tǒng)成本和使用復(fù)雜度。結(jié)合相關(guān)模塊設(shè)計，通過實時分析頭皮上采集的腦電數(shù)據(jù)解碼人的主觀意愿，獲取大腦所發(fā)出的命令信息，轉(zhuǎn)換為外部設(shè)備的驅(qū)動信號，實現(xiàn)輸入字符，鼠標(biāo)移動以及單擊左右鍵任務(wù)，并使系統(tǒng)能夠很好地與普通計算機應(yīng)用結(jié)合。實驗結(jié)果表明，基于本文提出的虛擬鍵鼠系統(tǒng)可以有效的實現(xiàn)被試?yán)媚X電信號完成對鼠標(biāo)的控制以及完成鍵盤輸入的任務(wù)。

1　多種腦電特征提取及識別方法的研究與實現(xiàn)

1.1基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)

設(shè)計的總體方案

基于所采用的特征腦電P300波，SSVEP，alpha波的誘發(fā)機理和應(yīng)用需求，設(shè)計如下實驗方案進行實驗驗證，總體方案示意流程如圖1所示：

1)設(shè)計實驗范式

采用BCI2000編程實現(xiàn)字符掃描界面及FPGA編程實現(xiàn)LED視覺刺激界面。

2)腦電數(shù)據(jù)采集

采用EGI公司腦電采集放大器采集腦電數(shù)據(jù)，輸出至BCI2000平臺進行實時腦電數(shù)據(jù)的接收。

3)腦電信號處理

圖1　基于多種EEG特征的腦-機接口虛擬鍵鼠系統(tǒng)

在BCI2000平臺對源數(shù)據(jù)進行去噪，特征提取及模式識別以獲取被試者意愿。

4)驅(qū)動外設(shè)

將獲取的被試者意愿，通過計算機指令轉(zhuǎn)化為鍵鼠控制指令。

在該實驗范式下，P300波對應(yīng)虛擬鍵鼠任務(wù)，擴展屏幕上的6×6的字符矩陣隨機行列掃描加亮，誘發(fā)P300信號，識別出P300信號后即可得出目標(biāo)字符的行列坐標(biāo)，確定要輸入的字符，再驅(qū)動計算機虛擬摁鍵任務(wù)，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對應(yīng)鼠標(biāo)6種任務(wù)：光標(biāo)左上移動、光標(biāo)左下移動、光標(biāo)右上移動、光標(biāo)右下移動、單擊鼠標(biāo)左鍵、單擊鼠標(biāo)右鍵。LED閃爍會誘發(fā)對應(yīng)頻率SSVEP腦電波，提取出相關(guān)特征識別出此時SSVEP頻率，即可得到被試關(guān)注的LED燈，進而得到鼠標(biāo)任務(wù)，驅(qū)動計算機虛擬鼠標(biāo)任務(wù)完成相關(guān)鼠標(biāo)動作。被試還可以通過閉眼誘發(fā)alpha波增強來實現(xiàn)虛擬鼠標(biāo)任務(wù)和虛擬鍵盤任務(wù)之間的切換。

1.2多模式腦電信號的特征提取及識別方法與實現(xiàn)

被試在本文的實驗中將分為訓(xùn)練階段與測試階段，訓(xùn)練階段用以研究特征提取方案以及最優(yōu)化分類器參數(shù)，測試階段用以測試整個系統(tǒng)的性能。

1.2.1P300波的特征提取與識別方案

由于P300波是鎖時信號，對相位敏感，故首先將訓(xùn)練階段的數(shù)據(jù)信號用1～15 Hz無相移的帶通濾波器濾除其部分噪聲。之后截取刺激出現(xiàn)前0.1 s到刺激呈現(xiàn)后0.7 s的0.8 s的數(shù)據(jù)作為一個樣本，將該數(shù)據(jù)放入由黃廣斌在2003年提的出極限學(xué)習(xí)機(extreme learning machine，ELM)［5］中進行訓(xùn)練，以得到最優(yōu)的分類器參數(shù)。本實驗中，在訓(xùn)練階段，每個被試共有300個樣本，其中隨機選取150個樣本作為訓(xùn)練集，其余150個樣本作為測試集，并經(jīng)過交叉驗證以保證結(jié)果的可靠性。最終數(shù)據(jù)處理結(jié)果表明，當(dāng)設(shè)置極限學(xué)習(xí)機的網(wǎng)絡(luò)隱藏層為2 500個神經(jīng)元，激活函數(shù)為sigmoidal函數(shù)時，分類器性能最好，并在選取O1導(dǎo)聯(lián)時，達到最高的正確率。如圖2a)所示，將該算法與支持向量機(SVM)以及反向神經(jīng)網(wǎng)絡(luò)(BPNN)相比，正確率最高。

1.2.2alpha波的特征提取與識別方案

由于alpha波是在8～13 Hz的特征腦電信號，故將原始腦電數(shù)據(jù)經(jīng)過6～15 Hz的帶通濾波后分割成長度為2 s的數(shù)據(jù)段，每個被試共有160個數(shù)據(jù)段樣本，其中80個睜眼狀態(tài)樣本，80個閉眼狀態(tài)樣本，對每一樣本提取均方差，作為最終的特征，放入SVM分類器中進行分類。正確率如圖2b)所示，在選取O1導(dǎo)聯(lián)時，該方法對所有被試的分類正確率都可達到85%以上。

1.2.3SSVEP波的特征提取與識別方案

由于本文實驗設(shè)計的LED閃爍刺激的閃爍頻率為18～23 Hz，因此，本文采用10～30 Hz的帶通濾波器濾除信號的部分噪聲。在不同的時間尺度下，采用基于典型相關(guān)性分析(CCA)的特征提取方法［7］，將所得的特征用SVM進行分類，不同的電極組合的結(jié)果如圖2c)所示。綜上，本文選取CH35 (O1)，CH37(Oz)，CH39(O2)作為測量電極，對P300波，alpha波，SSVEP波進行測量。

圖2　3種特征腦電信號的識別正確率

2　基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)的設(shè)計和測試

2.1基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)設(shè)計

基于前文對不同腦電特征的誘發(fā)實驗設(shè)計和信號處理方法的研究，本文設(shè)計了一個基于多模式EEG的腦-機接口系統(tǒng)，實現(xiàn)虛擬鍵鼠功能。系統(tǒng)包括腦電采集帽和計算機，由腦電帽采集數(shù)據(jù)，計算機處理腦電波信號并實現(xiàn)相關(guān)虛擬鍵鼠應(yīng)用。本系統(tǒng)只需要在普通計算機上外接一個擴展屏幕即可實現(xiàn)。擴展屏幕的4個角和上下邊的中間均放置LED燈，燈位置如圖1所示，從左上角順時針順序閃爍頻率依次為20 Hz、18 Hz、22 Hz、23 Hz、19Hz以及21Hz。系統(tǒng)使用過程中，會在擴展屏顯示一個6×6的字符矩陣，作為虛擬鍵盤刺激界面誘發(fā)P300信號，如圖1中所示。腦電帽所用電極為O1、Oz、O2這3個電極。將采集到的信號傳輸至計算機，由計算機處理，最后驅(qū)動計算機的鍵盤任務(wù)和鼠標(biāo)任務(wù)。

計算機上安裝了BCI2000平臺，EGI腦電采集設(shè)備通過Netstation采集后傳輸至BCI2000。整個腦-機接口系統(tǒng)由BCI2000平臺控制和實現(xiàn)信號的接收、信號處理和應(yīng)用驅(qū)動。信號處理過程為腦電預(yù)處理、腦電特征提取和腦電模式識別。腦電預(yù)處理包括信號的降采樣、信號濾波。原始采集的腦電信號采樣率為1 000 Hz，降采樣至200 Hz。再根據(jù)要處理的不同特征進行不同的信號濾波。預(yù)處理好數(shù)據(jù)后先通過檢測alpha波識別是否切換任務(wù)，確定要提取特征的信號類型是P300還是SSVEP，再根據(jù)前文研究的特征提取及模式識別方法識別相關(guān)腦電特征。信號處理模塊使用MATLAB語言編寫。后根據(jù)信號的不同特征驅(qū)動相關(guān)任務(wù)。P300波對應(yīng)虛擬鍵鼠任務(wù)，擴展屏幕上的6×6的字符矩陣基于row/column(RC)行列掃描范式隨機行列掃描加亮，誘發(fā)P300信號，識別出P300信號后即可得出目標(biāo)字符的行列坐標(biāo)，確定要輸入的字符，再驅(qū)動計算機虛擬摁鍵任務(wù)，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對應(yīng)鼠標(biāo)6種任務(wù)：光標(biāo)左上移動、光標(biāo)左下移動、光標(biāo)右上移動、光標(biāo)右下移動、單擊鼠標(biāo)左鍵、單擊鼠標(biāo)右鍵。LED閃爍會誘發(fā)對應(yīng)頻率SSVEP腦電波，提取出相關(guān)特征識別出此時SSVEP頻率，即可得到被試關(guān)注的LED燈，進而得到鼠標(biāo)任務(wù)，驅(qū)動計算機虛擬鼠標(biāo)任務(wù)完成相關(guān)鼠標(biāo)動作。被試還可以通過閉眼誘發(fā)alpha波增強來實現(xiàn)虛擬鼠標(biāo)任務(wù)和虛擬鍵盤任務(wù)之間的切換。

2.2基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)的測試

根據(jù)前文的設(shè)計，如圖3所示，本文搭建了腦-機接口虛擬鍵鼠系統(tǒng)，并進行了測試。圖中左邊的顯示器為計算機的主顯示器，右邊顯示器為擴展屏幕。右邊顯示器上粘貼有6個LED燈，以不同的頻率閃爍，閃爍燈由屏幕旁邊的一個FPGA開發(fā)板控制。屏幕中央顯示基于P300的拼寫器虛擬鍵盤，由BCI2000平臺實現(xiàn)行/列加亮。實驗任務(wù)為被試在普通計算機桌面上新建文檔并打開文檔輸入字符。

圖3　腦-機接口虛擬鍵鼠系統(tǒng)測試實驗圖

實驗時給被試佩戴EGI公司的64導(dǎo)聯(lián)的腦電帽設(shè)備(BCI系統(tǒng)僅用3個導(dǎo)聯(lián)信號)，并讓其舒適地坐在電磁屏蔽室里顯示器前面。實驗設(shè)備信號采樣率設(shè)為1 000 Hz，參考電極為Cz。啟動BCI2000平臺，配置好相關(guān)參數(shù)后進行腦-機接口虛擬鍵盤系統(tǒng)測試實驗。在實驗過程中，被試成功地完成在桌面上點擊右鍵，移動鼠標(biāo)，新建一個文本文檔，并通過點擊右鍵選擇“打開”選項卡實現(xiàn)打開文檔，隨后在文檔內(nèi)輸入字符任務(wù)。根據(jù)實驗測試驗證，本系統(tǒng)能有效地在普通計算機上完成鼠標(biāo)和鍵盤任務(wù)。

3　結(jié) 論

本文利用SSVEP的腦電特征設(shè)計了6頻率LED閃爍刺激的虛擬鼠標(biāo)系統(tǒng)，實現(xiàn)控制鼠標(biāo)光標(biāo)移動、單擊左鍵和單擊右鍵的任務(wù)；利用P300波的腦電特征設(shè)計了6×6的字符矩陣虛擬鍵盤系統(tǒng)，實現(xiàn)字符輸入的任務(wù)；利用被試自主閉眼增強alpha波的腦電特征，實現(xiàn)了鼠標(biāo)和鍵盤應(yīng)用切換的任務(wù)。同時，研究了適宜這3種腦電特征的最佳測量電極組合及模式識別算法，使得對3種腦電信號的識別正確率均達到了85%以上。測試結(jié)果顯示，本文設(shè)計的基于多模式EEG的腦-機接口虛擬鍵鼠系統(tǒng)能有效地實現(xiàn)鼠標(biāo)控制以及鍵盤輸入的任務(wù)。

［1］ Wang Y，Chen S，Lin C.An EEG-Based Brain-Computer Interface for Dual Task Driving Detection［J］.Neurocomputing， 2014，129：85-93

［2］ Farwell L A，Donchin E.Talking off the Top of Your Head：Toward a Mental Prosthesis Utilizing Event-Related brain Potentials［J］.Electroencephalography and Clinical Neurophysiology，1988，70(6)：510-523

［3］ Marchetti M，Priftis K.Effectiveness of the P3-Speller in Brain-Computer Interfaces for Amyotrophic Lateral Sclerosis Patients：A Systematic Review and Meta-Analysis［J］.Frontiers in Neuroengineering，2014，7：12-14

［4］ Long J，Li Y，Yu T，et al.Target Selection with Hybrid Feature for BCI-Based 2-D Cursor Control［J］.IEEE Transactions on Biomedical Engineering，2012，59(1)：132-140

［5］ Huang G，Zhu Q，Siew C.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing.2006，70(1/2/3)：489-501

［6］ Lin Z，Zhang C，Wu W，et al.Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs［J］. IEEE Trans on Biomedical Engineering，2007，54(62)：1172-1176

A Hybrid BCI(Brain-ComPuter Interface)Based on Multi-Mode EEG for Words TyPing and Mouse Control

Xie Songyun，Liu Chang，Wu You，Zhang Juanli，Duan Xu
(Department of Electronics and Engineering，Northwestern Polytechnical University，Xi′an，710072，China)

The existing BCI systems are mostly based on single EEG(Electroencephalogram)feature；thus，the functions of these systems are very limited.A hybrid BCI system based on multi-mode EEG for words typing and mouse control has been designed in this paper.This paper studies three commonly used EEG features in BCIs， namely，P300，alpha waves and SSVEP.Three experiments are designed using software E-Prime to evoke the features.According to the different evoking experiments and signal processing methods，SSVEP is used to design 6 flashing LED virtual mouse to move the mouse cursor and click left key and right-click，P300 is used to design a virtual keyboard of 6x6 character matrix to input the characters.The switch of the mouse and keyboard application is controlled by the enhancement of the alpha wave through closing the eyes.The real-time processing method of the three EEG features that include data segment，signal preprocessing，feature extraction and pattern recognition has also been studied；this study makes the average accuracies of the recognition of these three EEGs attain more than 85%.Test results and their analysis showed preliminarily that the BCI system designed in this paper can effectively implement the mouse and keyboard input tasks.

back propagation，computer simulation，computer software，control，data acquisition，design，efficiency，feature extraction，field programmable gate arrays(FPGA)，light emitting diodes，MATLAB，matrix algebra，mean square error，neural networks，pattern recognition，real time systems，signal processing，support vector machines；BCI(Brain-Computer Interface)，EEG(electroencephalogram)， virtual keyboard，virtual mouse

TP391.4

A

1000-2758(2016)02-0245-05

2015-10-12基金項目：國家自然科學(xué)基金(61273250)、陜西省工業(yè)攻關(guān)項目(2015GY003)及西北工業(yè)大學(xué)研究生創(chuàng)業(yè)種子基金(Z2015112)資助

謝松云(1968—)，女，西北工業(yè)大學(xué)教授、博士生導(dǎo)師，主要從事神經(jīng)信息處理與腦認(rèn)知及動態(tài)目標(biāo)識別與跟蹤研究。