伏云發(fā) 郭衍龍 李松 熊馨 李勃 余正濤

基于SSVEP直接腦控機(jī)器人方向和速度研究

伏云發(fā)1郭衍龍1李松1熊馨1李勃1余正濤1

直接用思維意圖來(lái)控制機(jī)器人而沒有大腦外周神經(jīng)和肌肉的參與是人類的一個(gè)夢(mèng)想,目前這一研究已成為國(guó)際前沿?zé)狳c(diǎn)和突破點(diǎn).傳統(tǒng)的腦控機(jī)器人(Brain-controlled robot,BCR)主要控制其方向,而本文旨在探討能夠同時(shí)腦控機(jī)器人方向和速度的有效方法.采用可分類目標(biāo)數(shù)多、單次識(shí)別率高且訓(xùn)練時(shí)間短的穩(wěn)態(tài)視覺誘發(fā)電位(Steady state visual evoked potentials,SSVEP)腦機(jī)交互(Brain-computer/machine interaction,BCI/BMI)方法,為腦控機(jī)器人運(yùn)動(dòng)規(guī)劃了向左、向右、前進(jìn)和后退4個(gè)方向,設(shè)計(jì)了低速、中速和高速3級(jí)運(yùn)動(dòng)速度并組合了9個(gè)腦控指令;進(jìn)而比較并優(yōu)化了SSVEP刺激目標(biāo)布局間距以及刺激目標(biāo)閃爍時(shí)間,采用典型相關(guān)分析(Canonical correlation analysis,CCA)進(jìn)行識(shí)別.結(jié)果表明恰當(dāng)設(shè)置SSVEP刺激目標(biāo)數(shù)及其布局間距和刺激目標(biāo)閃爍時(shí)間,可以有效提高被試/用戶直接腦控機(jī)器人的性能;優(yōu)化的SSVEP刺激范式三結(jié)合適應(yīng)SSVEP解碼的典型相關(guān)分析,8名被試腦控機(jī)器人到達(dá)終點(diǎn)平均用時(shí)為2分40秒,最少用時(shí)1分29秒;同時(shí),在腦控機(jī)器人運(yùn)動(dòng)過(guò)程中觸碰障礙平均次數(shù)為0.88,最少碰觸次數(shù)為0.本研究顯示基于SSVEP的腦機(jī)交互可以作為直接腦控機(jī)器人靈活運(yùn)動(dòng)的一種可選方法,能夠?qū)崿F(xiàn)對(duì)機(jī)器人多個(gè)運(yùn)動(dòng)方向和多級(jí)速度的控制;也證實(shí)了適當(dāng)增加刺激目標(biāo)間距可以有效提高SSVEP-BCI腦控指令識(shí)別的正確率,說(shuō)明了該腦控方法的性能與刺激被試的范式有關(guān);再次驗(yàn)證了CCA算法在基于SSVEP的腦機(jī)交互中具有優(yōu)良的效果.最后,為克服單一SSVEP范式存在的局限,本研究也嘗試把該范式與運(yùn)動(dòng)想象相結(jié)合的混合范式用于腦控機(jī)器人方向和速度,并進(jìn)行了初步的研究,表明可以進(jìn)一步改善控制速度和提高被試舒適度.本文可望為基于SSVEP或與運(yùn)動(dòng)想象混合的腦機(jī)交互應(yīng)用于分級(jí)或精細(xì)控制機(jī)器人方向和速度提供思路,并為直接腦控機(jī)器人技術(shù)推向?qū)嶋H應(yīng)用打下一定的基礎(chǔ).

腦控機(jī)器人,穩(wěn)態(tài)視覺誘發(fā)電位,典型相關(guān)分析,腦–機(jī)交互,混合腦機(jī)接口

腦機(jī)接口/腦機(jī)交互 (Brain-computer/machine interaction,BCI/BMI)是繞過(guò)大腦外周神經(jīng)和肌肉的參與,由腦信號(hào)實(shí)現(xiàn)大腦與外部設(shè)備直接的通信和控制[1?2],其在機(jī)器人控制領(lǐng)域的一個(gè)重要應(yīng)用是腦控機(jī)器人(Brain-controlled robot, BCR)技術(shù)[3?6],即用感知、思維意圖控制機(jī)器人的研究.該研究是腦科學(xué)、信息科學(xué)與控制科學(xué)交叉跨學(xué)科研究,目前已成為國(guó)際重大前沿突破點(diǎn).這一技術(shù)不僅可望戰(zhàn)略性地用于國(guó)防軍事目的,也可望為嚴(yán)重運(yùn)動(dòng)殘疾患者提供一種新的通信和控制通道[2],從而改善他們的生活質(zhì)量;更可望在特殊情況下為健康用戶提供腦控機(jī)器人或外部設(shè)備[3,7],也提高他們生活的質(zhì)量.

傳統(tǒng)的腦控機(jī)器人研究主要實(shí)現(xiàn)對(duì)機(jī)器人簡(jiǎn)單的方向控制,難于實(shí)現(xiàn)對(duì)其速度的控制[3,8].但在實(shí)際應(yīng)用中,需要實(shí)現(xiàn)對(duì)其方向的靈活控制,也需要實(shí)現(xiàn)對(duì)其速度的靈活控制,這些需求提出了一個(gè)很大的挑戰(zhàn).已有基于運(yùn)動(dòng)想象(Motor imagery, MI)腦電的腦機(jī)交互范式多數(shù)是簡(jiǎn)單的運(yùn)動(dòng)想象模式[9?10],僅提供小的指令集,難于滿足機(jī)器人靈活運(yùn)動(dòng)對(duì)多個(gè)方向和多級(jí)速度的控制需求;而復(fù)雜運(yùn)動(dòng)想象模式的腦功能機(jī)制及其信號(hào)特征尚沒有得到充分的研究[11],因此對(duì)復(fù)雜運(yùn)動(dòng)想象模式的識(shí)別精度低,目前也難于提供大指令集[12?13].此外,實(shí)用的腦控機(jī)器人系統(tǒng)應(yīng)滿足大多數(shù)用戶需要較少的或不需要訓(xùn)練就能夠?qū)崿F(xiàn)操控.然而,基于運(yùn)動(dòng)想象模式的腦機(jī)交互性能在被試內(nèi)(同一被試運(yùn)動(dòng)想象的能力和其狀態(tài)隨時(shí)間而變化)和被試間(不同個(gè)體運(yùn)動(dòng)想象的能力)的變異性較大,研究表明存在嚴(yán)重的BCI盲問題[14?16].

除了上述基于運(yùn)動(dòng)想象的腦機(jī)交互外,基于P300的腦機(jī)交互雖然其識(shí)別目標(biāo)數(shù)可以超過(guò)30個(gè),但是為保證識(shí)別精度需要至少2個(gè)重復(fù)次數(shù),難于做到單次識(shí)別[17],腦控機(jī)器人運(yùn)動(dòng)的實(shí)時(shí)性會(huì)受到限制.相比上述兩種范式,基于SSVEP的腦機(jī)交互不僅可識(shí)別的目標(biāo)數(shù)多(可超過(guò)40個(gè))[18],能夠提供大指令集(即可提供更多精細(xì)的運(yùn)動(dòng)控制指令),以滿足腦控機(jī)器人靈活運(yùn)動(dòng)對(duì)方向和速度的分級(jí)控制;而且該類腦機(jī)交互需要被試較少的適應(yīng)性訓(xùn)練[19].為此,本研究擬采用基于SSVEP的腦機(jī)交互方法直接腦控機(jī)器人的方向和速度,比較普遍適用于字符輸入的該范式[18?19],為有效用于腦控機(jī)器人接口,將根據(jù)機(jī)器人靈活運(yùn)動(dòng)對(duì)方向和速度的要求,優(yōu)化此范式的設(shè)計(jì)及控制策略,恰當(dāng)設(shè)置SSVEP刺激目標(biāo)數(shù)及其布局;然后結(jié)合優(yōu)化的刺激范式,采用適用于SSVEP解碼的典型相關(guān)分析(Canonical correlation analysis,CCA)方法[20].

此外,為克服SSVEP存在的局限,本文也對(duì)SSVEP與MI相結(jié)合腦控機(jī)器人方向和速度進(jìn)行了初步的研究.本文可望為基于SSVEP或與MI混合的腦機(jī)交互用于腦控機(jī)器人復(fù)雜靈活運(yùn)動(dòng)的研究和應(yīng)用提供啟發(fā),并為推動(dòng)直接腦控機(jī)器人技術(shù)走向?qū)嶋H應(yīng)用打下一定的基礎(chǔ).

1 直接腦控機(jī)器人測(cè)試平臺(tái)及任務(wù)

直接腦控機(jī)器人系統(tǒng)如圖1所示,該圖表明了大腦、計(jì)算機(jī)和機(jī)器人之間的關(guān)系,由神經(jīng)反饋和其他反饋構(gòu)成閉環(huán)控制系統(tǒng).

圖1 直接腦控機(jī)器人系統(tǒng)Fig.1 Direct brain-controlled robot system

為測(cè)試基于SSVEP腦機(jī)接口/腦機(jī)交互直接腦控機(jī)器人的性能,本實(shí)驗(yàn)研究采用2015年第二屆中國(guó)腦–機(jī)接口比賽官方提供的腦控機(jī)器人測(cè)試平臺(tái),如圖2(a)所示[21].直接腦控機(jī)器人的任務(wù)是:從起點(diǎn)出發(fā),繞過(guò)障礙物,最終達(dá)到終點(diǎn),該測(cè)試平臺(tái)自動(dòng)記錄用時(shí)以及觸碰障礙物次數(shù)(每碰撞一次懲罰5秒).腦控機(jī)器人控制指令由13個(gè)字符組成,腦機(jī)交互(BCI)系統(tǒng)可以通過(guò)指令控制機(jī)器人的運(yùn)動(dòng)方向(如前進(jìn)、后退、左轉(zhuǎn)和右轉(zhuǎn))和運(yùn)動(dòng)速度(例如可以是低速、中速和高速三種模式),機(jī)器人通過(guò)指令獲得初始速度后會(huì)由于阻力等因素的影響,運(yùn)動(dòng)速度在較短時(shí)間內(nèi)逐漸減小到0[21].測(cè)試平臺(tái)與BCI系統(tǒng)之間通信采用客戶端/服務(wù)器結(jié)構(gòu),如圖2(b)所示,測(cè)試平臺(tái)為服務(wù)器端,BCI系統(tǒng)為客戶端,通過(guò)TCP/IP進(jìn)行連接.

2 實(shí)驗(yàn)研究的材料和方法

2.1 實(shí)驗(yàn)被試、腦電采集設(shè)備及參數(shù)

實(shí)驗(yàn)被試:共8個(gè)被試(Subject,S1～S8),5名男性,3名女性,年齡在23～27歲之間,健康狀況良好,視力正常或已矯正,對(duì)實(shí)驗(yàn)研究均知情同意. 腦電采集設(shè)備采用博?？悼萍加邢薰?(Neuracle)的 32通道無(wú)線腦電采集系統(tǒng)(包括腦電帽、無(wú)線腦電放大器以及無(wú)線路由器). 采樣頻率設(shè)置為 250Hz,記錄電極為Pz、P3、P4、PO3、PO4、PO7、O1、Oz、O2、PO8以及參考電極Cz,接地電極為FPz,導(dǎo)聯(lián)位置符合國(guó)際10-20標(biāo)準(zhǔn),實(shí)驗(yàn)中保持電極阻抗在5k歐姆以下.

圖2 腦控機(jī)器人測(cè)試平臺(tái)及腦控機(jī)器人系統(tǒng)客戶/服務(wù)器結(jié)構(gòu)Fig.2 The test platform and client/server architecture for brain-controlled robot system

2.2 基于SSVEP腦機(jī)交互范式和腦控機(jī)器人策略

2.2.1 基于SSVEP腦機(jī)交互范式

SSVEP腦機(jī)交互范式利用Matlab的Psychtoolbox(PTB)工具箱實(shí)現(xiàn).采用刷新率60幀/秒的液晶顯示器,分辨率設(shè)置為1366×768(像素).刺激目標(biāo)由大小為150×150(像素)的9個(gè)方塊組成,如圖3所示.每個(gè)刺激目標(biāo)由特定頻率調(diào)制,本實(shí)驗(yàn)中,刺激目標(biāo)從左至右,從上至下的閃爍頻率分別為[8 12 9 13 9.5 10 14 10.5 15]Hz.實(shí)驗(yàn)開始時(shí),刺激界面首先靜止呈現(xiàn)3秒,3秒后9個(gè)刺激目標(biāo)分別以上述頻率閃爍.

圖3 SSVEP腦機(jī)交互刺激范式一Fig.3 The first SSVEP-based BCI stimulation paradigm

2.2.2 腦控機(jī)器人策略

為有效完成第1節(jié)中直接腦控機(jī)器人測(cè)試平臺(tái)中要求的任務(wù):靈活的方向和速度控制,一種策略是對(duì)圖3中的9個(gè)刺激目標(biāo)分別設(shè)置適當(dāng)?shù)目刂茩C(jī)器人方向和速度的指令,如表1所示.其中,指令串中“BCI”為控制命令頭;用戶標(biāo)識(shí)“ID”:01～99;開關(guān)標(biāo)識(shí)“CA”:0000～3333,其中不同位代表不同方向的運(yùn)動(dòng),0、1、2、3分別代表0速,低速,中速及高速[21].

表1 一種腦控機(jī)器人策略:SSVEP腦機(jī)交互刺激范式刺激目標(biāo)對(duì)應(yīng)的腦控制指令Table 1 A strategy for brain-controlled robot:control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigm

2.3 基于SSVEP腦機(jī)交互范式優(yōu)化

對(duì)于第2.2節(jié)的SSVEP腦機(jī)交互刺激范式,9個(gè)刺激目標(biāo)的布局和它們的間距可能影響分類識(shí)別率.為了尋找更有效的控制,本研究設(shè)計(jì)了三種不同的刺激范式,如圖3、圖4(a)和圖4(b)所示.三種刺激范式的差別在于刺激目標(biāo)之間的間隔.其中,范式一刺激目標(biāo)之間的間距為10;范式二刺激目標(biāo)之間的間距為100;范式三刺激目標(biāo)之間水平間距為428,垂直間距為198.本實(shí)驗(yàn)中,三種范式刺激(Trials)呈現(xiàn)時(shí)間均設(shè)置為3秒,視覺轉(zhuǎn)移時(shí)間(即每個(gè)Trial之間的間隔時(shí)間)設(shè)置為1.5秒,固定腦控機(jī)器人測(cè)試平臺(tái)環(huán)境(圖2(a)),每個(gè)被試在三種刺激范式下分別進(jìn)行3次腦控制機(jī)器人實(shí)驗(yàn),測(cè)試結(jié)果見第3節(jié)實(shí)驗(yàn)結(jié)果部分的表2.

在上述實(shí)驗(yàn)過(guò)程中,發(fā)現(xiàn)刺激目標(biāo)的刺激呈現(xiàn)時(shí)間會(huì)影響被試的正確識(shí)別率.為驗(yàn)證這一發(fā)現(xiàn),基于圖3、圖4(a)和圖4(b)所示刺激范式下做如下實(shí)驗(yàn)每個(gè)被試對(duì)同一種刺激范式進(jìn)行4組測(cè)試,每組30個(gè)Trials,每個(gè)Trial之間的注意力轉(zhuǎn)移時(shí)間Ts均為1.5秒,不同的是4組測(cè)試的刺激時(shí)間Td (即刺激目標(biāo)閃爍時(shí)間)分別為1秒、2秒、3秒及4秒.每組實(shí)驗(yàn)前,利用VC++從9個(gè)字符串控制指令“低速前進(jìn)”、“中速前進(jìn)”、“高速前進(jìn)”、“低速后退”、“中速后退”、“低速左轉(zhuǎn)”、“中速左轉(zhuǎn)”、“低速右轉(zhuǎn)”、“中速右轉(zhuǎn)”中隨機(jī)產(chǎn)生30個(gè)Trials.實(shí)驗(yàn)時(shí),在一個(gè)Trial結(jié)束下一個(gè)Trial開始前,由一名輔助人員依次喊出VC++隨機(jī)生成的控制指令,被試隨即注視控制指令對(duì)應(yīng)的刺激目標(biāo),在Td結(jié)束后,系統(tǒng)將結(jié)果反饋呈現(xiàn)給被試,反饋的刺激目標(biāo)背景變?yōu)榧t色(如圖3),呈現(xiàn)0.5秒,同時(shí),另一名輔助人員記錄每個(gè)Trial反饋的結(jié)果.每組實(shí)驗(yàn)之間有3分鐘休息時(shí)間.實(shí)驗(yàn)結(jié)果見第3節(jié)實(shí)驗(yàn)結(jié)果部分的表3～表5.本實(shí)驗(yàn)不連接腦控機(jī)器人測(cè)試平臺(tái),僅實(shí)驗(yàn)被試在三種刺激范式設(shè)置下的識(shí)別精度,以優(yōu)化SSVEP刺激范式.

圖4 SSVEP腦機(jī)交互刺激范式二和范式三Fig.4 The second and the third SSVEP-based BCI stimulation paradigm

2.4 典型相關(guān)分析(CCA)

典型相關(guān)分是一種最大化兩類相似性的空間濾波器.Lin等首先將CCA應(yīng)用于基于SSVEP的腦–機(jī)接口系統(tǒng)中[22].一般而言,我們把Bin等提出的方法稱為標(biāo)準(zhǔn)CCA(Standard CCA)[20].

在采用CCA方法處理腦電圖(Electro encephalograph,EEG)數(shù)據(jù)時(shí),我們?cè)O(shè)C、N、Nh、fs分別表示EEG通道數(shù)、時(shí)間點(diǎn)數(shù)、諧波數(shù)和采樣頻率,記為實(shí)驗(yàn)采集到的C導(dǎo)EEG數(shù)據(jù),為模板信號(hào),f為刺激頻率,則定義如下:

式(2)中尋找最優(yōu)問題可通過(guò)廣義特征值的分解來(lái)解決,這樣對(duì)于特定的刺激頻率f可以得到一個(gè)相關(guān)性最大的值ρ(f).

基于SSVEP的腦–機(jī)接口系統(tǒng)中,如果有m個(gè)刺激目標(biāo),其閃爍頻率為f1,f2,···,fm(f1＜f2＜···＜fm),那么需要找到一種方法使得系統(tǒng)能夠識(shí)別出被試凝視的刺激目標(biāo),CCA便是一種有效的方法[20].所有的刺激頻率均可以通過(guò)式(2)計(jì)算得到其ρ(f)(f=f1,f2,···,fm),那么目標(biāo)頻率ftarget可通過(guò)式(3)得到:

那么,我們將得到的ftarget認(rèn)為是被試注視的目標(biāo)刺激頻率.

2.5 基于SSVEP腦機(jī)交互直接腦控機(jī)器人系統(tǒng)結(jié)構(gòu)

綜合上述方法,本實(shí)驗(yàn)構(gòu)建的基于SSVEP腦機(jī)交互直接腦控機(jī)器人系統(tǒng)結(jié)構(gòu)如圖5所示,為同步工作方式.其中包括SSVEP刺激范式呈現(xiàn)屏幕及解碼計(jì)算機(jī)、腦控機(jī)器人測(cè)試平臺(tái)、腦電帽及無(wú)線腦電放大器和無(wú)線路由,它們之間的信息交互均通過(guò)無(wú)線路由器.實(shí)驗(yàn)前查看并設(shè)置解碼計(jì)算機(jī)、機(jī)器人測(cè)試平臺(tái)及無(wú)線腦電放大器的IP地址,確保解碼計(jì)算機(jī)與腦控機(jī)器人測(cè)試平臺(tái)、無(wú)線腦電放大器之間實(shí)時(shí)通訊.基于SSVEP腦機(jī)交互直接腦控機(jī)器人方向和速度的過(guò)程如下:解碼計(jì)算機(jī)啟動(dòng)腦機(jī)接口/腦機(jī)交互程序(客戶端),屏幕呈現(xiàn)SSVEP刺激范式,腦控機(jī)器人測(cè)試平臺(tái)(服務(wù)器端)連入客戶端并開始計(jì)時(shí),被試觀察并規(guī)劃?rùn)C(jī)器人運(yùn)動(dòng)路徑,然后注視與期望運(yùn)動(dòng)方向和速度相對(duì)應(yīng)的刺激目標(biāo),同時(shí)無(wú)線腦電放大器將采集到的腦電信號(hào)(模擬信號(hào))轉(zhuǎn)換成數(shù)字信號(hào)經(jīng)無(wú)線路由同步(時(shí)間精度小于1毫秒)發(fā)送至客戶端,解碼計(jì)算機(jī)分析接收到的腦電信號(hào)并將識(shí)別結(jié)果呈現(xiàn)在屏幕上(如圖3),被識(shí)別的刺激目標(biāo)背景變?yōu)榧t色,呈現(xiàn)0.5秒,同時(shí)與之對(duì)應(yīng)的控制指令經(jīng)無(wú)線路由發(fā)送至服務(wù)器端,從而實(shí)現(xiàn)對(duì)機(jī)器人運(yùn)動(dòng)方向和速度的分級(jí)控制.實(shí)驗(yàn)中,被試根據(jù)機(jī)器人的運(yùn)動(dòng)狀態(tài)、位置以及周邊的障礙,規(guī)劃下一步運(yùn)動(dòng)路徑和控制策略,然后再次注視相應(yīng)的刺激目標(biāo),如此,反復(fù)操控SSVEP-BCI系統(tǒng),最終使機(jī)器人到達(dá)目標(biāo)位置(用時(shí)越短越好,碰觸障礙數(shù)目越少越好).

圖5 基于SSVEP腦機(jī)交互直接腦控機(jī)器人系統(tǒng)結(jié)構(gòu)Fig.5 The structure of SSVEP-based BCI directly brain-controlled robot

2.6 一個(gè)初步研究:SSVEP與MI相結(jié)合腦控機(jī)器人方向和速度

2.6.1 控制策略

直接腦控機(jī)器人的安全性非常重要,其方向的控制更多地涉及到安全問題,被試/用戶需要根據(jù)障礙或轉(zhuǎn)向需求,及時(shí)控制機(jī)器人的方向.考慮到SSVEP實(shí)現(xiàn)控制的速度比想象運(yùn)動(dòng)慢,我們采用SSVEP與運(yùn)動(dòng)想象相結(jié)合的多模態(tài)方法,該混合/融合的腦機(jī)交互控制策略如下:SSVEP的控制策略不變,如表1所示,僅把該表中的中速后退“B+”修改為“切入運(yùn)動(dòng)想象模式”—“MI”,即增加模態(tài)轉(zhuǎn)換指令.在SSVEP模態(tài)下,當(dāng)被試想要轉(zhuǎn)換為運(yùn)動(dòng)想象模態(tài)時(shí),將注意力集中于“MI”目標(biāo)塊上即可.當(dāng)系統(tǒng)順利切換到運(yùn)動(dòng)想象腦機(jī)交互系統(tǒng)時(shí),SSVEP刺激范式界面消失,變?yōu)楹谏嬅?此時(shí)被試可以實(shí)現(xiàn)4種控制狀態(tài):“左手運(yùn)動(dòng)想象”對(duì)應(yīng)低速左轉(zhuǎn);“右手運(yùn)動(dòng)想象”對(duì)應(yīng)低速右轉(zhuǎn);“空閑(不進(jìn)行任何運(yùn)動(dòng)想象)”對(duì)應(yīng)低速前進(jìn),“雙腳運(yùn)動(dòng)想象”對(duì)應(yīng)停止運(yùn)行(或低速后退).

2.6.2 初步結(jié)果

在實(shí)驗(yàn)前,修改圖3及圖4(a)和圖4(b)的人機(jī)交互界面,B+改為MI.記錄電極在原來(lái)的基礎(chǔ)上,增加C3、C4.

1)被試反映,需要對(duì)機(jī)器人方向控制時(shí),發(fā)出運(yùn)動(dòng)想象意圖到機(jī)器人做出反應(yīng)的速度比單獨(dú)的SSVEP模式快.這可能是自定節(jié)奏的運(yùn)動(dòng)想象不需要被試在控制場(chǎng)景和GUI(Graphical user interface)之間進(jìn)行頻繁視覺切換,加快了控制速度.

2)此外,被試反映,運(yùn)動(dòng)想象期間可以集中于心理活動(dòng),避免了頻繁的視覺刺激,眼睛得到了一定時(shí)間的休息,疲勞程度得到一定的緩解,誤操作也有所減少.

3 SSVEP腦控機(jī)器人實(shí)驗(yàn)結(jié)果

每名被試在同一種刺激范式下均進(jìn)行三次實(shí)驗(yàn),表2呈現(xiàn)了8名被試腦控機(jī)器人實(shí)驗(yàn)用時(shí)(min)、觸碰障礙物次數(shù)、平均用時(shí)(Average,Aver)、最少(Minimum,Min)用時(shí)以及方差(Variance,Var).表2中“6′18”表示腦控機(jī)器人達(dá)到終點(diǎn)用時(shí)為6分18秒.

為比較和優(yōu)化SSVEP腦機(jī)交互刺激范式,表3～表5分別呈現(xiàn)了在SSVEP刺激范式一、范式二、范式三下8名被試在不同的刺激目標(biāo)閃爍時(shí)間Td時(shí)的正確識(shí)別率、平均識(shí)別率和最高識(shí)別率.表中Average(Aver)、Maximum(Max)分別表示平均及最高正確識(shí)別率.

表2 三種SSVEP刺激范式下被試腦控機(jī)器人達(dá)到終點(diǎn)用時(shí)及觸碰障礙物次數(shù)Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms

表3 SSVEP腦機(jī)交互刺激范式一下刺激目標(biāo)不同閃爍時(shí)間被試的正確識(shí)別率(%)Table 3 The correct recognition rate(%)at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigm

表4 SSVEP腦機(jī)交互刺激范式二下刺激目標(biāo)不同閃爍時(shí)間被試的正確識(shí)別率(%)Table 4 The correct recognition rate(%)at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigm

表5 SSVEP腦機(jī)交互刺激范式三下刺激目標(biāo)不同閃爍時(shí)間被試的正確識(shí)別率(%)Table 5 The correct recognition rate(%)at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigm

為了更好地比較三種SSVEP腦機(jī)交互刺激范式腦控機(jī)器人運(yùn)動(dòng)的性能和不同刺激時(shí)間下的識(shí)別率,圖6呈現(xiàn)了三種SSVEP刺激范式下被試腦控機(jī)器人達(dá)到終點(diǎn)的平均用時(shí)、觸碰障礙物次數(shù)、在1～4秒刺激時(shí)間下的平均正確識(shí)別率以及相關(guān)方差.

4 討論

腦機(jī)交互是一種新型的人機(jī)交互技術(shù),基于腦機(jī)交互的一個(gè)重要應(yīng)用研究是腦控[15],其中直接腦控機(jī)器人是腦控在機(jī)器人領(lǐng)域的一個(gè)新的應(yīng)用和研究方向[3,23].直接腦控機(jī)器人的研究可望架起人腦生物智能與人工機(jī)器智能交匯和融通的橋梁,具有重要的科學(xué)意義和應(yīng)用價(jià)值,然而這方面的研究仍然處于需要突破的階段.傳統(tǒng)的腦控機(jī)器人主要實(shí)現(xiàn)對(duì)其方向的簡(jiǎn)單控制,但如何實(shí)現(xiàn)對(duì)其方向和速度更精細(xì)和靈活的控制是一個(gè)沒有徹底解決的問題.什么樣的腦機(jī)交互范式適合直接腦控機(jī)器人的靈活運(yùn)動(dòng)?在眾多的腦機(jī)交互范式中,穩(wěn)態(tài)視覺誘發(fā)電位(Steady state visual evoked potentials,SSVEP)是一類非常重要的腦機(jī)交互范式,本文嘗試基于該范式實(shí)驗(yàn)研究直接腦控機(jī)器人方向和速度的研究.

基于SSVEP的腦機(jī)交互范式可識(shí)別的目標(biāo)數(shù)多,可以根據(jù)機(jī)器人運(yùn)動(dòng)控制需求,靈活設(shè)置刺激目標(biāo)以產(chǎn)生需要的方向和速度控制指令.本實(shí)驗(yàn)研究為腦控機(jī)器人運(yùn)動(dòng)規(guī)劃了向左、向右、前進(jìn)和后退4個(gè)方向,低速、中速和高速3級(jí)運(yùn)動(dòng)速度;適當(dāng)組合后設(shè)置了低速前進(jìn)、中速前進(jìn)、高速前進(jìn)、低速后退、中速后退、低速左轉(zhuǎn)、中速左轉(zhuǎn)、低速右轉(zhuǎn)和中速右轉(zhuǎn)共9個(gè)腦控指令,分別對(duì)應(yīng)刺激目標(biāo)F、F+、F++、B、B+、L、L+、R、R+.在這些設(shè)計(jì)和配置的基礎(chǔ)上,進(jìn)而優(yōu)化SSVEP腦機(jī)交互范式.此外,為通過(guò)SSVEP解碼被試意圖,本研究采用CCA,它是一種利用綜合變量對(duì)之間的相關(guān)關(guān)系來(lái)反映兩組指標(biāo)之間整體相關(guān)性的多元統(tǒng)計(jì)分析方法,可以最大化兩類相似性,能夠計(jì)算出特定刺激頻率相關(guān)性最大的值,從而有效識(shí)別出被試注視的目標(biāo)刺激頻率[20?22].

圖6 三種SSVEP刺激范式下被試腦控機(jī)器人達(dá)到終點(diǎn)平均用時(shí)及觸碰障礙物次數(shù)及在1～4秒刺激時(shí)間下的平均正確識(shí)別率Fig.6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms

在刺激呈現(xiàn)時(shí)間、視覺轉(zhuǎn)移時(shí)間、測(cè)試平臺(tái)環(huán)境相同的條件下,表2和圖6(a)表明,SSVEP刺激范式三下8名被試腦控機(jī)器人到達(dá)終點(diǎn)平均用時(shí)為2分40秒,比刺激范式一和二平均用時(shí)分別縮短了2分55秒、2分52秒;同時(shí),在SSVEP刺激范式三下8名被試腦控機(jī)器人運(yùn)動(dòng)過(guò)程中觸碰障礙平均次數(shù)為0.88,也比刺激范式一和范式二平均觸碰次數(shù)分別減少了3.29、0.87.此外,對(duì)于刺激范式三,8名被試腦控機(jī)器人到達(dá)終點(diǎn)最少用時(shí)1分29秒,碰觸次數(shù)為0,最多碰觸次數(shù)為3,而在刺激范式一和范式二下到達(dá)終點(diǎn)最少用時(shí)分別為4分44秒、2分50秒.三種SSVEP范式,隨著刺激目標(biāo)布局間距的增加,每個(gè)被試腦控機(jī)器人到達(dá)終點(diǎn)用時(shí)均減小,而觸碰次數(shù)總體上也呈現(xiàn)減少的趨勢(shì).這些腦控機(jī)器人運(yùn)動(dòng)性能的提高歸根結(jié)底有賴于對(duì)機(jī)器人運(yùn)動(dòng)方向和速度的準(zhǔn)確和及時(shí)的調(diào)控,否則性能難于有顯著的提高,這可能需要優(yōu)化SSVEP刺激范式并采用有效的特征提取和識(shí)別算法.表2表明SSVEP刺激范式三具有更有效的控制性能.雖然不同的被試之間腦控性能不一樣,同一被試3次實(shí)驗(yàn)的性能也不一樣,但是8個(gè)被試并且3次實(shí)驗(yàn)都能夠較好地完成任務(wù),這也表明SSVEP腦機(jī)交互范式對(duì)被試具有較好的適應(yīng)性,BCI盲問題不嚴(yán)重.

此外,表3～表5以及圖6(b)表明:在Td=1s、2s、3s、4s時(shí),SSVEP腦機(jī)交互刺激范式一、范式二和范式三下8個(gè)被試的平均識(shí)別率隨著刺激目標(biāo)布局間距的增加而得到提高,刺激范式二比刺激范式一有較大提高,超過(guò)5.8%,而刺激范式三比刺激范式二也有所提高,最低提高了0.84%,最高提高了3.75%.此外,在同一SSVEP腦機(jī)交互刺激范式下,隨著刺激目標(biāo)閃爍時(shí)間的增加,8個(gè)被試的平均識(shí)別率也得到提高,Td=2s比Td=1s有很大的提高,提高超過(guò)30%,Td=3s比Td=2s也有較大的提高,提高超過(guò)10%,而Td=4s比Td=3s也有所提高,提高超過(guò)3%;隨著刺激目標(biāo)閃爍時(shí)間的增加,8個(gè)被試中最高識(shí)別率也得增加.然而,刺激目標(biāo)閃爍時(shí)間的增加,又會(huì)降低運(yùn)動(dòng)控制的實(shí)時(shí)性,這需要在識(shí)別精度和快速響應(yīng)之間做出平衡.總之,表3～表5進(jìn)一步驗(yàn)證了SSVEP刺激目標(biāo)之間的間距會(huì)影響被試的正確識(shí)別率,從而影響對(duì)機(jī)器人運(yùn)動(dòng)方向和速度的準(zhǔn)確和及時(shí)的調(diào)控,最終影響腦控機(jī)器人的運(yùn)動(dòng)性能.

上述三種SSVEP腦機(jī)交互刺激范式,隨著刺激目標(biāo)布局間距的增加,正確識(shí)別率增加的主要原因是:相鄰刺激目標(biāo)間距越小,相互之間對(duì)被試的視覺注意產(chǎn)生的干擾越大,當(dāng)被試轉(zhuǎn)移注視和注視期望目標(biāo)時(shí),相鄰刺激目標(biāo)也會(huì)在被試腦電波中誘發(fā)電位,使得穩(wěn)態(tài)視覺誘發(fā)電位會(huì)出現(xiàn)交叉串疊,從而使錯(cuò)誤識(shí)別率上升;反之,間距越大,相互之間對(duì)被試的視覺注意干擾越小,期望目標(biāo)的穩(wěn)態(tài)視覺誘發(fā)電位的頻率特征顯著,正確識(shí)別率增加.此外,SSVEP腦機(jī)交互刺激范式二中刺激目標(biāo)之間的間距是范式一中刺激目標(biāo)之間間距的10倍,相鄰目標(biāo)之間對(duì)被試的視覺注意干擾有顯著的減少,因此范式二比范式一被試的正確識(shí)別率有很大的提高;但是隨著刺激目標(biāo)之間間距的不斷增加,相鄰目標(biāo)之間對(duì)被試的視覺注意的干擾減少不顯著時(shí),正確識(shí)別率的提高有限(刺激范式三比刺激范式二的正確識(shí)別率提高有限).也就是,當(dāng)刺激目標(biāo)布局間距繼續(xù)增加到一定程度后,相鄰目標(biāo)之間對(duì)被試的視覺注意干擾已經(jīng)減少到最小,正確識(shí)別率將不會(huì)有明顯的增加.在實(shí)際的SSVEP腦機(jī)交互刺激范式中,視覺刺激目標(biāo)呈現(xiàn)屏幕尺寸大小有限制,在規(guī)劃的刺激目標(biāo)數(shù)目下,建議盡量使刺激目標(biāo)間距最大.然而,刺激目標(biāo)間距再繼續(xù)增大,臨間視覺干擾影響不會(huì)那么顯著,識(shí)別效果不會(huì)有顯著提高,分類效果主要與算法有關(guān).

隨著SSVEP腦機(jī)交互刺激目標(biāo)閃爍時(shí)間的增加(Td=1s、Td=2s、Td=3s、Td=4s),被試識(shí)別率也增加,其主要原因可能是:SSVEP是對(duì)外界刺激節(jié)律的原始反應(yīng)或原始反饋,是固定頻率刺激的視覺誘發(fā)電位,隨著刺激目標(biāo)閃爍時(shí)間的增加,被試的視覺通道有足夠的時(shí)間穩(wěn)定反應(yīng),從而產(chǎn)生穩(wěn)定的視覺誘發(fā)電位頻率特征.然而,刺激時(shí)間再繼續(xù)增加,被試視覺通道已經(jīng)有足夠時(shí)間產(chǎn)生SSVEP (一般來(lái)說(shuō)3～4秒刺激時(shí)間已足夠),正確識(shí)別率也不會(huì)有顯著提高,分類效果也主要與算法有關(guān).

本研究對(duì)三種刺激范式的間距和目標(biāo)刺激時(shí)間因素進(jìn)行了實(shí)驗(yàn)和比較,然而 SSVEP腦–機(jī)交互范式還與頻率因素有關(guān),本實(shí)驗(yàn)中9個(gè)刺激目標(biāo)的閃爍頻率分別設(shè)置為8、12、9、13、9.5、10、14、10.5、15Hz,不同的閃爍頻率誘發(fā)的腦電功率集中在該頻率及諧波頻率處,這為目標(biāo)探測(cè)提供了顯著的特征.正確識(shí)別率在很大程度上決定被試腦控機(jī)器人用時(shí)和碰觸障礙次數(shù)(機(jī)器人運(yùn)動(dòng)控制性能).SSVEP腦機(jī)交互范式一、范式二和范式三的識(shí)別率不同,因此被試腦控機(jī)器人用時(shí)和碰觸障礙次數(shù)也不一樣.識(shí)別率高是機(jī)器人運(yùn)動(dòng)用時(shí)減少的必要條件,但并不意味著用時(shí)和碰觸次數(shù)一定能夠減少,正確識(shí)別率和識(shí)別速度二者決定了用時(shí)和碰觸次數(shù).然而,正確識(shí)別率和識(shí)別速度之間需要平衡.

另外,視覺轉(zhuǎn)移時(shí)間、刺激持續(xù)時(shí)間、識(shí)別時(shí)間(腦電分析和解碼,例如CCA解碼時(shí)間),識(shí)別結(jié)果反饋時(shí)間都會(huì)影響腦控制機(jī)器人運(yùn)動(dòng)的快速反應(yīng)時(shí)間或?qū)崟r(shí)性.因此,需要縮短視覺轉(zhuǎn)移時(shí)間(如刺激目標(biāo)和控制現(xiàn)場(chǎng)同屏幕布局呈現(xiàn))、刺激持續(xù)時(shí)間和識(shí)別結(jié)果反饋時(shí)間(設(shè)置為最小極限),同時(shí)需要優(yōu)化解碼算法,以縮短識(shí)別時(shí)間.為了提高SSVEP腦機(jī)交互控制機(jī)器人的速度,一種可選的方法是,將場(chǎng)景和GUI進(jìn)行適當(dāng)?shù)募苫蛉诤?在場(chǎng)景的周邊或內(nèi)部合理布局閃爍刺激目標(biāo),以減少被試/用戶在場(chǎng)景和GUI之間進(jìn)行頻繁視覺切換而產(chǎn)生的疲勞及誤操作.

如上所述,穩(wěn)態(tài)視覺誘發(fā)電位是被試注視外界刺激節(jié)律后中樞神經(jīng)的原始生理反應(yīng)[24],是被動(dòng)的反應(yīng)式的視覺誘發(fā)電位,單次提取和識(shí)別率高[19],本實(shí)驗(yàn)研究的8個(gè)被試均能夠被誘發(fā)出SSVEP,完成腦控機(jī)器人運(yùn)動(dòng)方向和速度的控制,到達(dá)目標(biāo)位置.雖然P300也是視覺誘發(fā)電位,但它已經(jīng)是事件相關(guān)電位,有一定的認(rèn)知加工后的反應(yīng),越晚的電位,認(rèn)知程度越高.因此,對(duì)P300的提取和識(shí)別一般需要多次疊加,單次識(shí)別可能難于保證穩(wěn)定的識(shí)別精度[25],進(jìn)而會(huì)影響腦控機(jī)器人運(yùn)動(dòng)方向和速度控制的精度和實(shí)時(shí)性,P300用于機(jī)器人控制的性能將會(huì)在下一步工作中研究.與眼動(dòng)依賴型的反應(yīng)式SSVEP-BCI不同,基于運(yùn)動(dòng)想象心理活動(dòng)的腦機(jī)交互范式是非眼動(dòng)依賴型的主動(dòng)式BCI,其動(dòng)覺運(yùn)動(dòng)模式(Kinesthetic-motor mode of imagery)和視覺運(yùn)動(dòng)模式(Visual-motor mode of imagery)具有不同的效果,是對(duì)運(yùn)動(dòng)行為的內(nèi)心演練,有感知覺的加工過(guò)程,但沒有明顯的運(yùn)動(dòng)輸出.為此,該類腦機(jī)交互范式高度依賴于被試的運(yùn)動(dòng)想象能力以及有效的訓(xùn)練,并不是每個(gè)被試都能夠很好地操控該類BCI,訓(xùn)練后可以達(dá)到70%左右[26],BCI盲問題較嚴(yán)重.此外,隨著運(yùn)動(dòng)想象類別數(shù)的增加,分類精度和穩(wěn)定性難于提高,進(jìn)而難于滿足腦控機(jī)器人靈活運(yùn)動(dòng)所需要的多個(gè)方向和多級(jí)速度的更精細(xì)的控制.

與需要訓(xùn)練被試的運(yùn)動(dòng)想象腦機(jī)交互范式相比, SSVEP-BCI基本不用訓(xùn)練,大概有80%被試能用該類BCI[27].然而,SSVEP-BCI要求被試注視視覺刺激,會(huì)給被試帶來(lái)視覺疲勞等不良影響,需要研究減少視覺誘發(fā)刺激對(duì)被試的負(fù)面影響[28].相比較,運(yùn)動(dòng)想象BCI是非視覺依賴型BCI,它依賴被試的心理活動(dòng),不存在視覺刺激問題,然而它需要被試的運(yùn)動(dòng)想象能力使得特定導(dǎo)聯(lián)特定頻帶的EEG信號(hào)的幅值減弱或增強(qiáng)(Event related synchronization/desychronization,ERS/ERD),目前運(yùn)動(dòng)想象BCI系統(tǒng)難于實(shí)用化,也難于精細(xì)地控制機(jī)器人的方向和速度,期望今后有突破.

最后,為提高腦控機(jī)器人方向的快速性以保證安全,同時(shí)減少被試疲勞以改善操控的舒適度,本文采用SSVEP與運(yùn)動(dòng)想象相結(jié)合的多模態(tài)方法,進(jìn)行了初步的研究.被試反映該混合范式增加了控制策略選擇的靈活度,在一定程度上加快了方向的控制速度,同時(shí)可以減少在控制場(chǎng)景和GUI之間進(jìn)行頻繁的視覺切換,降低了疲勞及誤操作.最后需要指出的是,虛擬平臺(tái)與真實(shí)腦控機(jī)器人環(huán)境存在差異,這也是需要進(jìn)一步對(duì)比和完善的地方.

5 結(jié)論

本研究基于SSVEP腦機(jī)交互范式規(guī)劃了腦控機(jī)器人運(yùn)動(dòng)方向和速度的控制策略,并通過(guò)實(shí)驗(yàn)比較和優(yōu)化SSVEP刺激目標(biāo)布局間距和刺激目標(biāo)閃爍時(shí)間,最后采用有效的典型相關(guān)分析解碼被試注視意圖.驗(yàn)證了SSVEP刺激目標(biāo)布局間距和刺激目標(biāo)閃爍時(shí)間會(huì)影響分類識(shí)別率,在刺激呈現(xiàn)屏幕和刺激目標(biāo)數(shù)一定的情況下,優(yōu)化布局,適當(dāng)增加間距或刺激時(shí)間,可以提高正確識(shí)別率.在刺激呈現(xiàn)時(shí)間、視覺轉(zhuǎn)移時(shí)間、測(cè)試平臺(tái)環(huán)境相同的條件下, SSVEP刺激范式三下8名被試腦控機(jī)器人到達(dá)終點(diǎn)平均用時(shí)和觸碰障礙平均次數(shù)表現(xiàn)出優(yōu)良的性能.最后,SSVEP與MI相結(jié)合腦控機(jī)器人方向和速度的初步研究表明,該混合范式可以優(yōu)勢(shì)互補(bǔ),既可以實(shí)現(xiàn)多種類分類,又可以避免長(zhǎng)時(shí)間視覺刺激引起的視覺疲勞,提升被試的舒適性與系統(tǒng)的通用性.本實(shí)驗(yàn)研究表明基于SSVEP或與運(yùn)動(dòng)想象混合的腦機(jī)交互可以通過(guò)設(shè)置適當(dāng)數(shù)目的刺激目標(biāo)和運(yùn)動(dòng)想象模式以滿足腦控機(jī)器人靈活運(yùn)動(dòng)(方向和速度控制)的需求,可望為腦控機(jī)器人的研究和應(yīng)用打下一定的基礎(chǔ).

在本研究的基礎(chǔ)上,我們進(jìn)一步的工作是:1)基于多模態(tài)設(shè)計(jì)新的控制范式和策略,優(yōu)勢(shì)互補(bǔ).深入研究SSVEP-BCI與運(yùn)動(dòng)想象BCI相結(jié)合的方法以更好地直接腦控機(jī)器人方向和速度;2)尋找更有效的解碼算法進(jìn)一步提高腦控機(jī)器人系統(tǒng)正確識(shí)別率和響應(yīng)速度;3)采用多邊協(xié)同自適應(yīng)機(jī)器學(xué)習(xí)算法自適應(yīng)被試腦電的變化,減輕被試視覺或心理活動(dòng)的疲勞,提高其舒適性.

1 Brain-computer interface from Wikipedia,the free encyclopedia[Online],available:http://en.wikipedia.org/wiki/ Brain-computer_interface,April 29,2016.

2 Hochberg L R,Bacher D,Jarosiewicz B,Masse N Y,Simeral J D,Vogel J,Haddadin S,Liu J,Cash S S,van der Smagt P,Donoghue J P.Reach and grasp by people with tetraplegia using a neurally controlled robotic arm.Nature,2012, 485(7398):372?375

3 Fu Yun-Fa,Wang Yue-Chao,Li Hong-Yi,Xu Bao-Lei,Li Yong-Cheng.Direct brain-controlled robot interface technology.Acta Automatica Sinica,2012,38(8):1229?1246 (伏云發(fā),王越超,李洪誼,徐保磊,李永程.直接腦控機(jī)器人接口技術(shù).自動(dòng)化學(xué)報(bào),2012,38(8):1229?1246)

4 McFarland D J,Wolpaw J R.Brain-computer interface operation of robotic and prosthetic devices.Computer,2008, 41(10):52?56

5 Bell C J,Shenoy P,Chalodhorn R,Rao R P N.Control of a humanoid robot by a noninvasive brain-computer inter-face in humans.Journal of Neural Engineering,2008,5(2): 214?220

6 Millan J R,Renkens F,Mourino J,Gerstner W.Noninvasive brain-actuated control of a mobile robot by human EEG.IEEE Transactions on Biomedical Engineering,2004, 51(6):1026?1033

7 Comparison of consumer brain-computer interfaces from Wikipedia, the free encyclopedia [Online], available: http://en.wikipedia.org/wiki/Comparison-of consumer_ brain-computer_interface_devices,December 20,2015.

8 Fu Yun-Fa,Xu Bao-Lei,Li Yong-Cheng,Li Hong-Yi,Wang Yue-Chao,Yu Zheng-Tao.Recognition of actual grip force movement modes based on movement-related cortical potentials.Acta Automatica Sinica,2014,40(6):1045?1057 (伏云發(fā),徐保磊,李永程,李洪誼,王越超,余正濤.基于運(yùn)動(dòng)相關(guān)皮層電位握力運(yùn)動(dòng)模式識(shí)別研究.自動(dòng)化學(xué)報(bào),2014,40(6): 1045?1057)

10 Sun Hui-Wen,Fu Yun-Fa,Xiong Xin,Yang Jun,Liu Chuan-Wei,Yu Zheng-Tao.Identification of EEG induced by motor imagery based on Hilbert-Huang transform.Acta Automatica Sinica,2015,41(9):1686?1692 (孫會(huì)文,伏云發(fā),熊馨,楊俊,劉傳偉,余正濤.基于HHT運(yùn)動(dòng)想象腦電模式識(shí)別研究.自動(dòng)化學(xué)報(bào),2015,41(9):1686?1692)

11 Fu Y F,Xu B L,Li Y C,Wang Y C,Yu Z T,Li H Y. Single-trial decoding of imagined grip force parameters involving the right or left hand based on movement-related cortical potentials.Chinese Science Bulletin,2014,59(16): 1907?1916

12 Lv J,Li Y Q,Gu Z H.Decoding hand movement velocity from electroencephalogram signals during a drawing task. Biomedical Engineering Online,2010,9:64

13 Yin X X,Xu B L,Jiang C H,Fu Y F,Wang Z D,Li H Y,Shi G.A hybrid BCI based on EEG and fNIRS signals improves the performance of decoding motor imagery of both force and speed of hand clenching.Journal of Neural Engineering, 2015,12(3):036004,DOI:10.1088/1741-2560/12/3/036004

14 Yao De-Zhong,Liu Tie-Jun,Lei Xu,Yang Ping,Xu Peng,Zhang Yang-Song.Electroencephalogram based brain-computer interface:key techniques and application prospect.Journal of University of Electronic Science and Technology of China,2009,38(5):550?554 (堯德中,劉鐵軍,雷旭,楊平,徐鵬,張楊松.基于腦電的腦–機(jī)接口:關(guān)鍵技術(shù)和應(yīng)用前景.電子科技大學(xué)學(xué)報(bào),2009,38(5): 550?554)

15 Wang Xing-Yu,Jin Jing,Zhang Yu,Wang Bei.Brain control:human-computer integration control based on braincomputer interface.Acta Automatica Sinica,2013,39(3): 208?221 (王行愚,金晶,張宇,王蓓.腦控:基于腦–機(jī)接口的人機(jī)融合控制.自動(dòng)化學(xué)報(bào),2013,39(3):208?221)

16 Zhang R,Yao D,Valds-Sosa P A,Li F L,Li P Y,Zhang T,Ma T,Li Y J,Xu P.Efficient resting-state EEG network facilitates motor imagery performance.Journal of Neural Engineering,2015,12(6):066024,DOI:10.1088/1741-2560/12/6/066024

17 Fazel-Rezai R,Allison B Z,Guger C,Sellers E W,Kleih S C,Kbler A.P300 brain computer interface:current challenges and emerging trends.Frontiers in Neuroengineering, 2012,5:14

18 Gao S K,Wang Y J,Gao X R,Hong B.Visual and auditory brain-computer interfaces.IEEE Transactions on Biomedical Engineering,2014,61(5):1436?1447

19 Chen X G,Wang Y J,Nakanishi M,Gao X R,Jung T P,Gao S K.High-speed spelling with a noninvasive braincomputer interface.Proceedings of the National Academy of Sciences of the United States of America,2015,112(44): E6058?E6067

20 Bin G Y,Gao X R,Yan Z,Hong B,Gao S K.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal of Neural Engineering,2009,6(4):1771?1779

21 The 2th competition of China brain-computer interface[Online],available:http://www.bcicompetition.cn,December 22,2015.

22 Lin Z L,Zhang C S,Wu W,Gao X R.Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs.IEEE Transactions on Biomedical Engineering, 2006,53(12):2610?2614

23 Long J Y,Li Y Q,Wang H T,Yu T Y,Pan J H,Li F. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair.IEEE Transactions on Neural Systems&Rehabilitation Engineering, 2012,20(5):720?729

24 Middendorf M,McMillan G,Calhoun G,Jones K S.Braincomputer interfaces based on the steady-state visual-evoked response.IEEE Transactions on Rehabilitation Engineering, 2000,8(2):211?214

25 Mak J N,Arbel Y,Minett J W,McCane L M,Yuksel B,Ryan D,Thompson D,Bianchi L,Erdogmus D.Optimizing the P300-based brain-computer interface:current status,limitations and future directions.Journal of Neural Engineering,2011,8(2):025003,DOI:10.1088/1741-2560/8/2/025003

26 GugerC,EdlingerG,Harkam W,NiedermayerI, Pfurtscheller G.How many people are able to operate an EEG-based brain-computer interface(BCI)?IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003,11(2):145?147

27 Guger C,Allison B Z,Gro?windhager B,Prckl R,Hintermller C,Kapeller C,Bruckner M,Krausz G,Edlinger G.How many people could use an SSVEP BCI?Frontiers in Neuroscience,2012,6:169

28 Jin J,Daly I,Zhang Y,Wang X Y,Cichocki A.An optimized ERP brain-computer interface based on facial expression changes.Journal of Neural Engineering,2014,11(3): 1082?1088

伏云發(fā) 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院副教授.主要研究方向?yàn)槟Ｊ阶R(shí)別與智能控制,腦信息處理與腦控機(jī)器人接口,腦–機(jī)交互控制理論和方法,腦網(wǎng)絡(luò)連通性.

E-mail:fyf@ynu.edu.cn

(FU Yun-Fa Associate professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers pattern recognition and intelligent control,brain information processing and braincontrolled robot interface,theories and methods for brainmachine interaction control,and brain network connectivity.)

郭衍龍 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院碩士研究生.主要研究方向?yàn)槟X信息處理與腦機(jī)交互控制,模式識(shí)別與智能控制.本文通信作者.

E-mail:hrbeu_gyl@foxmail.com

(GUO Yan-Long Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control,pattern recognition,and intelligent control.Corresponding author of this paper.)

李 松 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院碩士研究生.主要研究方向?yàn)槟X信息處理與腦機(jī)交互控制,模式識(shí)別與智能控制.

E-mail:lksong1234@sina.com

(LI Song Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control, pattern recognition,and intelligent control.)

熊 馨 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院講師.主要研究方向?yàn)獒t(yī)學(xué)圖像處理與模式識(shí)別,腦網(wǎng)絡(luò)連通性,腦信息處理與腦機(jī)交互.

E-mail:xiongxin840826@163.com

(XIONG Xin Lecturer at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.Her research interest covers medical image processing and pattern recognition,brain network connectivity,brain information processing,and braincomputer interaction.)

李 勃 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院教授.主要研究方向?yàn)橹悄苄畔⑻幚?圖像處理與模式識(shí)別.

E-mail:lbly9177@163.com

(LI Bo Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technolog. His research interest covers intelligent information processing,image processing, and pattern recognition.)

余正濤 昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院教授.主要研究方向?yàn)橹悄苄畔⑻幚?E-mail:ztyu@hotmail.com

(YU Zheng-Tao Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His main research interest is intelligent information processing.)

Direct-brain-controlled Robot Direction and Speed Based on SSVEP Brain Computer Interaction

FU Yun-Fa1GUO Yan-Long1LI Song1XIONG Xin1LI Bo1YU Zheng-Tao1

Direct use of thinking to control a robot without peripheral nerves and muscles is a dream of human beings, and this research has become a hot spot and a breakthrough point in the world.The traditional brain-controlled robot (BCR)mainly controls the direction,and this paper aims to explore the effective method to control the direction and speed of robot through brain.Using the brain-computer/interaction(BCI/BMI)method based on steady state visual evoked potential(SSVEP),9 instructions are designed to control the robot.And the canonical correlation analysis(CCA)method is used to identify EGG patterns.The results show that appropriate setting of the target number and its layout spacing and the flashing time can effectively improve the performance of the direct-brain-controlled robot.The optimization of the SSVEP stimulus paradigm three,the average time of 8 subjects controlled robot to reach destination using 2 minutes and 40 seconds,with a minimum of 1 minutes and 29 seconds.Meanwhile,the average number of touching obstacles is 0.88, the least touch number is 0,and the maximum number of touch is 3.This study shows that the BCI based on SSVEP can be used for the direct-brain-controlled robot.In order to overcome the limitations in the single SSVEP paradigm,this study also combines motor(Hybrid-BCI)imagery to control the robot.This paper is expected to provide ideas for the direction and speed control for the brain-computer interaction based on SSVEP or combined with motor imagery,and to provide a certain basis for practical direct-brain-controlled robot technology.

Brain-controlled robot(BCR),steady state visual evoked potentials(SSVEP),canonical correlation analysis (CCA),brain-computer/machine interaction(BCI/BMI),hybrid-BCI

伏云發(fā),郭衍龍,李松,熊馨,李勃,余正濤.基于SSVEP直接腦控機(jī)器人方向和速度研究.自動(dòng)化學(xué)報(bào),2016, 42(11):1630?1640

Fu Yun-Fa,Guo Yan-Long,Li Song,Xiong Xin,Li Bo,Yu Zheng-Tao.Direct-brain-controlled robot direction and speed based on SSVEP brain computer interaction.Acta Automatica Sinica,2016,42(11):1630?1640

2015-12-29 錄用日期2016-06-22

Manuscript received December 29,2015;accepted June 22, 2016

國(guó)家自然科學(xué)基金(61363043,61463024,81470084),云南省應(yīng)用基礎(chǔ)研究計(jì)劃(2013FB026),云南省級(jí)人培項(xiàng)目(KKSY201303048),云南省教育廳重點(diǎn)項(xiàng)目(2013Z130),昆明理工大學(xué)腦信息處理與腦機(jī)交互融合控制(學(xué)科方向團(tuán)隊(duì)建設(shè)經(jīng)費(fèi))資助

Supported by National Natural Science Foundation of China (61363043,61463024,81470084),Research Project for Appli-cation Foundation of Yunnan Province(2013FB026),Cultiva-tion Program of Talents of Yunnan Province(KKSY201303048),FocalProgram forEducation OfficeofYunnan Province (2013Z130),and Brain Information Processing and Brain-computer Interaction Fusion Control of Kunming University Sci-ence and Technology(Fund of Discipline Direction Team)

本文責(zé)任編委侯增廣

Recommended by Associate Editor HOU Zeng-Guang

1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院昆明650500

1.Faculty of Information Engineering and Automation,Kun-ming University Science and Technology,Kunming 650500

DOI 10.16383/j.aas.2016.c150880