徐光華,張鋒,謝俊,李葉平,韓丞丞,李黎黎

(1.西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安;2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點(diǎn)實(shí)驗(yàn)室,710054,西安)

?

穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口范式及其信號處理方法研究

徐光華1,2,張鋒1,謝俊1,李葉平1,韓丞丞1,李黎黎1

(1.西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安;2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點(diǎn)實(shí)驗(yàn)室,710054,西安)

在概述國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機(jī)接口技術(shù)研究的基礎(chǔ)上,針對傳統(tǒng)穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)在腦-機(jī)接口(BCI)系統(tǒng)應(yīng)用中存在的問題,在范式設(shè)計(jì)方面,分別提出了基于牛頓環(huán)、高頻組合編碼和幅值調(diào)制的SSVEP的3種BCI范式。針對腦電信號微弱、辨識困難的問題,提出了基于隨機(jī)共振機(jī)制的穩(wěn)態(tài)運(yùn)動(dòng)視覺誘發(fā)電位增強(qiáng)方法;針對高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)新范式響應(yīng)信號的非平穩(wěn)、弱信號特征,提出基于改進(jìn)的希爾伯特黃變換的CCH-SSVEP響應(yīng)信號處理方法,提高了識別率。在系統(tǒng)應(yīng)用方面,將牛頓環(huán)運(yùn)動(dòng)刺激范式與運(yùn)動(dòng)場景相結(jié)合,設(shè)計(jì)了場景結(jié)合導(dǎo)航技術(shù),相對于傳統(tǒng)方法,將刺激目標(biāo)關(guān)聯(lián)具體的物理位置,導(dǎo)航效率顯著提升,將運(yùn)動(dòng)場景與刺激目標(biāo)結(jié)合的所見即所得的方式提升了用戶預(yù)選目標(biāo)效率以及路線規(guī)劃能力,同時(shí)也有利于用戶集中注意力,提高腦電信噪比。最終,將該技術(shù)成功地應(yīng)用于殘疾輪椅的腦電導(dǎo)航控制中,取得了令人滿意的效果。

穩(wěn)態(tài)視覺誘發(fā)電位;腦-機(jī)接口;牛頓環(huán);調(diào)制

穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)[1]本質(zhì)上是外界周期性的視覺刺激誘發(fā)大腦視覺中樞系統(tǒng)的周期性響應(yīng),相比腦-機(jī)接口(BCI)系統(tǒng)中的運(yùn)動(dòng)想象(MI)、P300等其他的幾種常見范式,SSVEP由于在使用中具有易用、少電極、無需訓(xùn)練以及穩(wěn)定性高等優(yōu)勢[2],近年來被廣泛應(yīng)用于BCI系統(tǒng)研究中。使用SSVEP來控制腦-機(jī)接口系統(tǒng)的基本思想可以追溯到30年前,作為SSVEP-BCI的第一篇公開出版物[3]首次提出將基于SSVEP振幅的刺激應(yīng)用于BCI的閉環(huán)反饋控制系統(tǒng)。隨后,國內(nèi)外相關(guān)學(xué)者開始對基于SSVEP的BCI技術(shù)展開研究,經(jīng)過近幾十年來的研究發(fā)展,文獻(xiàn)[4]開發(fā)了第一個(gè)基于SSVEP的無損BCI系統(tǒng),設(shè)計(jì)者在此系統(tǒng)中設(shè)置了兩個(gè)閃爍的按鈕顯示在電腦屏幕上,用戶可以通過簡單的注視要選擇的按鈕即可。清華大學(xué)[5]最早在國內(nèi)開始SSVEP-BCI技術(shù)的研究,隨后西安交通大學(xué)[6-17]、上海交通大學(xué)[6]、電子科技大學(xué)[7]、天津大學(xué)[18]等也陸續(xù)開展SSVEP-BCI技術(shù)及應(yīng)用研究。盡管基于SSVP-BCI系統(tǒng)的研究已經(jīng)取得了不小的進(jìn)步,但仍存在一些問題。例如:SSVEP傳統(tǒng)刺激范式由于有效頻帶受限,不適合呈現(xiàn)更多目標(biāo);傳統(tǒng)SSVEP依賴高強(qiáng)度光閃爍視覺刺激進(jìn)行誘發(fā),易造成被試者視覺疲勞、環(huán)境干擾大等不足,導(dǎo)致系統(tǒng)性能不穩(wěn)定、信息傳輸率低等問題。

本文概述了國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機(jī)接口技術(shù),重點(diǎn)研究基于不同視覺誘發(fā)電位范式的輪椅腦電導(dǎo)航接口技術(shù)及其信號處理算法,并進(jìn)行新的輪椅腦電導(dǎo)航接口技術(shù)的探索。

1 范式設(shè)計(jì)

1.1 基于牛頓環(huán)的穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口范式

傳統(tǒng)SSVEP依賴光閃爍產(chǎn)生的視覺刺激進(jìn)行誘發(fā),需要較強(qiáng)的光強(qiáng)度,容易造成使用者不適,引發(fā)大腦適應(yīng)性效應(yīng),即大腦對刺激信號的響應(yīng)隨著刺激的持續(xù)不斷降低,不適宜自然光條件下及長期使用的腦-機(jī)交互場合。本研究基于大腦視覺系統(tǒng)的運(yùn)動(dòng)感知能力,采用低閃爍、用戶操作不易疲勞的穩(wěn)態(tài)運(yùn)動(dòng)翻轉(zhuǎn)視覺刺激范式誘發(fā)周期性的穩(wěn)態(tài)電位(SSMVEP),并應(yīng)用于腦-機(jī)接口,實(shí)現(xiàn)了穩(wěn)態(tài)誘發(fā)電位與運(yùn)動(dòng)感知腦-機(jī)接口的有機(jī)結(jié)合。

采用光學(xué)中常見的牛頓環(huán)作為刺激范式,牛頓環(huán)運(yùn)動(dòng)刺激目標(biāo)為明暗相間同心圓環(huán),明亮區(qū)域和暗區(qū)域面積相等,在刺激呈現(xiàn)過程中,牛頓環(huán)相位按正弦方式進(jìn)行調(diào)制,在收縮和擴(kuò)張兩個(gè)方向上形成周期往復(fù)振蕩運(yùn)動(dòng),收縮和擴(kuò)張運(yùn)動(dòng)的翻轉(zhuǎn)頻率定義為刺激頻率。考慮到在屏幕刷新率為100 Hz的條件下,刺激頻率為14 Hz的牛頓環(huán)運(yùn)動(dòng)刺激如圖1所示。

圖1 運(yùn)動(dòng)翻轉(zhuǎn)刺激范式

采用8.10、9.80、12.25和14.00 Hz這4個(gè)翻轉(zhuǎn)頻率分別賦予4個(gè)刺激目標(biāo),通過典型相關(guān)算法(CCA)判別受試者注視的目標(biāo)。6名受試者在單輪實(shí)驗(yàn)時(shí)長4 s情況下的平均識別正確率為86%。系統(tǒng)測試結(jié)果表明,最優(yōu)信息傳輸率條件下的目標(biāo)平均識別時(shí)間約為3.5 s,平均信息傳輸率約為16 bit/min。

圖2 大腦響應(yīng)的時(shí)間演化及其指數(shù)衰減擬合圖

每名受試者的大腦穩(wěn)態(tài)電位信號的時(shí)間演化及其指數(shù)衰減擬合參照圖2,20輪實(shí)驗(yàn)的總時(shí)長為100 s。從圖2可以看出,大部分情況下受試者的大腦響應(yīng)在20輪實(shí)驗(yàn)過程中沒有明顯的下降趨勢,指數(shù)衰減曲線多為直線形式,表明該研究能夠較好地避免神經(jīng)適應(yīng)性及大腦響應(yīng)信號的降低,更加適宜于長期使用的腦-機(jī)交互場合。

1.2 基于高頻組合編碼的穩(wěn)態(tài)誘發(fā)電位腦-機(jī)接口范式

針對目前基于低頻SSVEP-BCI系統(tǒng)存在目標(biāo)數(shù)目少、刺激時(shí)間長、易誘發(fā)疲勞和癲癇等不足導(dǎo)致的系統(tǒng)穩(wěn)定性不高、信息傳輸率低等問題,提出了基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)的腦-機(jī)接口技術(shù),基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位的本質(zhì)是組合編碼的思想,在高頻段,采用信噪比高的幾個(gè)刺激單元通過排列組合出多個(gè)刺激序列,理論上可實(shí)現(xiàn)m個(gè)刺激表達(dá),呈現(xiàn)mm個(gè)刺激。這不僅解決了單頻率呈現(xiàn)模式下目標(biāo)數(shù)目受限的問題,而且利用了高頻SSVEP刺激閃爍的融合效應(yīng),減少了受試者的疲勞度,也降低了使用者誘發(fā)癲癇的可能性。CCH-SSVEP新范式如圖3所示,在該范式中,采用頻率高于25 Hz的頻段作為基本單元,為了說明新范式的可行性,且不失一般性,這里選3個(gè)基本刺激單元(即m=3)。每個(gè)頻率單元通過20個(gè)周期的屏幕幀圖像的亮和滅呈現(xiàn),單次識別任務(wù)選取10個(gè)刺激序列長度,以上僅對范式設(shè)計(jì)做概述,詳細(xì)過程參考文獻(xiàn)[12],實(shí)驗(yàn)結(jié)果見下面信號處理部分。

圖3 基于高頻率組合編碼的SSVEP范式

1.3 基于幅值調(diào)制視覺穩(wěn)態(tài)誘發(fā)電位腦-機(jī)接口范式

傳統(tǒng)穩(wěn)態(tài)視覺誘發(fā)刺激在顯示器上呈現(xiàn),是通過圖像特定頻率(刺激頻率)閃爍方式實(shí)現(xiàn)的,但由于采用一個(gè)頻率表示一個(gè)目標(biāo)任務(wù)的刺激范式簡單,同時(shí)由于顯示器物理參數(shù)以及目標(biāo)識別率的限制,僅可以使用有限的頻率呈現(xiàn)任務(wù)目標(biāo),使得可呈現(xiàn)的任務(wù)目標(biāo)數(shù)受限。此外,傳統(tǒng)SSVEP辨識效率低,需要多次刺激信號累加,嚴(yán)重影響了實(shí)時(shí)辨識能力。因此,針對傳統(tǒng)SSVEP范式頻帶窄、目標(biāo)數(shù)目受限、信噪比低、不適合在顯示屏上呈現(xiàn)更多目標(biāo)等不足,圍繞如何在有限頻帶內(nèi)增加可呈現(xiàn)的目標(biāo)數(shù)目,提升SSVEP技術(shù)的信息傳輸率的核心問題,本文提出了基于幅值調(diào)制視覺誘發(fā)電位的范式(AMVEP)。圖4是CRT顯示器呈現(xiàn)AMVEP刺激的時(shí)序原理圖,每個(gè)柱狀代表一個(gè)載波,幅值大小代表載波灰度。利用顯示器交替閃爍的圖像亮度按照灰度值(0～255)變化,實(shí)現(xiàn)特定載波頻率f0上的低頻幅值調(diào)制刺激,f0是SSVEP響應(yīng)最優(yōu)頻段特征頻率,如圖4所示。載波本質(zhì)是方波,由n幀圖像組成,其中ng為亮幀數(shù)圖像,n0為滅幀數(shù)圖像。

圖4 基于幅值調(diào)制SSVEP范式

本文提出基于幅值調(diào)制的SSVEP腦-機(jī)接口新范式,借鑒調(diào)制思想,采用誘發(fā)響應(yīng)強(qiáng)度最優(yōu)頻帶特征頻率12.5 Hz為載波和低頻調(diào)制信號形成幅值調(diào)制刺激范式,并對幅值調(diào)制的數(shù)目、分辨率及帶寬進(jìn)行理論計(jì)算及驗(yàn)證,為實(shí)驗(yàn)設(shè)計(jì)提供了理論依據(jù)。同時(shí),對幅值調(diào)制實(shí)驗(yàn)中測點(diǎn)的導(dǎo)聯(lián)、數(shù)據(jù)長度等參數(shù)進(jìn)行優(yōu)化,并提出優(yōu)化策略。所提出的基于幅值調(diào)制SSVEP刺激范式,不僅提高了響應(yīng)信號的信噪比,同時(shí)通過載波與調(diào)制波的組合大大提升了目標(biāo)數(shù)目,解決了傳統(tǒng)單一頻率呈現(xiàn)目標(biāo)數(shù)量受限的問題。在此基礎(chǔ)上,提出與之相適應(yīng)的特征提取與識別方法,5個(gè)受試者離線與仿真在線識別率均在80%以上,在線仿真平均信息傳輸率為35 bit/min,相比其他范式有所提高。本文所提出的基于幅值調(diào)制的SSVEP腦-機(jī)接口范式為SSVEP范式設(shè)計(jì)提供了一種新的思路,并通過實(shí)驗(yàn)得到驗(yàn)證,詳細(xì)過程請參考文獻(xiàn)[15]。

2 信號處理

2.1 基于隨機(jī)共振機(jī)制的穩(wěn)態(tài)運(yùn)動(dòng)視覺誘發(fā)電位增強(qiáng)方法

頭皮腦電信號容易受到各種電生理信號及噪聲干擾,造成頭皮誘發(fā)電位信號微弱,多依賴算法改進(jìn)實(shí)現(xiàn)系統(tǒng)性能提升,性能拓展空間小,針對此問題,本文提出了基于隨機(jī)共振機(jī)制的穩(wěn)態(tài)運(yùn)動(dòng)視覺誘發(fā)電位增強(qiáng)方法。該方法是隨機(jī)共振技術(shù)在穩(wěn)態(tài)視覺誘發(fā)電位中的創(chuàng)新應(yīng)用,通過在周期視覺輸入中引入噪聲的方式,實(shí)現(xiàn)在一定程度上對大腦動(dòng)力學(xué)特性的擾動(dòng),實(shí)現(xiàn)穩(wěn)態(tài)電位的有效增強(qiáng),為實(shí)現(xiàn)高性能腦-機(jī)接口技術(shù)開辟了新的思路。

采用8.57、12.00和15.00 Hz這3個(gè)翻轉(zhuǎn)頻率分別賦予3個(gè)刺激目標(biāo),刺激目標(biāo)采用單環(huán)形,以服從高斯分布的二維噪聲點(diǎn)掩蔽刺激目標(biāo),噪聲點(diǎn)更新頻率同步于屏幕刷新率,噪聲點(diǎn)的灰度級在0～255之間,噪聲點(diǎn)的二維灰度均值為128,噪聲強(qiáng)度以高斯分布標(biāo)準(zhǔn)差(NSD)表征,如圖5所示。

(a)噪聲強(qiáng)度為0 (b)噪聲強(qiáng)度為8 (c)噪聲強(qiáng)度為24

(d)噪聲強(qiáng)度為40(e)噪聲強(qiáng)度為48(f)噪聲強(qiáng)度為56圖5 不同強(qiáng)度視覺噪聲掩蔽示意圖

本研究對4名受試者(S1～S4)進(jìn)行了實(shí)驗(yàn),單輪實(shí)驗(yàn)時(shí)長在2～10 s范圍內(nèi)可變,根據(jù)在線實(shí)驗(yàn)得到的正確率與正確檢測時(shí)間關(guān)系曲線見圖6。圖6表征了4名受試者在無視覺噪聲及最優(yōu)視覺噪聲強(qiáng)度下操作腦-機(jī)接口時(shí)的性能,由于腦-機(jī)接口精度和效率的提高分別能夠通過較高的正確率及較短的正確檢測時(shí)間得到體現(xiàn),因而誤差棒越接近正確率與正確檢測時(shí)間關(guān)系圖左上角時(shí),表明腦-機(jī)接口系統(tǒng)具有越高的性能。從圖中可以看出,大部分受試者在最優(yōu)視覺噪聲強(qiáng)度下性能提升較為明顯,表明該技術(shù)能夠顯著提升現(xiàn)有腦-機(jī)接口的精度和效率,創(chuàng)新提高腦-機(jī)接口技術(shù)的實(shí)用化水平。

(a)受試者S1

(b)受試者S2

(c)受試者S3

(d)受試者S4圖6 腦機(jī)接口在線性能

2.2 基于改進(jìn)希爾伯特黃變換(IHHT)的CCH-SSVEP響應(yīng)信號處理方法

穩(wěn)態(tài)視覺誘發(fā)電位的本質(zhì)告訴我們,CCH-SSVEP新刺激范式響應(yīng)信號本質(zhì)上應(yīng)該包含不同頻率組合編碼的時(shí)序信息,加上腦電信號本身微弱的屬性,從信號處理的角度,該響應(yīng)應(yīng)該屬于非線性、非平穩(wěn)的弱信號。因此,要從這樣的信號中提取出我們需要的信息,傳統(tǒng)的譜方法無法滿足需求。本文提出的基于IHHT變頻腦電信號CCH-SSVEP響應(yīng)信號處理方法(如圖7所示),通過刺激頻率的差異組合優(yōu)化,實(shí)現(xiàn)變頻腦電信號的特征提取及局部頻譜極值目標(biāo)辨識。

圖7 基于IHHT變頻的腦電信號特征提取與辨識方法

HHT的核心是經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)方法。EMD的本質(zhì)是基于信號的局部特征時(shí)間尺度,能把復(fù)雜信號分解為簡單信號(即本征模式函數(shù)IMF)的疊加,因此EMD方法是自適應(yīng)的信號處理方法。更重要的是,對信號進(jìn)行EMD分解后,使得瞬時(shí)頻率(IF)具有了物理意義。這樣就可以對每一個(gè)IMF進(jìn)行Hilbert變換,從而可以求出每一個(gè)IMF隨時(shí)間變化且具有物理意義的瞬時(shí)頻率和瞬時(shí)幅值,這些瞬時(shí)頻率和瞬時(shí)幅值可以揭示信號的內(nèi)在特征,最后得出隨時(shí)間和頻率變化的幅值H(w,t),稱為Hilbert譜。HHT主要的創(chuàng)新點(diǎn)在于提出了EMD,使得信號的瞬時(shí)頻率具有了物理意義,從而能得到非平穩(wěn)信號的完整的時(shí)頻分布,因此非常適合處理CCH-SSVEP誘發(fā)的非線性、非平穩(wěn)的弱響應(yīng)信號。基于IHHT變頻腦電信號CCH-SSVEP響應(yīng)信號處理方法的步驟如圖7所示,包含7個(gè)步驟,具體IHHT算法過程請參考文獻(xiàn)[13]。此處由于篇幅限制簡述如下:針對變頻腦電的EMD端點(diǎn)問題,采用邊界預(yù)測法和傳統(tǒng)方法進(jìn)行對比;針對EMD停止準(zhǔn)則的應(yīng)用選擇問題,采用固定篩選次數(shù);針對變頻腦電信號,選擇GZC(Generalized Zero-Crossing)算法計(jì)算瞬時(shí)頻率;最后通過刺激頻率的差異組合優(yōu)化[13],實(shí)現(xiàn)CCH-SSVEP響應(yīng)信號的高效識別。3個(gè)基本頻率單元基25、33.33、40 Hz,相應(yīng)編號為1、2、3,從27種的組合方式中選出差異化頻率的組合刺激序列依次為123、132、213、231、312、321,其單次響應(yīng)時(shí)域信號如圖8所示。經(jīng)過基于IHHT變頻腦電信號特征提取方法(見圖7)處理后的CCH-SSVEP新范式刺激下單次響應(yīng)信號的Hilbert譜圖見圖9,識別率為100%。

3 系統(tǒng)應(yīng)用

3.1 場景結(jié)合導(dǎo)航技術(shù)

(a)組合序列123 (b)組合序列132

(c)組合序列213 (d)組合序列231

(e)組合序列312 (f)組合序列321圖8 經(jīng)過差異組合優(yōu)化后的CCH-SSVEP響應(yīng)信號

(a)Hilbert譜123 (b)Hilbert譜132

(c)Hilbert譜213 (d)Hilbert譜231

(e)Hilbert譜312 (f)Hilbert譜321圖9 經(jīng)過差異組合優(yōu)化的CCH-SSVEP的Hilbert時(shí)頻譜

本文將牛頓環(huán)運(yùn)動(dòng)刺激范式與運(yùn)動(dòng)場景相結(jié)合,設(shè)計(jì)了一種高層次的導(dǎo)航技術(shù),稱之為場景結(jié)合導(dǎo)航技術(shù)。相對于傳統(tǒng)方法,該方法具有兩個(gè)顯著特點(diǎn):①將刺激目標(biāo)關(guān)聯(lián)具體的物理位置,用戶選定期望場景目標(biāo)后,輪椅即能精確地運(yùn)動(dòng)到相應(yīng)的目標(biāo)位置,使用傳統(tǒng)導(dǎo)航方法運(yùn)動(dòng)到相同位置則需要若干次轉(zhuǎn)彎和若干次平移調(diào)整,耗費(fèi)大量的時(shí)間;②將運(yùn)動(dòng)場景與刺激目標(biāo)結(jié)合,這種所見即所得的方式使用戶不需要估測就能預(yù)選出期望的刺激目標(biāo),節(jié)約用戶預(yù)選目標(biāo)的時(shí)間。

圖10示意了場景結(jié)合導(dǎo)航技術(shù)的原理。一個(gè)廣角攝像頭安裝在輪椅的前部,實(shí)時(shí)采集輪椅前方的場景圖像,呈現(xiàn)在筆記本電腦屏幕上。同時(shí),若干刺激目標(biāo)呈現(xiàn)在場景圖像之上,這些刺激目標(biāo)在圖像中的位置與輪椅前方地面相對應(yīng)的物理位置一一關(guān)聯(lián)。

圖10 場景結(jié)合導(dǎo)航方法示意圖

3.2 腦控輪椅系統(tǒng)集成

本文將普通電動(dòng)輪椅加以改造,集成了一個(gè)具備一定實(shí)用性的腦控輪椅系統(tǒng)。其基本組成為電動(dòng)輪椅、輪椅控制器、筆記本電腦、腦電采集設(shè)備、編碼器、廣角攝像頭等部件,見圖11。

圖11 腦控輪椅的硬件組成

3.3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本研究中腦控輪椅的實(shí)用性和高效性,本文選擇現(xiàn)實(shí)生活中的場所進(jìn)行測試,規(guī)劃了復(fù)雜程度不同的3條路徑。5名年齡在23～32歲之間的男性研究生參與了該驗(yàn)證實(shí)驗(yàn),對于每條路徑,要求他們各自測試5次。實(shí)驗(yàn)結(jié)果表明,每位被試者都能順利完成各條路徑,說明該腦控輪椅已經(jīng)具備一定的實(shí)用性。本文還對場景結(jié)合導(dǎo)航方法和傳統(tǒng)導(dǎo)航方法進(jìn)行了對比實(shí)驗(yàn)驗(yàn)證,場景結(jié)合導(dǎo)航方法比傳統(tǒng)方法節(jié)約(44.1±2.8)%的指令數(shù)和(42.1±1.0)%的路線完成時(shí)間。

4 結(jié) 論

本文概述了國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機(jī)接口技術(shù),重點(diǎn)研究基于不同視覺誘發(fā)電位范式的輪椅腦電導(dǎo)航接口技術(shù)及其信號處理算法,并進(jìn)行了新的輪椅腦電導(dǎo)航接口技術(shù)的探索。

針對傳統(tǒng)SSVEP在BCI系統(tǒng)中應(yīng)用存在的問題,在范式設(shè)計(jì)方面提出以下方式。

(1)針對傳統(tǒng)SSVEP易造成被試者視覺疲勞、環(huán)境干擾大等不足,提出了基于運(yùn)動(dòng)翻轉(zhuǎn)視覺刺激的穩(wěn)態(tài)運(yùn)動(dòng)誘發(fā)電位(SSMVEP)刺激范式。其優(yōu)點(diǎn)是保證低頻閃爍刺激條件下的抗疲勞,并采用等光強(qiáng)的運(yùn)動(dòng)刺激提高了環(huán)境適應(yīng)性,從而保證腦電導(dǎo)航的可靠性,后續(xù)研究中在響應(yīng)信號增強(qiáng)方面有提升空間,可應(yīng)用于需要長時(shí)間在室外強(qiáng)光干擾等復(fù)雜環(huán)境下工作同時(shí)要求高可靠性的腦-機(jī)接口導(dǎo)航場景中。

(2)針對目前基于低頻SSVEP-BCI系統(tǒng)存在目標(biāo)數(shù)目少、易誘發(fā)疲勞和癲癇等可能的不足,提出了基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)刺激范式。其優(yōu)點(diǎn)是解決單頻率呈現(xiàn)目標(biāo)數(shù)量受限的問題,增加了傳統(tǒng)SSVEP的目標(biāo)數(shù)和可選范圍,并利用高頻SSVEP的刺激閃爍融合效應(yīng),提高了使用者的舒適度,有效降低視覺疲勞影響及誘發(fā)癲癇的可能。在更高頻率段,后續(xù)研究中還有提升的空間,可應(yīng)用于同時(shí)兼具高效和無損性能要求的腦-機(jī)接口導(dǎo)航場景中。

(3)針對基于傳統(tǒng)SSVEP腦-機(jī)接口系統(tǒng)范式單一、可用頻帶窄、信噪比低等不足導(dǎo)致的系統(tǒng)穩(wěn)定性不高、信息傳輸率低的問題,提出基于幅值調(diào)制編碼穩(wěn)態(tài)視覺誘發(fā)電位(AMVEP)刺激范式。其優(yōu)點(diǎn)是:解決了傳統(tǒng)SSVEP有效頻帶受限、信噪比低的問題,優(yōu)選SSVEP響應(yīng)頻率為載波與低頻信號形成組合調(diào)制刺激,除原有的頻率信息外,增加了幅值變化的調(diào)制信息;響應(yīng)信號信噪比高,在保證辨識準(zhǔn)確率的基礎(chǔ)上,大大提升刺激目標(biāo)數(shù),從而獲取了較高的信息通訊傳輸率。在后續(xù)研究中關(guān)于同一載波上可調(diào)制多個(gè)調(diào)制頻率仍有提升空間,可應(yīng)用于需要大量刺激目標(biāo)且穩(wěn)定性和信息傳輸率有較高要求的腦-機(jī)接口導(dǎo)航應(yīng)用場景中。

針對不同SSVEP范式的EEG信號特征,在信號處理方面進(jìn)行如下處理。

(1)頭皮腦電信號容易受到各種電生理信號以及其他噪聲的干擾,造成頭皮誘發(fā)電位信號微弱、辨識困難,多依賴算法改進(jìn)實(shí)現(xiàn)系統(tǒng)性能提升,性能拓展空間小,限制腦-機(jī)接口實(shí)用化水平。針對此問題,提出了基于隨機(jī)共振機(jī)制的穩(wěn)態(tài)運(yùn)動(dòng)視覺誘發(fā)電位增強(qiáng)方法,以視覺運(yùn)動(dòng)誘發(fā)電位作為視覺系統(tǒng)的典型輸出形式,通過在穩(wěn)態(tài)周期視覺輸入中引入噪聲的方式,實(shí)現(xiàn)一定程度上對大腦動(dòng)力學(xué)特性的擾動(dòng),實(shí)現(xiàn)穩(wěn)態(tài)運(yùn)動(dòng)視覺誘發(fā)電位的有效增強(qiáng),為優(yōu)化視覺響應(yīng)并實(shí)現(xiàn)高性能腦-機(jī)接口技術(shù)開辟了新的思路。

(2)針對CCH-SSVEP新范式響應(yīng)的非線性、非平穩(wěn)弱信號特征,提出了基于IHHT的CCH-SSVEP響應(yīng)信號處理方法,提高了識別率,最后通過刺激頻率的差異組合優(yōu)化,實(shí)現(xiàn)了CCH-SSVEP響應(yīng)信號的高效識別。

在系統(tǒng)應(yīng)用方面:針對傳統(tǒng)SSVEP-BCI系統(tǒng)導(dǎo)航效率低下的問題,提出將牛頓環(huán)運(yùn)動(dòng)刺激范式與運(yùn)動(dòng)場景相結(jié)合,設(shè)計(jì)了一種高層次的導(dǎo)航技術(shù),稱之為場景結(jié)合導(dǎo)航技術(shù)。相對于傳統(tǒng)方法,將刺激目標(biāo)關(guān)聯(lián)具體的物理位置,導(dǎo)航效率顯著提升;將運(yùn)動(dòng)場景與刺激目標(biāo)結(jié)合的所見即所得的方式提升了用戶預(yù)選目標(biāo)效率以及路線規(guī)劃能力,同時(shí)也有利于用戶集中注意力,提高腦電信噪比。

[1]VIALATTE F, MAURICE M, DAUWELS J.Steady-state visually evoked potentials: focus on essential paradigms and future perspectives [J].Progress in Neurobiology, 2010, 90(4): 418-438.

[2]WANG Yijun, GAO Xiaorong, HONG Bo, et al.Brain-computer interfaces based on visual evoked potentials [J].IEEE Engineering in Medicine and Biology Magazine, 2008, 27(5): 64-71.

[3]REGAN D.Electrical responses evoked from the human brain [J].Scientific American, 1979, 241(6): 134-146.

[4]MIDDENDORF M, MCMILLAN G, CALHOUN G, et al.Brain-computer interfaces based on the steady-state visual-evoked response [J].IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 211-214.

[5]CHENG Ming, GAO Shangkai.An EEG-based cursor control system [C]∥Annual International Conference of the IEEE Engineering in Medicine and Biology.Piscataway, NJ, USA: IEEE, 1999: 669-699.

[6]黃淦.生物表面電信號建模、分析及其在人機(jī)交互中的應(yīng)用 [D].上海: 上海交通大學(xué), 2013.

[7]張楊松.基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)制及腦-機(jī)接口研究 [D].成都: 電子科技大學(xué), 2013.

[8]XIE Jun, XU Guanghua, WANG Jing, et al.Addition of visual noise boosts evoked potential-based brain-computer interface [J/OL].Scientific Reports: 4, 2014(4953) [2014-11-10].http:∥www.nature.com/srep/2014/140514/srep04953/full/srep0953.html[9]LI Yeping, XU Guanghua, WANG Jing, et al.A scene-combined navigation method based on Newton’s rings paradigm for brain-actuated intelligent wheelchairs [C]∥Proceedings of the Fifth International Brain-Computer Interface Meeting 2013.Pacific Grove, California, USA: GUTPH, 2013: 050.

[10]XIE Jun, XU Guanghua, WANG Jing, et al.Steady-state motion visual evoked potentials produced by oscillating Newton’s rings: implications for brain-computer interfaces [J].PLoS ONE, 2012, 7(6): e39707.

[11]XIE Jun, XU Guanghua, ZHANG Feng, et al.A local tangent space based approach for single-trial representation of event-related potentials [C]∥2010 5th Cairo International Biomedical Engineering Conference.Piscataway, NJ, USA: IEEE, 2010: 184-187.

[12]WANG Jing, XU Guanghua, XIE Jun, et al.EEG processing and its application in brain-computer interface [J].Engineering Sciences, 2013, 11(1): 54-61.

[13]徐光華, 張鋒, 王晶, 等.面向智能輪椅腦機(jī)導(dǎo)航的高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位技術(shù)研究 [J].機(jī)械工程學(xué)報(bào), 2013, 49(6): 21-29.

XU Guanghua, ZHANG Feng, WANG Jing.Research on key technology on time series combination coding-based high-frequency SSVEP in intelligent wheelchair BCI navigation [J].Journal of Mechanical Engineering, 2013, 49(6): 21-29.

[14]張鋒, 徐光華, 謝俊, 等.穩(wěn)態(tài)視覺誘發(fā)電位的研究與展望 [C]∥2010中國儀器儀表學(xué)術(shù)、產(chǎn)業(yè)大會(huì): 論文集2.北京: 中國儀器儀表學(xué)會(huì), 2010: 156-165.

[15]徐光華, 張鋒, 謝俊, 等.基于幅值調(diào)制視覺誘發(fā)電位腦-機(jī)接口方法: 中國, ZL201110259018X [P].2013 -12-04.

[16]徐光華, 張鋒, 謝俊, 等.基于HHT高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位腦機(jī)接口方法: 中國ZL2010105282 66.5 [P].2012-07-04.

[17]徐光華, 謝俊, 張鋒, 等.一種多頻率時(shí)序組合的穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口方法: 中國ZL2010101915 98.9 [P].2011-12-07.

[18]趙麗, 孫永, 郭旭宏.基于穩(wěn)態(tài)視覺誘發(fā)電位的手機(jī)撥號系統(tǒng)研究 [J].中國生物醫(yī)學(xué)工程學(xué)報(bào), 2013, 32(2): 253-256.

ZHAO Li, SUN Yong, GUO Xuhong.Research on mobile phone dialing system based on steady-state visual evoked potential [J].Chinese Journal of Biomedical Engineering, 2013, 32(2): 253-256.

(編輯 杜秀杰)

Brain-Computer Interface Paradigms and Signal Processing Strategy for Steady State Visual Evoked Potential

XU Guanghua1,2, ZHANG Feng1, XIE Jun1, LI Yeping1, HAN Chengcheng1, LI Lili1

(1.School of Mechanical Engineering, Xi’an Jiaotong University, Xi’an 710049, China; 2.State Key Laboratory for Manufacturing Systems Engineering, Xi’an Jiaotong University, Xi’an 710054, China)

Following an overview of the recent progress in steady state visual evoked potential (SSVEP) based brain-computer interfaces (BCIs), three new SSVEP paradigms for the brain-computer interface system are proposed to solve the problems in the traditional SSVEP-BCI, namely steady-state motion visual evoked potentials (SSMVEP) based BCI produced by oscillating Newton’s rings, time series combination coding-based high-frequency SSVEP (CCH-SSVEP), and amplitude modulated visual evoked potential.For identifying weak EEG signals, the enhancement method of steady-state motion visual evoked potential based on stochastic resonance mechanism is adopted.For extracting the time-frequency characteristics of high-frequency time series combination coding-based SSVEPs, the improved Hilbert-Huang transform -based variable frequency EEG feature extraction method is suggested, which facilitates increasing the recognition efficiency of SSVEP.In BCI application, the scene-combined navigational technology via the combination of SSMVEP and motion scene is introduced, where the target stimulus is associated with specific physical location, to improve navigation efficiency and user pre-select target efficiency and to plan the path from the view of “what you see is what you get” in which the movement scene combines with target stimulus to focus and improve EEG SNR for users.The strategy has been applied to intelligent wheelchair’s BCI navigation with satisfactory evaluation.

steady state visual evoked potential; brain-computer interface; Newton’s ring; modulation

2014-11-24。 作者簡介:徐光華(1964—),男,教授,博士生導(dǎo)師。 基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(51175412)。

時(shí)間:2015-03-18

http:∥www.cnki.net/kcms/detail/61.1069.T.20150318.0940.001.html

10.7652/xjtuxb201506001

TP23

A

0253-987X(2015)06-0001-07