劉大成 胡 南 常春起 孫 兵

(1.蘇州大學(xué)電子信息學(xué)院，蘇州，215006； 2.深圳大學(xué)生物工程醫(yī)學(xué)院，深圳，518060)

基于偽隨機序列調(diào)制彩色視覺刺激的腦機接口*

劉大成1胡 南1常春起2孫 兵1

(1.蘇州大學(xué)電子信息學(xué)院，蘇州，215006； 2.深圳大學(xué)生物工程醫(yī)學(xué)院，深圳，518060)

腦機接口(Brain-computer interface，BCI)是一種新穎的人機交互方式，是通過人的大腦意圖和計算機直接進行交流。本文提出了一種基于偽隨機序列調(diào)制彩色視覺刺激，產(chǎn)生彩色瞬態(tài)視覺誘發(fā)電位(Chromatic transient visual evoked potential, CTVEP)的BCI系統(tǒng)設(shè)計與信號處理方法。根據(jù)視覺特性，彩色圓環(huán)的交替呈現(xiàn)與消失作為視覺刺激被證明更加舒適和安全。在本文研究中，屏幕上同時呈現(xiàn)36個彩色圓環(huán)刺激，每個刺激的呈現(xiàn)與消失模式由相互正交的36個偽隨機Gold序列中的唯一的一個給定。針對采集的枕區(qū)腦電信號，利用Gold序列的正交性，本文給出CTVEP的解碼方法，通過匹配濾波判斷被試注視的刺激圖案。通過對20名被試的實驗，給出了系統(tǒng)的識別準(zhǔn)確率，驗證了此系統(tǒng)在“翻譯”被試選擇時的可靠性。

腦電圖；腦機接口；Gold序列；彩色瞬態(tài)視覺誘發(fā)電位

引 言

腦機接口(Brain-computer interface，BCI)系統(tǒng)通過計算機或其他電子設(shè)備在人腦與外界環(huán)境之間建立一條對外直接交流的控制通路[1-3]。在醫(yī)學(xué)上，肌萎縮性脊髓側(cè)索硬化癥、脊髓損傷和中風(fēng)等患者不能與外界直接交流，BCI技術(shù)可以幫助他們與外界重新建立聯(lián)系[4,5]。此外，BCI還可以應(yīng)用于開關(guān)控制、機器人、娛樂和軍事等諸多領(lǐng)域[6]。目前對BCI的研究已成為國內(nèi)外醫(yī)學(xué)和工程領(lǐng)域的熱點。目前可用于BCI的腦電信號有腦電圖(Electroencephalography , EEG)、功能性核磁共振、腦磁圖和正電子放射層掃描等[7,8]。功能性核磁共振和腦磁圖的技術(shù)復(fù)雜、成本高昂；正電子放射層掃描和功能性核磁共振依賴于代謝過程，時間周期長，不適合快速腦機溝通。EEG因其具有時間分辨率高、操作方便和測試無創(chuàng)等特點，被廣泛應(yīng)用于BCI系統(tǒng)。依據(jù)采集腦電信號的電極位置不同，EEG分為植入式和非植入式，其中非植入式EEG具有無創(chuàng)、廉價、簡便和高時間分辨率等特點[9]。目前大多數(shù)BCI系統(tǒng)依靠3種腦電信號：想象動作思維引起的事件相關(guān)去同步電位、事件相關(guān)電位和穩(wěn)態(tài)誘發(fā)電位[10]。本文使用的是一種重要的誘發(fā)電位-視覺誘發(fā)電位(Visual evoked potential，VEP)。VEP是大腦枕葉視皮層對視覺刺激產(chǎn)生反應(yīng)的一簇電信號，具有可供選指令集多、使用前不需要訓(xùn)練和穩(wěn)定性好等特點，其中P300和穩(wěn)態(tài)誘發(fā)電位因其信號易于提取，得到了廣泛的關(guān)注[11]，但P300和穩(wěn)態(tài)誘發(fā)電位必須通過有規(guī)律的重復(fù)閃光或者圖形刺激視網(wǎng)膜[12]。趙麗等[13]應(yīng)用LED作為刺激器，12個LED同時以不同的頻率閃爍，對應(yīng)手機按鍵界面上的12個鍵，一旦這些誘發(fā)的腦電信號被轉(zhuǎn)換為控制命令，就會實現(xiàn)對手機撥號，通過對5名被試的實驗，該系統(tǒng)具有較高的正確率；鄭軍[14]利用計算機顯示器作為刺激器，多個圖形呈現(xiàn)在計算機顯示器上，以設(shè)定的頻率進行黑白閃爍，從而刺激頻率和圖形呈現(xiàn)在同一個顯示器上，簡化了BCI系統(tǒng)，試驗證明此BCI系統(tǒng)可以應(yīng)用于字符輸入、家電集成和腦控輪椅等。雖然黑白重復(fù)閃光可以獲得較好的試驗結(jié)果，但是這種頻率閃爍的刺激容易誘發(fā)癲癇癥發(fā)作，另外不停變化亮度的刺激容易使人感到疲勞[15]，所以目前很多基于視覺誘發(fā)電位的BCI技術(shù)缺乏安全性和舒適度。彩色瞬態(tài)視覺誘發(fā)電位(Chromatic transient visual evoked potential, CTVEP)，可以減少癲癇發(fā)作的風(fēng)險和減輕疲勞，同時誘發(fā)出來的信號具有高質(zhì)量性[16]。本文采用瞬態(tài)彩色圓環(huán)作為視覺刺激，利用偽隨機序列實現(xiàn)BCI的多輸入指令。

1 實驗設(shè)計

1.1 刺激圖形設(shè)計

圖1 等亮度色彩刺激的VEP波形Fig.1 VEP waveform evoked by equivalent brightness chromatic stimulus

在視覺范圍內(nèi)，當(dāng)一個彩色的視覺刺激快速呈現(xiàn)時會誘發(fā)CTVEP，其引起色差的視覺刺激類似于視覺誘發(fā)電位。由于視錐細胞在視網(wǎng)膜上分布不均勻，位于黃斑區(qū)的視錐細胞密度比周圍高，產(chǎn)生的CTVEP信號更強。這種效應(yīng)被稱為“皮質(zhì)放大”。根據(jù)人類視覺系統(tǒng)的特性，在色彩空間里有三對拮抗色適合作為色彩刺激，包括黑白對(LUM)，紅綠對(LM)和藍黃對(S)。黑白對相當(dāng)于亮度調(diào)制，容易帶來疲勞；藍黃對具有更少的魯棒性，對CTVEP需要更長的時間反應(yīng)；相比之下，紅綠對可以呈現(xiàn)等亮度的圖像，減輕亮度閃爍帶來的疲勞感，提高舒適度和安全性，提高CTVEP的幅度。本文實驗采用等色等亮度的瞬態(tài)紅綠圓作為視覺刺激圖案，刺激產(chǎn)生的CTVEP如圖1所示。

1.2 刺激模式設(shè)計

實驗采用的圖形呈現(xiàn)方式為出現(xiàn)/消失模式，如圖2所示。一個圖形刺激周期為100 ms，出現(xiàn)/消失的占空比為33%，如圖3所示。視覺刺激按照Gold序列閃爍，即當(dāng)Gold序列為1時，以出現(xiàn)/消失模式出現(xiàn)；其為0時，在100 ms時長內(nèi)保持消失狀態(tài)。

圖2 圖形出現(xiàn)/消失模式 圖3 一個圖形刺激周期(Gold=1) Fig.2 Pattern appearance/disappearance mode Fig.3 One pattern stimulus period (Gold=1)

1.3 GOLD序列設(shè)計

本文采用偽隨機序列(Gold序列)調(diào)制刺激圖形。Gold序列是以m序列為基礎(chǔ)的一種PN序列，由一對碼長、周期和速率相等的互相關(guān)值小的m序列模2和得到的。本文利用Gold序列的自相關(guān)性強、互相關(guān)性弱的特點，將其刺激目標(biāo)擴增至36個，選擇長度為127位的Gold碼，一次刺激的時長設(shè)為12.7 s，以保證BCI的準(zhǔn)確率和判斷信息效率。

本實驗的視覺刺激界面如圖4所示。由6×6矩陣組成的視覺刺激界面作為BCI的輸入界面，每個圓環(huán)圖案表示一個目標(biāo)輸入，36個圓環(huán)分別代表了A～Z的26個字母和0～9的10個數(shù)字。在圓環(huán)閃爍的同時，向并口發(fā)送脈沖信號，通過適配器在時間軸上打上標(biāo)記，為后期的數(shù)據(jù)分析做好準(zhǔn)備。

1.4 腦電信號采集設(shè)計

實驗采用德國Brain Products腦電儀，采樣頻率為5 000 Hz，采用32導(dǎo)聯(lián)電極帽的Oz電極對大腦枕葉區(qū)進行數(shù)據(jù)的采集，其實驗系統(tǒng)架構(gòu)如圖5所示。

圖4 視覺刺激界面 圖5 視覺刺激實驗系統(tǒng)的架構(gòu) Fig.4 Visual stimulation interface Fig.5 Architecture of visual stimulation experiment system

2 腦電信號處理方法

2.1 信號處理流程

本實驗中需要將被試所注視的目標(biāo)圖案識別出來，并將其腦電信號轉(zhuǎn)換為對應(yīng)的字母或數(shù)字輸出。信號處理過程主要包括解碼(解調(diào))、平均、匹配濾波、線性分類和對應(yīng)的字母或數(shù)字輸出，它們的關(guān)系如圖6所示。

圖6 信號處理流程Fig.6 Signal processing procedure

數(shù)據(jù)處理如下：利用偽隨機序列(Gold序列)對視覺界面的36個彩色圖案進行調(diào)制，由于Gold序列自相關(guān)遠大于互相關(guān)的特性，通過平均連續(xù)多次的相關(guān)事件，保存相關(guān)信號，同時抑制不相關(guān)信號或者噪聲，解調(diào)出可識別的腦電信號；匹配濾波是經(jīng)過適當(dāng)?shù)哪０迮c信號計算，求互相關(guān)系數(shù)；線性分類基于互相關(guān)系數(shù)對信號進行分類，控制電腦輸出對應(yīng)的字母或數(shù)字的命令，從而實現(xiàn)BCI的多輸入指令功能。

2.2 信號解碼

實驗中視覺刺激系統(tǒng)采用36個長度為127位的Gold平衡碼(64個1，63個0)對36個刺激圖案進行調(diào)制。在每個Gold碼周期內(nèi)，當(dāng)Gold碼為“1”時，出現(xiàn)閃爍，此時出現(xiàn)一次CTVEP；當(dāng)Gold碼為“0”時，閃爍消失，則不出現(xiàn)CTVEP，只有自發(fā)腦電信號與噪聲。Gold碼的頻率為10 Hz，即每一位Gold碼持續(xù)的時間為100 ms，而大腦完成一次CTVEP的持續(xù)時間為300 ms，因此采集的數(shù)據(jù)在出現(xiàn)CTVEP的周期內(nèi)可能是重疊的，需要設(shè)計適當(dāng)?shù)乃惴ㄟM行解碼。

現(xiàn)在假設(shè)被試正在注視第m個圖案(即對第m個圖案進行選擇)，第m個圖案對應(yīng)的127位Gold碼向量gm調(diào)制的圖案對人腦的刺激產(chǎn)生了127個向量，即xm(1),xm(2),…,xm(n),…,xm(127)。由于CTVEP持續(xù)300 ms，所以每個向量的長度均設(shè)為1 500。將每個向量均分為3段，每一段為500個點(即100 ms時長)，即

(1)

若1次閃爍刺激產(chǎn)生的CTVEP的1 500點向量為s,將向量s同樣均分為3段s1,s2,s3，即

(2)

每次刺激產(chǎn)生的CTVEP，可認為其波形相同(圖1)。對于第m個Gold碼的第n位gm(n)，當(dāng)gm(n)=1時，xm(n)=s；當(dāng)gm(n)=0時，xm(n)=01 500(1 500×1維全零向量)，因此有xm(n)=sgm(n)。結(jié)合式(1)與式(2)，可得

(3)

當(dāng)刺激開始時，將每500個點(即100 ms時長)作為一個向量進行記錄。由于最后一位Gold碼在為1的情況下能刺激出300 ms長度的CTVEP，因此從序列刺激開始時刻最終記錄129個這樣的不交迭向量。令ym(l)為被試注視第m個圖案時EEG采集到的第l個數(shù)據(jù)向量，則其可表示為

(4)

式中n(l)表示第l段數(shù)據(jù)中存在的與刺激反應(yīng)無關(guān)的干擾信號向量，主要來源于自發(fā)腦電和線路噪聲。

在被試注視第m個圖案的情況下，將采集到的數(shù)據(jù)向量ym(l)(l=1,2,…,129)組合成數(shù)據(jù)矩陣Ym，可表示為

(5)

將式(4)代入式(5)，Ym可表示為

(6)

式中：I為500×500維單位矩陣；0500為500×1維全零向量；Xm,i=[xm,i(1),xm,i(2),…,xm,i(127)]，i=1,2,3；N=[n(1),n(2),…,n(129)]。另外由式(3)可得

(7)

則將式(7)代入式(6)，可得最終數(shù)據(jù)的表示形式為

(8)

以前的建模都是在假設(shè)m已知的條件下給出的，然而本文中描述的BCI系統(tǒng)的核心問題就是從采集的EEG數(shù)據(jù)中給出對m的估計值，即對被試注視圖案的解碼。解碼過程首先對Ym右乘一個權(quán)重矩陣Wn，獲得數(shù)據(jù)矩陣Dm,n，即

(9)

(10)

式中1127為127×1維全1向量。結(jié)合式(8)與式(9)，經(jīng)計算可得

(11)

經(jīng)計算，當(dāng)m=n時，v11=v22=v33=1；當(dāng)m≠n時，v11=v22=v33=0；在兩種情況下v12，v23，v13，v21，v32，v31最大不會超過0.1，所以令它們都約等于0。因此，Dm,n可以寫成

(12)

式中Kronecker函數(shù)δm,n=1,m=n；δm,n=0,m≠n。

(13)

式中vec (·)表示將矩陣的后一列依次堆疊到前一列的下方以構(gòu)成一個向量。由式(12)近似有

(14)

2.3 匹配濾波

(15)

3 實驗結(jié)果

圖7 單次刺激的解調(diào)信號Fig.7 Demodulation signal of a single stimulus

本次實驗對象為10名健康男性、10名健康女性，讓他們按固定的程式注視36個圖案中的1個。實驗分別做了單次刺激、2次平均、3次平均和4次平均各100次，實驗結(jié)果如表1所示。

表1 不同次數(shù)的平均比較

實驗表明，雖然單次刺激被試需要注視的時間短，相對更舒適，但是單次刺激的準(zhǔn)確率比較低，因此需要做3次以上的平均來提高信噪比和準(zhǔn)確率。但如果增加被試者的注視時間，將導(dǎo)致被試者疲勞。因此，本文選擇3次平均是可以接受的較好實驗方式。

4 結(jié)束語

基于偽隨機序列調(diào)制彩色視覺刺激的腦機接口系統(tǒng)實驗表明，通過Gold序列調(diào)制彩色瞬態(tài)視覺圖案，可同時將輸入增加至多個。本文采用瞬態(tài)等亮紅綠對雙色圓環(huán)刺激，增加了被試的舒適度和安全性。EEG信號的處理利用了Gold碼的特殊性進行解調(diào)和匹配濾波，提高了系統(tǒng)選擇的正確率。通過比較4種不同次數(shù)平均下的系統(tǒng)正確率，本文最終選擇3次平均，既能正確地“翻譯”出人腦的選擇，同時被試也不會因為注視的時間太長而感到疲勞。由此可見，基于Gold碼調(diào)制的CTVEP作為一種新穎的腦電誘發(fā)方式，具有多輸入指令特點和較高的選擇準(zhǔn)確度，在BCI領(lǐng)域具有很好的應(yīng)用潛力。本文已給出基于偽隨機序列調(diào)制彩色視覺刺激的腦機接口的離線系統(tǒng)，今后將進一步研究基于該方法實時系統(tǒng)。

[1] McFarland D J, Wolpaw J R. Brain-computer interfaces for communication and control[J]. Communications of the ACM, 2011, 54(5): 60-66.

[2] Ahn S, Ahn M, Cho H, et al. Achieving a hybrid brain-computer interface with tactile selective attention and motor imagery[J]. Journal of Neural Engineering, 2014,11(6):132-135.

[3] 王洪濤,鄒鶴良,李達強.基于左右手運動想象的在線算法設(shè)計與應(yīng)用[J].數(shù)據(jù)采集與處理,2013,28(5):828-833.

Wang Hongtao, Zou Heliang, Li Daqiang. Left/right-hand-motor-imagery-based online algorithm design and its application[J].Journal of Data Acquisition and Processing,2013,28(5): 828-833.

[4] 余煒,周婭,馬晶晶,等. 基于EMD和LVQ的信號特征提取及分類方法[J].數(shù)據(jù)采集與處理,2014,29(5): 683-687.

Yu Wei,Zhou Ya,Ma Jingjing,et al. Signal feature extraction and classification method based on EMB and LVD neural network[J].Journal of Data Acquisition and Processing,2014,29(5): 683-687.

[5] Severens M, Van der Waal M, Farquhar J, et al. Comparing tactile and visual gaze-independent brain-computer interfaces in patients with amyotrophic lateral sclerosis and healthy users[J]. Clinical Neurophysiology : Official Journal of the International Federation of Clinical Neurophysiology, 2014, 125(11): 2297-2304.

[6] Tsui C S, Gan J Q, Roberts S J. A self-paced brain-computer interface for controlling a robot simulator: An online event labeling paradigm and an extended Kalman filter based algorithm for online training[J]. Medical & Biological Engineering & Computing, 2009,47(3):257-265.

[7] Raichle M E, Mintun M A. Brain work and brain imaging[J]. Annual Review of Neuroscience, 2006, 29: 449-476.

[8] Raichle M E. Functional brain imaging and human brain function[J]. Journal of Neuroscience, 2003, 23(10): 3959-3962.

[9] 何慶華, 彭承琳, 吳寶明. 腦機接口技術(shù)研究方法[J]. 重慶大學(xué)學(xué)報:自然科學(xué)版, 2002,25(12): 106-109.

He Qinghua,Peng Chenglin,Wu Baoming. Research methods of brain-computer interface technology[J]. Journal of Chongqing University:Natural Science Edition, 2002,25(12): 106-109.

[10]Wolpaw J, Wolpaw E W. Brain-computer interfaces: Principles and practice[M].Oxford University Press, 2012.

[11]趙均榜,張智君.基于皮層誘發(fā)電位的腦機接口研究進展[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程, 2010,23(1): 74-78.

Zhao Junbang,Zhang Zhijun. Progress in brain-computer interface based on cortical evoked potential[J]. Space Medicine & Medical Engineering,2010,23(1): 74-78.

[12]潘家輝. 基于P300和SSVEP的高性能腦機接口及其應(yīng)用研究[D].廣州:華南理工大學(xué)，2014.

Pan Jiahui. A study on P300 and SSVEP-based high-performance brain-computer interface and its application[D]. Guangzhou: South China University of Technology, 2014.

[13]趙麗，孫永，郭旭宏，等.基于穩(wěn)態(tài)視覺誘發(fā)電位的手機撥號系統(tǒng)研究[J].中國生物醫(yī)學(xué)工程報,2013,32(2):253-256.

Zhao Li,Sun Yong,Guo Xuhong，et al. Research on mobile phone dialing system based on steady-state visual evoked potential[J]. Chinese Journal of Biomedical Engineering, 2013,32(2):253-256.

[14]鄭軍.基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口研究[J].科學(xué)技術(shù)與工程,2011,11(33):8149-8154.

Zheng Jun. An research on brain-computer interfaces based on the steady state visual evoked potentials[J]. Science Technology and Engineering, 2011,11(33):8149-8154.

[15]Fisher R S, Harding G, Erba G, et al. Photic- and pattern-induced seizures: A review for the epilepsy foundation of America working group[J]. Epilepsia, 2005, 46(9): 1426-1441.

[16]Lai S M, Zhang Z, Hung Y S, et al. A chromatic transient visual evoked potential based encoding/decoding approach for brain-computer interface [J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2011, 1(4): 578-589.

Brain Computer Interface System Based on Pseudo Random Sequence Modulated Chromatic Visual Stimulation

Liu Dacheng1, Hu Nan1, Chang Chunqi2, Sun Bing1

(1.School of Electronic and Information, Soochow University, Suzhou, 215006, China; 2.School of Biomedical Engineering, Shenzhen University, Shenzhen, 518060, China)

Brain-computer interface (BCI) is a novel way for interaction between human and machine, which enables direct communication between the people′s mind and the computer. BCI system and its signal processing method are proposed based on pseudo random sequence modulated color visual stimulation and the chromatic transient visual evoke potential (CTVEP). According to the properties of human visual system, it has been demonstrated that chromatic visual stimulation is safer and more comfortable for various subjects. In the proposed BCI system, a number of spatially separated chromatic con-central rings will be simultaneously presented on and off, with on/off pattern each specified by a distinct sequence form 36 pseudo random Gold sequences. For the received data from occipital region, we have proposed a demodulation method based on the orthogonality among Gold sequences, and the subject focusing pattern is ultimately determined by using matched filtering. After experiments on 20 subjects, the identification accuracy of the proposed system was achieved, which has verified the validity of the system in translating the ideas of the subjects.

electroencephalography (EEG)；brain-computer interface (BCI); Gold sequence； chromatic transient visual evoked potential (CTVEP)

江蘇省高校自然科學(xué)研究面上項目(14KJB310020)資助項目;蘇州市科技計劃(SYS201521)資助項目。

2015-12-22；

2016-03-08

TP334; R318.6

A

劉大成(1989-)，男，碩士研究生，研究方向：腦機接口，E-mail:20144228016@stu.suda.edu.cn。

胡南(1986-)，男，博士，副教授，研究方向：腦電信號處理、多傳感器陣列信號處理。

常春起(1972-)，男，博士，教授，研究方向：生物醫(yī)學(xué)信號處理、統(tǒng)計信號處理、機器學(xué)習(xí)與模式識別。

孫兵(1968-)，通訊作者,女，博士，副教授，研究方向：生物醫(yī)學(xué)信號處理，E-mail:sunbing@suda.edu.cn。