王 力 張 雄 仲雪飛 樊兆雯 張 玉 孫 瀚

(東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096)

腦機(jī)接口(BCI)技術(shù)是指通過(guò)檢測(cè)大腦的活動(dòng)以實(shí)現(xiàn)外部設(shè)備控制的一種技術(shù).應(yīng)用BCI 技術(shù)，可繞開(kāi)外周神經(jīng)和肌肉組織，直接為大腦創(chuàng)造新的信息交流和控制通路［1］.成本低廉、操作方便的腦電圖(EEG)是BCI 系統(tǒng)的主要檢測(cè)方式［2］.基于EEG 的腦機(jī)接口有如下的實(shí)驗(yàn)范式:穩(wěn)態(tài)視覺(jué)誘發(fā)電位、P300 誘發(fā)電位、意識(shí)任務(wù)和運(yùn)動(dòng)想像等［3］.其中，前兩者主要依賴(lài)于額外的設(shè)備.意識(shí)任務(wù)往往需要使用者想像復(fù)雜的任務(wù)，如想像多位數(shù)乘法心算、幾何物體旋轉(zhuǎn)或聽(tīng)到一段熟悉的旋律等［4］.運(yùn)動(dòng)想像是通過(guò)想像肢體運(yùn)動(dòng)以誘導(dǎo)感覺(jué)運(yùn)動(dòng)皮層的EEG 信號(hào)發(fā)生事件相關(guān)(去)同步(ERD/ERS)現(xiàn)象［5］.目前所能分離的運(yùn)動(dòng)想像任務(wù)最多為四維，分別是左手、右手、腳和舌頭［6］.隨著分類(lèi)維數(shù)的增加，達(dá)到滿意的分類(lèi)精度需要的訓(xùn)練時(shí)間也增加.

針對(duì)上述情況，研究者們努力探索其他實(shí)驗(yàn)范式.DaSalla 等［7］提出用英語(yǔ)元音/a/和/u/作為默讀內(nèi)容，被試默讀這些元音實(shí)現(xiàn)BCI 系統(tǒng)的操作.文獻(xiàn)［8］分析了被試在默讀“左”和“壹”這2 個(gè)具有不同含義、發(fā)音和字形的漢字時(shí)的腦電信號(hào).本文將利用時(shí)頻分析算法來(lái)分析漢字默讀時(shí)的腦電信號(hào)，并判斷其是否具有類(lèi)似于運(yùn)動(dòng)想像范式的ERD/ERS 現(xiàn)象.共空間模式(CSP)極易受到噪聲的干擾，選擇合適的濾波范圍尤為關(guān)鍵，時(shí)頻分析可為濾波范圍的確定提供理論依據(jù).

1 實(shí)驗(yàn)設(shè)計(jì)

8 位身體和心理均健康的被試均為右利手，年齡為22 ～26 歲，均未參加過(guò)任何相關(guān)的腦電實(shí)驗(yàn).首先向被試介紹實(shí)驗(yàn)?zāi)康暮拖嚓P(guān)注意事項(xiàng)，然后被試簽署《知情同意書(shū)》.實(shí)驗(yàn)所需的提示信息采用液晶顯示屏完成，被試與顯示屏的距離為1 m.

實(shí)驗(yàn)為無(wú)反饋實(shí)驗(yàn)，整個(gè)流程的提示反復(fù)隨機(jī)顯示“左”和“壹”這2 個(gè)漢字.實(shí)驗(yàn)時(shí)序圖見(jiàn)圖1.每次實(shí)驗(yàn)開(kāi)始，屏幕中央顯示一個(gè)“* ”，表示空閑期，持續(xù)時(shí)間為2 s.然后，顯示“+”，時(shí)長(zhǎng)為1 s，提醒被試做好準(zhǔn)備.準(zhǔn)備期后顯示1 s 的漢字.隨后4 s 的想像期需要被試持續(xù)默讀提示的漢字.想像期過(guò)后，單次實(shí)驗(yàn)結(jié)束，被試可休息1 s.被試在默讀時(shí)不能發(fā)出聲音、觸動(dòng)嘴唇或者伸縮舌頭.每個(gè)漢字在一組實(shí)驗(yàn)中各隨機(jī)出現(xiàn)15 次.每個(gè)被試一共完成5 組實(shí)驗(yàn)，并在每組實(shí)驗(yàn)之間休息5 min.因此，每個(gè)漢字共獲得75 組實(shí)驗(yàn)數(shù)據(jù).

圖1 實(shí)驗(yàn)時(shí)序圖

2 數(shù)據(jù)采集

語(yǔ)言作為大腦的高級(jí)認(rèn)知行為，涉及的大腦皮層較為廣泛.普遍觀點(diǎn)認(rèn)為語(yǔ)言主要是被大腦左半球處理，包括2 個(gè)區(qū)域:位于顳區(qū)后上方的威爾尼克區(qū)和位于額下回后方的布洛卡區(qū);另有研究顯示右腦對(duì)語(yǔ)言的處理也有貢獻(xiàn)［9］.此外，被試默讀漢字時(shí)可能有想像舌頭和咽喉的運(yùn)動(dòng).有別于文獻(xiàn)［8］，本文實(shí)驗(yàn)采集的數(shù)據(jù)來(lái)自能夠覆蓋威爾尼克區(qū)、布洛卡區(qū)和感覺(jué)運(yùn)動(dòng)皮層的35 個(gè)電極.該電極遵照國(guó)際10/20 導(dǎo)聯(lián)系統(tǒng)設(shè)置(見(jiàn)圖2).采集腦電信號(hào)的設(shè)備為美國(guó)Neuroscan 公司生產(chǎn)的SynAmps2 系統(tǒng).為了去除眼電的干擾，被試的左右太陽(yáng)穴和左眼上下位置分別安放2 個(gè)雙極性電極以記錄水平眼電和垂直眼電.接地電極放置在前額以減少50 Hz 工頻干擾，采集腦電信號(hào)時(shí)的參考電極設(shè)置在頭頂.所有電極的阻抗低于5 kΩ.信號(hào)的采樣率為250 Hz，采集后的信號(hào)經(jīng)過(guò)0.1 ～100 Hz 的帶通濾波器濾波后存入計(jì)算機(jī).

圖2 電極位置

3 分析方法

3.1 時(shí)頻分析

EEG 信號(hào)是一種非平穩(wěn)時(shí)變信號(hào)，僅在時(shí)間域或者頻率域無(wú)法全面分析該信號(hào).時(shí)頻分析能同時(shí)在時(shí)間和頻率范圍內(nèi)對(duì)信號(hào)進(jìn)行分析，即把時(shí)間域內(nèi)的信號(hào)在時(shí)間和頻率的平面中展開(kāi)，將其表示為以時(shí)間和頻率2 個(gè)參數(shù)為自變量的函數(shù)，進(jìn)而展現(xiàn)該信號(hào)各頻率成分沿著時(shí)間軸的變化情況，分析結(jié)果更加直觀和精確.該分析方法既能突出非平穩(wěn)時(shí)變信號(hào)的瞬態(tài)特征，又可作為BCI 系統(tǒng)的特征提取方法.常用的時(shí)頻分析算法有短時(shí)傅里葉變換和連續(xù)小波變換等［10］.

為了研究默讀漢字時(shí)腦電信號(hào)能量相對(duì)于空閑狀態(tài)時(shí)的改變情況，采用事件相關(guān)譜擾動(dòng)(ERSP)作為信號(hào)的時(shí)頻分析算法［11］.ERSP 算法是將多次實(shí)驗(yàn)數(shù)據(jù)的能量譜疊加，并計(jì)算該能量譜相對(duì)于刺激出現(xiàn)前基線能量譜的變化值.如果刺激出現(xiàn)后的能量譜有所提高或降低，則說(shuō)明其對(duì)于時(shí)間有鎖時(shí)關(guān)系;反之則沒(méi)有.為了保留θ 波、α 波和β 波(三者的頻率范圍分別為4 ～7，8 ～12，13 ～35 Hz)的信息，EEG 經(jīng)過(guò)4 ～45 Hz 帶通濾波器濾波后用EEGLAB工具箱繪制ERSP 圖［12］，將ERSP 計(jì)算值設(shè)為p.被試S2 和S6 分別默讀2 個(gè)漢字時(shí)電極P5 的變化最為明顯，該電極的分析結(jié)果見(jiàn)圖3.

圖3中時(shí)間軸的0 s 位置對(duì)應(yīng)圖1中的第3 s，即提示出現(xiàn)的時(shí)刻.由圖3(a)和(b)可知，被試S2分別默讀2 個(gè)漢字時(shí)，電極P5 的EEG 信號(hào)在8 ～16 Hz 范圍內(nèi)的能量相對(duì)于基線有所增加.由圖3(c)和(d)可知，被試S6 默讀2 個(gè)漢字時(shí)，電極P5的EEG 信號(hào)在9 ～24 Hz 范圍內(nèi)的能量相對(duì)于基線有所減少.所有被試的EEG 信號(hào)能量變化頻率范圍均可通過(guò)這種方法計(jì)算得到.默讀漢字可誘導(dǎo)EEG 信號(hào)的能量增加或減少，可將這一特征作為BCI 系統(tǒng)的控制輸出.

在確定能量變化的頻率范圍后，將圖1中8 s 內(nèi)某個(gè)范圍的EEG 信號(hào)能量設(shè)為A，提示發(fā)生前的參考時(shí)間段(此處選為空閑期中第2 s)內(nèi)能量設(shè)為R.8 s 內(nèi)的能量相對(duì)于提示發(fā)生前的能量波動(dòng)百分?jǐn)?shù)D 為

如果想像期的D 值大于0，則表示默讀漢字可引起EEG 信號(hào)的能量增加，為事件相關(guān)同步(ERS);反之，為事件相關(guān)去同步(ERD).ERD/ERS 統(tǒng)稱(chēng)為事件相關(guān)(去)同步，計(jì)算流程參考文獻(xiàn)［5］.

3.2 特征提取

CSP 作為一種監(jiān)督的特征提取算法，已成功應(yīng)用于提取運(yùn)動(dòng)想像EEG 信號(hào)的特征值［13］.CSP 算法將2 個(gè)相應(yīng)的協(xié)方差矩陣同時(shí)對(duì)角化，以得到一個(gè)空間濾波器.多通道的EEG 信號(hào)能通過(guò)該濾波器投影到低維子空間上，投影后的成分包含各通道的權(quán)值及其間的相互信息，因此信號(hào)的信噪比增加.詳細(xì)計(jì)算過(guò)程參考文獻(xiàn)［13］.利用CSP 算法計(jì)算得到最佳投影矩陣W，W－1的列向量為共空域模式，被認(rèn)為是腦電信號(hào)在時(shí)間恒定時(shí)的源分布向量.每次實(shí)驗(yàn)中的EEG 信號(hào)根據(jù)電極數(shù)和采樣數(shù)可組成矩陣E，則分解矩陣Z 為

對(duì)于每一次的實(shí)驗(yàn)數(shù)據(jù)，僅計(jì)算Z 中2m 個(gè)向量的方差，以構(gòu)造特征向量.同時(shí)，對(duì)2 類(lèi)協(xié)方差矩陣對(duì)角化后得到2 組特征值，構(gòu)建空間濾波器時(shí)可選取這2 組特征值中最大的m 個(gè)值所對(duì)應(yīng)的特征向量.利用該濾波器對(duì)腦電信號(hào)濾波后得到矩陣Zj(j=1，2，…，2m)，根據(jù)上述計(jì)算，矩陣Z 的前m 行和后m 行與Zj相同.特征向量Vj為

圖3 被試S2 和S6 分別默讀2 個(gè)漢字時(shí)的ERSP 圖

式中，var(·)為方差計(jì)算函數(shù);m=2.經(jīng)過(guò)對(duì)數(shù)變換，將其轉(zhuǎn)換為正態(tài)分布.

3.3 特征分類(lèi)

支持向量機(jī)(SVM)是在VC 維和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的基礎(chǔ)上建立的，并能根據(jù)有限樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中［14］.SVM 具有優(yōu)良的范化能力，特別適用于解決小樣本、非線性和高維度模型等問(wèn)題.對(duì)于n 個(gè)非線性可分的訓(xùn)練樣本xi(i=1，2，…，n)，分類(lèi)關(guān)鍵是尋找一個(gè)滿足Mercer 條件的核函數(shù).樣本向量可被核函數(shù)映射到一個(gè)高維空間，然后在該空間中尋求最優(yōu)線性分類(lèi)面.常用的核函數(shù)包括線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)和Sigmoid核函數(shù).本實(shí)驗(yàn)選擇的是徑向基核函數(shù)K(xi，xc)，其中，xi為訓(xùn)練樣本;xc為核函數(shù)的中心，其函數(shù)表達(dá)式為

式中，g 為控制函數(shù)作用范圍的寬度參數(shù).計(jì)算SVM 采用的軟件為L(zhǎng)IBSVM 工具箱［15］.為了解決線性不可分的狀態(tài)而引入懲戒因子h，通過(guò)10折交叉驗(yàn)證的網(wǎng)格搜索法尋求g 和h 的最優(yōu)值，兩者的搜尋范圍均為2－10～210.

4 結(jié)果與分析

每個(gè)被試默讀2 個(gè)漢字各75 次，每次的有效數(shù)據(jù)時(shí)長(zhǎng)為8 s.首先，將這些數(shù)據(jù)用共平均參考濾波(每個(gè)電極的原始信號(hào)分別減去所有電極原始信號(hào)的均值);然后，通過(guò)時(shí)頻分析確定數(shù)據(jù)所適合的頻帶范圍.根據(jù)該頻帶范圍計(jì)算每個(gè)電極事件相關(guān)(去)同步的能量波動(dòng)百分?jǐn)?shù)，并對(duì)單次實(shí)驗(yàn)數(shù)據(jù)提取特征值和分類(lèi).

被試S2 和S6 的能量波動(dòng)百分?jǐn)?shù)見(jiàn)圖4.

圖4中的時(shí)間軸對(duì)應(yīng)于圖1，根據(jù)時(shí)頻分析得到2 位被試能量波動(dòng)百分?jǐn)?shù)所用的濾波范圍分別為8 ～16 和9 ～24 Hz.被試S2 默讀2 個(gè)漢字時(shí)，能量相對(duì)于空閑狀態(tài)迅速增加，電極P5 具有ERS 特征，能量波動(dòng)的最大百分?jǐn)?shù)能達(dá)到700%.被試S6默讀漢字時(shí)電極P5 具有ERD 特征，能量波動(dòng)的最大百分?jǐn)?shù)絕對(duì)值小于80%.ERS 在提示出現(xiàn)1 s后才趨于穩(wěn)定，而ERD 達(dá)到穩(wěn)定狀態(tài)的速度更快.因此，BCI 系統(tǒng)能更快地檢測(cè)到ERD，有利于提高信息傳輸速率.但是ERS 的波動(dòng)幅度大于ERD，表明其抗噪聲干擾的能力更強(qiáng).2 個(gè)不同漢字被默讀時(shí)的能量變化趨勢(shì)是一致的，說(shuō)明通過(guò)EEG 信號(hào)的α 波和β 波區(qū)分默讀2 個(gè)漢字時(shí)的思維活動(dòng)比較困難.通過(guò)時(shí)頻分析可確定8 位被試的優(yōu)化頻率Fo范圍，結(jié)果見(jiàn)表1.

圖4 被試S2 和S6 的能量波動(dòng)百分?jǐn)?shù)

表1 8 位被試的優(yōu)化頻率范圍 Hz

8 位被試的優(yōu)化頻率范圍各不相同，其中4 位被試的ERD/ERS 主要出現(xiàn)在α 波，其他3 位被試則是在α 波和β 波.被試S3 在默讀漢字時(shí)腦電信號(hào)的能量無(wú)明顯變化，因此優(yōu)化頻率范圍設(shè)為4 ～35 Hz.這些被試電極所出現(xiàn)的ERD/ERS 也不盡相同，位于被試S1 大腦中央和頂部的電極具有ERS特征，而被試S2 只有頂部電極具有ERS 特征.被試S4 和S7 額部電極具有ERD 特征而頂部電極具有ERS 特征.被試S5 和S8 的額部、中央和頂部電極均具有ERS 特征，但是被試S6 的這些部位電極則具有ERD 特征.由此可知，ERD/ERS 不僅在被試間存在差異，而且同一個(gè)被試的不同電極上也出現(xiàn)不同的ERD/ERS.此外，所確定的ERD 或ERS 并不是絕對(duì)的，而是總體趨勢(shì).例如，被試S4 默讀漢字時(shí)，電極P3 在出現(xiàn)短暫的ERD 后呈現(xiàn)較長(zhǎng)時(shí)間的ERS，因此最終判斷該電極具有ERS 特征.分析所有ERD/ERS 能量波動(dòng)最大百分?jǐn)?shù)的結(jié)果發(fā)現(xiàn)，ERS 的絕對(duì)值普遍大于ERD 的絕對(duì)值.

雖然文獻(xiàn)［8］表明默讀2 個(gè)漢字時(shí)的腦電信號(hào)難以被區(qū)分開(kāi)，但是可分辨出被試在默讀漢字時(shí)和空閑時(shí)這2 個(gè)狀態(tài)間的腦電信號(hào).因此，本文在計(jì)算分類(lèi)正確率時(shí)，未給出2 個(gè)漢字間的結(jié)果，僅比較2 個(gè)漢字分別對(duì)應(yīng)各自空閑狀態(tài)的正確率.為了探討頻率范圍優(yōu)化后分類(lèi)正確率是否得到改進(jìn)，選擇固定頻率F 范圍(4 ～35 Hz)與表1中的優(yōu)化頻率Fo范圍進(jìn)行比較，兩者所用的濾波器均為6 階巴特沃茲帶通濾波器.此外，被試們默讀漢字1 s 后EEG信號(hào)能量才逐步穩(wěn)定，故默讀漢字的EEG 信號(hào)選擇為圖1中想像期第5 ～第7 s 的數(shù)據(jù).選擇時(shí)間長(zhǎng)度同樣為2 s 的空閑期數(shù)據(jù)與其進(jìn)行對(duì)比，將想像期和空閑期的數(shù)據(jù)分別組成2 類(lèi)信號(hào)，然后用10 ×10 交叉驗(yàn)證方法分別訓(xùn)練和檢驗(yàn)空間濾波器和分類(lèi)器，結(jié)果見(jiàn)表2.由表可知，優(yōu)化頻率范圍后2 個(gè)漢字的分類(lèi)準(zhǔn)確率分別提高2.25%和1.39%.尤其對(duì)于被試S1，其默讀“壹”的正確率提高7.27%.因此，利用時(shí)頻分析所優(yōu)化的頻率范圍能改善大部分被試的分類(lèi)結(jié)果.被試S3 的ERSP 圖沒(méi)有發(fā)現(xiàn)明顯的能量變化，故其F 和Fo設(shè)為相同值.被試S3 在默讀漢字時(shí)的EEG 信號(hào)與空閑期相比區(qū)分度不大.除被試S3 外，其他被試在默讀漢字時(shí)，EEG 信號(hào)的能量明顯變化，該特性可用于控制BCI 系統(tǒng).

表2 語(yǔ)言想像實(shí)驗(yàn)范式的分類(lèi)正確率 %

5 結(jié)語(yǔ)

時(shí)頻分析能直觀顯示信號(hào)各頻率內(nèi)能量隨時(shí)間的變化情況.本文選擇將ERSP 作為時(shí)頻分析的算法，該算法能突出思維活動(dòng)時(shí)EEG 信號(hào)的能量相對(duì)空閑時(shí)的波動(dòng)狀態(tài)，尤為適合于語(yǔ)言想像和運(yùn)動(dòng)想像這類(lèi)能量鎖時(shí)的實(shí)驗(yàn)范式.在確定合適的濾波范圍后，能更合理地判斷EEG 信號(hào)的ERD/ERS 特征，并能減少噪聲對(duì)CSP 空間濾波器的影響，因此大部分被試的分類(lèi)正確率在優(yōu)化濾波頻率范圍后得到提高.

采集信號(hào)的電極是廣泛分布于大腦各塊皮層的，故信號(hào)的空間特性也特別重要.下一步工作是將時(shí)間、頻率和空間這3 個(gè)特征相結(jié)合以分析語(yǔ)言想像的EEG 信號(hào).

References)

［1］ Yuan H，He B.Brain-computer interfaces using sensorimotor rhythms:current state and future perspectives［J］.IEEE Transactions on Biomedical Engineering，2014，61(5):1425-1435.

［2］ McFarland D J，Krusienski D J，Sarnacki W A，et al.Emulation of computer mouse control with a noninvasive brain-computer interface［J］.Journal of Neural Engineering，2008，5(2):101-110.

［3］ Hwang H J，Kim S，Choi S，et al.EEG-based braincomputer interfaces:a thorough literature survey ［J］.International Journal of Human-Computer Interaction，2013，29(12):814-826.

［4］ Friedrich E V C，Scherer R，Neuper C.Stability of event-related (de-)synchronization during brain-computer interface-relevant mental tasks［J］.Clinical Neurophysiology，2013，124(1):61-69.

［5］ Pfurtscheller G，Lopes da Silva F H.Event-related EEG/MEG synchronization and desynchronization:basic principles［J］.Clinical Neurophysiology，1999，110(11):1842-1857.

［6］ Gouy-Pailler C，Congedo M，Brunner C，et al.Nonstationary brain source separation for multiclass motor imagery［J］.IEEE Transactions on Biomedical Engineering，2010，57(2):469-478.

［7］ DaSalla C S，Kambara H，Sato M，et al.Single-trial classification of vowel speech imagery using common spatial patterns［J］.Neural Networks，2009，22(9):1334-1339.

［8］ Wang L，Zhang X，Zhong X，et al.Analysis and classification of speech imagery EEG for BCI［J］.Biomedical Signal Processing and Control，2013，8(6):901-908.

［9］ Harpaz Y，Lavidor M，Goldstein A.Right semantic modulation of early MEG components during ambiguity resolution［J］.NeuroImage，2013，82:107-114.

［10］ Wacker M，Witte H.Time-frequency techniques in biomedical signal analysis［J］.Methods of Information in Medicine，2013，52(4):279-296.

［11］ Makeig S.Auditory event-related dynamics of the EEG spectrum and effects of exposure to tones［J］.Electroencephalography and Clinical Neurophysiology，1993，86(4):283-293.

［12］ Delorme A，Makeig S.EEGLAB:an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis［J］.Journal of Neuroscience Methods，2004，134(1):9-21.

［13］ Ramoser H，Muller-Gerking J，Pfurtscheller G.Optimal spatial filtering of single trial EEG during imagined hand movement［J］.IEEE Transactions on Rehabilitation Engineering，2000，8(4):441-446.

［14］ López Chau A，Li X，Yu W.Convex and concave hulls for classification with support vector machine［J］.Neurocomputing，2013，122:198-209.

［15］ Chang C C，Lin C J.LIBSVM—a library for support vector machines［EB/OL］.(2014-04-01)［2014-04-08］.http://www.csie.ntu.edu.tw/ ～cjlin/libsvm.