任泓錦， 張 超， 伏云發(fā)

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明650500）

前言

直接腦機(jī)接口/腦機(jī)交互（Brain-computer/machine interaction，BCI/BMI）的概念由維達(dá)爾于1973年首次引入［1-2］，其中基于穩(wěn)態(tài)視覺誘發(fā)電位（Steady state visual evoked potentials，SSVEP）的BCI系統(tǒng)是根據(jù)人的大腦對高于6 Hz［3］（或高于4 Hz［4］）頻率調(diào)制視覺刺激的周期性響應(yīng)，從頭皮記錄與刺激具有相同的基本頻率的接近正弦的振蕩波形得出.現(xiàn)有的SSVEP系統(tǒng)不但可設(shè)置超過40個的目標(biāo)數(shù)［5］，而且對被試的適應(yīng)性訓(xùn)練要求較少［6］.

腦控機(jī)器人（Brain-Controlled-Robot，BCR）作為機(jī)器人控制領(lǐng)域中的一個重要的應(yīng)用［7-11］，非接觸式控制使得部分殘疾人士可以通過意念來對機(jī)器人或機(jī)械臂進(jìn)行直接控制［12］.與基于運(yùn)動想象的腦控機(jī)器人相比，基于SSVEP的BCI系統(tǒng)具有出色的信噪比，具有在對抗人為干擾時的魯棒性、控制指令多和控制精度高等優(yōu)點.

傳統(tǒng)的SSVEP-BCI系統(tǒng)要求被試雙目必須注視刺激目標(biāo)，因為雙眼接受刺激后大腦的左枕葉和右枕葉上的相位活動是同步的.文獻(xiàn)［13-14］關(guān)于被試單側(cè)視野接受光刺激的SSVEP研究也指出，當(dāng)單側(cè)眼睛接收到視覺刺激后會在對側(cè)視覺皮層上產(chǎn)生與該刺激相關(guān)的刺激電位，并通過胼胝體完成左右枕區(qū)的相位活動同步.同時，Wu［15］通過比較單眼刺激和同時雙眼刺激下的SSVEP功率和分布，證明了不同SSVEP神經(jīng)網(wǎng)絡(luò)的分布是相似的，它們之間應(yīng)該存在物理重疊.由此可見，不論單眼或是雙眼注視刺激目標(biāo)最終在腦內(nèi)的神經(jīng)處理是相似的，因而關(guān)于單眼的SSVEP研究甚少.

本研究選取若干名近視且視力具有一定偏差的被試，讓他們在佩戴近視矯正眼鏡的情況下分別完成基于單眼和雙眼的SSVEP直接腦控機(jī)器人的協(xié)作任務(wù)，并依照實驗結(jié)果對近視患者兩眼視力的差異程度對SSVEP控制準(zhǔn)確率的影響進(jìn)行分析.

1 腦控多機(jī)器人協(xié)作任務(wù)平臺設(shè)計

直接腦控多機(jī)器人協(xié)作任務(wù)控制系統(tǒng)是大腦、機(jī)器人/機(jī)械臂和計算機(jī)之間共同構(gòu)成的一個閉環(huán)控制系統(tǒng)［16］.本研究搭建的實際系統(tǒng)如圖1（a）和（b）所示，機(jī)器人/機(jī)械臂與計算機(jī)通過藍(lán)牙連接，無線腦電采集帽通過TCP/IP協(xié)議與計算機(jī)相連，根據(jù)腦電信號計算出的控制指令通過UDP協(xié)議發(fā)送到藍(lán)牙發(fā)射器，藍(lán)牙傳遞給機(jī)器人/機(jī)械臂.機(jī)器人/機(jī)械臂的操作結(jié)果通過安置在適當(dāng)位置的無線攝像頭傳回給被試，被試可根據(jù)攝像頭傳回的反饋信息對機(jī)器人/機(jī)械臂下一步的動作進(jìn)行調(diào)整.

圖1 直接腦控機(jī)器人系統(tǒng)設(shè)計圖Fig.1 The figure of direct brain control robot system design

腦控人形機(jī)器人和機(jī)械臂在本研究中共計使用20個不同的指令，如表1所示.其中，人形機(jī)器人9個指令，包含了前進(jìn)后退、左轉(zhuǎn)右轉(zhuǎn)和左移右移6個基礎(chǔ)移動指令，蹲下、起立和彎腰3個動作指令；機(jī)械臂11個指令，包含了8個舵機(jī)指令、1個復(fù)位指令和2個夾持器指令.

表1 人形機(jī)器人/機(jī)械臂指令Tab.1 Humanoid robot/arm command

2 單/雙眼的SSVEP實驗設(shè)計和方法

2.1 實驗被試、腦電設(shè)備及參數(shù)設(shè)置Allison等［17］以及Christoph等［18］的研究表明，盡管基于SSVEP的BCI系統(tǒng)的適應(yīng)性很高，且經(jīng)過少量訓(xùn)練后大部分被試都能滿足實驗需求，但是仍有部分被試由于自身原因?qū)е耂SVEP控制的準(zhǔn)確率較低.因此，為了滿足實驗要求，并減少額外因素的干擾，本次研究選擇了20名被試，對他們進(jìn)行了預(yù)實驗.使用圖2（a）所示的實驗刺激范式，讓被試雙眼注視該刺激范式，每個數(shù)字看3次，刺激閃爍時間為2 s，中間休息4 s.依照所有人的測試結(jié)果，從中選取了8名實驗效果較好且具有代表性的被試（目標(biāo)，S1-S8），其中5名被試為男性，3名被試為女性，年齡在22～26歲之間，健康狀況良好，均無SSVEP使用的實驗經(jīng)驗，均有不同程度的近視情況，且7名被試雙眼的度數(shù)有一定的差異，具體度數(shù)如表2所示.所有被試在實驗時均佩戴視力矯正眼鏡，對實驗研究均知情同意.腦電采集設(shè)備為博?？悼萍加邢薰荆∟euracle）的32通道無線腦電采集系統(tǒng)（包括腦電帽、無線路由器以及無線腦電放大器）.用作典型相關(guān)分析（canonical correlation analysis，CCA）的電極為T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz和O2，參考電極為Cz，接地電極為FPz，導(dǎo)聯(lián)位置符合國際10—20標(biāo)準(zhǔn)，采樣頻率為250 Hz，實驗中每個電極的電阻阻抗保持在5 000Ω以下［19］.

表2 被試近視度數(shù)統(tǒng)計表Tab.2 Subjects myopia statistics table

圖2 SSVEP刺激范式方案Fig.2 SSVEP stimulus target paradigm

本次研究采用3×3（圖2（a））和3×4（圖2（b））共2種布局的刺激范式方案，所有刺激范式方案均由Matlab的Psychtoolbox（PTB）工具箱實現(xiàn).每個刺激目標(biāo)對應(yīng)一個特定的刺激頻率，在3×3的刺激范式布局中，白色的目標(biāo)方塊從左至右的閃爍頻率依次為8.0、12.0、8.5、9.0 13.0、9.5、10.0、14.0和10.5 Hz，在3×4的刺激范式中為8.0、12.0、8.5、9.0、13.0、9.5、10.0、14.0、10.5、11.0、15.0和11.5 Hz.

2.2 單/雙眼SSVEP訓(xùn)練實驗在進(jìn)行協(xié)作任務(wù)之前，被試需要進(jìn)行適當(dāng)?shù)挠?xùn)練.目的是讓被試熟悉實驗室的環(huán)境，同時根據(jù)實驗結(jié)果選出每個被試適合進(jìn)行實驗的單眼.首先，被試需注視3×3的SSVEP刺激范式中的白色目標(biāo)方塊（圖2（a）），進(jìn)行6組訓(xùn)練，其中左眼、右眼和雙眼各占兩組，每組10個刺激任務(wù)，每個刺激任務(wù)之間被試的休息時間Tr為4 s，每個刺激任務(wù)的閃爍時間Tf為2 s.要求訓(xùn)練內(nèi)容為：被試需分別用左眼、右眼和雙眼注視該3×3的SSVEP刺激范式目標(biāo)，依照從左至右、從上至下的順序，注視每個刺激目標(biāo)1次，當(dāng)被試觀察完9個刺激目標(biāo)后，需要再觀察第一個刺激目標(biāo)1次，完成一組的訓(xùn)練.在進(jìn)行單眼SSVEP的訓(xùn)練時，另一只不使用的眼睛會被一個黑色不透光的眼罩遮住，以避免實驗結(jié)果受到干擾.在訓(xùn)練結(jié)束后，我們會對所有被試進(jìn)行測試，測試內(nèi)容與訓(xùn)練內(nèi)容相同.

2.3 基于單眼SSVEP腦控多機(jī)器人協(xié)作控制任務(wù)通過2.2所示的訓(xùn)練環(huán)節(jié)后，被試已經(jīng)基本熟悉SSVEP的操作方式和技巧，隨后將表1所示的指令表交給被試，待被試記住以后便可進(jìn)行協(xié)作任務(wù)控制.圖3為進(jìn)行基于單眼SSVEP腦控多機(jī)器人協(xié)作任務(wù)的實際場景布局.圖3（a）為被試實際操作的畫面，其中（1）為SSVEP刺激呈現(xiàn)屏幕，（2）為攝像頭圖像反饋顯示屏幕，（3）為被試座椅，（4）為不透光醫(yī)用屏風(fēng)；圖3（b）為機(jī)械臂/機(jī)器人實驗平臺，其中，（1）為遠(yuǎn)端無線攝像頭，（2）為主試座椅，（3）為運(yùn)行CCA算法并顯示所得結(jié)果和被試已執(zhí)行步數(shù)的計算機(jī)，（4）為機(jī)械臂，（5）為人形機(jī)器人.

圖3 實際實驗場景布局Fig.3 The actual experimental scene layout

被試需要左眼、右眼和雙眼各完成一次協(xié)同任務(wù)控制，考慮到先前實驗中單眼SSVEP準(zhǔn)確率偏低，因此，被試將先用雙眼SSVEP開始機(jī)器人間協(xié)同任務(wù)控制實驗，以便熟悉環(huán)境和任務(wù)要求.協(xié)同控制任務(wù)開始后，被試打開攝像頭圖像反饋顯示屏，并有5 min的時間根據(jù)攝像頭中傳回的畫面判斷機(jī)器人和機(jī)械臂的相對位置，進(jìn)而制定好相應(yīng)的行動方案（為使人形機(jī)器人和機(jī)械臂的協(xié)作任務(wù)更偏向于實際應(yīng)用，在協(xié)作任務(wù)開始前，被試對實際控制對象的位置和控制任務(wù)并不知情）.人形機(jī)器人會隨機(jī)擺放在圖1（b）中a和b的任意一點，另一點則擺放機(jī)械臂.準(zhǔn)備時間結(jié)束后，主試開啟被試的SSVEP刺激顯示屏幕，待被試準(zhǔn)備就緒后啟動3×4的SSVEP刺激范式.

在整個協(xié)同控制任務(wù)中，被試需要操控機(jī)器人走到機(jī)械臂所在的位置，通過機(jī)械臂夾取彩色小方塊放入機(jī)器人背后的籃子中，并原路返回.被試需要在每個刺激任務(wù)休息的4 s時間里根據(jù)攝像頭傳回的畫面，自行判斷下一步應(yīng)該執(zhí)行的指令.主試對機(jī)械臂/機(jī)器人實驗平臺進(jìn)行錄像，當(dāng)機(jī)器人攜帶彩色方塊再次回到啟動地點時，停止錄像并結(jié)束實驗.實驗結(jié)束后，被試需觀看自己的操作錄像，指出操作錯誤的地方，由主試記錄錯誤次數(shù)和錯誤原因.被試訓(xùn)練前后的實驗結(jié)果和協(xié)同控制任務(wù)的準(zhǔn)確率如圖4所示.

圖4 單雙眼實驗準(zhǔn)確率統(tǒng)計圖Fig.4 Monocular and binocular test accuracy charts

2.4 典型相關(guān)分析（CCA） 采用適用于SSVEP解碼的CCA方法，該方法是由Hotelling提出的一種多元數(shù)據(jù)處理方法［20-21］.Lin等［22］首先將CCA應(yīng)用于基于SSVEP的腦-機(jī)交互系統(tǒng)中.

在基于CCA的SSVEP信號分析中，X為多通道EEG信號的集合，Y（f）為參考信號的集合，即

其中，N為統(tǒng)計到的諧波數(shù)量，f為刺激頻率，fs為采樣頻率.矢量WX執(zhí)行濾波器的功能，WY為參考信號的權(quán)重.基頻處的參考信號sin（2πft）和cos（2πft）通過WY中相應(yīng)元素進(jìn)行加權(quán)和線性組合時，會在相同頻率處生成具有非零相位的信號，WY包含了SSVEP的相位信息.

若有n個刺激目標(biāo)，閃爍頻率從小到大的順序為f1，f2，…，fn，可通過（1）式計算得到ρ（f）（f＝f1，f2，…，fn），則目標(biāo)頻率所得fg即是我們所認(rèn)為的目標(biāo)注視頻率.

3 基于SSVEP的腦控多機(jī)器人協(xié)作控制任務(wù)實驗結(jié)果

表3呈現(xiàn)了8名被試在3×3 SSVEP刺激范式測試結(jié)果和人形機(jī)器人與機(jī)械臂協(xié)同控制任務(wù)的結(jié)果.展示了8名被試實際操控步數(shù)、錯誤步數(shù)和正確率，根據(jù)左右眼平均準(zhǔn)確率大小而得出的優(yōu)勢眼、相同測試環(huán)節(jié)中平均準(zhǔn)確率、最小準(zhǔn)確率和最大準(zhǔn)確率.

結(jié)合表3所反映的信息，不難看出，除了S2、S7和S8這3名被試外，其他5名被試在協(xié)同控制任務(wù)中左右眼SSVEP控制的準(zhǔn)確率差值均在4%以下，而S2、S7和S8這3人的準(zhǔn)確率差值則分別為5.31%、17.8%和10.36%，與3人的視力差值成正比.

表3 人形機(jī)器人和機(jī)械臂協(xié)同控制任務(wù)結(jié)果Tab.3 Humanoid robot and arm control mission results

對本研究的實驗結(jié)果進(jìn)行統(tǒng)計，得到圖4，不論在哪個階段，雙眼實驗的準(zhǔn)確率都高于單眼.左右眼分別進(jìn)行單眼實驗的控制準(zhǔn)確率，在訓(xùn)練后的幾次實驗中，均是左眼的準(zhǔn)確率高于右眼的準(zhǔn)確率.而相較于訓(xùn)練前，左右眼的控制準(zhǔn)確率都有明顯的提高，雙眼控制的準(zhǔn)確率隨實驗難度增大有所下降.

4 討論

腦機(jī)交互技術(shù)是一種新型的人機(jī)交互技術(shù)，腦控機(jī)器人技術(shù)是該技術(shù)的主要發(fā)展方向之一，其中基于SSVEP的腦控機(jī)器人技術(shù)是該領(lǐng)域中比較熱門的研究方向.通過將該技術(shù)應(yīng)用于人類實際生活中，使人腦生物智能和人工機(jī)器智能技術(shù)交匯融合，具有重要的科學(xué)意義和實用價值.本文探究雙眼視力差對被試在進(jìn)行長時間單眼SSVEP機(jī)器間協(xié)作控制時的影響，傳統(tǒng)的腦控機(jī)器人主要是完成一些簡單的設(shè)定指令，而很少進(jìn)行單被試、多控制對象協(xié)作任務(wù)的控制.在我們的實驗中，先使用3×3的刺激范式訓(xùn)練被試，使被試進(jìn)一步熟悉SSVEP的控制方法，特別是單眼SSVEP的控制技巧.2次訓(xùn)練結(jié)束之后，詢問了每位被試的感受，并根據(jù)其在第一次訓(xùn)練中的表現(xiàn)，為他們選擇控制效果較好的眼睛.其中，雙眼視力差大于100度的3名被試S2、S7和S8均選擇了自己視力較好的那只眼睛，所有被試的視力情況見表1.實驗結(jié)束后，對這3名被試進(jìn)行單獨的調(diào)查問卷得到的結(jié)果表明，這3名被試均表示使用自己視力較好的眼睛進(jìn)行單眼SSVEP實驗時注意力更容易集中，而使用高度數(shù)的眼睛則更容易出現(xiàn)疲勞.由于沒有找到較多眼部視力差值在100度以上的被試，所以對此結(jié)果持保留意見，但就已有的雙眼視力差大于100度的被試而言，偏向于使用自己視力較好的眼睛.

與之前研究腦-機(jī)器人接口（Brain-Robot-Interface，BRI）系統(tǒng)的論文相比，本文并沒有采用自適應(yīng)分層結(jié)構(gòu)體系讓機(jī)器人可以對執(zhí)行的命令進(jìn)行學(xué)習(xí)［23］，而是采用CCA算法，通過簡易界面刺激實現(xiàn)用單雙眼進(jìn)行SSVEP控制，使機(jī)器人和機(jī)械臂的協(xié)作控制可以取得比較高的準(zhǔn)確率.同時，本文的研究在多機(jī)器人協(xié)作任務(wù)上并沒有達(dá)到較大的規(guī)模化控制，例如文獻(xiàn)［24-25］提出的基于SSVEP的分層結(jié)構(gòu)體系用于控制14個NAO機(jī)器人進(jìn)行協(xié)作運(yùn)動來完成操作任務(wù)，取得了良好的結(jié)果.前述研究中設(shè)計的分層結(jié)構(gòu)體系是一種非常高效的控制方法，是日后研究多機(jī)器人協(xié)作配合的一條可行途徑.

本文進(jìn)行的實驗研究意義在于探究兩眼具有一定視力差異的近視患者對單眼和雙眼SSVEP在實際完成兩臺機(jī)器之間的協(xié)作任務(wù)時是否存在一定的影響.本文單雙眼進(jìn)行機(jī)器人控制的平均命令數(shù)為86.67，平均時長為701 s，均大于文獻(xiàn)［24-25］所得到的單次刺激任務(wù)的最大平均命令數(shù)（51.8±2.3）和最大平均時長（271.2±14.3）s.單眼和雙眼的平均準(zhǔn)確率在最終的實驗中分別達(dá)到了82.74%和86.85，接近于上述研究中所得出的88%準(zhǔn)確率的結(jié)果.雖然我們所設(shè)計的實驗并沒有達(dá)到文獻(xiàn)［24-25］研究的那種復(fù)雜性，但就實驗的正確率而言，還是達(dá)到了一個較滿意的水平.通過表3的數(shù)據(jù)不難看出，雙眼視力差大于100度的3名被試S2、S7和S8的單眼測試結(jié)果準(zhǔn)確率高的均為視力較好的眼睛.但他們的雙眼實驗的結(jié)果，除了S7在協(xié)作任務(wù)中表現(xiàn)稍差外，其余均與他人無異.因此，參照Goto等［14］關(guān)于被試單側(cè)視野接受光刺激的SSVEP研究可以推測，進(jìn)行雙眼SSVEP實驗，兩只眼睛可以起到一定的互補(bǔ)作用，而在進(jìn)行單眼SSVEP實驗時，即使佩戴視力矯正眼鏡，被試在用視力較差的眼睛進(jìn)行觀測時也容易出現(xiàn)注意力不集中和視覺疲勞等問題，致使實驗結(jié)果存在一定的差異.因此，在日后進(jìn)行單眼SSVEP的可穿戴設(shè)備開發(fā)的時候，建議參照穿戴者雙眼的視力進(jìn)行一定的調(diào)整.

5 結(jié)論

SSVEP的腦機(jī)交互范式測試了單眼SSVEP進(jìn)行不同機(jī)器協(xié)作控制任務(wù)時雙眼的視力差對實驗結(jié)果造成的影響，單眼的SSVEP在機(jī)器人協(xié)作控制中保持了較高的準(zhǔn)確率.在機(jī)器人和機(jī)械臂協(xié)作控制任務(wù)中，通過典型相關(guān)分析（CCA）完成在線SSVEP系統(tǒng)，經(jīng)過訓(xùn)練的8名被試均完成了最后的控制任務(wù)，并取得了不錯的結(jié)果.結(jié)果表明，雙眼視力差值的大小會對單眼SSVEP的使用造成一定程度上的影響，對于其影響機(jī)制以及具體原因仍需大量的被試進(jìn)行研究，期待后續(xù)能有更完善的結(jié)論.目前單一的控制方式往往具有局限性，基于SSVEP的腦控機(jī)器人可以和P300、MI運(yùn)動想象等控制方式相結(jié)合，通過混合控制提升分類準(zhǔn)確性，并降低操作的復(fù)雜性［26-28］.同時也探究了SSVEP控制可能的改進(jìn)方式，期望能為日后的腦控機(jī)器人的研究和應(yīng)用打下一定的基礎(chǔ).

致謝 昆明理工大學(xué)腦信息處理與腦機(jī)交互融合控制（學(xué)科方向團(tuán)隊建設(shè)經(jīng)費(fèi)）項目對本文給予了資助，謹(jǐn)致謝意！