徐鑫，方慧娟

（華僑大學 信息科學與工程學院，福建 廈門361021）

腦－機接口（brain－computer interface，BCI）是一種新的人－機交互方式，其特點在于直接通過人腦來控制外界設備或字符輸入，而不用借助外周肌肉.考慮到一個思維正常但有運動障礙的人（如肌萎縮性側索硬化、嚴重脊髓損傷或完全癱瘓患者）沒有辦法和外界進行交流溝通.越來越多的研究者開發(fā)基于腦電圖（eletroencepalograph，EEG）的交互系統(tǒng)，以輔助以上人群［1－2］.基于P300信號特征的腦－機接口系統(tǒng)具有目標多，個體差異較少的優(yōu)點.目前在P300領域內，具有在線打字功能的P300－BCI大多針對英文字母和數字，常見的誘發(fā)界面與Donchin 等［3］最早研制的字母矩陣相似，也有一些研究采用不同的字母排列及閃爍方式.但國內能熟練使用英語人群的比例不高，很多患者還不能夠自由運用英語表達自己的思想，因此，很多學者開始研究繁體中文范式的BCI系統(tǒng)和中文筆畫范式的BCI系統(tǒng).香港大學的中文系語言工程實驗室利用基于P300的繁體中文輸入字符系統(tǒng)，最后得到了每分鐘1.1個中文字的輸入的效果［4］.浙江大學的吳邊設計了基于筆畫的漢字輸入BCI系統(tǒng)，其實驗的正確率分布在0.38～0.84之間，理論信息傳輸比特率為14.0bit·min－1，實際有效比特率為1.23～8.80bit·min－1，基本可以實現漢字的輸入［5］.但對于用戶來說，輸入速度較慢，而且現在絕大多數中國人還是習慣使用拼音來打字，只有極少部分人使用筆畫輸入法打字，因此，設計一個快捷方便的拼音輸入系統(tǒng)的任務變得更加迫切.本文首次設計并實現了基于P300的簡體中文拼音輸入BCI系統(tǒng)，解決了不懂英語和不習慣筆畫輸入的受試者的困擾.

1 試驗方法

1.1 受試者

4名志愿者平均年齡是23.4歲，視力正?；虺C正到正常，右利手.其中兩名為本科生，兩名為碩士研究生.被試者在實驗開始之前已明確自己的任務，保持頭皮干凈、情緒穩(wěn)定、身體狀況良好.

1.2 信號采集

系統(tǒng)信號采集存儲等處理模塊采用自建的微軟基礎類（microsoft foundation classes，MFC）平臺，實現19導（FP1，FP2，F3，F4，C3，C4，P3，P4，O1，O2，F7，F8，T7，T8，P7，P8，Fz，Cz，Pz）EEG（electroencephalogram）的同步采集.腦電信號被銀－氯化銀電極制作的電極帽采集，然后經過UEA－24BZ型數字放大器（北京市中科新拓儀器有限公司）放大，其中采樣頻率定為100Hz.采用單極導聯，參考電極取于耳垂.實驗期間受試者安靜地坐在一張椅子上，放松身體，集中注意力，盡可能減少眨眼及肢體運動.

1.3 用戶界面

實驗分為訓練過程和測試過程.訓練期的用戶界面，如圖1所示.界面可分為兩個部分：3×4的字母矩陣、目標字符.測試期的用戶界面，如圖2所示.界面可分為4個區(qū)：一級選擇的字母刺激區(qū)（Ⅰ）、二級選擇的候選漢字刺激區(qū)（Ⅱ）、目標拼音區(qū)（Ⅲ）、目標漢字區(qū)（Ⅳ）.一級選擇的字母刺激區(qū)按3×4矩陣排列，由26個英文字母、兩個標點符號（“，”、“.”）和兩個功能鍵（“Enter”——一級選擇完畢確認，“×”——刪除）組成；二級選擇的漢字刺激區(qū)里包含了一級選擇的字母對應最常見的11個漢字和一個候選字換頁功能鍵（“Λ”——將候選字區(qū)換成下一頁的候選字）；目標拼音區(qū)包含了一級選擇得到的目標拼音；目標漢字區(qū)含有二級選擇得到的漢字（圖1）.系統(tǒng)處在二級選擇期，此時一級選擇的刺激區(qū)不會消失，處于靜止狀態(tài)，在一定程度上可以使界面更加直觀明朗，使用更加方便.

圖1 訓練期的用戶界面Fig.1 User interface in the training period

圖2 測試期的用戶界面Fig.2 User interface in test period

1.4 實驗過程

整個實驗進行6d，前3d是訓練期，后3d是測試期，實驗過程如圖3所示.訓練期，訓練開始后，3s的準備時間.屏幕左上方給出目標字母.然后字母矩陣開始單個單元隨機閃爍，每個單元都重復了10次后進入下一個字母的訓練，直到訓練字符數達到設定值退出，受試者每天訓練30個字母.

測試期，實驗開始有3s的準備時間.界面上的12個按鍵隨機閃爍一次稱為一個Run，12個按鍵都閃爍完一次稱為一個Tri，n次Tri后，調用數據處理模塊后的結果，查看是否為“Enter”功能按鈕，這一個過程稱為Epoch.如果不是“Enter”功能按鈕，顯示出與這個結果相關聯的候選字，繼續(xù)下一個字母的選擇；如果是“Enter”功能按鈕則進入二級選擇狀態(tài)，得到的候選字群隨機閃爍，n次Tri后，調用數據處理模塊的結果，并將結果顯示在用戶界面左下角.

一個中文字被成功選擇之后，返回進入到了下一個中文字環(huán)節(jié)，直到達到了事先設定好的字數，則退出系統(tǒng).一個中文字的整個過程，如圖4所示.

圖3 中文輸入系統(tǒng)的實驗流程圖Fig.3 Experimental diagram using Chinese input system

圖4 測試階段整體流程Fig.4 Whole process in the testing phase

測試階段的打字數設定為7個，且為“華僑大學歡迎你”，當字數達到設定值時，系統(tǒng)自動退出.單個字符閃爍刺激的正確率高于以行列閃爍［6］，系統(tǒng)采用單字符閃爍刺激.參考刺激間隔時間對系統(tǒng)性能的影響［7－9］，實驗字符閃爍亮暗時間（ms）設置為［75 100］，［75 200］，［100 100］，［100 200］4組.

2 數據處理部分

實驗的BCI系統(tǒng)的結構，如圖5所示.圖5中包括信號的采集和數據處理部分（預處理、特征提取和分類）.

2.1 數據的預處理

第一步，選擇一個0～700 ms的EEG 信號作為分類識別所需的特征；第二步，數據的濾波，將上一步提取出來的數據經過4階切比雪夫低通濾波器進行濾波，保留頻率為1～15 Hz的有效部分；第三步，數據的降采樣，對數據進行重采樣，按照處理算法的需要，以一定的數據結構格式對數據進行保存.

圖5 BCI系統(tǒng)的結構圖Fig.5 Structure diagram of a BCI

2.2 特征提取

特征處理是從預處理后的數據中提取出能夠最大體現用戶意圖的信號特征，疊加平均法是最經典的提取P300電位方法.拼音選擇階段的一個Epoch區(qū)間段中，將n次不同Tri中的同一個按鍵閃爍定義為一類，即有12類，其中每一類有n個Run數據段.疊加平均后，一個Epoch包含12個數據段.疊加方式為

式（1）中：Epochi，j為第i個Epoch的第j類平均數據段；Epochi，k，j為第i個Epoch中的第k個Tri中第j類數據段.疊加平均可以有效地提高信號中的刺激時刻后300 ms左右的P300特征成分的信噪比（signal to noise ratio，SNR）.漢字選擇階段信號特征的提取方法類似于拼音選擇階段.

2.3 分類算法

支持向量機（SVM）在二元分類中表現出很好的分類效果，廣泛地應用于基于P300的BCI系統(tǒng)的分類.

2.4 自然語言處理

自然語言處理就是利用計算機，對人類特有的書面形式和口頭形式的語言進行各種類型處理和加工的技術.自然語言處理要研制表示語言能力和語言應用的模型，根據這樣的語言模型設計各種實用系統(tǒng)［10］.一個語言模型通常構建一個字符串s的概率分布p（s），反映的是一個字符串s作為一個整體出現的概率.假設

其概率計算公式可以表示為

系統(tǒng)采用二元語法模型（k＝2），利用該語言模型，找出在線實驗中輸入目標漢字后續(xù)概率大的幾個漢字，并顯示在候選區(qū)中.這樣與前面目標字吻合的漢字就更可能被選中，可以提高系統(tǒng)的通信速度和正確率.

3 結果分析

在訓練期內每個受試者都完成3組實驗，每個受試者都有90字目標字符，包含了900次的Run，刺激后0.7s的數據疊加平均后的波形，如圖6所示.由圖6可知：受試者在Cz通道的P300波形明顯，波峰大約出現在刺激后的300ms處，整個波峰的時間區(qū)大約分布在200～480ms，目標刺激的幅度值也明顯高出非目標刺激的幅度值，符合文獻［11－12］中P300特征.實驗的范式可以誘發(fā)出P300.圖6中：箭頭為300ms時Cz電極的位置.參考文獻［13－15］，最終選擇下列通道：Cz，Fz，Pz，P3，P4，O1和O2，用于測試過程的分類.

圖6 刺激之后的0.7s的目標和非目標波形以及P300成分電壓空間分布Fig.6 0.7swaveform of target and no target after stimuli and voltage spatial distribution of P300

對以上得到的數據進行10次8折交叉驗證，發(fā)現對于同一組的刺激間隔，系統(tǒng)的正確率隨著字符重復閃速的次數的增加而增加，如圖7所示.由圖7可知：字符重復閃爍次數在7～10之間，系統(tǒng)的正確率基本達到穩(wěn)定，n取8；4個受試者在刺激亮暗時間為［75 100］這組效果最好，刺激亮暗時間定為［75 100］；存儲離線分析系統(tǒng)最高正確率對應的訓練模型參數W，用于后面的測試階段的實驗.

圖7 字符重復閃爍次數和刺激間隔對系統(tǒng)的正確率的影響Fig.7 Effect of the character repeat scintillation frequency and stimulus interval on the accuracy of the system

在線測試階段里，A 組分別統(tǒng)計出三天內4位受試者通過該系統(tǒng)輸出目標中文字所花的時間，每分鐘打字個數的結果，如表1所示.表1中：“A 組”表示沒有使用自然語言處理技術；“B組”表示使用自然語言處理技術；“平均＾”表示將3d相應系統(tǒng)速度進行平均；“平均值”表示將4位受試者對應的系統(tǒng)速度進行平均.由表1可知：最好的結果是B組的受試者1在第3d達到了1.37 字·min－1，比A 組每分鐘多打0.35個字，比香港大學的系統(tǒng)每分鐘多打0.27個字.

表1 系統(tǒng)每分鐘打字個數Tab.1 Typing number of the system in a minute 字·min－1

4 討論

4.1 系統(tǒng)準確率

刺激間隔對系統(tǒng)的正確率影響非常明顯（圖7），受試者4表現得尤為明顯，間隔時間為［75 100］的一組高出［100 200］一組的20%.這表明字符閃爍重復次數和刺激間隔都能夠影響系統(tǒng)的性能，在以后的研究中要注意能夠影響系統(tǒng)性能的其他因素.

4.2 性能

在重復次數和刺激間隔相同的情況下，每位受試者使用相同的系統(tǒng)，卻表現出不同系統(tǒng)性能.隨著實驗天數的增加，受試者的打字速度（v）越來越快，如圖8所示.從某一角度來說，該系統(tǒng)類似于一種日常生活中的技能，而且該技能是可以訓練的，效果會越來越好.

4.3 二級模式

由于沒有與其他二級模式比較，所以提出的二級模式的優(yōu)點沒有表現出來.接下來工作可以通過其他研究者的二級模式的范式進行比較，研究他們的優(yōu)缺點.

4.4 自然語言處理

由圖8可知：受試者1在B 組的打字速度高出A 組0.35 字·min－1，因此，自然語言處理技術可以提高系統(tǒng)的速度.挖掘語言本身的特點和設計簡單方便的界面將會是設計在線腦電輸入系統(tǒng)的基礎.

圖8 4位受試者3d的打字速度Fig.8 Typing speed of the four subjects in three days

4.5 中文輸入系統(tǒng)的下一步優(yōu)化

中文拼音輸入系統(tǒng)是為身體嚴重癱瘓患者設計的，實驗的受試者都是健康正常人群，所以接下來的工作就是將該系統(tǒng)用于醫(yī)院真正的病人身上.該系統(tǒng)是同步系統(tǒng)，系統(tǒng)最好升級到異步系統(tǒng)，并且尋找更方便的用戶界面和更好的分類方法提高系統(tǒng)的正確率和通信速度.

5 結束語

提出了一種新的二級模式的實驗范式，操作步驟類似于手機輸入漢字，用戶更加熟悉.參與實驗的4名受試者都可以通過在線系統(tǒng)進行拼音選擇和漢字的選擇，基本達到了預期通過拼音打字的目標，使用自然語言處理的二元模型也明顯地提高了系統(tǒng)的打字速度和輸入效率.

［1］LIU Yi－h(huán)uan，AYAZ H，Onaral B，et al.EEG band powers for characterizing user engagement in P300－BCI［C］∥6th International IEEE／EMBS Conference on Neural Engineering（NER）.San Diego：IEEE Press，2013：1066－1069.

［2］DIMITRIADIS S I，SUN Y，LASKARIS N A，et al.Effective connectivity patterns associated with P300unmask differences in the level of attention／cognition between normal and disabled subjects［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1710－1713.

［3］SERBY H，YOM－TPV E，INBAR G F.An improved P300－based brain－computer interface［J］.Neural Systems and Rehabilitation Engineering，2005，13（1）：89－98.

［4］MINETT J W，PENG Gang，ZHOU Lin，et al.An assistive communication brain－computer interface for chinese text input［C］∥4th International Conference on IEEE Bioinformatics and Biomedical Engineering.Chengdu：IEEE Press，2010：1－4.

［5］LI Yi，ZHANG Jian－h(huán)ui，SU Yu，et al.P300based BCI messenger［C］∥International Conference on CME ICME.Gold Coast：IEEE Press，2009：1－5.

［6］SELLERS E W，KRUSIENSKI D J，MCFARLAND D J，et al.A P300event－related potential brain－computer interface（BCI）：The effects of matrix size and inter stimulus interval on performance［J］.Biological Psychology，2006，73（3）：242－252.

［7］POURATIAN N，SPEIER W，HU Xiao，et al.The effects of stimulus timing features on P300speller performance［J］.Clinical Neurophysiology，2013，124（2）：306－314.

［8］POLICH J.Updating P300：An integrative theory of P3aand P3b［J］.Clinical Neurophysiology，2007，118（10）：2128－2148.

［9］DUNCAN C C，BARRY R J，CONNOLLY J F，et al.Event－related potentials in clinical research：Guidelines for eliciting，recording，and quantifying mismatch negativity，P300，and N400［J］.Clinical Neurophysiology，2009，120（11）：1883－1908.

［10］馮志偉.自然語言的計算機處理［M］.上海：上海外語教育出版社，1996：26－27.

［11］WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al.Brain－computer interfaces for communication and control［J］.Clinical Neurophysiology，2002，113（6）：767－791.

［12］BIRBAUMER N.Breaking the silence：Brain－computer interfaces（BCI）for communication and motor control［J］.Psychophysiology，2006，43（6）：517－532.

［13］RAKOTOMAMONJY A，GUIGUE V，MALLET G，et al.Ensemble of SVMs for improving brain computer interface P300speller performances［M］.Warsaw：Springer Berlin Heidelberg，2005：45－50.

［14］SALVARIS M，SEPULVEDA F.Visual modifications on the P300speller BCI paradigm［J］.Journal of Neural Engineering，2009，6（4）：046011.

［15］CORRALEJO R，NICOLáS－ALONSO L F，áLVAREZ D，et al.Assessment of an assistive P300－based brain computer interface by users with severe disabilities［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1647－1650.