張毅，尹春林，蔡軍

(重慶郵電大學 信息無障礙工程研發(fā)中心，重慶 400065)

?

混合腦電信號及視覺信息的智能輪椅人機交互系統(tǒng)

張毅，尹春林，蔡軍

(重慶郵電大學 信息無障礙工程研發(fā)中心，重慶 400065)

針對單一腦電信號人機交互系統(tǒng)中受試者長時間運動想象過程中精神極易產(chǎn)生疲乏，導致腦電信號有用信息量不足造成系統(tǒng)誤識別的問題，本文提出一種視覺信息輔助腦電信號的人機交互系統(tǒng)。該系統(tǒng)通過在腦電信號實時操作中不斷地識別眼睛狀態(tài)，產(chǎn)生一種新的樣本更新策略，更新的視覺信息作為系統(tǒng)的反饋，對人機交互閉環(huán)控制系統(tǒng)起到有效的校正作用。通過在智能輪椅平臺走一個“8”字形固定軌跡的實驗，實驗結(jié)果表明：視覺信息的加入有效地避免了單一腦電信號控制智能輪椅由于疲乏問題造成的誤識別問題，具有較好的穩(wěn)定性和魯棒性，表明了該人機交互方法的可行性。

EEG；視覺信息；樣本更新；人機交互

腦機接口(brain computer interface，BCI)是不依賴于大腦外周神經(jīng)與肌肉系統(tǒng)，在人腦和計算機或外部設(shè)備之間建立起來的一種通信系統(tǒng)[1]。它能夠為那些失去對所有身體機能控制但思維意識正常的殘障人士提供一種新型的對外信息交流手段，提高他們的自主活動能力，并在殘疾人康復和正常人輔助控制領(lǐng)域有著廣泛的應用前景[2-5]。雖然腦電信號控制智能輪椅的種類在增多，識別率在不斷地提高，但都是單一腦電人機交互系統(tǒng)，由于腦電信號(electro encephalo gram， EEG)的非平穩(wěn)性和非線性等問題，且受試者運動想象過程中精神需要長期處于高度集中狀態(tài)，極易疲乏，則容易造成系統(tǒng)的誤識別，降低系統(tǒng)的穩(wěn)定性。在混合控制方面，國內(nèi)的研究的較少。早在2011年，英國Essex大學的Huosheng Hu就指出未來的人機交互應是多模態(tài)融合，通過被賦予的多功能選擇行為提高其魯棒性和可靠性[8]。

針對上述研究，本文提出了一種新型的視覺信息輔助腦電信號的人機交互系統(tǒng)。該系統(tǒng)通過對腦電信號進行特征提取、特征分類的同時不斷地檢測眼睛狀態(tài)，把更新的視覺信息作為系統(tǒng)的有效輸入，不斷調(diào)節(jié)模型參數(shù)使得整個人機交互系統(tǒng)隨著視覺信息的變化做相應的調(diào)整。視覺信息與腦波信號的結(jié)合，有效降低了使用者針對傳統(tǒng)單一腦電信號由于疲乏等問題造成的誤識別，使得系統(tǒng)不受時間、使用者狀態(tài)的影響而可以簡單、自然地進行人機交互。

1 系統(tǒng)架構(gòu)及疲勞狀態(tài)下腦電信號的特征

1.1 系統(tǒng)架構(gòu)

本系統(tǒng)主要包括對信號的預處理、特征提取、特征分類以及通過無線通信系統(tǒng)對智能輪椅的控制幾個部分。腦電信號采集和預處理部分都是通過Emotiv SDK Headset腦波儀和其中的信號處理軟件完成的。所用的Emotiv腦波儀如圖1(a)所示，電極安放位置如圖1 (b)所示，其采樣頻率為128 Hz。

(a)Emotiv腦電采集儀

(b) Emotiv電極安放位置

圖2為該控制系統(tǒng)框圖。

圖2 系統(tǒng)框圖

1.2 疲勞狀態(tài)下腦電信號的特征

由于EEG人機交互系統(tǒng)受試者需要長時間進行單一的重復想象操作，很容易造成精神的疲勞[9]。圖3為2種狀態(tài)下與精神狀態(tài)有關(guān)的AF3信號的波形。

(a)正常狀態(tài)波形

(b)疲勞狀態(tài)波形

圖3所示，不同狀態(tài)下的腦電波形雖然存在著一定的差異，但是卻看不出2種狀態(tài)下EEG信號所包含的基本節(jié)律波。為了進一步研究2種狀態(tài)下腦波信號的特征，本文對腦波信號進行了頻譜分析，得到2種狀態(tài)下EEG信號的頻譜圖。

圖4可知當受試者處于正常狀態(tài)時主要以α波(8～13 Hz)、β波(14～30 Hz)為主；疲勞時主要以α波和θ波(4～7 Hz)為主，此時δ波(0.5～3 Hz)增多，而β波越來越少(幾乎為零)，波段的變化使得腦電信號特征值穩(wěn)定性低、特征向量區(qū)分度差，嚴重影響了BCI系統(tǒng)的性能。隨著時間的增長和腦電疲勞的加劇，腦電信號的識別率更低。

(a)正常狀態(tài)頻譜圖

(b)疲勞狀態(tài)頻譜圖

2 控制方案設(shè)計

2.1 腦電信號控制

腦電信號是該控制系統(tǒng)的基礎(chǔ)。通過對Emotiv腦電信號采集儀的各通道腦電信號的分析，發(fā)現(xiàn)O1通道對睜閉眼腦電信號反應最明顯，F(xiàn)C5和FC6通道對左右手運動想象腦電信號反應最明顯，閉眼放松與左右手相比很容易被區(qū)分出來，這里不是本文重點，而左右手的區(qū)分是特征分類的難點，因此本文選擇F3、F4、FC5、FC6、T7和T8通道的腦電信號來提取左右手運動想象腦電信號的特征。選用一種改進的CSSD算法作為其特征提取方法[10]提取腦電信號特征，經(jīng)過實驗驗證，該特征提取算法能使左右手運動想象腦電信號的在線平均識別率高達95.01%。

2.2 視覺控制

EEG是一個非線性且非平穩(wěn)的信號，當使用者處于疲勞狀態(tài)時，大腦產(chǎn)生的瞬時狀態(tài)信號并非是使用者本身的思想意識，這種非意識動作往往引起人機交互系統(tǒng)的不穩(wěn)定。所以視覺信息的有效監(jiān)測在引導控制信號正確運動中起著至關(guān)重要的作用。

圖5 改進前后正負誤差對比

由圖5可見，在正負誤差比方面改進后的Adaboost不會出現(xiàn)太大的波動，避免了權(quán)重分配不均造成的過適應，改進的Adaboost算法亦可用較少的特征得到較高的準確率，在圖像檢測速度方面得到了很大的提升。眼睛狀態(tài)檢測具體步驟為：用上述改進的Adaboost算法先定位人臉，然后將人臉的上半部分的左右兩邊分別切割開，在此基礎(chǔ)上再用一次改進Adaboost算法精確定位出人眼圖片[14]，如圖6。

這種眼睛定位方法速度很快，2次用同樣的改進Adaboost算法，避免了第2次分類器的重構(gòu)，節(jié)省了時間。訓練目標分類器時，需要構(gòu)造正負樣本圖像集，本文實驗中采集了50個人的左右眼狀態(tài)圖，圖像分類器的正樣本釆用了左右眼各400張人眼圖像，圖像分辨率歸一化為40×20的灰度圖像，然后對圖像的分類器進行訓練。負樣本為除眼睛外的人臉其他區(qū)域、風景以及室內(nèi)環(huán)境等任意圖片800張，將負樣本統(tǒng)一轉(zhuǎn)換為灰度圖像。圖7為不同光照、不同姿態(tài)、不同距離下的部分人眼和非人眼樣本。圖7(c)為3位受試者眼睛狀態(tài)的識別效果實例?？梢钥吹綇碗s背景下迎光、背光、側(cè)光3種光照條件，大小和形狀不同的眼睛狀態(tài)都可以被檢測到，從而滿足系統(tǒng)要求。

圖6 眼睛定位步驟

圖7 部分人眼樣本和非人眼樣本及識別結(jié)果

隨機選取4位受試者對訓練好的分類器進行測試，結(jié)果如表1所示。由表1可以看出,采用改進的Adaboost對睜眼樣本的識別率最高達98.7%，閉眼識別率最高達98.2%，不管人眼樣本還是非人眼樣本，平均識別率均在97%以上。采用此分類器可以較好地識別人眼樣本，為腦電信號的正確控制提供可靠的校正信息。

表1 眼睛狀態(tài)識別率

由于系統(tǒng)是對受試者的疲勞狀態(tài)進行識別，所以必須有較高的實時性。為了進一步驗證系統(tǒng)的實時性，本文用攝像頭拍攝3段視頻，分辨率為640×480，在Intel(R) Core(TM)2 Duo CPU E7500，2.93 GHz，1.99 G硬件環(huán)境，VS2010實驗平臺下對3段視頻進行測試，系統(tǒng)達到22幀/s的速度。與文獻[15]中單獨使用睜閉眼分類器92 ms和傳統(tǒng)Adaboost算法49 ms的檢測時間相比，本文改進Adaboost算法的檢測時間達到30 ms,滿足實時要求。

2.3 視覺信息輔助腦電信號樣本更新策略

在智能輪椅硬件平臺和VS2010軟件平臺和Emotiv人機交互閉環(huán)控制過程中，眼睛狀態(tài)的實時監(jiān)測作為一種重要的反饋信息，對系統(tǒng)穩(wěn)定性有著重要的影響。在對眼睛狀態(tài)的識別中眨眼動作是影響系統(tǒng)安全的一個重要因素。本文采取2 s內(nèi)perclos準則設(shè)定，如果perclos>40%，則認為受試者處于疲勞狀態(tài)，不進行任何的動作；如果 perclos≤40%，則要進行眨眼頻率的比較，如果每次眨眼時間為0.3～0.4 s，或者在2次運動想象內(nèi)至少檢測到一次眨眼則按照受試者的想象運動執(zhí)行相應的動作。否則認為沒有進行任何運動，不對輪椅發(fā)出指令。視覺信息輔助腦電信號人機交互系統(tǒng)流程圖如圖8。

具體步驟為：

1)人機交互系統(tǒng)啟動，同時啟動眼睛狀態(tài)實時監(jiān)測程序和EEG信號采集程序。

2)運動想象腦電信號分類識別，同時監(jiān)測規(guī)定時間內(nèi)眼睛狀態(tài)。

3)若檢測到眼睛狀態(tài)則利用改進的Adaboost識別并進一步判定是否符合perclos準則，若沒有檢測到眼睛狀態(tài)則返回步驟1)。若眼睛狀態(tài)與perclos準則匹配則將EEG信號作為更新樣本，進行在線訓練，同時向智能輪椅發(fā)送控制指令，執(zhí)行前進或者左、右轉(zhuǎn)運動中的一種；若不匹配則返回步驟1)。

圖8 混合人機交互系統(tǒng)流程圖

3 實驗結(jié)果及分析

3.1 系統(tǒng)性能驗證

為了驗證設(shè)計的混合EEG人機交互系統(tǒng)的性能，通過讓4位受試者使用引入視覺信息的EEG人機交互系統(tǒng)和單一的EEG人機交互系統(tǒng)在智能輪椅平臺進行重復性實驗，完成如圖9所指定的路線。本文設(shè)定的輪椅控制方式為：左右手運動想象腦電信號控制智能輪椅左轉(zhuǎn)和右轉(zhuǎn)，閉眼放松腦電信號控制智能輪椅前進。在輪椅運動方向與自己期望運動方向不一致或輪椅運動到自己期望的位置時，受試者就可通過咬牙使得F7通道產(chǎn)生的高幅度脈沖信號控制智能輪椅停止。通過分析，發(fā)現(xiàn)4位受試者在相同狀態(tài)下采用2種控制方式操作智能輪椅完成該路線在不同時間段的軌跡基本一致。圖10為其中1位受試者利用2種控制方式操作智能輪椅完成該路線時在不同時間段的軌跡。圖11(a)為4位受試者在不同時間段利用單一EEG人機交互系統(tǒng)完成指定路線的時間。圖11(b)為4位受試者利用混合EEG人機交互系統(tǒng)完成指定路線的時間。

圖9 實驗路徑

圖10 Emotiv腦電采集儀及電極安放位置

圖11 4位受試者在不同時間段利用兩種控制方式完成指定路線的時間

圖11中4個柱狀條分別為4位受試者在規(guī)定的受訓時間：0～10 min，10～20 min，20～30 min，30～40 min內(nèi)完成指定路線所用的時間。由圖10(b)和圖11(b)可知混合EEG人機交互系統(tǒng)在不同時間段都能夠安全平滑地完成指定路線，完成指定路線所用時間也將大大減少，并且隨著受訓時間的延長，消耗時間也只增加10 s左右。圖10(a)和圖11(a)中雖然單一的EEG系統(tǒng)也能完成指定路線，但當受訓時間為30～40 min軌跡曲線開始出現(xiàn)較大的波動且不光滑，輪椅開始原地打轉(zhuǎn)、向非意識方向運動，這是因為腦電采集系統(tǒng)本身或者受試者運動想象過程中精神需要長期處于高度集中狀態(tài)，極易產(chǎn)生疲乏，使得腦電信號特征值發(fā)生變化[16-17]，穩(wěn)定性降低，產(chǎn)生很多誤識別動作，進而完成指定路線的時間也隨著延長約100 s。

3.2 算法識別率驗證

為了驗證改進的CSSD算法的性能，4個受試者分別控制智能輪椅左轉(zhuǎn)、右轉(zhuǎn)各40次，然后從中各隨機抽取20次作為訓練樣本，其余作為測試樣本，將上述所得的特征向量分別輸入支持向量機分類器進行分類，經(jīng)交叉驗證得到幾位受試者在不同的特征提取下左右手的正確識別率如表2、表3所示。

表2 采用傳統(tǒng)CSSD特征提取的正確識別率

表3 采用改進CSSD特征提取的正確識別率

由表2、3可知，使用改進CSSD特征提取算法得到的左右手平均正確識別率均在87%以上，最高平均正確識別率為95.01%，最低值為87.80%，較傳統(tǒng)CSSD算法有效提高了腦電信號的正確識別率。

4 結(jié)束語

本文提出了一種混合腦電信號及視覺信號的智能輪椅人機交互系統(tǒng)。該人機交互系統(tǒng)通過改進Adaboost算法不斷地檢測眼睛狀態(tài)，視覺信息的加入大大避免了受試者利用單一EEG人機交互系統(tǒng)時由于疲乏問題造成的有用信息缺失導致的系統(tǒng)誤識別問題。通過“8”字形軌跡的固定實驗，驗證了該智能輪椅人機交互方案是可行的。

[1]涂建成. 腦電信號控制智能輪椅的研究[D]. 杭州: 杭州電子科技大學, 2011. TU Jiancheng. The research for control intelligent wheelchair based on EEG[D]. Hangzhou: Hangzhou Dianzi University, 2011.

[2]REBSAMEN B, GUAN Cuntai, ZHANG Haihong, et al. A brain controlled wheelchair to navigate in familiar environments[J]. IEEE transactions on neural systems and rehabilitation engineering, 2010, 18(6): 590-598.

[3]HOW T V, WANG R H, MIHAILIDIS A. Evaluation of an intelligent wheelchair system for older adults with cognitive impairments[J]. Journal of neuroengineering and rehabilitation, 2013, 10(1): 90.

[4]JI Y, HWANG J, KIM E Y. An intelligent wheelchair using situation awareness and obstacle detection[J]. Procedia-social and behavioral sciences, 2013, 97: 620-628.

[5]ORTNER R, ALLISON B Z, KORISEK G, et al. An SSVEP BCI to control a hand orthosis for persons with tetraplegia[J]. IEEE transactions on neural systems and rehabilitation engineering, 2011, 19(1): 1-5.

[6]何海洋. 基于多類意識任務識別的電動輪椅腦電控制方法研究[D].杭州:杭州電子科技大學, 2012. HE Haiyang. The research of EEG control methods of power wheelchair based on muti-class mental tasks recognition[D]. Hangzhou: Hangzhou Dianzi University, 2012.

[7]李戀. 結(jié)合EOG和EEG的人機交互系統(tǒng)的研究與實現(xiàn)[D]. 合肥: 安徽大學, 2012. LI Lian. The research and implementation of the human-computer interaction system based on the combination of EOG and EEG[D]. Hefei: Anhui University, 2012.

[8]WEI Lai, HU Huosheng. A multi-modal human machine interface for controlling an intelligent wheelchair using face movements[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics. Karon Beach, Phuket: IEEE, 2011: 2850-2855.

[9]ROY R N, BONNET S, CHARBONNIER S, et al. Mental fatigue and working memory load estimation: interaction and implications for EEG-based passive BCI[C]//Proceedings of the 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Osaka: IEEE, 2013: 6607-6610.

[10]張毅, 梅彥玲, 羅元. 基于改進CSSD的運動想象腦電信號特征提取[J]. 青島科技大學學報: 自然科學版, 2015, 36(1): 94-101. ZHANG Yi, MEI Yanling, LUO Yuan. Feature extraction of motor imagery in EEG based on improved CSSD[J]. Journal of Qingdao university of science and technology: natural science edition, 2015, 36(1): 94-101.

[11]SHI Jianjun, YUAN Qingwu, ZHOU Lawu, et al. Melancholia EEG classification based on CSSD and SVM[C]//Proceedings of SPIE 8285, 2010 International Conference on Graphic and Image Processing. Cairo, Egypt: SPIE, 2011: 14-18.

[12]SHIBANOKI T, SHIMA K, TSUJI T, et al. A Quasi-Optimal channel selection method for bioelectric signal classification using a partial Kullback-Leibler information measure[J]. IEEE transactions on biomedical engineering, 2013, 60(3): 853-861.

[13]PERDUCA V, NUEL G. Measuring the influence of observations in HMMs through the Kullback-Leibler distance[J]. IEEE signal processing letters, 2013, 20(2): 145-148.

[14]熊池亮. 基于AdaBoost算法的駕駛員疲勞駕駛檢測[D]. 成都: 電子科技大學, 2013. XIONG Chiliang. Detection of driver’s fatigue driving based on Adaboost algorithm[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[15]王奕直, 周凌霄, 孔萬增. 基于Adaboost的疲勞駕駛眨眼檢測[J]. 杭州電子科技大學學報, 2013, 33(4): 35-38.

WANG Yizhi, ZHOU Lingxiao, KONG Wanzeng. Eye blinking detecting in driving fatigue based on Adaboost[J]. Journal of Hangzhou dianzi university, 2013, 33(4): 35-38.

[16]YOO J, YAN Long, EL-DAMAK D, et al. An 8-Channel scalable EEG acquisition SoC with patient-specific seizure classification and recording processor[J]. IEEE journal of solid-state circuits, 2013, 48(1): 214-228.

[17]NEU D, MAIRESSE O, VERBANCK P, et al. Non-REM sleep EEG power distribution in fatigue and sleepiness[J]. Journal of psychosomatic research, 2014, 76(4): 286-291.

張毅，男，1966年生，教授，博士生導師,主要研究方向為機器人及應用、數(shù)據(jù)融合、信息無障礙技術(shù)。

尹春林，男，1990年生，碩士研究生，主要研究方向為多模人機交互。

蔡軍，男，1977年生，副教授，主要研究方向為機器人技術(shù)及應用、生物信號處理及應用、模式識別。

On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system

ZHANG Yi, YIN Chunlin, CAI Jun

(Information Accessibility Engineering R&D Center, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

To address error recognition problems created by mental fatigue when a human subject partakes in a single motor imager process for a long period of time, a visual information assisted EEG (electroencephalograph) human-machine interactive control system was proposed. The system produces a new sample updated strategy, with the ‘state’ of the eyes being recognized by the improved Adaboost algorithm in real-time and the recognition result being used to decide which EEG signal to update as the model parameter for human-machine interaction. An experiment on controlling an intelligent wheelchair off a fixed trajectory with a ‘8’ glyph was undertaken. The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique-related error recognition problem with good levels of efficiency; thus proving that the interactive method is feasible.

EEG; visual information; sample updated; human-machine interaction

2015-11-05.

日期：2016-08-24.

科技部國際合作項目(2010DFA12160)；國家自然科學基金項目(60905066)；國家自然科學基金項目(51075420).

尹春林. E-mail：659825946@qq.com.

TP242.6

A

1673-4785(2016)05-0648-07

10.11992/tis.201511004

http://www.cnki.net/kcms/detail/23.1538.TP.20160824.0929.010.html

張毅，尹春林，蔡軍.混合腦電信號及視覺信息的智能輪椅人機交互系統(tǒng)[J]. 智能系統(tǒng)學報， 2016, 11(5):648-654.

英文引用格式：ZHANG Yi, YIN Chunlin, CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system [J]. CAAI transactions on intelligent systems, 2016,11(5):648-654.