雍穎瓊,張宏江,程奇峰,孫 光,陽 佳

(中國運(yùn)載火箭技術(shù)研究院 研究發(fā)展部，北京 100076)

0 引言

腦機(jī)接口技術(shù)(brain-computer interface, BCI)是一種將大腦活動(dòng)產(chǎn)生的腦電信號轉(zhuǎn)化為控制信號，并利用這些信號對外部輸出設(shè)備進(jìn)行控制的新型人機(jī)交互技術(shù)[1]。1924年，德國耶拿大學(xué)精神病學(xué)教授Hans Berger首次在頭皮記錄到腦電信號，并開創(chuàng)了腦機(jī)接口發(fā)展的新里程[2]。BCI系統(tǒng)根據(jù)腦電信號的獲取方式，分為植入式(invasive)和非植入式(non-invasive)。目前提取大腦信號最常用的方式為非植入式，包括腦電圖(electroencephalography，EEG)、功能性磁共振成像(functional magnetic resonance imaging，fMRI)、腦磁圖(magneto encephalo graphy，MEG)和功能近紅外光譜 (functional near-infrared spectroscopy，fNIRS)[3]。其中，基于EEG的腦電信號提取方式具備低成本、快響應(yīng)、易攜帶等優(yōu)點(diǎn)，成為腦機(jī)接口中普遍使用的一種方式。

圖1 BCI的早期描繪[2]

當(dāng)前單一模態(tài)的腦機(jī)接口依舊面臨一些挑戰(zhàn)，包括長時(shí)作業(yè)魯棒性差、分類精度受命令數(shù)量影響、人機(jī)適應(yīng)性和系統(tǒng)穩(wěn)定性有待提升等。比如單一模態(tài)的BCI系統(tǒng)能夠?qū)崿F(xiàn)的任務(wù)數(shù)量有限，一定程度上制約了外部輸出設(shè)備對復(fù)雜任務(wù)的完成情況；隨著功能指令數(shù)的增多，分類準(zhǔn)確率下降，系統(tǒng)穩(wěn)定性受限，難以在實(shí)際應(yīng)用中獲得較好的結(jié)果。鑒于單一模態(tài)腦機(jī)接口存在的上述問題，近年來混合腦機(jī)接口(hybrid brain-computer interface，HBCI)的概念被提出，HBCI又被稱為多模態(tài)腦機(jī)接口(multi-modal brain-computer interface, MBCI)[4]，指的是將一個(gè)單模態(tài)腦機(jī)接口，如P300視覺誘發(fā)電位[5]、穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential，SSVEP)[6]、運(yùn)動(dòng)想象(motor imagery，MI)[7]等)，和另一個(gè)系統(tǒng)(BCI系統(tǒng)或者非BCI系統(tǒng))混合組成的系統(tǒng)[8]。HBCI具備多種輸入方式，對輸入信號的處理可采用并行處理方式(simultaneously)或者串行處理方式(sequentially)。

圖2 腦電信號獲取方式[9]

HBCI技術(shù)，可以滿足多自由度控制系統(tǒng)控制指令多、實(shí)時(shí)性強(qiáng)的實(shí)際控制需求，有利于突破單模態(tài)腦機(jī)接口控制指令有限和多分類識別準(zhǔn)確率低的問題，提升動(dòng)作指令數(shù)量，增加人機(jī)交互適用性和輸出特征，完善人機(jī)交互系統(tǒng)功能，在空間遙操作及裝備控制領(lǐng)域有著廣闊的應(yīng)用前景。

本文對HBCI的概念、研究進(jìn)展、關(guān)鍵技術(shù)進(jìn)行介紹，并對HBCI需解決的問題及應(yīng)用前景進(jìn)行了討論。

1 混合腦機(jī)接口技術(shù)國內(nèi)外研究進(jìn)展

HBCI可以分為三大類，包括：(1)基于兩種或兩種以上的多腦電模式混合，如P300視覺誘發(fā)電位、穩(wěn)態(tài)視覺誘發(fā)電位SSVEP、運(yùn)動(dòng)想象MI的混合模式；(2)基于多種刺激誘發(fā)的HBCI，即由多個(gè)刺激誘發(fā)腦電信號；(3)基于腦電及腦電以外其他模態(tài)信號的HBCI，包括兩種及兩種以上模態(tài)，如基于腦電與眼動(dòng)的HBCI、肌電與腦電的HBCI、腦電與位恣的HBCI等。

基于多腦電模式的混合腦機(jī)接口，結(jié)合了SSVEP、P300、MI等多種腦電模式，可被用于拼寫器、輪椅等外控設(shè)備導(dǎo)航、鼠標(biāo)和瀏覽器等計(jì)算機(jī)部件的控制[10-19]。Liu等[10]開發(fā)了一個(gè)二維光標(biāo)控制系統(tǒng)，通過利用SSVEP和P300的信號來控制光標(biāo)的方向和速度，P300視覺刺激分布在上下邊緣，分別代表加速和減速指令，SSVEP刺激位于左右兩側(cè)，分別代表順時(shí)針和逆時(shí)針旋轉(zhuǎn)。結(jié)果表明，該光標(biāo)控制系統(tǒng)具有良好的控制效率和精度，光標(biāo)運(yùn)動(dòng)平穩(wěn)連續(xù)，方向和速度控制精度達(dá)可以達(dá)到95.88%。Duan等[13]充分利用SSVEP和MI的優(yōu)勢，設(shè)計(jì)了HBCI系統(tǒng)，支持多腦電控制指令對機(jī)器人的操控。其中三個(gè)SSVEP信號被用于控制機(jī)器人的向前、向左、向右運(yùn)動(dòng)；一個(gè)MI信號用于控制機(jī)器人的精確抓取動(dòng)作。Long等[16]將MI和P300結(jié)合，以實(shí)現(xiàn)對二維光標(biāo)的控制以及對控制目標(biāo)的選擇，結(jié)果表明實(shí)驗(yàn)平均準(zhǔn)確率為92.84%；通過離線分析，證明基于MI和P300的混合腦機(jī)接口在目標(biāo)選擇上的性能優(yōu)于單獨(dú)的P300或MI系統(tǒng)。Xu等[19]研發(fā)了一種新型HBCI拼寫器，能夠在使用同一刺激的情況下，同時(shí)顯著激發(fā)P300電位信號和SSVEP阻斷(SSVEP blocking，SSVEP-B)。12名受試者進(jìn)行了試驗(yàn)，每名受試者在離線狀態(tài)下，連續(xù)兩次在不同拼寫模式(HBCI拼寫器和P300拼寫器)下完成拼寫操作。研究表明，在無目標(biāo)刺激階段，HBCI范式下的EEG信號主要來源于SSVEP信號，而被目標(biāo)刺激后，SSVEP信號被P300信號取代。與P300拼寫器相比，HBCI拼寫器獲得了更高的準(zhǔn)確率和信息傳輸率，整體拼寫性能更優(yōu)。

基于多種刺激誘發(fā)的混合腦機(jī)接口，通過不同感官信息通道間的競爭現(xiàn)象及信息交叉和整合機(jī)制[20-22]，實(shí)現(xiàn)操作者注意力自上而下的加強(qiáng)，從而形成一種互協(xié)同、互補(bǔ)充機(jī)制，進(jìn)而改善和增強(qiáng)BCI系統(tǒng)的整體性能。Pan等[23]提出一種結(jié)合視覺和聽覺的基于EEG的BCI系統(tǒng)，用于意識障礙患者(DOC)的情緒識別。8名DOC患者(包括5名植物狀態(tài)患者和3名最小意識狀態(tài)患者)和8名健康參照人員進(jìn)行了相關(guān)測試。8名DOC患者中的3名患者和8名健康參照人員都達(dá)到了要求的在線檢測準(zhǔn)確度。該研究表明，3名DOC患者具有情緒識別和命令跟隨能力。盡管DOC患者無法提供認(rèn)知功能，但仍可采用BCI系統(tǒng)對DOC患者進(jìn)行認(rèn)知實(shí)驗(yàn)。該系統(tǒng)有望用于意識障礙患者意識檢測和康復(fù)。Rutkowski等[24]開展了針對視聽受損用戶的觸聽功能研究，比較了三種六指令觸覺和骨傳導(dǎo)聽覺方法對BCI系統(tǒng)的改善能力。實(shí)驗(yàn)結(jié)果證實(shí)了初步的研究假設(shè)，即優(yōu)化刺激模式可以最終提高BCI的準(zhǔn)確性。觸聽誘發(fā)的腦機(jī)接口性能整體優(yōu)于單模態(tài)P300電位腦機(jī)接口，可用于視力受損的用戶。 Belistk 等[25]研究了基于視聽兩種刺激的P300腦機(jī)接口，提出了一種基于翻轉(zhuǎn)字母矩陣的新型擴(kuò)展矩陣拼寫器，可以在一個(gè)交互界面支持視覺、聽覺或視聽混合刺激，允許用戶根據(jù)自身狀況進(jìn)行最佳輸入模式選擇。7名健康受試者進(jìn)行了操作測試，數(shù)據(jù)分析結(jié)果表明，該系統(tǒng)具有良好的效果，且基于純聽覺系統(tǒng)的拼寫器性能低于視聽雙刺激系統(tǒng)性能。

圖3 混合腦機(jī)接口組合方式[8]

基于多模態(tài)信號的混合腦機(jī)接口，包括腦電信號、眼電信號、肌電信號、近紅外功能信號、位姿信號等[26-33]。通過不同生理通道間信號的融合，起到不同生理信號間的互補(bǔ)作用，最終達(dá)到提升混合腦機(jī)接口整體性能的目的。Li等[26]提出了一種基于腦電圖-眼電圖(electroencephalography-electrooculogram，EEG-EOG)的多模態(tài)高準(zhǔn)確率快速拼寫系統(tǒng)。通過結(jié)合腦電圖、眼電圖及視覺反饋技術(shù)，搭建用戶拼寫系統(tǒng)-高交互系統(tǒng)，協(xié)同進(jìn)行最優(yōu)決策。拼寫系統(tǒng)包括基于RC(row/column)的事件相關(guān)電位拼寫器、EOG命令探測器、視覺反饋模組。20名受試者參加了拼寫系統(tǒng)性能測試，結(jié)果表明，系統(tǒng)拼寫準(zhǔn)確率可以達(dá)到97.6%，信息傳輸率可達(dá)到39.6(±13.2) bits/min。Buccino等[28]將EEG與fNIRS相結(jié)合，用于分析基于異步感覺運(yùn)動(dòng)節(jié)律(asynchronous Sensory Motor rhythm，SMR)的BCI信號。研究者嘗試將四種不同的操作(右臂運(yùn)動(dòng)、左臂運(yùn)動(dòng)、右手運(yùn)動(dòng)、左手運(yùn)動(dòng))進(jìn)行分類。15名受試者參與了實(shí)驗(yàn)，結(jié)果表明，在所有操作中，基于EEG和fNIRS的混合交互系統(tǒng)的動(dòng)作精度高于各單模態(tài)(EEG或fNIRS)子系統(tǒng)精度。謝等[32]構(gòu)建基于支持向量機(jī)和粒子群優(yōu)化算法的腦電-肌電(electroencephalography electromyography，EEG-EMG)融合模式，研究表明，基于EEG和EMG的混合腦機(jī)系統(tǒng)模式識別率得到進(jìn)一步提升，此外融合模態(tài)規(guī)避了由于運(yùn)動(dòng)疲勞而導(dǎo)致的識別率下降問題，提升了整體系統(tǒng)的魯棒性。Cui等[33]開展了基于EEG、EMG和肌動(dòng)圖(mechanomyography，MMG)的多模融合研究，用于解碼人類對下肢多關(guān)節(jié)運(yùn)動(dòng)的意圖。結(jié)果表明，在EEG-EMG-MMG三種模態(tài)融合的混合模態(tài)下，實(shí)驗(yàn)最優(yōu)精度可以達(dá)到98.61%，精度顯著由于雙模態(tài)或單一模態(tài)。

2 混合腦機(jī)接口的關(guān)鍵技術(shù)

2.1 混合腦機(jī)接口信號采集和預(yù)處理

混合腦機(jī)接口涉及兩種或兩種以上刺激或模態(tài)，其信號采集和預(yù)處理也涉及多刺激或多模態(tài)的信號采集和預(yù)處理。

大多數(shù)的生理信號具備低頻率、變化大、穩(wěn)定性差等特點(diǎn)，容易受到受試者情緒、周圍環(huán)境等影響，使得采集到的原始信號中包含一定的干擾信號，從而影響到信號采集的準(zhǔn)確率。這些干擾信號可分為神經(jīng)源噪聲和非神經(jīng)源噪聲[34]，包括運(yùn)動(dòng)偽跡、基線漂移、工頻干擾、信號采集設(shè)備內(nèi)部噪聲等。運(yùn)動(dòng)偽跡是由貼附于皮膚表面的電極片由于錯(cuò)位移動(dòng)導(dǎo)致皮膚阻抗階躍變化而形成。基線漂移是指由于貼附于皮膚表面的電極片電阻發(fā)生變化或受試者皮膚表面電流變化造成采集到的信號偏離原來信號位置，從而對真實(shí)信號造成干擾或使信號失真的現(xiàn)象。工頻干擾是指信號采集環(huán)境中電磁場在一定頻率(50 Hz或60 Hz)下產(chǎn)生的交流電會對采集到的信號產(chǎn)生干擾的現(xiàn)象。

這些干擾信號會使得真實(shí)信號失真，對后續(xù)的信號分析的結(jié)果產(chǎn)生影響，需要采用各類去噪技術(shù)進(jìn)行預(yù)處理，以提升信噪比。如對于運(yùn)動(dòng)偽跡的處理，包括讓受試者保持安靜狀態(tài)、自適應(yīng)濾波等方式。對于工頻干擾，通常采用陷波濾波器去除。主要的預(yù)處理方法包括，主分量分析(principle component analysis, PCA)、獨(dú)立分量分析(independent component analysis, ICA)、Robust Kalman濾波、Kalman濾波、自適應(yīng)干擾消除、直接相減、非線性濾波等，實(shí)際處理中，通過各類算法的融合有望產(chǎn)生更好的效果[34]。

2.2 混合腦機(jī)接口信號的特征提取與分類

為了實(shí)現(xiàn)混合腦機(jī)接口對外部輸出設(shè)備的控制，需要將不同的信號進(jìn)行特征提取及分類。主要的特征提取方法包括基于時(shí)域特征和頻域特征的單一特征提取，基于時(shí)域-頻域特征組合的復(fù)合特征提取，基于AR(autoregression)參數(shù)估計(jì)的特征提取，基于小波或小波包變換的特征提取，基于共空域模式(common spatial patterns，CSP)算法的特征提取等[35-36]。

對于分類方法，主要包括基于Fisher準(zhǔn)則的線性判別分類器(linear discriminant analysis，LDA)、人工神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò)、PNN網(wǎng)絡(luò)、LVQ網(wǎng)絡(luò)等)、決策樹、遺傳算法、貝葉斯分類、K-近鄰算法、支持向量機(jī)等[37-38]。基于Fisher準(zhǔn)則的線性判別分類器具備簡單易行、速度快、存儲量小等特點(diǎn)；人工神經(jīng)網(wǎng)絡(luò)是通過模仿生物的神經(jīng)網(wǎng)絡(luò)，從而進(jìn)行相關(guān)信息處理的數(shù)學(xué)模型。具備參數(shù)選擇方便、分類準(zhǔn)確率高、信息處理速度快等優(yōu)點(diǎn)；支持向量機(jī)是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則(structure risk minimization，SRM)提出的一類機(jī)器學(xué)習(xí)方法，在模式識別表現(xiàn)優(yōu)良，將其應(yīng)用于腦機(jī)接口也顯現(xiàn)出很好的性能，某些實(shí)際應(yīng)用中，尤其對于復(fù)雜、大量數(shù)據(jù)可輸出良好的結(jié)果[39]；決策樹作為典型的分類算法，具備生成模式較簡單、魯棒性較高、分類精度較高等特點(diǎn)；遺傳算法是通過模擬自然界遺傳進(jìn)化過程的一種尋優(yōu)算法，其具備較好的適用性和靈活性。但遺傳算法對噪聲信號誘發(fā)的野值(outliers)較為敏感，在實(shí)際操作中需進(jìn)行合理的預(yù)處理設(shè)計(jì)；貝葉斯分類要求進(jìn)行分類對象的類別數(shù)目固定且需預(yù)先知道各個(gè)類別的概率分布情況[40]； K-近鄰算法是近鄰分類算法的擴(kuò)展，屬于應(yīng)用較為廣泛的一種分類方法，具備實(shí)現(xiàn)簡單、運(yùn)算速度較快等特點(diǎn)。

2.3 混合腦機(jī)接口信號的融合

采集到的各刺激或各模態(tài)信號，經(jīng)過預(yù)處理、特征提取、分類，隨后進(jìn)行多級、多層次處理、有機(jī)結(jié)合，達(dá)到提升系統(tǒng)輸出準(zhǔn)確性、決策效率等目的。

按照輸入信息融合的抽象程度，融合可以分為三類[41]：一類是數(shù)據(jù)層的融合，即為不同傳感器獲取的信號數(shù)據(jù)直接進(jìn)行融合，隨后再對融合后的傳感數(shù)據(jù)進(jìn)行特征提取及分類。數(shù)據(jù)層融合能夠直接融合各類傳感器的數(shù)據(jù)，信息更為豐富、全面、準(zhǔn)確，丟失的信息量較小。但由于各個(gè)傳感器獲取的信息具有一定的冗余性，造成數(shù)據(jù)處理的耗時(shí)較長，對于在線系統(tǒng)等要求快速響應(yīng)的系統(tǒng)，難以滿足其實(shí)時(shí)性需求；第二類為特征層次融合，即為通過對各個(gè)傳感器獲取的數(shù)據(jù)先進(jìn)行特征向量提取，隨后進(jìn)行特征數(shù)據(jù)的融合處理，最后將融合后特征用于系統(tǒng)分類決策。特征層融合通過提取各傳感器獲取數(shù)據(jù)的有效特征，在保留了有用信息的同時(shí)又對信息進(jìn)行了壓縮，利于提升處理速度，滿足系統(tǒng)實(shí)時(shí)性要求，同時(shí)準(zhǔn)確率也較優(yōu)；第三類為決策層融合，即為各個(gè)傳感器先分別進(jìn)行處理分類決策，隨后按照投票或者權(quán)重計(jì)算等方法輸出整體系統(tǒng)的決策結(jié)果。決策層融合有利于形成一種互糾正、互校對模式，即系統(tǒng)中某個(gè)傳感器發(fā)生決策錯(cuò)誤，整體系統(tǒng)還可以通過一定的決策占比調(diào)整，達(dá)到輸出準(zhǔn)確決策的目的。如圖4所示。

圖4 三類融合方式

三類融合方法相比較而言，數(shù)據(jù)層融合的處理信息量最大，融合性能最優(yōu)，信息損失量最小，但容錯(cuò)性最小，抗干擾性最差，算法也最難；特征層融合在三類融合中無論從處理信息量、信息量損失、抗干擾性能、算法難度、融合性能等均處于中等；決策層融合的處理信息量最小、抗干擾性能和容錯(cuò)性能最優(yōu)、算法最容易，但信息損失量最大，在實(shí)際處理過程中，需要根據(jù)實(shí)際系統(tǒng)需求，進(jìn)行合理的選擇[41]。

3 混合腦機(jī)接口的發(fā)展與展望

文章按照基于多腦電模式的混合腦機(jī)接口、基于多種刺激誘發(fā)的混合腦機(jī)接口、基于多模態(tài)信號的混合腦機(jī)接口三個(gè)分類對混合腦機(jī)接口的研究進(jìn)展進(jìn)行了闡述，通過對比發(fā)現(xiàn)，基于多腦電/多模態(tài)融合的腦機(jī)接口有利于獲得更高的識別率和精度，系統(tǒng)輸出也更穩(wěn)定。以EEG和EMG混合為例，混合模式有利于降低運(yùn)動(dòng)功能部分缺失以及操作疲勞等因素對模式識別結(jié)果造成的不利影響，從而提升整體系統(tǒng)的準(zhǔn)確率和魯棒性。

但當(dāng)前混合腦機(jī)接口技術(shù)仍面臨著不小的挑戰(zhàn)及亟待解決的問題：(1)單模態(tài)識別率有待進(jìn)一步提升。異構(gòu)信息源需考慮不同程度的非平穩(wěn)態(tài)、魯棒性、源間變量信息[42]，單一模態(tài)性能會對融合系統(tǒng)性能產(chǎn)生影響；(2)多信號同步采集及分析方法有待進(jìn)一步探索研究?；谀X電的多信號融合主要涉及特征層、決策層融合[43]，以多模態(tài)混合腦機(jī)接口特征層融合為例，各模態(tài)信號的同步采集、特征提取是需要融合時(shí)需要解決的首要問題，而多模態(tài)系統(tǒng)涉及2類以上不同模態(tài)的同步處理和檢測，這就為實(shí)際融合帶來一定的難度，需要進(jìn)一步研究；(3)融合方式及融合機(jī)制有待進(jìn)一步探索。融合方式對融合系統(tǒng)的性能，包括準(zhǔn)確率、結(jié)果輸出穩(wěn)定性等產(chǎn)生影響。建立互補(bǔ)、互糾正的基于容錯(cuò)模式的融合機(jī)制有利于提升混合腦機(jī)接口系統(tǒng)的性能；(4)人機(jī)良耦合系統(tǒng)有待于進(jìn)一步完善。面向應(yīng)用的混合腦機(jī)接口，應(yīng)當(dāng)為用戶的使用提供友好、清晰、易于操作的界面及敏捷反饋系統(tǒng)，需要考慮操作人員的適應(yīng)能力，構(gòu)建人機(jī)良耦合系統(tǒng)。

雖然當(dāng)前混合腦機(jī)接口仍面臨一些挑戰(zhàn)，但由于其可以進(jìn)一步提升單模態(tài)腦機(jī)接口控制指令數(shù)目、識別準(zhǔn)確率、系統(tǒng)穩(wěn)定性及魯棒性，拓展人機(jī)交互通道數(shù)，未來在空間遙操作、裝備控制、康復(fù)醫(yī)療及日常輔助領(lǐng)域具有廣闊的應(yīng)用前景。

1)應(yīng)用于空間遙操作，為特殊場景下的外控裝備操控提供路徑。航天員在外太空作業(yè)時(shí)，受限于現(xiàn)有技術(shù)局限性、特殊任務(wù)復(fù)雜性、太空環(huán)境特殊性，可使用混合腦機(jī)接口技術(shù)，滿足復(fù)雜環(huán)境多控制通道作業(yè)需求。目前，歐洲航天局和美國航空航天管理局已開展腦機(jī)接口技術(shù)在載人航天中的相關(guān)應(yīng)用研究。

2)應(yīng)用于裝備領(lǐng)域，作為相關(guān)裝備輔助控制方法。美國空軍前期已開展通過腦電等生理通道協(xié)同控制研究，用于提升戰(zhàn)斗機(jī)飛行員的快速反應(yīng)能力；美國國防高級研究計(jì)劃局開展了“阿凡達(dá)”計(jì)劃，通過腦機(jī)接口技術(shù)遠(yuǎn)程操控機(jī)器人，代替士兵作業(yè)，執(zhí)行相關(guān)任務(wù)[4]。

3)應(yīng)用于醫(yī)療行業(yè)，用于康復(fù)醫(yī)療與日常輔助[44-45]。針對癱瘓及殘障人員的日常生活，進(jìn)行生活上的智能輔助。對于重癥癱瘓病人，拓展其對外界的控制能力以及交互能力。美國國防高級研究計(jì)劃局開展的“腦計(jì)劃”中有一項(xiàng)“假肢革新”項(xiàng)目，用于恢復(fù)殘障者的感知能力。

4 結(jié)束語

目前混合腦機(jī)接口能夠?qū)崿F(xiàn)一些相對不太復(fù)雜的生理信號的讀取與轉(zhuǎn)換輸出，實(shí)現(xiàn)對外部設(shè)備的簡單操控。未來，建立穩(wěn)定、便攜化、良效耦合、精細(xì)化的交互系統(tǒng)，還有待人類對混合腦機(jī)接口的深入認(rèn)知，包括人體機(jī)能構(gòu)造、感知情緒影響、生理信號獲取與處理方法等方面的進(jìn)一步研究，但相信混合腦機(jī)接口的應(yīng)用和發(fā)展前景將十分廣闊。