李自娜,徐 歡,潘家輝,2

1(華南師范大學(xué) 計(jì)算機(jī)學(xué)院,廣州 510631)

2(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 引言

腦機(jī)接口(Brain-Computer Interface,BCI)是一種無需外周神經(jīng)和肌肉的參與,將大腦活動(dòng)產(chǎn)生的信號轉(zhuǎn)換成控制信號,并使用這些信號控制外部設(shè)備的技術(shù)[1],如圖1.近年來,腦機(jī)接口因其潛在的臨床應(yīng)用價(jià)值而日益受到學(xué)術(shù)界和公眾的關(guān)注.例如,BCI 可以提供增強(qiáng)或修復(fù)運(yùn)動(dòng)功能,給有嚴(yán)重運(yùn)動(dòng)障礙的患者帶來很大的幫助.目前,提取大腦信號最常用的方式為非植入式,包括功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、腦磁圖(Magneto Encephalo Graphy,MEG)、腦電圖(Electro Encephalo Graphy,EEG)和功能近紅外光譜(functional Near-Infrared Spectroscopy,fNIRS)[2].雖然腦電圖具有低信噪比和低空間分辨率,但它無創(chuàng)、便攜、低成本、性能好,實(shí)時(shí)響應(yīng),在技術(shù)上比其他腦信號要求低.因此,它在腦機(jī)接口中已被普遍使用.本文主要講述基于EEG 的腦機(jī)接口.基于EEG 的混合腦機(jī)接口使用的大腦模式包括Farwell和Donchin 在1988年提出的P300 視覺誘發(fā)電位[3]、Muller 等人提出的穩(wěn)態(tài)誘發(fā)電位(如穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potentials,SSVEP))[4]以及由運(yùn)動(dòng)想象(Motor Imagery,MI)產(chǎn)生的事件相關(guān)異步/同步(Event-Related Desynchronization/Synchronization,ERD/ERS)[5].

圖1 腦機(jī)接口系統(tǒng)的信號處理流程

單一模態(tài)的腦機(jī)接口系統(tǒng)在范式設(shè)計(jì)、腦信號處理算法和控制系統(tǒng)方面已經(jīng)取得了重大進(jìn)展,然而依然存在不足.如基于運(yùn)動(dòng)想象的BCI 需要受試者進(jìn)行大量練習(xí),這會(huì)使得患者容易疲憊,從而影響患者的思維集中,影響腦信號質(zhì)量；基于P300 位的BCI 需要多次重復(fù)閃爍,長時(shí)間的重復(fù)閃爍,也對患者的腦信號產(chǎn)生影響；基于SSVEP 的BCI 上的控制命令數(shù)量受刺激頻率及其他因素影響,特別是當(dāng)腦機(jī)接口的命令數(shù)增加時(shí),分類精度下降.此外,這些腦機(jī)接口系統(tǒng)還面臨著一些挑戰(zhàn),包括低信息傳輸速率、多方面/功能控制、人機(jī)適應(yīng)性、魯棒性和穩(wěn)定性.

解決上述挑戰(zhàn)的潛在方法是使用新開發(fā)類型的腦機(jī)接口系統(tǒng),即混合腦機(jī)接口.正如Allison 研究團(tuán)隊(duì)所描述的[6],混合腦機(jī)接口(hybrid Brain-Computer Interface,hBCI)由腦機(jī)接口系統(tǒng)和附加系統(tǒng)組成,該附加系統(tǒng)可能是第二個(gè)腦機(jī)接口系統(tǒng),并且被設(shè)計(jì)成比常規(guī)腦機(jī)接口更好地執(zhí)行特定目標(biāo).hBCI 的主要目標(biāo)有(1)提高BCI 的分類精度,(2)增加大腦控制命令的數(shù)量,(3)減少大腦信號檢測時(shí)間.研究人員嘗試尋找多種大腦信號從而提高控制命令的數(shù)量,典型例子為SSVEP和P300 組合,運(yùn)動(dòng)想象(Motor Imagery,MI)和SSVEP 組合成的hBCI[4].

本文主要介紹hBCI 的類型及其應(yīng)用.首先介紹了hBCI 的概念,然后主要講述幾種代表性hBCI 的一般原理、刺激范式、實(shí)驗(yàn)結(jié)果、及其應(yīng)用,最后討論了hBCI 的應(yīng)用前景和研究方向.

2 混合腦機(jī)接口

Pfurtscheller 等人[7]認(rèn)為hBCI 類型除了簡單的BCI組合外,還需要滿足以下四個(gè)標(biāo)準(zhǔn)：(1)活動(dòng)直接從大腦中獲得；(2)應(yīng)采用多種大腦信號采集方式中的至少一種來獲取這種活動(dòng),這種活動(dòng)可以是電位的、磁場的或血液動(dòng)力變化形式；(3)必須實(shí)時(shí)/在線處理信號,以建立大腦和計(jì)算機(jī)之間的通信,以產(chǎn)生控制命令；(4)必須提供描述大腦活動(dòng)結(jié)果以進(jìn)行通信和控制的反饋.

近年來,符合這些標(biāo)準(zhǔn)的hBCI 著重于提高活動(dòng)檢測的準(zhǔn)確性,增加控制命令的數(shù)量,對健康受試者和患者以更好地通信和控制.“混合BCI”和“多模式BCI”是兩個(gè)高度相關(guān)的概念.Li 等人[8]認(rèn)為“混合腦機(jī)接口”和“多模態(tài)腦機(jī)接口”是對BCI 相同定義的可互換術(shù)語.

本文提到的hBCI 主要分為3 大類,如圖2所示.(1)基于多種腦模式的hBCI,其中至少有兩種腦模式使用(P300和SSVEP 或MI和P300),在這種hBCI 類型中,多腦模式由單一感覺刺激誘發(fā)；(2)基于多種感覺刺激的hBCI,其中大腦模式通過多感覺刺激,如視聽刺激,同時(shí)誘發(fā),在這類hBCI 中,一種或多種腦模式由多個(gè)感覺刺激誘發(fā)；(3)基于多種信號的hBCI,其中在hBCI 系統(tǒng)中組合兩個(gè)或多個(gè)輸入信號,例如EEG、MEG、fMRI、NRIS、EOG 或EMG.表1列出了3 大類hBCI 近年來的代表性應(yīng)用及其性能指標(biāo).

3 混合腦機(jī)接口類型

3.1 基于多種大腦模式的hBCI

hBCI 結(jié)合了多種大腦模式,例如P300、S SVEP和MI.此類hBCI 已經(jīng)被設(shè)計(jì)用于各種應(yīng)用,例如拼寫器[13],空閑狀態(tài)檢測[26],矯形器[27],輪椅導(dǎo)航[28]和計(jì)算機(jī)部件的控制,例如二維(2D)光標(biāo)[29],鼠標(biāo)[30],瀏覽器[31],或郵件客戶端[32]等.在本節(jié)中,我們主要描述基于P300和SSVEP 的hBCI、基于MI和SSVEP 的hBCI和基于MI和P300 的hBCI.

圖2 本文所討論的混合腦機(jī)接口類型

表1 混合腦機(jī)接口的代表性應(yīng)用研究

3.1.1 基于P300和SSVEP 的hBCI

2014年Bi 等人[9]提出了基于SSVEP和P300 的混合范式用于開發(fā)基于速度-方向的光標(biāo)控制.在這個(gè)研究中,P300 的刺激在屏幕上下側(cè)分布,而檢測SSVEP的刺激(可順時(shí)針或逆時(shí)針旋轉(zhuǎn)控制設(shè)備)在屏幕的左右兩側(cè)顯示,使用基于支持向量機(jī)的分類的方法,結(jié)果顯示該hBCI 的準(zhǔn)確率超過90%.

Pan 等人[33]使用SSVEP和P300 的混合范式在意識障礙患者(Disorders Of Consciousness,DOC)檢測到意識.在該實(shí)驗(yàn)中,將兩張照片呈現(xiàn)給每一個(gè)病人：一張是病人自己的,另一張是陌生人的,病人將注意力集中在自己的或陌生人的照片上.BCI 系統(tǒng)使用P300和SSVEP 的特征檢測病人注意到哪一張照片.8 名患者(4 名處于植物人狀態(tài)(Vegetative State,VS),3 名處于最小意識狀態(tài)(Minimally Conscious State,MCS),另一個(gè)處于閉鎖綜合癥(Locked-In Syndrome,LIS))參與實(shí)驗(yàn).使用SVM 基礎(chǔ)分類器,1 名VS 患者、1 名MCS患者以及1 名LIS 患者能夠選擇自己或別人的照片(分類準(zhǔn)確率,66%-100%),該結(jié)果表明能夠使用hBCI 識別患者命令跟隨,從而證明了他們存在一定的認(rèn)識能力和意識.

3.1.2 基于MI和SSVEP 的hBCI

將SSVEP和MI 結(jié)合的原因有4 個(gè)：(1) SSVEP和MI 相關(guān)的大腦模式同時(shí)產(chǎn)生.(2) SSVEP 是一種可以在經(jīng)過少量訓(xùn)練的不熟悉受試者中穩(wěn)定檢測到的誘發(fā)電位,而對于大多數(shù)新用戶來說,比較難適應(yīng)去完成MI 任務(wù)這個(gè)過程.(3) SSVEP 可以基于腦電數(shù)據(jù)的單個(gè)試驗(yàn)來檢測,這種檢測不需要平均過程.(4)非視覺訓(xùn)練會(huì)挫敗受試者,而SSVEP 為吸引受試者參與MI任務(wù),提高受試者的表現(xiàn)提供了可能解決方案.

Yu 等人[34]將SSVEP和MI 相結(jié)合,為MI 訓(xùn)練提供有效的連續(xù)反饋.最初,分類器為SSVEP 分配較大權(quán)重,以便在訓(xùn)練開始期間得到正確的反饋.隨著訓(xùn)練進(jìn)行,受試者減少對SSVEP 刺激的視覺注意力,但是對MI 心理任務(wù)保持持續(xù)關(guān)注.當(dāng)受試者適應(yīng)節(jié)奏活動(dòng)時(shí),分類器將權(quán)重轉(zhuǎn)向MI.該研究表明hBCI 能用于加強(qiáng)MI 訓(xùn)練,并只需5 次訓(xùn)練(約1.5 小時(shí))后便產(chǎn)生可區(qū)分的大腦模式.

3.1.3 基于MI和P300 的hBCI

基于EEG 的BCI 系統(tǒng)的一個(gè)重要方面是多維控制,它涉及多個(gè)獨(dú)立的控制信號.這些控制信號可以從多個(gè)腦模式獲得,例如MI和P300.一方面P300 表示的是用于產(chǎn)生離散控制輸出命令的可靠類型的腦模式.另一方面MI 對于產(chǎn)生連續(xù)控制命令更為有效.

MI和P300 相關(guān)的任務(wù)在現(xiàn)實(shí)環(huán)境中已廣泛應(yīng)用.Long 等人[30]為二維光標(biāo)控制和目標(biāo)選擇提出了一種結(jié)合MI和P300 的hBCI,如圖3所示.研究人員使用了SVM 分類方法,成功試驗(yàn)的平均準(zhǔn)確率為92.84%,如果光標(biāo)成功移動(dòng)到目標(biāo),目標(biāo)選擇準(zhǔn)確率的平均為93.99%.此外,還收集了數(shù)據(jù)集用于離線分析,以證明與單獨(dú)使用P300 電位或MI 特征相比,P300 電位和MI 混合特征用于目標(biāo)選擇/拒絕的優(yōu)勢.實(shí)驗(yàn)結(jié)果表明,混合特征的使用準(zhǔn)確率顯著高于僅使用MI 或P300 電位特征(混合特征：83.10±2.12%；MI 特征：71.68±2.41%；P300 特征：80.44±1.82%).這種混合系統(tǒng)具有三個(gè)優(yōu)點(diǎn).首先,基于MI和P300 電位產(chǎn)生兩個(gè)獨(dú)立的控制信號.第二,用戶可以將光標(biāo)從任意位置移動(dòng)到隨機(jī)定位的目標(biāo).第三,這種采用MI和P300 電位兩種模式的混合控制策略比單獨(dú)使用MI 或P300 電位的控制策略提供更好的識別性能.多個(gè)控制信號對于輪椅的多維控制也是必不可少的.在一項(xiàng)研究中,Long等人[35]還提出了基于MI和P300 電位的hBCI 范式,以提供方向(左或右)和速度控制(加速和減速)命令來操作實(shí)際輪椅.

圖3 hBCI 的GUI 結(jié)合了MI和P300 電勢的2D 光標(biāo)控制和目標(biāo)選擇,其中一個(gè)光標(biāo)(黑色小圓),目標(biāo)(灰色小正方形),和8 個(gè)閃爍按鈕(3 個(gè)“Up”,3 個(gè)“Down”和2 個(gè)“Stop”).

3.2 基于多種感官刺激的hBCI

3.2.1 視-聽覺hBCI

人類擁有的多個(gè)感官為處理來自現(xiàn)實(shí)世界的信息提供路徑.多感官刺激的融合可加強(qiáng)自上而下的注意力,這些增強(qiáng)的效果可能有助于改善BCI 系統(tǒng)的性能.基于這一考慮,基于視-聽覺和視-觸覺的hBCI 被提出來,其中用于提高系統(tǒng)性能的是雙峰刺激.

Belistk 等人[36]提出了離線的基于視-聽覺的P300拼寫器和相應(yīng)的數(shù)據(jù)分析結(jié)果.研究表明在視-聽覺條件下,P300 反應(yīng)的強(qiáng)度高于僅視覺或僅聽覺條件下P300 反應(yīng)的強(qiáng)度.An 等人[37]探索了用于與注視無關(guān)的BCI 的并行拼寫器,其中聽覺和視覺域彼此獨(dú)立.他們的結(jié)果表明,15 個(gè)用戶可以在線拼寫,平均準(zhǔn)確率為87.7%.這些現(xiàn)有結(jié)果表明,視聽整合可能是增強(qiáng)大腦模式和進(jìn)一步改善腦機(jī)接口性能的潛在方法.Wang等人[38]提出一種新視-聽覺BCI 系統(tǒng),該系統(tǒng)基于數(shù)字使用上的空間,時(shí)間語義一致的視聽覺刺激.該視-聽覺BCI 系統(tǒng)應(yīng)用于DOC 患者的意識檢測.

目前,DOC 患者,比如植物人狀態(tài)或最低意識狀態(tài)的臨床診斷和意識評估主要依賴于行為觀察量表,如昏迷恢復(fù)量表.由于這些患者不能提供足夠的行為反應(yīng),因此存在很高的誤診率(范圍從37%到43%).檢測這些患者的意識是非常具有挑戰(zhàn)性的.2018年,Pan 等人[16]利用視-聽hBCI 對DOC 患者意識檢測和在線交流的潛在應(yīng)用進(jìn)行探索.在8 名DOC 受試患者中,有兩名取得高于隨機(jī)水平的準(zhǔn)確率,并且有一名患者意識上有所恢復(fù).然而,嚴(yán)重腦損傷的DOC 患者使用BCI 的能力比健康個(gè)體低得多.一種可能的解決方案是應(yīng)用上述視-聽覺hBCI 以提高覺察檢測的靈敏度.

3.2.2 視-觸覺hBCI

上述的hBCI 需要視覺上的交互來關(guān)注刺激和反饋,這限制了它們對具有良好視力和完整注視控制的用戶的適用性.由于用戶在操作聽覺或觸覺BCI 時(shí)不需要視覺交互,基于聽覺/觸覺的雙峰刺激方法可能允許視覺掃描無關(guān)的BCI.在之前的研究中,Yin 等人[39]提出了一種方向一致的雙模態(tài)P300 BCI,使用來自同一空間方向的聽覺和觸覺刺激的同時(shí)呈現(xiàn).

聽-觸覺BCI 研究仍處于研究開發(fā)的初期階段.例如,Rutkowski和Mori 研究的針對視力和聽力受損的用戶的觸覺和聽覺BCI[40],這些現(xiàn)有的結(jié)果揭示了聽-觸覺BCI 的幾個(gè)優(yōu)點(diǎn).第一,聽-觸覺雙模態(tài)BCI 比聽覺或觸覺單模態(tài)P300 BCI 具有更好的整體系統(tǒng)性能.第二,在視覺計(jì)算機(jī)應(yīng)用中,聽-觸覺BCI 提供了目標(biāo)感官領(lǐng)域有吸引力的可能性,可以不依賴于視覺刺激,以誘發(fā)電位,盡管使用這種系統(tǒng)獲得的性能低于依賴于注視轉(zhuǎn)移的BCI 的性能.第三,視-觸覺BCI 對患有受損視力的用戶來說,是另一種可選擇的BCI.

3.3 基于多種信號的hBCI

構(gòu)建hBCI 系統(tǒng)可以使用多個(gè)信號,包括EEG,MEG,fMRI,EOG,NRIS和EMG.不同腦信號具有不同的信號特征,因此可用于不同的功能.常見的hBCI如基于EEG和EMG 的hBCI,基于EEG和EOG 的hBCI,基于EEG和fMRI 的hBCI,基于EEG和MEG的hBCI和基于NIRS和fMRI 的hBCI.

Leeb 等人[41]提出了一種結(jié)合EEG和EMG 的hBCI.在每次試驗(yàn)中,根據(jù)視覺提示(指向左或右的箭頭),受試者被指示用左手或右手(即用拳頭握住手)進(jìn)行5 秒的重復(fù)運(yùn)動(dòng).研究人員分別對EEG和EMG 信號進(jìn)行處理和分類,然后融合；采用典型變量分析來選擇使不同任務(wù)之間的可分離性最大化的受試者特定特征,使用根據(jù)與訓(xùn)練數(shù)據(jù)來訓(xùn)練高斯分類器的交叉驗(yàn)證確定的穩(wěn)定特征.所得到的特征以受試者特定的方式閾值化,歸一化,并基于最大距離分類.最后,使用貝葉斯方法融合兩個(gè)分類器概率以產(chǎn)生一個(gè)控制信號.

單獨(dú)EEG 活動(dòng)的準(zhǔn)確率73%,EMG 活動(dòng)為87%.然而,在hBCI 中,精度提高到91%.此外,為了模擬疲勞的肌肉,肌電通道的振幅在運(yùn)行期間降低(從10%衰減到100%),使得EEG 活動(dòng)在融合數(shù)據(jù)中變得越來越重要,因?yàn)榧‰娂∪庾兊酶悠?結(jié)果表明,肌肉疲勞增加導(dǎo)致性能中度退化.受試者可以獨(dú)立于其肌肉疲勞水平來實(shí)現(xiàn)對其hBCI 的良好控制.這代表了EEG和基于EMG 的BCI 系統(tǒng)的明顯優(yōu)勢.

由于許多殘疾人仍然控制著他們的眼睛運(yùn)動(dòng),所以對于許多用戶來說,EOG 信號是BCI 系統(tǒng)輸入信號的適當(dāng)選擇.最近,一些研究已經(jīng)結(jié)合EEG和EOG 來構(gòu)建hBCI,如前面所提到Pan 等人[16]所做的研究就是結(jié)合EEG和EOG 對DOC 患者進(jìn)行的研究.

4 總結(jié)與展望

本文主要討論了幾種hBCI 類型和不同的刺激設(shè)計(jì)以及他們的性能分析.為了提高系統(tǒng)性能,研究人員設(shè)計(jì)了新的刺激模式,可以得出,對于系統(tǒng)性能來說,刺激范式是一個(gè)重要的因素.hBCI 將為解決腦機(jī)接口領(lǐng)域的問題提供途徑,比如在速度和實(shí)用性提高上,不僅提供了多個(gè)獨(dú)立的控制命令,而且提高了準(zhǔn)確率.

考慮到3 類hBCI 及其各自的應(yīng)用,我們可以總結(jié)出hBCI 的2 方面優(yōu)勢.(1) 提高目標(biāo)檢測性能.hBCI已被證明能夠改善目標(biāo)檢測性能,如前面所述.帶來這些改善的2 個(gè)主要策略如下：① 多種大腦模式(例如MI、P300和SSVEP) 的組合,或者多種信號(例如EEG、EMG、EOG 或NIRS)的融合可以在特征級執(zhí)行.② 通過呈現(xiàn)多感覺刺激(如視聽刺激)增強(qiáng)大腦模式.(2) 多維功能控制.文中給出了基于混合BCI 的多維或功能控制的實(shí)現(xiàn)方法和若干應(yīng)用系統(tǒng).可以采用3 種主要方法：① 結(jié)合多種大腦模式以獲得多個(gè)獨(dú)立的控制信號,例如基于MI和P300 的2D 光標(biāo)控制和基于MI和SSVEP 的矯形器控制；② 使用不同的信號特性來執(zhí)行不同的功能,例如基于EEG和EOG 的機(jī)器人控制.hBCI 系統(tǒng)可以涉及多腦模式、多感覺模式、或多信號輸入.為了確保這些成分在hBCI 系統(tǒng)中的有效協(xié)調(diào),需要研究相關(guān)的腦機(jī)制.然而,迄今為止對hBCI 的腦機(jī)制研究很少.

此外,未來的研究應(yīng)該集中在hBCI 的設(shè)計(jì)和實(shí)現(xiàn)上,在設(shè)計(jì)開發(fā)一個(gè)hBCI 時(shí),應(yīng)考慮以下6 個(gè)方面：(1)由至少一種大腦信號獲取模式組成；(2)多模態(tài)系統(tǒng)應(yīng)同時(shí)處理和檢測不同的生理信號；(3)該范式應(yīng)該能夠使用多種模式獲得多個(gè)大腦活動(dòng)；(4)為了提高分類精度和生成額外的控制命令,需要實(shí)時(shí)/在線獲取作為分類的特征；(5)分類輸出應(yīng)具有與外部設(shè)備(如輪椅和機(jī)器人)連接的潛力；(6)它還應(yīng)該為用戶的康復(fù)和控制目的提供反饋.當(dāng)設(shè)計(jì)一個(gè)基于多腦模式的hBCI 時(shí),一個(gè)挑戰(zhàn)是確定腦模式的最佳組合,該組合在用戶中可以考慮不同,以完成期望的目標(biāo).在設(shè)計(jì)多感覺混合型腦機(jī)接口時(shí),一個(gè)挑戰(zhàn)是確保所需的大腦模式通過多感覺刺激得到增強(qiáng).在未來,我們可以考慮涉及視覺,聽覺和觸覺方式的更多的組合多感官刺激.對于基于多個(gè)信號的hBCI,一個(gè)挑戰(zhàn)是確保充分利用不同信號的優(yōu)點(diǎn),從而改善系統(tǒng)性能.此外,還應(yīng)考慮基于EEG和fMRI 的實(shí)時(shí)hBCI,因?yàn)橐韵乱蛩兀篍EG數(shù)據(jù)(由fMRI 掃描儀產(chǎn)生)中的高噪聲、慢響應(yīng)、高維數(shù)和fMRI 數(shù)據(jù)的低時(shí)間分辨率.hBCI 的一個(gè)潛在應(yīng)用是腦機(jī)制研究.在設(shè)計(jì)用于共享控制的hBCI 時(shí),必須考慮人機(jī)適應(yīng)/學(xué)習(xí)的范式,以優(yōu)化用戶和機(jī)器的耦合,并建立能夠有效地融合用戶意圖和機(jī)器決策的模型.未來的研究應(yīng)該集中于這些問題.到目前為止,大多數(shù)hBCI 系統(tǒng),如本章所討論的BCI 瀏覽器和BCI 輪椅,都是基于健康受試者設(shè)計(jì)的.考慮到健康受試者和患者之間的主要差異,這些系統(tǒng)需要擴(kuò)展供患者使用.

將來,研究人員將研究和設(shè)計(jì)一個(gè)更重要的刺激機(jī)制,從而提高混合系統(tǒng)的性能,附加的控制信號也會(huì)得到實(shí)現(xiàn),研究人員也會(huì)探索可以提高分類器的因素.當(dāng)前的混合BCI 依然需要時(shí)間去訓(xùn)練分類器的參數(shù),以及減少時(shí)間的需求.近幾年的多模態(tài)腦機(jī)接口越來越多的應(yīng)用到臨床中,如偏癱病人[42,43],以及意識障礙患者的恢復(fù)和治療[16,44].無論如何,很明顯,未來的hBCI 研究還有很大的空間,尤其是它的應(yīng)用.這個(gè)領(lǐng)域還很年輕,盡管已經(jīng)引入了若干通信和控制策略,但沒有商業(yè)上可用的hBCI.毫無疑問,幾項(xiàng)控制和康復(fù)應(yīng)用的突破即將到來.