(1.北京航天測(cè)控技術(shù)有限公司,北京 100041;(2.北京郵電大學(xué) 自動(dòng)化學(xué)院,北京 100876)
腦機(jī)接口(brain computer interface, BCI)[1-2],也稱作“大腦端口”或“腦機(jī)融合感知”[3],是指將人或動(dòng)物的大腦與外部設(shè)備相連,實(shí)現(xiàn)大腦對(duì)設(shè)備直接控制的技術(shù)[4-6]。該技術(shù)最早出現(xiàn)于加州大學(xué)洛杉磯分校關(guān)于思維控制機(jī)器人方面的研究,至今已有40年的研究歷史。腦機(jī)接口技術(shù)是以人的思維和想法為中心,通過(guò)信號(hào)處理算法對(duì)腦電信號(hào)進(jìn)行分析,得到相應(yīng)的控制指令,最終實(shí)現(xiàn)對(duì)末端設(shè)備的控制[7],這種控制方式也稱為腦控。腦機(jī)接口技術(shù)是一個(gè)多學(xué)科融合的前沿研究方向[8],目前在康復(fù)醫(yī)療[9-13]、汽車行駛控制[14]、智能家居等領(lǐng)域有較為廣泛的研究和應(yīng)用[15]。
腦機(jī)接口中的“腦”是指人或動(dòng)物的大腦或神經(jīng)系統(tǒng),“機(jī)”是指用來(lái)計(jì)算或處理數(shù)據(jù)、圖像等各種信息的設(shè)備,從簡(jiǎn)單的電子電路到復(fù)雜的計(jì)算機(jī)系統(tǒng)都可以稱為“機(jī)”。通過(guò)腦機(jī)接口,人類或動(dòng)物就可以不需要通過(guò)語(yǔ)言或者動(dòng)作[16],而可以直接用大腦來(lái)控制機(jī)器設(shè)備。
大腦是人體語(yǔ)言、運(yùn)動(dòng)的控制中樞,通過(guò)神經(jīng)系統(tǒng)向身體各運(yùn)動(dòng)器官發(fā)出指令。神經(jīng)科學(xué)研究發(fā)現(xiàn),即使神經(jīng)系統(tǒng)和運(yùn)動(dòng)器官由于損傷而喪失作用,只要大腦功能保持正常,則控制指令依然能夠通過(guò)腦電信號(hào)從大腦傳輸出來(lái)。研究發(fā)現(xiàn),人們?cè)谶M(jìn)行某些思維活動(dòng)或在某些外部刺激下,腦電信號(hào)將呈現(xiàn)出與刺激相對(duì)應(yīng)的規(guī)律性變化[17]。由此可以看出,抽象虛擬的大腦活動(dòng)可以通過(guò)具體真實(shí)的物理腦電信號(hào)來(lái)表達(dá),這些信號(hào)成為大腦與外界溝通的橋梁。上述神經(jīng)科學(xué)的研究成果為腦機(jī)接口技術(shù)的研究提供了理論依據(jù)和方向指導(dǎo)。
腦機(jī)接口根據(jù)信號(hào)采集方式的不同,分為侵入式腦機(jī)接口[18]、部分侵入式腦機(jī)接口[19]和非侵入式腦機(jī)接口[20]。侵入式腦機(jī)接口是指將信號(hào)采集電極通過(guò)手術(shù)直接植入大腦灰質(zhì)中,該類接口主要用于對(duì)特殊感覺的重建以及恢復(fù)癱瘓患者的運(yùn)動(dòng)功能。侵入式腦機(jī)接口的優(yōu)缺點(diǎn)非常明顯,優(yōu)點(diǎn)是能夠獲得質(zhì)量相對(duì)較高的腦電信號(hào);缺點(diǎn)是植入手術(shù)容易引發(fā)免疫反應(yīng)和創(chuàng)傷,植入過(guò)久容易有信號(hào)質(zhì)量下降甚至消失的問(wèn)題[21]。部分侵入式腦機(jī)接口是指將信號(hào)采集電極植入到顱腔內(nèi),但在灰質(zhì)外。與侵入式相比,該采集方式引發(fā)免疫反應(yīng)和創(chuàng)傷的概率較低,但是采集到的腦電信號(hào)清晰度較差。
與上述兩種方式相比,將信號(hào)采集電極置于頭皮外部的非侵入式腦機(jī)接口是對(duì)人體創(chuàng)傷最小,采集方法最為簡(jiǎn)單的腦電信號(hào)采集方式。然而,由于電極與神經(jīng)元距離較遠(yuǎn),測(cè)得的信號(hào)噪聲較大,對(duì)信號(hào)后期的處理要求較高。非侵入式腦機(jī)接口技術(shù)主要包括腦電圖(EEG)、腦磁圖(Magnetoencephalography,MEG)[22]以及功能核磁共振成像(functional Magnetic Resonance Imaging,fMRI)[23]三種。EEG因具有良好的時(shí)間分辨率、易用性、便攜性和相對(duì)較低的技術(shù)價(jià)格,已得到廣泛和深入的研究,成為非侵入式腦機(jī)接口主要的研究方向。然而,對(duì)噪聲的強(qiáng)敏感性使其發(fā)展受到了制約。近年來(lái),MEG和fMRI也得到越來(lái)越多的關(guān)注。研究發(fā)現(xiàn),利用生物反饋技術(shù),通過(guò)改變fMRI檢測(cè)到的腦部血液流動(dòng)產(chǎn)生的信號(hào)可以控制乒乓球運(yùn)動(dòng)[24]。也有研究利用fMIR信號(hào)來(lái)實(shí)時(shí)準(zhǔn)確地控制機(jī)械臂[25]。
基于不同需求,人們?cè)O(shè)計(jì)出多種基于腦電的BCI系統(tǒng)原型[26]。BCI系統(tǒng)通常由信號(hào)采集、信號(hào)處理(特征提取)、信號(hào)分類與識(shí)別等功能環(huán)節(jié)組成[27],通過(guò)這些環(huán)節(jié)將輸入信號(hào)轉(zhuǎn)換成輸出信號(hào),實(shí)現(xiàn)實(shí)驗(yàn)對(duì)象對(duì)控制裝置的操作。BCI系統(tǒng)的基本構(gòu)成如圖1所示[28]。
圖1 BCI結(jié)構(gòu)示意圖
首先根據(jù)研究目的對(duì)實(shí)驗(yàn)對(duì)象的大腦進(jìn)行觸發(fā),使其產(chǎn)生某種對(duì)應(yīng)的原始信號(hào),該信號(hào)即為輸入信號(hào)。然后通過(guò)腦機(jī)接口對(duì)輸入信號(hào)進(jìn)行采集,得到的即為腦電信號(hào),腦電信號(hào)包含相應(yīng)活動(dòng)的特征信息。隨后對(duì)腦電信號(hào)進(jìn)行處理(特征提取),由連續(xù)的模擬信號(hào)轉(zhuǎn)換成由某些特征參數(shù)表示的數(shù)字信號(hào),使其能夠交由計(jì)算機(jī)讀取和分析。接下來(lái)對(duì)特征信號(hào)[29]進(jìn)行識(shí)別和分類,確定相應(yīng)的思想活動(dòng),生成驅(qū)動(dòng)或操作命令。最后得到的輸出信號(hào)即為控制指令,通過(guò)這些指令可以操作控制裝置的運(yùn)動(dòng)。 BCI系統(tǒng)的末端控制裝置包括各種語(yǔ)音交流、肢體運(yùn)動(dòng)、機(jī)器交互設(shè)備[30]。信號(hào)分類與識(shí)別作為連接輸入和輸出的中間環(huán)節(jié),是BCI系統(tǒng)的重要組成部分。在相同的訓(xùn)練強(qiáng)度下,可以通過(guò)提高信號(hào)分類與識(shí)別算法的性能,來(lái)提高信號(hào)分類精度,優(yōu)化BCI系統(tǒng)的控制性能。
腦機(jī)接口系統(tǒng)由腦電信號(hào)的產(chǎn)生、處理、轉(zhuǎn)換、輸出等單元組成,其中腦電信號(hào)的產(chǎn)生是基礎(chǔ),腦電信號(hào)的處理是關(guān)鍵,腦電信號(hào)的轉(zhuǎn)換是核心[31],腦電控制信號(hào)的輸出是目的。腦機(jī)接口研究的重點(diǎn)就是尋找合適的信號(hào)處理與轉(zhuǎn)換算法,將腦電信號(hào)快速、準(zhǔn)確、實(shí)時(shí)地通過(guò)腦機(jī)接口系統(tǒng)轉(zhuǎn)換成計(jì)算機(jī)能夠識(shí)別的命令或操作信號(hào)。
人類大腦能夠產(chǎn)生多種信號(hào),包括電信號(hào)、磁信號(hào)、化學(xué)信號(hào)等形式[32]。這些信號(hào)可以被相應(yīng)的傳感器檢測(cè)到,從而使得BCI的實(shí)施成為可能。目前BCI信號(hào)的獲取主要基于技術(shù)相對(duì)簡(jiǎn)單、費(fèi)用較低的EEG檢測(cè)技術(shù)[33]。該技術(shù)的實(shí)現(xiàn)過(guò)程包括信號(hào)的產(chǎn)生、檢測(cè)、處理等。
目前常見的腦機(jī)接口信號(hào)可以利用視覺誘發(fā)電位[34]、事件相關(guān)電位[35]、模擬虛擬環(huán)境[36]以及自主控制腦電[37]等多種觸發(fā)方式產(chǎn)生。根據(jù)不同的研究目的,選擇合適的觸發(fā)方式,從而獲得相應(yīng)的腦電信號(hào)[38]。
信號(hào)檢測(cè)所用的方法取決于待測(cè)腦電信號(hào)的性質(zhì)。圖2為一款Neuroscan的EEG腦電檢測(cè)系統(tǒng),該系統(tǒng)主要由腦電帽、信號(hào)放大器、安裝有腦電信號(hào)處理軟件的PC機(jī)組成。該系統(tǒng)的腦電帽具有64個(gè)測(cè)量電極,所有電極均按照國(guó)際10/20標(biāo)準(zhǔn)分布,可以根據(jù)不同的實(shí)驗(yàn)需要任意選擇相應(yīng)的電極進(jìn)行組合,檢測(cè)需要區(qū)域的腦電信號(hào),達(dá)到實(shí)驗(yàn)?zāi)康?。由腦電帽采集到的腦電信號(hào)非常微弱,需要通過(guò)信號(hào)放大器來(lái)提高信號(hào)的識(shí)別精度,放大器的增益倍數(shù)通常設(shè)定為60~100 dB。此外,也可以通過(guò)增加信號(hào)檢測(cè)的通道數(shù)、提高采樣頻率,實(shí)現(xiàn)對(duì)信號(hào)質(zhì)量的要求[39-40]。
圖2 Neuroscan腦電采集系統(tǒng)
BCI系統(tǒng)的信號(hào)處理過(guò)程包括信號(hào)預(yù)處理、特征提取、分類識(shí)別等,其中特征提取和分類識(shí)別是BCI信號(hào)處理的關(guān)鍵環(huán)節(jié)。傳統(tǒng)腦電信號(hào)的處理方法是對(duì)信號(hào)進(jìn)行多次檢測(cè)并進(jìn)行均值濾波,再用統(tǒng)計(jì)學(xué)方法尋找EEG的變化規(guī)律[41]。該方法信息傳輸率較低,不能滿足實(shí)時(shí)控制的要求。目前普遍采用的是先對(duì)離線EEG信號(hào)進(jìn)行處理和分析,再進(jìn)行在線調(diào)試。
2.3.1 信號(hào)預(yù)處理
在采集過(guò)程中,腦電信號(hào)會(huì)受到多種噪聲的干擾,如眼電、肌電、心電以及設(shè)備和實(shí)驗(yàn)環(huán)境的電磁干擾等,信號(hào)的預(yù)處理是利用濾波器和相應(yīng)算法對(duì)原始信號(hào)進(jìn)行濾波降噪,以消除這些噪聲和偽跡,提高信噪比。目前腦電信號(hào)的預(yù)處理算法比較成熟,常用的方法有空間濾波器、時(shí)間濾波器、通道選擇以及頻帶選擇[42]。
2.3.2 特征提取
特征提取是將特征信號(hào)作為源信號(hào)來(lái)確定各種參數(shù),并以此組成表征信號(hào)的特征向量[43]。特征參數(shù)包括時(shí)域信號(hào)和頻域信號(hào)兩大類,相應(yīng)的特征提取方法也分為時(shí)域法、頻域法和時(shí)頻域方法[44-46]。
時(shí)域法:時(shí)域分析包括過(guò)零點(diǎn)分析、直方圖分析、方差分析、相關(guān)分析、峰值檢測(cè)及波形參數(shù)分析、相干平均、波形識(shí)別等[38],通過(guò)時(shí)域分析直接提取波形特征參數(shù),然后將這些參數(shù)用于EEG的分類、識(shí)別、跟蹤和瞬態(tài)分析[47-48]。時(shí)域法特征提取方式是將特定的濾波方法與采樣方式相結(jié)合,去除EEG信號(hào)中的時(shí)域噪聲,提高信號(hào)的信噪比。其中,提取最多的是幅值特征和幅值能量特征。常用的濾波方法有帶通濾波[49]、拉普拉斯濾波、全導(dǎo)聯(lián)平均參考法、卡爾曼濾波[50]、移動(dòng)平均濾波[51]等。此外,連續(xù)或離散小波變換也常用于提取EEG信號(hào)的時(shí)變特征[52-53]。
頻域法:EEG信號(hào)處理中常用的頻域法有功率譜估計(jì)和參數(shù)模型法。功率譜估計(jì)是一種能夠反映信號(hào)頻率成分及相對(duì)強(qiáng)弱的頻域分析方法,利用該方法對(duì)腦電信號(hào)各頻段的功率和相干性進(jìn)行分析,可得到信號(hào)的規(guī)律[38]。參數(shù)模型法是現(xiàn)代譜估計(jì)使用最為廣泛的一種方法,因其具有頻率分辨率高、譜圖平滑的特性,故能實(shí)現(xiàn)參數(shù)的自動(dòng)提取和定量分析,特別適用于短數(shù)據(jù)處理,多應(yīng)用于EEG的動(dòng)態(tài)分析。頻域特征通常利用功率譜密度(Power Spectral Density,PSD)、自適應(yīng)自回歸(Adaptive Antoregressive,AAR)模型參數(shù)或小波頻帶能量來(lái)對(duì)其進(jìn)行衡量,相應(yīng)的提取方法主要有快速傅里葉變換(Fast Fourier Transformation,F(xiàn)FT)[54], AAR模型[55]和小波變換[56]等。
時(shí)頻法:EEG信號(hào)具有復(fù)雜、非平穩(wěn)的特性,而且傳統(tǒng)的時(shí)域和頻域分析也具有信號(hào)處理的不確定性,因此研究者們把時(shí)域特征值與頻域功率譜相結(jié)合,用于EEG信號(hào)的特征提取,其中維格納分布與小波變換是目前較常用的時(shí)頻分析方法[40]。
維格納分布(Wigner Distribution,WD)[57]是一種時(shí)頻混合的信號(hào)處理方法,具有很好的時(shí)頻分辨率和時(shí)頻移特性,用于EEG信號(hào)的處理時(shí)可以得到不同時(shí)刻頻率能量的分布規(guī)律[58]。維格納分布因其在時(shí)頻域中有良好的對(duì)稱性,故能實(shí)時(shí)反映EEG信號(hào)的時(shí)域分布和頻域變化,但由于維格納分布含有相交項(xiàng)的問(wèn)題,該方法并不能很好地反應(yīng)EEG的穩(wěn)態(tài)特性[40,59]。
小波變換[60]是對(duì)EEG信號(hào)進(jìn)行時(shí)頻分析的良好方法,通過(guò)變換能充分突出信號(hào)的特征。對(duì)基波進(jìn)行伸縮平移運(yùn)算逐步實(shí)現(xiàn)多尺度細(xì)化,當(dāng)小波基與EEG信號(hào)充分接近時(shí),提取的EEG信號(hào)即為所需的特征向量。但小波變換不能均勻劃分信號(hào),因此在信號(hào)處理時(shí)會(huì)產(chǎn)生高頻頻帶寬、低頻頻帶窄的缺點(diǎn)[40,61]。
2.3.3 分類識(shí)別
在EEG特征提取的基礎(chǔ)上,需要對(duì)特征信號(hào)進(jìn)行分類識(shí)別,較為普遍的分類方法有支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)[62]、貝葉斯-卡爾曼濾波[63]、線性判別分析[64]、遺傳算法[65]、概率模型等。信號(hào)分類的質(zhì)量決定了信號(hào)分類識(shí)別的準(zhǔn)確率高低,分類的質(zhì)量取決于兩個(gè)主要因素:一是待分類的特征信號(hào)是否具有明顯特征,即特征信號(hào)的性質(zhì);二是分類方法是否有效。
2.4.1 腦電采集技術(shù)
腦機(jī)接口技術(shù)在向?qū)嵱没⑹袌?chǎng)化方向發(fā)展的過(guò)程中,首先需要實(shí)現(xiàn)腦電信號(hào)采集設(shè)備的小型化和無(wú)線化。小型化的腦電采集設(shè)備目前已有一些[66-67],但是與傳統(tǒng)腦電采集設(shè)備相比,其功能差距還比較大。2017年6月,德國(guó)柏林工業(yè)大學(xué)的腦機(jī)接口研究小組發(fā)布了一款多功能無(wú)線模塊化硬件架構(gòu)(M3BA: A Mobile, Modular, Multimodal Biosignal Acquisition architecture)[68]。該架構(gòu)具有腦電采集、近紅外腦功能成像、其他常規(guī)生理參數(shù)采集等功能,單個(gè)模塊(不含電池)的邊長(zhǎng)僅為42 mm(圖3)。這是首款既包含多種采集功能,又具有良好應(yīng)用前景的采集架構(gòu),對(duì)推動(dòng)腦機(jī)接口技術(shù)的市場(chǎng)化應(yīng)用具有重要意義[69-70]。
圖3 M3BA概念圖
信號(hào)采集作為腦機(jī)接口技術(shù)從實(shí)驗(yàn)室走向現(xiàn)實(shí)生活的第一步,目前應(yīng)用最為廣泛的采集方式是基于頭皮腦電的非侵入式腦機(jī)接口。非侵入式腦機(jī)接口根據(jù)采集電極的不同,分為濕電極[71]系統(tǒng)和干電極[72]系統(tǒng)。目前使用較多的是濕電極系統(tǒng),但是其實(shí)驗(yàn)前后的準(zhǔn)備工作十分繁瑣,為了得到較好的采集信號(hào),需要先清洗頭發(fā)去除頭皮的角質(zhì)層,并花費(fèi)較長(zhǎng)時(shí)間對(duì)電極進(jìn)行腦電膏的注入,實(shí)驗(yàn)完成后也需要再次清洗頭發(fā),去除遺留在頭發(fā)上的腦電膏。干電極系統(tǒng)因其采集的信號(hào)狀態(tài)少且準(zhǔn)確率較低,在實(shí)際應(yīng)用中使用較少,一般只在需要采集前額區(qū)域的腦電信號(hào)時(shí)才會(huì)使用[73]。美國(guó)加州大學(xué)圣迭戈分校的研究小組開發(fā)出一種基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口系統(tǒng)[74],該系統(tǒng)將電極置于耳后無(wú)毛發(fā)覆蓋的區(qū)域。在一個(gè)12分類的任務(wù)中,分類準(zhǔn)確率達(dá)到了85%,信息傳輸速率達(dá)到30 bit/min左右(圖4(a))。這一系統(tǒng)的成功實(shí)驗(yàn)為腦電信號(hào)能夠進(jìn)行便捷高效的采集提供了強(qiáng)大支撐。與此同時(shí),商業(yè)化耳后腦電采集設(shè)備的推出(圖4(b)),將會(huì)推動(dòng)相關(guān)應(yīng)用快速走進(jìn)人們的日常生活[75]。
圖4 耳后腦電采集與采集設(shè)備
2.4.2 腦電信號(hào)處理算法
腦機(jī)接口研究領(lǐng)域的一個(gè)重要課題是如何提高信息的傳輸速率[76-78]。因?yàn)槟X電信號(hào)的信噪比較低,與正常輸出通路相比,腦機(jī)接口的信息傳輸速率較低,如P300[79]腦機(jī)接口系統(tǒng)在字符拼寫上的信息傳輸速率只有0.5 bit/s左右。清華大學(xué)及合作研究團(tuán)隊(duì)在2015年實(shí)驗(yàn)了一種基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口系統(tǒng),該系統(tǒng)的通信速率達(dá)到了4.5 bit/s[80-81]。中科院半導(dǎo)體研究所及合作研究團(tuán)隊(duì)在2017年提出了一種任務(wù)相關(guān)成分分析算法,將該算法與穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口相結(jié)合,實(shí)現(xiàn)了平均5.4 bit/s、最優(yōu)6.3 bit/s的通信速率,這是目前已報(bào)道的頭皮腦電腦機(jī)接口系統(tǒng)的最快通信速率[70]。
此外,2017年度腦機(jī)接口研究獎(jiǎng)(2017 Annual BCI Award)第1名獲得者—丹麥奧爾堡大學(xué)研究團(tuán)隊(duì),提出了一種在線腦機(jī)接口算法,該算法可以實(shí)時(shí)監(jiān)測(cè)受試者的注意力變化并進(jìn)行自適應(yīng)特征提取,并在長(zhǎng)期使用中始終保持良好性能。這些算法研究的成果可以有效推動(dòng)腦機(jī)接口在普通人日常生活中的應(yīng)用。
2.4.3 腦電信號(hào)誘發(fā)范式
腦電信號(hào)誘發(fā)范式性能的提高,主要是對(duì)刺激間隔、界面尺寸、圖像顯示像素等方面進(jìn)行優(yōu)化和提升,實(shí)現(xiàn)范式更好的觸發(fā)目標(biāo)腦電信號(hào)。目前信息傳輸速率最高的腦機(jī)接口類型是基于視覺誘發(fā)電位的腦機(jī)接口[82],該接口是每條指令對(duì)應(yīng)一個(gè)特定的視覺編碼,通過(guò)解讀編碼誘發(fā)的特定腦電響應(yīng)來(lái)實(shí)現(xiàn)目標(biāo)識(shí)別。德國(guó)漢堡大學(xué)的研究小組于2017年提出了一種新的腦機(jī)接口范式,該范式是基于空間信息編碼的穩(wěn)態(tài)視覺誘發(fā)電位觸發(fā)方法,利用該方法只需一個(gè)刺激物[83]便可對(duì)多個(gè)注意目標(biāo)進(jìn)行識(shí)別。該范式的原理是基于視覺皮層的視網(wǎng)膜映射,腦電誘發(fā)響應(yīng)隨視覺刺激的空間方位不同而改變。利用該范式進(jìn)行離線9方位的實(shí)驗(yàn),分類正確率約為95%。之后,漢堡大學(xué)與清華大學(xué)合作進(jìn)行了一個(gè)在線4分類系統(tǒng)的實(shí)驗(yàn),在一個(gè)2D運(yùn)動(dòng)控制游戲中的分類正確率約為90%。在這種范式的實(shí)驗(yàn)中,因?yàn)橛脩舨恍枰苯涌捶€(wěn)態(tài)視覺刺激物,所以視覺負(fù)載較低,體驗(yàn)更好。同時(shí),該范式能更好地利用計(jì)算機(jī)屏幕,與實(shí)驗(yàn)需求的背景更好地融合[70]。
腦機(jī)接口的另一種常用范式類型是運(yùn)動(dòng)想象[84],但目前還沒有此類范式的標(biāo)準(zhǔn)化解決方案。華東理工大學(xué)研究小組針對(duì)國(guó)內(nèi)用戶的特點(diǎn),提出了想象手寫漢字的運(yùn)動(dòng)想象范式,經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)對(duì)比,該范式的分類性能與傳統(tǒng)范式相比有顯著提高。這一實(shí)驗(yàn)拓寬了國(guó)內(nèi)腦機(jī)接口技術(shù)的研究思路。
BCI作為一種尖端的新興通信技術(shù),目前更多的還是處于實(shí)驗(yàn)室研究階段,距離真正實(shí)現(xiàn)商業(yè)化應(yīng)用還需要一些時(shí)間。然而,從實(shí)驗(yàn)室的研究效果來(lái)看,未來(lái)BCI系統(tǒng)及其技術(shù)將在涉及人腦的各項(xiàng)領(lǐng)域中發(fā)揮重要作用,尤其對(duì)于行動(dòng)能力嚴(yán)重受損的患者在運(yùn)動(dòng)功能的恢復(fù)和訓(xùn)練[85]中具有重要意義。目前,對(duì)BCI應(yīng)用的研究主要集中在交流功能恢復(fù)、運(yùn)動(dòng)功能恢復(fù)、車輛行駛控制、環(huán)境控制等領(lǐng)域。
腦機(jī)接口最重要的應(yīng)用目標(biāo)之一,是讓重度運(yùn)動(dòng)障礙患者重新獲得與外界交流溝通的能力。其中基于頭皮腦電的字符輸入研究近年來(lái)得到了快速發(fā)展[86]。美國(guó)斯坦福大學(xué)的研究小組在2017年2月提出了一種新的腦機(jī)接口應(yīng)用系統(tǒng),該系統(tǒng)能夠利用顱內(nèi)腦電進(jìn)行字符的輸入。首先將高密度微電極陣列植入脊髓側(cè)索硬化癥和脊髓損傷癱瘓患者的大腦運(yùn)動(dòng)皮層中負(fù)責(zé)手部運(yùn)動(dòng)的區(qū)域上;然后采集動(dòng)作電位和高頻局部場(chǎng)電位信號(hào);隨后對(duì)這些信號(hào)進(jìn)行解碼得到相應(yīng)的運(yùn)動(dòng)信息;最后實(shí)現(xiàn)對(duì)屏幕上光標(biāo)的連續(xù)控制。通過(guò)這一系統(tǒng),患者可以在屏幕虛擬鍵盤上點(diǎn)擊選擇字符以輸入文字,實(shí)現(xiàn)與外界的交互,如圖5所示。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,該系統(tǒng)的信息傳輸速率是目前此類研究的最快記錄,使用該系統(tǒng)的三名運(yùn)動(dòng)障礙患者分別實(shí)現(xiàn)了每分鐘39.2、31.6、13.5個(gè)英文字符的輸入。
圖5 腦機(jī)接口交流功能實(shí)例
將腦機(jī)接口技術(shù)用于提升運(yùn)動(dòng)障礙患者的生活質(zhì)量,是一個(gè)重要的研究領(lǐng)域,字符輸入是其中的一個(gè)方向,控制輪椅[87]、機(jī)械手臂[88]等運(yùn)動(dòng)輔助裝置是其另一個(gè)重要的研究方向[89]。2017年5月,美國(guó)凱斯西儲(chǔ)大學(xué)的研究小組將腦機(jī)接口與功能電刺激(Functional Electrical Stimulation,F(xiàn)ES)[90]兩種技術(shù)結(jié)合在一起,實(shí)現(xiàn)了患者控制患肢與外界進(jìn)行交互的目的。
功能電刺激是指利用一定強(qiáng)度的脈沖電流對(duì)肌肉進(jìn)行刺激,使肌肉實(shí)現(xiàn)預(yù)定的類自主運(yùn)動(dòng),逐步恢復(fù)肌肉功能的技術(shù)[91],如圖6(a)所示。研究人員首先將侵入式腦機(jī)接口系統(tǒng)植入患者運(yùn)動(dòng)皮層中負(fù)責(zé)手部運(yùn)動(dòng)的區(qū)域上,采集相關(guān)腦電信號(hào);然后將高頻帶頻譜能量和動(dòng)作電位超過(guò)閾值次數(shù)這兩者作為信號(hào)特征,解碼得到相應(yīng)的刺激參數(shù);隨后用相關(guān)參數(shù)控制功能電刺激器,刺激患者的患肢,實(shí)現(xiàn)患肢肌肉的活動(dòng)。通過(guò)一定時(shí)間的訓(xùn)練,患者可以控制患肢實(shí)現(xiàn)探出和抓取動(dòng)作。在使用患肢完成喝咖啡任務(wù)的實(shí)驗(yàn)階段,患者12次嘗試11次成功,如圖6(b)所示,每次任務(wù)時(shí)間為20~40 s。通過(guò)對(duì)實(shí)驗(yàn)的驗(yàn)證分析可得,系統(tǒng)能幫助患者實(shí)現(xiàn)連續(xù)的、接近實(shí)際生活的動(dòng)作控制,有望在未來(lái)幫助患者實(shí)現(xiàn)對(duì)患肢自然流暢的動(dòng)作控制,從而大大提高患者的生活質(zhì)量[70]。
圖6 運(yùn)動(dòng)功能恢復(fù)示意圖
“腦控汽車”與傳統(tǒng)的手腳并用車輛駕駛方式不同,是一種全新的、具有重要意義的車輛行駛控制方式。2015年7月15日,南開大學(xué)計(jì)算機(jī)與控制工程學(xué)院的研究小組成功研發(fā)出國(guó)內(nèi)首輛腦控汽車[92]。通過(guò)腦電檢測(cè)設(shè)備采集人在注意力集中時(shí)產(chǎn)生的腦電信號(hào),利用信號(hào)識(shí)別系統(tǒng)分析人對(duì)車輛的操控意圖,并將操控指令發(fā)送到車輛的控制平臺(tái),實(shí)現(xiàn)人腦直接控制汽車的目的。該研究小組在南開大學(xué)進(jìn)行了一次實(shí)驗(yàn),實(shí)驗(yàn)者頭戴具有16個(gè)采集點(diǎn)的腦電信號(hào)采集設(shè)備,向一輛裝有計(jì)算機(jī)處理系統(tǒng)、車載電控單元等裝置的汽車傳輸控制指令,在這些指令的控制下,汽車可以準(zhǔn)確執(zhí)行啟動(dòng)、直線前進(jìn)、直線倒車、制動(dòng)、車門開關(guān)鎖等規(guī)定指令。
“腦控汽車”的研發(fā)已能實(shí)現(xiàn)汽車的基本操控和低速行駛,但離真正的上路行駛還有一段距離,例如汽車的電動(dòng)系統(tǒng)以及腦控部分還需進(jìn)一步改進(jìn)與完善。未來(lái),隨著“腦控汽車”的安全性、智能性、人性化程度不斷提高,這種駕駛方式不但能夠在大眾生活中普及,更能應(yīng)用于肢體殘疾人士,幫助他們實(shí)現(xiàn)對(duì)車輛的駕駛控制。
目前,BCI環(huán)境控制的研究主要基于虛擬現(xiàn)實(shí)技術(shù)[93-94]。虛擬現(xiàn)實(shí)具有相對(duì)安全以及目標(biāo)可移動(dòng)的特點(diǎn),使其能為腦控系統(tǒng)提供一個(gè)安全可靠的環(huán)境??拼笥嶏w在2017年的發(fā)布會(huì)上,推出了以腦機(jī)輸入為控制方式的產(chǎn)品及應(yīng)用,例如利用腦波對(duì)周圍的環(huán)境、家電(智能家居)進(jìn)行控制。雖然目前已有相關(guān)概念創(chuàng)意和樣機(jī)推出,但要實(shí)現(xiàn)消費(fèi)級(jí)的腦機(jī)接口環(huán)境控制產(chǎn)品仍需一段時(shí)間。
對(duì)于腦機(jī)接口技術(shù)來(lái)說(shuō),過(guò)去幾年是該領(lǐng)域充滿機(jī)遇并獲得快速發(fā)展的一段時(shí)間。據(jù)估計(jì),美國(guó)每年在腦機(jī)接口及其相關(guān)研究領(lǐng)域有數(shù)十億美元的投入,并且這一數(shù)字還在不斷增長(zhǎng),許多高科技公司都專門新增了腦機(jī)接口技術(shù)的相關(guān)研發(fā)部門。除美國(guó)外,其他許多國(guó)家政府對(duì)該技術(shù)也越來(lái)越重視,歐洲、日本等發(fā)達(dá)國(guó)家相繼提出“大腦計(jì)劃”,中國(guó)也于2017年正式推出了自己的“腦計(jì)劃”。
隨著腦機(jī)接口技術(shù)的飛速發(fā)展,相關(guān)的理論研究和實(shí)驗(yàn)室測(cè)試也取得顯著突破,但想要將其廣泛應(yīng)用于大眾生活中還面臨著許多挑戰(zhàn)。在理論技術(shù)、硬件架構(gòu)、應(yīng)用領(lǐng)域等方面還有以下幾個(gè)亟待解決的關(guān)鍵問(wèn)題:
1)如何設(shè)計(jì)具有個(gè)性化差異的腦電信號(hào)誘發(fā)范式,以實(shí)現(xiàn)具有針對(duì)性的信號(hào)誘發(fā);
2)如何實(shí)現(xiàn)更高效準(zhǔn)確的特征提取,以提高信號(hào)的分類識(shí)別效率;
3)如何設(shè)計(jì)泛化能力更強(qiáng)的分類識(shí)別算法,以提高分類算法的適用性;
4)如何設(shè)計(jì)實(shí)現(xiàn)簡(jiǎn)單高效、功能多樣化的無(wú)線侵入式腦機(jī)設(shè)備;
5)如何提高信息的傳輸效率,并實(shí)現(xiàn)系統(tǒng)的高穩(wěn)定性運(yùn)行;
6)如何在臨床實(shí)踐領(lǐng)域更好的應(yīng)用腦機(jī)接口技術(shù)。
BCI技術(shù)作為一種交互智能控制技術(shù),連接數(shù)據(jù)端與應(yīng)用端,其主要功能是完成由生物電信號(hào)到應(yīng)用控制指令的映射。數(shù)據(jù)端主要是對(duì)操作者腦電、肌電等生物電信號(hào)的采集,應(yīng)用端則是根據(jù)數(shù)據(jù)端的意圖完成相應(yīng)的功能或動(dòng)作。在這個(gè)功能劃分原則的基礎(chǔ)上,針對(duì)腦機(jī)接口技術(shù)存在的幾個(gè)重要問(wèn)題,融合云計(jì)算的3種服務(wù)模式,本文提出一種BCI+AI的腦機(jī)接口架構(gòu)。該架構(gòu)是一種全新的BCI應(yīng)用研究設(shè)計(jì)架構(gòu),如圖7所示。從圖中可以看出整體架構(gòu)由IaaS、PaaS和SaaS三個(gè)層構(gòu)成,其中,IaaS層主要完成基礎(chǔ)設(shè)施的搭建,以能夠?qū)崿F(xiàn)對(duì)所需信號(hào)的采集;PaaS層主要是構(gòu)建應(yīng)用平臺(tái),通過(guò)該平臺(tái)實(shí)現(xiàn)基于IaaS層數(shù)據(jù)的功能開發(fā);SaaS層主要是構(gòu)建適用于各行業(yè)的具體功能服務(wù)平臺(tái),通過(guò)該平臺(tái)不同行業(yè)的用戶可根據(jù)自身需求直接啟用已成型的功能模塊,將其植入到自己的項(xiàng)目環(huán)節(jié)中。
圖7 BCI+AI架構(gòu)圖
該架構(gòu)的提出是對(duì)腦機(jī)接口技術(shù)從頂層進(jìn)行了系統(tǒng)級(jí)規(guī)劃設(shè)計(jì),不僅為未來(lái)系統(tǒng)整體研究指明了方向,而且緊跟技術(shù)發(fā)展趨勢(shì),將多種先進(jìn)技術(shù)融于一體。宏觀上搭建了整體行業(yè)技術(shù)發(fā)展的生態(tài)系統(tǒng)并隱含有商業(yè)畫布于其中,微觀上明確了技術(shù)研究形態(tài)與最終落地形式,為未來(lái)覆蓋產(chǎn)業(yè)應(yīng)用做好了鋪墊。