(1.北京航天測(cè)控技術(shù)有限公司,北京 100041；2.北京郵電大學(xué) 自動(dòng)化學(xué)院,北京 100876)

0 引言

智能人機(jī)交互是以人體生物電信號(hào)檢測(cè)為基礎(chǔ)、以人工智能、深度學(xué)習(xí)為特色，實(shí)現(xiàn)機(jī)器主動(dòng)理解人的行為意圖的高端人機(jī)交互技術(shù)，代表了人機(jī)交互的最新熱點(diǎn)與潮流[1]。近年來(lái)基于腦電(Electroencephalogram，EEG)或肌電(Electromyography，EMG)的人機(jī)交互技術(shù)[2-3]在生物醫(yī)學(xué)[4]、康復(fù)輪椅[5-6]、航空航天[7]、步態(tài)識(shí)別[8-9]、人體外骨骼[10-11]等領(lǐng)域取得了很大的應(yīng)用成果。

然而，目前有關(guān)腦-機(jī)接口(Brain-Computer Interface，BCI)或肌-機(jī)接口(Electromyography-Computer Interface，MCI)的智能人機(jī)交互系統(tǒng)，絕大部分是采取單一模式的生物電信號(hào)實(shí)現(xiàn)對(duì)外部設(shè)備的控制。這種單一模式具有信息傳輸率低、信息源單一、外部設(shè)備輸出控制指令少的缺點(diǎn)。相對(duì)于單模式腦-機(jī)接口系統(tǒng)，多模式混合腦-機(jī)接口(Hybrid Brain-Computer Interface)能夠有效地利用多源信息的融合互補(bǔ)，彌補(bǔ)現(xiàn)有腦-機(jī)接口在控制識(shí)別準(zhǔn)確率上較低的不足。對(duì)腦-機(jī)接口的發(fā)展具有一定的指導(dǎo)意義。

目前許多學(xué)者在多源信息混合腦-機(jī)接口方面進(jìn)行了深入的研究，并取得了卓越的成績(jī)。Li[12]針對(duì)截肢者殘留肌肉過(guò)少、肌電信號(hào)源不足的問題，提出腦肌電融合的多功能假肢控制方法，實(shí)現(xiàn)上肢運(yùn)動(dòng)的高精度識(shí)別。李翔等[13]等提出一種基于運(yùn)動(dòng)想象和運(yùn)動(dòng)起始時(shí)刻，將不同范式進(jìn)行結(jié)合的混合型 BCI 系統(tǒng)，并驗(yàn)證了可提高BCI系統(tǒng)性能的有效性。Brunner[14]等采用混合兩種不同類型的腦信號(hào)ERD和SSVEPs提高大腦活動(dòng)模式的分類準(zhǔn)確度。謝平[15]等通過(guò)腦電與肌電特征層融合，實(shí)現(xiàn)單側(cè)手腕屈、伸動(dòng)作模式的分類識(shí)別分類的準(zhǔn)確度提升。Leeb[16]等探索肌肉疲勞下的控制混合BCI機(jī)制，驗(yàn)證了肌肉和大腦活動(dòng)的多模式融合方法具有更好和更穩(wěn)定的性能。Wang[17]等提出一種融合腦電-眼電的混合 BCI 系統(tǒng)來(lái)實(shí)現(xiàn)對(duì)輪椅的聯(lián)合控制。吳松[18]提出了一種結(jié)合MI 和眼動(dòng) EEG 的兩種模態(tài)的異步BCI系統(tǒng)。Duan[19]等實(shí)現(xiàn)了一種結(jié)合了μ節(jié)律、SSVEP、以及 MI 3個(gè)腦電信號(hào)的多模態(tài)在線 BCI 系統(tǒng)，控制機(jī)器人來(lái)抓取物體。Ma[20]等提出了一種基于MI和mVEP結(jié)合的多模態(tài)光標(biāo)控制系統(tǒng)，實(shí)現(xiàn)了BCI系統(tǒng)的控制效率的整體性提升。

綜上所述，多源信息混合是通過(guò)采用兩種或兩種以上不同“EEG特征層”的混合增強(qiáng)，實(shí)現(xiàn)BCI系統(tǒng)的輸出準(zhǔn)確性的提高。但這種多模式融合要求被試者在更高的注意力下，同時(shí)完成多種任務(wù)，長(zhǎng)時(shí)間會(huì)造成被試者過(guò)度疲勞，影響系統(tǒng)控制穩(wěn)定性，且設(shè)備控制指令輸出類別十分有限。

為實(shí)現(xiàn)BCI系統(tǒng)穩(wěn)定性上的提升并且能夠具備多種控制指令的系統(tǒng)模型，本研究基于混合腦-機(jī)接口的思想，進(jìn)行“腦-肌”電同步采集，采用“并行”模式對(duì)不同信號(hào)進(jìn)行特征提取、分類識(shí)別，最終實(shí)現(xiàn)六自由度機(jī)械臂的多指令實(shí)時(shí)控制。首先，對(duì)肌電信號(hào)進(jìn)行特征提取，構(gòu)建特征向量，采用典型相關(guān)性分析方法(canonical correlation，CCA)實(shí)現(xiàn)肌電信號(hào)模式的分類、識(shí)別；然后基于小波分解、低頻重構(gòu)，進(jìn)行左右手運(yùn)動(dòng)想象執(zhí)行下的EEG事件相關(guān)去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)特征提取，并采用支持向量機(jī)(support vector machine，SVM)分類方法，實(shí)現(xiàn)腦電特征的二分類識(shí)別；最后，利用腦肌電特征的協(xié)同互補(bǔ)性實(shí)現(xiàn)對(duì)六自由度機(jī)械臂的多指令實(shí)時(shí)控制。

1 信號(hào)采集與預(yù)處理方法

1.1 數(shù)據(jù)采集

被試者無(wú)任何病史的健康受試者，并簽署了知情同意書。實(shí)驗(yàn)環(huán)境安靜無(wú)絕對(duì)噪聲，受試者端坐在舒適的座椅上，與屏幕水平距離為 70-80 cm。要求被試者根據(jù)電腦屏幕的提示，進(jìn)行相應(yīng)的單側(cè)手臂及左右手運(yùn)動(dòng)想象動(dòng)作。

肌電信號(hào)采集：肌電電極依據(jù)人體手臂肌肉群分布，采用環(huán)式貼法，進(jìn)行相應(yīng)的單側(cè)手腕伸(wrist flexion)、手腕屈(wrist extension)、握拳(hand close)、手張開(hand open)、手指動(dòng)作(fine pinch)、休息(no movement)6個(gè)動(dòng)作的肌電信號(hào)采集，見圖1。肌電電極采用10個(gè)通道，電極分布見圖2。訓(xùn)練采用單試次，持續(xù)時(shí)間2 s。腦電信號(hào)采集：腦電帽電極放置按照國(guó)際標(biāo)準(zhǔn)10-20系統(tǒng)。共采集C3、C4 、FZ、A1四通道腦電信號(hào)，選取A1左側(cè)乳突部位為參考電極，F(xiàn)Z 額頭中央接地。腦電左右手運(yùn)動(dòng)想象，采集實(shí)驗(yàn)分成10個(gè)試次(trials)，單試次持續(xù)2 s，左右各1 s，如圖3所示。

數(shù)據(jù)記錄采用 Neuroscan 腦電采集系統(tǒng)，同步采集腦電和肌電信號(hào)。采樣頻率設(shè)定為 500 Hz，并進(jìn)行50 Hz 工頻陷波處理。為了保證數(shù)據(jù)采集質(zhì)量，實(shí)驗(yàn)之前使用酒精棉清潔受試者的肌肉皮膚表面，使用導(dǎo)電膏減小皮膚、頭皮與電極之間的阻抗。具體實(shí)驗(yàn)過(guò)程包括5個(gè)步驟。腦肌電時(shí)序圖如圖4所示。

步驟 1:t= 0～2 s 時(shí)，屏幕中央出現(xiàn)一個(gè)十字光標(biāo)、START狀態(tài)，提示受試者實(shí)驗(yàn)即將開始，需集中注意力，等待動(dòng)作提示指令出現(xiàn)。

步驟 2:t= 2～14 s 時(shí)，屏幕上出現(xiàn)單側(cè)手腕伸、手腕屈、握拳、手張開、手指動(dòng)作、休息6個(gè)動(dòng)作的肌電信號(hào)運(yùn)動(dòng)的圖片提示，受試者根據(jù)提示進(jìn)行手臂動(dòng)作，6個(gè)動(dòng)作任務(wù)按順序執(zhí)行，每個(gè)動(dòng)作在2 s時(shí)間內(nèi)完成。

步驟 3：t= 14～16 s時(shí)，屏幕出現(xiàn)十字光標(biāo)，提示受試者腦電實(shí)驗(yàn)即將開始，需集中注意力，等待動(dòng)作提示指令出現(xiàn)。

步驟 4：t= 16～18 s時(shí)，屏幕出現(xiàn)左右指示箭頭，被試者依據(jù)箭頭方向提示，做相應(yīng)的左右手運(yùn)動(dòng)想象動(dòng)作，兩種動(dòng)作任務(wù)出現(xiàn)的順序執(zhí)行。運(yùn)動(dòng)想象執(zhí)行10次實(shí)驗(yàn)。

步驟 5：當(dāng)執(zhí)行腦電次數(shù)結(jié)束，顯示器處于END狀態(tài)，提示受試者實(shí)驗(yàn)結(jié)束。

圖2 肌電電腦極布置

圖3 腦電信號(hào)采集通道

圖4 腦肌電采集實(shí)驗(yàn)時(shí)序圖

1.2 信號(hào)預(yù)處理

1.2.1 EMG數(shù)據(jù)預(yù)處理

肌電信號(hào)的有效頻率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范圍內(nèi)，采用自適應(yīng)濾波器去除工頻50 Hz干擾，然后進(jìn)行10～200 Hz 的帶通濾波，并進(jìn)行去均值、去線性趨勢(shì)光滑處理有效地去除了肌電信號(hào)中各種噪聲干擾。EMG手臂動(dòng)作肌電信號(hào)預(yù)處理之后的結(jié)果，如圖5所示。

圖5 手臂動(dòng)作肌電信號(hào)

1.2.2 EEG數(shù)據(jù)預(yù)處理

由于腦電信號(hào)的特征主要體現(xiàn)在低頻段，因此對(duì)原始腦電信號(hào)進(jìn)行0～30 Hz 帶通濾波，同時(shí)去均值光滑處理。依據(jù)腦電實(shí)驗(yàn)范式對(duì)C3、C4腦電數(shù)據(jù)進(jìn)行每隔1 000 ms數(shù)據(jù)長(zhǎng)度進(jìn)行切分，共5組，腦電預(yù)處理之后的結(jié)果，如圖6所示。

圖6 C3、C4腦電信號(hào)

2 特征提取方法

2.1 EMG 特征提取

為了得到不同手臂肌肉動(dòng)作特征，在特征提取之前對(duì)信號(hào)先進(jìn)行“加窗”截取處理，然后依次對(duì)每個(gè)時(shí)間窗長(zhǎng)度為k的肌電信號(hào)xn(n=1,2,3,…,k)進(jìn)行特征提取。本研究選取肌電信號(hào)常用的功率譜、短時(shí)過(guò)零率、短時(shí)能量、符號(hào)變化次數(shù)、波形長(zhǎng)度5個(gè)特征作為肌電特征。其計(jì)算公式如下：

通過(guò)對(duì)肌電信號(hào)先進(jìn)行自相關(guān)函數(shù)處理再進(jìn)行維納-辛欽功率密度計(jì)算：

(1)

維納-辛欽(Wiener-Khintchine)功率譜密度計(jì)算公式：

(2)

短時(shí)過(guò)零率：為單個(gè)時(shí)間窗內(nèi)肌電信號(hào)通過(guò)零點(diǎn)的次數(shù)，該時(shí)域特征可以反映肌電信號(hào)的頻域信息，被廣泛應(yīng)用在聲音、肌電信號(hào)特征提取。

(3)

短時(shí)能量：短時(shí)能量為單個(gè)時(shí)間窗內(nèi)肌電信號(hào)能量的大小。

(4)

符合變化次數(shù)：符號(hào)變化次數(shù)為單個(gè)時(shí)間窗內(nèi)肌電信號(hào)符號(hào)的變化次數(shù)。

(5)

波形長(zhǎng)度：波形長(zhǎng)度為單個(gè)時(shí)間窗內(nèi)肌電信號(hào)波形長(zhǎng)度隨時(shí)間的積分，通常用來(lái)衡量信號(hào)的復(fù)雜度。

(6)

2.2 EEG 特征提取

研究表明，當(dāng)進(jìn)行左右手運(yùn)動(dòng)運(yùn)動(dòng)想象時(shí)，大腦兩側(cè)半球產(chǎn)生某些頻段的增強(qiáng)減弱，這一電生理現(xiàn)象被稱為EEG事件相關(guān)去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)。

當(dāng)人們想象左手運(yùn)動(dòng)時(shí)，ERD現(xiàn)象會(huì)出現(xiàn)在大腦右半球，使其功率譜減弱，ERS現(xiàn)象會(huì)出現(xiàn)在大腦左半球，使其功率譜出現(xiàn)增強(qiáng)；與此相反，當(dāng)想象右手運(yùn)動(dòng)時(shí)，ERD現(xiàn)象會(huì)出現(xiàn)在大腦左半球，而ERS現(xiàn)象會(huì)出現(xiàn)在大腦右半球。對(duì)應(yīng)于大腦主觀想象肢體動(dòng)作思維和作業(yè)提示所誘發(fā)被動(dòng)思維的ERD/ERS在具體表現(xiàn)特征頻段和運(yùn)動(dòng)皮層區(qū)域均有所不同。因此本文選取ERD/ERS作為判斷想象左右手運(yùn)動(dòng)的判別依據(jù)。

本研究采用多尺度小波分解、低頻重構(gòu)，提取左右手腦電信號(hào)C3和C4低頻段平均功率之差的ERD/ERS信息，作為區(qū)分腦電左右手運(yùn)動(dòng)想象的腦電特征。對(duì)實(shí)驗(yàn)采集數(shù)據(jù)進(jìn)行10次切分成5組左手，5組右手。就是C3和C4左手、右手5次，左右手平均功率譜，如圖7、8所示。

圖7 C3、C4左手平均功率

圖8 C3、C4右手平均功率

小波分解與重構(gòu)是通過(guò)不同帶通濾波器將含有綜合信息的一組原始序列分解成多組不同特征的時(shí)間序列，一組信號(hào)反應(yīng)原時(shí)間序列的內(nèi)在變化趨勢(shì)的逼近信號(hào)；其余組的序列反映隨機(jī)擾動(dòng)帶來(lái)的影響的細(xì)節(jié)信號(hào)。小波分解原理如圖9所示。對(duì)腦電信號(hào)的平均功率進(jìn)行小波分解，并通過(guò)小波系數(shù)重構(gòu)構(gòu)建第五層低頻段為[0 15.6250]Hz的信息。

圖9 小波分解原理圖

小波系數(shù)重構(gòu)C3、C4平均功率譜之差的第五層重構(gòu)信息，提取低頻信號(hào)的功率尺度特征。如圖10、11所示。

左手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構(gòu)的5組左手運(yùn)動(dòng)想象特征。

圖10 左手運(yùn)動(dòng)想象特征

右手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構(gòu)的5組左手運(yùn)動(dòng)想象特征。

圖11 右手運(yùn)動(dòng)想象特征

對(duì)比被試者進(jìn)行左右手運(yùn)動(dòng)想象時(shí)，五組特征具有一定的差異性，可將此特征集作為左右手腦電特征的識(shí)別分類。

3 腦肌電信號(hào)的機(jī)械臂控制

為了驗(yàn)證腦-肌電協(xié)同控制的實(shí)際應(yīng)用效果，以六自由度機(jī)械臂為控制對(duì)象，實(shí)現(xiàn)對(duì)機(jī)械臂的七指令(6個(gè)機(jī)械臂控制指令和一個(gè)腦肌切換指令)實(shí)時(shí)控制。為實(shí)現(xiàn)機(jī)械臂“腦”“肌”控制指令切換，設(shè)定手指執(zhí)行動(dòng)作為連續(xù)兩次，以提高腦-肌控制指令識(shí)別的準(zhǔn)確率。對(duì)肌電信號(hào)進(jìn)行中值濾波、光滑處理?？梢钥闯觯种竸?dòng)作在20uV以上具有兩個(gè)波峰與其他手臂動(dòng)作相比具有顯著性差異，如圖12所示，當(dāng)“腦”“肌”控制指令切換和手臂休息時(shí)，機(jī)械臂靜止不動(dòng)。

圖12 手臂肌電信號(hào)

3.1 控制方法

被試者根據(jù)屏幕中實(shí)驗(yàn)范式的提示進(jìn)行相應(yīng)的手勢(shì)動(dòng)作和左右手運(yùn)動(dòng)想象，產(chǎn)生的原始肌電、腦電信號(hào)通過(guò)預(yù)處理后進(jìn)行特征提??；獲得的肌電特征采用典型相關(guān)性分析法CCA進(jìn)行多元統(tǒng)計(jì)算法分類識(shí)別，CCA常用來(lái)分析兩個(gè)數(shù)據(jù)集之間潛在的相關(guān)性[21]。獲得的EEG腦電信號(hào)特征，采用支持向量機(jī)SVM進(jìn)行分類識(shí)別，SVM因其具有較高的魯棒性和準(zhǔn)確率[22]，通常被作為二分類分類器。最后，根據(jù)訓(xùn)練的分類模型進(jìn)行基于腦-肌信號(hào)的機(jī)械臂的單側(cè)手臂和左右手運(yùn)動(dòng)想象動(dòng)作各 100次數(shù)據(jù)記錄。控制策略如圖13所示。機(jī)械臂控制器根據(jù)腦-肌輸出信號(hào)，輸出相應(yīng)的控制指令信號(hào)，驅(qū)動(dòng)機(jī)械臂運(yùn)動(dòng)。同時(shí)，依據(jù)被試者動(dòng)作與機(jī)械臂控制指令吻合度相對(duì)比，結(jié)合期望值評(píng)估分類表現(xiàn)。

圖13 機(jī)械臂控制策略

3.2 結(jié)果分析

首先，告知每位被試者實(shí)驗(yàn)范式流程，待所有電極安置完畢后，被試被要求坐在屏幕前，右手自然地放置在桌上，如圖14所示。被試需要完成 1次單側(cè)手臂6個(gè)動(dòng)作和10 次左右手想象動(dòng)作，作為訓(xùn)練數(shù)據(jù)集，然后被試者隨機(jī)動(dòng)作控制機(jī)械臂運(yùn)動(dòng)。

實(shí)驗(yàn)征集20名被試者，每名被試者進(jìn)行10次實(shí)驗(yàn)操作，100次數(shù)據(jù)統(tǒng)計(jì)，如圖15所示。機(jī)械臂動(dòng)作指令平均準(zhǔn)確率，如表1。綜合實(shí)驗(yàn)結(jié)果表明：機(jī)械臂控制指令平均準(zhǔn)確率達(dá)到95%以上。

4 結(jié)論

本文提出了一種基于腦肌電信號(hào)的單側(cè)手臂和左右手運(yùn)動(dòng)想象的控制系統(tǒng)。并將其成功應(yīng)用于實(shí)現(xiàn)六自由度機(jī)械臂多指令實(shí)時(shí)控制中。實(shí)驗(yàn)結(jié)果表明：被試者在執(zhí)行不同操作任務(wù)時(shí)，無(wú)明顯疲勞現(xiàn)象，實(shí)現(xiàn)了BCI控制系統(tǒng)的穩(wěn)定識(shí)別，并且機(jī)械臂控制指令平均準(zhǔn)確率可達(dá)到95%以上。不僅豐富了人機(jī)交互-混合腦-機(jī)接口的多樣性，為面向機(jī)械臂等領(lǐng)域控制的腦-機(jī)接口技術(shù)，提供了實(shí)踐基礎(chǔ)和理論依據(jù)。

圖14 機(jī)械臂控制應(yīng)用

圖15 識(shí)別準(zhǔn)確率

表1 機(jī)械臂控制指令準(zhǔn)確率