謝 平 陳迎亞 郝艷彪 陳曉玲 杜義浩 吳曉光

(燕山大學(xué)電氣工程學(xué)院河北省測(cè)試計(jì)量技術(shù)及儀器重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

基于腦肌電融合的混合腦機(jī)接口研究

謝 平 陳迎亞 郝艷彪 陳曉玲 杜義浩 吳曉光*

(燕山大學(xué)電氣工程學(xué)院河北省測(cè)試計(jì)量技術(shù)及儀器重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

動(dòng)作模式識(shí)別是腦機(jī)接口技術(shù)的核心內(nèi)容之一。針對(duì)目前腦機(jī)接口動(dòng)作識(shí)別模式單一、識(shí)別率低等問題，基于混合腦機(jī)接口思想，提出一種腦電和肌電特征融合策略，可實(shí)現(xiàn)單側(cè)肢體不同動(dòng)作模式的有效分類，進(jìn)而可用于腦機(jī)接口技術(shù)。同步采集9名健康受試者單側(cè)手腕屈/伸兩種動(dòng)作模式下的腦電信號(hào)和表面肌電信號(hào)，分別提取腦電信號(hào)事件相關(guān)去同步化特征和表面肌電信號(hào)的積分肌電值特征，構(gòu)建基于支持向量機(jī)和粒子群優(yōu)化算法的腦肌電融合及運(yùn)動(dòng)模式識(shí)別模型，通過調(diào)整“特征融合系數(shù)”來實(shí)現(xiàn)動(dòng)作模式最優(yōu)分類，從而提高模式識(shí)別的準(zhǔn)確率；進(jìn)一步通過遞降健康人的肌電信號(hào)幅值來模擬患者和運(yùn)動(dòng)疲勞狀態(tài)下的肌電信號(hào)，驗(yàn)證所提出方法對(duì)動(dòng)作模式識(shí)別的有效性。實(shí)驗(yàn)結(jié)果表明，基于腦肌電融合特征的動(dòng)作模式識(shí)別率(98%)比單純依靠腦電特征的識(shí)別率(73%)提高25%；在運(yùn)動(dòng)疲勞狀態(tài)下，基于腦肌電融合特征的識(shí)別率穩(wěn)定在80%以上，比單純依靠肌電特征的識(shí)別率提高14%?？梢姡X肌電融合策略能提高動(dòng)作模式識(shí)別的準(zhǔn)確性和魯棒性，為混合腦機(jī)接口技術(shù)提供條件。

腦肌電融合；事件相關(guān)去同步化；粒子群優(yōu)化；動(dòng)作模式識(shí)別

引言

腦機(jī)接口(brain-computer interface, BCI)是一種不依賴于由大腦外周神經(jīng)與肌肉組成的正常運(yùn)動(dòng)控制通路而直接在人腦與外部設(shè)備之間建立通信的控制系統(tǒng)[1]，它可以幫助肢體運(yùn)動(dòng)功能障礙的人群(老年人、中風(fēng)患者等)實(shí)現(xiàn)對(duì)外部設(shè)備的有效控制。基于運(yùn)動(dòng)想象(moter imagery, MI)腦電信號(hào)(electroencephalogram, EEG)信號(hào)BCI的研究已經(jīng)開展，即基于運(yùn)動(dòng)想象EEG特征來獲取人體運(yùn)動(dòng)意圖，進(jìn)而控制外部設(shè)備。例如，通過分析左手或右手運(yùn)動(dòng)想象所產(chǎn)生的EEG信號(hào)實(shí)現(xiàn)光標(biāo)移動(dòng)[2]、基于右手和右腳運(yùn)動(dòng)想象進(jìn)行打字[3]等。由于運(yùn)動(dòng)想象腦電信號(hào)由受試者自主想象肢體運(yùn)動(dòng)產(chǎn)生，因此基于運(yùn)動(dòng)想象的BCI系統(tǒng)具有訓(xùn)練時(shí)間短、易于實(shí)現(xiàn)等優(yōu)點(diǎn)。然而，目前基于運(yùn)動(dòng)想象的BCI仍存在兩個(gè)主要局限：一是絕大多數(shù)研究都基于運(yùn)動(dòng)想象EEG判別人體某一部位(左手、右手、舌頭等)是否存在運(yùn)動(dòng)意圖，但無法有效識(shí)別同一部位的不同運(yùn)動(dòng)模式，限制了對(duì)輸出設(shè)備的精細(xì)控制；二是由于腦電信號(hào)的微弱性、混疊性和信噪比低等特點(diǎn)，使得基于EEG特征進(jìn)行多模式動(dòng)作識(shí)別的準(zhǔn)確率有待提高?？梢姡绾斡行ёR(shí)別精細(xì)動(dòng)作模式并提高準(zhǔn)確率，對(duì)于腦機(jī)接口技術(shù)的發(fā)展具有重要意義。

混合腦機(jī)接口(hybrid brain-computer interface, hBCI)是將EEG和另外一種生理信號(hào)融合進(jìn)行混合控制的BCI系統(tǒng)，它的提出在一定程度上彌補(bǔ)了現(xiàn)有腦機(jī)接口的不足。Pfurtseheller等進(jìn)行過多種混合模式BCI的嘗試，如基于運(yùn)動(dòng)想象和穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential, SSVEP)的hBCI[4]、基于SSVEP的BCI引入心率控制近紅外光譜開關(guān)[5]等；高上凱等基于運(yùn)動(dòng)想象和運(yùn)動(dòng)起始時(shí)刻視覺誘發(fā)電位，實(shí)現(xiàn)了可用于字符輸入的hBCI系統(tǒng)[6]。雖然融合眼動(dòng)、心率、多模式腦電等生理信號(hào)的hBCI研究已取得一定的進(jìn)展，但是對(duì)于運(yùn)動(dòng)功能障礙患者而言，以上生理信號(hào)不能有效體現(xiàn)患者肌肉的運(yùn)動(dòng)狀態(tài)，為此，研究能夠融合大腦運(yùn)動(dòng)意圖和肌肉運(yùn)動(dòng)狀態(tài)的hBCI系統(tǒng)，對(duì)運(yùn)動(dòng)功能障礙患者更有意義。表面肌電信號(hào)(surface electromyographic, sEMG)能夠充分體現(xiàn)肌肉的運(yùn)動(dòng)狀態(tài)并且易于獲取，它充分利用患者殘存的運(yùn)動(dòng)能力，將sEMG與EEG融合，理論上有利于提高多模式動(dòng)作的分類精度。Robert Leeb提出了基于EEG和sEMG兩個(gè)信源的決策層融合策略，實(shí)現(xiàn)了左右手運(yùn)動(dòng)意圖識(shí)別[7]，提高了BCI系統(tǒng)的準(zhǔn)確率和穩(wěn)定性。決策層融合處理信息量小，但要求腦電、肌電信號(hào)的每個(gè)信源必須具有獨(dú)立決策能力，忽略了腦電與肌電間的協(xié)同互補(bǔ)性。羅志增等將腦電和肌電信號(hào)的特征值簡(jiǎn)單地組合在一個(gè)特征向量中，實(shí)現(xiàn)手部多模式動(dòng)作的識(shí)別[8]，但未考慮到肌肉疲勞狀態(tài)。

本研究基于hBCI思想，通過腦電與肌電特征層融合，實(shí)現(xiàn)單側(cè)手腕屈、伸動(dòng)作模式的分類識(shí)別。提取運(yùn)動(dòng)想象和運(yùn)動(dòng)執(zhí)行下EEG事件相關(guān)去同步化(event-related desynchronization, ERD)/同步化(event-related synchronization, ERS)特征，并與sEMG的積分肌電值特征進(jìn)行融合，構(gòu)建基于支持向量機(jī)(support vector machine, SVM)和粒子群優(yōu)化(particle swarm optimization, PSO)的腦肌電特征融合模型，利用腦肌電間的協(xié)同互補(bǔ)性來提高系統(tǒng)識(shí)別率。此外，針對(duì)患者運(yùn)動(dòng)功能不健全和長(zhǎng)時(shí)間運(yùn)動(dòng)時(shí)出現(xiàn)疲勞、肌力不足等情況，通過遞降肌電信號(hào)幅值來模擬患者患側(cè)的肌電信號(hào)和運(yùn)動(dòng)疲勞肌電信號(hào)[7]，并調(diào)整腦肌電融合系數(shù)，以避免由于肌電信號(hào)幅值降低導(dǎo)致的動(dòng)作識(shí)別率下降，提高系統(tǒng)的識(shí)別準(zhǔn)確性和魯棒性。

1 方法研究

1.1 數(shù)據(jù)采集

選取9名無任何病史的健康受試者(在校大學(xué)生，女性1名)，均簽署了知情同意書。實(shí)驗(yàn)在安靜的屏蔽室內(nèi)進(jìn)行，受試者端坐在舒適的座椅上，與屏幕水平距離為80 cm。根據(jù)屏幕提示，進(jìn)行相應(yīng)的手腕屈伸動(dòng)作想象，同時(shí)手腕做相應(yīng)的屈伸動(dòng)作(見圖1(a))。為避免受試者精神疲勞，實(shí)驗(yàn)分成2個(gè)部分，每個(gè)部分包含40個(gè)試次(trial)，屈和伸各20個(gè)。單個(gè)試次持續(xù)7 s，如圖1(c)所示，具體實(shí)驗(yàn)過程包括3個(gè)步驟。

步驟1：t=0～2 s時(shí)，屏幕中央出現(xiàn)一個(gè)十字光標(biāo)，同時(shí)伴有短暫的蜂鳴聲，以提示受試者實(shí)驗(yàn)即將開始，需集中注意力，等待動(dòng)作提示指令出現(xiàn)。

步驟2：t=2～5 s時(shí)，屏幕上出現(xiàn)手腕伸/屈運(yùn)動(dòng)的圖片提示，如圖1(c)所示，受試者根據(jù)提示進(jìn)行手腕伸/屈運(yùn)動(dòng)的想象，同時(shí)做相應(yīng)的動(dòng)作，兩種動(dòng)作任務(wù)出現(xiàn)的次序隨機(jī)。

步驟3：t=5～7 s時(shí)，顯示器處于黑屏狀態(tài)，受試者休息2 s。

數(shù)據(jù)記錄采用Neuroscan腦電采集系統(tǒng)，同步采集腦電和肌電信號(hào)，腦電如圖1(b)所示。選取乳突部位為電極參考，AFZ額頭中央接地，同時(shí)采集水平和垂直兩通道眼電信號(hào)。利用Neuroscan腦電采集系統(tǒng)的預(yù)留通道，采集受試者前臂尺側(cè)腕屈肌(flexor carpi ulnaris, FCU)和橈側(cè)腕長(zhǎng)伸肌(extensor carpi radialis longus, ECRL)兩塊肌肉處的表面肌電信號(hào)。采樣頻率設(shè)定為1 000 Hz，并進(jìn)行50 Hz陷波處理。

圖1 信號(hào)采集及實(shí)驗(yàn)內(nèi)容。(a)腦肌電采集實(shí)驗(yàn)；(b)腦電信號(hào)采集通道；(c)單個(gè)試次實(shí)驗(yàn)過程Fig.1 Signal acquisition and experiment paradigm. (a) Acquisition of EEG and EMG signals; (b) EEG channels; (c) Time sequence of one trail

1.2 EEG與EMG預(yù)處理

由于腦電信號(hào)的ERD/ERS特征主要體現(xiàn)在alpha頻段(8～13 Hz)和beta頻段(13～30 Hz)，因此對(duì)原始腦電信號(hào)進(jìn)行5～40 Hz帶通濾波，同時(shí)濾除了基線漂移的噪聲干擾。此外，應(yīng)用獨(dú)立分量分析(independent component analysis, ICA)去除眼電、肌電等偽跡。ICA能夠?qū)⒍嗤ǖ繣EG分成多個(gè)相互獨(dú)立信號(hào)，并可分離出明顯的眼電、肌電等干擾成分。圖2(a)為存在眼電偽跡的原始腦電信號(hào)，圖2(b)為分解出來的部分獨(dú)立分量，第1個(gè)分量代表眼電信號(hào)源，去除此分量，得到去除眼電干擾后的腦電信號(hào)(見圖2(c))。

圖2 基于ICA的EEG去眼電過程 (a)含有眼電偽跡的EEG；(b)ICA分解后各成分信號(hào)；(c)去除眼電偽跡成分后的EEGFig.2 Removing of ocular artifact from EEG based on ICA. (a) Raw EEG containing ocular artifact; (b) Components based on ICA decomposition; (c) EEG after removing ocular artifact

肌電信號(hào)的有效頻率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范圍內(nèi)，主要噪聲來源為50 Hz的工頻干擾。采用自適應(yīng)濾波器去除工頻干擾，然后進(jìn)行10～200 Hz的帶通濾波。sEMG預(yù)處理的結(jié)果如圖3所示，這有效地去除了肌電信號(hào)中各種噪聲干擾。

圖3 肌電信號(hào)的預(yù)處理前(上)和預(yù)處理后(下)Fig.3 EMG signal before preprocessing(the top) and EMG signal after preprocessing(the bottom)

1.3 EEG與EMG信號(hào)特征提取

1.3.1 基于ERD/ERS的EEG特征提取

當(dāng)大腦皮質(zhì)某區(qū)域被激活時(shí)，該區(qū)域的代謝和血流量增加，同時(shí)大腦信息加工可以導(dǎo)致alpha(8～13 Hz)和beta(13～30 Hz)頻段震蕩的幅度降低或者阻滯，這一電生理現(xiàn)象被稱為事件相關(guān)去同步化[9]。alpha和beta頻譜在大腦靜息或惰性狀態(tài)下表現(xiàn)出明顯波幅增高的電活動(dòng)，此即為事件相關(guān)同步化。運(yùn)動(dòng)想象和實(shí)際運(yùn)動(dòng)過程都能夠激活相應(yīng)的大腦感覺運(yùn)動(dòng)區(qū)，并且特定頻率段將會(huì)產(chǎn)生ERD/ERS現(xiàn)象。筆者在傳統(tǒng)ERD/ERS量化方法的基礎(chǔ)上，研究單個(gè)試次ERD/ERS的腦電特征提取方法。

1.3.1.1 對(duì)腦電信號(hào)進(jìn)行局部頻帶分解

由于ERD/ERS產(chǎn)生在特定時(shí)間的特定頻段并且具有個(gè)體差異性，因此需要對(duì)腦電信號(hào)進(jìn)行頻帶分解，以分析不同腦電節(jié)律隨時(shí)間變化的情況。通過FIR帶通濾波器，將7～34 Hz的頻帶寬度分割成若干頻率分辨率為1 Hz的子帶，覆蓋較重要的EEG事件相關(guān)同步和去同步的頻段變化范圍。對(duì)于0～16、16～23和23～34 Hz的頻帶，子帶寬度各設(shè)為2、4、8 Hz[10]。

1.3.1.2 ERD/ERS平均量化

ERD/ERS是一種對(duì)刺激觸發(fā)非鎖相的誘導(dǎo)電位，因此引入試次間方差(intertrial variance, IV)的算法[11]來量化ERD/ERS。對(duì)每個(gè)通道的每個(gè)頻帶EEG計(jì)算IV，有

(1)

由相對(duì)于參考時(shí)間內(nèi)每個(gè)采樣點(diǎn)方差變化的百分比來表示ERD/ERS量化值[12]，有

(2)

(3)

式中，R表示參考時(shí)間段內(nèi)的平均能量，n0表示參考時(shí)間的起始點(diǎn)，k表示參考時(shí)間的長(zhǎng)度。

1.3.1.3ERD/ERS顯著頻帶和時(shí)段提取

通過時(shí)頻圖，可視化每個(gè)受試者各個(gè)頻段的平均ERD/ERS序列；設(shè)置合適的閾值，選取每個(gè)受試者ERD/ERS顯著的頻帶和時(shí)間段。ERD/ERS顯著的各頻段EEG信號(hào)記為EEGF={EEGf1,EEGf2,…,EEGfk}。對(duì)于每個(gè)頻段，ERD/ERS顯著的時(shí)間段記為Time={t1,t2,…,tm}。

1.3.1.4 單個(gè)試次的ERD/ERS量化

(4)

2) 計(jì)算第j個(gè)試次中ERD/ERS顯著時(shí)間段內(nèi)所有采樣點(diǎn)的ERD/ERS平均值，則第j個(gè)試次的ERD/ERS特征向量為

(5)

式中，[ ]Τ代表向量的轉(zhuǎn)置。

3) 重復(fù)上述過程，計(jì)算N個(gè)試次腦電序列的ERD/ERS值，并組成特征向量組，有

(6)

以上方法基于傳統(tǒng)的試次間方差ERD/ERS量化方法，通過時(shí)頻圖可視化ERD/ERS現(xiàn)象并提取出顯著頻帶和時(shí)間段，進(jìn)而量化單個(gè)試次的ERD/ERS，可作為進(jìn)一步識(shí)別手腕運(yùn)動(dòng)模式的有效特征。

1.3.2 肌電信號(hào)特征提取

肌電能量幅值的變化是肌肉在運(yùn)動(dòng)狀態(tài)下的主要特征。積分肌電值(intergratedelectromyogram,iEMG)是指肌電信號(hào)經(jīng)整流濾波后單位時(shí)間內(nèi)曲線下面積的總和，它表征肌電信號(hào)振幅在時(shí)間維度上的變化特征，本研究選取積分肌電值作為肌電特征。對(duì)于離散的EMG，其計(jì)算公式如下：

(7)

(8)

由于運(yùn)動(dòng)功能障礙患者表面肌電信號(hào)極其微弱，而且在長(zhǎng)時(shí)間運(yùn)動(dòng)時(shí)會(huì)出現(xiàn)疲勞、肌力不足等現(xiàn)象，所以此時(shí)腦電信號(hào)在動(dòng)作識(shí)別中應(yīng)該占主導(dǎo)地位。如圖4所示，本實(shí)驗(yàn)室人員采集了一名中風(fēng)患者(腦出血導(dǎo)致右上肢癱瘓)在手臂屈伸動(dòng)作模式下患側(cè)和健側(cè)肱二頭肌的肌電信號(hào)，可以看出患側(cè)肌電信號(hào)幅值明顯低于健側(cè)肌電信號(hào)幅值。有研究表明，隨著疲勞程度的增加，運(yùn)動(dòng)神經(jīng)系統(tǒng)會(huì)募集更多周圍的運(yùn)動(dòng)神經(jīng)元，以維持輸出力的恒定輸出，從而導(dǎo)致肌電幅值增大；但隨后當(dāng)無法維持力恒定時(shí)，肌電幅值會(huì)急劇下降[13]。為此，本研究通過遞降健康受試EMG信號(hào)幅度來模擬不同程度運(yùn)動(dòng)功能障礙或運(yùn)動(dòng)疲勞狀態(tài)下患者的肌電信號(hào)，幅度衰減范圍為20%～100%，即分別為80%、50%和10%EMG。

圖4 患者患側(cè)(上)和健側(cè)(下)的肌電信號(hào)Fig.4 EMG signals from affected(the top)and unaffected (the bottom) side of a stroke patient

圖5 基于腦肌電特征層融合模型(SVM-PSO)的運(yùn)動(dòng)模式識(shí)別原理Fig.5 Flow chart of motion pattern recongnition based on the fusion model (SVM-PSO) of EEG and EMG feature

以上研究分析獲取EEG的ERD/ERS特征和EMG的iEMG特征，既能體現(xiàn)運(yùn)動(dòng)過程中EEG和EMG的生理學(xué)變化，同時(shí)又便于在時(shí)域計(jì)算，有助于進(jìn)一步實(shí)現(xiàn)腦肌電特征融合，并提高h(yuǎn)BCI中的分類速度。

1.4 腦肌電特征融合

EEG和EMG分別包含了大腦對(duì)軀體運(yùn)動(dòng)的控制信息和肌肉對(duì)大腦控制意圖的功能響應(yīng)信息，并在運(yùn)動(dòng)過程中腦、肌電信號(hào)間表現(xiàn)出一定的相關(guān)性。1995年，Conway等發(fā)現(xiàn)在運(yùn)動(dòng)過程中，腦、肌電信號(hào)之間具有相關(guān)性[14]。同時(shí)，患者在長(zhǎng)時(shí)間運(yùn)動(dòng)時(shí)的疲勞、肌力不足等現(xiàn)象也會(huì)影響肌電信號(hào)的質(zhì)量，此時(shí)應(yīng)使腦電信號(hào)在動(dòng)作識(shí)別中占主導(dǎo)地位，通過利用腦肌電之間的協(xié)同互補(bǔ)性提高h(yuǎn)BCI的控制精度。因此，為實(shí)現(xiàn)運(yùn)動(dòng)控制信息與功能響應(yīng)信息之間的特征融合，進(jìn)而實(shí)現(xiàn)運(yùn)動(dòng)模式的有效分類，將EEG和sEMG的特征向量進(jìn)行關(guān)聯(lián)，構(gòu)建基于支持向量機(jī)和粒子群優(yōu)化算法的腦肌電融合模型(SVM-PSO)，實(shí)現(xiàn)運(yùn)動(dòng)模式識(shí)別(見圖5)。該模式識(shí)別的工作原理為：定義“融合系數(shù)”來表示各腦肌電特征向量的權(quán)重系數(shù)和信任程度，進(jìn)而構(gòu)成腦肌電融合特征向量；利用SVM進(jìn)行腦肌電特征向量學(xué)習(xí)并實(shí)現(xiàn)運(yùn)動(dòng)模式分類，進(jìn)而基于運(yùn)動(dòng)模式識(shí)別率來構(gòu)造PSO算法的適應(yīng)度函數(shù)，實(shí)現(xiàn)融合系數(shù)的自適應(yīng)優(yōu)化，最終實(shí)現(xiàn)腦肌電特征的有效融合及運(yùn)動(dòng)模式的準(zhǔn)確分類。

1.4.1 腦肌電融合特征向量構(gòu)建

令A(yù)=[a1,a2,…,ap+q]為各腦肌電特征向量的融合系數(shù)矩陣，組成腦肌電融合特征向量，有

(9)

N個(gè)試次腦肌電特征向量融合構(gòu)成融合特征向量組，即

(10)

腦肌電融合特征向量V將被分為訓(xùn)練集VT和測(cè)試集VP，訓(xùn)練集輸入SVM網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，輸出模式識(shí)別正確率以構(gòu)造PSO算法的適應(yīng)度，尋找到最優(yōu)“融合系數(shù)”。測(cè)試集將基于最優(yōu)“融合系數(shù)”進(jìn)行構(gòu)造，并輸入訓(xùn)練好的SVM網(wǎng)絡(luò)，實(shí)現(xiàn)動(dòng)作模式的有效分類。

1.4.2 基于SVM-PSO的腦肌電特征融合

由上述腦肌電特征融合原理可知，如何尋找最優(yōu)融合系數(shù)A以提高識(shí)別準(zhǔn)確率，是本研究的關(guān)鍵?；诹Ｗ尤簝?yōu)化算法[16]具有規(guī)則簡(jiǎn)單、收斂速度快、易于實(shí)現(xiàn)等優(yōu)點(diǎn)，筆者構(gòu)建基于SVM-PSO的腦肌電特征融合模型(見圖5)，即基于SVM訓(xùn)練網(wǎng)絡(luò)的分類結(jié)果構(gòu)造粒子群算法的優(yōu)化函數(shù)，進(jìn)一步利用PSO算法，搜索有效運(yùn)動(dòng)模式識(shí)別結(jié)果對(duì)應(yīng)的最優(yōu)特征融合系數(shù)A，具體步驟如下：

步驟1：粒子群初始化。將融合系數(shù)矩陣A看做是一個(gè)粒子群，為保證所提取的p+q個(gè)腦電和肌電特征均能有效影響融合特征，事先對(duì)融合特征系數(shù)A給定下列約束，即

(11)

根據(jù)式(10)隨機(jī)產(chǎn)生一組A=[a1,a2,…,ap+q]，按照式(9)組成融合特征向量訓(xùn)練集VT。同時(shí)，初始化各參數(shù)，即最大遺傳代數(shù)maxgen、種群規(guī)模sizepop、學(xué)習(xí)因子c1和c2、慣性權(quán)重w、適應(yīng)度預(yù)設(shè)值eps等。

(12)

由此得到分類函數(shù)如下：

(13)

式中，sgn(·)表示分類函數(shù)，ai為權(quán)值系數(shù)。

(14)

式中：K為識(shí)別錯(cuò)誤的樣本數(shù)目，因此0≤K≤m；C1、C2分別為代價(jià)函數(shù)對(duì)于這兩項(xiàng)的權(quán)值系數(shù)，需根據(jù)實(shí)際情況確定。

步驟3：種群更新及融合系數(shù)A優(yōu)化?；诿總€(gè)粒子的適應(yīng)度fitness，更新個(gè)體極值p和全局極值pg，有

p=fitnesspg=min(fitness)

(15)

同時(shí)，更新粒子速度和位置，產(chǎn)生新的種群A，代入式(9)構(gòu)造新的特征訓(xùn)練集VT。

步驟4：重復(fù)步驟2和步驟3，直至使pg≤eps(預(yù)設(shè)值)，或已達(dá)到設(shè)定迭代次數(shù)，所得的即為最優(yōu)融合系數(shù)A。

1.4 基于最優(yōu)融合系數(shù)A的運(yùn)動(dòng)模式識(shí)別

利用上述尋優(yōu)得到的融合系數(shù)A，代入式(9)構(gòu)造測(cè)試數(shù)據(jù)集VP，送入經(jīng)步驟2)和3)訓(xùn)練好的支持向量機(jī)模式分類函數(shù)，即可實(shí)現(xiàn)運(yùn)動(dòng)模式的有效分類。

2 結(jié)果

2.1 ERD/ERS分析

運(yùn)動(dòng)過程產(chǎn)生的ERD/ERS主要出現(xiàn)在大腦皮層感覺運(yùn)動(dòng)區(qū)，取具有代表性的C3、C4兩個(gè)通道的腦電信號(hào)進(jìn)行分析，按照本文第1.3.1節(jié)的方法計(jì)算所有試次的平均ERD/ERS并進(jìn)行加窗平滑，圖6為受試者S1右手手腕屈伸動(dòng)作下的C3、C4兩個(gè)導(dǎo)聯(lián)ERD/ERS時(shí)頻圖，左側(cè)兩個(gè)圖為右手手腕運(yùn)動(dòng)對(duì)應(yīng)的大腦對(duì)側(cè)區(qū)域C3通道的ERD/ERS時(shí)頻圖，右側(cè)兩個(gè)圖為對(duì)應(yīng)的大腦同側(cè)區(qū)域C4通道的ERD/ERS時(shí)頻圖。0～2 s為動(dòng)作準(zhǔn)備期，2～5 s為動(dòng)作執(zhí)行期，5～7 s為動(dòng)作返回期。由圖6可以得出：從ERD/ERS的時(shí)域表現(xiàn)來看，當(dāng)動(dòng)作開始執(zhí)行后，2.5 s左右對(duì)側(cè)先出現(xiàn)ERD現(xiàn)象，隨著運(yùn)動(dòng)的執(zhí)行，4 s左右ERD擴(kuò)展到雙側(cè)感覺運(yùn)動(dòng)區(qū)，但始終表現(xiàn)為對(duì)側(cè)顯著，動(dòng)作結(jié)束后并未出現(xiàn)明顯的ERS現(xiàn)象；從ERD/ERS的頻段分布來看，運(yùn)動(dòng)過程中ERD現(xiàn)象主要出現(xiàn)在μ節(jié)律(10～12 Hz)和高β頻段(19～30 Hz)；從手腕屈與伸動(dòng)作下的ERD表現(xiàn)區(qū)別來看，相對(duì)于手腕彎曲動(dòng)作，手腕伸展動(dòng)作下手腕ERD現(xiàn)象更為顯著。

圖6 受試者S1在手腕彎曲(上)和伸展(下)狀態(tài)下的ERD/ERS時(shí)頻分析。(a)C3導(dǎo)聯(lián)；(b)C4導(dǎo)聯(lián)Fig.6 Time-frequency analysis of ERD/ERS of subject 1 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

圖7為受試者S2右手手腕屈伸動(dòng)作下的C3、C4兩個(gè)導(dǎo)聯(lián)ERD/ERS時(shí)頻圖，由圖可見： 從ERD/ERS的時(shí)域表現(xiàn)來看，S2與S1基本一致；從ERD/ERS的頻段分布來看，運(yùn)動(dòng)過程中ERD現(xiàn)象主要出現(xiàn)在μ節(jié)律(10～12 Hz)和低β頻段(15～20 Hz)；從手腕屈與伸動(dòng)作下的ERD表現(xiàn)區(qū)別來看，手腕彎曲動(dòng)作與伸展動(dòng)作下的ERD現(xiàn)象無明顯差別。

圖7 受試者S2在手腕彎曲(上)和伸展(下)狀態(tài)下的ERD/ERS時(shí)頻分析。(a)C3導(dǎo)聯(lián)；(b)C4導(dǎo)聯(lián)Fig.7 Time-frequency analysis of ERD/ERS of subject 2 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

對(duì)其他7名受試者進(jìn)行同樣的分析，表1為每名受試者的ERD顯著頻段，可以看出所有受試者ERD顯著的頻段范圍都集中在α頻段(8～12 Hz)和β頻段(13～30 Hz)范圍內(nèi)。為進(jìn)一步量化分析手腕彎曲和伸展兩種動(dòng)作下的ERD現(xiàn)象，表2給出了所有受試者α頻段范圍內(nèi)的基線參考時(shí)段(0～2 s)和動(dòng)作段(3～5 s)范圍內(nèi)的ERD量化平均值，以及分別對(duì)0～2 s和3～5 s內(nèi)的ERD做配對(duì)樣本t檢驗(yàn)的結(jié)果。結(jié)果表明：相對(duì)于0～2 s的基線狀態(tài)，3-5s動(dòng)作段內(nèi)感覺運(yùn)動(dòng)皮層雙側(cè)C3和C4均出現(xiàn)顯著ERD現(xiàn)象(C3:P<0.01; C4:P<0.01)，且表現(xiàn)為對(duì)側(cè)更為顯著(C3和C4運(yùn)動(dòng)段平均ERD成對(duì)樣本t檢驗(yàn)：P<0.05)；手腕彎曲和手腕伸展兩種動(dòng)作下運(yùn)動(dòng)段平均ERD做成對(duì)樣本t檢驗(yàn)，手腕彎曲與伸展動(dòng)作下的ERD現(xiàn)象無顯著差別(C3:P>0.05; C4:P>0.05)。β頻段ERD現(xiàn)象和α頻段ERD現(xiàn)象類似。

因此，對(duì)于單個(gè)試次的腦電序列，ERD顯著頻段如表1所示，顯著時(shí)間段取運(yùn)動(dòng)執(zhí)行期3～5 s。對(duì)C3、C4兩個(gè)通道分別按照本文第1.3.1節(jié)的方法進(jìn)行單個(gè)試次的ERD特征提取，式(5)中單個(gè)試次的特征向量sj可具體化為

sj=[ERDC3,α,ERDC3,β,ERDC4,α,ERDC4,β]Τ

(16)

進(jìn)而構(gòu)成如式(6)所示的特征向量組F。

表1 每名受試者ERD顯著的頻段范圍Tab.1 Significant frequency bands of ERD in all subjects

表2 9名受試者α頻段ERD量化值Tab.2 Quantization value of α-band ERD in all subjects

2.2 肌電特征分析

對(duì)采集到的尺側(cè)腕屈肌(FCU)和橈側(cè)腕長(zhǎng)伸肌(ECRL)兩塊肌肉處的肌電信號(hào)進(jìn)行預(yù)處理，然后按照式(7)對(duì)每1 000個(gè)點(diǎn)(1 s)計(jì)算一次積分肌電值。圖8為手腕彎曲和伸展時(shí)兩塊肌肉的肌電信號(hào)與積分肌電值時(shí)域圖，可以看出：在手腕彎曲動(dòng)作下(2～5 s)，F(xiàn)CU的肌電信號(hào)幅值和積分肌電值明顯高于ECRL，在動(dòng)作返回時(shí)(5～7 s)，F(xiàn)CU的肌電信號(hào)幅值和積分肌電值降低；而ECRL的肌電信號(hào)幅值和積分肌電值出現(xiàn)小幅值的增大，說明ECRL參與了返回動(dòng)作的執(zhí)行。當(dāng)手腕伸展時(shí)，ECRL的肌電信號(hào)幅值和積分肌電值明顯高于FCU，動(dòng)作返回時(shí)，ECRL和FCU的肌電信號(hào)幅值和積分肌電值均降低至接近于零點(diǎn)。

圖8 FCU、ECRL肌電信號(hào)及其積分肌電值。(a)手腕彎曲；(b)手腕伸展Fig.8 EMG signal and iEMG over FCU and ECRL. (a) Wrist flexion; (b) Wrist extension

圖9 積分肌電值量化。(a)～(f)分別為t=2 s,t=3 s, t=4 s, t=5 s, t=6 s, t=7 s時(shí)的積分肌電值Fig.9 Quantization of iEMG. (a)-(f) represent the iEMG at t=2 s, t=3 s, t=4 s, t=5 s, t=6 s, t=7 s respectively

(17)

進(jìn)而構(gòu)成式(8)所示的特征向量組F′。

2.3 特征融合與分類結(jié)果

將腦電特征與肌電特征融合時(shí)，每個(gè)通道的特征賦予一個(gè)融合系數(shù)，第j個(gè)試次的腦肌電特征融合向量(即式(9))可具體為

vj=[a1ERDC3,α,a1ERDC3,β,a2ERDC4,α,a2ERDC4,β，a3iEMGt=3,FCU,a3iEMGt=4,FCU,a3iEMGt=5,FCU,a3iEMGt=6,FCU,a4iEMGt=3,ECRL,a4iEMGt=4,ECRL,a4iEMGt=5,ECRL,a4iEMGt=6,ECRL]

(18)

預(yù)處理后，直接去除仍存在明顯眼電和肌電偽跡的試次，共剩余794個(gè)試次(屈344，伸350)。為驗(yàn)證本方法應(yīng)用于腦機(jī)接口的有效性，通過遞降所有試次肌電幅值，建立6組不同的數(shù)據(jù)模型：EMG、100%EMG+EEG、80%EMG+EEG、50%EMG+EEG、10%EMG+EEG、EEG。對(duì)每種數(shù)據(jù)模型分別進(jìn)行特征提取后，各得到794組特征樣本。對(duì)于每種數(shù)據(jù)模型的特征集，隨機(jī)選取一半作為訓(xùn)練集，單獨(dú)采用SVM-PSO方法搜索使識(shí)別結(jié)果最優(yōu)的特征融合系數(shù)A，并訓(xùn)練好SVM識(shí)別網(wǎng)絡(luò)；所有數(shù)據(jù)模型特征集的另一半作為測(cè)試集一起進(jìn)行分類，通過檢測(cè)活動(dòng)段的肌電信號(hào)幅值大小，選擇相應(yīng)的、已經(jīng)訓(xùn)練好的融合系數(shù)和SVM識(shí)別網(wǎng)絡(luò)。同時(shí)，為進(jìn)行對(duì)比，將EEG和EMG特征向量分別送入SVM網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識(shí)別；并利用貝葉斯網(wǎng)絡(luò)，將單獨(dú)基于EEG和EMG的識(shí)別結(jié)果在決策層上進(jìn)行融合。圖10為單獨(dú)基于腦電或肌電、基于SVM-PSO特征融合及基于貝葉斯網(wǎng)絡(luò)決策層融合的識(shí)別結(jié)果，可以看出：當(dāng)肌電信號(hào)較強(qiáng)時(shí)，3種識(shí)別方法的識(shí)別正確率均很高。隨著肌電幅值降低，單靠肌電特征識(shí)別的正確率和決策層融合的正確率明顯下降，尤其在肌電信號(hào)降到10%時(shí)，決策層融合結(jié)果已降到65%，這是由于貝葉斯決策層融合對(duì)每個(gè)信源識(shí)別結(jié)果具有依賴性，而10%的EMG已經(jīng)失去了獨(dú)立決策能力。通過與腦電信號(hào)特征融合，達(dá)到了更準(zhǔn)確穩(wěn)定的識(shí)別效果。

圖10 分別基于肌電、腦肌電融合及腦電特征的識(shí)別正確率Fig.10 Correct recognition rate based on sole EMG, sole EEG or both EEG and EMG features

隨著肌電幅值的下降，融合系數(shù)的相應(yīng)變化見表3?？梢钥闯觯谶\(yùn)動(dòng)疲勞狀態(tài)(肌電幅值降低)下，肌電特征的融合系數(shù)顯著下降，而腦電的融合系數(shù)顯著升高，說明肌電特征的參與決策的權(quán)重下降，在SVM網(wǎng)絡(luò)識(shí)別過程中腦電信號(hào)起主要作用。實(shí)驗(yàn)證明，筆者構(gòu)建的SVM-PSO網(wǎng)絡(luò)有效利用了腦肌電間的協(xié)同互補(bǔ)性來提高系統(tǒng)識(shí)別率，并通過調(diào)整腦肌電融合系數(shù)來避免由于肌電信號(hào)幅值降低而導(dǎo)致的動(dòng)作識(shí)別率下降，提高系統(tǒng)的識(shí)別準(zhǔn)確性和魯棒性。

表3 不同肌電幅值下的融合系數(shù)的變化結(jié)果

Tab.3 The change of fusion coefficients with different EMG amplitudes

特征源融合系數(shù)EEGEMGa1a2a3a480%EMG+EEG0.540.211.281.9750%EMG+EEG0.90.561.051.4910%EMG+EEG1.820.870.660.65

3 討論

首先，本研究對(duì)單側(cè)手腕屈/伸運(yùn)動(dòng)下大腦皮層產(chǎn)生的ERD/ERS現(xiàn)象進(jìn)行分析，結(jié)果表明，實(shí)際運(yùn)動(dòng)時(shí)皮層感覺運(yùn)動(dòng)區(qū)會(huì)出現(xiàn)對(duì)側(cè)主導(dǎo)的alpha ERD和beta ERD。在運(yùn)動(dòng)準(zhǔn)備期，對(duì)側(cè)感覺運(yùn)動(dòng)皮質(zhì)首先出現(xiàn)alpha ERD和beta ERD；隨著運(yùn)動(dòng)執(zhí)行的開始，可以觀察到雙側(cè)皮質(zhì)區(qū)域出現(xiàn)對(duì)稱的ERD[17]，這與Pfurscheller等的研究結(jié)果一致；當(dāng)運(yùn)動(dòng)結(jié)束后，雙側(cè)感覺運(yùn)動(dòng)區(qū)均未出現(xiàn)明顯的ERS現(xiàn)象。不同學(xué)者關(guān)于ERS的研究結(jié)論存在爭(zhēng)議：Nam等的研究沒有發(fā)現(xiàn)明顯的具有半球形特異性的beta ERS現(xiàn)象[18]；Pfurtscheller等的研究表明，運(yùn)動(dòng)結(jié)束后beta ERD不僅很快恢復(fù)到基線，而且顯示短暫運(yùn)動(dòng)后的ERS現(xiàn)象；然而，alpha ERD大約需兩三秒才能恢復(fù)到基線。在本研究中，可能由于最后兩秒是運(yùn)動(dòng)返回階段，受試者并未完全放松，休息時(shí)間過短，所以未出現(xiàn)明顯的ERS現(xiàn)象。從手腕屈與伸動(dòng)作下的ERD表現(xiàn)區(qū)別來看，部分受試者手腕伸展動(dòng)作產(chǎn)生的ERD現(xiàn)象比彎曲動(dòng)作產(chǎn)生的ERD現(xiàn)象要明顯，而部分受試者并未存在明顯差異，這可能與肢體屈伸運(yùn)動(dòng)在神經(jīng)生理、行為和臨床上存在差異性有關(guān)。例如，Salonikidis等研究發(fā)現(xiàn)，相比手腕伸展動(dòng)作，手腕彎曲的運(yùn)動(dòng)精度更高(力的變動(dòng)系數(shù)低)[19]；Little等的研究表明，中風(fēng)病人手腕彎曲運(yùn)動(dòng)功能的恢復(fù)要比手腕伸展運(yùn)動(dòng)的恢復(fù)更快[20]；Yue等通過對(duì)大腦進(jìn)行功能核磁共振成像，發(fā)現(xiàn)相比手指彎屈動(dòng)作，手指伸展時(shí)神經(jīng)系統(tǒng)的活化容積更大[21]；Nikhil等研究發(fā)現(xiàn)，手腕伸展較手腕彎曲時(shí)腦肌電之間的一致性更強(qiáng)[22]。在日常生活中，人們更習(xí)慣于手腕的彎曲運(yùn)動(dòng)，因此手腕伸展時(shí)所需的大腦激活區(qū)域更大，對(duì)神經(jīng)元群的抑制越強(qiáng)，由此導(dǎo)致相關(guān)神經(jīng)元群振蕩同步性的下降，這也可能是本研究中部分受試者出現(xiàn)手腕伸展時(shí)ERD現(xiàn)象更明顯的原因之一。

對(duì)于單側(cè)手腕屈與伸動(dòng)作模式的分類問題，由于不同受試者產(chǎn)生的ERD在大腦激活區(qū)域和強(qiáng)度上的差異性不明顯，導(dǎo)致單純基于腦電ERD特征的分類正確率較低(74%)。而通過與sEMG融合，識(shí)別率明顯提高，即使融合微弱的sEMG(10%EMG)識(shí)別率顯著提高9%。另外，在肌電信號(hào)正常的情況下，單純依靠sEMG的動(dòng)作識(shí)別率接近100%；但隨著疲勞程度的增加，識(shí)別率明顯下降；在肌電信號(hào)接近缺失時(shí)，識(shí)別率降到70%以下；而在與EEG融合后，達(dá)到了更準(zhǔn)確、穩(wěn)定的識(shí)別結(jié)果。將本方法與Robert Leeb所做的相關(guān)研究[7]進(jìn)行對(duì)比分析，該文獻(xiàn)研究將分別基于腦電和肌電特征的識(shí)別結(jié)果送入貝葉斯網(wǎng)絡(luò)進(jìn)行決策融合，當(dāng)模擬疲勞肌電幅值高于50%時(shí)，識(shí)別結(jié)果較好；但當(dāng)EMG降低到10%的水平時(shí)，腦肌電融合的識(shí)別率明顯下降(甚至低于單獨(dú)基于腦電的識(shí)別率)。究其原因，是貝葉斯決策層融合對(duì)每個(gè)信源識(shí)別結(jié)果具有依賴性，而10%的EMG已經(jīng)失去了獨(dú)立決策能力。與之不同，本研究在腦電和肌電特征提取的基礎(chǔ)上實(shí)現(xiàn)了腦肌電特征層的融合，降低了對(duì)每個(gè)信源識(shí)別結(jié)果的依賴性，并通過SVM-PSO模型自適應(yīng)調(diào)整腦肌電融合系數(shù)，提高模式識(shí)別準(zhǔn)確性，在肌電信號(hào)極其微弱的情況下也具有較好的魯棒性，降低了患者運(yùn)動(dòng)功能部分缺失和運(yùn)動(dòng)疲勞的影響。因此，本研究提出的SVM-PSO融合模型充分利用了EEG與sEMG之間的協(xié)調(diào)互補(bǔ)性，提高了單側(cè)肢體不同動(dòng)作模式的分類精度，彌補(bǔ)了腦機(jī)接口的不足。

4 結(jié)論

在本課題中，研究了一種可用于混合腦機(jī)接口的腦電與肌電特征融合方法，并用于實(shí)現(xiàn)單側(cè)手腕屈/伸兩種動(dòng)作模式識(shí)別。分別提取受試者運(yùn)動(dòng)過程中的腦電信號(hào)的ERD特征和肌電信號(hào)的iEMG特征，構(gòu)建基于支持向量機(jī)和粒子群算法的腦肌電融合模型，通過調(diào)整“特征融合系數(shù)”來實(shí)現(xiàn)動(dòng)作模式最優(yōu)分類；調(diào)節(jié)肌電信號(hào)幅值大小來模擬患者和運(yùn)動(dòng)疲勞狀態(tài)下的肌電信號(hào)，降低了運(yùn)動(dòng)功能部分缺失和運(yùn)動(dòng)疲勞因素對(duì)模式識(shí)別結(jié)果的影響，提高了動(dòng)作模式識(shí)別系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。

(致謝 感謝實(shí)驗(yàn)工作人員郭子暉在研究工作中給予支持。)

[1] Wolpaw JR, Birbaumer N, McFarland WJ, et al. Brain-computer interface technology: A review of the first international meeting [J]. IEEE Trans Rehabil Eng, 2000, 8(2): 164-173.

[2] Pfurtscheller G, Flotzinger D, Kalcher J. Brain-computer interface-a new communication device for handicapped persons [J]. Journal of Microcomputer Applications, 1993, 16(3): 293-299.

[3] Blankertz B, Dornhege G, Krauledat M, et al. The Berlin brain-computer interface presents the novel mental typewriter Hex-o-Spell [C]// Proceedings of the 3rd International Brain-Computer Interface Workshop and Training Course. Graz: Verlag der Technischen Universit?t Graz, 2006: 108-109.

[4] Brunner C, Allison BZ, Krusienski DJ, et al. Improved signal processing approaches in an offline simulation of a hybrid brain-computer interface [J]. Journal of Neuroscience Methods, 2010, 188(1): 165-173.

[5] Scherer R, Müller-Putz GR, Pfurtscheller G. Self-initiation of EEG-based brain-computer communication using the heart rate response [J]. Journal of Neural Engineering, 2007, 4(4): L23-L29.

[6] 李翔, 高小榕, 高上凱. 一種基于兩種不同范式的混合型腦-機(jī)接口系統(tǒng) [J]. 中國生物醫(yī)學(xué)工程學(xué)報(bào), 2012, 31(3): 326-330.

[7] Leeb R, Sagha H, Chavarriaga R, et al. A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities [J]. Journal of neural engineering, 2011, 8(2): 1-5.

[8] 羅志增, 李亞飛, 孟明. 用于手部動(dòng)作識(shí)別的腦電和肌電信號(hào)混沌特征融合方法 [P]. 中國專利: 101732110, 2012-11-07.

[9] Pfurtscheller G, Lopes da Silva FH. Event-related EEG/MEG synchronization and desynchronization: basic principles [J]. Clin Neurophysiolo, 1999, 110(11): 1842-1857.

[10] Graimann B, Pfurtscheller G. Quantification and visualization of event-related changes in oscillatory brain activity in the time-frequency domain [J]. Progr Brain Res, 2006, 159: 79-97.

[11] Kalcher J, Pfurtscheller G. Discrimination between phase-locked and non-phase-locked event-related EEG activity [J]. Electroencephalography and Clinical Neurophysiology, 1995, 94(5): 381-384.

[12] Tangwiriyasakul C, Verhagen R, van Putten MJAM,etal. Importance of baseline in event-related desynchronization during a combination task of motor imagery and motor observation [J]. Journal of Neural Engineering, 2013, 10(2): 1-9.

[13] Dimitrova NA, Dimitrov GV. Interpretation of EMG changes with fatigue: facts, pitfalls and fallacies [J]. Electromyogr Kinesiol, 2003, 13(1): 13-36.

[14] Conway BA, Halliday DM, Shahani U, et al. Common frequency components identified from correlations between magnetic recordings of cortical activity and the electromyogram in man [J]. J Physiol, 1995, 483: 35.

[15] 王勇. 數(shù)據(jù)融合技術(shù)綜述 [J]. 計(jì)算機(jī)測(cè)量與控制, 2002, 10(11): 706-709.

[16] Poli R, Kennedy J, Blackwell T. Particle swarm optimization [J]. Swarm Intelligence, 2007, 1(1): 33-57.

[17] Pfurtscheller G, Neuper C. Motor imagery and direct brain computer communication [J]. Proc IEEE, 2001, 89(7): 1123-1134．

[18] Nam CS, Jeon Y, Kim YJ, et al. Movement imagery-related lateralization of event-related (de)synchronization (ERD/ERS): Motor-imagery duration effects [J]. Clin Neurophysiol, 2011, 122(3): 567-577.

[19] Salonikidis K, Amiridis I, Oxyzoglou N, et al. Wrist Flexors are Steadier than Extensors [J]. Int J Sports Med, 2011, 32(10): 754-760.

[20] Little JW, Massagli TL. Spasticity and associated abnormalities of muscle tone [C] //DeLisa J, Gans B, eds. Rehabilitation Medicine Principles and Practice. Philadelphia: Lippincot-Raven Publishers, 1998: 997-1013.

[21] Yue GH, Liu JZ, Siemionow V, et al. Brain activation during humannger extension andexion movements [J]. Brain Res, 2000, 856(1): 291-300.

[22] Divekar NV, John LR. Neurophysiological, behavioural and perceptual differences between wrist flexion and extension related to sensorimotor monitoring as shown by corticomuscular coherence [J]. Clinical Neurophysiology, 2013, 124(1): 136-147.

[23] 謝平, 陳曉玲, 蘇玉萍，等. 基于EMD-多尺度熵和ELM的運(yùn)動(dòng)想象腦電特征提取和模式識(shí)別 [J]. 中國生物醫(yī)學(xué)工程學(xué)報(bào), 2013, 32(6): 641-648.

Multimodal Fusion of EEG and EMG Signals for a Hybrid BCI

Xie Ping Chen Yingya HaoYanbiao Chen Xiaoling Du Yihao Wu Xiaoguang*

(KeyLabofMeasurementTechnologyandInstrumentationofHebeiProvince,InstituteofElectricEngineering,YanshanUniversity,Qinhuangdao,Hebei066004,China)

Pattern recognition is one of the hot researches in the brain-computer interface technology. In order to solve the problems in BCI, such as movement pattern singleness and low recognition rate, a hBCI-based strategy fusioning the features of EEG and EMG was proposed to realize the classification of different motor patterns with unilateral limb. In the present study, the event-related desynchronization features and intergrated electromyogram features were abstracted based on the EEG over brain scope and EMG from flexor carpi ulnaris and extensor carpi radialis longus under wrist flexion or extension in 9 healthy subjects. Secondly, the pattern recognition model fusioning the features of EEG and EMG, based on the theories of support vector machine and particle swarm optimization, was designed to classify optimally by adjusting the feature fusion coefficient. Furthermore, the proposed method was verified based on the EMG signals of patients or healthy subjects under fatigue state, which were simulated by descending the EMG amplitude of healthy subjects. Results showed that the recognition rate based on the fusion of EEG and EMG (98%) improved 25% compared to sole EEG feature under natural condition (73%); the recognition rate reached a stable level above 80% and improved 14% compared to sole EMG feature under fatigue state. It is revealed that the fusion of EEG and EMG feature contributed to improve the accuracy of pattern recognition and stability of movement, and provided the basis for the application of hybrid brain-computer interface.

fusion of EEG and EMG; event-related desynchronization; particle swarm optimization; movement pattern recognition

10.3969/j.issn.0258-8021. 2016. 01.003

2015-02-24， 錄用日期:2015-09-14

國家自然科學(xué)基金(61271142)；河北省自然科學(xué)基金(F2015203372、F2014203246)

R318

A

0258-8021(2016) 01-0020-11

*通信作者(Corresponding author)， E-mail: wuxiaoguang@ysu.edu.cn