劉化東，許博俊，李夢(mèng)琪

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引言

腦機(jī)接口（Brain-Computer Interface,BCI）是腦-計(jì)算機(jī)接口的簡(jiǎn)稱，是一個(gè)新的人和計(jì)算機(jī)進(jìn)行交流的方式，可以對(duì)采集到的大腦皮層神經(jīng)元電活動(dòng)進(jìn)行分析處理，并轉(zhuǎn)化為控制信號(hào)輸送給其他輔助設(shè)備[1]。BCI 在很多領(lǐng)域都有著廣泛的應(yīng)用，比如在醫(yī)學(xué)、航天、游戲開發(fā)等領(lǐng)域。在醫(yī)學(xué)領(lǐng)域中，BCI 可以通過控制康復(fù)機(jī)器人的方法，輔助肢體障礙患者進(jìn)行運(yùn)動(dòng)功能重建和生活自理；在航天中可以幫助宇航員監(jiān)控遠(yuǎn)程設(shè)備。通過設(shè)計(jì)BCI 神經(jīng)反饋系統(tǒng)，在游戲中加入反饋場(chǎng)景可以提升人們的游戲體驗(yàn)，增加游戲的趣味性[2]。

BCI 系統(tǒng)常用的腦成像方式包括腦電圖（Electronencephalogram,EEG）[3]、腦磁圖、功能磁共振成像和功能近紅外光譜（Functional Near -infrared Spectroscopy,fNIRS）[4]。由于每種神經(jīng)成像方式都有其優(yōu)缺點(diǎn)，結(jié)合其互補(bǔ)特征可以提高BCI 系統(tǒng)的整體性能。EEG 是一種利用電生理指標(biāo)記錄大腦活動(dòng)的方法。它通過記錄大腦活動(dòng)過程中電波的變化來反映大腦皮層或頭皮表面的腦神經(jīng)細(xì)胞的電生理活動(dòng)。雖然EEG是目前BCI 領(lǐng)域最常用的技術(shù)之一，但仍存在一些局限性，如易受運(yùn)動(dòng)偽影和電噪聲的影響，空間分辨率低[5]。fNIRS 是一種新興的光學(xué)腦成像技術(shù)，近年來引起了腦機(jī)接口領(lǐng)域的廣泛關(guān)注。它利用血液主要成分對(duì)600～900 nm 近紅外光的良好散射，獲得了大腦活動(dòng)過程中氧血紅蛋白（Oxyhemoglobin,HbO）和脫氧血紅蛋白（Deoxygenated hemoglobin,HbR）的變化。與EEG 相比，fNIRS 對(duì)運(yùn)動(dòng)偽影和電噪聲的敏感性較低，具有較高的空間分辨率，但時(shí)間分辨率較低[6]。所以利用EEG 和fNIRS 信號(hào)的多樣性和互補(bǔ)信息，可以最大限度地發(fā)揮各模態(tài)各自的優(yōu)勢(shì)，提升分類精度。

為了更好地利用兩種模態(tài)的信息，需要選擇合適的信號(hào)融合方法，本文提出對(duì)兩種信號(hào)進(jìn)行特征提取后進(jìn)行歸一化處理，然后采用主成分分析（Principal Components Analysis,PCA）進(jìn)行信號(hào)融合。實(shí)驗(yàn)結(jié)果表明，對(duì)EEG-fNIRS 的特征進(jìn)行融合后分類精度實(shí)現(xiàn)了81.2%，比單獨(dú)使用EEG 和fNIRS 進(jìn)行信號(hào)解碼精度分別提高了7.4%和8.9%。

1 材料和方法

1.1 被試、實(shí)驗(yàn)范式和數(shù)據(jù)采集

1.1.1 被試

本研究招募了12 名右利手被試參與實(shí)驗(yàn)（男性9 名、女性3 名，年齡在22～28 歲），所有的被試均了解運(yùn)動(dòng)想象過程，視力正?；蛞殉C正至正常。實(shí)驗(yàn)過程中，被試坐在電腦屏幕前專心地看屏幕提醒進(jìn)行抬左右腿的動(dòng)作想象；周圍的環(huán)境保持安靜，避免影響被試的注意力。所有被試都簽署了實(shí)驗(yàn)知情同意書。本研究的想象任務(wù)為抬左右腿。

1.1.2 實(shí)驗(yàn)范式

實(shí)驗(yàn)中每個(gè)環(huán)節(jié)包括前60 s 的休息階段、20 次重復(fù)的任務(wù)過程和后60 s 的休息階段。每個(gè)任務(wù)過程以2 s 的視覺指令（一個(gè)指向左邊、右邊的黑色箭頭會(huì)在屏幕中央出現(xiàn)）開始，當(dāng)屏幕出現(xiàn)黑色十字時(shí)，執(zhí)行10 s 的想象任務(wù)，之后是15 s 的休息時(shí)間。在實(shí)驗(yàn)開始前，訓(xùn)練受試者提前進(jìn)行幾組運(yùn)動(dòng)想象實(shí)驗(yàn)。實(shí)驗(yàn)范式流程如圖1 所示。

圖1 實(shí)驗(yàn)范式流程圖

1.1.3 數(shù)據(jù)采集

本實(shí)驗(yàn)采用雙模態(tài)的方法，所以要保證數(shù)據(jù)采集的同步性，由于EEG 信號(hào)采集和fNIRS 信號(hào)采集設(shè)備的原理是不同的，要想實(shí)現(xiàn)同步采集，首先需要對(duì)電極帽的布局進(jìn)行調(diào)整，保證既可以進(jìn)行相關(guān)區(qū)域中的腦電信號(hào)采集又可以布局近紅外探頭。電極根據(jù)國(guó)際10-20 系統(tǒng)[7]標(biāo)準(zhǔn)布置，雙模態(tài)實(shí)驗(yàn)中EEG 采用9 通道，fNIRS 采用12 通道，由6 個(gè)光源發(fā)射器和6 個(gè)探測(cè)器構(gòu)成，自制腦電帽如圖2 所示。實(shí)驗(yàn)中，被試坐在密閉的實(shí)驗(yàn)室中，以最大程度降低外界環(huán)境對(duì)實(shí)驗(yàn)的干擾。

圖2 雙模態(tài)實(shí)驗(yàn)?zāi)X電帽

1.2 方法

1.2.1 EEG 信號(hào)處理

1）預(yù)處理

EEG 主要包括δ 波、θ 波、α 波、β 波以及γ 波，并且每種頻率的EEG 節(jié)律都與大腦特定的生理現(xiàn)象密切相關(guān)。在運(yùn)動(dòng)想象分類任務(wù)相關(guān)研究中，文獻(xiàn)[8]發(fā)現(xiàn)α 波（8～13 Hz）具有最高的分類性能，其次是β波（14～30 Hz）。因此首先對(duì)原始運(yùn)動(dòng)想象EEG 數(shù)據(jù)選擇8～30 Hz 帶通濾波器進(jìn)行濾波處理。

2）特征提取

對(duì)兩個(gè)類別的協(xié)方差矩陣進(jìn)行對(duì)角化，然后尋找到一個(gè)空間濾波器，使得投影進(jìn)來的數(shù)據(jù)特征區(qū)分度最高是CSP 算法的主要工作。用X1和X2代表兩種類型的運(yùn)動(dòng)想象信號(hào)，為了計(jì)算方便，一般選擇忽略信號(hào)采集中噪聲的影響。X1和X2分別表示為：

式中：S1和S2分別代表兩個(gè)不同類別的源活動(dòng)；O1和O2是由S1和S2相關(guān)的共空間模式組成；Sm表示兩種不同類別下所共有的源信號(hào)；Om表示與Sm相應(yīng)共有的空間模式。CSP 算法的本質(zhì)是通過協(xié)方差矩陣同時(shí)對(duì)角化，找到與這兩個(gè)想象任務(wù)匹配的空間模式，通過該空間濾波器提取這兩個(gè)類別中的有效成分S1和S2，使得經(jīng)過預(yù)處理后的EEG 信號(hào)經(jīng)過該濾波器投影后得到兩種類別最高區(qū)分度的特征向量。

接下來進(jìn)行共空間模式方法的數(shù)學(xué)描述。用表示實(shí)驗(yàn)i的原始腦電數(shù)據(jù)，條件a表示N×T的矩陣，N表示腦電數(shù)據(jù)的通道數(shù)，T表示時(shí)間上的樣本數(shù)。因此，在給定時(shí)間點(diǎn)的采集可以表示為N維歐氏空間中的點(diǎn)，而且一個(gè)EEG 可以看作是T個(gè)這樣的點(diǎn)的分布。一般基于MI 的腦電數(shù)據(jù)特征提取之前都會(huì)進(jìn)行8～30 Hz的帶通濾波，預(yù)處理后該分布的平均值為零，所以首先要計(jì)算腦電信號(hào)的協(xié)方差矩陣。標(biāo)準(zhǔn)化的空間協(xié)方差表示為：

設(shè)表示條件b的實(shí)驗(yàn)所對(duì)應(yīng)的標(biāo)準(zhǔn)化協(xié)方差矩陣，進(jìn)行歸一化是為了消除矩陣間絕對(duì)值的變化。接下來平均歸一化協(xié)方差矩陣：

接下來對(duì)復(fù)合協(xié)方差矩陣進(jìn)行對(duì)角化分解：

Rc是復(fù)合協(xié)方差矩陣，Bc是N×N的歸一化特征向量，? 是對(duì)角矩陣對(duì)應(yīng)的特征值。白化轉(zhuǎn)化矩陣：

對(duì)平均協(xié)方差矩陣Ra和Rb變形：

由式（7）可知Sa和Sb是公用相同的特征向量，Sa和Sb如下式所示：

在U上投影白化的時(shí)間點(diǎn)將提供在最小二乘意義上區(qū)分兩種運(yùn)動(dòng)想像目標(biāo)的最佳特征向量。投影矩陣表示如下：

每次實(shí)驗(yàn)的分解：

同樣，特征分量計(jì)算可以轉(zhuǎn)換為：

新的時(shí)間序列Zi作為擴(kuò)展系數(shù)，因此CSP 可以被視為源分布矩陣，而Zi則是相應(yīng)的源波形矩陣。

1.2.2 fNIRS 信號(hào)處理

1）預(yù)處理

為了糾正運(yùn)動(dòng)偽影，使用[0.01,0.2]Hz 帶通濾波器進(jìn)行濾波，以去除心臟信號(hào)和低頻振蕩。利用修正的比爾-朗伯定律[9]，將濾波后的光強(qiáng)數(shù)據(jù)轉(zhuǎn)換為HbO。對(duì)于每一次實(shí)驗(yàn)，得到數(shù)據(jù)然后通過從原始數(shù)據(jù)中減去基線進(jìn)行基線校正[10]。基線被認(rèn)為是刺激開始前1 s 的信號(hào)的平均值。

2）特征提取

對(duì)fNIRS 信號(hào)進(jìn)行預(yù)處理后，從時(shí)域信號(hào)中提取特征：最常用的是提取信號(hào)的平均值和斜率。一般提取到的HbO 信號(hào)平均值可以反映出此區(qū)域的大腦活動(dòng)程度，腦活動(dòng)程度的變化用采集到的HbO 信號(hào)的斜率進(jìn)行檢測(cè)[11]。HbO 信號(hào)平均值的計(jì)算方法為：

式中：X為采樣數(shù)；XN表示HbO 數(shù)據(jù)。

方差的計(jì)算方法如下：

式中：var 為方差；μ為X的平均值。

峰值計(jì)算如下：

式中：E是X的期望值；σ是X的標(biāo)準(zhǔn)差。信號(hào)斜率用Matlab 中的多擬合函數(shù)計(jì)算。

1.2.3 EEG-fNIRS 特征融合與分類

1）特征融合

EEG 信號(hào)和fNIRS 信號(hào)是不同類型的兩種腦信號(hào)，對(duì)其進(jìn)行融合前需要進(jìn)行歸一化處理。

歸一化后的數(shù)據(jù)需要進(jìn)行主成分分析（PCA）[12]，PCA 可以降低數(shù)據(jù)的特征維度，提取出主要的特征向量，對(duì)數(shù)據(jù)進(jìn)行壓縮，以減少計(jì)算復(fù)雜度，整體流程如圖3 所示。

圖3 EEG-fNIRS 雙模態(tài)信號(hào)處理流程

PCA 的主要思想是通過線性變換，將數(shù)據(jù)從n維線性空間映射到k維（k＜n），并盡可能最大化地保留信息。主要變換步驟如下：

①對(duì)數(shù)據(jù)進(jìn)行均值化：

②計(jì)算數(shù)據(jù)的協(xié)方差矩陣C；

③求出協(xié)方差矩陣C的特征值和特征向量；

④對(duì)求出的特征值進(jìn)行大小順序排列，取前k個(gè)特征向量組成向量矩陣P；

⑤將數(shù)據(jù)在矩陣P上進(jìn)行投影，計(jì)算Y=X*P，得出降維后的數(shù)據(jù)。

2）分類器

SVM 是一種使用比較多的分類器，它把傳送進(jìn)來的信號(hào)通過一個(gè)核函數(shù)映射到高維空間中。之后在高維空間中構(gòu)造一個(gè)可以使每一個(gè)類別的數(shù)據(jù)區(qū)分度較高的超平面，以提高分類的泛化能力和置信度。最優(yōu)超平面ωT·x+b=0 可以通過非線性映射產(chǎn)生。一般，樣本集線性可分時(shí)，優(yōu)化問題可以表示為：。當(dāng)樣本集不可分時(shí)，SVM 將會(huì)采用非線性映射θ將數(shù)據(jù)樣本映射到高維空間進(jìn)行分類，之后選用核函數(shù)g對(duì)高維空間出現(xiàn)的問題進(jìn)行解決[13]。

2 結(jié)果與討論

2.1 結(jié)果

通過上述方法對(duì)EEG 信號(hào)采用CSP 進(jìn)行特征提取，采用SVM 進(jìn)行分類，得到了73.8%的分類精度。對(duì)于fNIRS 信號(hào)，分別使用平均值、斜率、峰值和標(biāo)準(zhǔn)差的方法進(jìn)行特征提取和SVM 算法分類。分類結(jié)果中提取平均值達(dá)到了72.3%的最高分類準(zhǔn)確率，fNIRS 提取不同特征的分類結(jié)果如表1 所示。

表1 fNIRS 信號(hào)不同特征的分類準(zhǔn)確率 %

對(duì)于EEG-fNIRS 信號(hào)的協(xié)同分類，本文提出首先對(duì)兩種信號(hào)進(jìn)行歸一化，然后使用PCA 進(jìn)行信號(hào)的融合降維。表2 顯示了本文提出的方法分類結(jié)果，可以看出本文提到的采用PCA 進(jìn)行兩種信號(hào)融合實(shí)現(xiàn)了81.2%的分類準(zhǔn)確率，對(duì)比單模態(tài)分別提升了7.4%和8.9%。實(shí)驗(yàn)結(jié)果證明本文提出的方法可以有效地對(duì)雙模態(tài)特征進(jìn)行融合，提升分類精度。

表2 雙模態(tài)信號(hào)的分類準(zhǔn)確率 %

每位被試的EEG 信號(hào)、fNIRS 信號(hào)的平均值和兩種模態(tài)融合分類準(zhǔn)確率如表3 所示。

表3 對(duì)比三種模式的分類準(zhǔn)確率 %

2.2 討論

在本文的研究中，提出對(duì)兩種信號(hào)特征進(jìn)行歸一化后使用PCA 進(jìn)行降維融合的方法，分類精度比單模態(tài)EEG 信號(hào)和fNIRS 信號(hào)分別提升了7.4%和8.9%。本研究招募了12 名被試，表1 顯示的是fNIRS 不同特征的分類結(jié)果，可以看出平均值的分類精度最高達(dá)到了72.3%。表2 中雙模態(tài)融合分類中同樣是對(duì)平均值特征融合分類精度最高，達(dá)到81.2%。對(duì)比每一個(gè)被試，從表3 可以看出，不同被試的分類精度差異較大，被試5 的分類精度為68%，而被試9 的分類精度達(dá)到92%，原因主要是因?yàn)椴煌辉噦€(gè)體之間也會(huì)存在差異。對(duì)比三種模式的結(jié)果，個(gè)別被試使用雙模態(tài)的分類準(zhǔn)確度低于單模態(tài)，原因可能是在利用PCA 進(jìn)行降維處理后，會(huì)丟掉一些有效的信息，使得個(gè)別被試的分類精度下降，但總體而言，平均分類精度有所提升。

文獻(xiàn)[14]設(shè)計(jì)了同步采集方法，使用腦網(wǎng)絡(luò)對(duì)兩種信號(hào)進(jìn)行提取融合，采用SVM 分類器最終實(shí)驗(yàn)得到了72.7%的分類精度，相對(duì)于單模態(tài)提升了5%；文獻(xiàn)[15]在分類過程中采用深度神經(jīng)網(wǎng)絡(luò)（DNN）進(jìn)行分類，通過把兩種信號(hào)的特征作為全連接前饋結(jié)構(gòu)的DNN 網(wǎng)絡(luò)的輸入，最終得到83%的分類精度，比EEG 高10%，比fNIRS 高11%。以上研究使用不同方法實(shí)現(xiàn)對(duì)雙模態(tài)的數(shù)據(jù)融合，都有了一定程度的提升。但目前來看，如何在保證不丟失有效信息的前提下，更好地實(shí)現(xiàn)雙模態(tài)信號(hào)融合是未來的研究重點(diǎn)?？傮w來看，本文提出的方法與其他方法相比，計(jì)算量減少，分類精度也得到了大幅度提高，可以為未來的多模態(tài)在線BCI 系統(tǒng)提供框架。

3 結(jié)論

本次研究提出使用PCA 的方法對(duì)EEG-fNIRS 信號(hào)的特征進(jìn)行融合，使用SVM 分類器進(jìn)行分類。通過實(shí)驗(yàn)對(duì)該方法進(jìn)行驗(yàn)證，得到了81.2%的分類精度，相對(duì)于單模態(tài)，分類精度分別提升了7.4%和8.9%。實(shí)驗(yàn)結(jié)果表明，本文所提的融合方法可以最大限度地保留單個(gè)模態(tài)的信息，提高了運(yùn)動(dòng)任務(wù)的分類精度，證明了兩種模態(tài)的融合可以提升信號(hào)解碼能力。本研究可以為多模態(tài)的信號(hào)融合提供參考。