汪 健, 喬曉艷

(山西大學 物理電子工程學院, 山西 太原 030006)

0 引 言

腦-機接口(Brain-Computer Interface, BCI)是一種實現(xiàn)人類大腦與外部設備連接通路的人機交互技術, 在醫(yī)療康復、 軍事、 娛樂、 人工智能等領域應用前景廣闊[1]。

腦電信號解碼是BCI技術的關鍵環(huán)節(jié)。 對運動想象任務的腦電解碼, 傳統(tǒng)機器學習方法采用傅里葉變換、 小波變換、 共空間模式等對運動想象腦電信號(motor imagery electroencephalogram, MI-EEG)進行特征提取, 再用支持向量機、 K 近鄰等算法進行運動想象任務分類。 Sharma等[2]在BCI Competition IV Dataset1數(shù)據(jù)集上使用RBF 內核的支持向量機分類器和K近鄰分類器, 分別獲得80%和72.5%的分類準確率。 近年來, 深度學習方法被用于MI-EEG分類, 可直接從EEG中學習特征并實現(xiàn)分類, 應用最多的是卷積神經網絡(convolutional neural network, CNN); Amin等[3]提出一種從EEG數(shù)據(jù)中捕獲時空特征的MCNN方法, 在 BCI Competition IV 2a數(shù)據(jù)集上實現(xiàn)了 75.7%的任務分類準確率; Zhang等[4]提出了一種基于遷移學習的混合深度神經網絡(HDNN-TL)處理BCI Competition IV2a數(shù)據(jù)集4類MI任務, 取得了0.81的平均kappa系數(shù)。

圖結構包含節(jié)點信息和連接邊信息, 圖卷積神經網絡(Graph Convolutional neural Network, GCN)是在非歐氏空間結構數(shù)據(jù)上的深度學習, 既能學習節(jié)點特征, 又能獲得節(jié)點之間的關聯(lián)信息。 受圖數(shù)據(jù)結構啟發(fā)以及多導聯(lián)腦電具有的空間分布特性, 采用圖卷積網絡對MI-EEG數(shù)據(jù)進行解碼, 可以從大腦空間關聯(lián)中提取更多有價值的特征信息, 提高BCI運動想象任務分類的準確率。 由于圖卷積存在網絡退化問題, 目前多采用淺層圖卷積網絡實現(xiàn)運動想象任務分類[5]。 李珍琦等[6]提出了一種融合注意力的多維特征圖卷積網絡(AMFGCN), 能提取腦電信號在時頻空域上的信息, 再融合注意力機制捕獲各維度的動態(tài)關聯(lián)強度, 在BCI Competition IV2a數(shù)據(jù)集上取得 85.74%準確率和 0.809 8的 kappa 系數(shù); Sun B等[7]提出一種自適應時空圖卷積網絡(ASTGCN), 利用腦電信號時域特性和空域的通道相關性, 取得了90.6%平均分類準確率。 由于淺層圖卷積網絡對腦電信號特征提取能力有限, 深層網絡的性能要比淺層網絡好。 然而, 隨著網絡層數(shù)加深, 圖模型性能難以提高, 這種現(xiàn)象為網絡退化。 殘差網絡可有效改善模型因深度增加而產生的梯度消失、 梯度爆炸以及網絡退化等問題[8]。 在深層圖卷積網絡中嵌入殘差學習, 能提取到腦電更多的深層特征信息, 并且能使模型收斂和防止網絡退化。 因此, 設計深層殘差圖卷積網絡, 進行運動想象任務分類。 首先, 根據(jù)腦電電極的天然空間分布和相互關聯(lián)性, 構建腦電圖網絡; 其次, 將圖卷積網絡和殘差學習結合, 并利用分層圖池化方法, 每兩個圖卷積構成一個殘差塊, 經過激活函數(shù)后添加一個圖池化層, 實現(xiàn)深層殘差圖卷積網絡模型對4類運動想象任務分類; 最后, 在不同BCI數(shù)據(jù)集上對提出的運動想象任務分類模型性能進行客觀評價和分析, 驗證模型的可行性、 有效性以及泛化能力。

1 算法基本原理

1.1 譜域圖卷積

圖卷積的本質是找到適用于圖的可學習卷積核。 基于譜域的圖卷積是根據(jù)圖譜理論和卷積定理在譜域上定義卷積, 通過傅里葉變換, 將節(jié)點映射到頻域空間, 在此空間做乘積來實現(xiàn)時域卷積[9]。 譜域圖卷積是基于全圖的傅里葉變換來實現(xiàn)圖的卷積, 該方法無法保證局部性。 由于譜域圖卷積方法的時空復雜度太高, 采用切比雪夫網絡(ChebyNet)[10]對卷積核gθ進行參數(shù)化, 用切比雪夫多項式代替譜卷積的卷積核, 其逼近的卷積核為

(1)

Tn(x)=2xTn-1(x)-Tn-2(x)。

(2)

對于輸入x, ChebyNet 圖卷積運算為

(3)

(4)

ChebyNet利用切比雪夫多項式代替譜域卷積核, 實現(xiàn)譜域圖卷積, 免去了對拉普拉斯矩陣進行特征分解的復雜過程; 卷積核只有K+1個可學習的參數(shù);K為“感受野”半徑, 卷積核具有嚴格的空間局部性。

1.2 分層圖池化

分層圖池化方法是對圖卷積分層進行圖池化, 提取圖的節(jié)點特征和局部結構信息并生成圖表示。 EigenPooling圖池化[11]是基于子圖的特征向量設計的一種池化。 其主要由兩步完成: ① 圖粗化(graph coarsening), 根據(jù)譜聚類算法將原始圖G劃分為一組子圖, 并將子圖視為超節(jié)點形成粗化圖(coarsened graph)。 粗化后的鄰接矩陣為Acoar=STAS, 表示超節(jié)點之間的連接強度。 ② 將在原始圖上定義的圖信號池化為該圖的粗化圖上定義的圖信號。 在確定粗化圖及相應的鄰接矩陣后, 對每個粗化圖內的信息整合抽取, 使得以分層的方式逐層學習圖表示成為可能。 子圖與超節(jié)點之間是一一對應的, 保證了網絡連接的稀疏性, 且大大降低了參數(shù)量和計算開銷。 將EigenPooling與GCN相結合, 在6個常用的圖像分類基準數(shù)據(jù)集上進行仿真實驗, 均獲得較好的結果, 證明了其有效性[11]。

1.3 殘差學習

當輸入為x, 學習到的特征為H(x)時,H(x)即為想要得到的映射。 將x直接連接到輸出, 在輸入和輸出之間做恒等映射(identity)。 定義F(x)=H(x)-x為殘差, 讓非線性層Relu擬合F(x), 則原始映射為F(x)+x。 若F(x)為0, 下一層的輸入為x, 即為一個恒等映射。 殘差塊結構如圖1 所示。

圖1 殘差學習: 一個殘差塊Fig.1 Residual learning: a residual block

利用圖卷積神經網絡處理非歐幾里得數(shù)據(jù)的應用中, 構建圖數(shù)據(jù)的高級特征需要在深層模型下才能提取得到。 大量研究表明, GCN 不能很好地擴展到深度模型架構[9,12], 因為堆疊多層圖卷積會出現(xiàn)網絡退化, 加大反向傳播的復雜性。 受殘差連接的啟發(fā), 將圖卷積網絡和殘差學習相結合, 在幾個圖卷積層之間添加殘差連接構成一個殘差塊, 再由多個殘差塊組合構成殘差圖卷積網絡。 這樣既可以學習到圖數(shù)據(jù)的高級特征信息, 又能避免網絡出現(xiàn)退化問題。

2 實驗數(shù)據(jù)來源與預處理

2.1 實驗數(shù)據(jù)集

本文使用的第一個數(shù)據(jù)集是BCI Competition IV 2a (http://www.bbci.de/competition/iv/。 該數(shù)據(jù)集包含9名被試進行左手、 右手、 雙腳和舌頭4類運動想象任務, 使用22個Ag/AgCl電極以250 Hz采樣率采集腦電數(shù)據(jù), 每名被試在不同日期記錄了兩組運動想象腦電數(shù)據(jù)。 每組試驗中每名被試進行6輪運動想象, 每輪包括4種運動想象任務各12次, 共得到288次試驗樣本。 實驗范式如圖2 所示。

圖2 BCI IV 2a運動想象實驗范式Fig.2 BCI IV 2aexperimental paradigm of motor imagery

另一個數(shù)據(jù)集是BCI Competition III IIIa (http://www.bbci.de/competition/iii/)。 該數(shù)據(jù)集包含3名被試進行左手、 右手、 雙腳和舌頭4類運動想象。 使用Neuroscan 的 64 通道 EEG 放大器采集腦電信號, 采樣頻率250 Hz, 試驗記錄60個電極EEG數(shù)據(jù)。 被試K3b共360次試驗樣本, 被試K6b和L1b各有240次試驗樣本。 實驗范式如圖3 所示。

圖3 BCI III IIIa運動想象實驗范式Fig.3 BCI III IIIa experimental paradigm of motorimagery

2.2 數(shù)據(jù)預處理和數(shù)據(jù)增強

ERD/ERS現(xiàn)象主要發(fā)生在EEG的μ節(jié)律(8 Hz～12 Hz)和β節(jié)律(13 Hz～30 Hz), 能被用來作為腦機接口運動想象任務分類的依據(jù), 有效獲知被試的運動意圖。 本文對原始EEG進行8 Hz～30 Hz帶通濾波, 并做獨立成分分析, 以去除眼電、 肌電等偽跡, 獲得純凈的腦電信號。 對BCI IV 2a數(shù)據(jù)集按實驗范式提取3 s～6 s的腦電信號, 對BCI III IIIa數(shù)據(jù)集按實驗范式提取3 s～7 s的腦電信號, 并與想象任務標簽對應。 本文對BCI IV 2a和BCI III IIIa數(shù)據(jù)集預處理和數(shù)據(jù)增強方法相同, 以下僅以BCI IV 2a數(shù)據(jù)集為例說明。

運動想象腦電數(shù)據(jù)采集成本高, 數(shù)據(jù)樣本量較少, 可采用滑動窗方法擴增腦電數(shù)據(jù)[13]。 分別以2 s和1 s為滑動窗時長, 間隔0.5 s和0.25 s滑動。 先將BCI IV 2a數(shù)據(jù)集每名被試2個日期的腦電數(shù)據(jù)合并, 則每名被試有576個原始樣本, 之后再進行滑動。 對每名被試的腦電數(shù)據(jù)樣本按8∶2劃分訓練集和測試集, 經擴增后每名被試的訓練和測試樣本數(shù)如表1 所示。

表1 BCI IV 2a數(shù)據(jù)集擴增后每名被試的樣本數(shù)量Tab.1 The number of samples per subject after amplification of the BCI IV 2a dataset

3 運動想象腦電分類算法實現(xiàn)

3.1 腦電數(shù)據(jù)轉換及圖表示

將多導聯(lián)MI-EEG數(shù)據(jù)每個導聯(lián)定義為圖中的一個節(jié)點, 導聯(lián)之間的關聯(lián)定義為邊, 構成圖G=(V,E)。 由于各個節(jié)點(電極)之間的關聯(lián)性不同, 所以, 該圖是一個包含權重信息的圖。 皮爾遜相關系數(shù)可用來衡量兩個對象之間的相關性, 本文使用皮爾遜相關系數(shù)的絕對值來表征不同導聯(lián)EEG之間的相關性, 作為圖的鄰接矩陣A。 節(jié)點之間的皮爾遜相關系數(shù)為

(5)

式中:EEGi和EEGj分別為第i個導聯(lián)和第j個導聯(lián)的腦電信號;COV為EEGi和EEGj之間的協(xié)方差;σ為標準差。BCIIV2a數(shù)據(jù)集每名被試腦電數(shù)據(jù)的鄰接矩陣是一個22行22列的實對稱矩陣, 將鄰接矩陣每行之和作為度矩陣D相應列的列向量, 最后由L=In-D-1/2AD-1/2計算得到MI-EEG圖的歸一化拉普拉斯矩陣L。 以BCI IV 2a數(shù)據(jù)集被試A01腦電數(shù)據(jù)為例, 繪制其鄰接矩陣、 度矩陣、 拉普拉斯矩陣的熱力圖如圖4 所示。

(a) 鄰接矩陣

3.2 模型結構與算法實現(xiàn)

本文設計的殘差圖卷積網絡模型架構如圖5 所示。 每2層圖卷積層添加1個殘差連接, 構成1個殘差塊, 之后添加1個圖池化層。 圖卷積層采用2階切比雪夫網絡, 圖池化層采用EigenPool圖池化。 整個網絡包含10層圖卷積層、 5層圖池化層、 全連接層和輸出層。

圖5 殘差圖卷積網絡模型結構

由于腦電信號本身包含時、 頻、 空域信息, 構建的殘差圖卷積網絡能很好地提取其高級特征信息。 將所有腦電導聯(lián)在滑動窗時長內的采樣數(shù)據(jù)作為一次樣本數(shù)據(jù), 并且與運動想象4種任務標簽對應, 每名被試采集處理得到的全部樣本數(shù)據(jù)按8∶2 隨機劃分訓練集和測試集, 運動想象腦電數(shù)據(jù)的鄰接矩陣作為模型的輸入。 輸入數(shù)據(jù)經過5個殘差塊提取腦電信號的特征, 再由全連接層整合、 映射, 最后輸出4類運動想象任務分類的準確率, 并用交叉熵損失函數(shù)計算分類損失。

實驗采用Python編程, 模型搭建使用TensorFlow框架, 在NVIDIA GeForce GTX 3050Ti GPU上進行訓練和測試, 模型計算復雜度較低, 測試運行時間較快。 通過消融實驗進行滑動窗、 圖卷積層數(shù)、 圖池化層數(shù)、 以及殘差塊數(shù)量的模型優(yōu)化, 參數(shù)設置及優(yōu)化如表2 所示。

表2 模型參數(shù)設置及優(yōu)化Tab.2 Model parameter setting and optimization

以BCI IV 2a數(shù)據(jù)集的被試A01為例, 模型訓練和測試的準確率及損失曲線如圖6 所示。

(a) 準確率曲線

從圖6 可以看出, 在迭代80輪之后, 測試集的準確率和損失都趨于平穩(wěn)。 本文實驗設置訓練和測試迭代輪數(shù)為100, 模型能取得穩(wěn)定的收斂效果。

3.3 模型性能分析

以BCI IV2a數(shù)據(jù)集被試A01和BCI III IIIa數(shù)據(jù)集被試K3b為例, 左手、 右手、 雙腳、 舌頭4類運動想象任務分類結果的混淆矩陣如圖7 所示。

(a) 被試A01分類結果混淆矩陣

基于混淆矩陣計算BCI IV2a數(shù)據(jù)集9名被試運動想象任務分類結果的平均準確率和Kappa系數(shù)如表3 所示。

表3 BCI IV2a數(shù)據(jù)集每名被試的分類結果Tab.3 Classification results for each subject in BCI IV2a dataset

此外, 本文模型對BCI III IIIa數(shù)據(jù)集3名被試運動想象任務分類結果的平均準確率和Kappa系數(shù)如表4 所示。

表4 BCI III IIIa數(shù)據(jù)集每名被試的分類結果

結果表明, 本文模型用于運動想象腦電分類時, 在BCI IV2a數(shù)據(jù)集得到93.84%的平均分類準確率和0.917 1的平均Kappa系數(shù), 在BCI III IIIa數(shù)據(jù)集得到96.39%的平均分類準確率和0.953 5的平均Kappa系數(shù)。 較高分類準確率表明模型可有效區(qū)分4類運動想象任務, 獲知被試的運動意圖; 較高的Kappa系數(shù)表明模型對4類運動想象任務的預測結果和實際分類結果幾乎完全一致。 此外, 從混淆矩陣結果看模型在兩個公共數(shù)據(jù)集上都取得較好的分類性能, 表明本文提出的殘差圖卷積網絡模型具有較好的泛化能力。

3.4 與其它方法對比

為驗證本文方法在運動想象任務分類中的優(yōu)勢, 選取在BCI IV2a和BCI III IIIa數(shù)據(jù)集上的其他方法與本文方法進行對比如下:

CNN+LSTM[14]: 一種將CNN和LSTM結合的深度學習網絡。 CNN和LSTM共同提取MI-EEG的時域特征, 再進行分類。

TSCNN[15]: 一種基于時空特征學習的卷積神經網絡。 對帶通濾波后的EEG, 設計時空維度上的卷積, 提取MI-EEG的時空特征; 用 2 層二維卷積對EEG的時空特征學習并解碼。

GCN[5]: 將GCN用于運動想象任務分類。 根據(jù)多電極EEG的相關性建立腦電數(shù)據(jù)的圖結構, 提取EEG時頻特征作為輸入, 經過GCN進行節(jié)點特征聚合學習譜域特征, 再通過全連接層輸出分類結果。

AMFGCN[6]: 一種融合注意力的多維特征圖卷積網絡。 根據(jù)電極分布的非歐空間特性構圖, 用時空、 頻空雙分支框架, 融合注意力機制從圖中學習EEG的時頻空信息, 并捕獲各維度的關聯(lián)信息進行分類。

LAFFN[16]: 一種基于改進的注意力機制和張量分解法的輕量級特征融合網絡。 將通過 ESRGAN 進行數(shù)據(jù)增強后的數(shù)據(jù)集送入 LAFFN 進行分類。

CSP/Hilbert +SVM[17]: 一種基于CSP、 Hilbert和SVM的運動想象腦電信號特征提取與分類算法。

OVO-CSP+SVM[18]: 一種基于通道頻率選擇的EEG識別方法。 通過OVO-CSP提取濾波后的運動想象腦電特征向量, 再用SVM分類。

本文與其它方法在BCI IV2a數(shù)據(jù)集上每名被試的分類準確率、 Kappa系數(shù)對比結果如表5 所示。

表5 不同方法在BCI IV2a數(shù)據(jù)集的分類性能對比Tab.5 Comparison of classification performance of different methods on BCI IV2a dataset

本文與其它方法在BCI III IIIa數(shù)據(jù)集上每名被試的分類準確率、 Kappa系數(shù)對比結果如表6 所示。

表6 不同方法在BCI III IIIa數(shù)據(jù)集的分類性能對比Tab.6 Comparison of classification performance of different methods on BCI III IIIa dataset

由表5 和表6 可知, CNN+LSTM方法僅提取MI-EEG的時域特征, 分類性能因此受限, 取得76.62%的平均準確率。 TSCNN方法從MI-EEG中提取時空特征, 并結合 2 層二維卷積聯(lián)合學習, 充分挖掘了原始EEG蘊含的時空信息, 平均分類準確率提高到80.09%。 GCN方法將圖卷積網絡應用到MI-EEG分類中, 提取不同節(jié)點EEG的時頻特征和節(jié)點間關聯(lián)空間特征, 取得80.9%的平均分類準確率, 但模型較淺, 提取的特征信息有限。 AMFGCN方法用雙分支框架從EEG轉換的時空圖和頻空圖中同時提取時頻空多維特征信息, 并結合注意力機制和全局特征聚合模塊, 捕獲EEG在各維度的關聯(lián)特征, 相較于GCN其平均分類準確率提高到85.74%, 但其模型較淺, 提取腦電深層信息能力有限, 且數(shù)據(jù)處理復雜。 LAFFN方法用ESRGAN進行數(shù)據(jù)增強, 基于注意力機制和密集連接的輕量級特征融合網絡, 可有效利用中間卷積層提取的特征, 取得91.58%的較高平均分類準確率。 CSP/Hilbert +SVM和OVO-CSP+SVM方法都是先用手工方法提取腦電信號特征, 再用機器學習分類, 分別得到83.7%和86.85%的平均分類準確率, 其性能不及深度學習方法。

本文方法的優(yōu)勢在于將譜域圖卷積和殘差學習結合, 設計較深的殘差圖卷積網絡, 從全腦空間關聯(lián)中提取深層有價值的EEG特征信息, 且有效避免了模型出現(xiàn)梯度爆炸和網絡退化問題。 分層圖池化的降維作用讓深層模型復雜度和參數(shù)量降低, 能加快模型訓練速度, 提高模型測試準確率。

4 結 語

論文提出一種殘差圖卷積網絡模型, 根據(jù)腦電電極的天然非歐空間分布, 構建圖結構并計算電極之間的相關系數(shù), 用來表征腦電節(jié)點空間信息和電極間相互關聯(lián)信息。 將圖卷積神經網絡和殘差學習結合, 提取運動想象腦電信號深層特征信息的同時, 避免出現(xiàn)網絡退化。 將分層圖池化方法運用到模型中, 提取圖節(jié)點特征和局部結構信息并生成圖表示, 減小模型復雜度和參數(shù)量。 仿真實驗結果取得了較高的分類準確率和Kappa系數(shù), 可較好地實現(xiàn)4類運動想象任務分類, 獲知被試運動意圖。 由于該圖模型是基于單個被試進行訓練和測試的, 未來仍需結合遷移學習進一步深入研究, 找到適用于跨被試運動想象任務分類的通用模型。