陶怡,徐維維,朱家林,袁子文,2,王茂德,王剛

(1. 西安交通大學(xué)生物醫(yī)學(xué)信息工程教育部重點(diǎn)實(shí)驗(yàn)室,710049,西安; 2. 西安交通大學(xué)第一附屬醫(yī)院 康復(fù)醫(yī)學(xué)科,710061,西安; 3. 西安交通大學(xué)第一附屬醫(yī)院神經(jīng)外科,710061,西安)

腦-機(jī)接口(brain computer interface, BCI)通過(guò)分析人執(zhí)行動(dòng)作前大腦活動(dòng)的變化,讓設(shè)備能更早地識(shí)別并完成相應(yīng)的指令[1]。在這個(gè)過(guò)程中,頭皮腦電(electroencephalogram, EEG)由于其非侵入、安全性高等特點(diǎn),成為許多研究中分析的對(duì)象[2-3]。EEG信號(hào)是來(lái)自大腦皮層的時(shí)間序列數(shù)據(jù),通常根據(jù)頻率分為5個(gè)頻帶[4],包括δ(1～3 Hz)、θ(4～7 Hz)、α(8～13 Hz)、β(14～30 Hz)、γ(30～100 Hz)。一般認(rèn)為,不同頻帶的信號(hào)活動(dòng)在大腦中的分布與特定的認(rèn)知功能之間存在一定的關(guān)聯(lián)[5]。

以往的研究表明,δ節(jié)律多與認(rèn)知加工、疲勞水平、代謝、睡眠等過(guò)程有關(guān)[6-8];θ節(jié)律與信息整合和工作記憶及多種認(rèn)知功能的整合和協(xié)調(diào)有關(guān)[9];α節(jié)律在信息處理速度和注意力等領(lǐng)域起重要作用[10],此外,位于感覺(jué)運(yùn)動(dòng)皮層的成分被稱(chēng)為μ節(jié)律,與軀體的感覺(jué)刺激、四肢的運(yùn)動(dòng)密切相關(guān),并在BCI中已有廣泛的應(yīng)用[11];β節(jié)律常出現(xiàn)于工作、運(yùn)動(dòng)、思考等大腦活動(dòng)強(qiáng)烈的情況下[12-13];γ節(jié)律被認(rèn)為與情緒或者更廣泛的認(rèn)知過(guò)程相關(guān)[14],例如刺激選擇、記憶形成等。

大部分研究表明,與手部動(dòng)作解碼相關(guān)的信息主要包含在α和β頻帶,Zhang等通過(guò)對(duì)EEG進(jìn)行0.1～30 Hz濾波,對(duì)手部運(yùn)動(dòng)方向進(jìn)行分類(lèi),在左、中、右3個(gè)方向上得到了(73.39±6.35)%的準(zhǔn)確率[15]。然而,近年來(lái)一些學(xué)者發(fā)現(xiàn),在γ頻帶上也存在許多利于手部動(dòng)作分類(lèi)的信息[16-17],在以往的研究中也有同樣的發(fā)現(xiàn),當(dāng)使用多元經(jīng)驗(yàn)?zāi)B(tài)分解(MEMD)方法把信號(hào)分解成不同頻帶的多元本征模式函數(shù)(MIMF)后,將單個(gè)MIMF輸入支持向量機(jī)(SVM)中,位于高頻帶的3個(gè)MIMF有著最高的分類(lèi)準(zhǔn)確率[18];通過(guò)前向序列搜索策略輸入卷積神經(jīng)網(wǎng)絡(luò)(CNN)中,發(fā)現(xiàn)被選中的MIMF也多為最先分解出的高頻分量[19]。因此,本文中主要針對(duì)γ頻帶的信號(hào)進(jìn)行分析。

EEG是由神經(jīng)元放電后經(jīng)過(guò)大腦皮層傳播到頭皮被頭皮表面電極檢測(cè)并記錄的信號(hào),在傳播過(guò)程中信號(hào)幅值有一定程度的衰減。此外,鄰近區(qū)域的神經(jīng)元電信號(hào)也會(huì)對(duì)解碼工作帶來(lái)一定的干擾。因此,有研究使用腦電源定位技術(shù)將頭皮腦電投射到代表大腦幾何形狀的源空間上,將信號(hào)從傳感器空間轉(zhuǎn)換到源空間進(jìn)行單手多類(lèi)動(dòng)作模式的識(shí)別[20],提高腦-機(jī)接口的性能。

不論是傳感器空間還是源空間內(nèi),以往的手部動(dòng)作分類(lèi)研究主要依賴(lài)手動(dòng)提取信號(hào)特征,包括時(shí)域、頻域和時(shí)頻域上的特征。然而,這種方法導(dǎo)致基于EEG的腦機(jī)接口面臨著高維度特征的問(wèn)題。為了應(yīng)對(duì)這個(gè)問(wèn)題,許多國(guó)內(nèi)外的學(xué)者選擇從特征選擇和通道選擇兩個(gè)方面進(jìn)行降維。

在特征選擇方面,唐肖芳和周金治[21]使用散度分析進(jìn)行腦電信號(hào)特征選擇,Liu等[22]使用螢火蟲(chóng)方法對(duì)從運(yùn)動(dòng)想象信號(hào)中提取的空域和頻域融合特征進(jìn)行選擇,楊鵬圓等[23]使用方差貢獻(xiàn)率與F-score結(jié)合的特征選擇方法,在不降低準(zhǔn)確率的情況下大量減少了特征數(shù)。

在通道選擇方面,孟明等[24]結(jié)合互信息進(jìn)行挑選,曹玉珍等[25]提出了基于卷積自編碼器和費(fèi)舍爾準(zhǔn)則的EEG通道選擇方法。最小絕對(duì)值收斂和選擇算子方法(Lasso),簡(jiǎn)稱(chēng)套索,是一種用于特征選擇的新方法[26],組Lasso是其重要推廣,能夠在組的水平上進(jìn)行變量選擇。王金甲等[27]通過(guò)融合EEG信號(hào)功率譜、小波變換參數(shù)等特征,提出了稀疏組Lasso方法,對(duì)信號(hào)的通道和特征同時(shí)進(jìn)行選擇,表明該方法優(yōu)于傳統(tǒng)方法。

腦電信號(hào)復(fù)雜多樣,手動(dòng)提取信號(hào)特征具有一定的局限性,一是提取的特征不一定適合要研究的任務(wù),二是容易造成信息的損失。隨著深度學(xué)習(xí)的興起,學(xué)者們開(kāi)始嘗試卷積神經(jīng)網(wǎng)絡(luò)在腦電信號(hào)解碼方面的潛力。2019年,Amin等提出了一種多層神經(jīng)網(wǎng)絡(luò)融合方法,在公共數(shù)據(jù)集BCI競(jìng)賽Ⅳ-2a上取得了75.7%的分類(lèi)準(zhǔn)確率[28]。2020年,Mammone等對(duì)源空間信號(hào)進(jìn)行連續(xù)小波變換,生成的時(shí)頻圖作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入,得到六分類(lèi)62.47%的分類(lèi)效果[20]。2022年,Fujiwara等訓(xùn)練了一個(gè)包含殘差網(wǎng)絡(luò)的多層CNN模型,對(duì)休息、左手運(yùn)動(dòng)和右手運(yùn)動(dòng)任務(wù)分類(lèi)準(zhǔn)確率達(dá)85.69%[29]。本文提出了source-Lasso-CNN(SLC)方法,將EEG信號(hào)映射到源空間,再通過(guò)組Lasso進(jìn)行源空間感興趣區(qū)域(ROI)的選擇,最后輸入到CNN中進(jìn)行自動(dòng)特征提取,從而達(dá)到對(duì)手部動(dòng)作分類(lèi)的目的。

1 數(shù)據(jù)和方法

1.1 被試者與實(shí)驗(yàn)范式

實(shí)驗(yàn)征集了13位年齡在20～32歲的健康被試者(全部為男性),依次被標(biāo)識(shí)為S1～S13。被試者均為右利手,視力或矯正后視力正常,并且接受該研究的書(shū)面說(shuō)明和簽署知情同意書(shū)。

實(shí)驗(yàn)在遠(yuǎn)離電氣設(shè)備、高頻輻射的環(huán)境中進(jìn)行,以降低外界環(huán)境對(duì)腦電信號(hào)產(chǎn)生的干擾。整個(gè)實(shí)驗(yàn)過(guò)程要求被試者保持平靜、注意力集中,盡量減少體動(dòng)。

腦電和肌電信號(hào)通過(guò)Neuroscan 64導(dǎo)腦電儀采集,接地電極位于前額區(qū)Fz和FCz之間位置,參考電極位于雙耳乳突,按照國(guó)際10-20標(biāo)準(zhǔn)電極安放法定義的位置,采集了FP1、FP2、F7、F3、FZ、F4、F8、FT7、FC3、FCZ、FC4、FT8、T7、C3、CZ、C4、T8、TP7、CP3、CPZ、CP4、TP8、P7、P3、PZ、P4、P8、O1、OZ、O2一共30個(gè)通道的信號(hào),EMG信號(hào)采用一次性Ag/AgCl電極組成4對(duì)表面差分電極,以肘部為參考點(diǎn),分別從前臂的指伸肌、橈側(cè)腕伸肌、掌長(zhǎng)肌和尺側(cè)腕屈肌等處同時(shí)采集4路表面肌電信號(hào),采樣頻率均為1 kHz。腦電、肌電電極放置位置如圖1(a)、圖1(b)所示。每名被試者需要完成4種手部動(dòng)作模式的EEG和EMG信號(hào)采集,包括握拳、展拳、二指對(duì)捏、三指對(duì)捏,每種動(dòng)作進(jìn)行60個(gè)試次,共采集240個(gè)樣本。為降低實(shí)驗(yàn)過(guò)程中疲勞帶來(lái)的影響,以20個(gè)試次為一組,每組之間休息5 min,單個(gè)試次包括準(zhǔn)備階段4 s、動(dòng)作執(zhí)行4 s和休息4 s,某被試者的實(shí)驗(yàn)過(guò)程如圖1(c)所示,單次實(shí)驗(yàn)時(shí)序圖如圖2所示。

(a)國(guó)際10-20標(biāo)準(zhǔn)電極位置

(b)肌電電極放置位置

(c)被試者信號(hào)采集

圖2 單次實(shí)驗(yàn)時(shí)序圖Fig.2 Sequence diagram of single experiment

1.2 信號(hào)預(yù)處理

對(duì)記錄到的數(shù)據(jù)進(jìn)行0.1～100 Hz帶通濾波和50 Hz陷波濾波,以去除工頻噪音干擾。使用移動(dòng)時(shí)間窗法[30]對(duì)肌電信號(hào)進(jìn)行分析,從而判斷動(dòng)作真實(shí)起點(diǎn)位置,進(jìn)而提取動(dòng)作前2 s數(shù)據(jù)進(jìn)行后續(xù)分析。

1.3 源空間套索分析和卷積神經(jīng)網(wǎng)絡(luò)動(dòng)作模式識(shí)別方法

本文提出的基于源空間套索分析和卷積神經(jīng)網(wǎng)絡(luò)(source-Lasso-CNN,SLC)方法,首先將傳感器空間的EEG經(jīng)過(guò)腦電源定位映射到源空間,再提取源空間信號(hào)的標(biāo)準(zhǔn)差、均方根幅值和均方根作為特征進(jìn)行組Lasso,將源空間中挑選出的腦區(qū)及相應(yīng)信號(hào)輸入CNN中自動(dòng)提取特征并進(jìn)行分類(lèi),具體SLC方法流程如圖3所示。

圖3 SLC方法流程圖Fig.3 Flow chart of proposed algorithm

1.3.1 源空間

腦電溯源定位,也即腦電逆問(wèn)題,是根據(jù)頭皮記錄到的EEG信號(hào),反向估計(jì)腦內(nèi)神經(jīng)活動(dòng)源的位置、方向和強(qiáng)度信息。要解決逆問(wèn)題,就要先對(duì)神經(jīng)元電活動(dòng)傳播到頭皮上的過(guò)程有一定的了解,頭皮腦電信號(hào)與腦內(nèi)源活動(dòng)的數(shù)學(xué)模型可以建立如下

b=AX+n

(1)

式中:b表示記錄的頭皮數(shù)據(jù),在本文中是大小為30×1 000的矩陣,其中30為傳感器空間腦電通道數(shù),1 000為裁剪后每個(gè)樣本的時(shí)間采樣長(zhǎng)度;X表示腦內(nèi)源活動(dòng)的信息,大小為15 002×1 000,15 002是所選模型的腦源數(shù),1 000為映射到源空間后的時(shí)間序列長(zhǎng)度;A表示傳遞矩陣,體現(xiàn)了腦內(nèi)各源對(duì)EEG每個(gè)通道貢獻(xiàn)的大小;n表示測(cè)量噪聲。逆問(wèn)題就是在已知b的情況下反推X,而在此之前,需要先解決腦電正問(wèn)題,即建立一個(gè)大腦中可以闡述大腦皮層神經(jīng)元活動(dòng)是如何經(jīng)過(guò)腦容積效應(yīng)和顱骨的傳導(dǎo)投射到頭皮上的頭模型,即矩陣A。頭模型的主要部分包括大腦的幾何形狀以及神經(jīng)電活動(dòng)傳播所通過(guò)的不同組織(灰質(zhì)、白質(zhì)、腦脊液、顱骨、皮膚)的導(dǎo)電特性。本文基于FSAverage模板的真實(shí)頭模型,利用邊界元法建立了代表頭皮、顱骨和大腦內(nèi)部組織的三殼傳導(dǎo)模型,電導(dǎo)率為1∶1/8∶1。

理論上,腦電逆問(wèn)題的求解就是使得記錄的頭皮腦電和已知的偶極子計(jì)算出的對(duì)應(yīng)電位之間的殘差最小的過(guò)程,但一般來(lái)說(shuō),逆問(wèn)題的解不唯一,所以需要通過(guò)確定一個(gè)既符合生理學(xué)解剖意義,又在數(shù)學(xué)上計(jì)算方便的源模型來(lái)得到唯一的腦源解。

源模型一般分為等效電流偶極子模型和分布式電流密度模型,前者通過(guò)單個(gè)或少量偶極子等效某個(gè)區(qū)域的腦源活動(dòng),但只適用于局部區(qū)域的精準(zhǔn)估計(jì),無(wú)法對(duì)于整個(gè)大腦的源活動(dòng)進(jìn)行準(zhǔn)確的重構(gòu)。因此本文選擇分布式源模型,在這種模型中,信號(hào)源均勻地分布在大腦皮層中,由于腦內(nèi)源數(shù)15 002遠(yuǎn)遠(yuǎn)大于腦電圖的通道數(shù)30,這將導(dǎo)致腦電逆問(wèn)題擁有無(wú)窮多解,因此需要加上合適的約束條件。本文采用最小范數(shù)估計(jì)(minimum norm estimate, MNE)[31]的方法來(lái)求解逆問(wèn)題,其求解公式如下

(2)

X的最優(yōu)解將是在L2范數(shù)最小二乘意義下的估計(jì)和記錄的頭皮腦電之間的殘差最小的解,式中η≥0,是正則化參數(shù);W是一個(gè)權(quán)重矩陣。

得到映射到源空間的每個(gè)源的信號(hào)后,按照Brodmann分區(qū)對(duì)處于同一腦區(qū)的偶極子進(jìn)行累加,作為這個(gè)腦區(qū)整體的輸出,以便進(jìn)行后續(xù)分析,腦區(qū)共有79個(gè),腦電源定位-Brodmann分區(qū)如圖4所示。

圖4 腦電源定位-Brodmann分區(qū)Fig.4 Spatial source localization-Brodmann area

1.3.2 組套索方法

Lasso[26]是Robert Tibshirani 在 1996 年提出了一種懲罰類(lèi)的回歸方法,其基本思想是使用懲罰函數(shù)對(duì)回歸系數(shù)的絕對(duì)值進(jìn)行懲罰,要求所有回歸系數(shù)的絕對(duì)值之和小于等于懲罰參數(shù)λ,通過(guò)調(diào)節(jié)λ,進(jìn)而對(duì)回歸系數(shù)進(jìn)行控制壓縮。隨著λ的增大,更多的自變量回歸系數(shù)被壓縮成 0,從而達(dá)到降維的效果,其表達(dá)式如下

(3)

1.3.3 卷積神經(jīng)網(wǎng)絡(luò)

CNN是一種前饋型網(wǎng)絡(luò),其結(jié)構(gòu)受到人腦視覺(jué)皮層的啟發(fā)。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比,CNN最大程度地減少了預(yù)處理的過(guò)程,能夠自動(dòng)提取信號(hào)特征、學(xué)習(xí)復(fù)雜模型并進(jìn)行分類(lèi),因此在圖像識(shí)別、視頻分析和自然語(yǔ)言處理等領(lǐng)域被充分關(guān)注。

CNN通常由輸入層、隱藏層和輸出層構(gòu)成,其中隱藏層可由多個(gè)卷積層、池化層、全連接層組成。

卷積層是CNN的核心層,通過(guò)卷積核對(duì)數(shù)據(jù)進(jìn)行掃描,從而完成卷積運(yùn)算,具體公式如下

(4)

卷積層后通常與激活函數(shù)相結(jié)合,以實(shí)現(xiàn)對(duì)輸出結(jié)果的非線性映射,從而提高網(wǎng)絡(luò)的非線性功能,常用的激活函數(shù)有指數(shù)線性單元函數(shù)(ELU)、修正線性單元(ReLU)、雙曲正切激活函數(shù)(tanh函數(shù))等,本文中使用ELU函數(shù),其公式為

(5)

式中,x為輸入的特征值。

池化層又稱(chēng)下采樣層,主要用于壓縮數(shù)據(jù),以達(dá)到減小過(guò)擬合和降低參數(shù)數(shù)的目的。常用的池化操作有最大池化和平均池化,最大池化取區(qū)域最大值作為輸出,平均池化取區(qū)域中的均值作為輸出。在相鄰兩個(gè)卷積層之間可以設(shè)置池化層以簡(jiǎn)化網(wǎng)絡(luò)復(fù)雜度,本文采用最大池化。

全連接層把所有神經(jīng)節(jié)點(diǎn)互相連接,方便做最后的分類(lèi)或者回歸,本文在全連接層后還設(shè)置了權(quán)值為0.5的dropout,即在訓(xùn)練過(guò)程中使50%的神經(jīng)元失活,以提高模型的泛化能力,進(jìn)一步降低過(guò)擬合。

方法中構(gòu)建的CNN網(wǎng)絡(luò)包括輸入層、卷積層1、卷積層2、批標(biāo)準(zhǔn)化層1、最大池化層1、卷積層3、批標(biāo)準(zhǔn)化層2、最大池化層2、卷積層4、批標(biāo)準(zhǔn)化層3、最大池化層3、展平層、全連接層1、全連接層2和輸出層。在將數(shù)據(jù)輸入CNN前,先對(duì)樣本進(jìn)行標(biāo)準(zhǔn)化并打亂順序,輸入大小為R×T的矩陣,其中R為挑選出的ROI數(shù),T為每個(gè)通道的時(shí)間采樣點(diǎn)數(shù),本文中R≤79,具體值由組Lasso過(guò)程確定,T=1 000。輸入的第一層卷積層設(shè)25個(gè)卷積核,每個(gè)卷積核隨時(shí)間執(zhí)行核大小為1×5的卷積操作,第二層卷積層中,每個(gè)卷積核執(zhí)行對(duì)空間信息的卷積提取,這兩層之間沒(méi)有激活函數(shù),通過(guò)這種方式可以將整個(gè)卷積強(qiáng)制分離線性變換為時(shí)間卷積和空間濾波器的組合實(shí)現(xiàn)隱式正則化,降低計(jì)算量。在兩個(gè)卷積層后加入一個(gè)池化層,使用最大池化的方式,池化核的大小是1×3,步長(zhǎng)與核大小一致。第3、4個(gè)卷積層分別由50、100個(gè)卷積核構(gòu)成,后接一個(gè)相同的池化層,通過(guò)這種方式可以減少池化層對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)丟失過(guò)多信息的影響,激活函數(shù)均設(shè)置為ELU。展平層是對(duì)高維特征進(jìn)行扁平化處理,將其轉(zhuǎn)換為一維從而能夠輸入到全連接層中。全連接層共有2層,分別設(shè)置有1 024和512個(gè)神經(jīng)元,使用Relu函數(shù)作為激活函數(shù)。最后使用softmax函數(shù)輸出分類(lèi)預(yù)測(cè)概率,概率最大的類(lèi)別即為分類(lèi)結(jié)果。CNN詳細(xì)模型結(jié)構(gòu)見(jiàn)表1。在卷積層中,層參數(shù)指的是卷積核數(shù);而對(duì)于全連接層和輸出層來(lái)說(shuō),層參數(shù)指的是神經(jīng)元數(shù)。

實(shí)驗(yàn)中采用6折交叉驗(yàn)證方法,把所有樣本數(shù)據(jù)隨機(jī)分為6組,輪流選3組作為訓(xùn)練集、2組作為驗(yàn)證集、1組作為測(cè)試集,最后6次平均的結(jié)果作為模型的識(shí)別準(zhǔn)確率。

由于深度學(xué)習(xí)要求大量樣本進(jìn)行訓(xùn)練,使用1 s的時(shí)間窗對(duì)數(shù)據(jù)進(jìn)行裁剪,從而達(dá)到數(shù)據(jù)擴(kuò)充的目的,剪切的移動(dòng)步進(jìn)設(shè)為50 ms。通過(guò)剪切操作,2 s的腦電數(shù)據(jù)可以擴(kuò)充成為21個(gè)1 s的腦電片段。并且由于在剪切之前已經(jīng)劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集,因此存在重疊信息的剪切數(shù)據(jù)不會(huì)對(duì)分類(lèi)結(jié)果產(chǎn)生影響,從整體上來(lái)說(shuō),單個(gè)被試者2 s的4種單手動(dòng)作共240個(gè)樣本,在剪切操作后成為1 s的4種單手動(dòng)作5 040個(gè)樣本。

表1 CNN模型結(jié)構(gòu)

1.4 實(shí)驗(yàn)環(huán)境

方法測(cè)試環(huán)境為Windows10操作系統(tǒng),腦電源定位通過(guò)基于matlab2019b的brainstorm工具箱實(shí)現(xiàn),組Lasso使用R語(yǔ)言中的msgl庫(kù)實(shí)現(xiàn),CNN通過(guò)tensorflow2.1、python3.6實(shí)現(xiàn),服務(wù)器顯卡型號(hào)為NVIDIA RTX3080Ti。

2 采用源空間套索分析和卷積神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

2.1 挑選出的感興趣區(qū)域數(shù)

EEG信號(hào)經(jīng)過(guò)腦電源定位后映射至源空間內(nèi),并根據(jù)Brodmann分區(qū)分為79個(gè)腦區(qū),為了降低腦區(qū)數(shù)并選擇對(duì)于手部動(dòng)作意圖解碼更有利的區(qū)域,本文對(duì)信號(hào)進(jìn)行了組Lasso后,每位被試者挑選出的ROI數(shù)如圖5所示,其中橫坐標(biāo)為13個(gè)被試者,縱坐標(biāo)為挑選出的通道數(shù),每個(gè)被試者共有6個(gè)點(diǎn),代表每折交叉驗(yàn)證時(shí)挑選出的結(jié)果,灰色虛線為13位被試者的平均值?？梢钥闯?經(jīng)過(guò)組Lasso,每位被試者的腦區(qū)數(shù)大大下降,平均只有35.46±6.00個(gè)通道,降低為原來(lái)的44%,大大節(jié)省了后續(xù)需要的計(jì)算資源,提高了計(jì)算效率。

圖5 組Lasso后挑選出的ROI數(shù)Fig.5 Number of ROI selected after group Lasso

2.2 方法性能評(píng)價(jià)

本文使用分類(lèi)準(zhǔn)確率對(duì)提出的方法解碼能力進(jìn)行評(píng)估。分類(lèi)準(zhǔn)確率定義為所有分類(lèi)正確的樣本數(shù)與樣本總數(shù)之比,取六折交叉驗(yàn)證的平均值作為最終結(jié)果以驗(yàn)證本文方法的有效性。CNN訓(xùn)練過(guò)程準(zhǔn)確率和損失值曲線如圖6所示。

(a)被試者S3時(shí)模型的準(zhǔn)確率及損失值

(b)被試者S4時(shí)模型的準(zhǔn)確率及損失值

(c)被試者S6時(shí)模型的準(zhǔn)確率及損失值

以被試者S3(分類(lèi)結(jié)果較差)、S4(分類(lèi)結(jié)果一般)、S6(分類(lèi)結(jié)果較好)為例,模型訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率及損失值曲線如圖6所示。由圖6可以看出,隨著迭代次數(shù)的增加,S4和S6的模型快速趨于收斂,但是S3的模型表現(xiàn)并不理想?？紤]到該被試者在其他模型上分類(lèi)效果也不佳,可能是被試者的個(gè)體差異或數(shù)據(jù)質(zhì)量的影響。

訓(xùn)練過(guò)程中設(shè)置最大迭代次數(shù)為80次,batch塊的最小尺寸設(shè)為64,同時(shí)通過(guò)早停法判斷是否需要提前終止訓(xùn)練,即連續(xù)10個(gè)epoch驗(yàn)證集準(zhǔn)確率不再上升時(shí),提前結(jié)束訓(xùn)練。由于挑選出的ROI通道數(shù)不同、訓(xùn)練迭代次數(shù)也有差異,每個(gè)被試者訓(xùn)練模型時(shí)間長(zhǎng)短略有不同,平均耗時(shí)(84.49±14.82) s。

表2給出了13位被試者模型在γ頻帶上的分類(lèi)準(zhǔn)確率,可以看出,13人的分類(lèi)準(zhǔn)確率最高達(dá)到了97.2%,最低有61.21%,平均準(zhǔn)確率達(dá)到了(82.23±12.71)%,證明本文提出的方法在單手多動(dòng)作模式識(shí)別上的有效性。

表2 13位被試者模型在γ頻帶上的分類(lèi)準(zhǔn)確率

3 實(shí)驗(yàn)分析及討論

3.1 不同模型參數(shù)對(duì)解碼效果的影響

CNN的結(jié)構(gòu)包括卷積層數(shù)和卷積核的大小,本文通過(guò)參考文獻(xiàn)[19, 32]以及進(jìn)行的預(yù)實(shí)驗(yàn)確認(rèn)網(wǎng)絡(luò)卷積層數(shù)為4,為了探討不同卷積核大小下模型解碼性能,文中對(duì)大小為1×3、1×5、1×7、1×10、1×15和1×20的卷積核進(jìn)行測(cè)試,不同卷積核尺寸下分類(lèi)準(zhǔn)確率結(jié)果見(jiàn)表3?？梢钥闯?卷積核大小為1×5的分類(lèi)準(zhǔn)確率最高,之后隨著卷積核的增大,分類(lèi)準(zhǔn)確率逐漸下降,考慮到小卷積核可以提取更多細(xì)節(jié)特征,最終確定1×5的卷積核進(jìn)行研究。

表3 不同卷積核尺寸下分類(lèi)準(zhǔn)確率

池化層和dropout是卷積神經(jīng)網(wǎng)絡(luò)中常用的正則化方法。大尺寸的池化層可以減少特征圖的尺寸,提高計(jì)算效率,但容易導(dǎo)致信息丟失,而小尺寸的池化層可能導(dǎo)致過(guò)擬合問(wèn)題。為了確定合適大小的池化層,本文對(duì)尺寸為1×2、1×3、1×4、1×5和1×6的池化層進(jìn)行測(cè)試,結(jié)果見(jiàn)表4。由表4可以看出,在尺寸為1×3的情況下,模型的平均分類(lèi)準(zhǔn)確率最高,因此在后面的測(cè)試中均使用此尺寸的池化層。對(duì)于dropout正則化方法,它通過(guò)隨機(jī)將一定比例的神經(jīng)元輸出設(shè)為0來(lái)避免過(guò)擬合。較大的dropout值可以提高模型的泛化能力,但是過(guò)大的dropout值會(huì)導(dǎo)致模型的學(xué)習(xí)能力下降。為了確定合適的dropout值,文章在0.2～0.7范圍內(nèi)進(jìn)行測(cè)試。不同池化層大小和dropout值下分類(lèi)準(zhǔn)確率見(jiàn)表4,當(dāng)dropout設(shè)置為0.5時(shí),模型的準(zhǔn)確率最高,這也是大多數(shù)研究中使用的值。

表4 不同池化層大小和dropout值下分類(lèi)準(zhǔn)確率

3.2 基于不同頻帶的解碼效果對(duì)比

以往的研究認(rèn)為和手部動(dòng)作解碼相關(guān)的信息多集中于α和β頻帶,但近期也有很多研究表明在γ頻帶也存在相關(guān)信息,為了討論不同子頻帶的源空間信號(hào)的解碼效果,本文將不同頻帶,即δ(1～3 Hz)、θ(4～7 Hz)、α(8～13 Hz)、β(14～30 Hz)、γ(30～100 Hz)及全頻帶(1～100 Hz)的信號(hào),分別進(jìn)行源空間定位,再進(jìn)行相應(yīng)的組Lasso進(jìn)行感興趣區(qū)域選擇,最后輸入到CNN中,將所有頻帶的分類(lèi)結(jié)果進(jìn)行比較,結(jié)果如圖7所示。各頻帶分類(lèi)準(zhǔn)確率為(35.97±5.10)%、(35.25±5.98)%、(40.08±5.40)%、(55.26±11.06)%、(82.23±12.71)%和(72.13±14.29)%。通過(guò)Wilcoxon符號(hào)秩和檢驗(yàn)發(fā)現(xiàn),γ頻帶的分類(lèi)準(zhǔn)確率顯著優(yōu)于其他頻帶(p<0.5),結(jié)果說(shuō)明不同子頻帶的信號(hào)都為手部動(dòng)作意圖解碼提供了一定的信息,但是可以認(rèn)為,更多的有用信息與γ頻帶相關(guān),在以后的研究中應(yīng)該更加關(guān)注此頻帶。

圖7 γ頻帶與其他頻帶對(duì)比結(jié)果Fig.7 Comparison results between γ band and other frequency bands

3.3 與其他方法的腦電解碼分類(lèi)準(zhǔn)確率對(duì)比

圖8 本文方法與其他方法對(duì)比結(jié)果Fig.8 Comparison results between our algorithm and other algorithms

為了更客觀地對(duì)本文提出方法進(jìn)行評(píng)價(jià),文章將所提出方法和其他先進(jìn)方法的分類(lèi)準(zhǔn)確率進(jìn)行對(duì)比,包括GCB-Net[33]、EEGNet[34]、DeepConvNet[32]、DeepCNN[35]、濾波器組公共空間模式(filter bank common spatial patten, FBCSP)[36]和MEMD-CSP[37],結(jié)果如圖8所示。對(duì)于GCB-Net、EEGNet、DeepConvNet、DeepCNN 4種深度學(xué)習(xí)網(wǎng)絡(luò),使用的輸入數(shù)據(jù)只經(jīng)過(guò)簡(jiǎn)單預(yù)處理,并未提取任何其他特征。在MEMD-CSP方法中,信號(hào)首先進(jìn)行MEMD分解;再使用MIMF的中值頻率自動(dòng)找到對(duì)μ和β節(jié)律有重要貢獻(xiàn)的被試特定MIMF;將選定的MIMF相加以重建EEG信號(hào);使用CSP提取重構(gòu)信號(hào)的特征,并且將空間濾波器數(shù)設(shè)置為5;通過(guò)SVM分類(lèi)器對(duì)特征進(jìn)行分類(lèi)。在FBCSP方法中,信號(hào)通過(guò)CSP提取特征,濾波器頻帶設(shè)為0.1～10、10～20、20～30、…、80～90、90～100 Hz,并通過(guò)SVM進(jìn)行分類(lèi)。6種方法的平均準(zhǔn)確率分別為(56.34±11.05)%、(68.02±10.93)%、(67.06±9.78)%、(55.67±8.92)%、(66.86±10.17)%和(60.35±10.08)%,均顯著低于本文提出的方法(p<0.05),這些結(jié)果表明,與最先進(jìn)的深度學(xué)習(xí)方法和傳統(tǒng)的MEMD-CSP、FBCSP方法相比,本文所提出的方法都能獲得更高的分類(lèi)精度。

4 結(jié) 論

本文提出了一種SLC方法,通過(guò)腦電源定位方法將傳感器空間采集的γ頻帶的EEG信號(hào)映射到源空間中。接著,使用組Lasso方法對(duì)ROI進(jìn)行挑選,并將挑選出的腦區(qū)信號(hào)輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行自動(dòng)特征提取及分類(lèi)。通過(guò)六折交叉驗(yàn)證,平均分類(lèi)準(zhǔn)確率為(82.23±12.71)%。與其他頻段的腦電信號(hào)分類(lèi)結(jié)果對(duì)比發(fā)現(xiàn),γ頻帶的分類(lèi)結(jié)果最好,甚至優(yōu)于在全頻帶上的效果。這表明對(duì)大腦高頻成分活動(dòng)的研究可能對(duì)手部動(dòng)作解碼具有重要意義,為今后的研究提供了新的思路和方向。