金海龍, 鄔 霞, 樊鳳杰, 王金萍

(燕山大學(xué) 河北省測(cè)試計(jì)量技術(shù)及儀器重點(diǎn)實(shí)驗(yàn)室, 河北 秦皇島 066004)

1 引 言

腦-機(jī)接口技術(shù)(brain-computer interface,BCI)是一種涉及神經(jīng)科學(xué)、信號(hào)檢測(cè)、信號(hào)處理和模式識(shí)別等多學(xué)科的交叉技術(shù),其主要功能是在人腦和外部設(shè)備之間建立起直接的交流與控制通道。通過(guò)對(duì)腦電(electroencephalogram,EEG)信號(hào)進(jìn)行有效解碼,使得身體嚴(yán)重殘疾但大腦意識(shí)正常的患者能夠自主與外界交流成為可能,故BCI技術(shù)在康復(fù)領(lǐng)域獲得了廣泛應(yīng)用[1]。

運(yùn)動(dòng)想象腦電信號(hào)的分類(lèi)識(shí)別主要包括4個(gè)步驟：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取和分類(lèi)。目前,眾多研究者研究了不同的運(yùn)動(dòng)圖像特征提取和圖像分類(lèi)的方法：Fu等應(yīng)用稀疏共空間模式(sparse common spatial pattern, SCSP)對(duì)腦電信號(hào)進(jìn)行特征提取,并采用線(xiàn)性判別分析(linear discriminant analysis, LDA)進(jìn)行分類(lèi),此方法多用于二分類(lèi)任務(wù)中[2]；Hu等使用短時(shí)傅里葉變換(short-time Fourier transform, STFT)和CNN的組合對(duì)運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行分析,并取得了不錯(cuò)的分類(lèi)準(zhǔn)確率,但STFT具有窗函數(shù)尺寸固定的缺陷[3]；Hsu等利用小波變換(wavelet transform,WT)對(duì)腦電信號(hào)進(jìn)行特征提取,雖然此算法克服了STFT窗函數(shù)尺寸固定的不足,但其存在容易丟失局部頻率之間的連接,合適的母波函數(shù)難以選擇等缺點(diǎn)[4]；Dai等提出了一種混合尺度CNN結(jié)構(gòu)(HS-CNN),該結(jié)構(gòu)可以在混合尺度上進(jìn)行卷積,以提高分類(lèi)準(zhǔn)確率[5]；Lawhern等提出了一種基于腦電BCIs的精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)(enhanced convolutional neural network, ECNN)腦電網(wǎng)絡(luò),引入深度卷積和可分離卷積構(gòu)建腦電圖特征模型,封裝了腦機(jī)接口腦電圖特征提取的概念[6]；Tabar等提出了一種結(jié)合CNN和棧式自動(dòng)編碼器(stacked autoencoders, SAE)的方法,利用CNN進(jìn)行特征提取,SAE進(jìn)行分類(lèi),獲得了更好的分類(lèi)準(zhǔn)確率[7]。隨著研究的深入和多樣化,深度信念網(wǎng)絡(luò)DBN(deep belief network)和混合遷移學(xué)習(xí)HTR(hybrid transfer learning)作為分類(lèi)器在運(yùn)動(dòng)想象分類(lèi)中也取得了不俗的成果[8,9]。

目前,對(duì)多通道腦電信號(hào)進(jìn)行通道選擇的研究主要有：Chaurasiya等通過(guò)改進(jìn)支持向量機(jī)(support vector machine, SVM)算法進(jìn)行通道選擇[10]；付榮榮等提出了一種貪婪搜索的方法得出了最佳通道組合[11]；Arvaneh等充分考慮通道間的相關(guān)性,通過(guò)在CSP中加入l0范數(shù)正則化引入稀疏實(shí)現(xiàn)通道選擇,并得到了較好的分類(lèi)效果[12]。

針對(duì)目前存在的一些問(wèn)題,本研究旨在對(duì)多通道腦電信號(hào)進(jìn)行特征提取和分類(lèi)以實(shí)現(xiàn)運(yùn)動(dòng)想象的解碼。首先利用廣義S變換(generalized S transform, GST)進(jìn)行腦電信號(hào)特征提取,再結(jié)合Relief算法和向前選擇搜索策略(forward selection search strategy,FSSS)的包裹式方法進(jìn)行通道選擇,最后利用引入SELU激活函數(shù)和分層正則化的增強(qiáng)卷積神經(jīng)實(shí)現(xiàn)特征分類(lèi)。利用第Ⅳ屆BCI的數(shù)據(jù)集I對(duì)本研究提出的算法組合進(jìn)行了驗(yàn)證。

2 材料與方法

2.1 數(shù)據(jù)集準(zhǔn)備

本研究使用的驗(yàn)證數(shù)據(jù)集來(lái)源于BCI比賽第Ⅳ屆的數(shù)據(jù)集I[13]。實(shí)驗(yàn)中每位受試者根據(jù)屏幕上出現(xiàn)的左手、右手或者腳3類(lèi)指示類(lèi)別選擇2類(lèi)進(jìn)行想象運(yùn)動(dòng),每人進(jìn)行200次無(wú)反饋實(shí)驗(yàn),采樣通道數(shù)為59,采樣頻率為1 000 Hz,數(shù)據(jù)集中a、b、f、g為真實(shí)數(shù)據(jù),c、d、e為人工合成數(shù)據(jù)。為了后續(xù)實(shí)驗(yàn)的進(jìn)行,先對(duì)數(shù)據(jù)集進(jìn)行100 Hz降采樣,再對(duì)數(shù)據(jù)集進(jìn)行有效數(shù)據(jù)段的截取,選取其中最有效的4 s數(shù)據(jù),最后使用FIR數(shù)字濾波器進(jìn)行1～30 Hz的帶通濾波,人工剔除眼電和肌電偽跡等[14]。

2.2 基于廣義S變換的特征提取算法

S變換是地球物理學(xué)家Stockwell在1996年提出的一種時(shí)頻分析方法[15]。它吸收并發(fā)展了短時(shí)傅里葉變換(STFT)與連續(xù)小波變換(CWT)。它既克服了STFT窗口高度和寬度固定的缺陷,同時(shí)含有相位因子,這是CWT所不具有的特性。

一維連續(xù)S變換表達(dá)式如式(1)、式(2)所示：

(1)

(2)

式中：x(t)為信號(hào)函數(shù)；f為頻率；τ為平移因子；控制窗口函數(shù)在時(shí)間軸t上的位置；i為虛函數(shù)；Sx(τ, f)為變換之后的時(shí)頻譜矩陣；w(t-τ, f)為高斯窗函數(shù)；σ1(f)為窗函數(shù)的標(biāo)準(zhǔn)差,其與頻率f密切相關(guān),表達(dá)式如式(3)：

(3)

標(biāo)準(zhǔn)差函數(shù)σ1(f)的存在正是ST優(yōu)于其它時(shí)頻分析方法的主要原因。ST采用高斯窗函數(shù)作為窗口函數(shù),其窗寬與頻率的導(dǎo)數(shù)成比例,即在低頻處具有優(yōu)越的時(shí)間和頻率分辨率,在高頻處也具有良好的時(shí)間分辨率。但是,由式(2)、式(3)可知,標(biāo)準(zhǔn)差函數(shù)固定為頻率倒數(shù)導(dǎo)致窗函數(shù)對(duì)于所有頻率范圍內(nèi)的函數(shù)都是固定的,而腦電信號(hào)具有頻率成分多、易受采集環(huán)境和受試者情緒影響等特點(diǎn),故某些情況下ST得到的時(shí)頻分辨率還不夠理想。因此,基于ST的改進(jìn)方法被提出,廣義S變換(GST)就是其中之一。

GST與ST的主要區(qū)別在于引入p和q兩個(gè)自適應(yīng)參數(shù),改進(jìn)了ST的高斯窗函數(shù),其表達(dá)式見(jiàn)式(4)～式(6)：

(4)

(5)

(6)

由式(6)可知,當(dāng)p=1,q=1時(shí),GST為ST,即ST是GST的特殊情況。GST能根據(jù)腦電信號(hào)的頻率分布,靈活得調(diào)節(jié)窗函數(shù)隨頻率尺度f(wàn)的變化趨勢(shì),GST比ST具有更好的靈活性和實(shí)用性。

(7)

由于正常成年人運(yùn)動(dòng)想象腦電的主要成分集中在alpha節(jié)律(8～13 Hz)、beta節(jié)律(14～30 Hz),故選取PSD特征的頻率范圍為7～30 Hz。每次實(shí)驗(yàn)的單通道特征提取過(guò)程如圖1所示。每次實(shí)驗(yàn)經(jīng)過(guò)GST時(shí)頻映射和PSD特征計(jì)算,最終提取到24個(gè)特征值,單次試驗(yàn)59個(gè)通道最終能提取到1 416(59×24)個(gè)特征值。

圖1 單次實(shí)驗(yàn)單通道特征提取過(guò)程圖Fig.1 Single-channel feature extraction process diagram of a single experiment

2.3 包裹式通道選擇方法

由于腦電信號(hào)為多通道數(shù)據(jù),從多通道中剔除無(wú)關(guān)或與腦電分類(lèi)相關(guān)性低的通道,挑選出最優(yōu)組合,既能提高分類(lèi)準(zhǔn)確率又能提高分類(lèi)效率。本研究提出了一種結(jié)合Relief算法和向前選擇搜索策略(FSSS)的包裹式方法進(jìn)行通道選擇,其流程圖如圖2 所示。本文數(shù)據(jù)集為59通道,經(jīng)過(guò)Relief計(jì)算后丟棄了權(quán)重靠后的20個(gè)通道。剩余的39通道計(jì)算平均準(zhǔn)確率m和每個(gè)通道的分類(lèi)準(zhǔn)確率k(i),準(zhǔn)確率排名前n個(gè)通道準(zhǔn)確率稍大于或者等于39通道準(zhǔn)確率m,此后依次增加一個(gè)通道,增加通道后的準(zhǔn)確率(ACC)若大于m,則保留此通道,若小于或者等于m,則丟棄此通道,以此類(lèi)推,直到39個(gè)通道遍歷完畢,確定最后的最佳通道組合K。

圖2 包裹式通道選擇方法流程圖Fig.2 Flow diagram of wrapped channel selection method

在通道選擇模型中,Relief算法能夠根據(jù)各個(gè)通道特征和類(lèi)別的相關(guān)性賦予特征不同的權(quán)重,并按照從小到大排序。本研究將權(quán)重值排名后20個(gè)通道直接丟棄,以達(dá)到對(duì)數(shù)據(jù)快速降維的作用。在此基礎(chǔ)上,再采用FSSS挑選出最佳通道組合K,為后續(xù)的分類(lèi)判別做好準(zhǔn)備。通過(guò)對(duì)比實(shí)驗(yàn)證明,最后保留24個(gè)通道既保留了絕大多數(shù)的優(yōu)質(zhì)通道,又利于后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算。

2.4 增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)是ReLU,但其具有一定的局限性。當(dāng)學(xué)習(xí)率較高時(shí),容易形成過(guò)多的死亡節(jié)點(diǎn),導(dǎo)致訓(xùn)練中斷。當(dāng)學(xué)習(xí)率較小時(shí),網(wǎng)絡(luò)很容易陷入局部最優(yōu)。為了克服上述缺陷,本文使用SELU激活函數(shù)來(lái)訓(xùn)練模型。SELU引入了一種自歸一化屬性,在有效避免死亡節(jié)點(diǎn)的同時(shí)自動(dòng)收斂到零均值和單位方差。SELU函數(shù)由Günter Klambauer提出[16],定義為：

(8)

式中:λ=1.050 7;α=1.673 3。SELU函數(shù)具有以下優(yōu)點(diǎn)[17]:(1) 可以訓(xùn)練多層深度神經(jīng)網(wǎng)絡(luò);(2) 采用強(qiáng)正則化;(3) 增強(qiáng)了網(wǎng)絡(luò)學(xué)習(xí)的魯棒性。

深度學(xué)習(xí)模型中不同層的輸出具有不同的維度,故各層的承載能力也不同。若所有層使用同一個(gè)正則化參數(shù),很容易導(dǎo)致過(guò)度正則化。為了克服這個(gè)缺陷,本文對(duì)不同層使用不同的正則化參數(shù),由于每一層的矩陣維數(shù)代表逐層遞減深度的特征,遵循正則化參數(shù)值逐層遞減的原則,將前隱層的特征矩陣廣義定義為粗粒度數(shù)據(jù),將其他層的特征矩陣廣義定義為細(xì)粒度數(shù)據(jù),以此可以獲得更好的分類(lèi)精度。

如圖3所示為7層ECNN的分類(lèi)結(jié)構(gòu)圖,包括：輸入層、第一層卷積層、第一層池化層、第二層卷積層、第二層池化層、全連接層和softmax層。ECNN模型各項(xiàng)參數(shù)如表1所示。通過(guò)比較不同正則化強(qiáng)度組合的精度,將第1、2層的正則化強(qiáng)度分別設(shè)為0.1、0.05為最佳。

圖3 7層ECNN的分類(lèi)結(jié)構(gòu)圖Fig.3 Classification structure diagram of 7-layers ECNN

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置Tab.1 Network training parameter settings

3 實(shí)驗(yàn)結(jié)果與分析

3.1 GST參數(shù)的確定

時(shí)頻分析算法GST與ST最主要的區(qū)別在于,GST引入了2個(gè)參數(shù)p和q,改造了ST的高斯窗函數(shù),使GST具有更靈活多變的窗函數(shù)。圖4是基于ST和GST的時(shí)頻圖。由圖可以看出GST時(shí)頻圖像比ST時(shí)頻圖像的幅值更高,時(shí)頻帶寬更寬,且GST能量帶更加清晰,GST在時(shí)頻域比ST具有更理想的時(shí)頻空間分布和更高的時(shí)頻分辨率,進(jìn)一步說(shuō)明GST具有更強(qiáng)的特征提取能力。

圖4 時(shí)頻圖Fig.4 Time-frequency diagram

GST特征提取的能力與參數(shù)p和q密切相關(guān)。p和q的不同取值,決定窗函數(shù)的窗口寬度不同,提取到的特征也不盡相同。因此,為選取到最佳參數(shù)組合,需要通過(guò)實(shí)驗(yàn)不斷尋優(yōu)。圖5為不同的p、q取值時(shí),對(duì)應(yīng)的分類(lèi)準(zhǔn)確率。由圖5可以看出,當(dāng)p=0.50～0.52時(shí),系統(tǒng)都能取得較高的分類(lèi)準(zhǔn)確率,其中,當(dāng)q=1時(shí),分類(lèi)準(zhǔn)確率最高,能達(dá)到98%左右。

圖5 p和q的取值與分類(lèi)準(zhǔn)確率的關(guān)系圖Fig.5 The relationship between the values of p and q and the classification accuracy

3.2 最佳通道的確定

本文提出的包裹式通道選擇包括2個(gè)步驟：1) Relief算法權(quán)重篩選；2) 向前選擇搜索策略(FSSS)二次篩選。

首先,利用Relief算法計(jì)算每一個(gè)通道的權(quán)重,根據(jù)權(quán)重的大小進(jìn)行第一輪的通道篩選。以數(shù)據(jù)集g為例,該數(shù)據(jù)集59通道的權(quán)重分布如圖6所示。由圖6可以看出,前36個(gè)通道(除通道4以外)的權(quán)重占比較高,后23個(gè)通道雖然也有個(gè)別通道權(quán)重較高,但是總體權(quán)重較低。第1輪篩選將權(quán)重排名后20位的通道(4、34、37～39、42～44、47～48、50～59)直接剔除其次,再利用本文提出的FSSS進(jìn)行第2輪通道篩選。第1輪篩選后的39通道平均準(zhǔn)確率為94.36%,39個(gè)通道的平均準(zhǔn)確率見(jiàn)圖7所示。按照本文提出的FSSS方法,剔除掉干擾通道之后保留下的24個(gè)優(yōu)質(zhì)通道如圖7中紅色標(biāo)注所示。從選中的通道可以看出,絕大多數(shù)準(zhǔn)確率高的通道都被選中,但其中包含幾個(gè)準(zhǔn)確率不高的通道(如通道12、22、29),推測(cè)原因可能是因?yàn)橥ǖ乐g的聯(lián)系也是通道選擇重要考慮的因素之一。

圖6 數(shù)據(jù)集g的59個(gè)通道權(quán)重占比分布圖Fig.6 Distribution of 59 channel weights in dataset g

圖7 39個(gè)通道的平均準(zhǔn)確率及選中通道示意圖Fig.7 The average accuracy of 39 channels and the schematic diagram of the selected channels

3.3 分類(lèi)結(jié)果評(píng)價(jià)

本研究使用的數(shù)據(jù)集中a、b、f、g為真實(shí)數(shù)據(jù),c、d、e為人工合成數(shù)據(jù),分別對(duì)7個(gè)數(shù)據(jù)集進(jìn)行GST特征提取、包裹式通道選擇、改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)特征分類(lèi),為了減少結(jié)果的隨機(jī)性,采用10折交叉驗(yàn)證,分類(lèi)結(jié)果如表2、表3所示。

表2 真實(shí)數(shù)據(jù)分類(lèi)結(jié)果Tab.2 Classification results of real data

表3 合成數(shù)據(jù)分類(lèi)結(jié)果Tab.3 Classification results of synthetic data

表2、表3中,ACC(accuracy)為準(zhǔn)確率,SPE(specificity)為特異性,SEN為(sensitivity)為靈敏度,PPV(positive predictive value)為陽(yáng)性預(yù)測(cè)值,AUC(area under curve)為工作特性曲線(xiàn)下面積,STD(standard deviations)為各自的標(biāo)準(zhǔn)差。由表2可以看出,受試者g獲得了最好的分類(lèi)效果,其平均準(zhǔn)確率高達(dá)98.44±0.5%,AUC值高達(dá)93.36±1.4%,4個(gè)真實(shí)受試者的平均分類(lèi)準(zhǔn)確率達(dá)到了93.17±2.0%。通過(guò)表2、表3的對(duì)比可知,真實(shí)數(shù)據(jù)(a、b、f、g)的各項(xiàng)統(tǒng)計(jì)參數(shù)值普遍高于人工合成數(shù)據(jù)(c、d、e)。

由于采集的腦電數(shù)據(jù)因人而異,每位受試者最后選中的24個(gè)通道各不相同,但均獲得較好的分類(lèi)結(jié)果,進(jìn)一步說(shuō)明了本研究提出方法的有效性和普遍適用性。

4 討 論

在BCI腦機(jī)接口系統(tǒng)中,能快速有效地從原始腦電信號(hào)中進(jìn)行特征的提取并準(zhǔn)確的分類(lèi)是任務(wù)的關(guān)鍵。本文提出利用廣義S變換算法解碼EEG數(shù)據(jù)并提取7～30 Hz的24個(gè)PSD特征,再利用提出的結(jié)合Relief算法和向前選擇搜索策略的包裹式方法進(jìn)行通道選擇,挑選出24個(gè)高質(zhì)量通道組合,最后將得到的n個(gè)24×24矩陣輸入增強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)。

與Chang等[18]采用ST算法提取PSD特征相比,雖然他們也提取到明顯的特征并獲得了較好的分類(lèi)結(jié)果,但是本文采用的GST算法提取PSD特征的方法更加靈活,能量的聚集性更好,提取的特征更加明顯。付榮榮等提出的利用SCSP提取特征,貪婪搜索模式挑選通道,Fisher進(jìn)行分類(lèi),最后得到真實(shí)數(shù)據(jù)平均準(zhǔn)確率90.73%,合成數(shù)據(jù)平均準(zhǔn)確率80.13%,雖然該方法保留的信道較少(3～5個(gè)),但本文提出的方法在真實(shí)數(shù)據(jù)平均準(zhǔn)確率提高2.44%,合成數(shù)據(jù)平均準(zhǔn)確率提高了5.11%,在分類(lèi)精度上略占優(yōu)勢(shì)。Xu等[19]利用GST提取特征,采用優(yōu)化包裹式方法挑選出32個(gè)信道組合,最后以32×32的矩陣輸入CNN進(jìn)行分類(lèi)得到最高97%的準(zhǔn)確率。與本文提出的方法相比,其分類(lèi)準(zhǔn)確率略低,且該方法保留的通道更多,使得計(jì)算負(fù)擔(dān)更重,計(jì)算效率更低。另一方面,本文提出的ECNN比該方法使用的CNN擁有更優(yōu)的過(guò)擬合能力和更高的魯棒性。此外,本文的研究結(jié)果證明,真實(shí)的腦電數(shù)據(jù)與人工合成的數(shù)據(jù)各分類(lèi)指標(biāo)差異較大,即本文提出的方法也可作為區(qū)分真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的一種手段。

5 結(jié) 論

針對(duì)運(yùn)動(dòng)想象腦電信號(hào)解碼過(guò)程中遇到的新問(wèn)題,本文提出了一種基于廣義S變換特征提取和增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)的方法,并創(chuàng)新性地提出包裹式通道選擇方法,獲得了最好98.44%的分類(lèi)精度。與傳統(tǒng)的ST算法相比,GST提取特征的頻率范圍更廣,提取到的特征更加明顯；與傳統(tǒng)的CNN相比,提出的ECNN能獲得更高的分類(lèi)精度和具有更好的適應(yīng)性；此外,提出的包裹式通道選擇方法,有效減少了模型的計(jì)算負(fù)擔(dān),提高了分類(lèi)效率。實(shí)驗(yàn)結(jié)果充分證明,本文提出的方法實(shí)現(xiàn)了對(duì)多通道的運(yùn)動(dòng)想象腦電信號(hào)正確、高效地分類(lèi)。