甘華生，陳明生

(1.惠州城市職業(yè)學(xué)院,廣東 惠州 516000; 2.廣西科技大學(xué) 鹿山學(xué)院,廣西 柳州 545000)

0 引言

腦-機接口(BCI, brain-computer-interface)技術(shù)是一種不依賴于腦外周神經(jīng)或肌肉系統(tǒng)，利用計算機等外部輔助設(shè)備直接采集大腦皮層實時電信號從而實現(xiàn)外界與大腦神經(jīng)系統(tǒng)建立交流和控制通路的一種新技術(shù)，為科研人員研究人腦系統(tǒng)提供了新的手段，在運動康復(fù)，輔助控制，影音娛樂等領(lǐng)域具有廣泛的應(yīng)用前景[1-3]。

腦電信號(EEG, electro encephalogram signals)產(chǎn)生機理復(fù)雜，是一種典型的非平穩(wěn)和非線性的微弱信號，如何準確、快速實現(xiàn)對不同意識活動對應(yīng)腦電信號的區(qū)分是當前研究的熱點和難點，其中的關(guān)鍵環(huán)節(jié)是特征提取[4]。目前常用的特征提取方法主要可以分為時域特征提取、頻域特征提取和變換域特征提取3大類，其中時域特征提取方法以自回歸模型和自適應(yīng)自回歸模型等為代表，該類方法直接對腦電信號的時域回波進行建模，并提取參數(shù)特征作為特征向量，具有運算量小，實時性高的優(yōu)勢，但是由于腦電信號微弱性特征明顯(只有μV量級)，時域信號容易受噪聲污染導(dǎo)致特征的可分性降低，因此該類方法在低信噪比條件下的識別性能較差[5-7]；頻域特征提取方法根據(jù)不同意識活動腦電信號在頻域的分布范圍不同從而提取特征，以功率譜特征和頻帶能量特征為代表，該類方法獲取頻域信息的代價是丟失了時域信息，信息提取維度單一并且更適合于分析線性、平穩(wěn)信號，在面對非線性、非平穩(wěn)腦電信號時性能出現(xiàn)明顯下降[8-10]；變換域特征提取采用小波變換，時頻變換等方法將腦電信號轉(zhuǎn)換至小波域或時-頻域等變換域，在變換域提取特征，相對于時域特征和頻域特征，變換域特征可以同時獲取多個域的特征信息，特征提取維度更廣，相對于單一維度特征通常能夠獲得更高的分類性能，但是不同變換域特征的分類性能差異較大，而如何找到最優(yōu)的變換域及對應(yīng)特征目前還沒有較好的方法[11-14]。

上述方法雖然能從不同維度提取差異信息實現(xiàn)腦電信號的分類識別，但均采用人為提取特征的方式，識別性能的優(yōu)劣更多的是依靠研究人員的經(jīng)驗，存在主觀性強，工作量大等問題。本文在上述研究的基礎(chǔ)上，將希爾伯特變換(HT, Hilbert transform)與卷積神經(jīng)網(wǎng)絡(luò)(CNN, convolution neural network)理論引入運動腦電信號分類識別領(lǐng)域，首先利用HT將一維腦電信號轉(zhuǎn)換為幅-相域二維圖像表征，擴充特征提取維度，然后采用CNN對圖像進行層次化的理解和分析，并自動提取特征完成分類識別?；贕raz數(shù)據(jù)的試驗結(jié)果表明，所提方法在低、中、高3種信噪比條件下分別可以獲得73.5%，87.6%和91.7%的正確識別結(jié)果，并且只需0.07 ms即可完成對單個樣本的有效識別，具有較高的應(yīng)用前景。

1 腦電信號的二維圖像表征

由于直接采集到的腦電信號為實信號，只包含幅度信息，要將其轉(zhuǎn)換至幅-相二維圖像域，需要對其進行變換并提取其中的相位信息。HT是信號處理和通信等領(lǐng)域中廣泛應(yīng)用的一種信號分析方法，通過對原始信號進行90°相位變換并且不改變頻譜分量幅度的方式構(gòu)造關(guān)于原始信號的解析信號[15]。

(1)

其中:*表示卷積算子，H(·)為希爾伯特變換算子，根據(jù)傅里葉變換的卷積性質(zhì)，根據(jù)式(1)可以進一步得到HT的頻域表示為：

(2)

(3)

(4)

將信號幅度分量和相位分量單獨提取出來，構(gòu)建大小為2×N的向量，并進一步將其轉(zhuǎn)換為高度為2，寬度為N的幅-相二維圖像表征。圖1(a)和(b)分別給出了想象左手運動和想象右手運動腦電信號的一維時域波形圖，對其進行HT變換轉(zhuǎn)換為二維幅-相灰度圖的結(jié)果如圖1(c)和(d)所示。通過將一維信號轉(zhuǎn)換為二維圖像一方面能夠?qū)⒃紨?shù)據(jù)中包含的所有信息還原，最大化的利用原始信號的信息，避免了信息丟失，另一方面這種建模方式得到的二維圖像非常適合于卷積神經(jīng)網(wǎng)絡(luò)處理，有利于后續(xù)構(gòu)建高速處理框架，提升算法實時性。

圖1 一維腦電信號的幅-相二維圖像表征

2 基于深度學(xué)習(xí)的識別方法

2.1 基本原理

所提基于深度學(xué)習(xí)的腦電信號識別方法的目的是實現(xiàn)對想象左手運動和想象右手運動腦電信號的分類與識別，將原始時域腦電信號表征為幅-相二維圖像作為卷積神經(jīng)網(wǎng)絡(luò)(CNN)[16-19]的輸入，利用CNN的自學(xué)習(xí)能力層次化的對輸入圖像進行分析和解譯，自動提取特征并實現(xiàn)分類輸出。該方法首先需要完成卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計，然后利用訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，實現(xiàn)網(wǎng)絡(luò)的自學(xué)習(xí)，最后通過大量測試實驗對神經(jīng)網(wǎng)絡(luò)參數(shù)進行調(diào)優(yōu)，從而得到最優(yōu)的網(wǎng)絡(luò)模型。

經(jīng)過反復(fù)測試實驗，確定最優(yōu)的CNN架構(gòu)如表1所示，其中CNN由3個卷積層和3個全連接層總共6層組成，3個卷積層和前2個全連接層使用ReLU作為激活函數(shù)，最后一個全連接層使用SoftMax分類器完成分類判決。實驗中使用Categorical Crossentropy作為模型的損失函數(shù)，使用Adam作為優(yōu)化器函數(shù)，同時為了防止迭代過程中出現(xiàn)梯度彌散問題，試驗過程中在卷積層加入40%的DropOut處理。

表1 最優(yōu)CNN結(jié)構(gòu)

2.2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練與優(yōu)化

構(gòu)建完成CNN網(wǎng)絡(luò)模型后，需要利用訓(xùn)練數(shù)據(jù)對模型參數(shù)進行訓(xùn)練和調(diào)優(yōu)。訓(xùn)練過程采用批處理方式，每次隨機從訓(xùn)練樣本集中抽取64個樣本(批大小)進行訓(xùn)練，直到訓(xùn)練樣本集全部被抽取后算是完成一輪訓(xùn)練，之后將數(shù)據(jù)順序打亂再次進行下一輪迭代，每一輪迭代完成后都計算驗證損失值(value_error)，如果連續(xù)2次迭代得到的驗證損失值之差小于預(yù)設(shè)參數(shù)，則表明網(wǎng)絡(luò)訓(xùn)練充分，終止迭代過程并輸出訓(xùn)練結(jié)果。

本文實驗中CNN運行的軟件環(huán)境為Tensorflow l.8，cuda 9.0，keras 2.2，軟件運行的硬件平臺為Interl Xeon E5 2630 CPU和Navia Quadro K4200GPU。圖2給出了模型訓(xùn)練過程中value_error的變化曲線，可以看出經(jīng)過約40次迭代后，value_error的值達到穩(wěn)定，幾乎不再發(fā)生變化，表明網(wǎng)絡(luò)模型訓(xùn)練充分。

圖2 驗證損失值隨迭代次數(shù)變化曲線

3 實驗結(jié)果與分析

3.1 試驗數(shù)據(jù)

為了驗證所提方法的識別性能，采用BCI2003國際競賽公開的標準運動腦電信號數(shù)據(jù)集開展試驗。數(shù)據(jù)集獲取的被試對象為25歲女性志愿者，試驗過程中，被試志愿者被要求根據(jù)眼前的屏幕提示進行想象左手或者想象右手運動，與此同時利用搭載EEG放大器的計算機輔助設(shè)備對被試志愿者的腦電信號進行同步采集，采樣頻率設(shè)置為128 Hz，采用差分電極從國際標準的10～20導(dǎo)聯(lián)系統(tǒng)中的C3和C4兩個通道獲取。一次有效實驗的時間為9 s，具體流程如圖3所示，數(shù)據(jù)采集步驟包含3個階段：

圖3 1次試驗時間流程圖

1)0 s≤T<2 s，準備時間，被試志愿者前方顯示屏不開機，處于黑屏狀態(tài)，提示被試志愿者放松；

2)T=2 s，試驗開始提示，被試志愿者前方顯示屏出現(xiàn)十字光標，提示被試志愿者試驗馬上開始；

3)3 s≤T<9 s，試驗時間，當顯示屏上出現(xiàn)“向左”或“向右”箭頭時，被試志愿者被要求按照光標提示方向進行想象左手或者右手在運動。

由于每次試驗的有效數(shù)據(jù)為第3～9 s之間的數(shù)據(jù)，每組數(shù)據(jù)的采樣信號長度為768個采樣點。試驗數(shù)據(jù)集中總共包含280組試驗樣本，其中想象左手運動140組，想象右手運動140組。

3.2 識別準確率

試驗過程中，利用想象左手運動和想象右手運動腦電信號測試數(shù)據(jù)集對訓(xùn)練好的CNN模型進行測試，圖4給出了不同信噪比條件下的所提方法的正確識別率，為了進行對比，圖4中同時給出了在相同條件下利用文獻[20]所提小波方法進行分類的結(jié)果，選取db4小波基，分解層數(shù)設(shè)置為6。圖4中每組數(shù)據(jù)的獲取是在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)處于相同信噪比水平下進行試驗獲得，例如信噪比為5 dB時的識別結(jié)果是采用信噪比為5 dB的訓(xùn)練數(shù)據(jù)和信噪比為5 dB的測試數(shù)據(jù)開展試驗得到的結(jié)果。

圖4 不同信噪比條件下的識別性能

從圖4可以看出，兩種方法的識別性能隨著信噪比的提升都出現(xiàn)了上升趨勢。當信噪比在0 dB以下時，兩種方法的識別性能差別不大，所提方法的性能略優(yōu)于小波方法，正確識別率相對于小波方法的提升在2%以內(nèi)，當信噪比高于0 dB時，所提方法的正確識別率明顯優(yōu)于小波方法，性能提升超過3%。

實際工程應(yīng)用過程中，往往難以獲得與測試數(shù)據(jù)信噪比水平完全一致的訓(xùn)練數(shù)據(jù)，通常訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的信噪比水平存在一定的差異，為了驗證所提方法在這種情況下的識別性能，將數(shù)據(jù)集根據(jù)信噪比水平劃分為低信噪比，中信噪比和高信噪比3種數(shù)據(jù)子集，其中低信噪比數(shù)據(jù)子集中的信噪比水平為-8～ -2 dB，中信噪比數(shù)據(jù)子集中的信噪比水平為0～ 6 dB，高信噪比數(shù)據(jù)子集中的信噪比水平為8～14 dB，試驗中隨機從數(shù)據(jù)子集中選取80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)完成神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，剩余20%數(shù)據(jù)作為測試數(shù)據(jù)，驗證所提方法的識別性能，每個數(shù)據(jù)子集重復(fù)進行5次試驗，并將結(jié)果進行平均。表2給出了所提方法和小波方法的識別性能，可以看出所提方法在低，中，高3種信噪比條件下獲得的識別結(jié)果均優(yōu)于小波方法，3種情況下的識別性能分別提升3.7%，5.2%和4.8%，究其原因在于所提方法利用幅-相二維圖像對原始一維數(shù)據(jù)進行表征，使數(shù)據(jù)中的幅度和相位信息得到了更直接的表達，充分利用了數(shù)據(jù)中的有效信息。

表2 不同信噪比條件下2種方法的正確識別率 %

3.3 識別處理時間

對于運動腦電信號識別問題，希望BCI技術(shù)能夠?qū)崟r地完成腦電信號的解譯，因此算法的運算效率是正確識別率外的另一項重要指標。為了驗證所提方法對單個測試樣本的處理時間，將測試階段的批處理大小作為變量，使其在[1，2，4，8，16，32，64，128]之間取值，在不同批處理大小情況下對單個測試樣本的識別時間進行統(tǒng)計計算，圖5給出了對應(yīng)的結(jié)果。

圖5 單個樣本識別時間與批處理大小的關(guān)系

從圖5可以看出，算法的運算效率與批處理大小密切相關(guān)，當批處理大小為1時，即每次輸入1個測試樣本進行分析識別，算法所需時間約為3.2 ms，隨著批處理大小的增加，算法對每個測試樣本進行分析識別的時間逐漸減小，最終穩(wěn)定在0.07 ms左右，這與CNN的并行計算能力一致，因此在實際工程應(yīng)用過程中，應(yīng)該將多個測試樣本同時輸入模型進行分析識別以提升算法的實時性。

4 結(jié)束語

傳統(tǒng)基于人工特征提取的運動腦電信號分類識別方法存在主觀性強，信息利用率低的問題，并且特征提取和模式分類是相互獨立的2個過程，不能實現(xiàn)聯(lián)合優(yōu)化，因此傳統(tǒng)方法普遍識別性能不高。提出一種基于HT聯(lián)合CNN的運動想象腦電信號識別方法，利用HT將腦電信號轉(zhuǎn)換至幅-相二維圖像域，然后利用CNN對其中包含的信息進行層次化的理解和解譯，自動完成特征提取和模式分類。相對于傳統(tǒng)方法，本文通過HT將信號提取維度從一維擴展至二維，增加了信號中的相位信息，同時CNN從大數(shù)據(jù)角度去自動化學(xué)習(xí)目標的抽象特征，通過多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來進行目標高層特征提取，同時網(wǎng)絡(luò)學(xué)習(xí)過程實現(xiàn)了特征提取和模式分類的聯(lián)合優(yōu)化?；贕raz數(shù)據(jù)的實驗結(jié)果表明，所提算法相對于小波方法可以獲得更優(yōu)的識別性能，在低、中、高3種信噪比條件下正確識別率分別提升3.7%，5.2%和4.8%。同時為了提升所提算法的運算效率和實時性，建議在實際使用過程中盡量采用批處理方式，此時對單個測試樣本的分析識別時間約為0.07 ms。