殷 盺，陳 宇

(東北林業(yè)大學(xué) 信息與計算機(jī)工程學(xué)院，黑龍江 哈爾濱 150040)

基于方差和深度學(xué)習(xí)的腦電信號分類算法

殷 盺，陳 宇

(東北林業(yè)大學(xué) 信息與計算機(jī)工程學(xué)院，黑龍江 哈爾濱 150040)

為了改善傳統(tǒng)腦電信號分類不夠準(zhǔn)確且分類難度較大的問題，研究一種基于方差和深度學(xué)習(xí)的模型對腦電信號進(jìn)行分類。針對腦電信號圖像識別率較低的問題，采用方差對腦電信號進(jìn)行特征提取，結(jié)合深度學(xué)習(xí)的一種典型方法——深度信念網(wǎng)絡(luò)對提取數(shù)據(jù)進(jìn)行訓(xùn)練，構(gòu)建分類器，實現(xiàn)對腦電信號更高效的分類。實驗證明，相比于SVM支持向量機(jī)、樸素貝葉斯等分類算法，該模型可以更準(zhǔn)確地分類。

腦電信號分類；方差；深度學(xué)習(xí)算法；分類器

一百多年前，德國生物學(xué)家漢斯伯格檢測到腦電波，此后經(jīng)過后人前赴后繼的研究，腦波檢測技術(shù)得到空前的發(fā)展。腦電波的電位十分微弱,人的大腦在不同的精神狀態(tài)下會持續(xù)不斷地輸出不同的腦電波。通過采集腦電波并分析，就能夠獲得一系列的信息。目前，人們對腦電波的采集和開發(fā)主要應(yīng)用在醫(yī)療健康、游戲娛樂、特殊教育等領(lǐng)域。隨著腦波芯片集成技術(shù)的發(fā)展，腦波相關(guān)產(chǎn)品的多樣性也得以提高，這為腦波控制的日?；於思夹g(shù)基礎(chǔ)。

隨著芯片集成技術(shù)的不斷成熟，人們也漸漸研發(fā)出腦波檢測集成芯片。2005年，NeuroSky(神念科技)研發(fā)出第一塊腦波檢測芯片TGAM，之后不到3 a便相繼研發(fā)出第二代芯片、第三代芯片。這種芯片體積非常小，不需要涂抹凝膠。而且在嘈雜的環(huán)境中，也可以檢測到腦波數(shù)據(jù)，且具有很高的準(zhǔn)確度。通過這種芯片，可以對腦波進(jìn)行即時檢測。隨著腦波芯片集成技術(shù)的發(fā)展，腦波相關(guān)產(chǎn)品的多樣性也得以提高，這為腦波控制的日常化奠定了技術(shù)基礎(chǔ)。

在我國，對于腦電信號的研究相比于其他國家來說比較晚，早期在借鑒國外研究成果的基礎(chǔ)上，對其進(jìn)行優(yōu)化和改進(jìn)。隨著我國科技的飛速發(fā)展，對于腦電信號分類也有了很大的進(jìn)步。但是，由于腦電形成原因不是一成不變的，各類分類算法還存在著準(zhǔn)確率不高、分類不均勻等問題。

通常對于腦電信號分類算法的研究主要分為兩個階段：首先是將樣本的特征提取出來，獲得能夠區(qū)分出腦電信號類別的特征，同時降低維度。結(jié)構(gòu)法、頻譜法、模型方法和統(tǒng)計法是國內(nèi)外學(xué)者常用的基于數(shù)字圖像處理的紋理算法[1]。接下來對提取出來的特征進(jìn)行分類，進(jìn)而對腦電信號進(jìn)行識別。SVM支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)、貝葉斯、決策樹、ELM極限學(xué)習(xí)機(jī)[2]等方法通常用來進(jìn)行分類。

本文采用的是使用方差對腦電信號信息進(jìn)行特征提取，取得腦電的特征數(shù)據(jù)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新的突破，通過模擬人腦的視覺肌理對數(shù)據(jù)進(jìn)行特征的訓(xùn)練和識別，在圖像分類領(lǐng)域取得了更加顯著的效果。本文采用的深度信念網(wǎng)絡(luò)(Deep Belief Networks)是深度學(xué)習(xí)算法中的無監(jiān)督學(xué)習(xí)，是深度學(xué)習(xí)的典型方法。一層一層的受限玻爾茲曼機(jī) (Restricted Boltzmann Machines, RBM)組成了深度信念網(wǎng)絡(luò)，訓(xùn)練同樣也是一層一層進(jìn)行。近年來，深度學(xué)習(xí)應(yīng)用于對文本、聲音、圖像的識別，它具有識別率高、分類準(zhǔn)確的特點(diǎn)。實驗表明，采用方差和深度學(xué)習(xí)的方法對腦電信號進(jìn)行分類能夠得到更高的分類正確率，并且可以達(dá)到預(yù)期的目的。

1 基本理論

1.1 方差

在數(shù)理統(tǒng)計中常用的標(biāo)準(zhǔn)差表示精密度，標(biāo)準(zhǔn)偏差(簡稱標(biāo)準(zhǔn)差)或稱為均方誤差，用σ代表，表達(dá)式為

(1)

式(1)應(yīng)用于大量數(shù)據(jù)條件下(一般有30次以上測定)，這時，測定的平均值接近于真值，用μ表示，根式的分子表達(dá)各個測定數(shù)據(jù)的偏差的平方和，N是測定次數(shù)。方差代表各偏差平方和的平均值，用σ2表示。只有當(dāng)測定次數(shù)為無限多或者至少有30次以上時，所有的平均值稱為真值。但是，通常測定次數(shù)總是有限的，這樣，所得的平均值并不是真值，如果按式(1)去計算標(biāo)準(zhǔn)偏差就不合理[3-4]。

測定平均值與真值不相等，測定值與平均值之差同測定值與真值之差不相等。為要表示有限測定次數(shù)的精密度采用符號S代替σ，有限測定次數(shù)標(biāo)準(zhǔn)偏差的計算公式為

(2)

1.2 深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80～90年代經(jīng)歷過短暫的興盛，但由于當(dāng)時計算機(jī)發(fā)展存在很多局限性而逐漸衰落。2006年Hinton等人提出了深度信念網(wǎng)絡(luò)[7](Deep Belief Nets)，從此開創(chuàng)了深度學(xué)習(xí)新紀(jì)元。深度學(xué)習(xí)的深度信念網(wǎng)絡(luò)通常包括兩個階段：預(yù)訓(xùn)練階段和網(wǎng)絡(luò)調(diào)優(yōu)階段。

深度學(xué)習(xí)(Deep Learning)運(yùn)算機(jī)理是通過神經(jīng)網(wǎng)絡(luò)模擬人大腦結(jié)構(gòu)處理、學(xué)習(xí)信息的過程。經(jīng)過研究發(fā)現(xiàn)，哺乳動物的大腦在處理信息時采用的是分層機(jī)制，信息通過哺乳動物的感官器輸入哺乳動物的大腦，經(jīng)過大腦的每一層神經(jīng)元時，神經(jīng)元將表現(xiàn)特征的本質(zhì)信息提取出來再傳遞給下一層神經(jīng)元，最后得出結(jié)論[8]。深度學(xué)習(xí)就是還原哺乳動物處理、學(xué)習(xí)信息的過程，它由大量的神經(jīng)元組成，每層的輸入來自于更底層神經(jīng)元的輸出，通過觀測層與層之間的分布式特征進(jìn)行學(xué)習(xí)。深度學(xué)習(xí)帶來了一個全新的思維模式，并且在語音識別、人臉識別、文本分類等方面都取得了很好的成果，所以有人將它視為第三代神經(jīng)網(wǎng)絡(luò)。

由于傳統(tǒng)的梯度下降法會使多隱層訓(xùn)練效果不明顯。Hinton等人提出利用深度信念網(wǎng)絡(luò)的逐層貪婪學(xué)習(xí)方法[9]避免這一問題，并且具有很好的學(xué)習(xí)能力。在預(yù)訓(xùn)練階段，深度信念網(wǎng)絡(luò)是由許多個級聯(lián)的受限玻爾茲曼機(jī)組成。受限玻爾茲曼機(jī)模型[10]如圖1所示。

圖1 RBM的模型

深度信念網(wǎng)絡(luò)通過構(gòu)建多個這樣的無監(jiān)督RBM模型和一層有監(jiān)督的反向傳播BP神經(jīng)網(wǎng)絡(luò)組成的深度神經(jīng)網(wǎng)絡(luò)來挖掘不同腦電信號圖像特征，從而實現(xiàn)腦電信號的分類。RBM調(diào)節(jié)是整個系統(tǒng)中非常重要的一部分，每一個RBM模型共有兩層，分別是隱層h和可視層v。圖1中標(biāo)識的Wn×m作為連接可視層和隱層的權(quán)重矩陣。b(b1,b2,…,bn),c(c1,c2,…,cn)分別是可視層和隱層節(jié)點(diǎn)的偏移量。v(v1,v2,…,vn),h(h1,h2,…,hn)分別是可視層和隱層的狀態(tài)向量。RBM是一種基于能量的模型[11]，它的能量函數(shù)定義為

(3)

式中:θ=(W,b,c)，是參數(shù)的集合，參數(shù)確定后，RBM的歸一化因子為Z(θ)=∑v,he-E(v,h|θ)，此時基于能量函數(shù)，可以得到(v,h)的聯(lián)合概率分布：

(4)

隱層節(jié)點(diǎn)的條件概率為

p(hj=1|v)=δ(cj+∑iviwij).

(5)

可視層節(jié)點(diǎn)的條件概率為

p(vi=1|h)=δ(bi+∑jwijhj).

(6)

深度信念網(wǎng)絡(luò)的本質(zhì)是一種深層的非線性網(wǎng)絡(luò)結(jié)構(gòu)，其學(xué)習(xí)過程是經(jīng)過一層一層的神經(jīng)網(wǎng)絡(luò)對特征數(shù)據(jù)進(jìn)行特征挖掘?qū)崿F(xiàn)網(wǎng)絡(luò)訓(xùn)練，前一層的RBM訓(xùn)練完成將輸出重新輸入到下一層的RBM中，訓(xùn)練完成后繼續(xù)向下一層傳遞[12]。假設(shè)N是一個DBN系統(tǒng)，它包含n層(N1，N2,…,Nn)，如果分別用I，O表示輸入和輸出，那么網(wǎng)絡(luò)可以表示為：I→N1→N2→…→Nn→O，可以不斷地調(diào)整網(wǎng)絡(luò)中的參數(shù)，讓網(wǎng)絡(luò)中的輸出依舊是I，這樣就可以得到每一層的特征。DBN是一個概率生成模型，建立了觀測數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布。所以要求一個分布，在這個分布里，訓(xùn)練樣本的概率最大。訓(xùn)練RBM的目的就是要找到最合適的權(quán)值W。深度學(xué)習(xí)的網(wǎng)絡(luò)調(diào)節(jié)過程如圖2所示。

圖2 深度學(xué)習(xí)模型的調(diào)節(jié)過程

Hinton在2006年提出一種對比分歧算法，簡稱CD算法[9]。這種算法更加快速，它只需要迭代1次就可以準(zhǔn)確地獲得對模型的估計。這種算法先用訓(xùn)練數(shù)據(jù)初始化可視層，再用條件分布計算隱

層；再根據(jù)隱層用條件分布計算可視層，產(chǎn)生的結(jié)果就是對輸入的重構(gòu)。簡單來說，在訓(xùn)練階段，在系統(tǒng)的可視層會產(chǎn)生一個向量v，通過這個向量把值傳遞到隱層，然后隨機(jī)選擇可視層的輸入，用來嘗試重構(gòu)最開始的輸入信號，接著新的可視神經(jīng)激活單元會前向傳遞重構(gòu)隱層激活單元，最終獲得h。這些步驟就是Gibbs采樣[14]。更新權(quán)值是根據(jù)隱層激活單元和可視層輸入之間的相關(guān)性差別。根據(jù)CD算法：

ΔWij=ε(〈vihj〉data-〈vihj〉recon).

(7)

式中：用ε表示學(xué)習(xí)率，樣本的數(shù)據(jù)期望用〈vihj〉data表示，重構(gòu)后可視層的數(shù)據(jù)期望用〈vihj〉recon表示。

在完成以上步驟確定網(wǎng)絡(luò)的各個權(quán)值后，進(jìn)行網(wǎng)絡(luò)微調(diào)階段，即在DBN的最后一層用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行一次有監(jiān)督學(xué)習(xí)，將RBM的輸出特征向量作為它的輸入特征向量。BP網(wǎng)絡(luò)可以利用反向傳播網(wǎng)絡(luò)將錯誤信息自頂向下調(diào)整整個網(wǎng)絡(luò)，它接受最頂層RBM的輸出進(jìn)行輸入，接著微調(diào)每一層RBM的權(quán)重，這樣的好處是不會使結(jié)果局部最優(yōu)，而是可以提高整個網(wǎng)絡(luò)的分類性能。這個過程就是深度信念網(wǎng)絡(luò)的調(diào)優(yōu)。

深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過程可以歸納如下：

1)用貪婪算法訓(xùn)練第一個RBM網(wǎng)絡(luò)；

2)保持上一個經(jīng)過訓(xùn)練的RBM的權(quán)值和偏移量不變，并將結(jié)果輸入到下一層RBM中；

3)重復(fù)1)、2)步驟多次；

在軟件“審批”功能下，使用者可以根據(jù)實際情況設(shè)計表單內(nèi)容。同時，軟件還支持將審批內(nèi)容統(tǒng)一生成表格文件，便于匯總。這一功能將有助于實現(xiàn)學(xué)生信息采集工作高效率完成。①信息采集工作的主體為學(xué)生本人。本人信息的填報極大地降低了錯誤發(fā)生的可能性。②通過審批記錄能夠準(zhǔn)確定位未填寫學(xué)生姓名，實現(xiàn)動態(tài)監(jiān)管，保證在時間節(jié)點(diǎn)內(nèi)完成。③軟件形成的表單可直接編輯整理，便于對接學(xué)校的學(xué)生管理系統(tǒng)。

4)進(jìn)入網(wǎng)絡(luò)調(diào)優(yōu)階段；

5)訓(xùn)練結(jié)束，最終確定網(wǎng)絡(luò)各層節(jié)點(diǎn)的權(quán)值和偏移量。

2 實驗過程及結(jié)果2.1 實驗過程

本實驗采集兩類不同的腦電信號并進(jìn)行分類，分別是眨眼和不眨眼時的腦電波RAW_DATA數(shù)據(jù)，如圖3所示。從圖中可以明顯地看出不眨眼的波動?。徽Ｑ塾忻黠@的肉眼可見的波動。在實驗前，分別選擇不眨眼100個樣本，眨眼100個樣本，并對樣本進(jìn)行預(yù)處理。

圖3 兩種不同的腦電信號

選擇好樣本后，用上文提到的方差進(jìn)行數(shù)據(jù)處理，其窗口選擇大小為10。得到樣本特征后便可以用深度學(xué)習(xí)的深度信念網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練和測試并得到實驗結(jié)果。如圖4所示為基于方差和深度學(xué)習(xí)的腦電信號分類具體的實驗流程。

圖4 構(gòu)造深度學(xué)習(xí)分類器流程

實驗過程中，用方差對所選的樣本進(jìn)行特征提取，特征提取后，將一部分?jǐn)?shù)據(jù)作為測試數(shù)據(jù)，一部分?jǐn)?shù)據(jù)留做檢驗精度。接下來用深度學(xué)習(xí)算法對提取出來的特征數(shù)據(jù)進(jìn)行訓(xùn)練和測試，實驗過程中，選用眨眼和不眨眼的樣本200個，分成兩組：一組作為訓(xùn)練數(shù)據(jù)，一組作為測試數(shù)據(jù)進(jìn)行特征提取，共有兩類數(shù)據(jù)，初始化參數(shù)，網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)分別為1-500-300-60-2。從圖5可以看出，隨著迭代次數(shù)的增加，作為評估受限玻爾茲曼機(jī)的指標(biāo)值不斷遞減，當(dāng)?shù)螖?shù)為30時，逐漸接近于0.02后趨于平緩，說明受限玻爾茲曼機(jī)逐漸達(dá)到了平穩(wěn)狀態(tài)。

圖5 DBN在腦電信號數(shù)據(jù)集上的收斂

為了對比深度學(xué)習(xí)網(wǎng)絡(luò)的分類效果，選用相同的訓(xùn)練樣本和測試樣本并用不同的分類算法進(jìn)行分類，分別使用樸素貝葉斯[13]、支持向量機(jī)進(jìn)行實驗。從圖6可以看出，SVM算法相對較差，樸素貝葉斯分類效果較好，但是效果都不如DBN深度學(xué)習(xí)網(wǎng)絡(luò)，說明DBN在腦電信號分類中分類效果顯著。

在用相同的樣本并用4個分類算法分別進(jìn)行實驗時，同時記錄下每個分類算法的訓(xùn)練時間，由于當(dāng)選用不同的網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)和迭代次數(shù)時，訓(xùn)練時間會不同，這里的DBN網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)為1-500-300-60-2，迭代次數(shù)為50次，此時分類效果可以達(dá)到最優(yōu)?？梢缘玫奖?中的結(jié)果，從結(jié)果可以看出，DBN的訓(xùn)練時間相比其他幾個分類算法更長一些。但是從分類效果上來說，要比其他算法更勝一籌。DBN以犧牲時間為代價提高了分類精度。

圖6 3種分類算法正確率對比

分類算法訓(xùn)練時間/s正確率/%beyes11098SVM31096DBN41584100

分別另外選取50個樣本用beyes、SVM對其進(jìn)行分類，測出眨眼樣本和不眨眼樣本的測試誤差，得到如表2所示的數(shù)據(jù)。

表2 腦電信號分類的結(jié)果對比

由表2可以看出,4種分類算法眨眼的正確率明顯高于不眨眼，這是由兩類樣本的自身特點(diǎn)決定的，眨眼特征鮮明，所以分類效果好。但是DBN分類效果較穩(wěn)定，證明DBN分類效果更好。

接下來隨機(jī)抽取眨眼、不眨眼各10個樣本再次用不同的算法對其進(jìn)行分類，可以得到圖7中的正確率走勢圖，依舊可以看出DBN網(wǎng)絡(luò)正確率最高，再次證明了深度學(xué)習(xí)算法的穩(wěn)定性，分類效果明顯[15]。

圖7 20個樣本不同算法正確率對比

3 結(jié)束語

本文提出用方差和深度學(xué)習(xí)算法對腦電信號進(jìn)行分類，用方差對腦電信號進(jìn)行特征提取，可以節(jié)省計算機(jī)硬件的運(yùn)算和存儲消耗，將特征矩陣輸入到DBN網(wǎng)絡(luò)，用深度學(xué)習(xí)算法對其訓(xùn)練和分類。經(jīng)過試驗，相比于樸素貝葉斯和SVM分類器，用本文提出的方法能夠?qū)崿F(xiàn)對腦電信號更準(zhǔn)確的分類。所以，將方差和深度學(xué)習(xí)運(yùn)算法應(yīng)用在腦電信號分類中，取得了明顯的效果，為腦電信號的分類開拓了新的視野。

[1] 徐一清.腦電信號識別算法研究進(jìn)展[J].大眾科技,2010,(132):145-146.

[2] 陳宇，王明月，許莉薇.基于DE-ELM的林業(yè)信息文本分類算法[J].計算機(jī)工程與設(shè)計，2015，36(9):2412-2431.

[3] 楊小勇. 方差分析法淺析——單因素的方差分析[J]. 實驗科學(xué)與技術(shù),2013(1):41-43.

[4] 黃創(chuàng)綿,蔡汝山. 單因素方差分析方法在環(huán)境試驗中的應(yīng)用[J]. 電子產(chǎn)品可靠性與環(huán)境試驗,2010(6):21-26.

[5] 張繼紅,郭世貞. 方差分析平方和分解分析方法的一種新形式——數(shù)理統(tǒng)計方差分析教學(xué)的一種新方法[J]. 數(shù)學(xué)的實踐與認(rèn)識,2008(2):150-155.

[6] 胡慶軍,吳翊. 主方差分析方法[J]. 國防科技大學(xué)學(xué)報,2000(2):117-120.

[7] HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionlity of data with neuralnetworks[J].Science,2006,313(5786):504-507.

[8] LEE T S,MUMFORD D.Hierarchical Bayesian inference in the visual cortex[J].JOSA A,2003,20(7):1434-1448.

[9] HINTON G E,OSINDERO S,TEH Y.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527-1554.

[10] 孫志軍，薛磊，許陽明.基于深度學(xué)習(xí)的邊際Fisher分析特征提取算法[J].電子與信息學(xué)報，2013，35(4):805-811.

[11] 陳翠平.基于深度信念網(wǎng)絡(luò)的文本分類算法[J].計算機(jī)系統(tǒng)應(yīng)用，2015，24(2):121-126.

[12] 朱少杰.基于深度學(xué)習(xí)的文本清高分類研究[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2014.

[13] 周屹.基于Naive Bayes的文本分類器的設(shè)計與實現(xiàn)[J]. 黑龍江工程學(xué)院學(xué)報(自然科學(xué)版),2007,21(2):28-30.

[14] BENGIO Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.

[15] 魯錚.基于T-RBM算法的DBN分類網(wǎng)絡(luò)的研究[D].長春:吉林大學(xué)，2014.

EEG detection classification algorithm based onvariance and deep learning algorithm

YIN Xin, CHEN Yu

(School of Information and Computer Science, Northeast Forestry University, Harbin 150040, China)

In order to improve the problem that the traditional EEG classification is not accurate and the classification is difficult, this paper proposes a model based on variance and depth learning to classify the EEG signals. Aiming at the problem of low recognition rate in EEG signal, this paper uses the variance to extract the feature of EEG signal, combined with a typical method of depth learning-depth belief network to train the extracted data and construct classifier. The EEG signal is more efficient classification. Experiments show that compared with SVM support vector machine and Naive Bayesian classification algorithm, this model can be more accurately classified.

EEG detection classification;variance; depth learning algorithm; classifier

10.19352/j.cnki.issn1671-4679.2017.06.009

2017-06-29

中央高校基本科研業(yè)務(wù)費(fèi)專項資金項目(2572015DY07)；國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃(201710225128)；哈爾濱市科技創(chuàng)新人才專項資金項目(2013RFQXJ100);國家自然科學(xué)基金資助項目(61300098)

殷 盺(1996-)，女，碩士研究生，研究方向：圖像處理；模式分類.

TP181

A

1671-4679(2017)06-0042-06

[責(zé)任編輯：郝麗英]