丑遠婷 邱天爽 鐘明軍

(大連理工大學(xué)電子信息與電氣工程學(xué)部，遼寧 大連 116024)

引言

近年來，基于P300事件相關(guān)電位的腦機接口(brain computer interface, BCI)系統(tǒng)得到廣泛的重視和應(yīng)用。它通過分析處理在不同視覺刺激下人體腦部產(chǎn)生的腦電(electroencephalography, EEG)數(shù)據(jù)，檢測P300事件相關(guān)電位，進而轉(zhuǎn)換成相應(yīng)的指令來實現(xiàn)對外部設(shè)備的操控。其中，P300事件相關(guān)電位的分類識別在BCI系統(tǒng)中占據(jù)著至關(guān)重要的地位。在字符拼寫腦機接口系統(tǒng)中，P300事件相關(guān)電位是人體接受視覺刺激后在腦部頭皮中可檢測到的潛伏期約300 ms左右的正向電位。由于其波幅小、信噪比低，常常淹沒在自發(fā)腦電和偽跡干擾中，因此P300事件相關(guān)電位不易被檢測。高效準確地從EEG數(shù)據(jù)中分類識別出P300事件相關(guān)電位，對于BCI系統(tǒng)的正常運作具有重要的意義。

近年來，文獻中報道了較多P300事件相關(guān)電位的分類識別方法。其中，文獻[1]介紹了早期的分類方法，這些方法主要基于信號的時域特征來對信號進行處理，通常將固定時間長度窗口內(nèi)提取到的EEG波形的最大幅度差、波形面積以及待識別信號與P300事件相關(guān)電位模板信號的相關(guān)系數(shù)作為分類特征。早期研究方法僅僅考慮到時域信息而忽略頻域等方面的信息，分類方法比較簡單，因而對于P300信號識別正確率僅有80%。更多的研究者致力于EEG信號的特征提取方式和分類模型的研究。Liu等利用頻帶功率和逐步判別分析(stepwise discriminant analysis，SWDA)計算的P300幅值共同作為分類特征，并使用受試者工作特征(receiver operating characteristic,ROC)曲線下的面積(area under curve,AUC)作為度量標準[2]。在自定義的刺激范式下，其AUC可達0.981；但由于計算頻帶功率需要的信號段較長，因此比較耗時。Kaper等提出了一種基于支持向量機(support vector machine, SVM)的P300信號識別方法，直接將采集到的EEG信號作為特征來訓(xùn)練支持向量機，其P300電位的識別正確率可達84.5%[3]。為了提高單個支持向量機的字符識別正確率，Rakotomamonjy提出一種基于集成支持向量機的P300識別方法，雖然識別精度有所提高，但是計算復(fù)雜度高，加大了分類訓(xùn)練難度和時間[4]。Li將經(jīng)過獨立成分分析(independent component analysis, ICA)去除偽跡后的數(shù)據(jù)送入SVM分類器中提高分類效果[5]，雖然經(jīng)過ICA預(yù)處理后的信號更容易準確識別，但是在數(shù)據(jù)處理上需要消耗一定的時間。隨著人工智能的飛速發(fā)展，由于深度學(xué)習(xí)強大的特征提取能力，使其在圖像、語音、生物信號處理等領(lǐng)域中具有廣泛的應(yīng)用[6-7]。Cecotti首次實現(xiàn)了用深度學(xué)習(xí)對P300事件相關(guān)電位的分類[8]，然而實驗次數(shù)為10次時，其字符的識別正確率還達不到90%。在此基礎(chǔ)之上，Liu在訓(xùn)練時加上batch normalization技巧[9]，很大程度地提高了網(wǎng)絡(luò)對P300事件相關(guān)電位識別正確率。在實驗次數(shù)為15次時，字符識別正確率可達98%；但是在實驗次數(shù)較少的時候，其識別結(jié)果仍有待提高。

綜上所述，目前大多數(shù)算法的P300事件相關(guān)電位分類正確率有待提高。筆者基于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，對網(wǎng)絡(luò)的結(jié)構(gòu)進行研究改進，在網(wǎng)絡(luò)的第二層上用3個并行結(jié)構(gòu)的卷積層代替網(wǎng)絡(luò)中單個串行連接的卷積層來處理數(shù)據(jù)，提取到數(shù)據(jù)的多樣化特征，進而使用組合后的特征實現(xiàn)P300信號的分類，并同時改變對數(shù)據(jù)的預(yù)處理方式，使得字符識別的正確率得到一定提高。

1 實驗方法

1.1 實驗

1.1.1實驗過程

P300事件相關(guān)電位通常采用oddball刺激范式誘發(fā)得到。在P300拼寫范式中，受試者面前有一個由36個字符組成的視覺刺激器(見圖1)，它將常用的36個字符排列成一個6行×6列的矩陣。在實驗前，受試者被告知視覺刺激器中某一指定字符為目標字符，每次實驗隨機指定字符。在實驗過程中，受試者需要緊盯視覺刺激器中的目標字符位置，同時視覺刺激器中的任意一行或列以固定頻率隨機閃爍。若目標字符所在行或列發(fā)生閃爍時，受試者會受到視覺刺激，并在接受刺激300 ms后在大腦頭皮中檢測到正向的P300事件相關(guān)電位(P300 event related potential, P300 ERP)；若非目標字符所在行或列發(fā)生閃爍，則在人腦頭皮中檢測到的EEG數(shù)據(jù)是非P300事件相關(guān)電位(Non-P300 event related potential, N-P300 ERP)。每次實驗會將所有行和列隨機閃爍一次，共計12次，其中有2次包含目標字符。為保證所獲取信號的質(zhì)量，每次實驗之間都有一定的時間間隔，提供給受試者休息時間，以防產(chǎn)生視覺疲勞。在字符拼寫器完成字符識別的過程中，如果能夠確定當前采集到的腦電信號是P300 ERP，再根據(jù)當前EEG信號的所在行和列，就可以確定出目標字符，進而完成字符的拼寫，達到人體與外界溝通交流的目的。

1.1.2EEG數(shù)據(jù)

圖2 電極分布Fig.2 Electrode distribution

圖1 視覺刺激器Fig.1 Visual stimulator

實驗數(shù)據(jù)源于Wadsworth研究中心NYS Department of Health 提供的 BCI Competition III A組競賽數(shù)據(jù)。該實驗使用的刺激范式簡述如下：視覺刺激器以頻率5.7 Hz隨機閃爍其行或列，即每次閃爍持續(xù)100 ms，中間間隔75 ms進入下一次閃爍，一次實驗閃爍12次，每次實驗對應(yīng)同一個目標字符，持續(xù)時間2.5 s。每個目標字符重復(fù)實驗15次。實驗通過一個簡易便攜的腦機接口研究開發(fā)平臺BCI2000獲取到EEG數(shù)據(jù)，使用符合10/20國際標準的64導(dǎo)聯(lián)記錄EEG數(shù)據(jù)，電極為 Ag/AgCl 材質(zhì)，電極阻抗不超過5 kΩ，其放置位置如圖2所示。采集設(shè)備的采樣頻率為240 Hz，每個數(shù)據(jù)樣本都以刺激時刻0 ms開始，到1000 ms結(jié)束。將獲取的EEG數(shù)據(jù)經(jīng)過0.1～60 Hz的帶通濾波處理后得到A組數(shù)據(jù)，這樣每次刺激下的樣本數(shù)據(jù)的大小為240×64，其中240代表單個樣本數(shù)據(jù)時域上的采樣點數(shù)，64代表單個樣本數(shù)據(jù)的通道數(shù)。競賽中將A組數(shù)據(jù)分成訓(xùn)練集和驗證集，其中分別含有85和100個字符，樣本量分別為15 300(12×15×85=15 300)和18 000(12×15×100=18 000)。關(guān)于數(shù)據(jù)的詳細介紹可參見文獻[10]。

1.2 方法

1.2.1數(shù)據(jù)預(yù)處理

為了更好地分類識別P300 ERP，筆者在頻域和時域上對數(shù)據(jù)進行預(yù)處理。在頻域處理中，由于P300 ERP頻域特性主要分布在0.1～20 Hz，而采集到的EEG數(shù)據(jù)會受到工頻干擾和偽跡干擾的影響，因此將EEG數(shù)據(jù)先后通過一個3階截止頻率為0.1 Hz的高通濾波器和一個6階截止頻率為20 Hz的低通濾波器。在時域處理中，由于P300 ERP在視覺刺激300 ms后產(chǎn)生，故將EEG數(shù)據(jù)中的每通道數(shù)據(jù)都在時域上截斷，取刺激后0～667 ms數(shù)據(jù)(即數(shù)據(jù)長度為160個采樣點)來處理分析。這樣，每次刺激后得到的EEG數(shù)據(jù)可以看成一個160×64的矩陣。在BCI Competition Ⅲ的實驗方案中，由于每次實驗中所有行和列都會遍歷閃爍一次，而包含目標字符的行與列只有2次，故EEG數(shù)據(jù)中含有P300 ERP和N-P300 ERP的樣本數(shù)據(jù)量分別為2 550(2×15×85=2 550)和12 750(10×15×85=12 750)，這會造成訓(xùn)練數(shù)據(jù)中P300 ERP和N-P300 ERP的數(shù)據(jù)量不平衡。為了保持訓(xùn)練過程中兩類數(shù)據(jù)的平衡和多樣性，筆者參考文獻[11]中的處理技巧，依據(jù)誘發(fā)電位的鎖時特性，對現(xiàn)有的P300 ERP樣本數(shù)據(jù)量進行一次疊加平均計算，合成新的用于訓(xùn)練的P300 ERP，這樣合成后P300 ERP與N-P300 ERP的數(shù)據(jù)量等同，總訓(xùn)練集樣本量為25 500。同時，為了提高P300誘發(fā)電位識別正確率，對采集到的EEG腦電信號xij做零均值、單位方差的歸一化處理，得到

(1)

由于本研究采用有監(jiān)督的網(wǎng)絡(luò)訓(xùn)練方式，故需構(gòu)造與EEG數(shù)據(jù)相對應(yīng)的監(jiān)督信號y。針對一個二值分類的問題，網(wǎng)絡(luò)輸出代表屬于P300 ERP信號的概率，因此按照下式確定監(jiān)督信號的取值，將(xij,y)代入設(shè)計的網(wǎng)絡(luò)進一步訓(xùn)練，有

(2)

1.2.2卷積神經(jīng)網(wǎng)絡(luò)

作為一種多層神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)憑借其強大的特征提取能力，成功地應(yīng)用在計算機視覺、圖像處理等領(lǐng)域。隨著研究者的不斷革新，卷積神經(jīng)網(wǎng)絡(luò)由最初簡單的LeNet5網(wǎng)絡(luò)[12]演變出各種強大的網(wǎng)絡(luò)，如VGG、AlexNet、GoogleNet等。其中，Inception v1網(wǎng)絡(luò)是一種結(jié)構(gòu)與LeNet5網(wǎng)絡(luò)不同的卷積神經(jīng)網(wǎng)絡(luò)[13]，圖3對比展示了兩者的部分結(jié)構(gòu)。Inception v1網(wǎng)絡(luò)是不同的卷積層以并聯(lián)的方式連接在一起，這樣在構(gòu)建網(wǎng)絡(luò)時會平衡網(wǎng)絡(luò)的深度和寬度，使得流入網(wǎng)絡(luò)的信息最大化，更有利于網(wǎng)絡(luò)特征的提取，因此在圖像分類問題中具有更佳的效果。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)對比。 (a) Inception v1網(wǎng)絡(luò)； (b) LeNet5網(wǎng)絡(luò)Fig.3 Comparison of network architecture. (a) Inception v1 network; (b) LeNet5 network

圖4 改進的網(wǎng)絡(luò)架構(gòu)CNN-IEFig.4 The improved network architecture CNN-IE

1.2.3改進的網(wǎng)絡(luò)架構(gòu)

本研究融合了Inception v1網(wǎng)絡(luò)和EEGNet網(wǎng)絡(luò)[14]，提出了一種改進的網(wǎng)絡(luò)架構(gòu)(命名為CNN-IE網(wǎng)絡(luò))，如圖4所示。

該網(wǎng)絡(luò)深度為7層，分別命名為L1～L7，具體改進的網(wǎng)絡(luò)架構(gòu)描述如下：

1) L1：輸入層，載入待識別的EEG腦電信號數(shù)據(jù)，將xij在本研究的后續(xù)實驗中取i=160，j=64，并以張量的形式傳遞給下層網(wǎng)絡(luò)。

2) L2：卷積層，由一個卷積核大小與信號通道數(shù)量相等的多個卷積核組成。這種操作相當于對輸入信號的所有通道進行空域濾波，類似于加權(quán)疊加平均和共同空間模式[15]等傳統(tǒng)的信號統(tǒng)計處理方法，可以有效提高信號的信噪比，除去信號在空間上的冗余信息。

3) L3：卷積層，由3個具有不同卷積核大小的卷積層并行排列組成，每個卷積層的卷積核數(shù)量相同。對同一輸入采用不同尺度的卷積核能提取到不同信息，增加特征的復(fù)雜度。本研究對L2層空域濾波后的信號進行不同時間尺度上的時域濾波，相當于在不同時間段內(nèi)提取數(shù)據(jù)特征，進而提取多樣化信息。

4) L4：連接層，將L3層不同濾波器尺度下提取到的特征圖堆疊起來，主要用于整合提取到的特征。

5) L5：池化層，由一個尺寸為2的池化濾波器組成特征池化層。本研究將L4層得到的特征圖在其數(shù)量上做最大池化。該池化操作有利于減小網(wǎng)絡(luò)的參數(shù)，既可以加快計算，也可以防止小數(shù)量訓(xùn)練樣本過擬合的問題。

6) L6：卷積層，是一個常用的普通卷積層。用10個大小為5的卷積核，對L5層得到的特征繼續(xù)進行卷積濾波操作，提取更抽象深層且有利于分類的特征，同時減少最后連接全連接層的網(wǎng)絡(luò)參數(shù)。

7) L7：全連接層，輸出節(jié)點為1。將L6層提取的特征進一步加權(quán)計算，得到當前輸入信號被網(wǎng)絡(luò)判斷為P300 ERP的概率P，選定判別閾值為0.5，若當前網(wǎng)絡(luò)輸出概率不小于0.5，則判別當前信號為P300 ERP；否則，判別當前信號為N-P300 ERP。其中，判斷結(jié)果E表示如下：

(3)

表1 網(wǎng)絡(luò)參數(shù)設(shè)置Tab.1 Network parameter settings

本研究采用二值交叉熵代價函數(shù)[16]作為損失函數(shù)，用以衡量網(wǎng)絡(luò)的分類誤差。采用正則化思想[17]，通過在損失函數(shù)中添加刻畫網(wǎng)絡(luò)復(fù)雜度的指標來避免過擬合問題。對L2層和L7層采用l2正則化方法，以降低過擬合的風(fēng)險，同時將l1正則化方法引入L2層，使得參數(shù)變得更加稀疏，達到類似特征選取的功能。其中，l1=0.001，l2=0.001。為使網(wǎng)絡(luò)獲得更好的魯棒性，網(wǎng)絡(luò)采用dropout策略[18]。在L1層和L5層后使用dropout訓(xùn)練技巧，將對應(yīng)層中的節(jié)點以固定概率P=0.2隨機丟棄，訓(xùn)練過程中相當于多個網(wǎng)絡(luò)組合，以減輕網(wǎng)絡(luò)過擬合問題。同時，在設(shè)計網(wǎng)絡(luò)時，通過對L3層中并行卷積層的數(shù)量以及卷積核的大小進行增減，以確定最佳的網(wǎng)絡(luò)結(jié)構(gòu)。為驗證L3層中并行卷積層的數(shù)量對字符識別正確率的影響，采用將并行卷積層的數(shù)量分別設(shè)定為2、3、4層。另外，在討論卷積核大小對字符識別正確率的影響時，本研究設(shè)定了3組網(wǎng)絡(luò)。設(shè)定Ⅰ組網(wǎng)絡(luò)的L3層中并行卷積層的卷積核大小分別為(3,1),(5,1)以及(10,1)，Ⅱ組網(wǎng)絡(luò)的L3層中并行卷積層的卷積核大小分別為(5,1),(10,1)以及(15,1)，Ⅲ組網(wǎng)絡(luò)的L3層中并行卷積層的卷積核大小分別為(10,1),(15,1)以及(20,1)。

1.3 分類識別

本研究對上述構(gòu)建的網(wǎng)絡(luò)進行有監(jiān)督訓(xùn)練。網(wǎng)絡(luò)的主要參數(shù)設(shè)置如表1所示，其中批量處理數(shù)據(jù)樣本數(shù)batchsize為64。采用收斂速度快且優(yōu)化效果佳的Adam優(yōu)化方法[19]更新參數(shù)，在默認情況下，β1=0.9,β2=0.999,ε=10-8。每次實驗中，所有行和列都會閃爍一次，產(chǎn)生相應(yīng)的EEG數(shù)據(jù)，數(shù)據(jù)經(jīng)網(wǎng)絡(luò)計算輸出對應(yīng)的概率值。比較這些概率值大小，進而判斷出誘發(fā)P300 ERP的行號和列號。然而實際中，一次實驗并不能準確地判斷目標字符的位置。本研究累加n次實驗中網(wǎng)絡(luò)的輸出概率P(k,i)，其中k表示實驗序號，i是對應(yīng)的行號或列號。搜索概率最大的列和行即為目標字符的位置(x,y)，進而計算網(wǎng)絡(luò)對字符的識別正確率，有

(4)

1.4 算法實施與評價

本研究使用競賽中A組數(shù)據(jù)，其中每個字符都進行15次重復(fù)實驗。選擇含有85個字符的EEG數(shù)據(jù)作為訓(xùn)練集進行訓(xùn)練網(wǎng)絡(luò)，含有100個字符的EEG數(shù)據(jù)作為測試集以驗證算法。在驗證時，先將每次實驗獲得的腦電數(shù)據(jù)輸入到網(wǎng)絡(luò)中，經(jīng)網(wǎng)絡(luò)計算輸出當前實驗輸入信號屬于P300 ERP的概率，然后依據(jù)式(4)來計算不同實驗次數(shù)條件下相對應(yīng)的字符，并與目標字符比較，計算其字符識別正確率如下：

字符識別正確率=正確預(yù)測的字符數(shù)/字符總數(shù)

(5)

為進一步描述網(wǎng)絡(luò)對字符識別速度，采用計算信息傳輸率(information transfer rate, ITR)[20]來評價，其定義為

(6)

式中：Pc為字符識別正確率；N表示待識別的字符種類數(shù)，即視覺刺激器上的字符數(shù)，總計36種；通常意義下，T是識別一個字符所需時間，min。

2 結(jié)果

表2 不同實驗次數(shù)下字符識別正確率Tab.2 Correct rate of character recognition under different experiment times %

圖5給出了當并行卷積層的數(shù)量分別為2、3、4層時，不同實驗次數(shù)條件下的字符識別正確率?？梢钥闯觯敳⑿芯矸e層層數(shù)為3層時，可取得更好的結(jié)果。初步分析，當層數(shù)較少時，網(wǎng)絡(luò)提取特征的能力有所欠缺；當層數(shù)較多時，網(wǎng)絡(luò)較為復(fù)雜，可能會造成一定程度的過擬合。

圖5 并行卷積層數(shù)量不同時，字符識別正確率與實驗次數(shù)關(guān)系Fig.5 The relation between correct character recognition rate and experiment times when the number of parallel convolution layers is different

針對卷積核大小的選擇問題，一般來說，小的卷積核提取到的特征更加細膩，但是P300 ERP從產(chǎn)生到消失具有一定的時間范圍，故卷積核較小時網(wǎng)絡(luò)計算得到的時域特征意義不大，而較大的卷積核導(dǎo)致計算復(fù)雜度迅速增加。圖6給出了3組不同卷積核大小時對應(yīng)的字符識別正確率。綜合各種因素，進而確定最佳的卷積層數(shù)與卷積核大小如表1所示。

圖6 并行卷積層卷積核大小不同時，字符識別正確率與實驗次數(shù)關(guān)系Fig.6 The relationship between correct character recognition rate and the number of experiments when convolution kernels′ size in the parallel convolution layer is different

表2展示相同字符在不同實驗次數(shù)下利用CNN-IE網(wǎng)絡(luò)計算得到的字符識別正確率，并與文獻[9]中BN3網(wǎng)絡(luò)和文獻[8]中CNN-1網(wǎng)絡(luò)所得到的實驗結(jié)果進行對比?？梢钥闯?，雖然在實驗次數(shù)低于7次的情況下本研究的結(jié)果稍遜于文獻[9]的結(jié)果，但是在實驗次數(shù)為7～15次時，CNN-IE網(wǎng)絡(luò)的字符識別正確率的均值±方差為90%±6%，明顯優(yōu)于BN3和CNN-1的89%±7%和88%±7%的結(jié)果。在實驗次大于11次時，其字符識別正確率均在95%以上，表明了CNN-IE網(wǎng)絡(luò)具有優(yōu)良的識別正確率，可望在BCI系統(tǒng)應(yīng)用中得到較好的結(jié)果。

圖7給出了在不同實驗次數(shù)下3種網(wǎng)絡(luò)計算得出信息傳輸速率。對比可以看出，雖然CNN-IE網(wǎng)絡(luò)在信息傳輸速率方面稍遜于BN3網(wǎng)絡(luò)，但是在大部分實驗次數(shù)條件下，都可以取得每分鐘10 bit以上的信息傳輸速率，具有一定的應(yīng)用價值。

圖7 不同實驗次數(shù)下3種網(wǎng)絡(luò)的信息傳輸速率Fig.7 The information transmission rates of the three networks under different experiment times

3 討論與結(jié)論

本研究的主要內(nèi)容是利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)BCI系統(tǒng)中P300事件相關(guān)電位的分類識別。不同于傳統(tǒng)的統(tǒng)計信號處理方式，本研究并沒有借助常用的EEG信號處理算法搜尋適合分類的特征，而是依據(jù)卷積神經(jīng)網(wǎng)絡(luò)強大的特征提取和組合能力構(gòu)造性能較好的分類器，進而在不同實驗次數(shù)下提升字符識別正確率。而卷積神經(jīng)網(wǎng)絡(luò)的分類性能取決于數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計兩個方面，本研究的主要工作集中在數(shù)據(jù)預(yù)處理和網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計上。在數(shù)據(jù)預(yù)處理中，充分利用競賽中的訓(xùn)練數(shù)據(jù)，采用一次疊加平均的方式擴增訓(xùn)練樣本中數(shù)量較少的P300信號，在保證擴增的數(shù)據(jù)接近真實數(shù)據(jù)的基礎(chǔ)上使訓(xùn)練數(shù)據(jù)多樣化，避免網(wǎng)絡(luò)過擬合。在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計和參數(shù)設(shè)置上，在EEGNet網(wǎng)絡(luò)的基礎(chǔ)之上，將網(wǎng)絡(luò)中串行的第二個卷積層改成多個并行結(jié)構(gòu)的卷積層，即使用多尺度的卷積濾波器提取網(wǎng)絡(luò)底層的信息，提升網(wǎng)絡(luò)的特征提取能力。從表2中可以看出，相比文獻[8-9]所提出的多個卷積層串行連接的網(wǎng)絡(luò)，本研究所使用的部分卷積層并行連接的結(jié)構(gòu)能在減少實驗次數(shù)的條件下(實驗次數(shù)為6～15次)，提高字符的識別正確率。在實驗次數(shù)為10次以上時，其字符識別正確率均能達到90%以上，其性能均優(yōu)于BN3網(wǎng)絡(luò)和CNN-1網(wǎng)絡(luò)。在研究的過程中，為獲得分類性能較好的分類器，對不同參數(shù)設(shè)置的網(wǎng)絡(luò)進行實驗。結(jié)果表明，在一定數(shù)量的訓(xùn)練樣本下，網(wǎng)絡(luò)識別正確率并不與網(wǎng)絡(luò)的復(fù)雜度成正比。單一的網(wǎng)絡(luò)可能存在欠擬合的情況，如在并行卷積網(wǎng)絡(luò)層數(shù)較少和濾波器參數(shù)較小時，網(wǎng)絡(luò)不能夠很好地反映數(shù)據(jù)的特點，造成訓(xùn)練和測試數(shù)據(jù)中字符識別正確率較低；而太復(fù)雜的網(wǎng)絡(luò)會造成過擬合的情況，如在并行卷積層數(shù)較多和濾波器參數(shù)較大時，訓(xùn)練數(shù)據(jù)的分類情況好，但測試數(shù)據(jù)的泛化能力有所降低。通過大量的對比實驗，本研究確定最佳的網(wǎng)絡(luò)結(jié)構(gòu)。今后可利用更多可視化技術(shù)來輔助網(wǎng)絡(luò)的建模和優(yōu)化工作，力爭在實驗次數(shù)較少時提高字符識別正確率。

雖然在滿足一定實驗次數(shù)條件下，本研究的字符識別正確率有所提高，但是僅采用腦機接口競賽數(shù)據(jù)進行離線分析，而在線BCI系統(tǒng)中，信號采樣、處理和分析以及輸出控制都要求是實時實現(xiàn)的，系統(tǒng)的實時性取決于硬件和軟件算法的合理搭配以及實驗范式的設(shè)計。本研究的主要工作是針對信號的處理和分析，因此在實驗范式和軟硬件搭建系統(tǒng)固定的條件下，對信號的處理和分析所消耗的時間進行了簡單的分析。當實驗次數(shù)為15次時，在裝有GTX1080顯卡的主機上，本算法分類識別100個字符約需2 s的時間，即判斷一個字符需要約20 ms的時間。另外，實驗范式中產(chǎn)生一個字符的測試數(shù)據(jù)用時34 s，識別一個字符的時間遠遠小于產(chǎn)生相對應(yīng)數(shù)據(jù)的時間。故在特定的刺激范式和性能較好的系統(tǒng)硬件配置下，本研究提出的算法有望走向?qū)崟r在線腦機接口系統(tǒng)。筆者后續(xù)也將以如何減少樣本數(shù)據(jù)的通道數(shù)、進而減少網(wǎng)絡(luò)規(guī)模和計算量為主要研究內(nèi)容，提高網(wǎng)絡(luò)的運行速度，使得本算法能夠應(yīng)用于在線系統(tǒng)中。

為提高P300事件相關(guān)電位的識別正確率，本研究結(jié)合經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，提出一種適用于EEG數(shù)據(jù)處理的網(wǎng)絡(luò)結(jié)構(gòu)CNN-IE。通過將傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中的1個串行連接的卷積層改成3個并行連接的卷積層，實現(xiàn)在時域上對信號的多尺度分析，進而提升網(wǎng)絡(luò)特征提取能力。同時，結(jié)合數(shù)據(jù)擴增和濾波等預(yù)處理操作，有效提高了該網(wǎng)絡(luò)對字符分類識別的正確率。后續(xù)的研究工作將探究本方法在實時在線腦機接口系統(tǒng)中的實現(xiàn)與應(yīng)用。