張鴻飛，殷浩鈞，于銀虎，許林峰，岳洪偉，王洪濤

（五邑大學 智能制造學部，廣東 江門 529020）

腦機接口（Brain-Computer Interface,BCI）是上世紀80年代初興起的一個非常前沿、活躍的研究領(lǐng)域，具有高度的學科交叉性，它可以提供一種大腦和外界進行信息交換的直接通道.而基于腦電信號的腦機接口正成為一種實用、先進的腦機接口方式[1].其中，事件相關(guān)電位（P300）是小概率刺激發(fā)生后300 ms左右出現(xiàn)的一個正向波峰.基于 P300的腦機接口優(yōu)點是由于外在刺激引起的誘發(fā)電位，使用者無需通過復雜訓練即可將大腦產(chǎn)生的腦信號轉(zhuǎn)化為電子設(shè)備的指令[2].雖然 P300具有穩(wěn)定的鎖時性和高時間精度特性，但上述特性需要通過多次迭代才能獲得[3].這就造成腦電信號解碼面臨的第一個問題：在 P300腦機接口系統(tǒng)中既要考慮目標的分類準確率，同時又要保證一定的信息傳輸速率（Information Translate Rate，ITR），即：在盡可能使用較少輪次（要求輪次數(shù)小于等于 5）的情況下準確解碼.問題二：原始腦電數(shù)據(jù)量較大，其中包含較多的冗余信息.（在 20個腦電信號采集通道中，無關(guān)或冗余的通道數(shù)據(jù)不僅會增加系統(tǒng)的復雜度，且影響分類識別的準確率和性能），針對特定受試者，如何篩選出最優(yōu)的通道組合.

因此本文針對問題一，首先實現(xiàn)P300樣本的擴展，使得P300誘發(fā)腦電信號的正、負樣本均衡.進一步提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，達到了較少輪數(shù)和較高準確率的平衡，取得了較高的ITR.針對問題二，本文首先設(shè)計了一個通道選擇算法，篩選出更有利于分類的面向特定受試者的通道名稱組合.

1 問題一的建模與分析

1.1 問題一分析

由于 P300特定的同步運行機制和信號微弱性，這就需要多次迭代才可以獲得比較好的分類精度，導致了檢測時間較長[4].因此如何使用較少的重復次數(shù)來正確檢測P300是主要的挑戰(zhàn).為了解決這個問題，我們在前期研究基礎(chǔ)上[5-6]建立了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)模型（Multi-scale convolutional neural network，Ms-CNN）.

1.2 腦電信號預處理

1）信號預處理：為捕捉 P300發(fā)生的過程，從刺激開始截取0～600 ms的時間窗，在空間域中產(chǎn)生150（采樣點）×20（通道）矩陣.然后用平均公共參考值導聯(lián)法[7]處理該段，并進行去趨勢、去除平均值等操作，然后以0.1～20 Hz帶通濾波器濾波.這些預處理方法有助于提高腦電信號的質(zhì)量，避免工頻干擾影響.

2）特征提?。翰捎脝未螖?shù)據(jù)進行進一步分析.

3）數(shù)據(jù)增廣：腦電圖數(shù)據(jù)包括隨后不平衡的目標 P300（T-P300）和非目標 P300（N-P300），即T-P300數(shù)量為120和N-P300數(shù)量為600.對于神經(jīng)網(wǎng)絡(luò)，分類精度高度依賴于訓練數(shù)據(jù)的數(shù)量.針對特定訓練樣本較少且不平衡問題，本文采用擴展單次P300樣本的方式進行樣本擴充.在實驗中所有的行和列都會閃爍一次，而包含目標字符的行和列只閃爍兩次.為了提高P300的提取，本文使用閃爍次數(shù)為1的P300樣本來增加樣本數(shù)量.這樣，合成后的T-P300和N-P300數(shù)據(jù)集相等，總數(shù)為1200用于特定受試者遷移學習（即T-P300和N-P300均為600）.

4）Ms-CNN網(wǎng)絡(luò)：

L1：輸入層.用于加載待識別的腦電信號數(shù)據(jù).

L2：卷積層.它由多個卷積核組成，其大小等于信號信道的數(shù)量（即 20）.類似于傳統(tǒng)的信號統(tǒng)計處理方法，包括加權(quán)疊加平均和公共空間濾波，這種操作可以在去除冗余空間信息的同時有效地提高信號的信噪比.具體計算過程如下：

L3：卷積層.該層由 3個并行排列的卷積層組成.每個卷積層的卷積核的數(shù)量是相同的，而每個核的大小是不同的.對于同一輸入，不同尺度的卷積核可以提取不同的信息，增加特征的復雜度.在本研究中，對L2的輸出信號在不同的時間尺度上進行時間濾波.這樣可以在不同的時間段提取數(shù)據(jù)特征以信息最大化.3個不同尺度的卷積核的卷積運算介紹如下：

L4：連接層.從L3層的不同過濾尺度提取的特征映射被堆疊，這將用于整合提取的特征.

L5：最大池化層.大小為 2的集合過濾器形成最大池化層，從而讓 L4層獲得的要素地圖數(shù)量最大化.這種合并操作有助于減少網(wǎng)絡(luò)參數(shù)，從而加快計算速度并防止少量訓練樣本的過度擬合.

L6：卷積層.它是標準的通用卷積層，使用10個大小為5的卷積核，繼續(xù)對L5層得到的特征進行卷積濾波運算，提取更抽象、更深入、更有利于分類的特征.同時，這種方法減少了最后一個全連接層的網(wǎng)絡(luò)參數(shù).計算過程如下：

其中w代表權(quán)重向量.最后，每行和每列的輸出由softmax函數(shù)以概率的形式獲得.眾所周知，在每一輪重復中，所有的行和列只閃爍一次，這十二次閃爍中有兩次包含P300.更準確地說，唯一行和唯一列應(yīng)該包含 P300，否則將是對目標字符的錯誤預測.目前工作中的決策策略是找到 P300的最大概率分別形成行和列，如下式所示：

其中r和c代表行和列.Pr和Pc代表P300表格行和列的概率.m代表行數(shù)和列數(shù).一旦確定P300包含的行和列，就可以正確預測目標字符.

在本研究中，交叉熵損失函數(shù)用于測量網(wǎng)絡(luò)的分類誤差.L2層采用正則化方法，以降低過擬合的風險，系數(shù)設(shè)置為0.04.用梯度下降優(yōu)化器訓練權(quán)值初始學習率為0.01，衰減率為0.9995，最大重復次數(shù)為30 000.

1.3 實驗結(jié)果

表1給出了5位受試者5輪測試結(jié)果.圖1為受試者1的5輪迭代腦電地形圖.

表1 5位受試者第1輪至第5輪的預測結(jié)果

圖1 受試者1的五輪迭代腦電地形圖

2 問題二的建模與分析

2.1 問題二分析

需要在20通道腦電信號采集中，篩選出特定受試者的最優(yōu)通道組合.即：針對不同的受試者，并移除“不重要”的通道，選出最優(yōu)的通道.為了解決這個問題，筆者在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，采用隨機森林和遺傳算法進行通道選擇，分別獲得了5位受試者的最優(yōu)導聯(lián)組合.

2.2 隨機森林

隨機森林（Random forests，RF）是一種集成的機器學習方法[8].它利用隨機重采樣技術(shù)bootstrap和節(jié)點隨機分裂技術(shù)構(gòu)建多個決策樹，然后投票得到最終的分類結(jié)果[9].RF對噪聲數(shù)據(jù)和缺失數(shù)據(jù)具有良好的魯棒性，學習速度快.其可變重要度測度可以作為高維數(shù)據(jù)的特征選擇工具.近年來，RF被廣泛應(yīng)用于各種分類、預測、特征選擇、離群點檢測等問題[10-11].

2.3 遺傳算法

遺傳算法是一種隨機的全局搜索和優(yōu)化方法[12].它可以在搜索過程中自動獲取和積累有關(guān)搜索空間的知識，并自適應(yīng)地控制搜索過程以獲得最佳解[13].

遺傳算法從一組隨機染色體開始優(yōu)化過程.對于二進制遺傳算法使用以下公式：

其中Xi是第i個基因，ri是[0,1]中為每個基因分別生成的一個隨機數(shù).在連續(xù)遺傳算法中使用以下等式隨機初始化基因：

2.4 通道選擇

在 20個腦電信號采集通道中，無關(guān)或冗余的通道數(shù)據(jù)不僅會增加系統(tǒng)的復雜度，還影響分類識別的準確率和性能.這就需要進行通道選擇.通道選擇算法如下：第一步，將預處理后的二維腦信號轉(zhuǎn)換為一維，然后利用隨機森林計算其權(quán)重.第二步，計算每個通道上一維權(quán)重的方差，并通過方差選擇一些具有“較好”特征的通道.第三步，在遺傳算法的初始種群中選擇第二步處理的一些通道作為部分個體，然后隨機生成一些個體.第四步，使用遺傳算法選擇具有最大曲線下面積（Area under the curve，AUC）的通道，最后使用多尺度卷積神經(jīng)網(wǎng)絡(luò)進行分類[15].該算法流程圖如圖2所示.

圖2 通道選擇算法流程圖

特定受試者的通道選擇結(jié)果如圖3所示，紅點為入選電極.

圖3 5位受試者的最優(yōu)通道選擇結(jié)果

2.5 結(jié)果與討論

采用通道選擇后的5位受試者的P300字符解碼預測結(jié)果如表2所示.本次測試包含10個字符.圖4和圖5是5位受試者在不同輪次下進行通道選擇的準確率和信息傳輸速率.從圖4可以看出，對于5位受試者其識別準確率隨迭代次數(shù)增加呈現(xiàn)總體上升趨勢，這與我們前期的研究是一致的[16].從圖5可知，隨著輪次的遞增，識別消耗時間也隨之遞增，對于5位受試者信息傳輸速率隨迭代次數(shù)增加呈現(xiàn)總體先升后降的趨勢.

圖4 5位受試者不同輪次進行通道選擇及其平均的準確率

圖5 5位受試者不同輪次進行通道選擇及其平均的信息傳輸速率

表2 通道選擇后受試者字符識別預測結(jié)果

綜上，5位受試者進行了特定通道選擇后，隨著迭代輪次的增加，時間消耗增加了；5位受試者的平均準確率在逐漸增加，最高可達到 72%；5位受試者平均的信息傳輸速率呈現(xiàn)先遞增后遞減的趨勢，最高信息傳輸速率為35.7 bits/min.因此采用本文模型可以較好實現(xiàn)在較少迭代次數(shù)下獲得較高的信息傳輸速率，從而實現(xiàn)迭代次數(shù)和信息傳輸速率平衡.

3 結(jié)論

本文根據(jù)P300腦電信號在時域、頻域的特點完成了P300腦電信號預處理，設(shè)計了多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，進一步采用隨機森林和遺傳算法實現(xiàn)了腦電信號的通道選擇，解決了 P300腦電信號的解碼過程中特定被試的優(yōu)化通道選擇問題.本文提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型具有較好的魯棒性，在2019世界機器人大賽-腦控機器人大賽和第十七屆中國研究生數(shù)學建模競賽C題中均獲得應(yīng)用并取得較好名次.綜上，本文所研究的事件相關(guān)電位（P300）腦電信號解碼的兩個問題及其解決方法，對于P300腦電信號的有效解碼具有參考意義和應(yīng)用價值.