杜秀麗，馬振倩，邱少明，呂亞娜

1.大連大學(xué) 通信與網(wǎng)絡(luò)重點實驗室，遼寧 大連116622

2.大連大學(xué) 信息工程學(xué)院，遼寧 大連116622

運動想象腦電信號（Motor Imagination-EEG，MIEEG）的識別可以幫助人們直接通過思維來控制基于腦機接口的機器人從事各種工作，是實現(xiàn)人與外界通訊的一種新途徑，對腦認知、腦治療和腦應(yīng)用的研究具有重要意義。運動想象腦機接口系統(tǒng)不僅在殘疾人康復(fù)、老年人護理等醫(yī)療領(lǐng)域具有顯著的優(yōu)勢，而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應(yīng)用前景。

目前，基于深度學(xué)習的網(wǎng)絡(luò)框架被廣泛應(yīng)用于特征提取，在圖像、視頻、語音、文本等方面已經(jīng)取得了良好的效果，且性能優(yōu)于傳統(tǒng)的算法[1-2]。由于這些領(lǐng)域的成功應(yīng)用，研究者開始將深度學(xué)習技術(shù)應(yīng)用于腦電圖分析。Xu等人[3]利用一個兩層卷積神經(jīng)網(wǎng)絡(luò)對經(jīng)過小波時頻變換后的三通道腦電信號進行識別以提高分類性能。Cai等人[4]利用門控遞歸單元（Gated Recurrent Unit，GRU）進一步提取經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）預(yù)處理后的運動想象腦電信號中隱藏的一些序列信息，提高了MI-EEG的識別精度。葛榮祥等人[5]提出用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對不同波段傅里葉變換后的腦電信號進行分類識別的方法，有效地提高了多類別MI-EEG的識別準確率。胡章芳等人[6]考慮到MI-EEG中蘊含豐富的時頻信息，提出一種基于時頻域的卷積神經(jīng)網(wǎng)絡(luò)識別方法，通過一種新穎的一維卷積CNN結(jié)構(gòu)對短時傅里葉變換后的二維時頻圖進行特征提取，有效地提高了識別的準確率。因此，深度學(xué)習已成為MI應(yīng)用中一種有效的算法。這些模型雖然為MI-EEG的識別提供了方法理論并取得了不錯的效果，但是沒有考慮不同通道和空間腦電信號與識別任務(wù)之間的重要程度關(guān)系，只是簡單地將一些對該任務(wù)有用的原始腦電信號選取出來送入深度學(xué)習算法。然而，對于多通道腦電信號來說，信號的通道和空間對于不同的識別任務(wù)重要程度顯然不同。

卷積注意力模塊（Convolutional Block Attention Module，CBAM）可以聚焦重要信息，提高卷積的表示能力[7]。最近，將注意力模塊融入網(wǎng)絡(luò)中以提高網(wǎng)絡(luò)的性能開始成為趨勢，并在自然語言處理和圖像處理方面取得了良好的效果[8-10]。但是目前還沒有將卷積注意力模塊融入到卷積神經(jīng)網(wǎng)絡(luò)中進行腦電信號識別的研究。

因此，為充分挖掘腦電信號的特征，兼顧通道和空間對腦電信號識別程度不同的機制，提高多類別運動想象腦電信號識別準確率，本文提出融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)多類別MI-EEG識別模型。為避免噪聲對識別結(jié)果的影響，提出采用共空間模式構(gòu)建的空間濾波器提高腦電信號的信噪比，再利用小波變換進行時頻轉(zhuǎn)換得到二維時頻圖，最后將二維時頻圖作為輸入特征送入融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)中。要驗證多類別MI-EEG識別問題，本文分別利用BCI競賽IV-2a和BCI競賽III-IIIa數(shù)據(jù)集對該方法進行了測試和評價，兩個數(shù)據(jù)集存在著受試者人數(shù)和實驗經(jīng)驗的區(qū)別。

1 卷積注意力模塊

將給定的中間特征圖作為輸入，通過網(wǎng)絡(luò)中融合的卷積注意力模塊聚焦重要信息弱化無用信息，依次推導(dǎo)出一維通道注意力圖和二維空間注意力圖，然后將生成的注意力圖映射相乘為自適應(yīng)特征細化的輸出特征映射。

1.1 通道注意力模塊

中間特征圖的每個通道都被視為特征檢測器，因此通道注意力模塊在獲取輸入圖像有意義的通道方面較為重要。為了有效利用中間特征圖通道之間的特殊關(guān)系，壓縮輸入特征圖的空間維度，聚集空間信息，同時使用平均池化和最大池化，更多地保留輸入特征圖的背景以及紋理信息，極大地提高卷積網(wǎng)絡(luò)的表征能力[7]。

通道注意力模塊操作過程如下：第一層卷積的輸出特征圖作為中間輸入特征分別通過平均池化和最大池化壓縮成一個實數(shù)，輸出的向量維度與中間特征圖通道數(shù)相匹配；通過共享網(wǎng)絡(luò)多層感知機（Multilayer Perception，MLP）的調(diào)整，輸出經(jīng)過調(diào)整后的向量；將各個向量元素相加，最后通過Sigmoid函數(shù)激活。通過式（1）的方法，與輸入中間特征圖逐通道加權(quán)求和，完成對第一層卷積輸出特征圖通道注意力的運算。

1.2 空間注意力模塊

沿著特征圖的通道維度對生成的通道注意力圖分別應(yīng)用平均池化和最大池化操作，在空間位置上進行2種池化方式的維度壓縮，輸出空間特征矩陣；將輸出的特征矩陣合并成一個特征圖，然后通過卷積層的作用生成二維空間注意力圖，更好地擬合空間復(fù)雜相關(guān)性。經(jīng)過Sigmoid函數(shù)激活后，應(yīng)用式（2）加權(quán)求和，作用于特征圖上，生成空間注意力圖。

其中，σ表示sigmoid函數(shù)，f7×7表示卷積操作，卷積核大小為7×7。

2 基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)

優(yōu)秀的CNN結(jié)構(gòu)不僅能成功地應(yīng)用于計算機視覺和自然語言處理領(lǐng)域[11]，而且在生物醫(yī)學(xué)信號處理領(lǐng)域也存在著巨大的潛力。CNN能很好地自適應(yīng)提取腦電信號中隱藏的特征信息，但是它并沒有學(xué)習輸入特征向量通道與空間之間的重要程度關(guān)系。通過融合卷積注意力模塊[7]，網(wǎng)絡(luò)相對于背景可以更高效的聚焦腦電信號特征的提取。卷積注意力模塊作為基本模塊構(gòu)建網(wǎng)絡(luò)，應(yīng)用于網(wǎng)絡(luò)中，一定程度上可以改善卷積核滑動加權(quán)求和難以得到全局信息的問題，提高卷積的表示性能。

CNN從腦電信號中充分學(xué)習特征需要大量的數(shù)據(jù)，但MI-EEG的數(shù)據(jù)集對于經(jīng)典模型來說是小樣本，很可能出現(xiàn)網(wǎng)絡(luò)權(quán)值訓(xùn)練不充分的情況，導(dǎo)致過擬合的發(fā)生。為了使網(wǎng)絡(luò)權(quán)值得到充分地訓(xùn)練，需要適當?shù)卣{(diào)整CNN的結(jié)構(gòu)，使CNN盡量滿足數(shù)據(jù)集的要求。

具體MI-EEG識別方案框圖如圖1所示。

圖1 MI-EEG識別方案框圖Fig.1 Block diagram of MI-EEG identification scheme

針對樣本量較小以及未兼顧重要程度關(guān)系的問題，本文將注意力模塊和網(wǎng)絡(luò)相結(jié)合，提出了一個簡單有效的卷積網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。第一層為網(wǎng)絡(luò)的輸入層，將預(yù)處理得到的輸入圖像統(tǒng)一調(diào)整為64×64的大小。第二層L1為卷積層，通過卷積運算提取圖像中的空間和時間頻域低層次特征。第三層L2為卷積注意力模塊，將經(jīng)過卷積之后的圖像作為中間特征圖輸入，沿著通道維度對中間特征圖進行調(diào)整并強化特征圖關(guān)鍵通道的信息，沿著空間維度對通道特征圖進行調(diào)整并強化關(guān)鍵空間位置的信息，對通道注意力信息進行補充。第四層L3為卷積層，繼續(xù)進行卷積運算提取高階層全局特征。第五層L4作為池化層，捕獲卷積運算輸出的最重要的抽象特征，過濾掉冗余特征，減小數(shù)據(jù)維度。第六層F1，第七層F2為全連接層，通過將池化層輸出的特征進行平面化，最終通過分類器得到識別結(jié)果。

圖2 基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of neural network structure based on convolutional attention module

3 實驗及結(jié)果分析

3.1 實驗數(shù)據(jù)描述

目前，MI-EEG的識別雖然已取得了較好的識別效果，但仍然存在識別種類少的問題，針對大多數(shù)文獻針對二分類MI-EEG進行研究的問題，本文對四分類MIEEG進行分析。

上述科技創(chuàng)新補貼供給側(cè)改革機制從源頭上試圖扭轉(zhuǎn)企業(yè)策略性創(chuàng)新行為，提高創(chuàng)新補貼的邊際效率，引導(dǎo)企業(yè)采用實質(zhì)性研發(fā)策略?；诖四康?，本文試圖以微觀企業(yè)創(chuàng)新為切入點，根據(jù)本輪供給側(cè)改革的政策特征，考察科技創(chuàng)新補貼供給側(cè)改革下企業(yè)研發(fā)策略的實施效果及其作用機制。具體而言，本文進行以下研究工作: 第一，考察創(chuàng)新驅(qū)動供給側(cè)改革期間，政府創(chuàng)新補貼的新特征及趨勢。第二，分析企業(yè)的創(chuàng)新研發(fā)項目類型以及R&D投入及科技產(chǎn)出等研發(fā)策略變動。 第三，進一步考察上述問題在不同產(chǎn)權(quán)性質(zhì)的企業(yè)分組中，是否存在異質(zhì)性差異。

本實驗對數(shù)據(jù)集一BCI競賽IV數(shù)據(jù)集2a[12]進行分類研究，數(shù)據(jù)集由9名受試者的22個頭皮電極位置組成，包括4個類別的運動想象任務(wù)，即左手、右手、雙腳和舌頭的想象。數(shù)據(jù)采集的實驗范式如圖3所示。任務(wù)想象的時間為4 s；每個受試者在不同日期的兩個會話涉及9個主題，每個會話由6次運行組成，一次運行包含48次實驗，共包括288次實驗。信號采樣頻率為250 Hz，并進行了頻率為0.5~100 Hz的帶通濾波和50 Hz的陷波濾波消除工頻干擾。

圖3 實驗范式時序圖Fig.3 Sequence diagram of experimental paradigm

此外，本實驗采用2005年BCI競賽數(shù)據(jù)集IIIa對該算法進行了評價。該數(shù)據(jù)集由三個對運動圖像有不同體驗的受試者（k3b、l1b、k6b）組成，k3b每種運動想象進行90次實驗，共進行360次實驗，l1b和k6b每種運動想象進行60次實驗

，共進行240次實驗。神經(jīng)掃描腦電圖放大器中60通道可用。腦電圖采樣頻率為250 Hz，所有腦電圖信號均采用1~50 Hz帶通濾波器進行預(yù)處理。

運動想象的時間是4 s。一次實驗全過程時序圖如圖4所示。

圖4 一次實驗周期范例Fig.4 Example of experiment cycle

3.2 預(yù)處理

不同的運動想象任務(wù)在特征頻帶和腦區(qū)是不同的，由于腦電圖的事件相關(guān)同步和事件相關(guān)不同步模式主要反映在8~30 Hz頻段。因此本文在對原始腦電信號進行分段處理后，采用8~30 Hz頻段的帶通濾波器對MI-EEG進行濾波處理。

腦電信號本身的信噪比較低，對最終識別的準確性影響較大。本文使用一對多共空間模式構(gòu)建空間濾波器來最大限度地提高信噪比。一對多共空間模式是多分類問題的一種常用方法[13]，其將一個類設(shè)置為一個正類，其余的類都作為一個反類處理，從而形成一個兩分類的共空間模式。

根據(jù)式（3）和式（4）進行空間濾波投影。

其中，Bi代表第i類模式下的空間濾波；UT1,2m代表某類模式下的特征向量；Pi代表這一類模式下的白化矩陣；X∈RN×M表示每個MI-EEG任務(wù)樣本的N×M維矩陣，其中N表示電極數(shù)，M表示每個電極的采樣點數(shù)；Zj∈R2m×M代表j類模式下的濾波后信號，2m表示濾波后的通道數(shù)。

腦電信號中隱藏著豐富的時頻信息，小波時頻轉(zhuǎn)換能夠顯示信號的時間以及頻域信息。通過將MI-EEG轉(zhuǎn)換成二維時頻圖，并將其作為神經(jīng)網(wǎng)絡(luò)的輸入，能夠增強網(wǎng)絡(luò)的特征提取能力，深度挖掘運動想象腦電信號中隱藏的動態(tài)信息。

3.3 仿真驗證及結(jié)果分析

為了提高本文網(wǎng)絡(luò)模型的泛化能力，采用k折交叉驗證（k-fold cross-validation）的方法來驗證模型的有效性，k設(shè)為9。采用小批量隨機梯度下降來通過反向傳播算法優(yōu)化最小化實際標簽和預(yù)測標簽之間的交叉熵。

對基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)來說，不同的參數(shù)決定了不同的網(wǎng)絡(luò)結(jié)構(gòu)，這些參數(shù)的設(shè)置將直接影響最終的識別準確率。本文通過改變參數(shù)的大小，驗證不同大小和個數(shù)的卷積核對網(wǎng)絡(luò)識別效果的影響，實驗結(jié)果如表1所示。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的識別準確率Table 1 Recognition accuracy of different network structures %

其中n1,n2分別代表不同卷積層中卷積核的大小，i1,i2分別代表不同卷積模塊中卷積核的個數(shù)。

通過表1中實驗結(jié)果可知，當i1、i2分別為8、32、n1、n2分別為4時，模型的識別準確率最高。因為本文提供的腦電信號數(shù)據(jù)的維度較小，大卷積核容易覆蓋整個二維圖像，使得卷積提取局部特征的分辨率降低，從而影響識別效果。而小卷積核覆蓋的局部區(qū)域較小，使卷積只能提取到很小的局部特征，提高了識別效果。

為了進一步比較本文提出的基于卷積注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，將本文模型和未加入卷積注意力模塊的CNN網(wǎng)絡(luò)用于數(shù)據(jù)集的訓(xùn)練，同時對比不同壓縮率r下的準確率，實驗結(jié)果如表2所示。

表2 不同壓縮率r下網(wǎng)絡(luò)結(jié)構(gòu)識別準確率Table 2 Network structure recognition accuracy rate under different compression ratio r

本文對基于卷積注意力模塊網(wǎng)絡(luò)模型中不同的壓縮率參數(shù)r的值進行實驗，通過表2中實驗結(jié)果可以看出，對于本文的腦電信號識別任務(wù)，r設(shè)置為4時效果最好，準確率達到81.599%，因為r為4時，卷積注意力模塊擁有的非線性能夠更好地擬合通道間復(fù)雜的相關(guān)性，減少參數(shù)量的同時使網(wǎng)絡(luò)整體的特征表達能力增強。r設(shè)置為8時準確率次之，達到79.830%；r為16時對信號的卷積特征提取起到了反作用，使任務(wù)識別的準確率不如未加入卷積塊注意力模塊的CNN網(wǎng)絡(luò)好。

將本文提出的基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)識別方法與其他多類別MI-EEG識別方法進行了對比。受試者的平均識別準確率由表3給出。其中文獻[14]采用多級加權(quán)融合框架將所有卷積層的特征使用完全連接層融合，從而在每個卷積級保留特征，達到的準確率為74.5%；文獻[15]中將FBCSP方法和CNN用作新策略。FBCSP算法用于數(shù)據(jù)準備并創(chuàng)建包絡(luò)表示輸入EEG信號以保持信號的時間和空間屬性，該準確率達到73.4%。本文方法得到的全部受試者的平均識別準確率為81.6%，相比于其他算法結(jié)果有較大提高。從結(jié)果的準確率來看，本文在一定程度上說明基于卷積注意力機制的卷積神經(jīng)網(wǎng)絡(luò)在多類別腦電信號識別中具有良好的性能。

表3 本文方法與其他方法的識別準確率比較Table 3 Comparison of recognition accuracy between proposed method and other methods

為了進一步驗證本文方法的魯棒性，在BCI-III-IIIa數(shù)據(jù)集上進行了不同方法的識別準確率對比，實驗結(jié)果如表4。

表4 不同方法在BCI-III-IIIa上的識別準確率比較Table 4 Comparison of recognition accuracy of different methods on BCI-III-IIIa

由表4可得，與BCI競賽以及近年來的文獻[16]中采用CBLSTM方法提取頻域和時域特征，文獻[17]中選擇各信道的最優(yōu)頻帶提取特征的方法相比，本文方法的準確率有了提高，說明本文方法能夠有效地解決多類別運動想象腦電信號的識別問題。

綜合表3，表4可以看出，在同一數(shù)據(jù)集的情況下本文所提出的基于卷積注意力機制的腦電信號識別方法在多類別腦電信號任務(wù)下能夠獲得較好的識別準確率，魯棒性較好。說明本文能夠兼顧通道和空間的重要程度關(guān)系，較好地提取運動想象腦電信號的特征，進而獲得良好的識別準確率。

4 結(jié)論

運動想象腦電信號特性復(fù)雜，在多分類識別任務(wù)中準確率不高。本文通過一對多共空間模式對多類別腦電信號進行預(yù)處理，減少空間模糊的影響，得到各類別的空間濾波信號后，使用小波變換進行時頻轉(zhuǎn)換生成二維圖像。利用深度學(xué)習網(wǎng)絡(luò)可以自適應(yīng)提取腦電信號中隱藏的特征信息的能力，加入注意力模塊來強化重要信息，抑制相對不重要信息，兼顧網(wǎng)絡(luò)通道和空間的重要程度關(guān)系，有效提高網(wǎng)絡(luò)特征提取的能力。實驗表明，本文融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)通過卷積運算對輸入二維特征圖片進行抽象特征提取并執(zhí)行分類模式的識別分析可有效提高MI-EEG的識別準確率，通過與其他方法相比，說明本文方法在MI-EEG識別方面具有有效性。