王 剛,周麗麗,孫凱明

(黑龍江省科學(xué)院智能制造研究所,哈爾濱 150090)

0 引言

腦機(jī)接口(Brain Computer Interface,BCI)不斷發(fā)展,可通過該接口識別人類的大腦意圖,其分為侵入式、非半侵入式及非侵入式[1],且三者放入大腦的位置不同。侵入式為植入大腦皮層直接獲取腦電信號,獲得高質(zhì)量的腦電信號,但存在著高風(fēng)險(xiǎn)及成本。半侵入式為獲取大腦皮層之外的腦電信號,主要基于皮層腦電圖進(jìn)行腦電信號分析,信號特點(diǎn)介于其余兩者之間。非侵入式為獲取大腦頭皮腦電信號,由于神經(jīng)元發(fā)出電磁波具有分散性及模糊性,導(dǎo)致采集腦電信號較弱。

腦機(jī)接口中的腦神經(jīng)信號研究可分為誘發(fā)電位和自發(fā)腦電,誘發(fā)電位分為P300及穩(wěn)態(tài)視覺誘發(fā)電位兩種[2]。自發(fā)腦電在大腦不同知覺下,腦電信號呈現(xiàn)不同的變化,按照頻段可分為δ波、θ波、α波、β波及γ波,其頻率依次為0.2～3 Hz、3～8 Hz、8～12 Hz、12～27 Hz、27 Hz以上。Delta波是在深層次放松與深層次睡眠下產(chǎn)生的,是一種慢節(jié)奏腦電波。Theta波存在于人處于恍惚或催眠情況下,會(huì)使人更放松、開心。Alpha波是有意識的思維及潛在意識之間的頻段,能夠使人平靜,促進(jìn)更深層次的滿足感及放松。Beta波是清醒中最常見的腦電波,能夠促進(jìn)認(rèn)知推理、計(jì)算、閱讀、溝通、思考等,在有意識的狀態(tài)下發(fā)揮作用。Gamma波是神經(jīng)動(dòng)力科學(xué)領(lǐng)域中發(fā)現(xiàn)的較新波段。

研究了一種穩(wěn)態(tài)視覺誘發(fā)電位(Steady-StateVisual Evoked Potential,SSVEP)[3]腦電信號識別方法,是一種非侵入式及誘發(fā)性腦電信號,通過不同頻率閃爍設(shè)備刺激視覺(如LED燈閃爍、熒屏圖片閃爍等刺激),在大腦皮層中產(chǎn)生對應(yīng)頻段的腦電信號,可通過BCI設(shè)備采集腦電信息。影響SSVEP的因素包括刺激呈現(xiàn)、目標(biāo)編碼、目標(biāo)識別等[4]。本研究采用計(jì)算機(jī)多圖片不同頻率刺激,研究通過脈沖神經(jīng)網(wǎng)絡(luò)[5],識別腦電信號。

1 穩(wěn)態(tài)視覺誘發(fā)腦機(jī)接口技術(shù)

1.1 SSVEP腦電信號的產(chǎn)生

誘發(fā)腦電信號的產(chǎn)生是通過大腦外部刺激,由對聽覺系統(tǒng)、觸覺系統(tǒng)及視覺系統(tǒng)刺激產(chǎn)生的腦信號,SSVEP信號是通過視覺系統(tǒng)的刺激產(chǎn)生的。圖1為SSVEP腦電信號的獲取,通過頻閃對視覺刺激在大腦中產(chǎn)生誘發(fā)電位,通過腦電帽上配有的電極采集腦電信號。穩(wěn)態(tài)視覺誘發(fā)產(chǎn)生腦電信號在微伏級,且刺激過程中會(huì)受到其他信號的干擾,為了準(zhǔn)確獲得腦電信號的分類結(jié)果,將采集的腦電信號進(jìn)行預(yù)處理,包括信號放大、信號濾波等,對處理后的信號進(jìn)行信息特征提取,再進(jìn)行分類。

圖1 SSVEP腦電信號的獲取

1.2 SSVEP腦電信號的特點(diǎn)

穩(wěn)態(tài)視覺誘發(fā)電位信號是一種腦電信號,易受其他生理電信號、工頻等信號的干擾,通過腦機(jī)接口設(shè)備采集腦電信號時(shí),可采集到的生理電信號包括眼動(dòng)產(chǎn)生的眼電信號及肢體動(dòng)作產(chǎn)生的肌電信號。工頻信號存在于信號采集過程中,是由市電工頻帶來的干擾。SSVEP腦電信號采集會(huì)帶來擾動(dòng)信號,其具有以下信號特點(diǎn):SSVEP腦電信號微弱,從采集波形幅度信號考慮,幅值在10 uV以下,從采集波形頻率角度考慮,有效頻率在5～50 Hz,由于受視覺主動(dòng)刺激誘發(fā),其在主頻及諧波頻率上展現(xiàn)明顯。SSVEP腦電信號呈現(xiàn)周期性,通過采集設(shè)備采集的穩(wěn)態(tài)視覺誘發(fā)的腦電信號是一定時(shí)間內(nèi)的數(shù)據(jù),在時(shí)域內(nèi)觀測波形,受擾動(dòng)信號的影響,看起來像雜亂無章的信號,但通過頻域觀察可知,其在刺激頻率處具有明顯的頻譜數(shù)據(jù)。

通過分析穩(wěn)態(tài)視覺下的腦電信號產(chǎn)生及特點(diǎn)可知,其看似具有明顯的分辨特征,但在采集腦電信號過程中存在著很大的不確定性,干擾時(shí)刻產(chǎn)生時(shí),對于腦電信號的影響極大,采集的擾動(dòng)信號可能比有用信號強(qiáng),需應(yīng)用不同方法分辨出腦電信號。無需訓(xùn)練直接對腦電信號識別的方法包括功率譜密度分析PSDA、典型相關(guān)性分析CCA等。需進(jìn)行訓(xùn)練的方法有指定用戶腦電分析算法UD、無指定用戶腦電分析算法UI及深度學(xué)習(xí)的SSVEP分類[6]。

2 脈沖神經(jīng)網(wǎng)絡(luò)

脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Network,SNN)作為第三代人工智能網(wǎng)絡(luò),模仿人腦細(xì)胞信息傳遞方式,屬于類腦人工智能,目前應(yīng)用廣泛的是深度學(xué)習(xí)網(wǎng)絡(luò),其使用全連接網(wǎng)絡(luò)結(jié)構(gòu),從輸入到中間層,再由中間層到輸出層,都是通過連續(xù)值傳遞,信息能夠被完整保留,在很多識別、分類上有著良好的表現(xiàn)。但從腦科學(xué)或生物科學(xué)角度而言,并未能模仿人大腦神經(jīng)元傳遞方式,而脈沖神經(jīng)網(wǎng)絡(luò)是針對此方向的新型神經(jīng)網(wǎng)絡(luò)。

SNN不同于其他網(wǎng)絡(luò),是以脈沖方式進(jìn)行傳遞信息,即發(fā)生在某一時(shí)間點(diǎn)上的脈沖信號,并非連續(xù)的數(shù)據(jù)信息。脈沖的頻率表現(xiàn)出生物特征信號,其信號頻率影響著每個(gè)神經(jīng)元得膜電位,達(dá)到一定閾值后,神經(jīng)元發(fā)放脈沖,向下一神經(jīng)元傳遞脈沖信息,同時(shí)置位膜電位。

脈沖神經(jīng)網(wǎng)絡(luò)模仿生物神經(jīng)元進(jìn)行信息傳遞方式,每一個(gè)神經(jīng)元輸入為脈沖信號,輸出也為脈沖信號,故需將識別數(shù)據(jù)信息進(jìn)行編碼成為脈沖信號,編碼方法有速率編碼、時(shí)間編碼、泊松編碼等,將編碼后的數(shù)據(jù)變成脈沖送入神經(jīng)元細(xì)胞,神經(jīng)元細(xì)胞等效模型有多種(如HH模型、LIF模型、Izhikevich模型、SRM模型等),通過等效模型完成脈沖發(fā)放過程。圖2所示為神經(jīng)元脈沖的發(fā)放,其作為脈沖神經(jīng)網(wǎng)絡(luò)信息傳遞關(guān)鍵技術(shù)之一,將直接影響著信息識別率。

圖2 神經(jīng)元脈沖的發(fā)放

2.1 SNN網(wǎng)絡(luò)結(jié)構(gòu)

圖3為脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。借鑒傳統(tǒng)深度學(xué)習(xí)最優(yōu)化方法與生物神經(jīng)元等技術(shù),研究人員提出了許多脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法(如無監(jiān)督學(xué)習(xí)算法、監(jiān)督學(xué)習(xí)算法、強(qiáng)化學(xué)習(xí)算法、ANN-to-SNN算法)。本研究設(shè)計(jì)了脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過全連接方式,將每個(gè)神經(jīng)元相連接,但在訓(xùn)練后因參數(shù)調(diào)節(jié)等效成一種稀疏性連接,由訓(xùn)練參數(shù)決定,前一神經(jīng)元對后一神經(jīng)元的作用強(qiáng)度不同,影響神經(jīng)元脈沖的發(fā)放。

圖3 脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

將采集的腦電信號處理后,利用泊松編碼[7]完成脈沖信息轉(zhuǎn)化,將編碼后的脈沖作為輸入,通過中間隱藏層的網(wǎng)絡(luò)結(jié)構(gòu),將腦電信號分類,神經(jīng)元脈沖進(jìn)行解碼,即得到每一分類對應(yīng)脈沖頻率值作為分類結(jié)果,將解碼頻率值轉(zhuǎn)化后作為輸出層,達(dá)到腦電信號分類的目的。使用類腦脈沖神經(jīng)網(wǎng)絡(luò)能夠減少功耗,脈沖的發(fā)放減少運(yùn)算時(shí)間,解決小樣本的訓(xùn)練泛化能力,訓(xùn)練結(jié)果魯棒性高,腦電信號識別能力變強(qiáng)。

2.2 脈沖神經(jīng)網(wǎng)絡(luò)腦電信號識別

圖4為SSVEP腦電信號識別結(jié)構(gòu),通過采集SSVEP腦電信號建立訓(xùn)練數(shù)據(jù)集及測試數(shù)據(jù)集,根據(jù)腦電信號的特點(diǎn),對同一個(gè)人采集6 s的有效腦電數(shù)據(jù),將采集的腦電數(shù)據(jù)切分成多段數(shù)據(jù),進(jìn)行數(shù)據(jù)增強(qiáng)處理,通過此方式建立數(shù)據(jù)集,按照9∶1比例,實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)集及測試數(shù)據(jù)集的隨機(jī)分組。將腦電信號進(jìn)行泊松編碼,將腦電信號轉(zhuǎn)換成脈沖信號,再送入脈沖神經(jīng)網(wǎng)絡(luò),通過脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸出層,輸出分類脈沖信號,將輸出脈沖進(jìn)行解碼,完成脈沖信號對應(yīng)腦電信號的分類。

圖4 SSVEP腦電信號識別結(jié)構(gòu)

3 實(shí)驗(yàn)

3.1 脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練

脈沖神經(jīng)網(wǎng)絡(luò)不同于卷積神經(jīng)網(wǎng)絡(luò),根據(jù)脈沖信息傳遞方式,反向傳播不能做鏈?zhǔn)狡⒎?故無法以這種方式梯度回傳。但許多研究者研究了多種分類方式,包括無監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)、基于BP訓(xùn)練算法、基于STDP學(xué)習(xí)規(guī)則、ANN-to-SNN及其他學(xué)習(xí)算法。本研究采用STAC學(xué)習(xí)算法,通過Pytorch及Spaic庫完成脈沖神經(jīng)網(wǎng)絡(luò)搭建,通過TensorBoard顯示測試集損失曲線,共計(jì)進(jìn)行200輪以上訓(xùn)練。圖5為測試集損失曲線。損失曲線在開始階段出現(xiàn)微浮動(dòng)上升,后逐漸下降,形成一條光滑的曲線,符合腦電信號分類趨勢,訓(xùn)練結(jié)構(gòu)能夠滿足SSVEP腦電信號分類。

圖5 測試集損失曲線

3.2 實(shí)驗(yàn)數(shù)據(jù)測試

通過訓(xùn)練的脈沖神經(jīng)網(wǎng)絡(luò)模型,對5名測試者進(jìn)行穩(wěn)態(tài)視覺誘發(fā)腦電信號識別實(shí)驗(yàn)。設(shè)計(jì)刺激頻率時(shí)對應(yīng)26個(gè)字母、功能鍵及10個(gè)數(shù)字,分別測試A、B、C、1、2、3對應(yīng)6個(gè)頻率下的字母及數(shù)字測試,采集腦電信號,按照建立數(shù)據(jù)集方法進(jìn)行腦電數(shù)據(jù)處理,經(jīng)多次采集識別,作為識別結(jié)果計(jì)算可靠的識別率。表1為SSVEP腦電信號識別結(jié)果。

表1 SSVEP腦電信號識別結(jié)果

4 結(jié)論

從腦機(jī)接口引入腦電信號的采集,分析SSVEP腦電信號下基于脈沖神經(jīng)網(wǎng)絡(luò)的識別技術(shù),介紹了SSVEP腦電信號的產(chǎn)生及其特點(diǎn),分析了脈沖神經(jīng)網(wǎng)絡(luò),包括脈沖神經(jīng)元、脈沖網(wǎng)絡(luò)結(jié)構(gòu)、SSVEP腦電信號識別。通過采集數(shù)據(jù)建立數(shù)據(jù)集,完成脈沖神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練,利用訓(xùn)練參數(shù)完成實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,基于脈沖神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)SSVEP腦電信號的識別,識別率均值達(dá)到84%,說明通過對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化及穩(wěn)態(tài)視覺刺激的研究,可提高SSVEP腦電信號的識別率。