馮景義 吳海鋒 曾玉

通過(guò)對(duì)神經(jīng)回路感知外部世界和產(chǎn)生行為的研究,可揭示大腦的工作機(jī)制和規(guī)律,也可讓人體增強(qiáng)感知外部世界和控制外部世界的能力.在神經(jīng)編碼中,例如,對(duì)聽(tīng)力障礙者來(lái)說(shuō),人工耳蝸可將聲音信號(hào)編碼為計(jì)算系統(tǒng)可處理的數(shù)字信號(hào),通過(guò)刺激聽(tīng)覺(jué)神經(jīng)使得患者具有感知外界聲音的能力[1].在神經(jīng)解碼中,對(duì)于傷殘人士來(lái)說(shuō),可直接通過(guò)大腦運(yùn)動(dòng)皮層的神經(jīng)元峰電位數(shù)信號(hào)去操控外界設(shè)備的移動(dòng),如移動(dòng)鼠標(biāo)[2?3],機(jī)械手臂[4?5]等,以及截癱患者的上肢和手[6]等,使其擁有一定的外部世界控制能力,目前康復(fù)機(jī)器人與智能輔助系統(tǒng)的研究取得了不錯(cuò)的進(jìn)展[7].

神經(jīng)編碼將外部世界映射至腦活動(dòng)[8],把從腦區(qū)獲得的神經(jīng)元峰電位信號(hào)進(jìn)行分類(lèi)處理,其處理后的峰電位信號(hào)需與肌肉或骨骼對(duì)外部世界產(chǎn)生的活動(dòng)建立一一對(duì)應(yīng)關(guān)系.神經(jīng)解碼是一種對(duì)神經(jīng)編碼的逆過(guò)程,從腦活動(dòng)中解析出人體對(duì)外部世界的動(dòng)作,例如,通過(guò)分類(lèi)后的峰電位信號(hào)去預(yù)測(cè)或估計(jì)身體的運(yùn)動(dòng)過(guò)程,而本文所研究的獼猴手指移動(dòng)位置估計(jì)是一個(gè)典型的神經(jīng)編解碼問(wèn)題.首先完成神經(jīng)編碼,將神經(jīng)記錄儀器所采集的某一時(shí)刻獼猴運(yùn)動(dòng)皮層神經(jīng)元峰電位數(shù)與該時(shí)刻獼猴手指移動(dòng)位置建立對(duì)應(yīng)關(guān)系.由于該問(wèn)題已經(jīng)在文獻(xiàn)[9?14]中做了詳細(xì)討論,因此本文不再將其作為研究重點(diǎn).其次完成神經(jīng)解碼,通過(guò)已經(jīng)與獼猴手指移動(dòng)建立對(duì)應(yīng)關(guān)系的神經(jīng)元峰電位數(shù)去估計(jì)獼猴手指移動(dòng)位置信息,而本文的研究重點(diǎn)將集中在如何更好地解決神經(jīng)解碼問(wèn)題上.

較早的獼猴手指移動(dòng)的編碼問(wèn)題在文獻(xiàn)[15]中進(jìn)行了介紹,該文獻(xiàn)發(fā)現(xiàn)獼猴的上部肢體的運(yùn)動(dòng)方向與其腦區(qū)的運(yùn)動(dòng)皮層中單個(gè)神經(jīng)元的峰電位信號(hào)存在著相應(yīng)關(guān)系;Vargas-Irwin 等實(shí)現(xiàn)了獼猴機(jī)器手臂的三維運(yùn)動(dòng)軌跡的重建,證實(shí)利用局部的神經(jīng)集群發(fā)放信號(hào)可以解析出豐富的運(yùn)動(dòng)信息[16];O Doherty等在獼猴的初級(jí)感覺(jué)皮層上第一次實(shí)現(xiàn)了帶有觸覺(jué)反饋的閉環(huán)的腦機(jī)接口系統(tǒng)[17].在傳統(tǒng)的解碼方法中,較早采用的是獨(dú)立線性(Linear)方法[18?19],該方法利用的是線性時(shí)不變模型(Timeinvariant linear model,TILM),將每一時(shí)刻運(yùn)動(dòng)狀態(tài)值與該時(shí)刻記錄的峰電位數(shù)信號(hào)看作時(shí)不變的正比關(guān)系,其最大優(yōu)點(diǎn)是易于實(shí)施且計(jì)算簡(jiǎn)單,但缺點(diǎn)是把運(yùn)動(dòng)軌跡每一時(shí)刻的狀態(tài)值均看成了一個(gè)獨(dú)立過(guò)程,因此預(yù)測(cè)軌跡的準(zhǔn)確度較低.

目前,為了解決該問(wèn)題,常采用的方法是狀態(tài)空間模型(State space model,SSM).在神經(jīng)科學(xué)領(lǐng)域中,Velliste等通過(guò)SSM模型解碼獼猴的運(yùn)動(dòng)皮層神經(jīng)元峰電位數(shù)信號(hào),實(shí)現(xiàn)了對(duì)四自由度假肢的控制[20];Shanechi等通過(guò)構(gòu)建SSM模型和應(yīng)用最優(yōu)反饋控制模型解碼出了猴子運(yùn)動(dòng)的軌跡狀態(tài)[21];Chang 等基于卡爾曼濾波(Kalman-f ltering,KF)方法,設(shè)計(jì)出了同時(shí)考慮“手控”和“腦控”過(guò)程的算法,加快了腦控的實(shí)現(xiàn)[22].薛明龍等通過(guò)SSM模型,采用了一種無(wú)監(jiān)督積分卡爾曼濾波解碼模型(Unsupervised Cabuture-Kalman-f ltering decoding,UCKD)解碼出了獼猴手指移動(dòng)軌跡的位置[23?24];Hotson 等基于遞歸貝葉斯估計(jì)(Recursive Bayes estimation,RBE),通過(guò)整合環(huán)境傳感器信息提高了腦機(jī)接口系統(tǒng)的解碼效果[25].最近,浙江大學(xué)李宏寶還實(shí)現(xiàn)了獼猴手臂規(guī)避障礙過(guò)程中的運(yùn)動(dòng)前區(qū)皮層的神經(jīng)解碼[26],以及張毅等利用BRCSP(Bagging regularized common spatial pattern)算法實(shí)現(xiàn)左右手運(yùn)動(dòng)想象的腦電信號(hào)去控制智能輪椅完成了“8”字形路徑實(shí)驗(yàn)[27].從SSM的觀測(cè)方程看,仍是一種TILM模型,但同獨(dú)立線性方法相比,SSM未把手指移動(dòng)軌跡看成是一個(gè)時(shí)間上獨(dú)立的過(guò)程,而是將當(dāng)前時(shí)刻的移動(dòng)狀態(tài)與前一個(gè)時(shí)刻相關(guān)聯(lián),因此估計(jì)精確度有了較大提高.

本文通過(guò)對(duì)傳統(tǒng)TILM模型的時(shí)間相關(guān)性進(jìn)行研究,從SSM模型出發(fā),將每一時(shí)刻的手指移動(dòng)狀態(tài)值與之前多個(gè)時(shí)刻的峰電位數(shù)的簇向量進(jìn)行相關(guān),推導(dǎo)出了另一種TILM模型.因?yàn)樵撃Ｐ褪前勋J猴手指移動(dòng)軌跡的位置表示為一組神經(jīng)元峰電位信號(hào)的簇向量與一組常系數(shù)的卷積,故稱(chēng)之為卷積空間模型(Convolutional space model,CSM).為了訓(xùn)練該模型,采用最小二乘和最陡梯度下降等常規(guī)方法來(lái)得到模型參數(shù),同時(shí)分析了時(shí)間相關(guān)性對(duì)這些方法的影響.在實(shí)驗(yàn)中,采用一組公開(kāi)的實(shí)測(cè)數(shù)據(jù)對(duì)本文的時(shí)間相關(guān)性問(wèn)題進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,CSM模型的訓(xùn)練算法所解碼的手指移動(dòng)位置信息要比傳統(tǒng)的SSM模型有較小的解碼誤差.

1 相關(guān)工作

在獼猴手指移動(dòng)神經(jīng)解碼中,SSM模型是目前較為流行的一種解碼方法,其狀態(tài)方程和觀測(cè)方程可分別表示為[28?31]

其中,yk為時(shí)刻k的手指移動(dòng)位置信息,k=0,1,···,K?1,K為數(shù)據(jù)采樣點(diǎn)長(zhǎng)度,sk為Ne×1的列向量,表示為時(shí)刻k的Ne個(gè)電極上所采集的神經(jīng)元峰電位數(shù),h(·)表示狀態(tài)方程函數(shù),f(·)表示觀測(cè)方程函數(shù),ωk為零均值,方差為σ2的高斯白噪聲[23],vk=[v0k,v1k,···,vNe?1,k]T是高斯白噪聲矢量[23],其均值為0,方差矩陣Rv為對(duì)角線是的對(duì)角矩陣.

求解式(1)的狀態(tài)空間方程通常采用逐次狀態(tài)估計(jì)方法,可利用卡爾曼濾波(KF)[22,29],粒子濾波[8,28]和RBE[25]等方法.相比于將{yk,k=0,1,···,K?1}看作是獨(dú)立的Linear 方法[8],與前一個(gè)狀態(tài)相關(guān)的SSM模型所解碼得出的手指移動(dòng)軌跡曲線則更加平滑和抖動(dòng)較小.

再者,SSM模型方法需要計(jì)算出該模型的h(·)和f(·)函數(shù),一種常用的模型是將這些函數(shù)看作線性并利用訓(xùn)練數(shù)據(jù)得到,此時(shí),式(1)變?yōu)?/p>

其中,ak,bk系數(shù)為Ne×1的列向量.由于該系數(shù)為時(shí)不變,故式(2b)可認(rèn)為仍是一種TILM模型.另外,有人采用一種無(wú)監(jiān)督的UCKD模型[23]把式(1)表示成了兩組狀態(tài)空間方程式,一組采用無(wú)監(jiān)督算法來(lái)預(yù)測(cè)手指移動(dòng)位置,另一組用來(lái)求解f(·)函數(shù),其過(guò)程并未引入訓(xùn)練數(shù)據(jù)部分.

從以上基于式(1)～(2)的SSM類(lèi)方法看,其均認(rèn)為當(dāng)前時(shí)刻的手指移動(dòng)位置狀態(tài)yk僅與前一個(gè)時(shí)刻狀態(tài)yk?1相關(guān),在下一節(jié)中,我們將從時(shí)間相關(guān)性角度來(lái)分析SSM模型的合理性.

2 獼猴手指移動(dòng)解碼與時(shí)間相關(guān)性問(wèn)題

獼猴手指移動(dòng)位置的編解碼過(guò)程,具體編解碼過(guò)程如圖1所示.在相關(guān)采集設(shè)備齊全的情況下,選用一只正常健康的獼猴,其手指能夠自由運(yùn)動(dòng)的活動(dòng)區(qū)域長(zhǎng)為L(zhǎng),寬為B.

圖1 獼猴手指移動(dòng)軌跡編碼Fig.1 Macaque finger movement track coding

首先,訓(xùn)練獼猴,在活動(dòng)區(qū)域內(nèi)會(huì)出現(xiàn)亮點(diǎn)作為目標(biāo)物,不同時(shí)刻目標(biāo)物出現(xiàn)在活動(dòng)區(qū)域的不同位置,獼猴會(huì)用手指依次移向目標(biāo)物,經(jīng)過(guò)反復(fù)訓(xùn)練多次,最終獼猴能夠獨(dú)立地完成此項(xiàng)任務(wù)為止.其次,若目標(biāo)物出現(xiàn)的周期為?t,則在獼猴手部運(yùn)動(dòng)相關(guān)的活動(dòng)腦區(qū)中植入的神經(jīng)電極陣列將采集到第k?t,k=0,1,···,K?1時(shí)刻的信息,即每一時(shí)刻的Ne個(gè)神經(jīng)元峰電位數(shù)信號(hào)sk.然后,在每一時(shí)刻還需要記錄獼猴手指移動(dòng)的位置信息,如第k?t時(shí)刻手指移動(dòng)到A點(diǎn),在記錄神經(jīng)元峰電位數(shù)信號(hào)sk的同時(shí),也要記錄手指移動(dòng)到A點(diǎn)的X和Y軸坐標(biāo)值yk,依次記錄到B、C、D、E······的坐標(biāo)位置值yk.最后,獼猴手指移動(dòng)過(guò)程中共采集到了K組數(shù)據(jù),即分別是K組神經(jīng)元峰電位數(shù)信號(hào)sk和位置坐標(biāo)yk具有相互對(duì)應(yīng)關(guān)系.我們所要做的神經(jīng)解碼技術(shù)就是通過(guò)sk獲取?yk,盡量使得估計(jì)?yk與真實(shí)yk達(dá)到一致.

從獼猴手指移動(dòng)過(guò)程看,其移動(dòng)位置軌跡{yk,k=0,1,···,K?1}應(yīng)是一個(gè)連續(xù)過(guò)程,而基于SSM模型的傳統(tǒng)解碼方法僅將當(dāng)前時(shí)刻的位置狀態(tài)與前一個(gè)時(shí)刻的狀態(tài)相關(guān).其實(shí),獼猴手指移動(dòng)過(guò)程本身是一個(gè)具有一定速度和方向的連續(xù)過(guò)程,因此,其每個(gè)時(shí)刻的移動(dòng)狀態(tài)應(yīng)該與以前若干個(gè)時(shí)刻的狀態(tài)存在一定聯(lián)系,若僅將當(dāng)前時(shí)刻的狀態(tài)與前一個(gè)時(shí)刻建立相關(guān)性,可能不一定是最優(yōu)的.所以,本文嘗試將當(dāng)前時(shí)刻的運(yùn)動(dòng)狀態(tài)與前若干個(gè)時(shí)刻的運(yùn)動(dòng)狀態(tài)建立一定的聯(lián)系,進(jìn)而去尋找一種在時(shí)間相關(guān)性上更優(yōu)的解碼模型.

3 線性時(shí)不變模型的時(shí)間相關(guān)性研究

3.1 CSM模型

本小節(jié)將從時(shí)間相關(guān)性角度出發(fā),將當(dāng)前時(shí)刻的位置狀態(tài)與之前若干個(gè)時(shí)刻相關(guān),以克服SSM模型中描述手指移動(dòng)軌跡連續(xù)性的不足.在該模型的推導(dǎo)中,將從SSM模型入手,得到了一種具有卷積形式的空間模型,其可以較為嚴(yán)格地確定和說(shuō)明噪音的分布和特性.

假定本文模型中時(shí)刻k的位置狀態(tài)yk與前P個(gè)時(shí)刻k,k?1,···,k?P+1相關(guān),則由(2b)可得,在第k?p時(shí)刻的位置坐標(biāo)

斯白噪聲(見(jiàn)附錄A).

將式(2a)代入(3)中,可得

則有

式(6)表明了,運(yùn)動(dòng)狀態(tài)位置信息yk是神經(jīng)元峰電位數(shù)向量sk與權(quán)向量wk的二維卷積形式,見(jiàn)圖2.從圖2可看出,該二維卷積模型應(yīng)該更加適合處理神經(jīng)元峰電位數(shù)信號(hào)中的多維形式.

圖2 二維卷積空間模型示意圖Fig.2 Two dimensional convolution space model

進(jìn)一步簡(jiǎn)化,令

則有

式(7)進(jìn)一步表明運(yùn)動(dòng)狀態(tài)位置yk是神經(jīng)元峰電位數(shù)矩陣Sk與權(quán)矩陣W的內(nèi)積并加上高斯白噪聲?k.從式(6)～(7)的卷積模型中看到,yk不僅與時(shí)刻k的峰電位sk相關(guān),還與sk?P+1,sk?P+2,···,sk?1相關(guān).另外,值得注意的是,模型中并沒(méi)有考慮位置信息的時(shí)間相關(guān)性,yk并沒(méi)有與yk?1,yk?2,···,等相關(guān).

3.2 時(shí)間相關(guān)性對(duì)模型訓(xùn)練的影響

接下來(lái),需要對(duì)前建立的模型進(jìn)行訓(xùn)練,通過(guò)訓(xùn)練數(shù)據(jù)求解出模型的權(quán)值參數(shù)W.從第3.1節(jié)可知,CSM模型所解決的時(shí)間相關(guān)性問(wèn)題,主要是引入的參數(shù)P將當(dāng)前時(shí)刻的軌跡狀態(tài)與前若干個(gè)時(shí)刻的狀態(tài)變化建立了相關(guān)性.當(dāng)P=1時(shí),模型為時(shí)間獨(dú)立的線性模型,故本節(jié)將重點(diǎn)分析和討論參數(shù)P >1時(shí),對(duì)該模型訓(xùn)練過(guò)程的影響.

3.2.1 時(shí)間相關(guān)性對(duì)訓(xùn)練方法的影響

在TILM模型中,若噪聲為零均值高斯白噪聲條件下,則可采用最小二乘法(Least squares,LS)和最陡梯度下降(Gradient descent algorithm,GDA)等訓(xùn)練該模型.由于CSM模型中出現(xiàn)的噪聲都是高斯白噪聲(附錄A),故可采用LS,表示為[32]

由于CSM模型的參數(shù)P >1,因此在LS算法中,式(8)中的觀測(cè)矩陣ˉS的列數(shù)將由原來(lái)的Ne+1變化為PNe+1.觀測(cè)矩陣的維度變化將直接影響到模型訓(xùn)練的復(fù)雜度.

另外,可采用批處理的遞歸最小二乘法(Recursive Least Square,RLS)去訓(xùn)練CSM模型,表示為[32]

同樣,(9)～(12)中觀測(cè)矩陣Sk的列數(shù)也由原來(lái)的Ne+1變化為PNe+1.

最后,梯度下降法(Gradient descent algorithm,GDA)同樣是一種常用的批處理模型訓(xùn)練算法,表示為[32]

其中,μ是迭代步長(zhǎng).與RLS算法類(lèi)似,其觀測(cè)矩陣仍采用列數(shù)為PNe+1的矩陣Sk.

3.2.2 時(shí)間相關(guān)性對(duì)訓(xùn)練復(fù)雜度的影響

忽略低階項(xiàng)和加減負(fù)項(xiàng),LS關(guān)于參數(shù)P的計(jì)算復(fù)雜度可表示為O(P3).其次,RLS第k步的求解需要n3+2n2+n次乘除,總共要完成L步,如果需要T次循環(huán)才能達(dá)到收斂,那么RLS需要的乘除次數(shù)共為T(mén)L(n3+2n2+n),忽略低階項(xiàng)和加減負(fù)項(xiàng),因此RLS關(guān)于P的計(jì)算復(fù)雜度可表示為O(TP3).還有,GDA 第k步的求解需n2+2n次乘除,共需完成L步,如果共需T次循環(huán)才能達(dá)到收斂,那么GDA需要的乘除次數(shù)共為T(mén)L(n2+2n),因此GDA關(guān)于參數(shù)P的計(jì)算復(fù)雜度可表示為O(TP2).

表1給出了CSM模型訓(xùn)練關(guān)于參數(shù)P的計(jì)算復(fù)雜度,由于傳統(tǒng)的時(shí)間獨(dú)立模型中參數(shù)P=1,因此CSM模型的復(fù)雜度相比于傳統(tǒng)模型的復(fù)雜度分別增加了P3,P3和P2倍.

表1 參數(shù)P 對(duì)算法的訓(xùn)練復(fù)雜度Table 1 Training complexity of parameter P for algorithm

3.2.3 時(shí)間相關(guān)性對(duì)訓(xùn)練參數(shù)的影響

在CSM模型中,所求卷積核W的參數(shù)個(gè)數(shù)為PNe+1,因此,相較于時(shí)間獨(dú)立模型的參數(shù)個(gè)數(shù),其增加了約P倍.

圖3 時(shí)間相關(guān)性下卷積核權(quán)重大小分布Fig.3 Convolution kernel weight distribution in time correlation

圖4 實(shí)驗(yàn)1中位置估計(jì)與手指移動(dòng)真實(shí)位置曲線Fig.4 Position estimation and finger movement real position curve in experiment 1

圖3給出CSM模型在4組實(shí)驗(yàn)中的卷積核W訓(xùn)練結(jié)果,其中權(quán)重大小為p=1,2,···,P的2范數(shù),P=10,訓(xùn)練方法采用GDA算法,4組實(shí)驗(yàn)的設(shè)置可參見(jiàn)第5.2節(jié).從圖中4 組實(shí)驗(yàn)的訓(xùn)練結(jié)果看,卷積核的大小隨P的增大而逐步減小,這說(shuō)明與當(dāng)前時(shí)刻越接近的時(shí)刻相關(guān)性越強(qiáng).另外,隨著P的增大,卷積核權(quán)重下降逐漸趨于平緩,特別當(dāng)P >10時(shí),權(quán)重大小已降至0.05以下.該結(jié)果說(shuō)明,P的取值并不是越大越好,因?yàn)殡S著P的增大,其權(quán)重對(duì)模型時(shí)間相關(guān)性的貢獻(xiàn)已變得非常小.

4 神經(jīng)解碼

完成對(duì)CSM模型的訓(xùn)練以后,可將擬解碼的神經(jīng)元峰電位數(shù)信號(hào)代入到CSM模型中,繼而解碼出手指移動(dòng)位置,如下給出了獼猴手指移動(dòng)位置神經(jīng)解碼的完整算法.

算法1.估計(jì)yk的LS算法

算法2.批處理RLS算法

算法3.批處理梯度下降算法

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)來(lái)源

數(shù)據(jù)由Hatsopoulos實(shí)驗(yàn)室[8]提供,下載地址為http://booksite.elsevier.com/0780123838360,數(shù)據(jù)采集的具體過(guò)程可見(jiàn)第三部分編解碼問(wèn)題描述,其中相關(guān)參數(shù)值如下.

1)獼猴手指活動(dòng)范圍L=25 cm,B=18 cm.

2)獼猴腦部采集電極數(shù)Ne=42.

3)采樣周期?t=70 ms.

4)數(shù)據(jù)長(zhǎng)度K=3 101.

所下載的數(shù)據(jù)共有兩組,具體描述如下.

5)數(shù)據(jù)1:由二個(gè)數(shù)據(jù)矩陣組成,一個(gè)是K×Ne的神經(jīng)元信號(hào)特征矩陣;另一個(gè)是K×2的坐標(biāo)位置標(biāo)簽矩陣,其中標(biāo)簽矩陣的第一列為X軸,第二列為Y軸,活動(dòng)范圍為長(zhǎng)L,寬B.

6)數(shù)據(jù)2:格式與數(shù)據(jù)1相同,同樣由二個(gè)數(shù)據(jù)矩陣組成.

其中,數(shù)據(jù)1和數(shù)據(jù)2均在同等條件下采集.數(shù)據(jù)1和數(shù)據(jù)2的區(qū)別是,數(shù)據(jù)1中有方向隨機(jī)的連續(xù)性手指移動(dòng),數(shù)據(jù)2中存在有水平或垂直方向維持一段時(shí)間的移動(dòng).

5.2 實(shí)驗(yàn)及參數(shù)設(shè)置

本實(shí)驗(yàn)將先后采用5組實(shí)驗(yàn)來(lái)評(píng)判神經(jīng)解碼的性能,對(duì)數(shù)據(jù)1和數(shù)據(jù)2的實(shí)驗(yàn)數(shù)據(jù)經(jīng)處理分成5組實(shí)驗(yàn)如下.

實(shí)驗(yàn)1.對(duì)數(shù)據(jù)1采用驗(yàn)證方法為Holdout驗(yàn)證[33],70%的數(shù)據(jù)用于訓(xùn)練,30%的數(shù)據(jù)用于測(cè)試;

實(shí)驗(yàn)2.對(duì)數(shù)據(jù)1采用驗(yàn)證方法為M折交叉驗(yàn)證[33],其中M=10;

實(shí)驗(yàn)3.對(duì)數(shù)據(jù)2采用驗(yàn)證方法為M折交叉驗(yàn)證[33],其中M=10;

實(shí)驗(yàn)4.數(shù)據(jù)1作為訓(xùn)練數(shù)據(jù),數(shù)據(jù)2作為測(cè)試數(shù)據(jù);

實(shí)驗(yàn)5.數(shù)據(jù)2作為訓(xùn)練數(shù)據(jù),數(shù)據(jù)1作為測(cè)試數(shù)據(jù).

實(shí)驗(yàn)2和3的M折交叉驗(yàn)證中,誤差評(píng)判標(biāo)準(zhǔn)采用均方根誤差ec,定義如下

其中ym,k和ym,k分別是第m次交叉驗(yàn)證得到的解碼值和真實(shí)值,K為交叉驗(yàn)證的數(shù)據(jù)長(zhǎng)度.

實(shí)驗(yàn)4和5的誤差評(píng)判標(biāo)準(zhǔn)采用er,定義如下

其中yk和yk分別是測(cè)試數(shù)據(jù)中解碼值和真實(shí)值,K為測(cè)試數(shù)據(jù)的數(shù)據(jù)長(zhǎng)度.分別采用均方根誤差ec和er來(lái)評(píng)判解碼方法在實(shí)驗(yàn)2至5的泛化能力.

在5組實(shí)驗(yàn)中,分別對(duì)Linear[8],KF[22,29],RBE[25],UCKD[23]和CSM模型方法計(jì)算出均方根誤差ec和er,相關(guān)參數(shù)如下設(shè)置.

Linear:首先用最小二乘法訓(xùn)練式(3)的模型,然后利用測(cè)試數(shù)據(jù)解碼移動(dòng)軌跡位置.

RBE:X軸的估計(jì)區(qū)間為0.5:1:24.5(起始值是0.5,間隔是1,終點(diǎn)值是24.5),Y軸的估計(jì)區(qū)間為0.5:1:14.5.

CSM:除以上相關(guān)參數(shù)以外,還有,遺忘因子λ=0.9999,延遲的時(shí)間相關(guān)性數(shù)據(jù)長(zhǎng)度P=10,RLS的迭代循環(huán)次數(shù)T是3,GDA迭代步長(zhǎng)μ是2×10?6,GDA迭代循環(huán)次數(shù)T是60.

5.3 解碼結(jié)果分析

圖4給出了實(shí)驗(yàn)1中各算法對(duì)X軸軌跡解碼的曲線圖,并從所有測(cè)試數(shù)據(jù)中取200個(gè)樣本點(diǎn).從圖中得出,對(duì)手指移動(dòng)位置的軌跡基本都能跟蹤上,當(dāng)然,每種算法所表現(xiàn)的性能并不完全相同.Linear 算法解碼的軌跡有較多的抖動(dòng)和毛刺,如第80～100點(diǎn)附近波動(dòng)較頻繁,主要原因是Linear把手指移動(dòng)位置看成了一個(gè)獨(dú)立過(guò)程,沒(méi)有時(shí)間前后的相關(guān)性.UCKD算法偏離真實(shí)軌跡較大,如120～130和150～160點(diǎn)出現(xiàn)與真實(shí)軌跡反向的情況,導(dǎo)致誤差較大,是因?yàn)樵撍惴ú捎玫氖菬o(wú)監(jiān)督解碼,再者,該算法解碼X軸時(shí),軌跡的正反向有時(shí)未能辨識(shí),但是,對(duì)Y軸有較好的辨識(shí)度[23].采用SSM模型的算法是KF和RBE,解碼曲線較為平滑,抖動(dòng)較小,原因是SSM模型把當(dāng)前時(shí)刻的狀態(tài)與前一時(shí)刻有了相關(guān)性,但有時(shí)解碼曲線未能完全反映實(shí)際曲線的變化趨勢(shì),如出現(xiàn)急速轉(zhuǎn)向的40～60點(diǎn)附近.本文采用CSM模型的LS、RLS和GDA算法,對(duì)趨勢(shì)反轉(zhuǎn)處仍能較好跟蹤上真實(shí)軌跡,如20～40,40～60和80～100等,該結(jié)果表明當(dāng)前時(shí)刻的狀態(tài)的確與前若干個(gè)時(shí)刻的狀態(tài)有相關(guān)性.另外,圖4還分別給出了傳統(tǒng)TILM模型在X軸解碼的曲線圖,從圖中可以看出,廣義線性(Generalized linear model,GLM)、二次多項(xiàng)式(Polynomial)、自回歸滑動(dòng)平均(Auto-regressive moving average model,ARMA)三種模型在細(xì)節(jié)部分總是存在毛刺或抖動(dòng)情況,導(dǎo)致總的估計(jì)性能較差.

以上是定性分析,下面給出定量分析.表2給出各算法對(duì)實(shí)驗(yàn)2至實(shí)驗(yàn)5中X軸的解碼誤差,其中實(shí)驗(yàn)2和3的誤差計(jì)算是ec值,實(shí)驗(yàn)4和5的誤差計(jì)算是er.4組實(shí)驗(yàn)的誤差均值由高到低分別為UCKD、Linear、RBE、KF、GDA、LS和RLS,其中RLS算法相比誤差最小的傳統(tǒng)KF算法,減小約11.1%.另外,分析每一組實(shí)驗(yàn)的均方誤差,采用CSM模型的算法都會(huì)小于或接近于傳統(tǒng)算法的誤差,其中在實(shí)驗(yàn)4中GDA的誤差為4.58 cm,高于傳統(tǒng)算法,說(shuō)明GDA處理這組數(shù)據(jù)的泛化能力較弱.

另外,表2還給出Y軸中各算法的解碼誤差,4組實(shí)驗(yàn)結(jié)果的誤差均值從高到低依次是UCKD、Linear、RBE、LS、RLS、KF和GDA,此次KF算法誤差值都略微低于LS、RLS算法約0.02 cm,但誤差值最小的仍然是CSM模型的算法.并且,對(duì)于每組實(shí)驗(yàn),采用CSM模型的算法的均方誤差同樣小于或接近于傳統(tǒng)算法.只是,GDA算法相比誤差最小的傳統(tǒng)KF算法,均方誤差僅減小約5.3%,不如X軸的性能提升.需注意的是,Y軸的泛化能力強(qiáng)于X軸,主要原因是Y軸的測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)集的相似度更高.最后,表3給出二維平面中各算法的解碼誤差,與表2類(lèi)似,誤差均值最小的仍是采用CSM模型的算法.

表2 X 軸和Y 軸(括號(hào)內(nèi))的估計(jì)誤差(cm)(保留三位)Table 2 X-axis and Y-axis(in parentheses)estimated error(cm)(three places reserved)

表3 二維平面的估計(jì)誤差(cm)(保留三位)Table 3 The estimated error of the two-dimensional plane(cm)(three places reserved)

圖5給出CSM模型中P值對(duì)解碼性能的影響,分別給出了實(shí)驗(yàn)2到5中LS、RLS和GDA的均方誤差曲線變化圖.從圖中看出,LS和RLS算法的誤差曲線幾乎處于重合,在約P=20以后,誤差曲線呈增長(zhǎng)趨勢(shì).再者,在實(shí)驗(yàn)2、實(shí)驗(yàn)3和實(shí)驗(yàn)5中,采用CSM模型的LS、RLS和GDA在參數(shù)P=10以前的誤差曲線均下降,直到約3 cm左右,然后趨于穩(wěn)定,最后在P=20時(shí)又呈增大趨勢(shì).在實(shí)驗(yàn)4中,GDA的誤差曲線是先減小后增大,再減小后趨于穩(wěn)定,而LS和RLS是先增大后穩(wěn)定再增大趨勢(shì),但在約P=10時(shí)它們都會(huì)處于較小誤差.原因是當(dāng)P過(guò)小出現(xiàn)欠擬合,當(dāng)P過(guò)大出現(xiàn)過(guò)擬合,此時(shí)有較差的泛化能力.因此,當(dāng)P=10時(shí)采用CSM模型的算法解碼手指移動(dòng)位置能保證有較小誤差.

圖6給出在CSM模型中循環(huán)迭代次數(shù)T值的實(shí)驗(yàn)結(jié)果,分別給出RLS和GDA算法的均方誤差曲線圖.從圖中看出,GDA算法的誤差曲線隨著循環(huán)迭代次數(shù)的增加,直到T=10左右,呈快速下降,隨后下降趨勢(shì)減緩,最后在約T=40以后,誤差曲線就會(huì)趨于穩(wěn)定狀態(tài).另一方面,RLS算法的誤差曲線隨著循環(huán)迭代次數(shù)的增加,不能保證誤差曲線下降.從分析中得出,采用CSM模型的GDA,循環(huán)迭代次數(shù)可最低設(shè)置T=40,因?yàn)橹蟮恼`差曲線并不會(huì)再下降.還有,采用CSM模型的RLS算法,由于誤差曲線變化不明顯,故可不循環(huán)迭代或較少的循環(huán)迭代次數(shù).

最后,為了評(píng)估CSM模型中三種算法的計(jì)算復(fù)雜度,表4給出了其在實(shí)驗(yàn)4中的訓(xùn)練時(shí)間,其中RLS算法的循環(huán)迭代次數(shù)T=3,GDA 算法的T=60.PC電腦操作系統(tǒng)為Windows 7 旗艦版64位SP1,處理器為英特爾Corei5-6400 2.70 GHz四核,處理軟件為MATLAB R2017b.從表4可以看出,RLS算法運(yùn)行時(shí)間最長(zhǎng),GDA算法次之,LS算法運(yùn)行時(shí)間最短,該實(shí)驗(yàn)結(jié)果與第3.2.2節(jié)一致.

圖5 手指移動(dòng)橫坐標(biāo)估計(jì)誤差隨延遲數(shù)據(jù)長(zhǎng)度P 的變化Fig.5 Finger movement abscissa estimation error with delay data length P changes

圖6 手指移動(dòng)橫坐標(biāo)估計(jì)誤差隨迭代次數(shù)T 的變化Fig.6 Finger movement abscissa estimation error with the number of iterations cycle T changes

表4 CSM模型算法的訓(xùn)練時(shí)間(保留三位)Table 4 The training time of CSM model algorithm(three places reserved)

6 討論

本文通過(guò)對(duì)手指移動(dòng)位置解碼模型的時(shí)間相關(guān)性研究,采用了CSM模型來(lái)解碼手指移動(dòng)位置的方法,并采用了三種算法來(lái)訓(xùn)練模型.與傳統(tǒng)模型的解碼結(jié)果相比,其解碼結(jié)果的誤差有所降低.但是,對(duì)于CSM模型和訓(xùn)練方法還有以下幾點(diǎn)需要進(jìn)一步進(jìn)行討論.

首先,對(duì)時(shí)間相關(guān)性分析后,引入了參數(shù)P使得需要訓(xùn)練的參數(shù)數(shù)量增多.在傳統(tǒng)SSM模型(2)中訓(xùn)練的權(quán)值a和偏執(zhí)b的數(shù)量為2Ne,在CSM模型中該數(shù)量變?yōu)镻Ne+1.由于增加了訓(xùn)練參數(shù),使得訓(xùn)練算法的復(fù)雜度增加.但是,解碼中只是增加算法的乘法步驟,故訓(xùn)練復(fù)雜度對(duì)解碼影響不大.

再次,參數(shù)P的確定會(huì)對(duì)解碼性能產(chǎn)生重要影響.若P選擇過(guò)大會(huì)產(chǎn)生過(guò)擬合,選擇過(guò)小會(huì)欠擬合使誤差增大.為確定P的合適值,可在解碼之前,再設(shè)置一個(gè)驗(yàn)證集,以便確定最合適的P值.

另外,從實(shí)驗(yàn)數(shù)據(jù)也可以看到,本文的CSM模型雖然主要性能在X軸而非Y軸,但是對(duì)二維平面解碼的誤差性能也有較大改善.

除此之外,對(duì)于批處理的訓(xùn)練方法,RLS和GDA算法需要一定的循環(huán)迭代次數(shù).從實(shí)驗(yàn)結(jié)果看,RLS一次循環(huán)結(jié)果和多次循環(huán)結(jié)果性能接近,因此循環(huán)次數(shù)可設(shè)置1.對(duì)于GDA算法,循環(huán)迭代次數(shù)需40次以上才能達(dá)到收斂,增加了計(jì)算復(fù)雜度.然而,由于前10次循環(huán)中GDA的誤差就迅速下降,雖然后續(xù)的循環(huán)仍有所下降但已趨向平緩,因此,為減少循環(huán)時(shí)間,不一定要將循環(huán)次數(shù)設(shè)置至收斂時(shí),T=10次循環(huán)是一個(gè)可行的選擇.而且,參數(shù)P對(duì)GDA算法的計(jì)算復(fù)雜度影響為O(TP2),相比于其余兩種算法的O(P3)和O(TP2),增加T的值有時(shí)并不一定會(huì)增加過(guò)多的復(fù)雜度.

需要注意的是,本文的CSM模型方法本質(zhì)上仍然是一種有監(jiān)督的解碼方法,因?yàn)樗惴ǖ慕獯a離不開(kāi)訓(xùn)練數(shù)據(jù)集.其實(shí),人類(lèi)的學(xué)習(xí)過(guò)程就是一種無(wú)監(jiān)督,其可以不依賴(lài)于訓(xùn)練標(biāo)簽就可解碼出手指移動(dòng)軌跡,更符合實(shí)際的學(xué)習(xí)方法.雖然UCKD方法是一種無(wú)監(jiān)督方法,但令人遺憾的是,它對(duì)于X軸的解碼效果并不理想.另外,還可以考慮半監(jiān)督或弱監(jiān)督的解碼方法,即使訓(xùn)練集合的標(biāo)簽信息不完整也能解碼出位置信息,例如僅知道手指移動(dòng)位置的大概信息而不是確切信息,這些都可以是以后的一個(gè)研究方向.

最后,CSM模型本身是一個(gè)卷積模型,將近來(lái)較為流行的深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)來(lái)進(jìn)行學(xué)習(xí),從初步試驗(yàn)結(jié)果看能夠大體跟蹤上運(yùn)動(dòng)趨勢(shì),然而仍然有一些問(wèn)題還需解決,例如網(wǎng)絡(luò)參數(shù)設(shè)置、初始化和激活函數(shù)等問(wèn)題.再者,目前深度網(wǎng)絡(luò)中會(huì)引入非線性激活函數(shù),同時(shí)時(shí)間不變線性模型與遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)有相關(guān)性,可以考慮把這些特性或方法與本文卷積空間模型進(jìn)行結(jié)合.需要注意的是,文中卷積空間模型重點(diǎn)是對(duì)輸入多維數(shù)據(jù)的處理,故可以采用各種算法解決此模型中多維數(shù)據(jù)的問(wèn)題,而遞歸神經(jīng)網(wǎng)絡(luò)本身是可直接調(diào)用的算法層面.神經(jīng)元峰電位數(shù)信號(hào)中究竟有哪些特征能夠真正影響手指移動(dòng)位置解碼,這一點(diǎn)并沒(méi)有一個(gè)公認(rèn)的答案,而深度卷積神經(jīng)網(wǎng)絡(luò)具備自動(dòng)學(xué)習(xí)提取目標(biāo)對(duì)象的特征值,這提供了一個(gè)解決本問(wèn)題可嘗試的方向.例如,是否可以嘗試把本文的解碼回歸問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題,因?yàn)樯疃染矸e網(wǎng)絡(luò)更多的應(yīng)用場(chǎng)合是分類(lèi),這會(huì)是一個(gè)新的思路.經(jīng)過(guò)我們的初步實(shí)驗(yàn),神經(jīng)網(wǎng)絡(luò)方面算法處理本文的回歸問(wèn)題,導(dǎo)致M折交叉驗(yàn)證中每次循環(huán)迭代產(chǎn)生的估計(jì)結(jié)果不穩(wěn)定性很高.故我們認(rèn)為,在后續(xù)的研究中,如果此回歸問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題得到解決,可采用CNN,RNN等神經(jīng)網(wǎng)絡(luò)算法做更深入的分析.

7 結(jié)束語(yǔ)

本文中神經(jīng)解碼就是通過(guò)獼猴運(yùn)動(dòng)皮層的神經(jīng)元峰電位信號(hào)預(yù)測(cè)其手指移動(dòng)位置.分析了傳統(tǒng)解碼模型的時(shí)間相關(guān)性問(wèn)題,采用一種具有卷積形式的線性時(shí)不變模型,稱(chēng)為CSM模型.然后,采用CSM模型的LS、RLS和GDA算法去訓(xùn)練模型的權(quán)值參數(shù),最后去解碼出手指移動(dòng)軌跡.本文采用的模型使獼猴當(dāng)前時(shí)刻的狀態(tài)與前若干個(gè)時(shí)刻的峰電位數(shù)有相關(guān)性,將手指移動(dòng)位置表示為神經(jīng)元峰電位數(shù)的簇向量與一組常系數(shù)的卷積.

CSM模型中,P=1時(shí),模型是時(shí)間獨(dú)立的線性模型,P >1時(shí),是卷積空間模型.另外,CSM為二維卷積,可用來(lái)處理輸入多維神經(jīng)元峰電位數(shù)信號(hào).再者,該模型主要是針對(duì)神經(jīng)元峰電位數(shù)信號(hào)的時(shí)間相關(guān)性,并未考慮手指移動(dòng)位置的時(shí)間相關(guān)性.

在實(shí)驗(yàn)中,利用公開(kāi)數(shù)據(jù),分別采用Holdout和交叉驗(yàn)證給出了5組實(shí)驗(yàn)結(jié)果,來(lái)評(píng)判本文方法的解碼性能.從實(shí)驗(yàn)結(jié)果來(lái)看,與傳統(tǒng)方法相比,本文方法在對(duì)X軸解碼的誤差均值上有了約11.1%的性能提升.另外,實(shí)驗(yàn)結(jié)果還證實(shí),CSM模型中當(dāng)前時(shí)刻的狀態(tài)與前10個(gè)時(shí)刻的狀態(tài)具有較好的時(shí)間相關(guān)性,解碼誤差較小.最后,從實(shí)驗(yàn)結(jié)果來(lái)看,采用CSM模型的RLS和GDA算法都采用了循環(huán)迭代,其RLS算法至少一次循環(huán)迭代就能達(dá)到收斂,GDA算法的循環(huán)迭代次數(shù)較多.

附錄A 高斯白噪聲證明

由式(3)可知