徐 彥，熊迎軍，楊 靜

(1.南京農(nóng)業(yè)大學(xué)信息科技學(xué)院，南京210095; 2.北京師范大學(xué)珠海分校管理學(xué)院，廣東珠海519087)

(*通信作者電子郵箱xuyannn@njau.edu.cn)

0 引言

脈沖神經(jīng)網(wǎng)絡(luò)被稱為第三代神經(jīng)網(wǎng)絡(luò)［1］，其以更接近真實(shí)神經(jīng)元的方式運(yùn)行，具有強(qiáng)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的性能［2］。脈沖神經(jīng)元以脈沖激發(fā)時間作為輸入和輸出，可以更好地模擬生物神經(jīng)元進(jìn)而可以成為更有效模擬人工智能的基礎(chǔ)。

在人工神經(jīng)網(wǎng)絡(luò)的研究中，有監(jiān)督學(xué)習(xí)理論一直屬于核心研究內(nèi)容。由于人腦神經(jīng)系統(tǒng)中神經(jīng)元激發(fā)的脈沖序列為各種認(rèn)知活動的生理基礎(chǔ)［3］，因此脈沖神經(jīng)元與網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)具有重要的應(yīng)用價值，成為其研究領(lǐng)域中一個極重要的組成部分。而這其中，以脈沖的激發(fā)時間編碼的有監(jiān)督學(xué)習(xí)又成為研究者重點(diǎn)關(guān)注的研究方向。

基于時間編碼的脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法按照激發(fā)的脈沖個數(shù)可以大致分為單脈沖學(xué)習(xí)(如Tempotron［4］)和多脈沖學(xué)習(xí)方法兩類。很顯然，多脈沖學(xué)習(xí)更加符合生物神經(jīng)元運(yùn)行的特征并且也具有更強(qiáng)的應(yīng)用性能。如果按照適用的網(wǎng)絡(luò)結(jié)構(gòu)可以把脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法分為單神經(jīng)元學(xué)習(xí)和網(wǎng)絡(luò)學(xué)習(xí)方法兩類。已有有監(jiān)督學(xué)習(xí)方法在網(wǎng)絡(luò)結(jié)構(gòu)和脈沖個數(shù)上的一個普遍規(guī)律是單神經(jīng)元學(xué)習(xí)方法的多脈沖學(xué)習(xí)能力普遍較強(qiáng)，可以通過學(xué)習(xí)控制更多的脈沖激發(fā)時刻，而多層網(wǎng)絡(luò)的學(xué)習(xí)方法一般只控制較少的輸出脈沖個數(shù)。

這里先介紹幾個概念的定義。脈沖神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)是指通過學(xué)習(xí)使得輸出神經(jīng)元激發(fā)出一串特定的期望輸出脈沖序列?；跁r間編碼的脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)是指在一段運(yùn)行時間內(nèi)通過學(xué)習(xí)使得輸出神經(jīng)元精確地在指定的時刻激發(fā)出脈沖。基于時間編碼的單脈沖神經(jīng)元的多脈沖有監(jiān)督學(xué)習(xí)(以下簡稱單神經(jīng)元學(xué)習(xí))是指具有多個輸入突觸的單個脈沖神經(jīng)元通過學(xué)習(xí)在期望的時刻激發(fā)出多個脈沖，即脈沖序列，所以本文又稱之為脈沖序列學(xué)習(xí)。

脈沖神經(jīng)元是構(gòu)成脈沖神經(jīng)網(wǎng)絡(luò)的基本單元，單脈沖神經(jīng)元的有監(jiān)督學(xué)習(xí)可以更好地借鑒已明確的生物神經(jīng)元突觸調(diào)整機(jī)制，同時是實(shí)現(xiàn)更復(fù)雜神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)的基礎(chǔ)［5］，因此具有重要的意義。單神經(jīng)元脈沖序列學(xué)習(xí)的過程受到諸多因素的影響，包括輸入輸出脈沖序列長度、激發(fā)率，神經(jīng)元突觸個數(shù)等。序列越長、激發(fā)率越高會導(dǎo)致學(xué)習(xí)的難度越大;但是，諸多的因素也使得脈沖序列學(xué)習(xí)具有更加靈活的權(quán)值調(diào)整可用信息。

目前，已有不同的研究者提出了若干單神經(jīng)元學(xué)習(xí)方法。其中，有一類是基于隨機(jī)模型提出的［6－7］，這類非確定性方法難以分析比較它們對復(fù)雜目標(biāo)序列的學(xué)習(xí)能力。文獻(xiàn)［8］利用線性代數(shù)的方法給出了一種脈沖序列學(xué)習(xí)方法，但是這種方法的理論脫離脈沖神經(jīng)元的特點(diǎn)過多，因此較少被研究者關(guān)注。另外，也已經(jīng)有綜述性的文獻(xiàn)介紹脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法［9－10］，但是這些研究的介紹都比較廣泛，沒有特別針對脈沖序列學(xué)習(xí)方法，或者沒有進(jìn)行實(shí)驗(yàn)比較不同方法的序列學(xué)習(xí)能力。序列學(xué)習(xí)能力是脈沖序列學(xué)習(xí)方法的核心性能，同時對于越長越復(fù)雜脈沖序列學(xué)習(xí)能力越強(qiáng)的方法將具有更強(qiáng)的應(yīng)用能力，也更能體現(xiàn)脈沖神經(jīng)元的特征。

本文以確定性的學(xué)習(xí)方法為對象，較詳細(xì)地介紹了幾種目前主要的脈沖序列學(xué)習(xí)方法，這些方法基于不同的理論依據(jù)，具有不同的權(quán)值調(diào)整方式，在性能上存在較大的差別。本文通過實(shí)驗(yàn)比較了這幾種方法的學(xué)習(xí)性能，分析和總結(jié)了它們的特點(diǎn)。

1 脈沖神經(jīng)元模型

目前，存在多種脈沖神經(jīng)元模型，這些模型大多從生物神經(jīng)元內(nèi)部物理化學(xué)活動的規(guī)律抽象出模型表達(dá)式，這其中，集成激發(fā)模型(Leaky Integrate-and-Fire model，LIF)［11］與脈沖反應(yīng)模型(Spike Response Model，SRM)［12］是脈沖序列學(xué)習(xí)方法研究中最常見的模型對象。

LIF是最基本、也是最常被研究的一種閾值 激發(fā)模型，這個模型基于生物神經(jīng)元在生物電子學(xué)上表現(xiàn)出的一些特征。一個通過突觸在時刻t(g)輸入的脈沖經(jīng)過一個低通濾波器，這個低通濾波器將脈沖形式的短暫脈沖轉(zhuǎn)換成一個電流脈沖I(g)(t)。這個電流脈沖會升高神經(jīng)元內(nèi)部電路的電壓，升高的電壓可以看成是神經(jīng)元的突觸后膜電位值的改變量。神經(jīng)元內(nèi)部電路中并聯(lián)著一個電阻Rm和一個電容C。一旦在神經(jīng)元內(nèi)部電容上的電壓超過激發(fā)閾值，神經(jīng)元會激發(fā)出一個脈沖。根據(jù)電路中電流、電壓和電容的相互關(guān)系，這個模型的神經(jīng)元膜電位u隨著時間的表達(dá)式為:

其中τm=RmC，稱為膜時間常數(shù)。一個具體的LIF神經(jīng)元由電流I(t)決定，I(t)為沿著所有突觸到達(dá)神經(jīng)元的輸入脈沖在神經(jīng)元內(nèi)部形成的電流脈沖并且在突觸強(qiáng)度影響下的總和，即:

其中:N是神經(jīng)元輸入突觸個數(shù);wi是神經(jīng)元第i個突觸的權(quán)值;Ii(t)是第i條突觸所有輸入脈沖引起的電流脈沖的總和，而每一個輸入脈沖通過一個核函數(shù)轉(zhuǎn)換為電流脈沖。因此，有:

其中:H(t)是Heaviside階躍函數(shù);K(t)為核函數(shù)。

LIF的表達(dá)式是微分方程形式，而SRM則具有直觀的表達(dá)式，一種通用的SRM神經(jīng)元的膜電位表達(dá)式為:

一個輸入脈沖產(chǎn)生的突觸后電位(PostSynaptic Potential，PSP)，由反應(yīng)函數(shù)ε(t)決定。當(dāng)神經(jīng)元的膜電位由低到高超過神經(jīng)元的激發(fā)閾值，神經(jīng)元會在這個時刻激發(fā)出一個脈沖(這里用表示)，隨后神經(jīng)元進(jìn)入絕對不應(yīng)期和相對不應(yīng)期，這兩個過程會對神經(jīng)元在后面時間的內(nèi)部狀態(tài)和脈沖激發(fā)產(chǎn)生影響。膜電位表達(dá)式中加入不應(yīng)期函數(shù)η(t－)描述相對不應(yīng)期的影響，為當(dāng)前時刻之前的最靠近當(dāng)前時刻的脈沖激發(fā)時刻。

不同的脈沖神經(jīng)元模型之間并不獨(dú)立，通過求解微分方程的通解可以得到LIF一個確定性的表達(dá)式［12］，而這個表達(dá)式可以看成是一種SRM。

圖1 脈沖序列學(xué)習(xí)Fig.1 Spike sequence learning

在神經(jīng)元運(yùn)行過程中實(shí)際激發(fā)脈沖的時刻記為To={，…，}，期望輸出脈沖的時刻記為Td=，，…}，沿著第i個突觸輸入神經(jīng)元的脈沖的到達(dá)時刻記為={，…};則實(shí)際輸出脈沖序列可以記期望輸出脈沖序列可以記為

2 脈沖序列學(xué)習(xí)方法

2.1 基于梯度下降的方法

基于梯度下降的脈沖反向傳播(Spike Back Propagation，SpikeProp)方法［13］是最早出現(xiàn)的脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法之一，這個方法將著名的BP(Back Propagation)算法推廣到脈沖神經(jīng)網(wǎng)絡(luò)。在SpikeProp的研究基礎(chǔ)上，帶動量的反向傳 播、QuickProp(Quick Back Propagation)、Levenberg-Marquardt BP等提高學(xué)習(xí)性能的反向傳播算法被應(yīng)用到脈沖神經(jīng)網(wǎng)絡(luò)上［14–16］。這幾種方法所采用的是純粹的單脈沖結(jié)構(gòu)，即輸入、隱層、輸出神經(jīng)元都被限制僅僅激發(fā)一個脈沖或者僅僅控制一個脈沖的激發(fā)時間。文獻(xiàn)［17］首先提出了一種基于多脈沖激發(fā)的反向傳播學(xué)習(xí)模型，但是這個方法中僅僅是隱層神經(jīng)元可以激發(fā)多脈沖，而輸出神經(jīng)元只能通過學(xué)習(xí)控制第一個脈沖的激發(fā)時間，所以仍然屬于單脈沖學(xué)習(xí)模型。類似的，文獻(xiàn)［18］提出了一個多脈沖輸出網(wǎng)絡(luò)結(jié)構(gòu)，稱之為MuSpiNN(Multi-Spiking Neural Network)網(wǎng)絡(luò)模型，以及這個模型上的多脈沖輸出反向傳播學(xué)習(xí)算法Multi-SpikeProp，但是這個模型的多脈沖特性同樣僅僅體現(xiàn)在隱層神經(jīng)元上，作為構(gòu)建誤差函數(shù)的輸出神經(jīng)元同樣只能為單脈沖輸出。

文獻(xiàn)［19］通過構(gòu)造多脈沖情形下的誤差函數(shù)實(shí)現(xiàn)了基于梯度下降的脈沖序列學(xué)習(xí)方法?；谔荻认陆档姆椒ㄐ枰獦?gòu)造誤差函數(shù)，脈沖序列學(xué)習(xí)中誤差函數(shù)由期望輸出和實(shí)際輸出脈沖序列構(gòu)成。文獻(xiàn)［19］中的方法當(dāng)神經(jīng)元運(yùn)行完成得到完整的實(shí)際輸出脈沖序列后再與期望輸出脈沖序列構(gòu)成誤差函數(shù)，其權(quán)值調(diào)整是在神經(jīng)元運(yùn)行完成后進(jìn)行，因此屬于離線學(xué)習(xí)方式。

由生物學(xué)研究可知，生物神經(jīng)元大多數(shù)情況下是在有脈沖激發(fā)時按照一定的機(jī)制立刻調(diào)整突觸強(qiáng)度，也就是屬于在線調(diào)整。在線方式的脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)方法更符合生物學(xué)基礎(chǔ)，而且預(yù)期也會有更強(qiáng)的學(xué)習(xí)性能，因此在理論研究和實(shí)際應(yīng)用上都有一定優(yōu)勢。在線的脈沖序列學(xué)習(xí)方法在神經(jīng)元運(yùn)行過程中一旦有脈沖激發(fā)就立刻調(diào)整突觸權(quán)值。文獻(xiàn)［20－21］提出了在線的基于梯度下降的脈沖序列學(xué)習(xí)方法(Online Gradient-Descent-Based Multi-Spike，OnMSGDB)。這個方法基于SRM神經(jīng)元提出，并且在神經(jīng)元有脈沖激發(fā)時立刻根據(jù)當(dāng)前激發(fā)脈沖和對應(yīng)的期望輸出脈沖構(gòu)造實(shí)時誤差函數(shù)。具體的，設(shè)當(dāng)前激發(fā)的為第f個實(shí)際輸出脈沖，第 f個期望輸出脈沖為，則由這兩個脈沖構(gòu)建的誤差函數(shù)定義如下:

接著就是利用梯度下降法最小化這個誤差函數(shù)得到權(quán)值調(diào)整公式，即:

2.2 ReSuMe方法

基于梯度下降的方法是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)研究中常用的方法，另一種傳統(tǒng)神經(jīng)元常用的權(quán)值調(diào)整方法是Widrow-Hoff規(guī)則。這個規(guī)則目前也成為幾種脈沖神經(jīng)元脈沖序列學(xué)習(xí)方法的理論基礎(chǔ)。標(biāo)準(zhǔn)的Widrow-Hoff規(guī)則表達(dá)式為:

其中xin、yd、yo分別代表神經(jīng)元的輸入、期望輸出與實(shí)際輸出。由此表達(dá)式可知Widrow-Hoff規(guī)則中神經(jīng)元依據(jù)實(shí)際與期望輸出之差并且乘以輸入計算調(diào)整權(quán)值。

Widrow-Hoff規(guī)則只能處理實(shí)數(shù)形式的輸入輸出，因此不能直接應(yīng)用于脈沖神經(jīng)元。因?yàn)槊}沖神經(jīng)元與真實(shí)生物神經(jīng)元的密切聯(lián)系，其學(xué)習(xí)方法可以借鑒生物神經(jīng)元的突觸調(diào)整機(jī)制，例如依賴時間的突觸可塑性(Spike-Timing-Dependent-Plasticity， STDP)［22］規(guī) 則。 ReSuMe(Remote Supervised Method)方法［23］使用窗口函數(shù)首次克服了Widrow-Hoff規(guī)則的限制并且結(jié)合STDP規(guī)則實(shí)現(xiàn)脈沖序列學(xué)習(xí)，其權(quán)值調(diào)整表達(dá)式為:

其中:a是一個權(quán)值更新的常數(shù)，表示一個恒定不變的更新量;W(s)稱為學(xué)習(xí)窗口函數(shù)，它將離散的輸入脈沖的時刻轉(zhuǎn)換成Widrow-Hoff規(guī)則可以處理的形式。由式(9)可知權(quán)值更新幅度由輸入脈沖與實(shí)際輸出脈沖或者期望輸出脈沖之間的時間間隔根據(jù)窗口函數(shù)計算而得。

在式(9)中，Sd(t)－So(t)在形式上表示期望與實(shí)際輸出的差別，但是如果將輸入脈沖序列與輸出脈沖序列分別考慮，ReSuMe方法的權(quán)值更新實(shí)際上可以分為兩部分。第一部分是權(quán)值的增強(qiáng):當(dāng)神經(jīng)元運(yùn)行時遇到任何一個期望輸出脈沖所在的時間點(diǎn)，就要在這個時間點(diǎn)根據(jù)輸入脈沖的時刻計算增強(qiáng)突觸權(quán)值;第二部分是權(quán)值的減弱:當(dāng)神經(jīng)元在運(yùn)行過程中一旦激發(fā)出脈沖，就要在這個實(shí)際輸出脈沖的時間點(diǎn)根據(jù)輸入脈沖的時刻計算減弱突觸權(quán)值。由于ReSuMe的窗口函數(shù)獨(dú)立于神經(jīng)元的內(nèi)部狀態(tài)表達(dá)式，因此其可以適用于多種神經(jīng)元模型，并且具有較好的綜合性能。在標(biāo)準(zhǔn)ReSuMe方法的基礎(chǔ)上，不少研究者對其進(jìn)行了推廣，例如在算法中加入時間延遲［24］。

2.3 脈沖模式聯(lián)想神經(jīng)元方法

文獻(xiàn)［25－26］提出了一種稱為脈沖模式聯(lián)想神經(jīng)元(Spike Pattern Assoiation Neuron，SPAN)的學(xué)習(xí)方法，這個方法也是基于Widrow-Hoff規(guī)則。SPAN方法采用卷積方式將離散的脈沖輸入與輸出時刻轉(zhuǎn)換為實(shí)數(shù)形式，其首先用一個卷積核函數(shù)(t)作用于輸入、期望與實(shí)際輸出脈沖序列，即:

卷積之后得到每一個輸入或輸出脈沖激發(fā)時刻在時刻t對應(yīng)的實(shí)數(shù)值。接著將卷積后得到的(t)(t)代入Widrow-Hoff規(guī)則得到權(quán)值調(diào)整公式的連續(xù)形式為:

因此有:

其中λ是學(xué)習(xí)速率。SPAN方法可以采用多種不同的卷積核函數(shù)，這增加了它的靈活性。

2.4 精確脈沖驅(qū)動突觸調(diào)整方法

文獻(xiàn)［27］提出了一種稱為精確脈沖驅(qū)動突觸調(diào)整(Precise-Spike-Driven synaptic plasticity，PSD)的方法，該方法基于LIF神經(jīng)元模型提出，也是采用卷積方式將脈沖的時間轉(zhuǎn)換為實(shí)數(shù)以采用Widrow-Hoff規(guī)則調(diào)整權(quán)值。與SPAN方法不同的是PSD方法只對輸入脈沖進(jìn)行卷積，而且由于采用與神經(jīng)元表達(dá)式(3)中相同的卷積核函數(shù)K(t)，因此PSD實(shí)際上是依據(jù)神經(jīng)元的輸入電流大小調(diào)整權(quán)值。其權(quán)值調(diào)整表達(dá)式為:

因此:

其中Ii(t)如式(3)所示，表示神經(jīng)元內(nèi)部由輸入脈沖引起的電流大小，這個電流與神經(jīng)元內(nèi)部膜電位的變化直接相關(guān)，因此PSD方法的權(quán)值調(diào)整計算公式與LIF神經(jīng)元的內(nèi)部狀態(tài)密切相關(guān)。式(16)右端的兩部分表明PSD方法的運(yùn)行方式類似于ReSuMe方法，即在期望輸出脈沖處增強(qiáng)權(quán)值，在實(shí)際輸出脈沖處減弱權(quán)值。

2.5 有限精度方法

文獻(xiàn)［28］中較詳細(xì)地討論了脈沖神經(jīng)元的的有監(jiān)督學(xué)習(xí)問題，包括一個神經(jīng)元存儲輸入輸出模式的能力以及學(xué)習(xí)脈沖序列的能力等。文獻(xiàn)［28］提出了一種可以實(shí)現(xiàn)脈沖序列學(xué)習(xí)的有限精度(Finite Precision，F(xiàn)P)算法，并且對脈沖的激發(fā)提出了時間容錯的概念，即在學(xué)習(xí)時并不要求精確地在期望輸出時刻激發(fā)脈沖，而是在期望輸出時刻的一個時間鄰域內(nèi)激發(fā)即可?；谌蒎e的概念，F(xiàn)P算法當(dāng)期望輸出脈沖時刻的鄰域內(nèi)沒有脈沖激發(fā)，則增強(qiáng)權(quán)值;如果在鄰域外有脈沖激發(fā)或者在鄰域內(nèi)有多于一個脈沖激發(fā)則減弱權(quán)值，其權(quán)值調(diào)整的具體規(guī)則與ReSuMe類似。

2.6 非線性脈沖序列核方法

文獻(xiàn)［29］提出了一種稱為非線性脈沖序列核(nonlinear Spike Train Kernels，nSTK)的學(xué)習(xí)方法，這個方法也是基于Widrow-Hoff規(guī)則。nSTK將一個卷積核作用于輸入脈沖序列，與PSD不同的是可以選擇多種核函數(shù)并且增加一個非線性函數(shù)與卷積核一起完成對輸入脈沖序列的轉(zhuǎn)換。其權(quán)值更新規(guī)則為:

其中:ρ為學(xué)習(xí)速率;k(t)是卷積核函數(shù);f(x)為非線性函數(shù)，這個非線性函數(shù)通常可以選擇tanh(x/ζ)或者(1－e－x/ζ)。

2.7 Chronotron方法

文獻(xiàn)［30］提出一種名為Chronotron的方法。Chronotron方法有兩種學(xué)習(xí)機(jī)制:E-learning和 I-learning。其中，E-learning機(jī)制也是基于梯度下降的思想，通過梯度下降縮小實(shí)際輸出脈沖序列與期望輸出脈沖序列之間的差別。與OnMSGDB不同的是E-learning機(jī)制采用VP(Victor-Purpura)距離［31］來度量兩種輸出脈沖之間的差別。

VP距離依據(jù)從實(shí)際輸出脈沖序列轉(zhuǎn)換為期望輸出脈沖序列所需要的最小代價來度量兩種序列的距離。這個轉(zhuǎn)換包含三種操作:在實(shí)際激發(fā)脈沖序列中增加期望的輸出脈沖、刪除不期望的并且在上次學(xué)習(xí)中沒有移動的輸出脈沖、移動某一個脈沖的激發(fā)時間到達(dá)對應(yīng)的期望輸出脈沖的時間?；赩P距離的期望與實(shí)際輸出脈沖序列的誤差函數(shù)表達(dá)式為:

Chronotron的第二種學(xué)習(xí)機(jī)制稱為I-learning。I-learning基于LIF神經(jīng)元提出，一個突觸的權(quán)值依據(jù)沿著這個突觸到達(dá)神經(jīng)元的脈沖引起的帶權(quán)值電流進(jìn)行調(diào)整，具體規(guī)則為:

其中:γ是學(xué)習(xí)速率;wiIi表示帶權(quán)值的電流;sign(wi)是權(quán)值wi的符號。由式(20)可知，I-learning在期望輸出脈沖的時刻增強(qiáng)權(quán)值，在實(shí)際輸出脈沖的激發(fā)時刻減弱權(quán)值，這一運(yùn)行機(jī)制也與ReSuMe方法的運(yùn)行機(jī)制類似。

2.8 濾鏡誤差方法

文獻(xiàn)［32］提出了一種脈沖序列學(xué)習(xí)方法稱為濾鏡誤差(FILTered-error，F(xiàn)ILT)。這種方法基于隨機(jī)的學(xué)習(xí)模型提出，但是最終被轉(zhuǎn)化為確定性的學(xué)習(xí)方法，從而克服了隨機(jī)模型不利于實(shí)現(xiàn)精確脈沖激發(fā)時間控制的缺陷。FILT方法將期望與實(shí)際輸出脈沖之間的誤差先用一個濾鏡函數(shù)作用，然后調(diào)整權(quán)值減少這種濾鏡作用后的誤差。其權(quán)值調(diào)整公式為:

其中λ是學(xué)習(xí)速率。由于引入了濾鏡函數(shù)，使得FILT沒有直接采用PSP或者神經(jīng)元突觸電流作為權(quán)值調(diào)整公式，其權(quán)值計算函數(shù)σ(x)與其他學(xué)習(xí)方法的權(quán)值計算函數(shù)最大的區(qū)別是當(dāng)輸入脈沖的時間晚于當(dāng)前調(diào)整權(quán)值的輸出脈沖時刻時，依然會有效地調(diào)整權(quán)值，因此FILT更符合生物神經(jīng)元突觸前與突觸后脈沖都會影響突觸強(qiáng)度的生理機(jī)制。

2.9 基于感知機(jī)規(guī)則的脈沖序列學(xué)習(xí)方法

文獻(xiàn)［33］提出了一種基于感知機(jī)規(guī)則的脈沖序列學(xué)習(xí)方法(Perceptron Based Spiking Neuron Learning Rule，PBSNLR)。感知機(jī)是以硬極限函數(shù)作為激活函數(shù)的最簡單的傳統(tǒng)人工神經(jīng)元，其學(xué)習(xí)方法感知機(jī)規(guī)則是最簡單的傳統(tǒng)神經(jīng)元學(xué)習(xí)方法。感知機(jī)通過神經(jīng)元的輸出是1還是0來實(shí)現(xiàn)簡單的樣本分類，而其權(quán)值W的調(diào)整根據(jù)期望輸出d與實(shí)際輸出a之間的差別進(jìn)行，具體規(guī)則為:

其中:p是樣本輸入;Wold和Wnew分別表示調(diào)整前與調(diào)整后的權(quán)值。

PBSNLR將脈沖神經(jīng)元的運(yùn)行時間分為有脈沖激發(fā)與無脈沖激發(fā)兩類，從而將其有監(jiān)督學(xué)習(xí)轉(zhuǎn)換為兩分類問題，然后使用感知機(jī)規(guī)則來解決這個分類問題。PBSNLR以SRM神經(jīng)元模型為對象，首先在神經(jīng)元運(yùn)行時間上的任一時刻珋t處得到用于感知機(jī)規(guī)則學(xué)習(xí)的樣本輸入，這個樣本輸入直接由神經(jīng)元內(nèi)部膜電位表達(dá)式(4)去掉權(quán)值wi計算得到。對應(yīng)于第i個輸入突觸的樣本輸入的分量為:

在目前已有的脈沖序列學(xué)習(xí)方法中，PBSNLR、E-learning是離線學(xué)習(xí)方法;OnMSGDB、ReSuMe、PSD、SPAN、FP、nSTK、I-learning和FILT可以以在線方式運(yùn)行。同時在基本的學(xué)習(xí)方法的基礎(chǔ)上，也有研究者從脈沖神經(jīng)元本身的特點(diǎn)出發(fā)研究提高脈沖序列學(xué)習(xí)方法性能的通用方法。例如，選擇適當(dāng)個數(shù)的輸入脈沖進(jìn)行權(quán)值更新計算［36］，或者采用帶噪聲的激發(fā)閾值［37］等。

3 性能比較與分析

3.1 各種方法的脈沖序列學(xué)習(xí)性能比較

不同脈沖序列學(xué)習(xí)方法的理論基礎(chǔ)或者具體的權(quán)值調(diào)整規(guī)則各不相同，因此它們的性能肯定存在差異。衡量一個學(xué)習(xí)方法脈沖序列學(xué)習(xí)能力的性能指標(biāo)通常為學(xué)習(xí)精度與效率。下面進(jìn)行兩組實(shí)驗(yàn)考察上述幾種脈沖序列學(xué)習(xí)方法的性能。

在這幾種學(xué)習(xí)方法中，PSD、SPAN、I-learning都是基于LIF神經(jīng)元模型提出，而ReSuMe方法和nSTK方法可以適用于不同的神經(jīng)元模型，OnMSGDB、PBSNLR、E-learning和FILT基于SRM模型提出。因?yàn)長IF模型可以轉(zhuǎn)換為SRM模型，所以我們選擇在LIF神經(jīng)元上運(yùn)行實(shí)驗(yàn)。另外因?yàn)镕P方法的權(quán)值調(diào)整規(guī)則與ReSuMe類似，同時其特有的容錯區(qū)間使其不適合與其他方法直接比較性能，因此本文的實(shí)驗(yàn)中不考慮FP方法。實(shí)驗(yàn)中LIF神經(jīng)元的卷積核函數(shù)取為:

其中τ是一個常數(shù)。此時，通過解微分方程得到的對應(yīng)SRM模型的表達(dá)式為:

因?yàn)镽eSuMe方法的窗口函數(shù)選擇并不唯一，本文中采用如下形式的窗口函數(shù):

其中:A是一個常數(shù);τ+是決定學(xué)習(xí)窗口函數(shù)性態(tài)的時間延遲常數(shù)。

SPAN方法的卷積核函數(shù)選擇與文獻(xiàn)［13］中相同的形式，即:

對于nSTK方法，采用和PSD方法相同的核函數(shù)，即神經(jīng)元表達(dá)式中轉(zhuǎn)換電流的核函數(shù) K(t)，非線性函數(shù)選擇tanh(x/ζ)。FILT方法的權(quán)值調(diào)整函數(shù)取和文獻(xiàn)［32］相同的形式，即:

實(shí)驗(yàn)中神經(jīng)元與學(xué)習(xí)方法的相關(guān)參數(shù)設(shè)置如表1所示。

表1 神經(jīng)元與學(xué)習(xí)方法的參數(shù)Tab.1 Parameters of spiking neurons and learning methods

在脈沖序列學(xué)習(xí)中，評價學(xué)習(xí)結(jié)果的好壞就是判斷神經(jīng)元在學(xué)習(xí)結(jié)束后實(shí)際激發(fā)的脈沖序列與期望輸出脈沖序列接近的程度，這實(shí)際上就是度量兩個脈沖序列之間的距離。本文采用基于相關(guān)性的度量C［38］來描述這個距離。C的值在區(qū)間［0，1］內(nèi)，如果學(xué)習(xí)結(jié)束后根據(jù)實(shí)際與期望輸出脈沖序列計算得到的C值越接近1，則說明兩個序列越接近，即學(xué)習(xí)精度越高，越接近0則精度越低。因?yàn)椴捎糜嬎銠C(jī)編程模擬神經(jīng)元運(yùn)行，因此需要將連續(xù)的運(yùn)行時間離散化，本文中離散精度設(shè)置為1 ms。

在第一組實(shí)驗(yàn)中，一個含有400個突觸的LIF神經(jīng)元學(xué)習(xí)輸出1600 ms的脈沖序列。輸入與輸出脈沖序列分別為激發(fā)率為10 Hz和100 Hz的Poisson序列。神經(jīng)元的初始權(quán)值取區(qū)間(0，1.2·10－3)上的均勻分布。各方法的學(xué)習(xí)速率設(shè)定如下:OnMSGDB(On)和 E-learning(E-l)為 0.01;PSD(PS)、PBSNRL(PB)和 ReSuMe(Re)為 0.2;nSTK(nS)、SPAN(SP)、I-learning(I-l)和FILT(FI)為0.1。每種方法進(jìn)行50次實(shí)驗(yàn)，實(shí)驗(yàn)中最大的學(xué)習(xí)周期數(shù)設(shè)定為5000步，實(shí)驗(yàn)后計算每種方法最高學(xué)習(xí)精度的平均值以及達(dá)到最高精度需要的學(xué)習(xí)周期數(shù)的平均值，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 當(dāng)脈沖序列長度為1600 ms，期望輸出激發(fā)率為100 Hz時的學(xué)習(xí)結(jié)果Fig.2 Learning results when the length of spike sequence is 1600 ms and the desired output excitation rate is 100 Hz

圖2 中，PBSNLR具有最高的精度(C=0.95)和效率，這一點(diǎn)也符合文獻(xiàn)［33］的結(jié)論。這再次驗(yàn)證了PBSNLR獨(dú)特的離線學(xué)習(xí)機(jī)制可以獲得很高的性能。在其他方法中，因?yàn)闄?quán)值調(diào)整規(guī)則與LIF神經(jīng)元模型密切相關(guān)，所以在5000步學(xué)習(xí)周期以內(nèi)，PSD的精度較高(C=0.82)，然后依次為ReSuMe和OnMSGDB。剩下的幾種方法精度都在C=0.75左右?？疾爝_(dá)到最高精度所需要的學(xué)習(xí)周期數(shù)，OnMSGDB和E-learning最多，這說明雖然基于梯度下降的方法可以獲得較高的精度，但是效率普遍較低。PSD雖然具有較高的精度，但是也需要較多的學(xué)習(xí)周期。ReSuMe和SPAN的效率較高。由此說明，幾種學(xué)習(xí)方法都可以比較有效地實(shí)現(xiàn)脈沖序列學(xué)習(xí)，除了PBSNLR之外總體上精度差別不明顯，但是效率差異較明顯。

第二組實(shí)驗(yàn)考察當(dāng)期望輸出脈沖序列激發(fā)率提高時各方法的性能。一個有400個突觸的LIF神經(jīng)元學(xué)習(xí)激發(fā)一個長度是1200 ms的序列，輸入與輸出脈沖序列分別為激發(fā)率為10 Hz和180 Hz。神經(jīng)元的初始權(quán)值取區(qū)間(0，3.6·10－3)上的均勻分布。實(shí)驗(yàn)中最大的學(xué)習(xí)周期數(shù)依然設(shè)定為5000步，學(xué)習(xí)速率設(shè)定與上一組實(shí)驗(yàn)相同。實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可知，在5 000步學(xué)習(xí)周期內(nèi)，PBSNLR依然獲得最高的精度，說明期望輸出脈沖序列激發(fā)率的增加沒有顯著影響其優(yōu)勢。OnMSGDB的精度(C=0.88)和E-learning的精度(C=0.80)也高于其他幾種學(xué)習(xí)方法。這說明基于梯度下降的學(xué)習(xí)方法在輸出脈沖激發(fā)率較高時具有較強(qiáng)的學(xué)習(xí)能力。在其他幾種方法中，PSD與FILT的精度依然較高，但是總體上相差不明顯(值大約都在0.72～0.80內(nèi))。觀察學(xué)習(xí)周期，此時各種方法差別更大。其中OnMSGDB需要的學(xué)習(xí)周期數(shù)最多，其次是Chronotron和PSD。和上一組實(shí)驗(yàn)類似，PBSNLR和SPAN的效率最高，僅需要大約500步學(xué)習(xí)就達(dá)到了最高精度。

綜合圖2和圖3可知，兩種情況下PBSNLR的學(xué)習(xí)性能最強(qiáng)。兩種基于梯度下降的方法以及PSD具有較高的學(xué)習(xí)精度，但是這三種方法都需要較多的學(xué)習(xí)周期。雖然學(xué)習(xí)精度較低，但是SPAN卻是效率最高的學(xué)習(xí)方法。ReSuMe的綜合性能較好，并且對各種神經(jīng)元模型的適應(yīng)性最好，因此是較好的學(xué)習(xí)方法。

圖3 當(dāng)脈沖序列長度為1200 ms，期望輸出激發(fā)率為180 Hz時的學(xué)習(xí)結(jié)果Fig.3 Learning results when the length of spike sequence is 1200 ms and the desired output excitation rate is 180 Hz

3.2 各種方法性能與特點(diǎn)的分析

不同學(xué)習(xí)方法在實(shí)驗(yàn)中性能的差異主要是由不同的學(xué)習(xí)機(jī)制造成的。PBSNLR采用獨(dú)特的離線學(xué)習(xí)方式，在學(xué)習(xí)之前將數(shù)據(jù)全部轉(zhuǎn)換成感知機(jī)的輸入，訓(xùn)練開始后就完全脫離脈沖神經(jīng)元的運(yùn)行。這是其獲得最高精度與效率的原因，同時也因此使得該方法與脈沖神經(jīng)元內(nèi)在聯(lián)系偏弱。另外該方法自身也受到很多因素的影響，比如運(yùn)行時間上反例點(diǎn)的選擇、神經(jīng)元運(yùn)行時間離散的精度等，不同的設(shè)定可能對學(xué)習(xí)結(jié)果造成較大的影響。因此PBSNLR更適合作為一種衡量其他具有更好生物學(xué)基礎(chǔ)學(xué)習(xí)方法的性能指標(biāo)。

基于梯度下降的方法調(diào)整實(shí)際輸出脈沖的激發(fā)時間不斷地靠近對應(yīng)的期望輸出脈沖時刻。在調(diào)整激發(fā)時刻的同時還要控制權(quán)值調(diào)整的幅度以免當(dāng)前脈沖激發(fā)被抑制或者又出現(xiàn)額外的脈沖激發(fā)，因此權(quán)值調(diào)整必須控制在一個合理的范圍內(nèi)。這是實(shí)驗(yàn)中選擇較小學(xué)習(xí)速率的原因，同時也導(dǎo)致它的收斂速度較慢，在5000步內(nèi)達(dá)到最高精度需要的學(xué)習(xí)周期數(shù)最多。但是這種權(quán)值調(diào)整方式也使其可以更加精細(xì)地控制實(shí)際輸出脈沖的激發(fā)時間，這又使其學(xué)習(xí)精度具有更好的上升性。這體現(xiàn)在學(xué)習(xí)精度隨著周期數(shù)的增加還可以顯著增加，例如在第一組實(shí)驗(yàn)中，當(dāng)學(xué)習(xí)周期上線增加至20 000，OnMSGDB的學(xué)習(xí)精度可以從C=0.75增加至C=0.90左右。

基于梯度下降學(xué)習(xí)方法的另一個優(yōu)勢體現(xiàn)在高激發(fā)率期望輸出序列的學(xué)習(xí)中。實(shí)驗(yàn)結(jié)果顯示其精度高于除PBSNLR以外的其他學(xué)習(xí)方法，這一優(yōu)勢的主要原因還是來自于其學(xué)習(xí)機(jī)制。兩種基于梯度的下降方法都需要控制實(shí)際輸出脈沖的激發(fā)時間靠近對應(yīng)期望輸出脈沖的時刻。期望輸出脈沖序列的激發(fā)率提高，雖然會增加脈沖的數(shù)量，但是也會導(dǎo)致對應(yīng)實(shí)際與期望輸出脈沖之間的時間差別分布更加平均，從而降低調(diào)整實(shí)際輸出脈沖激發(fā)時間的難度。

其他的幾種學(xué)習(xí)方法都可以以在線方式運(yùn)行，在線學(xué)習(xí)過程中幾乎都可以采用類似ReSuMe的權(quán)值調(diào)整方式，即在期望輸出脈沖時刻增強(qiáng)權(quán)值以激勵其激發(fā)，在實(shí)際輸出脈沖時刻減弱權(quán)值以抑制其激發(fā)。這種權(quán)值調(diào)整機(jī)制直接針對輸出脈沖增強(qiáng)或者減弱權(quán)值，因此權(quán)值調(diào)整的效果明顯，收斂速度較快。這體現(xiàn)在實(shí)驗(yàn)中幾種方法達(dá)到最高精度的學(xué)習(xí)周期數(shù)都明顯少于基于梯度下降的方法。但是這種機(jī)制在學(xué)習(xí)過程中達(dá)到精度上限后權(quán)值增強(qiáng)與減弱達(dá)到平衡，此時再增加學(xué)習(xí)周期或者改變學(xué)習(xí)速率其精度的提高都不明顯。在這幾個方法中PSD的精度最高，PSD僅僅對輸入脈沖序列進(jìn)行卷積處理，并且采用與神經(jīng)元內(nèi)部相同的卷積核函數(shù)，因此其盡量保留了脈沖神經(jīng)元的特征，同時采用與神經(jīng)元最直接相關(guān)的信息調(diào)整權(quán)值。

下面對脈沖序列學(xué)習(xí)方法進(jìn)行簡單的總結(jié)。首先，每一種學(xué)習(xí)方法都遵循一定的理論基礎(chǔ)，這些理論基礎(chǔ)往往衍生于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)已有的研究結(jié)果。例如，ReSuMe、SPAN、nSTK和PSD方法都是基于Widrow-Hoff規(guī)則，ReSuMe方法采用學(xué)習(xí)窗口函數(shù)來將Widrow-Hoff規(guī)則應(yīng)用于離散的脈沖激發(fā)時間，而SPAN、nSTK和PSD方法都是采用卷積方式達(dá)到這個目的，F(xiàn)ILT方法雖然始于隨機(jī)模型，但是轉(zhuǎn)換為確定性方法后依然采用類似于ReSuMe的窗口函數(shù)調(diào)整權(quán)值。從某種程度上來說窗口函數(shù)與卷積核函數(shù)本質(zhì)上是類似的，不同的是函數(shù)的形式和處理的對象。PBSNLR直接采用了感知機(jī)規(guī)則進(jìn)行學(xué)習(xí)。OnMSGDB和E-learning則是利用梯度下降法最小化實(shí)際輸出與期望輸出之間的差別，它們之間的區(qū)別則在于誤差的計算與表示方法。

除了學(xué)習(xí)方法的理論基礎(chǔ)，另一個區(qū)分各種不同方法的依據(jù)為學(xué)習(xí)時權(quán)值調(diào)整采用的計算方法。無論是哪種學(xué)習(xí)方法，針對一條突觸權(quán)值的調(diào)整都要依據(jù)沿著這條突觸到達(dá)神經(jīng)元的輸入脈沖信息，所不同的是以何種方式根據(jù)輸入脈沖信息計算權(quán)值的調(diào)整幅度。在上述方法中，OnMSGDB和E-learning方法的權(quán)值更新計算公式中都以輸入脈沖引起的突觸后電位(PSP)作為權(quán)值調(diào)整的核心組成部分。PBSNLR在離散時間點(diǎn)計算感知機(jī)輸入時也基于PSP，所以這一類基于SRM神經(jīng)元模型的方法可以總結(jié)為突觸后電位調(diào)整方法。PSD、SPAN、I-learning都是基于LIF神經(jīng)元提出，并且都采用卷積方法計算權(quán)值調(diào)整。PSD采用與神經(jīng)元膜電位表達(dá)式相同的卷積核函數(shù)對輸入脈沖序列作用卷積，I-learning在此基礎(chǔ)上在權(quán)值調(diào)整時攜帶了該突觸的權(quán)值信息。SPAN則可以選擇多種卷積核函數(shù)并且對輸入、期望與輸出脈沖序列都進(jìn)行卷積計算。nSTK在卷積的基礎(chǔ)上增加了非線性函數(shù)。FILT方法采用了獨(dú)特的權(quán)值調(diào)整函數(shù)，使得輸出脈沖之后傳輸進(jìn)神經(jīng)元的輸入脈沖也成為有效的突觸調(diào)整信息。ReSuMe方法利用學(xué)習(xí)窗口函數(shù)計算調(diào)整權(quán)值，由于可以選用不同的窗口函數(shù)，因此體現(xiàn)出較高的靈活性。對幾種方法的綜合分析與對比結(jié)果如表2所示。

3.3 目前存在的問題

目前脈沖神經(jīng)元脈沖序列學(xué)習(xí)方法的研究還存在如下幾個問題。

脈沖神經(jīng)元是構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)的基本單元，脈沖神經(jīng)網(wǎng)絡(luò)相對于單神經(jīng)元來說無論是應(yīng)用性能還是生物學(xué)的合理性都更強(qiáng)。多層脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法往往以單神經(jīng)元的學(xué)習(xí)方法為基礎(chǔ)。目前，除了OnMSGDB方法因其梯度下降的特性可以比較方便地擴(kuò)展到多層網(wǎng)絡(luò)的學(xué)習(xí)，其他方法都缺乏直接推廣到多層網(wǎng)絡(luò)的機(jī)制。已有的關(guān)于多層網(wǎng)絡(luò)學(xué)習(xí)的研究結(jié)果中層與層之間往往缺乏內(nèi)在聯(lián)系，即前層和后層相互獨(dú)立，分別負(fù)責(zé)不同的功能。例如在文獻(xiàn)［39］中，前層完成對模式的編碼，而后層利用單神經(jīng)元的Tempotron方法實(shí)現(xiàn)對模式的分類。在神經(jīng)網(wǎng)絡(luò)研究中，網(wǎng)絡(luò)層與層之間使用緊密聯(lián)系的統(tǒng)一學(xué)習(xí)機(jī)制是更加合理的策略，因此，如何將多種脈沖序列學(xué)習(xí)方法推廣到多層網(wǎng)絡(luò)實(shí)現(xiàn)多層網(wǎng)絡(luò)的序列學(xué)習(xí)是一個非常值得研究的問題。

表2 多種脈沖序列學(xué)習(xí)方法的比較Tab.2 Comparison of different spike sequence learning methods

目前脈沖序列學(xué)習(xí)方法的研究中缺乏對于序列整體可學(xué)習(xí)性的評價方法。脈沖序列學(xué)習(xí)的性能除了和方法本身有關(guān)，還和輸入、輸出脈沖序列的特點(diǎn)有關(guān)。脈沖序列激發(fā)率、脈沖激發(fā)時間間隔、輸入與期望輸出脈沖的位置關(guān)系等都可以影響學(xué)習(xí)性能，而目前為止缺乏一個從序列本身出發(fā)的對于整個學(xué)習(xí)可能達(dá)到性能的評價方法。

目前大多數(shù)研究者都從偏向生物學(xué)模擬的角度將重點(diǎn)放在序列本身的學(xué)習(xí)能力上，而對于脈沖序列學(xué)習(xí)的應(yīng)用研究略有不足。已有的脈沖神經(jīng)元應(yīng)用研究主要集中在如下幾個方面:通過將模式用脈沖序列進(jìn)行編碼從而使用脈沖序列學(xué)習(xí)方法進(jìn)行模式的識別和分類［40－41］;對于脈沖序列模式或者用脈沖序列進(jìn)行編碼的普通模式的存儲［25］;對于某些易于用脈沖序列表達(dá)的特殊信號如疾病腦電波信號的識別［18］;利用脈沖序列編碼圖形從而實(shí)現(xiàn)圖像的分類［42］等。

這些應(yīng)用中一部分是基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的應(yīng)用方式在脈沖神經(jīng)網(wǎng)絡(luò)上的擴(kuò)展，一部分則是基于脈沖序列特點(diǎn)的與脈沖神經(jīng)元適應(yīng)性更高的應(yīng)用方式。這些應(yīng)用中通用的方式是將應(yīng)用對象用脈沖序列進(jìn)行編碼，然后使用學(xué)習(xí)方法調(diào)整權(quán)值，從而得到期望輸出脈沖序列。因此，脈沖序列編碼方式、神經(jīng)元參數(shù)選擇、學(xué)習(xí)方法的選擇為脈沖神經(jīng)元應(yīng)用的三個要素。

但是總體來看目前脈沖神經(jīng)元的應(yīng)用研究還比較簡單，并沒有很好地體現(xiàn)出脈沖神經(jīng)元與脈沖序列學(xué)習(xí)方法的特點(diǎn)和優(yōu)勢。由于脈沖神經(jīng)元模擬真實(shí)生物神經(jīng)元的運(yùn)行方式，因此其對于模擬人腦復(fù)雜模式的記憶、識別、分類，動作控制等，甚至更進(jìn)一步模擬更加高級的智能活動都具有潛在的優(yōu)勢。另外，脈沖序列的時間特性還使得脈沖神經(jīng)網(wǎng)絡(luò)適合于解決與時間相關(guān)的問題，如連續(xù)動作圖像的識別等。脈沖神經(jīng)元應(yīng)用研究關(guān)鍵在于如何將實(shí)際應(yīng)用的對象用最合適的脈沖序列表示出來，并且如何確定最合適的神經(jīng)元模型和參數(shù)。

4 結(jié)語

脈沖神經(jīng)元的運(yùn)行方式完全模擬真實(shí)的生物神經(jīng)元，脈沖序列學(xué)習(xí)是脈沖神經(jīng)元特有的有監(jiān)督學(xué)習(xí)方式，對脈沖神經(jīng)網(wǎng)絡(luò)理論和應(yīng)用的研究具有重要意義。本文較全面地介紹了典型的脈沖序列學(xué)習(xí)方法，詳細(xì)闡述了它們的理論基礎(chǔ)和特點(diǎn)并且通過實(shí)驗(yàn)比較了它們的學(xué)習(xí)性能。本文的研究結(jié)果可以作為脈沖序列學(xué)習(xí)應(yīng)用與進(jìn)一步研究的基礎(chǔ)，進(jìn)而可以有效地推動整個脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理論的發(fā)展和完善。