王 蕾，王連明

(1.東北師范大學(xué)物理學(xué)院，吉林 長春 130024； 2.東北師范大學(xué)應(yīng)用電子技術(shù)研究所，吉林 長春 130024)

一種改進(jìn)的基于STDP規(guī)則的SOM脈沖神經(jīng)網(wǎng)絡(luò)

王 蕾1，王連明2

(1.東北師范大學(xué)物理學(xué)院，吉林 長春 130024； 2.東北師范大學(xué)應(yīng)用電子技術(shù)研究所，吉林 長春 130024)

將脈沖神經(jīng)網(wǎng)絡(luò)的高效處理能力與自組織映射神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)造了一種基于突觸可塑性(STDP)規(guī)則的SOM脈沖神經(jīng)網(wǎng)絡(luò)模型.該網(wǎng)絡(luò)將輸入和權(quán)值用脈沖發(fā)放時間編碼，符合生物信息處理機(jī)制.用STDP規(guī)則調(diào)整權(quán)值，不需要通過學(xué)習(xí)率控制收斂速度，縮短網(wǎng)絡(luò)訓(xùn)練時間.使用歐氏距離的平方計算權(quán)值和樣本之間的相似度，與歐氏距離法相比簡化了計算，便于硬件實(shí)現(xiàn).基于MATLAB仿真平臺，用該網(wǎng)絡(luò)對UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中Iris數(shù)據(jù)集進(jìn)行聚類后精度達(dá)到93.33%，比傳統(tǒng)的SOM、K-means等聚類方法更具有優(yōu)越性.

自組織映射神經(jīng)網(wǎng)絡(luò)；脈沖神經(jīng)網(wǎng)絡(luò)；STDP學(xué)習(xí)規(guī)則；聚類

0 引言

自組織映射(Self-organizing Map，SOM)神經(jīng)網(wǎng)絡(luò)具有無導(dǎo)師自聚類的特點(diǎn)，通過SOM神經(jīng)網(wǎng)絡(luò)可以降低數(shù)據(jù)的維數(shù)[1].SOM神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在語音識別、數(shù)據(jù)降維、數(shù)據(jù)挖掘、圖像處理等領(lǐng)域，它是人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究熱點(diǎn)之一.[2-3]

生物神經(jīng)領(lǐng)域的大量研究表明，在生物神經(jīng)系統(tǒng)中是利用生物神經(jīng)元發(fā)放脈沖的精確時間來處理信息.[4-5]Spiking神經(jīng)網(wǎng)絡(luò)是模擬這種脈沖時間編碼方式的重要工具，由于Spiking神經(jīng)網(wǎng)絡(luò)具有計算能力強(qiáng)、信號簡單等優(yōu)點(diǎn)，將其硬件實(shí)現(xiàn)構(gòu)造能夠真正實(shí)現(xiàn)并行計算、分布存儲的高性能、智能硬件處理器成為各國仿生腦研究的熱點(diǎn).2014年8月，IBM公司和康奈爾大學(xué)的聯(lián)合研究團(tuán)隊在硅片上實(shí)現(xiàn)了命名為TrueNorth的神經(jīng)網(wǎng)絡(luò)芯片，該芯片集成了100萬個脈沖神經(jīng)元.[6]2015年，由浙江大學(xué)計算機(jī)學(xué)院牽頭，浙江大學(xué)與杭州電子科技大學(xué)的學(xué)者合作，成功研制國內(nèi)首款基于硅材料(CMOS)的支持脈沖神經(jīng)網(wǎng)絡(luò)(SNN)的類腦芯片——“達(dá)爾文”芯片.[7]

將Spiking神經(jīng)網(wǎng)絡(luò)與SOM神經(jīng)網(wǎng)絡(luò)相結(jié)合，不僅能夠保持傳統(tǒng)的SOM神經(jīng)網(wǎng)絡(luò)良好的聚類特性，還能彌補(bǔ)其收斂速度慢、計算量大等缺點(diǎn).因此，很多學(xué)者基于Spiking對SOM神經(jīng)網(wǎng)絡(luò)做了改進(jìn)，D.T.Pham[8]提出了一種用于對控制圖表模式進(jìn)行聚類的SOM延遲調(diào)整脈沖神經(jīng)網(wǎng)絡(luò)模型，用偶然檢測神經(jīng)元作為輸出層神經(jīng)元，對輸入的脈沖進(jìn)行同時檢測；L.Y.Ming[9]提出了一種基于自適應(yīng)坐標(biāo)(SOM-AC)和Spiking神經(jīng)網(wǎng)絡(luò)的復(fù)合SOM模型，并用于多元時空數(shù)據(jù)的可視化和分類；B.Yusob[10]提出了一種基于脈沖時間編碼機(jī)制的SOM神經(jīng)網(wǎng)絡(luò)模型，用脈沖神經(jīng)元作為輸入層神經(jīng)元，輸出層神經(jīng)元對輸入層送入的電壓累加并發(fā)放脈沖；T.Rumbell[11]提出了一種針對連續(xù)輸入的脈沖時間相位編碼的脈沖自組織映射模型.

本文為進(jìn)一步簡化SOM脈沖神經(jīng)網(wǎng)絡(luò)的計算，并針對其硬件實(shí)現(xiàn)，提出了一種將輸入和權(quán)值進(jìn)行脈沖編碼.采用突觸可塑性(STDP)學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練的SOM脈沖神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法，該方法采用歐氏距離的平方代替歐式距離計算樣本與權(quán)值的相似度，簡化了硬件的實(shí)現(xiàn)難度.

1 SOM神經(jīng)網(wǎng)絡(luò)

人腦是由大量的細(xì)胞組成.人腦中處于空間不同部位的區(qū)域分工不同，并且處于不同區(qū)域的細(xì)胞對來自某一方面或特定的刺激信號的敏感程度也不同.根據(jù)這些特點(diǎn)，1981年芬蘭的神經(jīng)網(wǎng)絡(luò)專家T.Kohonen教授[12]提出了自組織映射理論SOM是無導(dǎo)師神經(jīng)網(wǎng)絡(luò)使用最多的架構(gòu)之一，其核心思想是神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ巾憫?yīng)不同，整個過程自動完成[13].SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)見圖1.它是一個雙層前饋全連接網(wǎng)絡(luò)，由輸入層和輸出層構(gòu)成.輸入層用于將外部信息送入網(wǎng)絡(luò)；輸出層又稱為競爭層，一般組織成網(wǎng)格形式，是一個低維空間，競爭層神經(jīng)元同它周圍的其他神經(jīng)元側(cè)向連接，模擬了人腦中神經(jīng)元之間的側(cè)抑制功能.網(wǎng)絡(luò)可以把任意高維的輸入映射到低維空間，并且使得輸入數(shù)據(jù)內(nèi)部的某些相似性質(zhì)表現(xiàn)為幾何上鄰近的特征映射，在輸出層映射出二維離散圖形，并且保持其拓?fù)浣Y(jié)構(gòu)不變.

2 神經(jīng)網(wǎng)絡(luò)與STDP學(xué)習(xí)規(guī)則

Spiking神經(jīng)網(wǎng)絡(luò)是 1997年W.Mass教授[14]在Neural Networks期刊上提出的一種網(wǎng)絡(luò).在該網(wǎng)絡(luò)中信息通過脈沖神經(jīng)元發(fā)放脈沖進(jìn)行傳遞，這種處理信息的方式更接近生物神經(jīng)系統(tǒng)信息處理機(jī)制，對信息處理表現(xiàn)出極大的靈活性和自適應(yīng)性.Spiking神經(jīng)網(wǎng)絡(luò)采用精確的脈沖時間編碼，與傳統(tǒng)的基于脈沖頻率編碼相比，擁有更強(qiáng)的計算能力.

圖1 SOM網(wǎng)絡(luò)結(jié)構(gòu)

圖2 STDP學(xué)習(xí)規(guī)則原理

3 基于STDP的SOM脈沖神經(jīng)網(wǎng)絡(luò)

網(wǎng)絡(luò)的訓(xùn)練過程可分為4個階段，見圖4.

圖3 自組織脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖4 SOM脈沖神經(jīng)網(wǎng)絡(luò)算法流程

第1階段為數(shù)據(jù)預(yù)處理，即編碼過程.在該過程中，待分類樣本被編碼成脈沖送入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí).本文將樣本數(shù)據(jù)用脈沖發(fā)放的精確時間來表示.時間編碼分為線性編碼和非線性編碼，本文使用線性編碼[17]

(1)

其中：y(f)為編碼后網(wǎng)絡(luò)輸入值；f為實(shí)際輸入值；[a，b]代表脈沖發(fā)放時間域；[Min，Max]代表輸入樣本的數(shù)值域；range=Max-Min.

第2階段為尋找獲勝神經(jīng)元.在SOM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，最重要的問題之一就是獲勝神經(jīng)元的選擇.在傳統(tǒng)的SOM神經(jīng)網(wǎng)絡(luò)中，通過比較與獲勝神經(jīng)元相連接的權(quán)值和輸入樣本的相似程度來決定獲勝神經(jīng)元，一般選用歐氏距離法，計算輸出神經(jīng)元權(quán)向量與訓(xùn)練樣本的距離，權(quán)向量和輸入向量最相近的神經(jīng)元被認(rèn)為對于輸入向量反映最強(qiáng)烈，即為獲勝神經(jīng)元.向量X和Y之間的歐氏距離計算公式為

(2)

為了簡化計算，解決根式運(yùn)算計算量大的難點(diǎn)，本文使用歐氏距離的平方計算樣本脈沖串和權(quán)值脈沖串之間的相似度，即

dij=‖txi-twij‖2.

(3)

其中：txi表示第i個輸入樣本脈沖串時間值；j表示輸出層神經(jīng)元序號；twij表示第i個輸入樣本與第j個神經(jīng)元連接的權(quán)向量脈沖串時間值；dij表示它們之間的相似度.

第3階段為權(quán)值調(diào)整階段，即網(wǎng)絡(luò)的訓(xùn)練階段.當(dāng)通過上一階段找到獲勝神經(jīng)元時，與該神經(jīng)元連接的權(quán)值朝著有利于它競爭的方向調(diào)整，同時對其周圍較大范圍內(nèi)的幾何連接點(diǎn)上的神經(jīng)元表現(xiàn)出激勵，對范圍外的神經(jīng)元表現(xiàn)出抑制.經(jīng)過對輸入模式的反復(fù)學(xué)習(xí)，網(wǎng)絡(luò)中的權(quán)重向量空間與輸入模式的概率分布趨于一致，達(dá)到分類的目的.在訓(xùn)練過程中，可以將權(quán)值調(diào)整的過程簡單地理解為權(quán)值不斷向輸入向量靠近的過程，這與STDP學(xué)習(xí)過程類似，所以本文采用此種學(xué)習(xí)規(guī)則對網(wǎng)絡(luò)進(jìn)行改進(jìn).根據(jù)圖2的STDP學(xué)習(xí)規(guī)則原理圖，對權(quán)值進(jìn)行調(diào)整為

(4)

其中：s代表權(quán)向量脈沖串發(fā)放時間和輸入向量脈沖串發(fā)放時間之間的差別；A+和A-決定了權(quán)值調(diào)整的范圍，經(jīng)過多次比較，使網(wǎng)絡(luò)性能能夠達(dá)到最好，在本文中分別取值為0.007和-0.005；τ+和τ-是間常量，取值為10和20.

第4階段為分類階段，經(jīng)過前3個階段的循環(huán)訓(xùn)練，根據(jù)最后訓(xùn)練的權(quán)值，相似樣本會被分到相同類別中.

4 實(shí)驗結(jié)果

基于MATLAB仿真環(huán)境，利用上述基于STDP學(xué)習(xí)規(guī)則的SOM脈沖神經(jīng)網(wǎng)絡(luò)，對UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中Iris數(shù)據(jù)集進(jìn)行仿真實(shí)驗.

Iris數(shù)據(jù)集是聚類中常用的知名數(shù)據(jù)集，共150個樣本，分為3個類，每一類代表一種類型的鳶尾花，每類各有50個樣本，每個樣本的維數(shù)為4，即包括花瓣長度、花瓣寬度、萼片長度和萼片寬度4個元素.150個樣本在3個類中分布均勻.其中一類與另外兩類線性可分，另外兩類有部分重疊.根據(jù)Iris數(shù)據(jù)集的特征，得到網(wǎng)絡(luò)的參數(shù)見表1.

表1 訓(xùn)練Iris數(shù)據(jù)集的網(wǎng)絡(luò)參數(shù)

經(jīng)過上述網(wǎng)絡(luò)訓(xùn)練后，Iris的分類精度為93.33%.表2給出本文方法及其他幾種傳統(tǒng)聚類算法和脈沖聚類算法對該數(shù)據(jù)集分類精度的比較.

表2 非脈沖和脈沖算法對Iris數(shù)據(jù)集分類的精度

從表2中可以看出，脈沖神經(jīng)網(wǎng)絡(luò)算法要比K-means和SOM等算法的分類精度高，本文提出的基于STDP的SOM脈沖神經(jīng)網(wǎng)絡(luò)算法分類精度高于上述脈沖神經(jīng)網(wǎng)絡(luò)算法.

5 總結(jié)

將Spiking神經(jīng)網(wǎng)絡(luò)與STDP學(xué)習(xí)規(guī)則應(yīng)用于自組織映射，構(gòu)造一種新型的基于STDP學(xué)習(xí)規(guī)則的SOM脈沖神經(jīng)網(wǎng)絡(luò)模型，并將該模型應(yīng)用到聚類問題中.該模型結(jié)合了SOM神經(jīng)網(wǎng)絡(luò)良好的聚類特性和Spiking神經(jīng)網(wǎng)絡(luò)的高效處理能力，將輸入樣本和權(quán)值用精確的脈沖發(fā)放時間進(jìn)行編碼，符合大腦處理信息的生物特性.基于STDP學(xué)習(xí)規(guī)則調(diào)整權(quán)值，不需要通過學(xué)習(xí)率的衰減控制收斂速度，縮短了網(wǎng)絡(luò)訓(xùn)練時間.使用歐氏距離的平方計算權(quán)值與輸入樣本的相似度，簡化了計算過程，便于硬件實(shí)現(xiàn).通過仿真結(jié)果可以看出，聚類效果較好.

與其他神經(jīng)網(wǎng)絡(luò)相比，SOM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更接近于大腦處理信息時的實(shí)際結(jié)構(gòu)，而脈沖神經(jīng)網(wǎng)絡(luò)則是現(xiàn)階段生物神經(jīng)學(xué)證明的最符合生物神經(jīng)系統(tǒng)處理信息機(jī)制的神經(jīng)網(wǎng)絡(luò)，本文將二者結(jié)合起來，為生物神經(jīng)系統(tǒng)的仿生實(shí)現(xiàn)提供了思路.

[1] KOHONEN T.Self-organizing maps [J].Springer，1995，30(4)：266-270.

[2] KASKI S.Data exploration using self-organizing maps [J].Acta Polytechnica Scandinavica Mathematics & Computing，1997，82(12)：580-588.

[3] VESANTO J，VESANTO J.Data exploration process based on the self-organizing map [J].Acta Polytechnica Scandinavica Mathematics & Computing，2002(115)：1-82.

[4] MEHTA M R，LEE A K，WILSON M A.Role of experience and oscillations in transforming a rate code into a temporal code [J].Nature，2002，417：741-746.

[5] BOHTE S M.The evidence for neural information processing with precise spike-times：a survey [J].Natural Computing，2004，3(2)：195-206.

[6] SERVICE R F.Minds of their own [J].Science，2014，346：182-183.

[7] SHEN J，DE M A，ZONGHUA G U，et al.Darwin：a neuromorphic hardware co-processor based on spiking neural networks [J].Science China Information Sciences，2016，59(2)：1-5.

[8] PHAM D T，PACKIANATHER M S，CHARLES E Y A.A self-organizing spiking neural network trained using delay adaptation [C]// IEEE International Symposium on Industrial Electronics，Vigo：IEEE，2007：3441-3446.

[9] MING L Y，THE C S，CHEN C J.A hybrid spiking neural network model for multivariate data classification and visualization [C]// Information Technology in Asia (CITA 11)，2011 7th International Conference on Kuching，Sarawak：IEEE，2011：1-6.

[10] YUSOB B，SHAMSUDDIN S M H，HAMED H N A.Spiking self-organizing maps for classification problem [J].Procedia Technology，2013，11(1)：57-64.

[11] RUMBELL T，DENHAM S L，WENNEKERS T.A spiking self-organizing map combining STDP，oscillations，and continuous learning [J].Neural Networks & Learning Systems IEEE Transactions on，2014，25(5)：894-907.

[12] BENGIO Y，DE MORI R，F(xiàn)LAMMIA G，et al.Neural network-gaussian mixture hybrid for speech recognition or density estimation [J].Advances in Neural Information Processing Systems Nips，1992：175-182.

[13] 張琳，王珊，秦曉瑜，等.基于聽覺仿生模型的樂器識別 [J].東北師大學(xué)報(自然科學(xué)版)，2014，46(1)：75-79.

[14] MAAS W.Networks of spiking neurons：the third generation of neural network models [J].Transactions of the Society for Computer Simulation International，1997，10(9)：1659-1671.

[15] DAN Y，POO M M.Spike timing-dependent plasticity of neural circuits [J].Neuron，2004，44(1)：23-30.

[16] SONG S，MILLER K D，ABBOTT L F.Competitive hebbian learning through spike-timing-dependent synapticplasticity [J].Nature Neuroscience，2000，3(9)：919-926.

[17] BELATRECHE A，MAGUIRE L P，MCGINNITY M.Advances in design and application of spiking neural networks [J].Soft Computing，2007，11(3)：239-248.

[18] BOHTE S M，POUTRE H L，KOK J N.Unsupervised clustering with spiking neurons by sparse temporal coding and multilayer RBF networks [J].IEEE Transactions on Neural Networks，2000，13(2)：426-435.

[19] YOON S Y，LEE S Y.Training algorithm with incomplete data for feed-forward neural networks [J].Neural Processing Letters，1999，10(3)：171-179.

(責(zé)任編輯：石紹慶)

Animprovedself-organizingmapspikingneuralnetworksbasedonSTDPrule

WANG Lei1，WANG Lian-ming2

(1.School of Physics，Northeast Normal University，Changchun 130024，China； 2.Institute of Applied Electronics，Northeast Normal University，Changchun 130024，China)

The features that process signal self-organizing of cerebral cortex can be simulated by SOM neural network.Spiking neural network is a technical with best bionic performance at present，what has become one of the popular research in neural network field is that combine SOM with spiking neural network.Combined with efficient processing capabilities of spiking neural networks with SOM neural network，an improved SOM spiking neural network model based on STDP learning rule was constructed.First of all the accurate times of fired spikes were used to represent sample and weights in the network，which was in line with biological information processing mechanisms；secondly STDP learning rule was based on to adjust the weights without control convergence rate by decreasing the learning rate，which could shorten time of training network；finally the square of Euclidean distance was used to calculate the similarity of spike sequences between sample and weights，which can simplify the calculation compared with Euclidean distance method.Based on MATLAB simulation platform，the network model was used for cluster analysis of Iris dataset in UCI machine learning library，the clustering accuracy of 93.33% was gotten after training network.What was proved is that the current method has better performance compared with traditional SOM，K-means.

self-organizing map；spiking neural networks；STDP learning rule；clustering

1000-1832(2017)03-0052-05

10.16163/j.cnki.22-1123/n.2017.03.012

2016-03-23

國家自然科學(xué)基金資助項目(21227008)；吉林省科技發(fā)展計劃項目(20130102028JC).

王蕾(1991—)，女，碩士研究生，主要從事神經(jīng)網(wǎng)絡(luò)應(yīng)用研究；通信作者：王連明(1972—)，男，博士，教授，主要從事智能信息處理及嵌入式系統(tǒng)領(lǐng)域研究.

TP 391.1 [學(xué)科代碼] 520·60

A