楊雙鳴 郝新宇 王 江 李會艷 魏熙樂 于海濤 鄧 斌

1.天津大學(xué)電氣自動化與信息工程學(xué)院 天津 300072 2.天津職業(yè)技術(shù)師范大學(xué)自動化與電氣工程學(xué)院 天津 300222

人腦是一個由數(shù)百種不同類型的上千億個神經(jīng)元組成的極為復(fù)雜的生物組織,可處理視覺、聽覺、語言、學(xué)習(xí)、推理、決策、規(guī)劃等各類問題,然而,我們對腦功能相關(guān)的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)信息處理機制的解析仍極不清楚[1-4].因此,需要構(gòu)建接近人腦計算能力與智能水平的類腦計算系統(tǒng),從而理解人腦的結(jié)構(gòu)和功能,理解認(rèn)知、思維、意識和語言,探索腦疾病的發(fā)病機制與治療方案,推動新一代類腦智能技術(shù)的發(fā)展.近年來,高性能類腦計算已經(jīng)成為研究腦科學(xué)的必要手段,為腦研究開啟了全新的研究視角和研究模式[5-10];反過來腦科學(xué)的研究為高性能計算提供新思路、提出新要求,催生新型計算模式的出現(xiàn)[11-13].人腦最簡單的認(rèn)知行為需要上百萬個神經(jīng)元的共同活動[5-7],大規(guī)模類腦計算能夠?qū)⑸窠?jīng)元電生理活動機制與認(rèn)知行為聯(lián)系起來,從而理解人腦認(rèn)知行為的信息處理機制[14-17].總體而言,現(xiàn)有的大規(guī)模類腦計算與仿真研究包含三個關(guān)鍵問題:

1)馮·諾依曼計算架構(gòu)存在計算瓶頸,與人腦計算模式存在本質(zhì)區(qū)別,不能實現(xiàn)真正意義上的類腦.首先,馮·諾依曼計算架構(gòu)將高維信息轉(zhuǎn)換成純時間維度的一維信息進(jìn)行處理,無法滿足處理實時復(fù)雜智能問題的需求;其次,其信息處理過程在物理分離的存儲器和中央處理器內(nèi)完成,造成大量的能耗損失,往復(fù)傳輸速率與信息處理速率的不匹配導(dǎo)致嚴(yán)重的存儲墻效應(yīng),限制了類腦智能的研究與開發(fā).

2)現(xiàn)有的類腦計算平臺由于自身計算能力的限制,尚未解決神經(jīng)元模型復(fù)雜度與神經(jīng)元網(wǎng)絡(luò)規(guī)模之間的矛盾,由具備非線性動力學(xué)特性的生物神經(jīng)元組成的大規(guī)模腦功能神經(jīng)元網(wǎng)絡(luò)需要更強的并行計算能力.

3)當(dāng)前的類腦計算工作忽視了神經(jīng)元的動力學(xué)行為與人腦認(rèn)知功能之間的聯(lián)系,導(dǎo)致理解人腦信息處理機制的從細(xì)胞層次到認(rèn)知層次信息的研究鴻溝.

近年來,各國政府、高校以及研究機構(gòu)均密切關(guān)注著類腦計算這一全新領(lǐng)域,并從國家層面提出了一批重大研究項目.瑞士洛桑聯(lián)邦理工學(xué)院和IBM聯(lián)合支持了“藍(lán)腦計劃”(Blue brain project),該項目旨在通過超級計算機Blue Gene 模擬大規(guī)模神經(jīng)元網(wǎng)絡(luò)活動[18].2013年歐盟再次提出“人類大腦工程”(Human brain project,HBP),其中包括神經(jīng)科學(xué)、醫(yī)學(xué)與類腦計算等領(lǐng)域,涵蓋了計算神經(jīng)科學(xué)、神經(jīng)信息學(xué)、人腦戰(zhàn)略數(shù)據(jù)、高性能計算平臺、大腦模擬并計算及神經(jīng)機器人平臺等子項目[19].同時,美國政府提出了“腦創(chuàng)新計劃”(Brain initiative),重點從微觀層面探索神經(jīng)元、神經(jīng)回路與大腦功能之間的關(guān)系[20].我國政府提出了“一體兩翼”的腦科學(xué)戰(zhàn)略布局,將促進(jìn)中國的信息產(chǎn)業(yè)與工業(yè)、金融、國防等方面的迅猛發(fā)展[1-3].要實現(xiàn)真正、徹底的類腦智能還需要研發(fā)全新的、打破馮·諾依曼架構(gòu)的計算系統(tǒng)[21-22].人腦智能來自于其超大規(guī)模、復(fù)雜互聯(lián)的神經(jīng)元網(wǎng)絡(luò),對與人腦大規(guī)模神經(jīng)元網(wǎng)絡(luò)的并行計算是實現(xiàn)類腦智能的關(guān)鍵[6],目前歐美等國均開展了該領(lǐng)域的深入研究.英國曼徹斯特大學(xué)的SpiNNaker 系統(tǒng)基于ARM(Advanced RISC machine)芯片構(gòu)建了大規(guī)模類腦計算系統(tǒng),該系統(tǒng)借鑒了神經(jīng)元脈沖放電模式,以較少的物理連接快速傳遞尖峰脈沖[21],該項目目前已成為歐盟腦計劃的重要組成部分.目前,IBM 公司開發(fā)出新型類腦計算系統(tǒng),它采用16 顆TrueNorth芯片,TrueNorth芯片借鑒了神經(jīng)元的脈沖放電原理及其信息傳遞機制,實現(xiàn)了計算存儲融合的非馮·諾依曼計算架構(gòu),可執(zhí)行低功耗的多目標(biāo)學(xué)習(xí)任務(wù)與實時視頻處理任務(wù)[6].高通公司也推出了類腦計算系統(tǒng)NPU,并應(yīng)用于行為學(xué)習(xí)與機器人研發(fā)等領(lǐng)域[23].此外,德國海德堡大學(xué)作為歐盟腦計劃的核心成員之一,提出了BrainScaleS 類腦計算系統(tǒng),在類腦機制與高性能計算方面取得了重大的突破[24].國內(nèi)在大規(guī)模類腦計算的研究領(lǐng)域仍處于萌芽期,中國科學(xué)院提出的深度學(xué)習(xí)系統(tǒng)與寒武紀(jì)系統(tǒng)均面向人工神經(jīng)網(wǎng)絡(luò)[25-26],這些研究均極大地提升了人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的計算效率,降低計算功耗,然而這些計算模式仍然基于人工神經(jīng)元的頻率編碼,網(wǎng)絡(luò)節(jié)點無法模擬人腦神經(jīng)元的復(fù)雜動力學(xué)行為,無法從人腦神經(jīng)元脈沖編碼的放電模式上進(jìn)行更深層次的類腦智能.因此,如何借鑒人腦神經(jīng)元網(wǎng)絡(luò)的放電機制與動力學(xué)行為,克服大規(guī)模類腦計算的上述三個關(guān)鍵問題,提出腦啟發(fā)的新型計算架構(gòu)與計算模式,實現(xiàn)腦啟發(fā)的大規(guī)模實時計算平臺,是開發(fā)類腦智能、理解人類認(rèn)知與實現(xiàn)類腦智能應(yīng)用的重要手段.

本文從人腦神經(jīng)系統(tǒng)信息處理機制出發(fā),采用并行計算的現(xiàn)場可編程門陣列(Field programmable gate array,FPGA)構(gòu)建了基于神經(jīng)認(rèn)知計算架構(gòu)的眾核類腦計算系統(tǒng)BiCoSS,實現(xiàn)了四百萬數(shù)量級神經(jīng)元的大規(guī)模類腦計算,從而更好地理解人腦工作機制與疾病機制,開發(fā)新一代類腦智能.本文的結(jié)構(gòu)組織如下:第1 節(jié)總述本文所構(gòu)建的系統(tǒng)架構(gòu)及需要解決的關(guān)鍵問題;第2 節(jié)闡述系統(tǒng)計算使用的相關(guān)模型;第3 節(jié)和第4 節(jié)闡述關(guān)鍵技術(shù)問題的具體解決方案;第5 節(jié)展示了系統(tǒng)的性能;第6 節(jié)討論了BiCoSS 系統(tǒng)的特色;第7 節(jié)是結(jié)論及展望.

1 系統(tǒng)架構(gòu)

BiCoSS 系統(tǒng)包含7 個子系統(tǒng),采用片上網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)樹形結(jié)構(gòu)連接,極大地增強了系統(tǒng)的可擴展性.以神經(jīng)元為基本計算核,以神經(jīng)元網(wǎng)絡(luò)為基本計算單元,每個計算單元中包含若干計算核,計算核的數(shù)量取決于計算單元的最大計算能力.如圖1所示,每個子系統(tǒng)包含4 個神經(jīng)元網(wǎng)絡(luò)單元和一個路由單元,每個神經(jīng)元網(wǎng)絡(luò)單元與路由單元均由FPGA實現(xiàn).改進(jìn)樹形結(jié)構(gòu)的每個節(jié)點均采用四個計算單元通過混合互聯(lián)結(jié)構(gòu)實現(xiàn),避免了單純使用樹形拓?fù)浣Y(jié)構(gòu)造成的頻繁的計算單元跨層級通信,減少了不必要的傳播延遲和資源消耗.樹形結(jié)構(gòu)中每個節(jié)點的四個計算單元采用混合互連結(jié)構(gòu),四個計算單元通過路由單元與改進(jìn)樹形結(jié)構(gòu)中其他節(jié)點相連,非頂層節(jié)點中每個計算單元可以與其余15 個計算單元通過1 個路由單元進(jìn)行直接通信,頂層與底層節(jié)點中每個計算單元可以與其他7 個計算單元進(jìn)行直接通信.相比較之前工作的拓?fù)浣Y(jié)構(gòu),本結(jié)構(gòu)更有利于進(jìn)行眾核并行計算系統(tǒng)的擴展.

圖1 BiCoSS 系統(tǒng)架構(gòu)Fig.1 System architecture of BiCoSS

BiCoSS 系統(tǒng)實物圖見圖2,在BiCoSS 系統(tǒng)中,每個計算單元上包含一 片F(xiàn)PGA、兩片SDRAM(Synchronous dynamic random-access memory)和一個用于程序存儲的串行配置芯片EPCS128,SDRAM 用于存儲網(wǎng)絡(luò)計算的中間變量與網(wǎng)絡(luò)參數(shù),串行配置芯片EPCS128 用于在電源關(guān)閉時存儲程序.并行計算的多個計算核,對于LIF(Leaky integrate and fire)或Izhikevich 神經(jīng)元模型,每個神經(jīng)元網(wǎng)絡(luò)單元使用包含16 節(jié)點的蝴蝶胖樹(Butterfly fat tree,BFT)片上網(wǎng)絡(luò)結(jié)構(gòu),采用片上網(wǎng)絡(luò)技術(shù)增強了每個計算單元上眾核系統(tǒng)的通信效率、系統(tǒng)可擴展性與靈活性.此外,系統(tǒng)留有GPIO(General-purpose input/output)通信端口用于外接攝像頭、機械臂、數(shù)模轉(zhuǎn)換模塊、模數(shù)轉(zhuǎn)換模塊等輸入輸出設(shè)備與外界進(jìn)行數(shù)據(jù)交互.當(dāng)外部輸入模擬信號時,通過模數(shù)轉(zhuǎn)換模塊將其轉(zhuǎn)化為數(shù)字信號,再通過通信端口傳輸?shù)紽PGA 芯片的通用IO(Input/output)引腳上,從而完成對外部信號的接收和處理;外部數(shù)字信號則可直接通過通信端口傳遞.同樣,如果需要輸出模擬信號,FPGA 的輸出信號可通過通用IO 引腳傳輸?shù)竭B接在通信端口的數(shù)模轉(zhuǎn)換模塊上,轉(zhuǎn)化為模擬信號進(jìn)行輸出;數(shù)字信號可直接通過通信端口輸出.利用通信端口,可以完成類腦感知與決策等實時應(yīng)用開發(fā).

圖2 BiCoSS 系統(tǒng)實物圖Fig.2 Physical map of BiCoSS

BiCoSS 神經(jīng)元網(wǎng)絡(luò)的詳細(xì)計算架構(gòu)如圖3所示.在神經(jīng)元網(wǎng)絡(luò)計算中,BiCoSS 使用了神經(jīng)元計算單元,其中包括神經(jīng)元計算模塊、突觸計算模塊、配置單元模塊、路由模塊,如圖3(a)所示.神經(jīng)元計算模塊輸出突觸變量到路由模塊,從而將突觸變量信息傳輸?shù)狡渌窠?jīng)元網(wǎng)絡(luò)單元中;輸出膜電位變量到突觸計算模塊中進(jìn)行突觸計算,配置單元模塊用于配置路由模塊的參數(shù),路由模塊從片上網(wǎng)絡(luò)臨近節(jié)點接收外部地址事件表達(dá)(Address event representation,AER)脈沖數(shù)據(jù)包,并且根據(jù)配置單元中的可編程路由表決定數(shù)據(jù)傳輸方向.如圖3(b)所示為神經(jīng)元計算單元的詳細(xì)計算架構(gòu).對于神經(jīng)元模型的變量V,Xi,i=1,2,···,n,構(gòu)建相應(yīng)的神經(jīng)元模型流水線計算模塊以及隨機存取存儲器(Random access memory,RAM)存儲陣列,流水線計算模塊實時更新神經(jīng)元狀態(tài),RAM 陣列對神經(jīng)元計算中間變量進(jìn)行存儲,從而對神經(jīng)元網(wǎng)絡(luò)進(jìn)行時分復(fù)用操作,在BiCoSS 中對神經(jīng)元計算模塊進(jìn)行9 000 次時分復(fù)用處理.STDP(Spike-timingdependent plasticity)計算單元將突觸權(quán)重實時更新輸出給突觸計算單元中,突觸計算單元接收AER脈沖數(shù)據(jù)包與膜電位變量V進(jìn)行計算,神經(jīng)元計算單元最終計算輸出膜電位變量與突觸變量.

圖3 BiCoSS 系統(tǒng)神經(jīng)元網(wǎng)絡(luò)計算架構(gòu)Fig.3 Neural network computing architecture ofBiCoSS system

圖4所示為BiCoSS 系統(tǒng)的神經(jīng)元與神經(jīng)突觸

計算模塊詳細(xì)架構(gòu).圖4(a)所示為以LIF 神經(jīng)元模型為例的小腦神經(jīng)元計算模塊架構(gòu),為了節(jié)約乘法器資源,通過移位器實現(xiàn)常數(shù)乘法,通過邏輯單元實現(xiàn)變量乘法.如圖4(b)所示為突觸計算單元的詳細(xì)計算架構(gòu),其中包括n個平行突觸計算子模塊,rea表示緩存器的讀地址,其余變量與參數(shù)均在式(1)中定義.AER 脈沖數(shù)據(jù)包輸入到復(fù)用器中,通過常規(guī)計數(shù)器進(jìn)行順序選擇.解碼器解碼出AER脈沖數(shù)據(jù)包的突觸變量信息si和時間標(biāo)記信息,時間標(biāo)記信息用作緩存器的寫地址wri.在每個平行突觸計算模塊中,網(wǎng)絡(luò)連接矩陣被存儲在只讀存儲器(Read-only memory,ROM)中,并行加法器將n個平行突觸計算模塊的輸出相加,并將更新后的結(jié)果 輸出到神經(jīng)元計算模塊中進(jìn)行計算.

圖4 BiCoSS 系統(tǒng)神經(jīng)元與突觸計算模塊架構(gòu)Fig.4 Neuron and synapse computing architecture of BiCoSS system

2 類腦計算模型

大規(guī)模類腦計算的關(guān)鍵問題之一是選用哪種神經(jīng)元網(wǎng)絡(luò)模型,神經(jīng)元網(wǎng)絡(luò)模型決定了網(wǎng)絡(luò)的組成部分、各部分如何運行、這些部分之間如何相互作用.受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā),神經(jīng)元網(wǎng)絡(luò)的常見組成部分是神經(jīng)元和神經(jīng)突觸,如果大規(guī)模類腦計算的目的是利用類腦計算系統(tǒng)模擬人類大腦,從而產(chǎn)生更高級的類腦智能,同時理解人腦的工作機制,那么生物學(xué)現(xiàn)實和合理的模型是必要的.

2.1 神經(jīng)元網(wǎng)絡(luò)與神經(jīng)突觸模型

人腦的信息處理過程中,神經(jīng)元網(wǎng)絡(luò)模型描述了不同神經(jīng)元和突觸如何相互連接以及相互作用.BiCoSS 系統(tǒng)根據(jù)人腦認(rèn)知的具體計算任務(wù),如圖5(a)所示為神經(jīng)元網(wǎng)絡(luò)放電柵圖,其中橫坐標(biāo)為神經(jīng)元網(wǎng)絡(luò)放電時間,縱軸為神經(jīng)元網(wǎng)絡(luò)中產(chǎn)生放電行為的神經(jīng)元序號,神經(jīng)元網(wǎng)絡(luò)通過每個神經(jīng)元的時間序列進(jìn)行信息的傳遞與處理工作,從而構(gòu)成人腦的認(rèn)知行為.在突觸模型方面,BiCoSS 系統(tǒng)采用針對人腦神經(jīng)元網(wǎng)絡(luò)的生物啟發(fā)突觸,其表達(dá)式為

圖5 生物啟發(fā)的神經(jīng)元網(wǎng)絡(luò)放電行為與突觸可塑性Fig.5 Spiking activities of biologically inspired neuron model and STDP characteristics

其中,Cij表示連接矩陣,gij表示耦合強度.Vi表示突觸前神經(jīng)元和突觸后神經(jīng)元的膜電位,Vsyn表示突 觸的反轉(zhuǎn)電勢,sj為突觸變量.

2.2 自學(xué)習(xí)算法

人腦的可塑性機制與大腦的學(xué)習(xí)有關(guān),使神經(jīng)

元網(wǎng)絡(luò)具有學(xué)習(xí)功能,即神經(jīng)元網(wǎng)絡(luò)的突觸權(quán)重隨著時間變化.BiCoSS 系統(tǒng)采用在線的無監(jiān)督學(xué)習(xí),采用具有高度生物合理性的突觸可塑性(STDP)的學(xué)習(xí)規(guī)則[27],其表達(dá)式為

其中,gij和 Δgij分別表示某兩個神經(jīng)元之間的突觸強度和突觸強度變化值,Δt=ti-tj表示突觸前后神經(jīng)元放電的時間差,A+和A-限制了突觸修正的最大值,τ+和τ-表示突觸強度增強和減弱過程中的時間窗參數(shù).圖5(b)所示為突觸可塑性的動力學(xué)特性,當(dāng)突觸前神經(jīng)元的放電活動先于突觸后神經(jīng)元時,所得曲線位于第1 象限,表明突觸耦合強度增加;反之,當(dāng)突觸前神經(jīng)元后于突觸后神經(jīng)元放電時,所得曲線位于第3 象限,表明突觸耦合強度減弱.不同的STDP 調(diào)節(jié)率會影響F函數(shù)的變化速 度,調(diào)節(jié)率升高時F函數(shù)的變化趨勢明顯增加.

3 神經(jīng)信息路由

人腦中神經(jīng)元網(wǎng)絡(luò)信息的傳遞載體是神經(jīng)元放電行為,基于AER 的神經(jīng)信息處理方式來自生物神經(jīng)網(wǎng)絡(luò)進(jìn)行信息加工的靈感[28],即神經(jīng)元在產(chǎn)生動作電位后,輸出放電信號,放電信號觸發(fā)地址編碼電路編碼事件發(fā)生地址,通過神經(jīng)放電的峰-峰間期或放電頻率來定義神經(jīng)信號屬性,由放電事件主動觸發(fā),未產(chǎn)生放電事件的神經(jīng)元無輸出,從本質(zhì)上避免了信息傳遞的冗余,減少放電數(shù)據(jù)量,減少系統(tǒng)開銷與功耗,提升系統(tǒng)計算效率.在不發(fā)生嚴(yán)重競爭的條件下可以實時地輸出放電事件,從而實現(xiàn)實時計算系統(tǒng).對于同時發(fā)生的神經(jīng)放電傳遞現(xiàn)象,會引發(fā)數(shù)據(jù)傳輸沖突,需要實現(xiàn)控制模塊進(jìn)行通信仲裁.

如圖6(a)所示,BiCoSS 系統(tǒng)傳輸?shù)姆烹娦畔⑹褂?8 位數(shù)據(jù)包,其中包含8 位AER 數(shù)據(jù),5 位芯片地址數(shù)據(jù),3 位層地址數(shù)據(jù),6 位節(jié)點地址以及6 位時間標(biāo)記.5 位芯片地址用于編碼28 片負(fù)責(zé)計算神經(jīng)元網(wǎng)絡(luò)的FPGA 芯片,3 位層地址(包含000,001,010,011)用于標(biāo)記BFT 結(jié)構(gòu)的當(dāng)前層數(shù),6 位節(jié)點地址(包含000000 ～ 001111)用于表示編碼0 ～ 15 的神經(jīng)元計算節(jié)點,并可進(jìn)一步擴展為64 個神經(jīng)元計算節(jié)點.6 位時間標(biāo)記用于決定AER 數(shù)據(jù)包進(jìn)行計算的時間,其中,6 bit 時間標(biāo)記能夠使AER 數(shù)據(jù)延遲0 ～ 63 個時鐘周期進(jìn)行計算.該數(shù)據(jù)包表示方法可以實現(xiàn)114 688 個神經(jīng)元之間的任意連接.如圖6(b)所示,BiCoSS 系統(tǒng)的路由器包含6 個輸入端口與其他路由節(jié)點或神經(jīng)計算單元相連接,每個輸入端口包含一個配有6 個FIFO(First input and first output)的虛通道.這些虛通道由虛通道仲裁器控制,使用一個計數(shù)器去順序選擇每個虛通道內(nèi)的FIFO.在神經(jīng)放電信息路由過程中,當(dāng)?shù)? 層路由從神經(jīng)計算單元中收到放電事件信息時,放電信息包裝器模塊將打包過程初始化.放電信息包裝器在虛通道后面使用,以便由神經(jīng)計算單元輸出的放電行為可以被處理成一個AER 神經(jīng)放電包.AER 神經(jīng)放電包有28 位,由5 部分組成,分別為AER 數(shù)據(jù)、芯片地址、層地址、節(jié)點地址與時間標(biāo)記.放電信息包裝器使用配置處理器中存儲的信息,配置處理器能隨時進(jìn)行現(xiàn)場重復(fù)編程,根據(jù)神經(jīng)元數(shù)目與連接信息進(jìn)行存儲信息的修改.配置處理器存儲的數(shù)據(jù)包含芯片地址、層地址、節(jié)點地址以及時間標(biāo)記芯片地址和層地址采用3 位定點數(shù),節(jié)點地址選用6 位定點數(shù),時間標(biāo)記數(shù)據(jù)選用6 位定點數(shù).輸入的事件暫存在存儲器中,當(dāng)時間標(biāo)記到達(dá)時進(jìn)行處理.當(dāng)前路由器相關(guān)地址編碼如表1所示.

表1 當(dāng)前路由器相關(guān)地址編碼Table 1 The address coding of the current router

在神經(jīng)放電事件被封裝成AER 神經(jīng)放電包以后,路由邏輯模塊基于路由算法對AER 神經(jīng)放電包進(jìn)行處理.路由算法如圖6(c)所示,交叉互聯(lián)模塊由多路復(fù)用器實現(xiàn),由交叉互連仲裁器控制BiCoSS 系統(tǒng)的路由算法為確定性的非最短路徑長度路由算法.路由器的節(jié)點編碼與目的節(jié)點的編碼相比較,在算法中,dest表示了目的節(jié)點當(dāng)前路由的節(jié)點地址,由S(l,i)表示源節(jié)點和目的節(jié)點的地址分別由src和dest表示,神經(jīng)計算單元的數(shù)目為N.首先輸入源節(jié)點和目的節(jié)點的地址(src,dest)以及當(dāng)前路由器的地址(l,i),如果l= 1,則計算當(dāng)前路由器的最低范圍lowRange和最高范圍highRange的值,如果dest屬于這個范圍,神經(jīng)放電包將被傳輸?shù)侥康墓?jié)點.否則,神經(jīng)放電包將被傳到當(dāng)前路由節(jié)點任意父節(jié)點,并重新開始路由算法.如果dest屬于交叉相連的路由器,神經(jīng)放電包通過交叉連接的鏈路傳到相應(yīng)路由節(jié)點,并重新開始路由算法.否則,需要判斷源節(jié)點與目的節(jié)點的關(guān)系,如果存在dest-src ＜N/2 和dest-src ＞-N/2,神經(jīng)放電包將傳遞到正確的鄰居節(jié)點,否則將傳遞到左鄰居節(jié)點,并重新開始路由算法,繼續(xù)執(zhí) 行.

圖6 BiCoSS 系統(tǒng)的神經(jīng)放電信息路由Fig.6 Spike information routing of BiCoSS system

4 實現(xiàn)

大規(guī)模類腦計算系統(tǒng)主要包含3 種類型,分別為數(shù)字電路實現(xiàn)、模擬電路實現(xiàn)以及數(shù)?；旌想娐穼崿F(xiàn)、模擬電路系統(tǒng)被認(rèn)為是直接實現(xiàn)生物啟發(fā)系統(tǒng)的首選方式,具有高計算速度、低功耗等優(yōu)點.其缺點是計算精度比數(shù)字電路低,軟件指令與硬件動作之間的一對一通信能力較差,一旦網(wǎng)絡(luò)參數(shù)或結(jié)構(gòu)發(fā)生變化則需要新一輪開發(fā)周期,難以進(jìn)行靈活配置.數(shù)模混合實現(xiàn)方式通過定制計算系統(tǒng)對大規(guī)模神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬,是對于外界環(huán)境比較敏感,穩(wěn)定性差,應(yīng)用開發(fā)十分困難,可編程性差.相比之下,數(shù)字電路具有計算精度高、 計算能力強和可重復(fù)配置的優(yōu)勢.同時,串行計算的數(shù)字電路(如DSP(Digital signal processing)、ARM)不適用于神經(jīng)網(wǎng)絡(luò)計算所需的并行性.現(xiàn)場可編程門陣列(FPGA)具有并行計算能力,包含豐富的邏輯計算單元與存儲單元,適合進(jìn)行復(fù)雜算法與模型的實時計算.因此,BiCoSS 系統(tǒng)采用英特爾公司的Cyclone EP4CE115 系列FPGA 芯片,采用樹形結(jié)構(gòu)完成系統(tǒng)中芯片的級聯(lián)與擴展,每個芯片上采用網(wǎng)格型拓?fù)浣Y(jié)構(gòu)進(jìn)行片上系統(tǒng)實現(xiàn),片上與片間通信采用基于地址事件表達(dá)的神經(jīng)放電信息路由方式,從而提升計算效率,節(jié)約計算開銷與功耗,增強系統(tǒng)可擴展性.

4.1 硬件

BiCoSS 系統(tǒng)采用英特爾公司的Cyclone IV 系列FPGA 芯片EP4CE115F29C7N,該芯片具有115 K垂直排列的邏輯元件(Logic elements,LEs)、4 Mbit 的嵌入式存儲器和528 個IO 引腳.每個芯片與兩個SDRAM 以及一個串行配置設(shè)備EPCS128相連,被擴展為6 層PCB(Printed circuit board)的核心系統(tǒng).模擬神經(jīng)網(wǎng)絡(luò)需要神經(jīng)元狀態(tài)信息、突觸事件、網(wǎng)絡(luò)耦合矩陣與強度等.串行配置芯片EPCS128用于在電源關(guān)閉時存儲程序.否則,每次重新上電時都要將所實現(xiàn)的大規(guī)模神經(jīng)網(wǎng)絡(luò)在BiCoSS 系統(tǒng)中逐片上傳.BiCoSS 的7 個子系統(tǒng)通過PCB 底板實現(xiàn)引腳之間的直接連接.每個子系統(tǒng)上還留有額外的引腳并制成外部接口,以便實現(xiàn)數(shù)模轉(zhuǎn)換、視覺設(shè)備、機器人控制、系統(tǒng)擴展等功能.

4.2 模型與算法

為了兼顧硬件資源消耗與精度,BiCoSS 系統(tǒng)選用歐拉法對神經(jīng)元模型進(jìn)行離散化,以負(fù)責(zé)運動控制認(rèn)知功能的小腦中LIF 神經(jīng)元模型歐拉法離散化為例,所得差分方程為

式中,ΔT是離散化采樣時間,V(n)是當(dāng)前時刻的變量迭代值,C為神經(jīng)元電導(dǎo).參數(shù)gleak,gex:AMPA,gex:NMDA,ginh,gahp分別為漏電導(dǎo)、興奮性AMPA(Aminomethylphosphonic acid)突觸電導(dǎo)、興奮性NMDA(N-methyl-D-aspartate)突觸電導(dǎo)、抑制性突觸電導(dǎo)、后超極化突觸電導(dǎo),Eleak,Eex,Einh,Eahp分別為漏電勢、興奮性電勢、抑制性電勢以及后超極化電勢,I為神經(jīng)元外部施加電流.

為了解決FPGA 片上資源與網(wǎng)絡(luò)規(guī)模之間的矛盾,BiCoSS 系統(tǒng)采用了分時復(fù)用技術(shù),應(yīng)用同一個計算單元分時段計算多路數(shù)據(jù).對于神經(jīng)元網(wǎng)絡(luò)仿真,將神經(jīng)元計算單元計算后得到的狀態(tài)變量作為輸出,存儲在片上RAM 中.在系統(tǒng)始終激勵下,向神經(jīng)元計算單元依次輸入每個神經(jīng)元上一步的狀態(tài)信息,在分時復(fù)用的神經(jīng)元進(jìn)行狀態(tài)更新后,再進(jìn)行下一步計算.假設(shè)網(wǎng)絡(luò)狀態(tài)存儲單元的RAM存儲器的存儲深度為Nneu,網(wǎng)絡(luò)中包含的神經(jīng)元總數(shù)為Ntotal,考慮時間復(fù)雜度有如下式成立:

其中,fmax為FPGA 可以實現(xiàn)的最大計算頻率,NNpipe為神經(jīng)元計算單元的流水線深度,NSpipe為突觸電流計算單元的流水線深度,m為并行的突觸電流計算單元數(shù)目,n為并行的神經(jīng)元計算單元數(shù)目.

在類腦計算系統(tǒng)中,硬件資源消耗隨神經(jīng)元功能性網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模增大而增大,圖7(a)直觀體現(xiàn)片上存儲資源開銷與神經(jīng)元計算位寬、神經(jīng)元復(fù)用次數(shù)間的關(guān)系.同時,我們定義了網(wǎng)絡(luò)更新速度與并行突觸電流計算單元(Synaptic current computation unit,SCCU)個數(shù)、網(wǎng)絡(luò)所有神經(jīng)元數(shù)Ntotal之間的關(guān)系.圖7(b)顯示網(wǎng)絡(luò)更新速度會隨SCCU數(shù)目的增加而增大,同時增加SCCU 有助于在確定網(wǎng)絡(luò)連接拓?fù)淝闆r下仿真更多神經(jīng)元數(shù)目,網(wǎng)絡(luò)中神經(jīng)元數(shù)目的減少有利于提高網(wǎng)絡(luò)的整體計算速度,這需要進(jìn)行不同數(shù)量級的神經(jīng)元功能性網(wǎng)絡(luò)仿真以確定產(chǎn)生期望動力學(xué)行為的網(wǎng)絡(luò)中最小神經(jīng)元數(shù)目.

圖7 模型實現(xiàn)的性能分析Fig.7 Analysis performance of model implementation

5 性能分析

本文通過4 個方面測試與驗證BiCoSS 系統(tǒng)的性能,這4 個方面分別為計算效率、功耗、通信效率與可擴展性,通過計算基于生物合理性的神經(jīng)元模型與具有STDP 學(xué)習(xí)機制的生物神經(jīng)元網(wǎng)絡(luò),從而測試BiCoSS 系統(tǒng)的性能.

5.1 計算效率與功耗

為了更好地展示BiCoSS 系統(tǒng)的計算效率,本文將BiCoSS 系統(tǒng)與3 個替代平臺相比,3 個替代平臺分別為CPU,GPU 與多核總線平臺.為了量化計算效率,我們使用代價函數(shù)Q,其表達(dá)式描述如下:

tcom與tbio分別表示計算平臺與真實生物神經(jīng)元網(wǎng)絡(luò)計算同等尺度神經(jīng)元網(wǎng)絡(luò)的的計算時間.CPU 計算平臺使用Intel 雙核2.4 GHz CPU 進(jìn)行計算,GPU 計算平臺采用NVIDIA GTX 280 GPU,多核總線平臺使用EP3SE340 FPGA 芯片.仿真采用的是基于LIF 神經(jīng)元模型的生物小世界神經(jīng)元網(wǎng)絡(luò),如圖8(a)所示,我們考察了 103～4×106的神經(jīng)元數(shù)目范圍,隨著神經(jīng)元數(shù)目的增長,BiCoSS系統(tǒng)計算效率維持在更高的數(shù)值,而其余三種替代計算平臺的計算效率均呈現(xiàn)指數(shù)下降的趨勢,這是由于BiCoSS 采用全并行的非馮·諾依曼計算架構(gòu),使計算效率得到了顯著提升.

在系統(tǒng)功耗方面,BiCoSS 系統(tǒng)包含35 片Intel公司的EP4CE115 FPGA 芯片,消耗功耗為10.419 W,系統(tǒng)的功率密度35.4 mW/cm2,傳統(tǒng)計算機CPU的 功率密度為50～100 W/cm2.

5.2 通信效率與可擴展性

在通信效率方面,如圖8(b)所示,BiCoSS 系統(tǒng)的延時與傳統(tǒng)線性結(jié)構(gòu)與傳統(tǒng)樹形結(jié)構(gòu)進(jìn)行比較,當(dāng)數(shù)據(jù)包諸如率小于0.18(數(shù)據(jù)包/周期/節(jié)點)時,BiCoSS系統(tǒng)結(jié)構(gòu)的負(fù)載延時遠(yuǎn)低于以Neurogrid[22]為代表的傳統(tǒng)線性結(jié)構(gòu),低于以HiAER[29]為代表的傳統(tǒng)樹形結(jié)構(gòu),隨著數(shù)據(jù)包注入速率的增加,平均延時略有升高,線形拓?fù)浣Y(jié)構(gòu)在0.1(數(shù)據(jù)包/周期/節(jié)點)處出現(xiàn)拐點,傳統(tǒng)樹形結(jié)構(gòu)與BiCoSS結(jié)構(gòu)均在0.18(數(shù)據(jù)包/周期/節(jié)點)處出現(xiàn)拐點,由于BiCoSS 結(jié)構(gòu)的節(jié)點連通度高于傳統(tǒng)樹形結(jié)構(gòu),BiCoSS 結(jié)構(gòu)在拐點后的增幅略低于傳統(tǒng)樹形結(jié)構(gòu).

圖8 BiCoSS 系統(tǒng)性能分析Fig.8 Performance analysis of BiCoSS system

之前的神經(jīng)形態(tài)學(xué)計算平臺采用了不同的多片拓?fù)浣Y(jié)構(gòu)完成對于大規(guī)模生物神經(jīng)元網(wǎng)絡(luò)的實現(xiàn)與仿真,典型的結(jié)構(gòu)包括Neurogrid 使用的線性結(jié)構(gòu)[22]以及BrainScaleS、Truenorth、SpiNNaker 使用的網(wǎng)格型結(jié)構(gòu)[5,21,24].在可擴展性方面,如圖8(c)所示,BiCoSS 系統(tǒng)采用改進(jìn)的樹形結(jié)構(gòu),其可擴展性遠(yuǎn)高于傳統(tǒng)線性結(jié)構(gòu)與網(wǎng)格型結(jié)構(gòu),使得系統(tǒng)具有更強的可擴展性,更利于大規(guī)模人腦神經(jīng)元網(wǎng)絡(luò)實現(xiàn)的擴展與網(wǎng)絡(luò)規(guī)模的提升.

BiCoSS 系統(tǒng)神經(jīng)元網(wǎng)絡(luò)單元使用BFT 結(jié)構(gòu)實現(xiàn),具有良好的系統(tǒng)延遲特性.為了顯示BiCoSS系統(tǒng)神經(jīng)元網(wǎng)絡(luò)單元的延遲優(yōu)越性,如圖9(a)～9(d)所示,比較了BiCoSS 神經(jīng)元網(wǎng)絡(luò)單元與傳統(tǒng)片上網(wǎng)絡(luò)mesh 型、torus 型、Butterfly 型、Flattened Butterfly 型的平均延遲,本文定義了突觸事件輸入率為兆突觸事件數(shù)據(jù)包數(shù)/秒(M synaptic events/s,MSynE/s).由圖9 可以看出,隨著突觸事件輸入率的增大,BiCoSS 系統(tǒng)神經(jīng)元網(wǎng)絡(luò)單元的平均延遲基本維持不變,而另外三種片上網(wǎng)絡(luò)結(jié)構(gòu)的平均延遲隨著突觸事件輸入率的增大具有明顯增加,表明了BiCoSS 系統(tǒng)的神經(jīng)元網(wǎng)絡(luò)單元具備在較高突觸事件輸入率條件下的良好延遲特性.

圖9 BiCoSS 系統(tǒng)神經(jīng)元網(wǎng)絡(luò)單元平均延遲Fig.9 Average latency of neural network unit on BiCoSS

5.3 系統(tǒng)性能比較

為了進(jìn)一步揭示BiCoSS 系統(tǒng)的性能優(yōu)勢,如表2所示,我們將BiCoSS 與國際上主要的大規(guī)模類腦計算系統(tǒng)進(jìn)行比較.從實現(xiàn)方式上來看,Brain-ScaleS[24]、HiAER[29]等系統(tǒng)采用了模擬電路的方式實現(xiàn)了大規(guī)模類腦計算系統(tǒng),缺點是計算精度比數(shù)字電路低,軟件指令與硬件動作之間的一對一通信能力較差,一旦研究的神經(jīng)元網(wǎng)絡(luò)參數(shù)或結(jié)構(gòu)發(fā)生變化則需要新一輪開發(fā)周期,難以進(jìn)行靈活配置.與此相對的是以Truenorth[5]、SpiNNaker[21]為代表的數(shù)字類腦計算系統(tǒng)與以Neurogrid[22]為代表的數(shù)?；旌项惸X計算系統(tǒng).數(shù)?；旌舷到y(tǒng)結(jié)合了數(shù)字電路與模擬電路系統(tǒng)的優(yōu)點,缺點是對于外界環(huán)境比較敏感,穩(wěn)定性差,數(shù)模轉(zhuǎn)換產(chǎn)生延遲,應(yīng)用開發(fā)十分困難,在可編程性方面輸給了數(shù)字電路實現(xiàn).相比于模擬電路與數(shù)模混合電路,BiCoSS 采用數(shù)字實現(xiàn)的方式進(jìn)行大規(guī)模類腦計算,盡管數(shù)字電路功耗更高,但其具有計算精度高,計算能力強與可重復(fù)配置的優(yōu)勢.神經(jīng)元模型的復(fù)雜度決定了類腦計算的生理可信性,BiCoSS 系統(tǒng)采用數(shù)字電路可實現(xiàn)包括基于電導(dǎo)的H-H 模型在內(nèi)的任意模型,以及基于生物啟發(fā)的STDP 機制的學(xué)習(xí)算法,具有更強大的揭示人腦信息處理機制的能力.在計算規(guī)模方面,BiCoSS 可以計算包含100 M 神經(jīng)元的大規(guī)模神經(jīng)元網(wǎng)絡(luò);對于包含N個計算節(jié)點的BiCoSS 系統(tǒng),其具有4eN的擴展性.BiCoSS 的缺點在于功耗為10.419 W,盡管遠(yuǎn)低于SpiNNaker的49 W 功耗,但相較于Neurogrid(功耗為2.7 W)、Truenorth(功耗為63 mW)等系統(tǒng),BiCoSS 仍會消耗更高的功耗.然而,綜合考慮網(wǎng)絡(luò)規(guī)模、可實現(xiàn)模型的復(fù)雜度、生物啟發(fā)的學(xué)習(xí)規(guī)則與系統(tǒng)可擴展性,與國際上當(dāng)前代表性的大規(guī)模類腦計算系統(tǒng)相比,BiCoSS系統(tǒng)具有更突出的優(yōu)勢.

表2 與當(dāng)前代表性大規(guī)模類腦計算系統(tǒng)比較Table 2 The comparison with the state-of-the art large-scale brain-inspired computing systems

6 BiCoSS 的類腦智能與腦機制應(yīng)用

人腦一種簡單的高層認(rèn)知行為涉及上百萬的神經(jīng)元脈沖活動[5-7],大規(guī)模神經(jīng)元網(wǎng)絡(luò)的計算有助于將神經(jīng)網(wǎng)絡(luò)動力學(xué)特性與人腦高層認(rèn)知行為聯(lián)系起來,接近人腦的計算規(guī)模具有更強的生物可信性.BiCoSS 系統(tǒng)可以實時計算大規(guī)模人腦具有認(rèn)知功能的神經(jīng)元網(wǎng)絡(luò),一方面增加的網(wǎng)絡(luò)規(guī)?？梢愿咏咏四X認(rèn)知行為的計算規(guī)模,從而準(zhǔn)確地揭示人腦的大規(guī)模認(rèn)知機制,另一方面BiCoSS 的實時計算性能可以用于與真實生物體的接口或人工智能設(shè)備中.為了進(jìn)一步研究人腦認(rèn)知行為的機制,從神經(jīng)元水平分析了產(chǎn)生類腦認(rèn)知的深層機制,BiCoSS系統(tǒng)從類腦決策、類腦運動控制、神經(jīng)疾病機制以及類腦視覺目標(biāo)識別進(jìn)一步探索腦機制.在后面包括類腦決策、類腦運動控制以及運動障礙性疾病機制研究的類腦計算應(yīng)用中,我們均采用BiCoSS 系統(tǒng)中包含的所有35 片F(xiàn)PGA,搭建了400 萬神經(jīng)元的大規(guī)模神經(jīng)元網(wǎng)絡(luò)進(jìn)行人腦認(rèn)知機制的探索與實時計算.圖10(a)所示為基于BiCoSS 系統(tǒng)的類腦計算平臺實物圖,由DE2 開發(fā)板實現(xiàn)的輸入信號發(fā)生器,用于產(chǎn)生輸入的離散脈沖序列,通過兩位線傳送到BiCoSS 系統(tǒng)中,用于模擬大規(guī)模神經(jīng)元網(wǎng)絡(luò)的BiCoSS 計算系統(tǒng)通過數(shù)模轉(zhuǎn)換器將輸出轉(zhuǎn)換成模擬信號,并在示波器顯示輸出波形.圖9(b)～9(e)顯示了決策、運動控制、以及正常與運動障礙狀態(tài)下,基底核GPi 神經(jīng)元、小腦GO 神經(jīng)元、丘腦皮層神經(jīng)元的實時輸出離散脈沖信號,在運動障礙性疾病狀態(tài)下,丘腦皮層神經(jīng)元放電從尖峰放電變?yōu)榱舜胤烹?所顯示的實時離散脈沖信號均來自BiCoSS大規(guī)模網(wǎng)絡(luò)中某一特定核團內(nèi)任意選取的待觀測神經(jīng)元.

圖10 實驗系統(tǒng)實物圖與計算結(jié)果Fig.10 Experimental setup of BiCoSS system and computing results

6.1 類腦決策

在各類功能性神經(jīng)元網(wǎng)絡(luò)中,認(rèn)知決策功能相關(guān)的神經(jīng)元網(wǎng)絡(luò)是當(dāng)今研究的熱點.大腦決策是一個極為復(fù)雜的神經(jīng)活動過程,皮層-基底核-丘腦回路是人腦認(rèn)知決策的重要網(wǎng)絡(luò),不同的多巴胺水平會影響人腦在決策的時候采用不同的策略,包括保守、冒險與隨機[32],因此,BiCoSS 系統(tǒng)建立了負(fù)責(zé)人腦決策的大規(guī)?；缀松窠?jīng)元網(wǎng)絡(luò).該網(wǎng)絡(luò)由紋狀體(Str),蒼白球外側(cè)部(GPe)、蒼白球內(nèi)側(cè)部(GPi)、丘腦底核(STN)四種核團組成,其中紋狀體(Str)被分為D1 和D2 兩部分,后三種核團各自為一部分,每部分均由呈網(wǎng)格狀排列的100 萬個神經(jīng)元構(gòu)成.除紋狀體以泊松序列模擬放電信息外,其他核團的神經(jīng)元均為帶有離子通道電流的Izhikevich 模型,其神經(jīng)元方程如下所示:

其中,τRe是突觸受體的衰減常數(shù),ERe是相關(guān)受體的突觸電位,是神經(jīng)元x在時間t的放電情況,放電為1,不放電為0,是從神經(jīng)元x到神經(jīng)元y的突觸電流的門控變量,Wx→y是神經(jīng)元x與神經(jīng)元y連接的突觸權(quán)重,是神經(jīng)元y在坐標(biāo)位置(i,j)處的膜電位,Re 可以代表AMPA,GABA(γ-aminobutyric acid),NMDA 三種突觸受體中的任意一種.不同類型細(xì)胞的具體參數(shù)值見表3.

表3 基底核模型中不同細(xì)胞的參數(shù)值Table 3 Parameter values of different cells in the basal ganglia model

在基底核網(wǎng)絡(luò)中,D1 紋狀體(Str)和D2 紋狀體(Str)分別向蒼白球內(nèi)側(cè)部(GPi)和蒼白球外側(cè)部(GPe)傳遞抑制性信號,蒼白球外側(cè)部(GPe)向丘腦底核(STN)傳遞抑制性信號,丘腦底核(STN)向蒼白球內(nèi)側(cè)部(GPi)和蒼白球外側(cè)部(GPe)傳遞興奮性信號,基底核網(wǎng)絡(luò)的最終輸出由蒼白球內(nèi)側(cè)部(GPi)給出.在高多巴胺水平的條件下,我們輸入BiCoSS 網(wǎng)絡(luò)兩個不同的刺激信號,兩個刺激信號分別為頻率4 Hz 和8 Hz 的泊松序列.我們從100 萬個STN 和GPi 神經(jīng)元中各取2 000 個神經(jīng)元繪制放電柵圖,觀測到STN 和GPi 核團的放電柵圖如圖11(a)和圖11(b)所示,可以看出,在高多巴胺水平下,基底核網(wǎng)絡(luò)做出了相應(yīng)的選擇策略,更強的8 Hz 泊松序列刺激使得網(wǎng)絡(luò)活動更快達(dá)到閾值,因此基底核網(wǎng)絡(luò)選擇了8 Hz 刺激作為最佳決策.

圖11 基于BiCoSS 系統(tǒng)的認(rèn)知計算Fig.11 Cognition computing based on BiCoSS system

6.2 類腦運動控制

小腦在人腦的運動控制功能中起著重要的作用,包括維持軀體平衡、調(diào)節(jié)肌張力及協(xié)調(diào)運動等.BiCoSS 系統(tǒng)建立了大規(guī)模的小腦神經(jīng)元網(wǎng)絡(luò),用于人腦運動控制機制的探索.其中,搭建了由400萬個神經(jīng)元構(gòu)成的小腦模型,其中包括100 萬個顆粒細(xì)胞(Granule cell,GR),100 萬個高爾基細(xì)胞(Golgi cell,GO),50 萬個浦肯野細(xì)胞(Purkinje cell,PC),50 萬個籃狀細(xì)胞(Basket cell,BS),50萬個下橄欖核細(xì)胞(Inferior olive,IO)和50 萬個前庭核細(xì)胞(Vestibular nuclei,VN).顆粒細(xì)胞(GR)和高爾基細(xì)胞(GO)均呈網(wǎng)格狀排列.所有的神經(jīng)元細(xì)胞均為帶有離子通道的LIF 模型,其統(tǒng)一的膜電位方程和突觸電導(dǎo)方程如下所示.

其中,C是神經(jīng)元的膜電容,V是膜電位,gx代表突觸電導(dǎo),Ex代表靜息電位,Gx為最大突觸電導(dǎo),τahp是電導(dǎo)延遲時間,x可以是{leak,exc,inh,ahp}中的任意一個,θ是膜電位閾值,t0是神經(jīng)元的上一個放電時刻.I是自發(fā)電流,只存在于少數(shù)類型的細(xì)胞中.不同類型細(xì)胞的具體參數(shù)值參見表4.

表4 小腦模型中不同細(xì)胞的參數(shù)值Table 4 Parameter values of different cerebellar cells

在小腦網(wǎng)絡(luò)結(jié)構(gòu)中,我們采用之前的研究[33]提出的具有解剖學(xué)意義的小腦網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行計算.其中,外部輸入通過苔狀纖維(Mossy fiber,MF)傳遞給顆粒細(xì)胞(GR),顆粒細(xì)胞(GR)與高爾基細(xì)胞(GO)相互耦合,將輸入信息進(jìn)行處理并通過平行纖維(Parallel fiber,PF)傳遞給浦肯野細(xì)胞(PC)和籃狀細(xì)胞(BS).外部誤差信號輸入給下橄欖核細(xì)胞(IO),并轉(zhuǎn)化為學(xué)習(xí)信號通過爬行纖維(Climbing fiber,CF)傳遞給浦肯野細(xì)胞(PC),通過長時程增強(Long term potentiation,LTP)和長時程抑制(Long term depression,LTD)改變其與顆粒細(xì)胞在PF-PC 的突觸強度,這也是小腦學(xué)習(xí)的基礎(chǔ).此外,浦肯野細(xì)胞(PC)還接受來自籃狀細(xì)胞(BS)的抑制信號,之后將信息傳遞給前庭核細(xì)胞(VN),前庭核細(xì)胞(VN)的輸出即為小腦的最終輸出信號.前庭動眼反射實驗反映了當(dāng)頭部位置改變時,視網(wǎng)膜成像保持穩(wěn)定的神經(jīng)響應(yīng)過程.在頭部運動的過程中,前庭會產(chǎn)生刺激并引起眼球的反射運動,使得眼球不會隨頭部位置的改變而改變,從而保證視網(wǎng)膜穩(wěn)定成像.圖11(c)～11(e)顯示了在頭部運動時,隨頭部移動的變化的前庭信息被編碼為泊松序列輸入給顆粒細(xì)胞,顆粒層細(xì)胞中任意300 個細(xì)胞的放電柵圖與顆粒層細(xì)胞的放電率.從圖中可以看出,顆粒細(xì)胞群的總體放電率隨著刺激強度從小變大,然后變小,表明顆粒細(xì)胞可以將輸入信號的幅度和時間信息傳遞給浦肯野細(xì)胞,從而對眼球運動產(chǎn)生影響,實現(xiàn)小腦的運動控制認(rèn)知功能.

6.3 神經(jīng)疾病機制研究

BiCoSS 系統(tǒng)的另一個重要應(yīng)用是人腦精神疾病機制的仿真與分析.為了探索運動障礙性疾病的發(fā)病機制,基于BiCoSS 系統(tǒng)實現(xiàn)了大規(guī)模皮層-基底核—丘腦皮層神經(jīng)元網(wǎng)絡(luò),在此基礎(chǔ)上探索運動障礙性疾病的發(fā)病與皮層-基底核-丘腦皮層神經(jīng)元網(wǎng)絡(luò)耦合強度的關(guān)系.皮層-基底核-丘腦皮層神經(jīng)元網(wǎng)絡(luò)由Izhikevich 神經(jīng)元模型構(gòu)建,其中包含GPe、GPi、STN、丘腦皮層(Thalamocortical,TC)四種核團,神經(jīng)元模型由下式表示:

電流I包含3 部分,即

其中,Iapp為對不同種類核團的施加電流,Inoise為神經(jīng)元固有噪聲,Isyn為突觸電流,脈沖復(fù)位等式為

其參數(shù)值如表5所示.突觸電流計算式為

表5 皮層-基底核-丘腦皮層模型中不同神經(jīng)元的參數(shù)值Table 5 Parameter values of different cells inthe cortico-basal ganglia-thalamocortical model

突觸連接權(quán)重gij如表6所示,表6 中g(shù)inc為突觸增加權(quán)重.突觸變量sj由下式定義:

表6 皮層-基底核-丘腦皮層模型網(wǎng)絡(luò)連接權(quán)重Table 6 Parameter values of synaptic coupling weight in the cortico-basal ganglia-thalamocortical model

其中,τS是突觸延遲時間參數(shù),恢復(fù)函數(shù)計算如下:

感覺運動區(qū)對TC 神經(jīng)元的輸入電流表示為

其中,H為Heaviside 函數(shù),參數(shù)值iχ= 30 pA,δχ=3 ms,ρχ= 25 ms.

定義神經(jīng)元網(wǎng)絡(luò)放電的可靠性為

其中,ferr表示放電失敗的百分比,m表示丘腦皮層輸出簇放電或放電失敗的次數(shù),e表示丘腦皮層輸出正常放電的次數(shù).較高的可靠性frel表示神經(jīng)元網(wǎng)絡(luò)的放電屬于正常水平,過低的可靠性表示神經(jīng)元網(wǎng)絡(luò)已處于運動障礙性疾病發(fā)病狀態(tài).

如圖11(f)所示,隨著網(wǎng)絡(luò)耦合強度的增加,神經(jīng)元放電的可靠性在一定范圍內(nèi)保持不變,網(wǎng)絡(luò)耦合強度的進(jìn)一步增加導(dǎo)致網(wǎng)絡(luò)放電可靠性迅速下降.因此,皮層-基底核-丘腦皮層神經(jīng)元網(wǎng)絡(luò)中突觸耦合強度的增加是運動障礙性疾病致病的重要因素之一.

7 結(jié)論與展望

本文開發(fā)了一個基于神經(jīng)認(rèn)知計算架構(gòu)的大規(guī)模類腦計算系統(tǒng)BiCoSS.該系統(tǒng)能夠?qū)崟r地計算四百萬神經(jīng)元數(shù)量級的、與人腦認(rèn)知功能相關(guān)的大規(guī)模神經(jīng)元網(wǎng)絡(luò)以及基于生物啟發(fā)學(xué)習(xí)機制的在線學(xué)習(xí)與訓(xùn)練.相比傳統(tǒng)類腦計算平臺,該系統(tǒng)具有更高的計算效率,更低的計算功耗以及良好的擴展性,適合進(jìn)行具有認(rèn)知功能的人腦大規(guī)模神經(jīng)元網(wǎng)絡(luò)實時計算與仿真分析.增加的網(wǎng)絡(luò)規(guī)?？梢愿咏咏四X認(rèn)知行為的計算規(guī)模,從而準(zhǔn)確地揭示人腦的大規(guī)模認(rèn)知機制;同時,BiCoSS 的實時計算性能可以用于與真實生物體的接口或人工智能設(shè)備中.綜合考慮網(wǎng)絡(luò)規(guī)模、可實現(xiàn)模型的復(fù)雜度、生物啟發(fā)的學(xué)習(xí)規(guī)則與系統(tǒng)可擴展性,與國際上當(dāng)前代表性的大規(guī)模類腦計算系統(tǒng)相比,BiCoSS 系統(tǒng)具有更突出的優(yōu)勢.同時,BiCoSS 系統(tǒng)從類腦決策、類腦運動控制、神經(jīng)疾病機制的腦認(rèn)知任務(wù)方面進(jìn)一步進(jìn)行腦機制的計算與研究.本研究完成了將類腦智能與機器智能進(jìn)行融合的重要一步,并可以作為進(jìn)行腦機制實驗的重要依據(jù).