朱永鑫，徐 權，陳 墨，侯莉萍，包伯成

（常州大學微電子與控制工程學院,江蘇常州 213164）

1 引言

神經元是神經系統(tǒng)的基本組成單位，其放電活動往往可以表現(xiàn)出豐富的動力學行為［1，2］.無論對生物神經元還是神經網絡，研究其動力學行為都是非常必要的［3］.神經系統(tǒng)是生物傳遞信息的重要媒介，而神經元之間的動作電位則承擔著處理這些信息的職責［4］.在神經網絡學習或演化過程中，神經元放電行為會受到時間和突觸的影響，它們同時發(fā)生且相互作用［5］.文獻［6］證實了顳下皮層自適應神經元在短時記憶過程中存在突觸的記憶痕跡.

人工神經網絡的靈感來源于大腦中存在的神經網絡［7，8］，它有著廣泛的應用前景，例如數據存儲、信號檢測和溫度補償等［9］.在人工神經網絡中，激活函數起到非常重要的作用，它有助于理解輸入、輸出的非線性和復雜映射關系［10］.近年來，越來越多的學者開始研究神經網絡中激活函數的動力學效應.Hikawa提出了以分段線性函數作為激活函數的新型數字脈沖神經元，提高了學習的收斂速度和泛化能力［11］.Apicella等認為可學習的、適應性的激活函數可以提高神經網絡的性能［12］.由此可見，激活函數是神經元及人工神經網絡的重要組成部分.

基于模擬電路或數字電路設計的電子神經元，對人工神經網絡的硬件實現(xiàn)具有重要意義［13～15］.由于一些神經元涉及到復雜的非線性項，使得神經元難以硬件電路實現(xiàn).根據目前報道的有關神經元文獻中，大多數神經元的激活函數為指數多項式函數和雙曲正切復合函數兩大類.指數多項式函數需要用到乘法器模塊，實現(xiàn)難度大；雙曲正切復合函數則需要多組電流鏡像模塊［16］，導致激活函數實現(xiàn)成本高、設計難度大、不易大規(guī)模電路實現(xiàn).該文在設計激活函數時，采用兩個簡單函數分別對不同局部曲線特征進行擬合，使得激活函數中電流鏡像模塊數量比文獻［16］中的減少了2組，有效降低了神經元模型實現(xiàn)的復雜度，并且保留了自適應突觸神經元的主要動力學特征.

2 神經元數學模型

2.1 自適應突觸神經元

由輸入ui和輸出Vi構成的單個神經元，用一個狀態(tài)方程來描述神經元的放電行為［14］

其中，τi是電路積分時間常數，Ii為外加刺激.式（1）的狀態(tài)方程僅適用于固定的神經元連接情況，且Tij與時間常數無關，當神經元突觸與時間相關聯(lián)時，需要引入第二個方程來描述自適應突觸神經元.因此，一種具有自適應突觸的單神經元模型可簡寫為

其中，u是膜電位，s是突觸變量，α是可變正參數，時間常數固定為1.此外，外加刺激為

根據文獻［16］，式（2）中兩個激活函數H1和H2所采用的擬合激活函數可以統(tǒng)一描述為

自適應突觸神經元模型中外加刺激幅值為A=1，雙曲正切函數的斜坡梯度為κ=5.通過Multisim 電路仿真軟件，可模擬出自適應突觸神經元在主要放電活動（混沌狀態(tài)）時H（1ξ）和H（2ξ）的局部曲線特征如圖1（a）所示.因此，H（1ξ）的曲線特征是式（4）中激活函數H（ξ）的上升沿特征，而H（2ξ）的曲線特征則是式（4）中激活函數H（ξ）的右側下降沿特征，且兩個曲線特征都是單調、有界且光滑的.

圖1 激活函數局部曲線特征及其擬合曲線特征

可考慮采用兩個簡單的非線性函數擬合神經元在主要放電活動時的局部曲線特征，實現(xiàn)激活函數的簡化，其數學表達式為

MATLAB 數值仿真可得到式（5）中兩個擬合函數F（ξ）和G（ξ）的傳遞特性曲線，如圖1（c）、圖1（d）所示.比較圖1（a）、圖1（b），圖1（c）、圖1（d），結果說明F（ξ）和G（ξ）能夠較好地擬合H（1ξ）和H（2ξ）在神經元放電活動時的主要曲線特征，即采用兩個簡單的非線性函數代替原復雜激活函數的方法是可行的.因此，式（2）可改寫為

式（6）為所提出的自適應突觸神經元簡化模型，后續(xù)分析中簡稱為模型（6）.

2.2 平衡點及穩(wěn)定性分析

根據模型（6），可得到簡化神經元模型的平衡點表達式為

其中，η2=F（2η1）.由超越方程

可解出η1的值.

在平衡點S處的雅克比矩陣為

其中，F(xiàn)'和G'分別是F和G關于時間t的導數，且有

相應地，特征多項式為

式（11）中，

可計算出式（11）的特征根為

以下列出了7種不同特征根情形，對應了不同的平衡點穩(wěn)定性.

情形1：m1=0 且m2＞0.λ1和λ2都是純虛數，表明在S點處發(fā)生了Hopf分岔.

情形2：m1＞0且m2=0.λ1是零根，λ2是負實根，表明在S點處發(fā)生了折疊分岔.

情形3：m1＞0 且m2＜0.λ1是一個正實根，λ2是負實根，表明S點是不穩(wěn)定鞍點.

情形4：m1＜0且m2＞0，m21-4m2≥0.λ1和λ2都是正實根，表明S點是不穩(wěn)定結點.

情形5：m1＜0且m21-4m2＜0.λ1和λ2是一對實部為正的共軛復根，表明S點是不穩(wěn)定焦點.

情形6：m1＞0，m2＞0且m21-4m2≥0.λ1和λ2都是負的實根，表明S點是穩(wěn)點結點.

情形7：m1＞0，m2＞0 且m21-4m2＜0.λ1和λ2是一對實部為負的共軛復根，表明S點是穩(wěn)定焦點.

設定時間t在（It）的一個周期內從0到1變化，選取典型參數為α=2，κ=5，A=1和F=1，由特征根λ1，2確定的平衡點穩(wěn)定性可很好地刻畫出來，如圖2所示.其中，黃色、粉色、藍色和綠色線段分別代表著穩(wěn)定結點（Stable Node Point，SNP）、不穩(wěn)定結點（Unstable Node Point，UNP）、穩(wěn)定焦點（Stable Node Focus，SNF）和不穩(wěn)定焦點（Unstable Node Focus，UNF）.另外，由方框標注出的穩(wěn)定性轉換點代表Hopf 分岔點（Hopf Bifurcation Point，HBP）.這里，情形3中的情況不存在，且不存在折疊分岔點.由圖2可觀察到，當時間t在一個完整的周期內增加時，始終具有3 個平衡點，隨著時間變化，經由Hopf 分岔，SNF轉變?yōu)閁NF，或者UNF轉變?yōu)镾NF.

圖2 簡化神經元模型隨時間變化的平衡點穩(wěn)定性

3 數值仿真

基于MATLAB ODE45算法（時間步長為0.01），利用分岔圖和李雅普諾夫指數譜對模型（6）進行動力學分析［17］.

模型（6）中典型參數κ=5，A=1和F=1保持不變，參數α作為分岔參數且變化區(qū)間為［0，7］.當初始值固定為（0，0）時，模型（6）中變量u的最大值分岔如圖3（a）及其李雅普諾夫指數譜如圖3（b）所示.不難觀察到，圖3中的分岔圖和李雅普諾夫指數所描述的動力學行為是基本一致的.當α從0開始逐漸增加時，模型（6）的運行軌跡由周期1極限環(huán)出發(fā)，演變?yōu)槎嘀芷跔顟B(tài)，當α=1.34時，由混沌危機進入混沌狀態(tài)；當α=4.92時，由切分岔進入周期2極限環(huán)；當α=5.28時，再次回到周期1極限環(huán).

圖3 模型(6)的分岔圖與李雅普諾夫指數譜

需說明的是，當α=2.5 時，圖3 中的分岔圖為混沌狀態(tài)，而李雅普諾夫指數則為周期狀態(tài)，出現(xiàn)了兩者所描述的動力學行為不一致的現(xiàn)象，這是由于模型（6）在此參數處存在瞬態(tài)混沌現(xiàn)象.選取四組典型狀態(tài)下的參數α的值，分別取1、1.2、2和5，數值仿真得到三組共存的多周期極限環(huán)和一組混沌雙渦卷吸引子的相平面圖，如圖4所示.

圖4 不同參數α時在u-s平面上的相軌圖

4 電路設計和實驗驗證

利用商用分立元器件，對自適應突觸神經元簡化模型進行模擬電路設計.通過制作印刷電路板，將實驗所需元器件焊接在印刷電路板上，由硬件實驗驗證數值仿真的正確性.

4.1 模擬電路設計

自適應突觸神經元簡化模型所采用的兩個激活函數是由不同偏移量的雙曲正切函數表示的.利用文獻［18］可設計出所需激活函數的實現(xiàn)電路，如圖5（a）和5（b）所示.其中，電流源I0可由三極管對、三個電阻和一個輸入電壓等效實現(xiàn).特別是，圖5（b）中tanh（·）單元模塊的運算放大器Ui的反向輸入端并聯(lián)了一個輸入偏置電壓V1，運算放大器Uo2的反向輸入端并聯(lián)了一個輸出偏置電壓V2，通過此連接方式，構建了模型（6）激活函數G（·）的電路模塊.

在激活函數電路模塊中，電阻參數R=10 kΩ、RF=2.6 kΩ、RC=1 kΩ、Rk=5 kΩ，輸入電壓E=15 V，電流源I0=1.10 mA，以及偏置電壓V1=1.5 V，V2=1 V.當輸入電壓vi時，圖5（a）和5（b）中激活函數電路模塊的輸入-輸出關系可以描述為

其中，m=R/Rk=2、κ=RF/2RVT=5 V-1.因此，式（5）描述的簡化激活函數是可以用商用分立元器件來實現(xiàn)的.

基于圖5（a）和5（b）所示的激活函數電路模塊，可設計出圖5（c）的自適應突觸神經元簡化模型的主電路.與文獻［16］所設計的激活函數電路模塊相比，圖5 中的簡化激活函數電路模塊節(jié)省了37 個電阻、8 個三極管、9 個運算放大器、2 個偏置電壓，大大減少了實驗成本以及實現(xiàn)電路的復雜度.以兩個積分通道中的電容電壓vu和vs為狀態(tài)變量，其電路方程描述為

圖5 自適應突觸神經元簡化模型的模擬實現(xiàn)電路

令t'=RCt，進行時間尺度變換，則工作頻率f=F（/RC）.外部輸入電壓可重寫為

實驗中選取積分時間常數為RC=10 kΩ ×100 nF=1 ms.因此實際工作頻率為f=F（/RC）=1 kHz.另外，乘法器增益選取g1=g2=1.本次實驗選取參數α=1、1.2、2和5作為例子，它們所對應的理論阻值分別為Rα1=Rα2=10 kΩ、8.33 kΩ、5 kΩ和2 kΩ.

4.2 硬件實驗驗證

硬件實驗采用精密可調電位器、貼片電阻、陶瓷電容、三極管MPS2222、運算放大器（TL082CP 和AD711JN）、乘法器AD633 和±15 V 直流電壓源.根據圖5 原理圖，利用Altium Designer 繪制實驗所需的印刷電路板.自適應突觸神經元簡化模型的硬件實驗電路板如圖6 所示.此外，在供電電壓源兩端并聯(lián)1 個100 nF的電容，起高頻濾波作用.

圖6 自適應突觸神經元簡化模型的硬件實驗電路板

通過數字示波器可以測試出簡化激活函數電路模塊的傳輸特性曲線.在硬件實驗測量中，F(xiàn)（·）模塊的RF為2.43 kΩ，RW（調節(jié)電流源I0）為9.35 kΩ；G（·）模塊的RF為2.57 kΩ，RW為10.27 kΩ.兩個電路模塊的參數不一致是硬件實驗的寄生參數、測量誤差等因素所導致的.

將調好的簡化激活函數電路模塊連接到積分通道主電路中，外接信號發(fā)生器所產生的正弦信號VI=sin（2000πt）V，以及連接±15 V 直流電壓源至各電路模塊中.當Rα1和Rα2分別為四組阻值時（對應于α=1、1.2、2 和5），實驗捕獲的在vu-vs平面上的相軌圖如圖7 所示，實驗結果與圖4 的數值仿真結果一致.同樣地，因寄生參數和測量誤差等因素的影響，Rα1和Rα2的實際阻值與理論阻值存在一定差異.

圖7 當Rα1、Rα2為不同阻值時，實驗捕獲的相軌圖

5 結論

自適應突觸神經元主要放電活動時，兩個激活函數只呈現(xiàn)出局部曲線特征.基于激活函數的局部曲線特征，本文采用兩個簡化激活函數擬合原有的激活函數，提出了一種自適應突觸神經元簡化模型.簡化模型有效降低了自適應突觸神經元的理論分析復雜度和硬件電路實現(xiàn)成本，且有利于大規(guī)模神經網絡的集成電路設計.本文闡述了平衡點穩(wěn)定性的演化機理，外部刺激的變化使得穩(wěn)定和不穩(wěn)定平衡態(tài)經由Hopf分岔發(fā)生了轉移.數值仿真觀察到了自適應突觸神經元在不同參數時所呈現(xiàn)的豐富放電行為.最后，設計了模擬實現(xiàn)電路，制作了印刷電路板，并進行了硬件實驗.實驗結果與數值仿真完全一致，驗證了該方案的可行性.