蔣 欣，王光義，周 瑋

(杭州電子科技大學現(xiàn)代電路與智能信息研究所，浙江 杭州 310018)

0 引 言

Hopfield神經(jīng)網(wǎng)絡(Hopfield Neural Network, HNN)是一種反饋型神經(jīng)網(wǎng)絡[1]，越來越多的證據(jù)表明大腦中存在復雜的混沌動力學[2]，HNN能較好地模擬大腦中的混沌行為，為理解人類大腦活動和記憶行為提供重要模型。相關(guān)研究發(fā)現(xiàn)一些復雜的混沌現(xiàn)象[3]。大腦的神經(jīng)活動可以從混沌狀態(tài)轉(zhuǎn)為周期狀態(tài)，混沌狀態(tài)對應大腦的正常運作狀態(tài)，周期性狀態(tài)對應癲癇發(fā)作等病理狀態(tài)[4]。雙曲型HNN[5]可簡化連接的拓撲結(jié)構(gòu)，出現(xiàn)不同種類吸引子的共存行為[6]。在HNN模型中，將神經(jīng)元激活梯度作為可調(diào)控參數(shù)時，可產(chǎn)生共存周期和混沌振蕩[7]。三次磁控憶阻器也可實現(xiàn)憶阻HNN，出現(xiàn)準周期、混沌及超混沌現(xiàn)象[8]。Danca等[9]研究簡化型三元HNN，通過數(shù)值分析和仿真實驗發(fā)現(xiàn)2個穩(wěn)定周期吸引子外，還發(fā)現(xiàn)隱藏的混沌吸引子和瞬態(tài)混沌吸引子。憶阻器具有納米結(jié)構(gòu)、阻值連續(xù)可調(diào)和記憶特性[10-13]，選擇憶阻器作為突觸可提高神經(jīng)網(wǎng)絡處理不同問題的靈活性，還可實現(xiàn)神經(jīng)網(wǎng)絡突觸的可編程性[14]。隨著HNN在科學和工程領(lǐng)域的廣泛應用，憶阻器已成為新型神經(jīng)形態(tài)計算的最佳候選器件之一[15]。本文將憶阻器模型引入神經(jīng)網(wǎng)絡，設(shè)計一種四元憶阻Hopfield神經(jīng)網(wǎng)絡。

1 四元憶阻Hopfield神經(jīng)網(wǎng)絡數(shù)學模型

憶阻器是一個具有記憶性的非線性電阻，其具有納米結(jié)構(gòu)、低功耗和阻值可調(diào)等特性，非常適合模擬神經(jīng)突觸和神經(jīng)元。憶阻器有荷控(流控)和磁控(壓控)兩種類型[16]，神經(jīng)元激活函數(shù)是單調(diào)可微且上下有界的，通常采用雙曲正切函數(shù)作為神經(jīng)元的激活函數(shù)。本文采用雙曲正切型憶阻器來模擬神經(jīng)元突觸，其模型為：

(1)

式中，vm和im分別為憶阻器的輸入電壓和電流，W(φ)=a-btanh(φ)為磁控憶阻器的憶導，其中，a，b均為正實數(shù)，為了便于計算分析，令a=1，b為可調(diào)參數(shù)。

“突觸權(quán)重”代表神經(jīng)元之間的連接強度，本文引入憶阻器來取代第4個神經(jīng)元的自連接突觸權(quán)重W44，設(shè)計的四元憶阻Hopfield神經(jīng)網(wǎng)絡的拓撲連接如圖1所示。

圖1 四元憶阻Hopfield神經(jīng)網(wǎng)絡拓撲連接

圖1中，W11，W22，W33和W44分別為4個神經(jīng)元的自連接權(quán)重，W12，W21，W13，W31，W23，W32，W24，W42分別為4個神經(jīng)元的互連接權(quán)重。

常用雙曲正切函數(shù)tanh(xn)(n=1,2,3)作為從第n個神經(jīng)元電壓輸入的神經(jīng)元激活函數(shù)，其系數(shù)表示2個相鄰神經(jīng)元之間的連接突觸權(quán)重，Hopfield神經(jīng)元的電路方程為：

(2)

式中，Ci，Ri和xi為神經(jīng)元i細胞膜內(nèi)外的電容、電阻和電壓，tanh(xi)為神經(jīng)元激活函數(shù)，Wij為描述神經(jīng)元i與神經(jīng)元j之間連接強度的突觸權(quán)重，W11，W22，W33和W44分別為4個神經(jīng)元的自連接權(quán)重，Ii為偏置電流，通常等于0。

憶阻器的憶導或憶阻隨其電流改變的特性與人腦突觸極為相似，用憶阻器模擬神經(jīng)元突觸更符合生物學特性。本文通過多次仿真實驗，得到如下突觸矩陣：

(3)

式中，W24和W42為神經(jīng)元2和神經(jīng)元4之間的互連接突觸，W′44為系統(tǒng)參數(shù)，是一個常數(shù)，根據(jù)式(3)和圖1得到如下憶阻HNN數(shù)學模型：

(4)

式中，x，y，z，u，w為神經(jīng)網(wǎng)絡的狀態(tài)變量，適當?shù)膮?shù)使得該神經(jīng)網(wǎng)絡產(chǎn)生混沌現(xiàn)象。選取系統(tǒng)參數(shù)W24=3.8，W42=1.0,W′44=-1.5，憶阻器內(nèi)部參數(shù)b=0.3，產(chǎn)生的混沌波形和x-u平面的吸引子相圖如圖2所示。

圖2 四元憶阻器Hopfield神經(jīng)網(wǎng)絡的混沌特性

從圖2可以看出，振蕩波形是非周期、偽隨機的，神經(jīng)網(wǎng)絡產(chǎn)生了雙渦卷混沌吸引子。

2 四元憶阻器Hopfield神經(jīng)網(wǎng)絡的平衡點和穩(wěn)定性分析

(5)

(6)

當憶阻器內(nèi)部參數(shù)b=0.3時，平衡點P0，P1和P2的特征值和穩(wěn)定性如表1所示，其中i表示復數(shù)的虛部單位。

表1 b=0.3時平衡點及其特征值和穩(wěn)定性

(7)

3 關(guān)鍵參數(shù)對四元憶阻Hopfield神經(jīng)網(wǎng)絡動力學特性的影響

3.1 憶阻器內(nèi)部參數(shù)b對神經(jīng)網(wǎng)絡動力學的影響

當憶阻器內(nèi)部參數(shù)b在[0,3.0]區(qū)間變化時，四元憶阻Hopfield神經(jīng)網(wǎng)絡的分岔圖及Lyapunov指數(shù)譜如圖3所示，為了便于觀察，第4條和第5條Lyapunov指數(shù)譜未展示，其值恒為更小的負值。

圖3 四元憶阻Hopfield神經(jīng)網(wǎng)絡隨參數(shù)b變化的情況

從圖3可以看出，隨著憶阻內(nèi)部參數(shù)b的增大，除中間出現(xiàn)的短暫周期窗口外，該神經(jīng)網(wǎng)絡基本處于混沌狀態(tài)，最終進入穩(wěn)定狀態(tài)。

當參數(shù)b的取值分別為0.3，0.7，1.6，1.8時，四元憶阻Hopfield神經(jīng)網(wǎng)絡的相圖如圖4所示。

圖4 四元憶阻Hopfield神經(jīng)網(wǎng)絡隨參數(shù)b變化的相圖

從圖4可以看出，隨著參數(shù)b的變化，神經(jīng)網(wǎng)絡產(chǎn)生了2種不同類型的混沌吸引子，即雙渦卷和單渦卷混沌吸引子。由圖3和圖4可知，憶阻參數(shù)b的影響較大，隨著b的變化，神經(jīng)網(wǎng)絡呈現(xiàn)不同的狀態(tài)，包括周期吸引子、單渦卷混沌吸引子及雙渦卷混沌吸引子。

3.2 串擾參數(shù)對神經(jīng)網(wǎng)絡動力學的影響

文獻[17]研究表明，神經(jīng)元突觸間存在突觸串擾的現(xiàn)象。突觸的串擾行為影響神經(jīng)元之間的連接強度，憶阻參數(shù)b的變化控制著神經(jīng)元4的自連接突觸權(quán)重，突觸串擾引起其他突觸權(quán)重W24，W42及W′44的變化。本文將W24，W42及W′44定義為神經(jīng)元的串擾參數(shù)，以串擾參數(shù)W24為例進行分析。

四元憶阻Hopfield神經(jīng)網(wǎng)絡隨串擾參數(shù)W24變化的分岔圖及指數(shù)譜如圖5所示。

圖5 四元憶阻Hopfield神經(jīng)網(wǎng)絡隨參數(shù)W24變化情況

從圖5可以看出，當W24在[2.5,5.0]內(nèi)變化時，神經(jīng)網(wǎng)絡反復出現(xiàn)倍周期分岔和逆倍周期分岔狀態(tài)，最后，通過倍周期分岔切換到混沌軌道。W24的取值分別為3.65，3.75，3.80和4.60時，Hopfield神經(jīng)網(wǎng)絡產(chǎn)生了4種不同類型的混沌吸引子相圖如圖6所示。

圖6 四元憶阻Hopfield神經(jīng)網(wǎng)絡隨參數(shù)W24變化的相圖

從圖6可以看出，隨著W24的變化，神經(jīng)網(wǎng)絡呈現(xiàn)復雜的混沌狀態(tài)，包括不同類型的單渦卷混沌吸引子和雙渦卷混沌吸引子，說明串擾參數(shù)W24對四元憶阻神經(jīng)網(wǎng)絡產(chǎn)生了較大的影響。

4 仿真實驗與分析

四元憶阻Hopfield神經(jīng)網(wǎng)絡的主電路如圖7(a)所示，參數(shù)W′44=-1.5，W42=1.0，b=0.1，取RC的時間常數(shù)為1 ms，即R=10 kΩ，C=1 μF，串擾參數(shù)W24的值由可變電阻R24控制，電路中其它元件參數(shù)分別根據(jù)Rij=R/Wij計算。圖7(b)為憶阻突觸等效電路，其中各元件參數(shù)為：R54=R/W54=10.00 kΩ，Ra=R/(a×W′44)=6.67 kΩ，Rb=gR/(b×W′44)=66.67 kΩ。

圖7 四元憶阻Hopfield神經(jīng)網(wǎng)絡的Pspice電路實現(xiàn)圖

固定參數(shù)W′44=-1.5,W42=1.0，b=0.1，改變串擾參數(shù)W24的值，R24取值分別為2.78 kΩ，2.60 kΩ，2.63 kΩ和2.11 kΩ時，得到Pspice系統(tǒng)仿真電路的相圖如圖8所示。

圖8 四元憶阻Hopfield神經(jīng)網(wǎng)絡隨參數(shù)W24變化的Pspice仿真相軌圖

對比圖8與圖6可知，電路仿真結(jié)果與數(shù)值分析結(jié)果基本一致，表明本文所設(shè)計的四元憶阻Hopfield神經(jīng)網(wǎng)絡具有可實現(xiàn)性。

5 結(jié)束語

根據(jù)憶阻器阻值的可調(diào)特性，本文設(shè)計了一種四元憶阻Hopfield神經(jīng)網(wǎng)絡。數(shù)學模型分析及Pspice電路仿真實驗發(fā)現(xiàn)，神經(jīng)元的串擾行為對神經(jīng)元的活動產(chǎn)生不可忽略的影響，使神經(jīng)網(wǎng)絡產(chǎn)生一系列復雜動力學行為，表明憶阻Hopfield神經(jīng)網(wǎng)絡在模擬大腦神經(jīng)活動和記憶行為等方面具有良好的前景。另外，激活函數(shù)的選擇對Hopfield神經(jīng)網(wǎng)絡性能的影響不容忽視，選擇何種更好的激活函數(shù)以提高神經(jīng)網(wǎng)絡的性能是下一步研究重點。