陳 軍 李春光

1)(定西師范高等?？茖W校物理與電子工程學系，定西 743000)

2)(浙江大學信息與電子工程學系，杭州 310027)

禁忌學習神經元模型的電路設計及其動力學研究*

陳 軍1)2)李春光

1)(定西師范高等?？茖W校物理與電子工程學系，定西 743000)

2)(浙江大學信息與電子工程學系，杭州 310027)

(2010年4月30日收到;2010年5月26日收到修改稿)

對禁忌學習混沌神經元模型進行了詳細的電路設計，包括單神經元、具有線性相似函數的雙神經元以及具有二次相似函數的雙神經元模型，并運用EWB(Electronic Workbench)電路仿真軟件對所設計的電路進行了仿真，研究了電路中的Hopf分叉和混沌等非線性動力學現象，通過與數值仿真結果的比對驗證了所設計電路的正確性與合理性.

禁忌學習，神經元，電路設計，動力學

PACS:05.45.-a

1.引 言

作為大腦基本組成單元的神經元可以產生復雜的動力學行為，如分叉和混沌等.在生物和人工神經網絡的模型中，對非線性動力學的研究都十分重要.一方面，很多動力學現象，包括混沌，被認為在腦信息處理和認知功能等方面起著重要的作用［1］，可以為腦功能的理解提供神經動力學方面的解釋;另一方面人工神經網絡中的混沌現象也可在工程中得到廣泛應用，如在優(yōu)化計算、保密通信、密碼學等方面.

近年來，神經網絡中的分叉和混沌得到了廣泛研究.例如，文獻［2］研究了四個神經元的混沌神經網絡;文獻［3］在具有三個神經元的細胞神經網絡中發(fā)現了混沌行為;文獻［4］發(fā)現了在三個神經元的遲滯 Hopfield型神經網絡中的混沌現象;文獻［5］對三維一般神經網絡模型的混沌現象進行了考察;文獻［6—8］，對各種時滯神經網絡的分岔和混沌行為進行了研究.基于神經網絡學習算法的混沌現象的研究也有報道［9］.此外，在神經元模型以及混沌神經網絡的電路實現方面也有不少研究［10—12］.

禁忌學習神經網絡［13］是一種采用禁忌搜索算法［14，15］的思想進行全局優(yōu)化的神經網絡模型.它通過不斷增加當前網絡狀態(tài)鄰近的能量值去懲罰那些已經被搜索過了的狀態(tài)，使得軌跡越過局部最小值而趨向于那些尚未被訪問區(qū)域，實現解空間的有效搜索.不像大多數基于神經網絡的優(yōu)化方法，禁忌學習方法的目標不是促使網絡收斂到最優(yōu)狀態(tài)或接近最優(yōu)解，而是使網絡在解空間中進行廣泛搜索.一個自然的問題是禁忌學習神經網絡的搜索軌跡會具有什么特點呢?文獻［16］從非線性動力學的觀點對禁忌學習神經網絡的狀態(tài)軌跡進行了研究，發(fā)現了其中的 Hopf分叉和混沌等動力學行為.

本文研究禁忌學習神經元的電路設計問題，分別對單神經元、具有線性相似函數的雙神經元、以及具有二次相似函數的雙神經元模型詳細進行了電路設計研究，同時運用 EWB(Electronic Workbench)軟件［17］對所設計的神經元電路進行了仿真，并對電路中的Hopf分叉和混沌等非線性動力學現象進行了研究.

2.禁忌學習神經網絡模型

在許多優(yōu)化問題中利用Hopfield神經網絡模型

通過最小化以下能量函數來求得問題的解

式中Vi=f(ui)，f(·)是激活函數，ui是第i個神經元的狀態(tài)，Ci和Ri為正常數，Tij是第j個神經元到第 i個神經元的連接權，Ii表示對第 i個神經元的輸入電流.

在禁忌學習中，能量E0在其當前狀態(tài)的鄰域內不斷增大.在t時刻，能量函數為

這里，懲罰項Ft(V)為

式中α和β是正常數，P(V，W)是向量V和W相似程度的度量，即相似函數，當V=W時，P(V，W)最大.因此，搜索的結果若與那些已訪問過的狀態(tài)越接近，則懲罰項的值越大，這就使得搜索朝著未被訪問過的狀態(tài)進行.懲罰項中的指數項是為了防止積分增加到無窮大，并且對于已訪問過的狀態(tài)，再次搜索間隔的時間越短(t和s差值越小)，懲罰項的值也越大，這就使得網絡具有快速脫離局部極小點的能力.

在解決優(yōu)化問題時，記憶力衰退率 α和學習速率β必須小心地選擇.如果α太大，則已訪問過的狀態(tài)很可能被重新訪問;但如果它太小，網絡可能需要很長一段時間才能越過局部最小值.此外，β選擇必須以獲得尋找最低E0狀態(tài)和最小化的Ft(V)之間的平衡狀態(tài)為準.一個可能的相似函數P(V，W)定義為［13］

其中Vi和Wi分別是向量V和W的分量，對V而言，它是線性的，故稱為線性相似函數.P1(V，W)的缺點是它對那些不靠近W的向量懲罰太大.一個更好的相似函數可選為［13］

這是一個二次相似函數，對V而言是二次的.它產生二次懲罰項Ft(V).

如果選擇線性相似函數，則神經網絡的狀態(tài)方程［13］為

其中

所以，Ji滿足如下學習方程

如果選擇二次相似函數，則神經網絡的狀態(tài)方程為

n為神經元數目，當i=j時，Sii(t)=0，故Sij(t)，i≠j及Ji(t)滿足如下學習方程:

3.禁忌學習神經元模型的電路設計與仿真

我們參考了文獻［18—35］等，在本節(jié)中分別設計了單神經元、具有線性相似函數的雙神經元和二次相似函數的雙神經元模型禁忌學習電路，并運用EWB軟件對其進行電路仿真，下邊分別加以介紹.

3.1.雙曲正切函數電路設計與仿真

在電路設計中，我們采用一個實現雙曲正切函數功能的更加實用的電路［10］，如圖1示.為了方便，我們稱之為tanh(·)模塊單元電路.

對圖1分析得出電路的狀態(tài)方程為

圖1 tanh(·)模塊單元電路圖

其中Vin和Vout分別為tanh(·)模塊單元電路的輸入電壓和輸出電壓，U1和U2為LM741型電子集成運算放大器，它與線性電阻、電容搭配完成電路的加、減運算，R1=R5=R6=R7=R8=10 kΩ，R2=520 Ω， R3=R4=1 kΩ，R10=R11=2 kΩ，R9=5 kΩ，Rw為1—10 kΩ范圍內可變的電阻器，T1，T2，T3，T4為TN2219A型雙極型晶體三極管，其中，T3，T4，R9，R10，R11、RW組成的比例恒流源電流約為1.1 mA，E為電源，其電壓均為12 V，則(12)式的電路狀態(tài)方程變?yōu)?/p>

即實現函數f(x)=tanh(x)的功能.

此電路的設計我們用配對的雙極型三極管及電阻器件作為恒流源負載，實驗中 RW值可方便地改動，使整個實驗的可控制性得到改善，操作便利，同時降低實驗成本.我們采用 EWB軟件對電路進行仿真實驗，其結果如圖2所示.

圖2 tanh(·)仿真圖

3.2.單神經元禁忌學習模型的電路設計與仿真

對單神經元模型的禁忌學習神經網絡而言，在(6)，(7)式中取C=1，R=1、外部輸入量I=0，則有

這里，a，α和β都是正常數.當取a=1.6，β=0.5、函數f(x)=tanh(x)時，系統(tǒng)(14)轉化為

在EWB軟件環(huán)境下，為了將系統(tǒng)(15)轉化成電子電路，我們通過線性電阻、線性電容、電子集成運算放大器LM741和tanh(·)模塊單元電路等器件來設計實現.其中運算放大器與線性電阻、電容搭配完成電路的加、減、微分及反相運算，tanh(·)模塊單元電路實現雙曲正切函數的功能，從而產生雙曲正切曲線，電源電壓均為12 V.根據系統(tǒng)(15)和電路基本原理以及各個元件的特性，轉換成相應電路元件，其電路如圖3所示.電路中全部元器件均選用EWB(Multisim10)中理想的虛擬電子元件.根據理想運算放大器的基本特性，由圖3推導出系統(tǒng)(15)的電路數學模型如下:

令u1=x，u2=y，則系統(tǒng)(15)和(16)是等價的.

圖3 系統(tǒng)(15)的電路原理圖

在圖3的電路中，我們方便地改變可變電阻的值.當Rp2=7.692 kΩ，Rw=14.286 kΩ，即對應于系統(tǒng)(15)中α=0.7時，我們采用EWB仿真軟件，對設計電路進行仿真實驗，其結果如圖4所示，可見平衡點(0，0)是穩(wěn)定點.當α減小，經過臨界值 α0= 0.6時，平衡點失去了穩(wěn)定性，發(fā)生了Hopf分叉.改變電路中 Rp2和 Rw的阻值，使其分別為 5.051和500 kΩ，其對應于改變系統(tǒng)(15)的α=0.02時，結果如圖5示，可見周期軌道是穩(wěn)定的.同樣，Rp2和Rw的阻值分別為6.667和20 kΩ，即α=0.5時，相位圖和波形圖如圖6所示.通過比較圖5和6，可知α=0.5比 α=0.02的周期長.這些結果都與文獻［16］中的理論相符合.

圖4 α=0.7時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

圖5 α=0.02時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

圖6 α=0.5時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

3.3.線性相似函數的雙神經元模型的電路設計

對線性相似函數的雙神經元模型而言，令(6)和(7)式中參數C1=C2=1，R1=R2=10，I1=I2=0，α=0.1，β為可變參量，令矩陣的權T為

激活函數 Vi=f(ui)=tanh(5ui)，則得如下四個方程:

同理，根據系統(tǒng)(17)和電路基本理論以及各個元件的特性，轉換成電路元件，則設計出的電路如圖7，圖中tanh(·)模塊單元電路、電子集成運算放大器和電源均與前面討論的相同，其電路的數學模型為

圖7 系統(tǒng)(17)的電路原理圖

電路中電容值和電阻值分別取C=1 μF，RC=1 MΩ，R=10 kΩ，R1=R3=R10=R13=100 kΩ，R6=R11=5 kΩ，R2=R4=R5=R7=R8=R9=1 kΩ，R12=20 kΩ，Rp1=Rp3=Rp5=Rp8=5.283 kΩ，Rp4= Rp6=5 kΩ，Rp2=Rp7為 3—12 kΩ范圍內可變的電阻器，Rw1=Rw2為 1—120 kΩ范圍內可變的電阻器.當改變 Rp2，Rp7，Rw1和 Rw2的阻值，使 Rp2=Rp7=5.263 kΩ，Rw1=Rw2=100 kΩ，即對應于系統(tǒng)(17)中β=0.1時，經EWB仿真實驗，結果如圖8所示，分別為 u1—uj1，u2—uj1相圖和 u1的波形圖.當 Rp2=Rp7=6.667 kΩ，Rw1=Rw2=20 kΩ，即 β= 0.5時的實驗結果如圖9所示，這種情況下是有周期解的，但其解與β=0.1時的不同.當 Rp2=Rp7= 10 kΩ，Rw1=Rw2=10 kΩ即對應于 β=1時，神經網絡的軌道出現了混沌，如圖 10所示 u1—uj1，u2—uj1，u1—u2和 t—u1的二維混沌吸引的相平面圖和波形圖.

圖8 β=0.1時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b) u2—uj1相圖，(c)t—u1波形圖

圖9 β=0.5時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b) u2—uj1相圖，(c)t—u1波形圖

3.4.二次相似函數的雙神經元模型的電路設計與仿真

對二次相似函數的雙神經元模型，令模型(8)，(9)和(10)式中 C1=C2=1，R1=R2=10，I1=I2= 0，α=0.1，β=100，激活函數 Vi=f(ui)= tanh(10ui)，矩陣的權T為

可得系統(tǒng)的狀態(tài)方程為

同理，系統(tǒng)模型(19)電路原理圖如圖11所示.圖中tanh(·)，LM741和電源與上述討論的相同.這里，為使系統(tǒng)(19)電路圖簡潔和實驗方便，將Integration模塊單元電路單獨形成為一個子電路，如圖12所示.模擬乘法器選為AD633JN，電路中其他參數取值為:R1=R2=R6=R7=R9=R11=R15=R16=R17=R22=R24=R25=1 kΩ，R3=Rp1=R10=Rp3= R18=100 kΩ，R4=R5=R8=Rp2=R12=R13=R19= R20=R23=Rp5=R26=R27=10 kΩ，R14=30 kΩ，R21=50 kΩ，R=Rp=10 kΩ，Rm=Rn=100 kΩ，Rc= 10 kΩ，C=1 μF.

運行EWB得到u1—uJ1，u1—u2，t—u1的相平面圖和波形圖，如圖13所示，此時神經網絡狀態(tài)產生了混沌現象.

圖10 β=1時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b)u2—uj1相圖，(c)u1—u2相圖，(d)t—u1波形圖

圖11 系統(tǒng)(19)的電路原理

4.結 論

本文對禁忌學習神經元模型進行了電路設計，推導出切實可行的電路參數.在此基礎上利用EWB電路仿真軟件進行了仿真實驗研究.研究結果與文獻［16］中數值仿真結果的一致性驗證了所設計電路的正確性.嚴格來說，使用EWB進行的仿真仍然是一種數值仿真，但由于它使用的仿真模型直接來自于實際硬件電路模型，仿真結果與示波器從實際硬件電路得到的結果是十分相近的.這些工作為繼續(xù)研究非線性動力學系統(tǒng)電路設計及其應用打下了良好的基礎.

圖12 Integration模塊單元電路

圖13 系統(tǒng)(19)的仿真實驗 (a)相圖u1—uJ1，(b)u1—u2相圖，(c)t—u1波形圖

［1］Skarda C A，Freeman W J 1987 Behav.Brain Sci.10 161

［2］Das II P K，Schieve W C，Zeng Z J 1991 Phys.Lett.A 161 60

［3］Zou F，Nossek J A 1993 IEEE Trans.Circ.Sys.I 40 166

［4］Li C G，Yu J B，Liao X F 2001 Phys.Lett.A 285 368

［5］Das A，Das P，Roy A B 2002 Int.J.Bifurcat.Chaos 12 2271

［6］Li C G，Chen G R，Liao X F，Yu J B 2004 Eur.Phys.J.B 41 337

［7］Olien L，Belair J 1997 Phys.D 102 349

［8］Lu H T 2002 Phys.Lett.A 298 109

［9］Li C G，Liao X F，Yu J B 2003 Neurocomputing 55 731

［10］Duan S K，Liao X F 2007 Phys.Lett.A 369 37

［11］Kohno T，Aihara K 2005 IEEE Trans.on Neural Networks 16 754

［12］Takemoto T，Kohno T，Aihara K 2007 Int.J.Bifurcat.Chaos 17 459

［13］Beyer D A，Ogier R G 1991 Tabu Learning:A Neural Network Search Method forSolving NonconvexOptimization Problems (Singapore:Proc.of the IJCNN)p953

［14］Glover F 1989 ORSA J.Comput.1 190

［15］Glover F 1990 ORSA J.Comput.2 4

［16］Li C G，Chen G R，Liao X F，Yu J B 2005 Int.J.Bifurcat. Chaos 15 2633

［17］Wang G H 2008 Circuit Designing and Its Application of Multisim 10(Beijing:National Defense Industry Publishing House)p122 (in Chinese)［王冠華 2008 Multisim10電路設計及應用(北京:國防工業(yè)出版社)第122頁］

［18］Conti M，Turchetti C 1994 IEEE Trans.Circuits Systems I 41 841

［19］Carrasco-Robles M，Serrano L 2009 Int.J.Cir.Theor.Appl. 37 613

［20］Liu L，Su Y C，Liu C X 2007 Acta Phys.Sin.56 1966(in Chinese)［劉 凌、蘇燕辰、劉崇新2007物理學報56 1966］

［21］Liu C X 2007 Acta Phys.Sin.56 6865(in Chinese)［劉崇新2007物理學報56 6865］

［22］Hu G S 2009 Acta Phys.Sin.58 3734(in Chinese)［胡國四2009物理學報56 3734］

［23］Jia H Y，Chen Z Q，Yuan Z Z 2009 Acta Phys.Sin.58 4469 (in Chinese)［賈紅艷、陳增強、袁著祉 2009物理學報 58 4469］

［24］Tang L R，Li J，Fan B，Zhai M Y 2009 Acta Phys.Sin.58 785 (in Chinese)［唐良瑞、李 靜、樊 冰、翟明岳 2009物理學報58 785］

［25］Zhang R X，Yang S P 2009 Acta Phys.Sin.58 2957(in Chinese)［張若洵、楊世平2009物理學報58 2957］

［26］Cang S J，Chen Z Q，Wu W J 2009 Chin.Phys.B 18 1792

［27］Zhou P，Cao Y X，Cheng X F 2009 Chin.Phys.B 18 1394

［28］Wang H X，Cai G L，Miao S，Tian L X 2010 Chin.Phys.B 19 030509

［29］Liu L，Su Y C，Liu C X 2006 Acta Phys.Sin.55 3933(in Chinese)［劉 凌、蘇燕辰、劉崇新2006物理學報55 3933］

［30］Luo X H，Zhou W，Li R，Liang Y L，Lou M W 2009 Chin. Phys.B 18 2168

［31］Ma W Q，Yang C H 2005 Acta Phys.Sin.54 1064(in Chinese)［馬文麒、楊承輝2005物理學報54 1064］

［32］Cai G L，Tan Z M，Zhou W H，Tu W T 2007 Acta Phys.Sin. 56 6230(in Chinese)［蔡國梁、譚振梅、周維懷、涂文桃2007物理學報56 6230］

［33］Chen Z Y，Zhang X F，Bi Q S 2010 Acta Phys.Sin.59 2326 (in Chinese)［陳章耀、張曉芳、畢勤勝 2010物理學報 59 2326］

［34］Chen J F，Tian X J，Shan J D 2010 Acta Phys.Sin.59 2281(in Chinese)［陳菊芳、田小建、單江東2010物理學報59 2281］

［35］Zhang R X，Yang S P 2010 Chin.Phys.B 19 020510

PACS:05.45.-a

Circuit design of tabu learning neuron models and their dynamic behavior*

Chen Jun1)2)Li Chun-Guang
1)(Department of Physics and Electronic Engineering，Dingxi Teachers'College，Dingxi 743000，China)
2)(Department of Information Science and Electronic Engineering，Zhejiang University，Hangzhou 310027，China)

30 April 2010;revised manuscript

26 May 2010)

The circuit design and implementation of neuron models have attracted much attention in recent years due to its importance in both theoretical studies and applications.In this paper，we designed electronic circuits for the recently proposed tabu learning chaotic neuron model，including the circuit design of single tabu learning neuron，a two-neuron system with linear proximity function，as well as a two-neuron system with quadratic proximity function.We used the electronic workbench(EWB)software to perform simulations of the designed circuits.We also studied the nonlinear behavior，especially the Hopf bifurcation and chaos，of the designed circuits.The consistency between the nonlinear behavior in the designed circuits and that in the numerical simulations demonstrates the correctness of the circuits design.

tabu learning，neuron，circuit design，dynamics

*國家自然科學基金(批準號:60871094)和全國優(yōu)秀博士學位論文作者專項資金(批準號:2007B42)資助的課題.

*Project supported by the National Natural Science Foundation of China(Grant No.60871094)and the Foundation for the Author of National Excellent Doctoral Dissertation of China(Grant No.2007B42).