彭景斌　葉進(jìn)寶　王雪嬌

摘 要：為了分析研究暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)特性及其優(yōu)化機(jī)制，在分析與研究暫態(tài)混沌神經(jīng)元模型基礎(chǔ)上,通過在Matlab軟件中編程仿真分析，比較神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性及各參數(shù)對(duì)于網(wǎng)絡(luò)的尋優(yōu)過程影響。暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型利用混沌所固有的隨機(jī)性和軌道遍歷性，在大范圍內(nèi)按其自身規(guī)律進(jìn)行搜索,搜索過程按混沌軌道遍歷,不受目標(biāo)函數(shù)限制,從而具有克服陷入局部極小的能力可有效地解決一系列組合優(yōu)化問題。這里根據(jù)網(wǎng)絡(luò)動(dòng)力學(xué)特性合理選擇控制網(wǎng)絡(luò)參數(shù)，通過仿真很好地解決了非線性函數(shù)優(yōu)化問題和10個(gè)城市的TSP問題。相對(duì)于傳統(tǒng)參數(shù)選擇依靠經(jīng)驗(yàn)使優(yōu)化結(jié)果更具說服力， 優(yōu)化結(jié)果令人滿意。從而有利于這種混沌神經(jīng)網(wǎng)絡(luò)在優(yōu)化問題中的推廣。

關(guān)鍵詞：暫態(tài)混沌神經(jīng)網(wǎng)絡(luò);優(yōu)化問題;非線性函數(shù)優(yōu)化;TSP

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004－373X(2009)04－076－04

Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research

PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3

(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;

3.University of South China,Hengyang,421001,China)

Abstract：For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non－linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.

Keywords：transient chaotic neural network;optimization;non－liear function optimization;TSP

0 引 言

生物神經(jīng)網(wǎng)絡(luò)是一個(gè)非常復(fù)雜的非線性巨系統(tǒng),存在各種復(fù)雜的動(dòng)力學(xué)行為,在生物學(xué)實(shí)驗(yàn)中人們已觀察到人腦和動(dòng)物神經(jīng)系統(tǒng)中的各種混沌行為。由于人工神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬,因而深入研究人工神經(jīng)網(wǎng)絡(luò)中的復(fù)雜動(dòng)力學(xué)(特別是混沌)對(duì)于提高人工神經(jīng)網(wǎng)絡(luò)的智能化程度具有重要意義。人工神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用領(lǐng)域是用于優(yōu)化。神經(jīng)網(wǎng)絡(luò)的尋求穩(wěn)定平衡點(diǎn)的大規(guī)模并行計(jì)算能力對(duì)于優(yōu)化問題是強(qiáng)有力的工具,但由于其利用梯度下降的動(dòng)力學(xué),因此在求解許多實(shí)際優(yōu)化問題時(shí)常陷入局部極小值。由于混沌具有遍歷性、隨機(jī)性、規(guī)律性的特點(diǎn),混沌運(yùn)動(dòng)能在一定范圍內(nèi)按其自身的規(guī)律不重復(fù)地遍歷所有狀態(tài),因此,利用混沌變量進(jìn)行優(yōu)化搜索,無疑會(huì)比隨機(jī)搜索更為優(yōu)越?；煦鐒?dòng)力學(xué)為人們研究神經(jīng)網(wǎng)絡(luò)提供了新的契機(jī),用神經(jīng)網(wǎng)絡(luò)研究或產(chǎn)生混沌以及構(gòu)造混沌神經(jīng)網(wǎng)絡(luò),混沌神經(jīng)網(wǎng)絡(luò)具有更加豐富和遠(yuǎn)離平衡點(diǎn)的動(dòng)力學(xué)特性?；煦鐒?dòng)力學(xué)是以對(duì)初始條件的敏感性以及在相空間的不停運(yùn)動(dòng)為特征的,這一特點(diǎn)使得混沌成為很好地在狀態(tài)空間進(jìn)行搜索的機(jī)制,當(dāng)將其用于優(yōu)化時(shí),它具有逃離局部極值的能力。正是基于這個(gè)機(jī)制,這里研究了暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型和其優(yōu)化問題中的應(yīng)用,它具有暫態(tài)的混沌動(dòng)力學(xué)行為,可以對(duì)狀態(tài)空間做暫時(shí)的搜索。

1 暫態(tài)混沌神經(jīng)元

混沌神經(jīng)元是標(biāo)定混沌神經(jīng)網(wǎng)絡(luò)的基本單位,對(duì)于單個(gè)神經(jīng)元的混沌特性的了解可為混沌神經(jīng)網(wǎng)絡(luò)提供必要前提和認(rèn)識(shí)基礎(chǔ)。在混沌神經(jīng)元的研究中,振蕩子是一種典型的研究對(duì)象,因?yàn)檎袷幾踊蛩鼈兊慕M合可表現(xiàn)出豐富的混沌動(dòng)力學(xué)行為，為了理解混沌神經(jīng)網(wǎng)絡(luò)的運(yùn)行機(jī)理,在此以單個(gè)神經(jīng)元為例檢驗(yàn)該網(wǎng)絡(luò)的混沌動(dòng)力學(xué)行為。首先給出暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型:

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(k)〗-

gi(t)И

當(dāng)Е聯(lián)=0時(shí)單個(gè)神經(jīng)元的網(wǎng)絡(luò)模型：

Иu(t+1)=ku(t)－g(t)(1)

v(t)=11+exp{－μu(t)}(2)

gi(t)=(1－β)gi(t+1)(3)

η(t+1)=η(t)ln{e+λ}(4)И

在Matlab中仿真混沌神經(jīng)元模型進(jìn)行模擬仿真，對(duì)式（1）~式（4）隨機(jī)取參數(shù)Е=0.7,β=0.001,λ=0.006,μ=300Щ煦縞窬元內(nèi)部狀態(tài)的演變?nèi)鐖D1所示。

圖1 混沌神經(jīng)元狀態(tài)演化圖

對(duì)于這里的單個(gè)混沌神經(jīng)元的動(dòng)力學(xué)特性和控制參數(shù)的演化過程進(jìn)行仿真與研究。

圖2、圖3是在式（1）~式（4）取參數(shù)k=0.9,β=0.001,λ=0.006，g(0)=0.08時(shí)單個(gè)神經(jīng)元的動(dòng)力學(xué)特征和控制參數(shù)的退化曲線，可以看出式（1）~式（4）組成的網(wǎng)絡(luò)具有暫態(tài)混沌動(dòng)力學(xué)的行為，隨著控制參數(shù)在時(shí)間上的不斷衰減，通過一個(gè)倍周期倒分叉過程，網(wǎng)絡(luò)將逐漸趨于穩(wěn)定的平衡點(diǎn)。

圖2 單個(gè)神經(jīng)元的動(dòng)力學(xué)特征

圖3 控制參數(shù)的退化曲線

圖4、圖5中k=0.9,β=0.003,λ=0.006，g(0)=0.08，由于圖4，圖5相對(duì)于圖2和圖3只是β增大，但可以知道β增大有利于加速收斂，但優(yōu)化質(zhì)量會(huì)有所下降，從網(wǎng)絡(luò)的動(dòng)態(tài)方程可知，β增大使能量函數(shù)對(duì)動(dòng)態(tài)方程的影響增大，如影響過大，將不能產(chǎn)生充分地混沌動(dòng)態(tài)；反之太小的β使能量函數(shù)的變化不能充分的影響動(dòng)態(tài)的演變，從而搜索過程難以收斂到對(duì)應(yīng)最小能量值的最優(yōu)解，同時(shí)過分的混沌搜索將導(dǎo)致優(yōu)化過程變長(zhǎng)。

圖4 單個(gè)神經(jīng)元的動(dòng)力學(xué)特征

圖5 控制參數(shù)的退化曲線

圖6、圖7中k=0.9,β=0.001,λ=0.008，g(0)=0.08，由圖6，圖7相對(duì)于圖2和圖3只是λ增大，然而可以知道λ增大有利于加速收斂，但優(yōu)化質(zhì)量會(huì)下降，λ的大小反應(yīng)控制參數(shù)Z（t）的下降速率的快慢，過大的λ會(huì)使Щ煦綞態(tài)消失的過快，從而容易收斂到局部最小或非法狀態(tài)；反之混沌動(dòng)態(tài)持續(xù)太久，將嚴(yán)重影響收斂速度。

圖6 單個(gè)神經(jīng)元的動(dòng)力學(xué)特征

圖7 控制參數(shù)的退化曲線

圖8、圖9中k=0.9,β=0.001,λ=0.008，g(0)=0.10，由圖8和圖9相對(duì)于圖2和圖3只是Z(0)增大，但可以知道Z(0)減小有利于加速收斂，但算法收斂到次優(yōu)解的概率將增加，加快Z的下降速度，一旦混沌行為不充分則必然影響優(yōu)化性能；反之Z(0)過大將使得下降過程過慢，從而混沌對(duì)系統(tǒng)演化過程的影響過大，收斂必然緩慢。

圖8 單個(gè)神經(jīng)元的動(dòng)力學(xué)特征

圖9 控制參數(shù)的退化曲線

2 暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)

上述部分對(duì)單個(gè)無反饋神經(jīng)元的動(dòng)力學(xué)特性和控制參數(shù)進(jìn)行了仿真與研究，下面系統(tǒng)地對(duì)混沌神經(jīng)網(wǎng)絡(luò)進(jìn)行研究。顯然暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)有反饋項(xiàng)，而且還是許多單個(gè)的神經(jīng)元構(gòu)成，其構(gòu)成是將混沌機(jī)制引入到Hopfield神經(jīng)網(wǎng)絡(luò)中，構(gòu)造出具有自組織特性和克服局部極小能力的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)，其數(shù)學(xué)模型如下：

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(K)〗-

gi(t)(5)

vi(t)=11+exp{－μui(t)}(6)

gi(t)=(1－β)gi(t+1)(7)

ηi(t)=ηi(t－1)ln{e+λ}(8)И

其中：式（5）為混沌神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程；式（6）為神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)。ui和vj為神經(jīng)網(wǎng)絡(luò)在K時(shí)刻的輸入和輸出；wij為從第j個(gè)神經(jīng)元到第i個(gè)神經(jīng)元的連接權(quán)值；k為比例常數(shù)；θ為神經(jīng)元偏置；S1(K)，S2(K)為外加的混沌變量；β和λ為時(shí)變量gi(t)和ηi(t)У乃ゼ躋蜃印Hopfield神經(jīng)網(wǎng)絡(luò)離散型模型為：

Иui(K+1)=(1－Δtτ)ui(K)+Δtβ′［∑njwijvj(K)+θ］

=kui(K)+β［∑njwijvj(K)+θ］(9)И

比較混沌神經(jīng)網(wǎng)絡(luò)和Hopfield神經(jīng)網(wǎng)絡(luò)模型只是在Hopfield神經(jīng)網(wǎng)絡(luò)后面加上В璯i(t)項(xiàng)，變量gi(t)表示每個(gè)神經(jīng)元的抑制自反饋鏈接的強(qiáng)度，當(dāng)t→0,gi(t)→0,Щ煦縞窬網(wǎng)絡(luò)退化為神經(jīng)網(wǎng)絡(luò)暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型綜合了隨機(jī)性和確定性算法的優(yōu)點(diǎn)。優(yōu)化過程分為基于混沌的“粗搜索”和基于Hopfield神經(jīng)網(wǎng)絡(luò)“細(xì)（梯度）搜索”兩個(gè)階段。粗搜索中的混沌搜索同時(shí)具有隨機(jī)性和軌道遍歷性，具有克服陷入局部極小的能力。隨機(jī)性保證大范圍搜索能力，軌道遍歷性使算法能按系統(tǒng)自身的行為不重復(fù)地遍歷所有可能狀態(tài)，有利于克服一般隨機(jī)算法中以分布遍歷性的機(jī)制搜索帶來的局限性。粗搜索過程結(jié)束，轉(zhuǎn)入HHN梯度搜索及細(xì)搜索階段，隨著粗搜索結(jié)束，系統(tǒng)方程中控制參數(shù)決定項(xiàng)的作用很弱，及暫態(tài)混沌動(dòng)力行為消失后，網(wǎng)絡(luò)優(yōu)化過程基本按能量函數(shù)的梯度下降方向進(jìn)行。此時(shí)的行為類似于Hopfield神經(jīng)網(wǎng)絡(luò)尋優(yōu)過程。系統(tǒng)最終收斂于一個(gè)穩(wěn)定的平衡點(diǎn)，即收斂到全局意義下較滿意的解。

算法流程圖如圖10所示。

3 暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型在優(yōu)化問題中的應(yīng)用

3.1 在函數(shù)優(yōu)化中的應(yīng)用

求解下述非線性優(yōu)化問題:

ИF(x)=(x1-0.8)2+

(x2-0.6)2И

目標(biāo)函數(shù)的全局最小點(diǎn)為：（0.8，0.6）；局部極小點(diǎn)為有3個(gè)：（0.7，0.5），（0.7，0.6），（0.8，0.5）。以min F(x)為網(wǎng)絡(luò)的能量函數(shù)進(jìn)行優(yōu)化求解并給定相應(yīng)的網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)初始值。

計(jì)算結(jié)果見表1。

表1 計(jì)算結(jié)果

全局最優(yōu)解對(duì)應(yīng)最優(yōu)解迭代次數(shù)

理論解0.000.8，0.6-

混沌解1.478E－0070.799，0.59990

在此給出網(wǎng)絡(luò)的神經(jīng)元的輸出X(t)隨時(shí)間的演化過程（隨時(shí)間變化）：如圖11所示。

圖10 優(yōu)化流程圖

圖11 神經(jīng)元1的輸出X1(t)和神經(jīng)元2的輸出X2（t）

兩個(gè)神經(jīng)元的輸出函數(shù)的初始狀態(tài)是不可預(yù)測(cè)的混沌運(yùn)動(dòng)，隨著非線性反饋強(qiáng)度的逐漸減弱，經(jīng)過短暫的分叉過程后，最終收斂到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)（0.8，0.6）處。因此該網(wǎng)絡(luò)具有避免陷入局部極小值的能力，從而實(shí)現(xiàn)全局優(yōu)化。

3.2 應(yīng)用于TSP問題（10個(gè)城市TSP問題）

TSP問題是一類典型的組合優(yōu)化難題,它要求旅行商用最短的路徑走遍地圖上的n個(gè)城市而且只能訪問一次,最后回到起始點(diǎn)。TSP問題分為對(duì)稱TSP(dij=dji)和非對(duì)稱TSP(dij≠dji)。其中：dij表示城市i與城市j之間的距離；對(duì)稱TSP的可能路徑有(n-1)!/2條,非對(duì)稱的有(n-1)!條。顯然,用窮舉法來尋找最短路徑將花費(fèi)大量的時(shí)間,而且若城市數(shù)量大，則該方法幾乎是無法解決TSP問題的。1985年,Hopfield與Tank構(gòu)造了TSP問題滿足所有限制條件的一個(gè)能量公式：

ИE=w12 i=1(∑njxij－1)2+∑nj=1(∑nixij－1)2〗

+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj－1)xijdikИ

同時(shí),結(jié)合HNN算法成功地解決了TSP問題。但是對(duì)于10個(gè)城市的TSP問題,20次實(shí)驗(yàn)中,只得到16次合法解,10次最優(yōu)解通過分析得到解決TSP問題的差分方程：

yij(t+1)=kyij(t)+α{－w1 i≠jxij(t)+

∑nk≠ixkj(t)〗－w2 k≠idik(xkj+1(t)+xkj－1)〗+

w1}-zi(t), i=1,2,…，n

對(duì)于10個(gè)城市的TSP問題,原始數(shù)據(jù)取自文,參數(shù)選取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;變動(dòng)β,λ,隨機(jī)選取初始值仿真120次得到表2的仿真結(jié)果。

表2 仿真結(jié)果

Е力婁霜ё鈑漚猹な目次優(yōu)解な目平均迭代ご問

0.020.060.011173320

0.020.040.011200289

0.020.040.024254

0.030.020.012241

從表2中取出1組數(shù)據(jù)Е=0.03，β=0.02，λ=0.01，神經(jīng)元輸出能量函數(shù)演化圖以及最優(yōu)路徑如圖12所示。

圖12 10個(gè)城市TSP最短路徑仿真圖

對(duì)圖12分析可以得到：模型中存在很多參數(shù)需要選取。輸入正比例系數(shù)Е劣跋斕代步數(shù)的多少與模型混沌動(dòng)態(tài)性能,過小的α值使迭代步數(shù)增加,過大的α值則減弱模型混沌動(dòng)態(tài)性能,故應(yīng)該仔細(xì)選取該參數(shù);β控制增益函數(shù)的衰減速率,這個(gè)參數(shù)將顯著影響尋優(yōu)過程的收斂速度,較小的β值將會(huì)加快收斂速度;較大的λ值會(huì)加快收斂速度但會(huì)使混沌動(dòng)態(tài)消失過快,從而影響尋優(yōu)結(jié)果,較小的λ值會(huì)使混沌動(dòng)態(tài)作用時(shí)間加長(zhǎng)而使收斂速度變慢。

4 結(jié) 語

暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)利用混沌所固有的隨機(jī)性和軌道遍歷性在大范圍內(nèi)按其自身規(guī)律進(jìn)行搜索,搜索過程按混沌軌道遍歷,不受目標(biāo)函數(shù)限制,從而具有克服陷入局部極小的能力。當(dāng)混沌搜索結(jié)束以后,網(wǎng)絡(luò)進(jìn)入類似Hopfield網(wǎng)絡(luò)的梯度搜索過程,由于混沌搜索為梯度搜索提供了一個(gè)好的位于全局最優(yōu)解附近的初始值,因而可以較快地獲得全局意義下的最優(yōu)解。通過實(shí)例仿真分析，比較暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)在優(yōu)化方面顯示出了其優(yōu)化方面的優(yōu)勢(shì)和較好的發(fā)展前景。

參 考 文 獻(xiàn)

［1］Aihara K,Takabe T,Toyada M.Chaotic Neural Networks［J］.Phys.Letters A,1990,144(6/7):333－340.

［2］Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map［J］.Physica D,1994,75(1－3):179－189.

［3］張學(xué)義,胡仕誠,謝榮生,等.一種混沌神經(jīng)網(wǎng)絡(luò)及其在優(yōu)化計(jì)算中的應(yīng)用［J］.系統(tǒng)工程與電子技術(shù),2000,22(7)：69－71.

［4］王凌,鄭大鐘.一種基于退火策略的混沌神經(jīng)網(wǎng)絡(luò)優(yōu)化算法［J］.控制理論與應(yīng)用,2000,17(1):139－142.

［5］竇春霞,張淑清.基于混沌神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的最優(yōu)控制決策及應(yīng)用［J］.動(dòng)力工程,2004,24(1):68－72.

［6］Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks ［J］.IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974－993.

［7］竇春霞.基于混沌一神經(jīng)網(wǎng)絡(luò)模型最優(yōu)控制及應(yīng)用［J］.系統(tǒng)工程學(xué)報(bào),2004,19(3):229－233.

［8］李薪宇,呂炳朝.暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)中的模擬退火策略優(yōu)化［J］.計(jì)算機(jī)應(yīng)用,2005(10):198－200.

［9］周婷,賈振紅,劉秀玲.一種用于函數(shù)優(yōu)化的小波混沌神經(jīng)網(wǎng)絡(luò)［J］.計(jì)算機(jī)應(yīng)用,2007,27(12):2 910－2 912.

［10］高海昌,馮博琴,朱利.智能優(yōu)化算法求解TSP問題［J］控制與決策,2006(3):241－247.

［11］江亞東,蔣國強(qiáng).基于混沌搜索的神經(jīng)網(wǎng)絡(luò)及在優(yōu)化問題中的應(yīng)用［J］.指揮技術(shù)學(xué)院學(xué)報(bào),2001(2):68－70.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。