胡志強(qiáng)，李文靜，喬俊飛

（1. 北京工業(yè)大學(xué) 信息學(xué)部，北京 100124; 2. 計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124）

自從Hopfiled和Tank用提出的Hopfiled網(wǎng)絡(luò)(Hopfiled neural network, HNN)開創(chuàng)性成功解決旅行商(traveling salesman problem, TSP)問題以來，神經(jīng)網(wǎng)絡(luò)在解決優(yōu)化問題中開始得到廣泛關(guān)注和應(yīng)用[1]。由于HNN的算法依然采用傳統(tǒng)的梯度下降算法，極易陷入局部極小點(diǎn)，導(dǎo)致無法找到最優(yōu)解[2]。Chen等[3]在Hopfield網(wǎng)絡(luò)基礎(chǔ)上引入自反饋，并加入模擬退火(simulated annealing,SA)機(jī)制，提出暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transient chaot-ic neural network, TCNN)，通過混沌的遍歷性和偽隨機(jī)性克服了HNN局部極小問題?；煦缟窠?jīng)網(wǎng)絡(luò)(chaotic neural network, CNN)被證明是解決優(yōu)化問題的有效工具[3-7]。隨后，Zhang等[4]采用小波函數(shù)作為激勵(lì)函數(shù)，提出了WCNN模型，用來解決函數(shù)優(yōu)化問題；Liu等[5]在混沌神經(jīng)元模型中加入遲滯動(dòng)力，提出了HCNN模型，并應(yīng)用于TSP問題中；Zhao等[6]引入高斯自反饋項(xiàng)，提出了CNNW模型，成功應(yīng)用于組合優(yōu)化問題。以上學(xué)者提出的CNN模型，雖然都在一定程度上提高了全局尋優(yōu)能力，但是大都缺乏一定的生物學(xué)機(jī)制，無法表征神經(jīng)元激勵(lì)與響應(yīng)的頻幅關(guān)系，不能充分體現(xiàn)出復(fù)雜多變腦部活動(dòng)的非線性動(dòng)力學(xué)特征和具有更加豐富的混沌全局搜索性能。因此，Hu等[7]基于腦電波的生物機(jī)制，將變頻正弦函數(shù)(frequency conversion sinusoidal, FCS)與Sigmoid函數(shù)加權(quán)和組成非單調(diào)激勵(lì)函數(shù)，提出了變頻正弦混沌神經(jīng)網(wǎng)絡(luò)(frequency conversion sinusoidal chaotic neural network, FCSCNN) 模型，進(jìn)一步提高了TCNN的混沌動(dòng)力學(xué)特性和全局尋優(yōu)性能，更準(zhǔn)確地解決了函數(shù)優(yōu)化及TSP問題，驗(yàn)證了模型有效性和可行性。

而人們研究TCNN的優(yōu)化計(jì)算方法，歸根結(jié)底是希望能夠看到其在硬件上的實(shí)現(xiàn)，進(jìn)而觀察和研究混沌神經(jīng)元的狀態(tài)和響應(yīng)，最終制造出混沌計(jì)算機(jī)[8]。但是，由于電子元器件或電路的不穩(wěn)定性，在一定情況下，不可避免地會(huì)出現(xiàn)不同程度的擾動(dòng)，這會(huì)對(duì)FCSCNN性能產(chǎn)生影響，所以對(duì)該模型的抗擾動(dòng)能力進(jìn)行實(shí)驗(yàn)、評(píng)估、比較是很有必要的。因此，本文針對(duì)FCSCNN模型，通過引入不同程度的周期和非周期擾動(dòng)，將其應(yīng)用到函數(shù)優(yōu)化和組合優(yōu)化問題上，分析其抗擾動(dòng)能力，仿真實(shí)驗(yàn)證明了FCSCNN具有較強(qiáng)的魯棒性和抗擾動(dòng)能力。

1 帶擾動(dòng)的變頻正弦混沌神經(jīng)元模型

TCNN多采用Sigmoid函數(shù)作為激勵(lì)函數(shù)，而非單調(diào)激勵(lì)函數(shù)比單調(diào)(Sigmoid)激勵(lì)函數(shù)更容易產(chǎn)生混沌，在尋優(yōu)過程中具有更好的全局搜索性能[9-10]?；谝陨侠碚撘约澳X電波的生物機(jī)制，F(xiàn)CSCNN模型獲得了較好的優(yōu)化效果[7,11]。由于來自外界的擾動(dòng)有周期的和非周期的，因此本文分別用代表周期擾動(dòng)的三角函數(shù)和非周期擾動(dòng)的小波函數(shù)來進(jìn)行研究，在FCS神經(jīng)元模型的基礎(chǔ)上加入擾動(dòng)項(xiàng)，來分析模型的抗擾動(dòng)能力。建立如下帶擾動(dòng)的FCS混沌神經(jīng)元模型：

神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)可以直觀體現(xiàn)出神經(jīng)元的動(dòng)力學(xué)特性。Lyapunov指數(shù)大于零(非正無窮)，證明模型具有混沌行為，并且值越大表明混沌程度越強(qiáng)[5]。Lyapunov指數(shù)定義為

則對(duì)于帶擾動(dòng)的FCS混沌神經(jīng)元模型有

式(10)中第2項(xiàng)表達(dá)式同文獻(xiàn)[7]，第3項(xiàng)如下：

由文獻(xiàn)[7]可知，相同模型參數(shù)下，提出的FCS混沌神經(jīng)元比標(biāo)準(zhǔn)的暫態(tài)混沌神經(jīng)元具有更復(fù)雜和更豐富的混沌動(dòng)力學(xué)行為，具有更多的正值Lyapunov指數(shù)，并且混沌搜索的時(shí)間更長(zhǎng)，這都為混沌全局尋優(yōu)提供了良好的動(dòng)力學(xué)基礎(chǔ)。證實(shí)了提出的新的混沌神經(jīng)元模型的有效性和可行性。

進(jìn)而，為了驗(yàn)證FCS混沌神經(jīng)元模型的魯棒性和抗擾動(dòng)能力，當(dāng)設(shè)置擾動(dòng)項(xiàng)為三角函數(shù)擾動(dòng)時(shí)，當(dāng)選取參數(shù) k=1, β=0.004, ε1=0.02, I0=0.65,z(0)=0.9, A(0)= 0.6, ε2(0)=0.02, a=6, b=1, c=0.25,ε3=0.1固定不變時(shí)，分別取γ=0.002和γ=0.02時(shí)，F(xiàn)CS神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時(shí)間演化圖分別如圖1～2所示。

圖 1 帶三角函數(shù)擾動(dòng)(γ=0.002)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 1 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within trigonometric function disturbance(γ=0.002)

圖 2 帶三角函數(shù)擾動(dòng)(γ=0.02)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 2 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within trigonometric function disturbance(γ=0.02)

當(dāng)擾動(dòng)為Morlet小波函數(shù)時(shí)，選取參數(shù)k=1,β=0.004, ε1=0.02, I0=0.65, z(0)=0.9, A(0)=0.6, ε2(0)=0.02, a=6, b=1, c=0.25, ε3=2.5 固定不變時(shí)，分別取γ=0.002和γ=0.02時(shí)，F(xiàn)CS神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時(shí)間演化圖如圖3、圖4所示。

圖 3 帶Morlet小波擾動(dòng)(γ=0.002)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 3 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within Morlet function disturbance (γ=0.002)

圖 4 帶Morlet小波擾動(dòng)(γ=0.02)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 4 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within Morlet function disturbance (γ=0.02)

由圖1～4可知，在神經(jīng)元內(nèi)部加入三角函數(shù)或小波函數(shù)擾動(dòng)項(xiàng)，進(jìn)行動(dòng)力學(xué)特性對(duì)比分析。在擾動(dòng)系數(shù)γ為0.002時(shí)，兩類不同的擾動(dòng)下，神經(jīng)元的動(dòng)力學(xué)特性都只是發(fā)生微小的變動(dòng)，并沒有發(fā)生明顯的改變。在擾動(dòng)系數(shù)γ為0.02時(shí)，兩類不同的擾動(dòng)下，神經(jīng)元的動(dòng)力學(xué)特性都發(fā)生了較明顯的變化，隨著擾動(dòng)系數(shù)的增大，動(dòng)力學(xué)特性變動(dòng)更加劇烈，動(dòng)力學(xué)演變過程開始受到影響，但是整體的倒分岔特點(diǎn)和混沌程度并沒有受到本質(zhì)改變，依舊保持原有形態(tài)。證明了在一定程度擾動(dòng)項(xiàng)作用下，F(xiàn)CS混沌神經(jīng)元模型具有一定魯棒性和抗擾動(dòng)能力。

2 帶擾動(dòng)的FCS混沌神經(jīng)網(wǎng)絡(luò)模型

利用上述帶擾動(dòng)的FCS混沌神經(jīng)元模型，構(gòu)建得到了如下帶擾動(dòng)的FCSCNN模型：

式中：α為正比例參數(shù)，wij為神經(jīng)元i和神經(jīng)元j間的連接權(quán)值(wij=wji, wii=0)，Ii是第i個(gè)神經(jīng)元閾值，其他參數(shù)定義同帶擾動(dòng)的FCS神經(jīng)元模型。

FCSCNN采用傳統(tǒng)的Hopfield網(wǎng)絡(luò)的優(yōu)化機(jī)制[12]。由于自反饋的存在，網(wǎng)絡(luò)會(huì)表現(xiàn)出混沌特性。在演化初期，選擇合適的網(wǎng)絡(luò)參數(shù)，并且具有較大的自反饋連接權(quán)重初值z(mì)(0)，利用混沌的遍歷性和偽隨機(jī)性在相空間內(nèi)按照一定“分形”結(jié)構(gòu)進(jìn)行“自抑制”的不重復(fù)全局搜索，避免陷入局部極小[13]。根據(jù)式(15)，隨著退火衰減因子β的作用，z值不斷進(jìn)行減小，網(wǎng)絡(luò)隨之從混沌態(tài)經(jīng)歷倒分岔過程過渡到穩(wěn)態(tài)，直至完全退化為Hopfield網(wǎng)絡(luò)，收斂到優(yōu)化值。FCSCNN模型中動(dòng)力學(xué)特性和優(yōu)化能力敏感的依賴于網(wǎng)絡(luò)參數(shù)(k, α, z,β, ε1, ε2, I0)的選擇。k 表征記憶保留或遺忘內(nèi)部狀態(tài)的能力；α表征能量函數(shù)對(duì)混沌動(dòng)力學(xué)特性的影響，決定著網(wǎng)絡(luò)演化和混沌動(dòng)力的比例；β表征自反饋項(xiàng)的退火速度，決定著混沌特性的退化快慢。參數(shù)之間相互影響，需要選擇合理的搭配才能獲得好的優(yōu)化效果。反之，則無法得到最優(yōu)解甚至失去優(yōu)化能力。

當(dāng)加入擾動(dòng)后，從圖1～4的神經(jīng)元?jiǎng)恿W(xué)特性仿真分析可知，擾動(dòng)的影響會(huì)隨著擾動(dòng)系數(shù)增大而增加，當(dāng)擾動(dòng)過大，會(huì)改變甚至?xí)耆茐腇CS神經(jīng)元模型的混沌動(dòng)力學(xué)特性。這將影響FCS模型混沌搜索遍歷性和偽隨機(jī)性的動(dòng)力學(xué)特性，不能很好利用自身的自抑制進(jìn)行全局搜索。因此，要保持良好的尋優(yōu)能力，除了選擇合適的網(wǎng)絡(luò)參數(shù)外，還需要控制擾動(dòng)在適當(dāng)?shù)姆秶鷥?nèi)。對(duì)于在擾動(dòng)條件下能否依然較好地解決優(yōu)化問題，將在不同程度的擾動(dòng)項(xiàng)作用下，采用FCSCNN模型解決函數(shù)優(yōu)化和組合優(yōu)化問題，進(jìn)一步驗(yàn)證模型的抗擾動(dòng)能力。

3 帶擾動(dòng)的FCSCNN模型在優(yōu)化問題中的應(yīng)用

根據(jù)Hopfield的優(yōu)化機(jī)制有如下規(guī)則[14]：

在設(shè)置好模型參數(shù)后，將問題的目標(biāo)函數(shù)映射為網(wǎng)絡(luò)的能量函數(shù)，將網(wǎng)絡(luò)的動(dòng)力學(xué)演化過程視為目標(biāo)函數(shù)的尋優(yōu)過程，當(dāng)網(wǎng)路收斂到穩(wěn)定點(diǎn)時(shí)，對(duì)應(yīng)的神經(jīng)元輸出即為所要求得優(yōu)化問題的解。

3.1 在函數(shù)優(yōu)化中的應(yīng)用

優(yōu)化函數(shù)1：

函數(shù)f的最小值為0，最小值點(diǎn)為(0.7,0.5)；局部極小點(diǎn)為(0.6,0.4), (0.6,0.5)和(0.7,0.4)。在FCSCNN 模型中，選取參數(shù)如下： k=1, α=0.1, β=0.2,ε1=0.08, I0=0.56, z1(0)=z2(0)=0.1, A(0)=0.4, ε2(0)=0.08, a=6, b=1, c=0.25。隨機(jī)初始化神經(jīng)元輸出x1,x2的值，擾動(dòng)系數(shù)γ分別取0.002, 0.02和0.2。對(duì)比FCSCNN模型在不同擾動(dòng)和不同擾動(dòng)系數(shù)下的函數(shù)優(yōu)化能力，進(jìn)行10次獨(dú)立實(shí)驗(yàn)取均值，每次網(wǎng)絡(luò)演化50步，實(shí)驗(yàn)結(jié)果如表1所示。

表 1 帶擾動(dòng)FCSCNN求解函數(shù)1優(yōu)化問題結(jié)果Table 1 The optimization results of the FCSCNN with disturbances for function 1

優(yōu)化函數(shù)2：

函數(shù)f的最小值為0，最小值點(diǎn)為(1, 1)。最優(yōu)解位于一個(gè)平滑、狹長(zhǎng)的拋物線形山谷內(nèi)，函數(shù)為優(yōu)化算法提供的信息比較有限。傳統(tǒng)梯度下降法方向幾乎與最小值的最佳方向垂直，很難辨別搜索方向，查找最優(yōu)解變得十分困難。在FCSCNN 模型中，選取參數(shù)如下：k=1, α=1.0×10–5,β=0.01, ε1=8.0×10–4, I0=0.65, z1(0)=z2(0)=0.8,A(0)=0.4, ε2(0) =0.08, a=6, b=1, c=0.25。隨機(jī)初始化神經(jīng)元輸出x1、x2的值，擾動(dòng)系數(shù)γ分別取0.002、0.02和0.2。對(duì)比FCSCNN模型在不同擾動(dòng)和不同擾動(dòng)系數(shù)下的函數(shù)優(yōu)化能力，進(jìn)行10次獨(dú)立實(shí)驗(yàn)取均值，每次網(wǎng)絡(luò)演化5 000步，實(shí)驗(yàn)結(jié)果如表2所示：

表 2 帶擾動(dòng)FCSCNN求解函數(shù)2優(yōu)化問題結(jié)果Table 2 The optimization results of the FCSCNN with disturbances for function 2

由表1、2仿真實(shí)驗(yàn)可知，當(dāng)擾動(dòng)系數(shù)γ為0(無擾動(dòng))時(shí)，F(xiàn)CSCNN模型均具有很好的全局尋優(yōu)性能，找到了全局最優(yōu)解；當(dāng)擾動(dòng)系數(shù)γ為0.002時(shí)，模型依然保持了較好的全局搜索能力，能夠比較接近全局最優(yōu)解；當(dāng)擾動(dòng)系數(shù)γ為0.02時(shí)，模型的尋優(yōu)能力均出現(xiàn)明顯下降。由于擾動(dòng)系數(shù)γ的增大，擾動(dòng)項(xiàng)對(duì)模型的動(dòng)力學(xué)演化過程和混沌全局性能的影響越大。適當(dāng)(γ≤0.002)的擾動(dòng)系數(shù)下，網(wǎng)絡(luò)可以保持全局尋優(yōu)能力，當(dāng)擾動(dòng)項(xiàng)過大(γ≥0.2)，會(huì)影響甚至破壞模型的尋優(yōu)水平。為了更好地驗(yàn)證實(shí)驗(yàn)結(jié)果，選擇復(fù)雜的組合優(yōu)化問題進(jìn)一步實(shí)驗(yàn)分析。

3.2 在組合優(yōu)化中的應(yīng)用

旅行商(traveling salesman problem, TSP)問題描述如下：

假定有N個(gè)城市，給出它們的位置和相互距離，要求尋找一條閉合路徑，每個(gè)城市僅且被訪問一次，回到起始城市，要求這條路徑的距離最短。

問題對(duì)應(yīng)的目標(biāo)函數(shù)[14]為

式中：xij為神經(jīng)元的輸出，它表示城市i于第j個(gè)被訪問；W1和W2分別為與約束和關(guān)于路徑長(zhǎng)度的代價(jià)函數(shù)對(duì)應(yīng)的耦合系數(shù)；dij為城市i和城市j之間的距離。

選取10個(gè)城市歸一化后的坐標(biāo)，取值分別為：(0.400 0, 0.443 9)，(0.243 9, 0.146 3)，(0.170 7,0.229 3)，(0.229 3, 0.716 0)，(0.517 1, 0.941 4)，(0.873 2,0.653 6)，(0.687 8, 0.521 9)，(0.848 8, 0.360 9)，(0.668 3,0.253 6)，(0.619 5, 0.263 4)。該10個(gè)城市TSP問題滿足條件最短路徑長(zhǎng)度為2.677 6[14]，最優(yōu)路徑如圖5所示。

圖 5 10城市TSP問題的最短路徑Fig. 5 The optimal distance of 10 city TSP

在FCSCNN模型中，選取參數(shù)如下：k=1,α=0.05, β=0.05, ε1=0.05, I0=0.65, z(0)=0.8, A(0)=0.4,ε2(0)=0.08, a=6, b=1, c=0.25, W1=1, W2=1。隨機(jī)初始化神經(jīng)元輸出xij的值，對(duì)比FCSCNN模型在不同擾動(dòng)和不同擾動(dòng)系數(shù)下的組合優(yōu)化能力，進(jìn)行500次獨(dú)立實(shí)驗(yàn)，每次網(wǎng)絡(luò)演化1 000步，實(shí)驗(yàn)結(jié)果如表3所示：

由表3可知，帶擾動(dòng)的FCSCNN模型在解決10城市旅行商問題時(shí)：三角擾動(dòng)系數(shù)γ小于0.005的情況下，合法路徑比率均在95%以上，最優(yōu)路徑比率均在88%以上；小波擾動(dòng)系數(shù)γ小于0.01的情況下，合法比均在96%以上，最優(yōu)比均在90%以上?？烧J(rèn)為適當(dāng)?shù)臄_動(dòng)對(duì)網(wǎng)絡(luò)模型的混沌全局尋優(yōu)能力影響不大。但是隨著擾動(dòng)系數(shù)的增大，合法比和最優(yōu)比均呈下降趨勢(shì)，擾動(dòng)項(xiàng)的影響過大時(shí)，甚至失去尋優(yōu)能力。同時(shí)，當(dāng)前的擾動(dòng)參數(shù)下，F(xiàn)CSCNN模型對(duì)Morlet小波擾動(dòng)的魯棒性比三角函數(shù)擾動(dòng)要好。

表 3 帶擾動(dòng)FCSCNN求解10城市TSP問題結(jié)果Table 3 The optimization results of the FCSCNN with disturbances for 10 city TSP

選取30個(gè)城市歸一化后的坐標(biāo)，取值分別為：(0.41, 0.94)，(0.37, 0.84)，(0.54, 0.67)，(0.25,0.62)，(0.07, 0.64)，(0.02, 0.99)，(0.68, 0.58)，(0.71,0.44)，(0.54, 0.62)，(0.83, 0.69)，(0.64, 0.60)，(0.18,0.54)，(0.22, 0.60)，(0.83, 0.46)，(0.91, 0.38)，(0.25,0.38)，(0.24, 0.42)，(0.58, 0.69)，(0.71, 0.71)，(0.74,0.78)，(0.87, 0.76)，(0.18, 0.40)，(0.13, 0.40)，(0.82,0.07)，(0.62, 0.32)，(0.58, 0.35)，(0.45, 0.21)，(0.41,0.26)，(0.44, 0.35)，(0.04, 0.50)。該 30 個(gè)城市TSP問題滿足條件最短路徑長(zhǎng)度為4.237 406[6]，最優(yōu)路徑如圖6所示。

圖 6 30城市TSP歸一化坐標(biāo)的最短路徑Fig. 6 The optimal distance of 30 city TSP

在FCSCNN模型中，選取參數(shù)如下: k=1, α=0.006, β=0.001, ε1=0.04, I0=0.65, z(0)=0.8, A(0)=0.4,ε2(0) =0.08, a=6, b=1, c=0.25,W1=1,W2=1。隨機(jī)初始化神經(jīng)元輸出xij的值，對(duì)比FCSCNN模型在不同擾動(dòng)和不同擾動(dòng)系數(shù)下的組合優(yōu)化能力，進(jìn)行200次獨(dú)立實(shí)驗(yàn)，每次網(wǎng)絡(luò)演化10 000步，實(shí)驗(yàn)結(jié)果如表4所示：

表 4 帶擾動(dòng)FCSCNN求解30城市TSP問題結(jié)果Table 4 The optimization results of the FCSCNN with disturbances for 30 city TSP

由表4可知，30城市的旅行商問題具有更高的復(fù)雜度，需要更多的演化步數(shù)，這也是TCNN類模型在解決不同問題時(shí)需要不同的參數(shù)搭配的原因。三角擾動(dòng)系數(shù)γ小于0.002的情況下，合法路徑比率均在70%以上，最優(yōu)路徑比率均在25%以上；小波擾動(dòng)系數(shù)γ小于0.005的情況下，合法比均在65%以上，最優(yōu)比均在20%以上。同樣的可認(rèn)為較小的擾動(dòng)對(duì)網(wǎng)絡(luò)模型的混沌全局尋優(yōu)能力影響不大。在適當(dāng)擾動(dòng)強(qiáng)度內(nèi)，網(wǎng)絡(luò)表現(xiàn)出一定的抗擾動(dòng)能力。

4 結(jié)束語

為了驗(yàn)證的具有非線性激勵(lì)函數(shù)且比標(biāo)準(zhǔn)的暫態(tài)混沌神經(jīng)元模型具有更豐富混沌動(dòng)力學(xué)特性的新型混沌神經(jīng)網(wǎng)絡(luò)模型—FCSCNN的抗擾動(dòng)能力，在該模型內(nèi)部狀態(tài)中分別引入三角函數(shù)和小波函數(shù)擾動(dòng)項(xiàng)，分析帶擾動(dòng)的FCS混沌神經(jīng)元模型的動(dòng)力學(xué)特性。通過神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖可知，擾動(dòng)的引入會(huì)影響網(wǎng)絡(luò)模型的動(dòng)力學(xué)演化過程，進(jìn)而會(huì)對(duì)全局尋優(yōu)性能產(chǎn)生影響。通過函數(shù)優(yōu)化和組合優(yōu)化問題的仿真實(shí)驗(yàn)，證實(shí)了這種影響會(huì)隨著擾動(dòng)系數(shù)的增大而增加，但一定范圍內(nèi)，F(xiàn)CSCNN模型對(duì)三角擾動(dòng)和Morlet擾動(dòng)均具有一定魯棒性和抗擾動(dòng)能力，選取合適的模型參數(shù)，依然可以保持較好的全局搜索能力，獲得最優(yōu)解。