劉杰，甘旭升，戴喆，魏野

（1.西京學院，西安710123；2.空軍工程大學空管領航學院，西安710051；3.解放軍93175部隊，長春130051）

改進人工魚群算法的小波神經網絡模型

劉杰1，甘旭升2，戴喆2，魏野3

（1.西京學院，西安710123；2.空軍工程大學空管領航學院，西安710051；3.解放軍93175部隊，長春130051）

針對小波神經網絡（WNN）算法方面的不足，提出一種基于改進人工魚群算法（AFSA）的多分辨率WNN建模方法。該方法引入混沌初始化策略和免疫調節(jié)機制，用以克服基本AFSA存在的缺陷，并將改進后AFSA用于訓練多分辨率WNN模型。仿真結果表明，所提出方法建模精度高，訓練時間短，能較好控制早熟和局部收斂問題，用于復雜非線性系統(tǒng)建模是有效的，也是可行的。

小波神經網絡，人工魚群算法，免疫調節(jié)，混沌系統(tǒng)

0 引言

小波神經網絡（Wavelet Neural Network，WNN）是小波分析理論研究取得突破的基礎上提出的一種前饋神經網絡［1］。在WNN學習算法中，BP算法應用最為廣泛，并衍生出諸多改進算法。BP算法實質上是一種梯度下降學習算法，其對連接權值、尺度因子和平移因子的修正是沿著誤差性能函數梯度的反方向進行的，這使其在解決較復雜系統(tǒng)的建模時，可能會出現算法不穩(wěn)定、易陷入局部極小等問題，而且其精度和收斂速度也存在較大改善空間，勢必會影響建模效果。針對這一問題，學者們提出了許多解決方案，并進行了驗證［2］。研究表明，人工魚群算法（Artificial Fish Swarm Algorithm，AFSA）在解決類似神經網絡的學習問題時，是BP算法一種很好的替代方法。AFSA主要優(yōu)點是結構簡單、收斂速度快、可兼顧并行性和全局性。但也存在早熟收斂，無法保證收斂到全局最優(yōu)點的不足，性能也尚存在改善空間，有待于深入研究和改進［3-4］。

基于此，針對AFSA不足，引入混沌初始策略和免疫調節(jié)機制，并將其應用于WNN的訓練中，以有效滿足非線性系統(tǒng)建模的實用需要，并進行了驗證。

1 多分辨率小波網絡

WNN是從小波變換基礎上發(fā)展起來的新型神經網絡，由于使用小波基取代通常的神經元非線性激勵函數，結合了小波變換良好的時頻局域化性質和傳統(tǒng)神經網絡自學習功能，因而WNN具有較強逼近和容錯能力。

對于離散小波變換，由小波函數

圖1 小波神經網絡結構

實際上，對WNN訓練就是指對參數wji，wkj，mj，nj進行最優(yōu)化估計的過程，采用不同算法優(yōu)化參數wji，wkj，mj，nj就形成不同WNN算法。

2 人工魚群算法

文獻［3］提出一種隨機優(yōu)化算法——AFSA算法。AFSA算法通過模仿魚的運動、聚集等行為構造人工魚，利用覓食、聚群及追尾行為調整自身位置，經過一段時間后，各人工魚在各極值處聚集，并通過局部尋優(yōu)搜索全局最優(yōu)值。魚的典型行為可描述為：

（1）覓食行為：指魚通過判斷食物的位置和濃度以接近食物的行為。

（2）聚群行為：指魚游動中趨于聚集起來尋覓食物、躲避危害的行為。魚聚群時所遵守的規(guī)則有3條：①分隔規(guī)則：盡量避免與臨近伙伴過于擁擠；②對準規(guī)則：盡量與臨近伙伴的平均方向一致；③內聚規(guī)則：盡量向臨近伙伴的中心移動。

（3）追尾行為：指當一條或幾條魚找到食物時，附近魚會尾隨而至，遠處魚也會向此集中的行為。

（4）隨機行為：指未找到食物前，各條魚隨機游動，從而加大了找到食物的可能性。

各人工魚根據周圍環(huán)境的感知，每次移動經過嘗試后，執(zhí)行其中一種行為。AFSA算法就是利用以上典型行為，從構造單條魚底層行為作起，通過魚群中各個體的局部尋優(yōu)，以達到獲取全局最優(yōu)值。算法運行就是人工魚個體通過覓食、聚群以及追尾行為的自適應活動過程。

3 人工魚群算法的改進策略

與其他生物群體優(yōu)化算法一樣，AFSA在解決復雜優(yōu)化問題時，也存在易陷入局部極值和優(yōu)化效率不高的不足。針對這一問題，本文根據混沌系統(tǒng)和免疫系統(tǒng)表現出特性，引入了混沌初始策略和免疫調節(jié)機制，以期有效改善AFSA的總體優(yōu)化性能。

3.1 引入混沌初始策略

混沌是非線性系統(tǒng)所表現出的一種特有現象，如初始值敏感性、偽隨機性、遍歷性、規(guī)律性。在基本AFSA中，人工魚群初始化采用隨機化辦法，盡管可以保證初始化魚群的多數個體是均勻分布的，但部分個體可能遠離最優(yōu)解。若通過混沌特性改善人工魚群的初始化質量，將會改善求解的效率和質量［5-6］。本文采用經典Logistic映射方程來實現混沌變量的演變，如式

式中，混沌變量x?（0，1），且x?{0.25，0.5，0.75}，系統(tǒng)完全處于混沌狀態(tài)，x將在（0，1）范圍內遍歷。

3.2 引入免疫調節(jié)機制

由免疫學原理可知，免疫系統(tǒng)的諸多功能和機理，對解決工程實際問題具有借鑒意義。在免疫調節(jié)中，為了維持抗體的多樣性，抗體濃度越小，被選中的概率越大；抗體濃度越大，被選中概率就越小。這種選擇機制既保留了高適應值個體，又維持了抗體多樣性，進而避免了早熟現象。免疫記憶指免疫系統(tǒng)將與抗原發(fā)生反應的抗體作為記憶細胞記憶下來，當同類抗原再次侵入時，相應地記憶細胞被激活而產生大量的抗體，縮短免疫反應時間?；谝陨戏治觯瑢⑷斯~群中人工魚視為免疫系統(tǒng)的抗體，把免疫系統(tǒng)的這些特性引入基本AFSA中。基本思想：當人工魚群執(zhí)行覓食、聚群、追尾行為中，若連續(xù)迭代若干次，目標函數值無明顯變化，可按一定概率在魚群中隨機抽取一定量的人工魚個體，并從特征屬性信息或先驗知識中有針對性地提取疫苗，并通過“免疫選擇”和“接種疫苗”對這些人工魚（抗體）的參數進行修改，形成新的人工魚群參與運算，以期達到改善全局優(yōu)化性能和避免陷于局部收斂的目的［7-8］。

4 改進人工魚群算法訓練多分辨率WNN過程

采用改進AFSA訓練多分辨率WNN，需將網絡參數編碼為人工魚，即人工魚每一維度對應WNN中一個參數wji，wkj，mj或nj（i=1，…，I；j=1，…，J；k=1，…，K）。適應值函數選取為

式中，T為樣本總數，y^為網絡預測值。WNN參數搜索空間維數為D=I·J+J·K+2·J。

用改進人工魚群算法訓練具有三層多分辨率WNN，可按以下步驟進行：

（1）設置WNN和改進AFSA的有關參數。給定的輸入/輸出訓練樣本集，設計WNN的隱層節(jié)點個數；混沌初始化魚群個數Nc、魚群規(guī)模N、最大迭代次數Maxiter、目標精度ε、Visual、Step、Try-number和δ。初始迭代次數Num=0。

（2）魚群初始化：在可行解空間內對WNN參數wji，wkj，mj和nj進行人工魚編碼，并按式（3）的混沌策略產生Nc條人工魚，并從中選出N（N＜Nc）條較優(yōu)個體作為初始魚群。

（3）根據式（4）計算魚群各個體當前位置的適應值，并取適應值最小的人工魚賦給公告板。

（4）魚群中各個體分別模擬聚群行為和追尾行為，選擇適應值較大行為作為實際執(zhí)行方式，默認為覓食行為；此外，每次行動后，檢查自身適應值是否優(yōu)于公告板紀錄，若優(yōu)于紀錄，則更新公告板，并選取魚群最優(yōu)的Xl（l=1，2，…，p）作為免疫記憶人工魚，存入記憶庫。

（5）若滿足Maxiter或ε，訓練結束，并轉向步驟7；否則，Num=Num+1，轉向步驟6。

（6）以基于免疫的新一代人工魚群的產生機制為指導，提取疫苗λ，新生成N+M條新人工魚，采用下式計算人工魚個體的選擇概率，選取概率較大的N條人工魚構建新魚群；按比例執(zhí)行疫苗接種和免疫選擇操作，返回步驟4。

（7）將公告板上的最優(yōu)人工魚解碼為WNN的參數wji，wkj，mj和nj，得到WNN模型。

4 算例分析

4.1 分段函數逼近

設非線性分段函數為：

在［-10，10］范圍內取481個樣本點。實驗參數設置：混沌初始化魚群個數Nc=100，魚群規(guī)模N=40，最大迭代次數Maxiter=200，Try-number=20，Visual=2.95，Step=0.15，δ=0.618，根據經驗參考公式，隱含層節(jié)點個數取30。實驗結果如表1、圖2和圖3所示，其中，“---”代表逼近曲線，“—”代表參考曲線。MSE代表均方誤差。

表1 各模型逼近性能對比

從實驗結果可以看出，AFSA-WNN和IAFSA-WNN的總體性能都比BP-WNN有了顯著提高，這說明基于人工魚群的全局優(yōu)化技術，確實能夠有效減少由系統(tǒng)的非線性特性引起的系統(tǒng)誤差，改善WNN的逼近性能。而相比之下，IAFSA-WNN逼近誤差更小，收斂速度也與IAFSA-WNN大體相當，這說明引入混沌初始策略和免疫調節(jié)機制，可有效提升AFSA的搜索精度和全局優(yōu)化能力，并在一定程度上避免了早熟和局部收斂問題。

圖2 IAFSA-WNN的逼近效果

圖3 IAFSA-WNN訓練收斂曲線

4.2 UCI標準數據集預測

為了驗證算法有效性，采用UCI機器學習數據庫中的2個標準數據集進行了測試。數據集及實驗相關信息如下頁表2所示。參數設置同4.1。

表2 數據集及實驗相關信息

從表3中的平均測試結果可得出相同結論，IAFSA-WNN比其他兩種算法具有更好的訓練和預測性能，能以更少時間完成WNN訓練，這是BP-WNN和AFSA-WNN算法所無法辦到的，也進一步證明了IAFSA-WNN的有效性和可行性，值得深入研究和推廣使用。

表3 訓練和測試性能比較

5 結束語

針對基本AFSA存在早熟和局部收斂的不足，引入混沌初始策略和免疫調節(jié)機制，對AFSA進行了改進，并將其用于WNN訓練。分段函數逼近和UCI標準數據集預測的測試結果表明，WNN的IAFSA實現簡便，不易陷人局部極小，能以較少的時間收斂于比較理想的精度，并具有良好的預測性能，較之BP-WNN和IAFSA-WNN具有一定優(yōu)勢，也為其他類似優(yōu)化問題的研究提供了新思路。

［1］Zhang Q H，Benveniste A.Wavelet Network［J］.IEEE Transactions on Neural Networks，1992，3（6）：889-898.

［2］Zhang Q H.Using Wavelet Network in Nonparametric Estimation［J］.IEEE Transactions on Neural Networks，1997，8（2）：227-236.

［3］李曉磊，邵之江，錢積新.一種基于動物自治體的尋優(yōu)模式：魚群算法［J］.系統(tǒng)工程理論與實踐，2002，22（11）：32-38.

［4］李曉磊，錢積新.基于分解協(xié)調的人工魚群優(yōu)化算法研究［J］.電路與系統(tǒng)學報，2003，8（1）：1-6.

［5］曲良東，何登旭.一種混沌人工魚群優(yōu)化算法［J］.計算機工程與應用，1998，36（22）：40-42.

［6］王闖.人工魚群算法的分析及改進［D］.大連：大連海事大學，2008.

［7］劉雙印.免疫人工魚群神經網絡的經濟預測模型［J］.計算機工程與應用，2008，45（20）：226-229.

［8］莫宏偉.人工免疫系統(tǒng)原理與應用［M］.哈爾濱：哈爾濱工業(yè)大學出版社，2002.

Wavelet Neural Network Model Based on Modified Fish Swarm Algorithm

LIU Jie1，GAN Xu-sheng2，DAI Zhe2，WEI Ye3
（1.Xijing College，Xi’an 710123，China；2.Air Traffic Control and Navigation College，Air Force Engineering University，Xi’an 710051，China；3.Unit 93175 of PLA，Changchun 130051，China）

For the shortcoming on the algorithm of Wavelet Neural Network（WNN），a WNN modeling method based on modified Artificial Fish Swarm Algorithm（AFSA）is proposed.In the method，the chaotic initialization strategy and immune regulation mechanism are first introduced to overcome the inefficiency of simple AFSA，and then the modified AFSA is used to train the WNN model.The simulation result show that，the proposed method has a good ability with features of modeling accuracy，training time，controlling precocity and local convergence，and it is also effective and feasible for the modeling of nonlinear complex system.

wavelet neural network，artificial fish swarm algorithm，immune regulation，chaotic system

TP311

A

1002-0640（2015）12-0115-04

2014-12-15

2015-02-09

劉杰（1973-），男，陜西西安人，碩士。研究方向：計算機學科的數據庫、編程等。