王宇飛 吳慶憲 姜長生

(南京航空航天大學自動化學院，南京 210016)

作為一種性能良好的逼近器［1－2］，模糊系統(tǒng)被廣泛應用于非線性系統(tǒng)的建模中［3－5］.模糊方法備受研究者關注，尤其是T－S模糊方法.傳統(tǒng)的模糊逼近對象是根據(jù)專家經(jīng)驗建立的，雖然其基本上可以反映系統(tǒng)的非線性動態(tài)特性，但模糊子系統(tǒng)參數(shù)一旦確定后將不再變更.而實際中，當模型本身的參數(shù)一旦發(fā)生調(diào)整，已建立的模糊逼近對象將無法適應此類變化，大大影響控制效果.引入優(yōu)化訓練算法可在線調(diào)整模糊逼近器，提高逼近精度，適應系統(tǒng)模型參數(shù)的變化.

Levenberg－Marquardt(L－M)算法［6］是一種著名的尋優(yōu)算法，尤其在神經(jīng)網(wǎng)絡的批處理訓練中通常被認為是最好的算法之一，其訓練精度和訓練速率都優(yōu)于BP、共軛梯度法、高斯－牛頓法等算法［7－9］.但是當L－M算法用于求解線性方程組時，要求方程組解處的Jacobi矩陣非奇異，這一條件往往過強，可以通過引入局部誤差界的定義來弱化此條件［10－12］.基于模糊系統(tǒng)的萬能逼近特性［13］，L－M 算法還可用于T－S模糊系統(tǒng)訓練［14］，使其不過分依賴于專家經(jīng)驗，有效逼近復雜非線性系統(tǒng)及函數(shù)，且可對各線性多項式的參數(shù)及模糊隸屬度函數(shù)的參數(shù)進行在線調(diào)節(jié)，大大提高了訓練時的收斂速率.

基于以上分析，本文在局部誤差界條件下，研究了一種新的L－M參數(shù)迭代算法，并將其推廣應用于T－S模糊系統(tǒng)的建模中.該算法可在線訓練各線性多項式的參數(shù)及模糊隸屬度函數(shù)的參數(shù)，有效避免Jacobi矩陣奇異并加快收斂速率.最后，將該算法應用于NSV系統(tǒng)的模糊建模訓練中.仿真結果表明，與標準L－M算法相比，該算法的收斂速率明顯加快.

1 NSV姿態(tài)系統(tǒng)建模

1.1 NSV姿態(tài)系統(tǒng)

假設NSV是一個剛體，那么其姿態(tài)系統(tǒng)可以表示為

式中，x(t)={ωT，ΩT}T∈R6;Ω ={α，β，μ}T∈R3為姿態(tài)角;α，β，μ 分別為攻角、側滑角和滾轉(zhuǎn)角;ω ={p，q，r}T∈R3為角速率;u(t)∈R3為控制力矩;g(x)∈R6×R3為輸入矩陣;Δ(x)∈R6為不確定部分;f(x)∈R6為非線性的，可表示為

可以看出，NSV姿態(tài)系統(tǒng)是高度非線性和強耦合的，并且含有不確定部分，這使控制器的設計增加了難度.采用模糊系統(tǒng)可以逼近系統(tǒng)的特性.傳統(tǒng)的模糊系統(tǒng)需要依靠專家經(jīng)驗，這在實現(xiàn)過程中是比較困難的，但利用L－M算法就可以解決這個問題.

1.2 訓練方案

基于L－M算法的T－S模糊在線逼近方案如圖1所示.采用輸入輸出的采樣數(shù)據(jù)(xk，yk)(k為迭代次數(shù)，且k=1，2，…)的信息，基于T－S模糊理論來構建模糊逼近器FTS，逼近器參數(shù)θ0可在線調(diào)節(jié).

圖1 L－M算法模糊在線逼近方案

基于T－S模糊系統(tǒng)的逼近器可表示為

式中，^y=FTS(x，θ0)為模糊逼近輸出;pi(x)=ai，0+ai，1x1+ …+ai，nxn(i=1，2，…，R;j=0，1，2，…，n)為后件函數(shù);為組成T－S模糊系統(tǒng)的第i個模糊規(guī)則的模糊權函數(shù);分別為第i個模糊規(guī)則下xj的隸屬度函數(shù)的中心和寬度.

模糊規(guī)則定義如下:

若有如下定義:

則T－S模糊系統(tǒng)可表示為

若要求隸屬度函數(shù)的中心和寬度均可在線調(diào)節(jié)，則定義參數(shù)θ∈Rp為

2 改進L-M算法及模糊系統(tǒng)訓練

2.1 標準L-M算法

在標準L－M算法中，逼近誤差可定義為

式中，ε(θ):Rp→RM(i=1，2，…，M)為連續(xù)可微函數(shù);M為逼近對象y的數(shù)據(jù)采樣點的個數(shù).在本文中，假設當?shù)螖?shù)k→∞時，ε(θ)=0解集非空，記為Θ*.

性能指標函數(shù)定義為

迭代求解參數(shù)θ的修正公式為

式中，k為迭代次數(shù);Γ(θk)=ε′(θk)為 Jacobi矩陣;Λk= λkI∈Rp×p為對角正定陣，以保證 Γ(θk)TΓ(θk)+Λk正定且可逆.

2.2 改進L-M算法

在標準L－M算法中，將λk取為常數(shù).本文考慮的是在局部誤差界下一種基于信賴域的全局收斂的LM算法，根據(jù)逼近效果可實時調(diào)節(jié)步長，以進一步改善L－M算法的收斂速率.因此，先給出局部誤差界的定義.

定義1 設 N?Rp，且滿足 N∩Θ*≠?.如果存在常數(shù) c＞0，使得‖ε(θ)‖≥cdist(θ，Θ*)，?θ∈N，則稱ε(θ)在N內(nèi)有局部誤差界.其中 dist(θ，Θ*)=min?∈Θ*‖θ－?‖，局部誤差界條件比非奇異性條件弱.

選取迭代參數(shù)λk=αk‖εk‖，指標函數(shù)由式(9)式給出，則第k步迭代的實際下降量和預測下降量分別為

實際下降量與預測下降量的比值為

下面，給出改進L－M算法的步驟如下:

① 給定 θ1∈Rp，ξ≥0，0 ＜m ＜ α1，0≤β0≤β1≤β2＜1，k:=1.

② 若‖(Γk)Tεk‖≤ξ，則終止算法;否則，取 λk=αk‖εk‖，求解得到 Δθk.

③ 計算 rk=Ak/Pk，令

④計算

⑤令k:=k+1，轉(zhuǎn)至步驟②.

2.3 基于改進L-M算法的T-S模糊系統(tǒng)訓練

訓練的目標是當?shù)鷶?shù)k→∞時y→^y.當采用改進的L－M 算法訓練T－S模糊系統(tǒng)時，逼近誤差可表示為

誤差向量ε是參數(shù)θ的函數(shù);權值增量Δθ可由2.2節(jié)中改進L－M算法得到.用于模糊系統(tǒng)訓練時，Jacobi矩陣Γ(θ)定義如下:

同理可得FTS(x(i*)，θ)對參數(shù)θ其余分量的偏導數(shù).鑒于篇幅，下面僅給出FTS(·)對，aj*，0，aj*，1的偏導表達式，即

至此，得到了Jacobi矩陣Γ(θ)中各元素的表達式，改進的L－M 算法就可以對T－S模糊系統(tǒng)進行訓練了.

3 在NSV姿態(tài)系統(tǒng)模糊建模中的應用

為驗證本文算法的有效性，并與標準L－M算法進行比較，下面對NSV姿態(tài)系統(tǒng)中非線性函數(shù)f2(x)進行模糊逼近.

3.1 參數(shù)的選擇與初始化

一般來說，p，q，r∈［－0.5，0.5］，α，β，μ∈［－0.5，0.5］，故限制各隸屬度函數(shù)的中心均在此范圍內(nèi)，而隸屬度函數(shù)的寬度限制在［0.01，1］之間.

各隸屬度函數(shù)中心的初始值在［－0.5，0.5］均勻分布，寬度的初始值分別為0.5.θ0的初始值選為0.

取 ξ=0.01，m=1 ×10－8，β0=1 ×10－4，β1=0.25，β2=0.75，α1=0.5.

3.2 仿真結果

x1是f2(x)中的關鍵變量，故而僅給出函數(shù)分量f2(x)關于變量x1的模糊逼近及逼近誤差仿真效果圖(見圖2和圖3).

圖2 1次迭代逼近f2(x)的結果

圖3 2次迭代逼近f2(x)的結果

當逼近誤差小于0.01時，L－M算法停止迭代.由圖3可知，本文算法在迭代2次后就已達到規(guī)定的誤差精度，算法收斂速率優(yōu)于標準L－M算法.

4 結語

本文提出了一種用于T－S模糊系統(tǒng)訓練的改進的全局收斂L－M 算法.采用L－M 算法訓練T－S模糊系統(tǒng)，可在線調(diào)節(jié)各線性系統(tǒng)的參數(shù)及模糊隸屬度函數(shù)的參數(shù)，使系統(tǒng)建模時不用過分依賴于專家經(jīng)驗，從而大大提高了T－S模糊系統(tǒng)逼近復雜非線性系統(tǒng)的收斂速率.將本文算法應用于訓練T－S模糊系統(tǒng)，以逼近NSV姿態(tài)系統(tǒng).仿真結果表明，與標準L－M算法相比，本文算法在保證精度的同時，收斂速率明顯加快.由此可知，本文算法可有效提高L－M算法訓練T－S模糊系統(tǒng)的收斂速率.

References)

［1］ Wang L X.Fuzzy systems are universal approximators［C］//Proceeding of the 1992 IEEE International Conference on Fuzzy Systems.San Diego，CA，USA，1992:1163－1170.

［2］ Ying H.General Takagi－Sugeno fuzzy systems are universal approximators［C］//Proceedings of the 1998 IEEE Interna－tional Conference on Fuzzy Systems.Anchorage，AK，USA，1998:819－823.

［3］ Onut S，Saglam C O.Modeling and optimization of general cargo port operations through fuzzy minimal spanning tree and fuzzy dynamic programming approaches ［J］.International Journal of Innovative Computing，Information and Control，2008，4(8):1835－1851.

［4］ Takagi T，Sugeno M.Fuzzy identification of systems and its applications to modeling and control［J］.IEEE Transactions on Systems，Man and Cybernetics，1985，15(1):116－132.

［5］ Wang Y H，Wu Q X，Jiang C S，et al.Acceleration of Levenberg－Marquardt method training of chaotic systems fuzzy modeling ［J］.World Journal of Modeling and Simulation，2007，3(4):289－298.

［6］ Marquardt D.An algorithm for least squares estimation of nonlinear parameters［J］.Journal of the Society for Industry and Applied Mathematics，1963，11(2):431－441.

［7］ Hagan M T，Menhaj M B.Training feedforward networks with the Marquardt algorithm［J］.IEEE Transactions on Neural Networks，1994，5(6):989－993.

［8］ Chen T C，Han D J.Acceleration of Levenberg－Marquardt training of neural networks with variable decay rate［C］//Proceedings of the International Joint Conference on Neural Networks.New York，USA，2003:1873－1878.

［9］ Amir A S，Mohammad B T，Abbas H.Modified Levenberg－Marquardt method for neural networks training［J］.World Academy of Science，Engineering and Technology，2005，6(6):46－48.

［10］ Yamashita N，F(xiàn)ukushima M.On the rate of the convergence of the Levenberg－Marquardt method［J］.Computing，2001，15(Sup1):239－249.

［11］ Fan J Y，Yuan Y X.On the quadratic convergence of the Levenberg－Marquardt method without nonsingularity assumption［J］.Computing，2005，74(1):23－39.

［12］ Yang L，Chen Y P.A new globally convergent Levenberg－Marquardt method for solving nonlinear system of equations［J］.Mathematic Numerica Sinica，2008，30(4):388－396.

［13］ Wang L X.Universal approximation by hierarchical fuzzy systems［J］.Fuzzy Sets and Systems，1998，93(3):223－230.

［14］ Passino K M.Biomimicry for optimization，control and automation［M］.London，UK:Springer－Verlag，2005.