趙 毅， 張國山

(天津大學 電氣與自動化工程學院，天津 300072)

0 引 言

非線性微分方程一直以來都是備受關注的研究對象，近代物理和科學工程計算中的一些關鍵問題歸根結(jié)底均依賴于某些特定的非線性微分方程的求解。因此，對非線性微分方程解法的研究具有重要的理論和應用價值。

文獻[1]介紹了利用神經(jīng)網(wǎng)絡算法求解微分方程的方法，將近似解的形式用神經(jīng)網(wǎng)絡模型代替，通過調(diào)整權值函數(shù)對神經(jīng)網(wǎng)絡的權值進行優(yōu)化，使得計算的誤差函數(shù)最小化，從而獲得方程滿足特定條件的近似解。文獻[2]討論了徑向基函數(shù)網(wǎng)絡(radial basis function networks,RBFN)求微分方程數(shù)值解的計算過程，優(yōu)點在于僅依賴于域和邊界，不需要大量的數(shù)據(jù)即可獲得方程的解。文獻[3，4]利用模糊神經(jīng)網(wǎng)絡模型可以逼近任意非線性連續(xù)函數(shù)的能力，通過優(yōu)化算法獲得模型的最優(yōu)可調(diào)參數(shù)，獲得微分方程滿足求解精度的近似解。文獻[5]提出了一種基于遺傳算法的常微分方程求解方法，實現(xiàn)簡單，快速收斂。

此外，運用最小二乘支持向量機(least square support vector machine,LS-SVM)方法求解微分方程也得到了重視。Mehrkanoon S等人在文獻[6～8]中提出了運用LS-SVM求解線性常微分方程以及廣義系統(tǒng)的近似解的問題，并取得了比較好的效果。文獻[9]改進LS-SVM模型，得到了一類部分未知仿射非線性系統(tǒng)在有限區(qū)間上的近似解。文獻[10]在文獻[9]的LS-SVM模型中加入滾動時間窗，同時消除偏置項，提出了在線無偏LS-SVM模型求解一類部分未知仿射非線性系統(tǒng)的實時近似解，由于系統(tǒng)部分未知，需要利用方程的真實解對模型進行訓練。

本文以LS-SVM模型處理函數(shù)回歸估計問題為參考，對LS-SVM模型進行改進，利用徑向基核函數(shù)可導的特點，通過含核函數(shù)導數(shù)形式的LS-SVM模型求解非線性常微分方程組的初值問題，不僅適用于求解一階非線性常微分方程，同時可將高階微分方程轉(zhuǎn)化為一階方程進行求解。在保證精度的前提下，利用本文所提方法可以得到非線性常微分方程組封閉形式(連續(xù)可微)的近似解。

1 LS-SVM

作為機器學習的研究熱點，已在模式識別[11，12]，回歸預測[13]等領域取得成功運用。在回歸問題中，對于給定的訓練樣本集{(xi,yi)},i=1,…,N，xi∈Rm為樣本輸入，yi∈R為輸出。LS-SVM利用非線性映射函數(shù)φ(x)將樣本映射到高維特征空間，從而將原樣本空間中的非線性函數(shù)估計問題轉(zhuǎn)化為高維特征空間中線性函數(shù)估計問題[14]。回歸函數(shù)一般用y(x)=wTφ(x)+b表示。

基于結(jié)構風險最小化原則[14]，得到LS-SVM 約束優(yōu)化模型如下

s.t.yi=wTφ(xi)+b+ei

(1)

式中w∈Rh為權向量；φ(·):Rm→Rh為非線性特征映射函數(shù)；h為特征空間的維數(shù)，可以是有限維或無限維的；γ∈R+為懲罰因子，用于控制訓練誤差和模型復雜度之間的平衡，避免出現(xiàn)過擬合或欠擬合的情況，使所求得的目標函數(shù)有較好的泛化能力；偏置項b∈R,誤差ei∈R。

為了求解上述優(yōu)化問題，可引入Lagrange函數(shù)，將約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題，最終通過求解式(2)獲得參數(shù)的最優(yōu)值

(2)

式中1N=[1,1,…,1]T∈RN;α=[α1,α2,…，αN]T∈RN;y=[y1,y2,…，yN]T∈RN;Ω∈RN×N，其第ij個元素可表示為Ωij=K(xi,xj)=φT(xi)φ(xj)，K(xi,xj)為滿足Mercer定理[15]的核函數(shù)。最終，回歸函數(shù)的表達形式為

(3)

2 非線性微分方程組的求解

考慮式(4)非線性常微分方程組

(4)

式中f1,f2為已知的非線性函數(shù)；t∈[tin,tf]且式(4)滿足初始條件x(tin)=p1,y(tin)=p2。

本文的目標是求解此類非線性微分方程在已知區(qū)間上滿足一定初始條件的近似解。

當利用LS-SVM模型處理非線性微分方程求解問題時，目標值yi無法直接使用，因此，LS-SVM回歸模型無法直接應用。為解決此問題，將非線性微分方程所包含的信息加入到學習過程中并對核函數(shù)的導數(shù)進行定義。由Mercer定理可知，特征映射函數(shù)的導數(shù)可以用核函數(shù)的形式表示(假如核函數(shù)充分可微)，例如，如下關系式成立

x(t1)=p1

y(t1)=p2

(5)

(6)

根據(jù)KKT條件(karush-kuhn-Tucker conditions)[16]，對式(6)中各變量求偏導數(shù)并令其等于零，將所得結(jié)果化簡整理可得式(7)非線性方程組

(7)

1=[1,…,1]T∈RN-1；0=[0,…,0]T∈RN-1

式中I為N-1階單位陣；O為N-1階零矩陣；D(·)為將矩陣對角化。

非線性方程組(7)可通過牛頓法進行求解，最終所得微分方程組的近似解為

(8)

3 參數(shù)整定

由于高斯RBF具有良好泛化能力且適用范圍廣，因此，選取RBF作為仿真實驗的核函數(shù)，即

(9)

式中σ為核函數(shù)的帶寬。

此外，與LS-SVM回歸過程不同的是本文未設目標值，因此,求解過程不會產(chǎn)生噪聲，不必考慮噪聲對結(jié)果的影響。

4 數(shù)值仿真

為了更好地評價所用方法的性能，采用均方根誤差(mean square error, MSE)表示所求得數(shù)值解的精確度

(10)

(11)

圖1 N=100時真實解與近似解比較

圖2 N=100時真實解與近似解誤差

從圖中可以看出，非線性微分方程組近似解的變化與真實解的變化基本保持一致，兩者之間存在較小的誤差，因此，利用LS-SVM方法求解非線性微分方程組所得近似解具有較高的精度。

通過增大訓練樣本點的個數(shù)，模型的均方差不斷減小，因此，適當?shù)卦龃笥柧殬颖荆梢蕴岣咔蠼獾木?。但超出一定范圍后，再增大訓練樣本，模型的求解精度不會再發(fā)生顯著變化，反而會增加求解的時間。

表1 不同訓練樣本下求解精度(MSE)

通過數(shù)值仿真可以看出，本文所提方法也適用于高階非線性微分方程的求解。通過引入中間變量，將高階微分方程轉(zhuǎn)化為一階微分方程，利用LS-SVM方法求解。

5 結(jié) 論

討論了非線性微分方程組的求解問題，提出了一種基于LS-SVM的具有優(yōu)化和學習能力的求解方法，在求解高階微分方程時，可將其轉(zhuǎn)化為一階方程進行求解，擴大了方法的適用范圍。本文僅針對含有2個未知函數(shù)的非線性微分方程求解進行了研究，未來可將該方法擴展到混沌系統(tǒng)或者非線性微分方程的在線求解過程中。

[1] Mall S,Chakraverty S.Numerical solution of nonlinear singular initial value problems of Emden-Fowler type using Chebyshev Neural Network method[J].Neurocomputing,2015,149:975-982.

[2] Mai-Duy N,Tran-Cong T.Numerical solution of differential equations using multiquadric radial basis function networks[J].Neural Networks,2001,14(2):185-199.

[3] Leephakpreeda T.Novel determination of differential-equation solutions:Universal approximation method[J].Journal of Computational and Applied Mathematics,2002,146(2):443-457.

[4] Yazdi H S,Pourreza R.Unsupervised adaptive neural-fuzzy infe-rence system for solving differential equations[J].Applied Soft Computing,2010,10(1):267-275.

[5] Tsoulos I G,Lagaris I E.Solving differential equations with gene-tic programming[J].Genetic Programming and Evolvable Machines,2006,7(1):33-54.

[6] Mehrkanoon S,Falck T,Suykens J A K.Approximate solutions to ordinary differential equations using least squares support vector machines[J].IEEE Transactions on Neural Networks and Lear-ning Systems,2012,23(9):1356-1367.

[7] Mehrkanoon S,Suykens J A K.LS-SVM approximate solution to linear time varying descriptor systems[J].Automatica,2012,48(10):2502-2511.

[8] Mehrkanoon S,Suykens J A K.LS-SVM based solution for delay differential equations[C]∥Proc of the International Conference on Mathematical Modelling in Physical Sciences,2012:1-4.

[9] Zhang G,Wang S,Wang Y,et al.LS-SVM Approximate solution for affine nonlinear systems with partially unknown functions[J].Journal of Industrial and Management Optimization,2014,10(2):621-636.

[10] 張國山,王巖浩.基于數(shù)據(jù)的一類部分未知仿射非線性系統(tǒng)近似解[J].自動化學報,2015,41(10):1745-1753.

[11] 陳 曦,陳冠雄,沈海斌.基于SVM的ECG傳感器信號身份識別方法[J].傳感器與微系統(tǒng),2014,33(10):40-42.

[12] 伍吉瑤,王 璐,程正南，等.基于LLE和SVM的手部動作識別方法[J].傳感器與微系統(tǒng),2016,35(8):4-7.

[13] 李文江,陳 陽.基于改進ABC與LS-SVM算法的電力負荷預測的研究[J].傳感器與微系統(tǒng),2013,32(5):57-59.

[14] Vapnik V.Principles of risk minimization for learning theory[C]∥Advances in Neural Information Processing Systems,1992:831-838.

[15] Vapnik V N.The nature of statistical learning theory[M].Berlin:Springer Science & Business Media,2013.

[16] Kincaid D R,Cheney E W.Numerical analysis:Mathematics of scientific computing[M].American Mathematical Soc,2002.