楊云磊,張?zhí)鞓?侯木舟,羅建書

(1.中南大學 數(shù)學與統(tǒng)計學院，湖南 長沙 410083；2.國防科技大學 理學院，湖南 長沙 410073)

一直以來，科研人員對微分方程數(shù)值解法的研究興趣經(jīng)久不衰.物理學、生物學、化學、經(jīng)濟學、人口、資源等領域中的很多問題會通過建立微分方程模型來描述，進而通過數(shù)值解進一步分析.關于微分方程兩點邊值問題數(shù)值解法的研究主要有打靶法和差分法等[1].打靶法通過變量代換，將二階方程降為一階方程組，利用方程組的數(shù)值解法來求解；差分法是微分方程數(shù)值解中常用的方法，對兩點邊值問題同樣適用，通過離散并利用差商代替導數(shù)，從而將微分方程轉化為差分方程求解.關于差分法的研究成果，如離散方法、利用何種差商代替導數(shù)、差分方程求解技術等均構成不同的求解兩點邊值問題的差分方法.

隨著人工智能及計算機技術的發(fā)展，越來越多的研究人員對神經(jīng)網(wǎng)絡方法產(chǎn)生了濃厚的興趣.基于神經(jīng)網(wǎng)絡模型的諸多優(yōu)點，利用神經(jīng)網(wǎng)絡的函數(shù)逼近能力，人們研究出了很多采用構造神經(jīng)網(wǎng)絡模型求解微分方程的方法，如：多層感知器神經(jīng)網(wǎng)絡[2-7]、徑向基函數(shù)神經(jīng)網(wǎng)絡[8-9]、多尺度徑向基函數(shù)神經(jīng)網(wǎng)絡[10-14]、細胞神經(jīng)網(wǎng)絡[15-16]、有限元神經(jīng)網(wǎng)絡[17]及小波神經(jīng)網(wǎng)絡[7]等.關于微分方程問題的神經(jīng)網(wǎng)絡模型構造的研究主要有采用硬極限函數(shù)[18]、Legendre多項式[19]、三角基函數(shù)[20]等不同的激活函數(shù)、多層感知器[2]、混合技術[21]等構造試驗解；關于模型算法的研究主要有基于局部自適應的RPROP算法[22]、DE進化算法[2]、約束積分法[23]、遺傳算法[24]等.

本文主要介紹求解一類線性微分方程兩點邊值問題的神經(jīng)網(wǎng)絡方法，并進行數(shù)值實驗分析網(wǎng)絡拓撲結構及樣本量對計算結果的影響.

1 一類線性微分方程兩點邊值問題的神經(jīng)網(wǎng)絡方法

微分方程兩點邊值問題的一般形式[1]為：

(1)

在區(qū)間a≤x≤b上的數(shù)值解法問題.如果函數(shù)f是y和y′的線性函數(shù)，此時稱問題(1)為線性微分方程兩點邊值問題：

(2)

定理1[25]對任意連續(xù)函數(shù)y:[0,1]→R，存在函數(shù)ψ:[0,1]→R，基函數(shù)φi:[0,1]→[0,1](i=0,1,…,n)及常數(shù)0<ωi<1,0

(3)

且yA(x)是y(x)的近似解.

定理2[25]對任意連續(xù)函數(shù)y:[0,1]→R，有界函數(shù)ψ:[0,1]→R，及任意給定的ε>0，存在自然數(shù)N及實數(shù)ωi,vi,bi(i=1,2,…,n)，使得

(4)

即

|y(x)-yA(x)|<ε.

(5)

定理3假定y(x)是問題(2)的解析解，由定理1及定理2可知，存在yA(x)是y(x)的近似解.

證明：由定理1及定理2，很容易構造y(x)的近似解yA(x).

假定yA(x)是y(x)的近似解，且存在函數(shù)ψ:[0,1]→R，基函數(shù)φi:[0,1]→[0,1](i=0,1,…,n)及常數(shù)0<ωi<1,0

(6)

且

(7)

(8)

求出式(6)在區(qū)間端點處的值yA(a),yA(b):

(9)

假定yA(x)是問題(2)的解，則

(10)

將式(6-9)代入(10)，可得:

(11)

選擇確定的激活函數(shù)φi及函數(shù)ψ，構造兩點邊值問題(2)的拓撲網(wǎng)絡，這時方程(11)是權值參數(shù)ωi,vi,bi(i=1,2,…,n)的方程組，通過優(yōu)化算法求出參數(shù)，就得到y(tǒng)(x)的近似解yA(x)，即問題(2)的近似解.

選擇合適的激活函數(shù)φi及函數(shù)ψ，可以將方程組(11)表示成矩陣形式：

Hβ=T

(12)

這里，矩陣H及T與權值參數(shù)ωi,vi,bi(i=1,2,…,n)無關，β只與ωi,vi,bi(i=1,2,…,n)有關.

由矩陣分析理論可知，當矩陣H為方陣，且是可逆矩陣時，式(12)存在唯一解β=H-1T，由得出的權值向量β，代入式(3)可得yA(x)，此時yA(x)使得式(10)完全成立，是原問題(2)的準確解；

事實上，很多情況下，矩陣H不是方陣且不可逆，這時可以通過計算[26]

(13)

定義1n×m階矩陣H?是m×n階矩陣H的廣義逆矩陣，若滿足

HH?H=H,H?HH?=H?,(HH?)T=HH?,(H?H)T=H?H,

由定義1可知，存在H?是H的廣義逆矩陣，使得

(14)

使得式(13)成立.

算法步驟：

1)選擇合適的激活函數(shù)φi及函數(shù)ψ，建立兩點邊值問題(2)的神經(jīng)網(wǎng)絡模型，構造近似解yA(x).

2)將yA(x)代入問題(2)得到方程(11).

3)將方程(11)表示成矩陣形式(12).

4)計算H?.

2 數(shù)值實驗

為了方便進行數(shù)值實驗，這里近似解的構造采用Xu等[20]提出的方法，即

(15)

使用IELM算法計算權值參數(shù)an(n=0,1,…,N)，bn(n=1,2,…,N).

例1求解線性邊值問題

在區(qū)間0

由公式(15)構造該問題的近似解及神經(jīng)網(wǎng)絡模型，網(wǎng)絡拓撲結構為1×(2N+1)×1，假定樣本量為m，采用IELM算法計算權值參數(shù).圖1與圖2表示網(wǎng)絡拓撲結構及樣本量對計算結果的影響，圖3表示不同情況下計算10次，每次計算所需時間比較，表1及表2表示網(wǎng)絡拓撲結構及樣本量對計算精度及計算速度的影響.

圖1 N取不同值時數(shù)值解與解析解

圖2 樣本量m取不同值時數(shù)值解與精確解

圖3 不同情況下每次計算時間比較

NN=5N=10max(abs(yA-y))0.358 80.013 1t/s0.023 3980.015 812

注：t/s為統(tǒng)計計算10次的平均時間.

表2 N=10時,樣本量m與算法性能之間的關系

注：t/s為統(tǒng)計計算10次的平均時間.

由表1實驗數(shù)據(jù)可知，神經(jīng)網(wǎng)絡結構(即隱層神經(jīng)元數(shù)量)對計算精度影響較大，對計算速度影響較?。寒敇颖玖抗潭〞r，N=10時誤差最大值比N=5時降低了一位精度，平均計算時間少了0.007 586；由表2實驗數(shù)據(jù)可知，樣本量對計算精度及計算速度的影響均較大，當神經(jīng)網(wǎng)絡結構固定時，增加樣本量，可以提高計算精度誤差最大值減小，平均計算時間也快速增加.

例2求解線性邊值問題

由公式(15)構造該問題的近似解及神經(jīng)網(wǎng)絡模型，網(wǎng)絡拓撲結構為1×(2N+1)×1，假定樣本量為m，采用IELM算法計算權值參數(shù).計算結果如下:圖4與圖5表示網(wǎng)絡拓撲結構及樣本量對計算結果的影響，圖6表示不同情況下計算10次，每次計算所需時間比較，表3及表4表示網(wǎng)絡拓撲結構及樣本量對計算精度及計算速度的影響.

圖4 N取不同值時數(shù)值解與解析解

圖5 樣本量m取不同值時數(shù)值解與精確解

圖6 不同情況下每次計算時間比較

NN=5N=10max(abs(yA-y))0.031 30.013 2t/s0.025 1860.019 834

注：t/s為統(tǒng)計計算10次的平均時間.

表4 N=10時,樣本量m與算法性能之間的關系

注：t/s為統(tǒng)計計算10次的平均時間.

由表3實驗數(shù)據(jù)可知，神經(jīng)網(wǎng)絡結構(即隱層神經(jīng)元數(shù)量)對計算精度影響較大，對計算速度影響較小：當樣本量固定時，N=10時誤差最大值比N=5時降低0.018 1，平均計算時間少0.005 352.由表4實驗數(shù)據(jù)可知，樣本量對計算精度及計算速度的影響均較大，當神經(jīng)網(wǎng)絡結構固定時，增加樣本量，可以提高計算精度誤差最大值減小，平均計算時間也快速增加.

3 結論

通過介紹求解一類線性微分方程兩點邊值問題的神經(jīng)網(wǎng)絡方法，建立該問題的神經(jīng)網(wǎng)絡模型.當近似解滿足微分方程及邊值條件時,根據(jù)矩陣分析理論，可以采用基于廣義逆矩陣的IELM算法求解近似解中的權值，為一類線性微分方程兩點邊值問題的數(shù)值解提供一種新的方法.數(shù)值實驗結果表明，采用IELM算法求解神經(jīng)網(wǎng)絡模型中的權值參數(shù)，計算精度及速度只與網(wǎng)絡拓撲結構中隱層神經(jīng)元數(shù)量及樣本量有關，且只需少量的隱層神經(jīng)元，通過增加樣本量即可得到相應的計算精度.本文的實驗結果可以為該方法在應用時隱層神經(jīng)元及樣本量的選擇提供參考，未來可以研究該算法的推廣能力，如隱層神經(jīng)元及樣本量的最優(yōu)取值區(qū)間等.

參考文獻：

[1] 韓旭里.數(shù)值分析#:#Numerical Analysis[M].北京：高等教育出版社,2011.

[2] LAGARIS I E,LIKAS A C.Artificial neural networks for solving ordinary and partial differential equations[J].IEEE Trans Neural Netw,1998,9(5):987-1000.

[3] LI J Y,LUO S W,QI Y J,et al.Numerical solution of differential equations by radial basis function neural networks[J].Proc Int Jt Conf Neural Netw,2002,1:773-777.

[4] NAM M D,THANH T C.Numerical solution of differential equations using multiquadric radial basis function networks[J].Neural Netw,2001,14:185-199.

[5] CHUA L O,YANG L.Cellular neural networks:theory[J].IEEE Trans Circuits Syst,1988,35:1257-1272.

[6] RAMUHALLI P,UDPA L,UDPA S S.Finite element neural networks for solving differential equations[J].IEEE Trans Neural Netw,2005,16(6):1381-1392.

[7] LI X,OUYANG J,LI Q,et al.Integration wavelet neural network for steady convection dominated diffusion problem[J].IEEE Computer Society,2010,2(2):109-112.

[8] MOODY J,DARKEN C J.Fast learning in networks of locally tuned processing units[J].Neural Comput,2002,35(10):1257-1272.

[9] ESPOSITO A,MARINARO M,ORICCHIO D,et al.Approximation of continuous and discontinuous mappings by a growing neural RBF-based algorithm[J].Neural Netw,2000,13:651-665.

[10] PARK J,SANDBERG I W.Approximation and radial basis function networks[J].Neural Comput,1993,5(2):305-316.

[11] HAYKIN S.Neural networks:a comprehensive foundation[M].N.J.:Prentic Hall,1999.

[12] FRANKE R.Scattered data interpolation:tests of some methods[J].Math Comput,1982,38(157):181-200.

[13] NAM M D,THANH T C.Approximation of function and its derivatives using radial basis function networks[J].Neural Netw,2001,14:185-199.

[14] NAM M D,THANH T C.Numerical solution of differential equations using multiquadric radial basis function networks[J].Neural Netw,2001,14:185-199.

[15] MANGANARO G,ARENA P,FORTUNA P.Cellular neural networks:chaos,complexity and VLSI processing[M].Berlin:Springer,1999.

[16] CHEDHOU J C,KYAMAKYA K,LATIF M A,et al.Solving stiff ordinary and partial differential equations using analog computing based on cellular neural networks[J].ISAST Trans Comput Intell Syst,2009,1(2):38-46.

[17] TAKEUCHI J,KOSUGI Y.Neural network representation of the finite element method[J].Neural Netw,1994,7(2):389-395.

[18] MEADE JR A J,FERNANDEZ A A.The numerical solution of linear ordinary differential equations by feedforward neural networks[J].Math Comput Model,1994,19:l-25.

[19] MALL S,CHAKRAVERTY S.Application of legendre neural network for solving ordinary differential equations[J].Applied Computing,2016,43:347-356.

[20] XU L Y,HUI W,ZENG Z Z.The Algorithm of Neural Networks on the Initial Value Problems in Ordinary Differential Equations[C].2007 2nd Conference on Industrial Electronics and Applications,2007:813-816.

[21] TSOULOS I G,GAVRILIS D,GLAVAS E.Solving differential equations with constructed neural networks[J].Neurocomputing,2009,72:2385-2391.

[22] REIDMILLER M,BRAUN H.A direct adaptive method for faster back propagation learning:the RPROP algorithm[J].IEEE International Conference on Neural Networks,1993,1(A8):586-591.

[23] RUDD K,FERRARI S.A constrained integration (CINT) approach to solving partial differential equations using artificial neural networks[J].Neurocomputing,2015,155(C):277-285.

[24] AARTS L P,VEER P V.Neural network method for partial differential equations[J].Neural Process Lett,2001,14:261-271.

[25] BEIDOKHTI R S,MALEK A.Solving initial-boundary value problems for systems of partial differential equations using neural networks and optimization techniques[J].Franklin Inst,2009,346:898-913.

[26] HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006,70(1/2/3):489-501.