喻 昕，黃曉燕

(廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，南寧 530004) (廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室，南寧530004)

1 引 言

眾所周知，優(yōu)化問題廣泛應(yīng)用于科學(xué)和工程等領(lǐng)域，如：信號(hào)處理、模式識(shí)別、機(jī)器學(xué)習(xí)及博弈論等，具有重要的研究意義.為了解決優(yōu)化問題，眾多學(xué)者提出了各種算法.但大多數(shù)算法無法實(shí)時(shí)求解，并且普通的數(shù)值計(jì)算方法難以在短時(shí)間獲取復(fù)雜優(yōu)化問題的最優(yōu)解.自1986年Tank和Hopfield[1]率先提出使用神經(jīng)網(wǎng)絡(luò)解決線性規(guī)劃問題以來，許多研究學(xué)者不斷提出各種神經(jīng)網(wǎng)絡(luò)模型以求解非線性優(yōu)化問題[2-6].如文獻(xiàn)[7]中，Qin等人基于Lyapunov函數(shù)和拓?fù)涠壤碚撎岢隽艘环N有效的神經(jīng)網(wǎng)絡(luò)模型，該神經(jīng)網(wǎng)絡(luò)模型需要較強(qiáng)的假設(shè)條件才可以滿足收斂；Bian和Xue[8]基于次梯度和罰因子的理論提出了一種遞歸神經(jīng)網(wǎng)絡(luò)模型，但該模型需預(yù)先計(jì)算懲罰因子；Qin等人[9]提出了雙層神經(jīng)網(wǎng)絡(luò)以解決非光滑凸優(yōu)化問題，而雙層模型結(jié)構(gòu)增加了模型硬件實(shí)現(xiàn)的復(fù)雜度.文獻(xiàn)[10]，文獻(xiàn)[11]及文獻(xiàn)[12]分別提出了一種無需計(jì)算罰因子的神經(jīng)網(wǎng)絡(luò)，且均能解決復(fù)雜的非線性優(yōu)化問題，Qin等人[13]在神經(jīng)網(wǎng)絡(luò)中引入了正則化思想，豐富了理論基礎(chǔ).

上述解決的目標(biāo)函數(shù)均為凸或非凸函數(shù)，由于偽凸函數(shù)相比非凸函數(shù)具有更特殊的性質(zhì)，上述神經(jīng)網(wǎng)絡(luò)模型無法直接應(yīng)用，這促進(jìn)了學(xué)者們對(duì)此問題的深入研究.Liu等人[14]構(gòu)造了一種解決等式約束和方體約束的偽凸優(yōu)化問題，其不足在于需要計(jì)算精確的罰因子；在文獻(xiàn)[15]中，Li等人基于正則化的方法，構(gòu)造了解決偽凸優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)模型，但其初始點(diǎn)的選取需在可行域內(nèi)且可行域必須有界；Gou等人[16]提出的模型只能解決含有等式約束的偽凸優(yōu)化問題，其模型的應(yīng)用范圍大大縮??；文獻(xiàn)[17]中Qin等人提出了使用微分包含的神經(jīng)網(wǎng)絡(luò)，簡化了模型，但要求目標(biāo)函數(shù)必須有下界；Li等人[18]在網(wǎng)絡(luò)模型中引入投影方法，但在某些情況下很難計(jì)算投影算子.為了更好解決偽凸優(yōu)化問題，Liu和Qin[19]在前人基礎(chǔ)上引入時(shí)變函數(shù)提出了一種新的神經(jīng)動(dòng)力學(xué)模型，Xu等人[20]也提出了新的遞歸神經(jīng)網(wǎng)絡(luò)模型，而該模型構(gòu)造復(fù)雜，不易實(shí)現(xiàn)；Yang等人[21]使用逐次凸逼近和逐次偽凸逼近方法來求解偽凸優(yōu)化問題，該方法存在無法找到精確最優(yōu)解問題；文獻(xiàn)[22]結(jié)合偽凸函數(shù)的偶合導(dǎo)數(shù)及正則化思想構(gòu)建了數(shù)學(xué)模型，并驗(yàn)證了其結(jié)果在該問題上具有充分最優(yōu)性.此外，部分學(xué)者也將神經(jīng)網(wǎng)絡(luò)運(yùn)用到實(shí)際中.如文獻(xiàn)[23]中將神經(jīng)網(wǎng)絡(luò)應(yīng)用在人臉表情識(shí)別上，文獻(xiàn)[24]結(jié)合金融數(shù)據(jù)的特點(diǎn)用神經(jīng)網(wǎng)絡(luò)模型對(duì)金融市場進(jìn)行波動(dòng)程度進(jìn)行預(yù)測.馮詩影等人[25]將循環(huán)神經(jīng)網(wǎng)絡(luò)運(yùn)用在語音識(shí)別中，并優(yōu)化了識(shí)別效率.

為了解決上述神經(jīng)網(wǎng)絡(luò)模型的不足，在現(xiàn)有理論及前人工作的基礎(chǔ)上，本文提出了一種基于時(shí)變函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)模型來解決含有等式和不等式約束條件的非光滑偽凸優(yōu)化問題.與已有的模型相比，其優(yōu)勢如下：1)結(jié)構(gòu)比文獻(xiàn)[9]簡單，僅為單層；2)與文獻(xiàn)[16]相比，本文同時(shí)能解決等式和不等式限制的偽凸優(yōu)化問題，應(yīng)用性更廣泛；3)與文獻(xiàn)[8]相比，本文無需計(jì)算罰因子；4)與文獻(xiàn)[8，15]相比，本文的初始點(diǎn)可任意選取.

本文結(jié)構(gòu)及內(nèi)容如下：第1節(jié)，介紹神經(jīng)網(wǎng)絡(luò)在優(yōu)化問題的發(fā)展以及國內(nèi)外研究現(xiàn)狀；第2節(jié)，介紹研究內(nèi)容及預(yù)備知識(shí)；第3節(jié)，構(gòu)造遞歸神經(jīng)網(wǎng)絡(luò)模型；第4節(jié)，分析及論證該網(wǎng)絡(luò)模型；第5節(jié)，通過數(shù)值實(shí)驗(yàn)驗(yàn)證模型的有效性.

2 研究內(nèi)容及預(yù)備知識(shí)

2.1 研究內(nèi)容

本文研究的非光滑偽凸優(yōu)化問題如下：

minH(x)

s.tq(x)≤0
Ax=b

(1)

其中，x=(x1,x2,…,xn)T∈Rn，A∈Rm×n是行滿秩矩陣，b=(b1,b2,…,bm)T∈Rm，目標(biāo)函數(shù)H:Rn→R是正則偽凸的但未必光滑，q=(q1,q2,…,qp)T:Rn→Rp是凸函數(shù)但未必光滑.令Q1={x:q(x)≤0},Q2={x:Ax=b},可行域?yàn)镼=Q1∩Q2={x∈Rn:q(x)≤0,Ax=b}，Q*表示優(yōu)化問題(1)的最優(yōu)解集.文中所出現(xiàn)的int(Ω)代表集合Ω的內(nèi)部集，bd(Ω)代表集合Ω的邊界.本文假設(shè)優(yōu)化問題(1)至少存在一個(gè)解.B(a,R)表示以a為圓心，R為半徑的球體.

2.2 預(yù)備知識(shí)

下面將介紹一些本文所涉及的相關(guān)基礎(chǔ)理論，包括集值映射函數(shù)、偽凸函數(shù)等.

定義1.若對(duì)F?Rn中的任意x，都存在一個(gè)對(duì)應(yīng)的非空集合G(x)，則稱G:F→Rn是一個(gè)由F到Rn的集值映射.若對(duì)G(x0)的任意開鄰域L，都存在x0的對(duì)應(yīng)鄰域U使得G(U)?L，則稱集值映射G:F→Rn在點(diǎn)x0∈F處為上半連續(xù)的.

定義2.設(shè)x∈Rn，若f在點(diǎn)x處是lipschitz連續(xù)的，則f在點(diǎn)x關(guān)于方向v∈Rn的廣義方向?qū)?shù)為：

另外，?f(x)={ξ∈Rn:f0(x,v)≥ξTv,?v∈Rn}表示f在點(diǎn)x處的Clarke廣義梯度.若f在點(diǎn)x處是局部Lipschitz連續(xù)的，記Lipschitz常數(shù)為C，則?f(x)為Rn中的非空緊凸子集，且對(duì)?ξ∈?f(x)，都有‖ξ‖≤C.

定義3.令K?Rn為一個(gè)非空凸集，對(duì)任意的x,y∈K，若?γ∈?f(x)：γT(y-x)≥0?f(y)≥f(x)則f:K→R在集合K上是偽凸函數(shù).

定義4.設(shè)K?Rn為非空閉凸集，點(diǎn)x∈K的法錐為：

NK(x)={v∈Rn:vT(x-y)≥0,?y∈K}

引理1.若函數(shù)f:Rn→R為凸函數(shù)，則對(duì)于任意選取的x,y∈R，有f(y)-f(x)≥<ξ,y-x>,?ξ∈?f(x).

引理2.若函數(shù)P:Rn→R是正則函數(shù)，x(t):R→Rn是絕對(duì)連續(xù)的，則對(duì)a.e.t∈[0,+∞)有:

引理3.設(shè)K1,K2?Rn為非空閉凸集且滿足0∈int(K1-K2)，則任意的x∈K1∩K2有:

NK1∩K2=NK1(x)+NK2(x)

引理4.設(shè)K?Rn為非空集合，若函數(shù)f在x∈K處Lipschitz連續(xù)且達(dá)到局部最小，則:

0∈?f(x)+NK(x)

3 構(gòu)建神經(jīng)網(wǎng)絡(luò)模型

為了更好解決非光滑偽凸優(yōu)化問題(1)，本文提出新的單層遞歸神經(jīng)網(wǎng)絡(luò)模型，其模型需要滿足以下的假設(shè)條件.

定義等式約束部分的罰函數(shù)為：M(x)=‖AT(AAT)-1(Ax-b)‖，M(x)表示x∈Rn到Q2的距離，且Q2={x:M(x)≤0}={x:Ax-b=0}.本文提出如下遞歸神經(jīng)網(wǎng)絡(luò)模型以解決非光滑偽凸優(yōu)化問題(1)：

(2)

其中ε(t)=ε0(1+t)-1/3，ε0≥1.ε(t)是類似Tikhonov的正則化方法，起到懲罰因子的作用，無需計(jì)算精確的懲罰因子.I表示單位矩陣，P=AT(AAT)-1A，A是行滿秩矩陣，θ:[0,+∞)→[0,1]定義為：

(3)

θ(B(x(t)))進(jìn)一步控制其解軌跡的有界性.η(t)定義為：

(4)

其中tQ2=‖AT(AAT)-1(Ax0-b)‖，表示到達(dá)等式可行域Q2的時(shí)間.x0表示初始點(diǎn)的值.本文所提出的神經(jīng)網(wǎng)絡(luò)模型(2)可以用電路實(shí)現(xiàn)，其實(shí)現(xiàn)過程如圖1所示.

圖1 神經(jīng)網(wǎng)絡(luò)模型(2)的電路實(shí)現(xiàn)圖Fig.1 Circuit realization diagram of neural network model(2)

4 主要定理分析及證明

4.1 神經(jīng)網(wǎng)絡(luò)局部解的存在性

定理1.若假設(shè)(A)成立，則對(duì)于任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)在時(shí)間段t∈[0,T)至少存在一個(gè)局部解x(t)，其中T∈(tQ2,+∞).

證明：下面可以分兩種情況討論.

(5)

即在時(shí)間段[0,t′)中，x(t)是有界的.再由解的擴(kuò)展性的理論可知神經(jīng)網(wǎng)絡(luò)的局部解在[0,tQ2]時(shí)間內(nèi)是存在的.

當(dāng)t>tQ2時(shí)，神經(jīng)網(wǎng)絡(luò)模型為：

經(jīng)分析得知上式公式右側(cè)部分為一個(gè)具有非空緊凸集性質(zhì)的集值映射函數(shù).與t∈[0,tQ2]時(shí)的證明類似，可得對(duì)任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)在t>tQ2上至少存在一個(gè)局部解x(t).

情況(b)：x0∈Q2.與證明情況(a)類似，可證得神經(jīng)網(wǎng)絡(luò)(2)在時(shí)間段t∈[0,T)至少存在一個(gè)局部解x(t)，其中T∈(tQ2,+∞).

4.2 有限時(shí)間狀態(tài)解收斂到等式可行域

引理5.若假設(shè)(A)成立，則有以下結(jié)論成立：

證明：當(dāng)x?Q2時(shí)，M(x)為嚴(yán)格可微函數(shù)且：

可得：

當(dāng)x∈Q2時(shí)，?M(x)={PTζ:‖ζ‖≤1}，因此‖?M(x)‖=‖PTζ‖≤‖P‖‖ζ‖≤1.

定理2.若假設(shè)(A)成立，則對(duì)任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的狀態(tài)解x(t)都會(huì)在有限時(shí)間內(nèi)進(jìn)入等式可行域Q2中，并永駐其中.

證明：取L(x)=‖AT(AAT)-1(Ax-b)‖，顯然L(x)為正則函數(shù).存在可測函數(shù)ξ(t)∈?H(x(t))，γ(t)∈?B(x(t))，及ω(t)∈?M(x(t))，使得對(duì)a.e.t∈[0,+∞]有：

從P的定義可知：A(I-P)=0，(I-P)2=I-P，結(jié)合引理2可得：

=<ω(t),-η(t)(I-P){ε(t)2θ(B(x(t)))ξ(t)+

ε(t)r(t)}-ω(t)>=-‖ω(t)‖2

(6)

當(dāng)x(t)?Q2時(shí)，‖ω(t)‖2=1，則

(7)

當(dāng)x(t)∈Q2時(shí)，‖ω(t)‖2≤1，則

(8)

對(duì)式(7)兩端從0到T進(jìn)行積分得‖AT(AAT)-1(Ax(T)-b)‖-‖AT(AAT)-1(Ax0-b)‖=-T，這意味著對(duì)于任意的初始點(diǎn)x∈Rn，其神經(jīng)網(wǎng)絡(luò)狀態(tài)解x(t)會(huì)在時(shí)刻T′=‖AT(AAT)-1(Ax0-b)‖進(jìn)入到Q2中.

下面使用反證法證明當(dāng)神經(jīng)網(wǎng)絡(luò)狀態(tài)解x(t)一旦進(jìn)入等式限制域后，便不再離開.若不然，神經(jīng)網(wǎng)絡(luò)(2)的狀態(tài)解x(t)將在t1時(shí)刻離開Q2，且存在t∈(t1,t2)， 0≤t1≤t2滿足x(t)?Q2.結(jié)合‖AT(AAT)-1(Ax(t1)-b)‖=0及式(7)可得：

‖AT(AAT)-1(Ax(t2)-b)‖=‖AT(AAT)-1(Ax(t1)-b)‖-(t2-t1)=-(t2-t1)<0

(9)

與‖AT(AAT)-1(Ax(t1)-b)‖≥0矛盾，即對(duì)任意的x∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的解軌跡x(t)都會(huì)在‖AT(AAT)-1(Ax0-b)‖時(shí)刻進(jìn)入等式可行域中且不再離開.

4.3 解軌跡的有界性及全局解的存在性

引理7.若假設(shè)(A)成立，則不等式的罰函數(shù)B(x)是強(qiáng)制的，即：當(dāng)x∈Q2，‖x‖→+∞時(shí)，B(x)→+∞.

證明：可以分為以下兩種情形進(jìn)行討論：

(10)

(11)

結(jié)合式(10)和式(11)可得：

(12)

結(jié)合前文對(duì)B(x)的定義，可知：

(13)

(14)

從式(13)以及式(14)可知當(dāng)x∈Q2，‖x‖→+∞時(shí)，B(x)→+∞成立.

定理3.若假設(shè)(A)成立，對(duì)任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的解軌跡x(t)都是有界的.

證明：由定理2可知神經(jīng)網(wǎng)絡(luò)(2)的解軌跡x(t)會(huì)在有限時(shí)間內(nèi)進(jìn)入等式可行域Q2且駐留其中，即：

x(t)∈Q2={x:Ax=b},?t≥tQ2

因η(t)=1，?t≥tQ2.存在可測函數(shù)ξ(t)∈?H(x(t))，γ(t)∈?B(x(t))，及ω(t)∈?M(x(t))，使得對(duì)a.e.t∈[tQ2,+∞]有：

(15)

(16)

一方面從引理7可得存在R′>0滿足：

(17)

(18)

θ(B(x(t)))=0，?t∈(t′,t′+τ]

(19)

(20)

綜上，可證得神經(jīng)網(wǎng)絡(luò)(2)的解軌跡x(t)是有界的.

定理4.若假設(shè)(A)成立，則對(duì)于任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)至少存在一個(gè)全局解x(t)，?t∈[0,+∞].

證明：設(shè)x(t)為初始點(diǎn)x0∈Rn的神經(jīng)網(wǎng)絡(luò)(2)的解軌跡，由定理3可知x(t)有界，結(jié)合定理1以及解的可擴(kuò)展性理論可以得出神經(jīng)網(wǎng)絡(luò)(2)至少存在一個(gè)全局解x(t)，?t∈[0,+∞].

4.4 有限時(shí)間收斂到可行域Q

定理5.若假設(shè)(A)成立，對(duì)任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的解x(t)會(huì)在有限時(shí)間內(nèi)進(jìn)入可行域Q中且駐留其中.

證明：由定理2可知，對(duì)任意初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的狀態(tài)解x(t)都會(huì)在有限時(shí)間內(nèi)進(jìn)入等式可行域Q2且駐留其中.當(dāng)t>TQ2，η(t)=1，神經(jīng)網(wǎng)絡(luò)(2)等價(jià)為式(16)，因此只需證明對(duì)任意初始點(diǎn)x0∈Q2，神經(jīng)網(wǎng)絡(luò)(16)的解軌跡在有限時(shí)間內(nèi)進(jìn)入到可行域Q1且駐留其中即可.回顧定理3分析過程中的式(18)和式(19)可以將x∈Q2/Q1時(shí)的θ(B(x))分為以下兩種情形：

當(dāng)x∈{x:01}∩Q2，可得θ(B(x))=0.

由定理3可知x(t)有界，即存在R′>0使得:

下面使用反證法證明定理5.若神經(jīng)網(wǎng)絡(luò)(2)不能在有限時(shí)間之內(nèi)進(jìn)入不等式可行域Q1并駐留其中，則必有以下兩種情形之一發(fā)生：

情形1.存在T>tQ2，使得對(duì)任意的t>T有x(t)∈Q2/Q1,0≤θ(B(x))<1.結(jié)合引理2、引理6及(I-P)2=I-P，‖I-P‖≤1可知存在可測函數(shù)ξ(t)∈?H(x(t))，γ(t)∈?B(x(t))使得對(duì)于幾乎所有時(shí)間t∈[T，+∞)：

ε(t)r(t)}>≤ε(t)2θ(B(x(t)))ξ(t)‖γ(t)(I-P)‖-ε(t)‖γ(t)(I-P)‖2

(21)

若0≤θ(B(x))<1時(shí)，式(21)即為：

(22)

對(duì)式(22)兩端進(jìn)行從T到t積分得：

(23)

與上述證明類似得知與B(x(t))的非負(fù)性矛盾.

綜上討論，情形1不成立.

情形2.存在互不相交的開區(qū)間列(αn,βn)滿足：

2)x(t)?Q1，?t∈(αn,βn)；

3)B(x(αn,))=0.

結(jié)合情形1和情形2兩者均不成立，則下面的情形3一定成立.

情形3.神經(jīng)網(wǎng)絡(luò)(2)的解軌跡x(t)會(huì)在有限時(shí)間內(nèi)進(jìn)入到不等式可行域并駐留其中.

注：由定理5及定理2可知，對(duì)于任意的初始點(diǎn)x0∈Rn，神經(jīng)網(wǎng)絡(luò)(2)的狀態(tài)解x(t)會(huì)在有限時(shí)間內(nèi)進(jìn)入到可行域Q并駐留其中.

4.5 神經(jīng)網(wǎng)絡(luò)收斂到最優(yōu)解

引理8[17].若x*為優(yōu)化問題(1)的最優(yōu)解，則對(duì)于任意x∈Q，有ξT(x*-x)≥0，?ξ(t)∈?H(x(t)).

定理6.在假設(shè)(A)條件下，神經(jīng)網(wǎng)絡(luò)(2)至少存在一個(gè)最優(yōu)解，且神經(jīng)網(wǎng)絡(luò)(2)從任意點(diǎn)出發(fā)，其狀態(tài)解都收斂到原優(yōu)化問題(1)的某一個(gè)最優(yōu)解.

證明：由定理5可知進(jìn)入可行域之后的神經(jīng)網(wǎng)絡(luò)模型可化簡為:

(24)

其中TQ表示進(jìn)入可行域Q的時(shí)間，因此只需證明對(duì)任意初始點(diǎn)x0∈Q，神經(jīng)網(wǎng)絡(luò)(2)的解x(t)終會(huì)收斂到優(yōu)化問題(1)的某個(gè)最優(yōu)解.

設(shè)x*為原偽凸優(yōu)化問題的最優(yōu)解.定義能量函數(shù)為：

(25)

(26)

由于?H(x)，?B(x)是非空緊凸集，存在ξ(tk)∈?H(x(tk))，γ(tk)∈?B(x(tk))滿足：

(27)

(28)

(29)

(30)

5 數(shù)值實(shí)驗(yàn)

在本章節(jié)中，通過Matlab2012平臺(tái)模擬神經(jīng)網(wǎng)絡(luò)求解優(yōu)化問題時(shí)的性能，驗(yàn)證了神經(jīng)網(wǎng)絡(luò)模型(2)解決不等式約束的偽凸優(yōu)化問題的有效性.

5.1 實(shí)驗(yàn)1

考慮下面的非光滑偽凸優(yōu)化問題：

(31)

圖2 實(shí)驗(yàn)1中10個(gè)隨機(jī)初始點(diǎn)關(guān)于(x1,x2)的二維相圖Fig.2 Two-dimensional phase plot of the trajectories of (x1,x2) with ten random initial in Experiment 1

實(shí)驗(yàn)1中神經(jīng)網(wǎng)絡(luò)(2)任意選擇10個(gè)初始點(diǎn)關(guān)于(x1,x2)運(yùn)動(dòng)軌跡的二維相圖.從圖中可以看到狀態(tài)變量從不同初始點(diǎn)出發(fā)最終收斂到可行域中一個(gè)點(diǎn)Q*=(0.5030,0.4973)T，且不再變化.圖3展示了10個(gè)不同的初始點(diǎn)對(duì)應(yīng)的目標(biāo)函數(shù)值隨著迭代次數(shù)向最優(yōu)解靠近的變化趨勢，從圖中可以得知目標(biāo)函數(shù)最終收斂到最小點(diǎn)f*=-28.1且不再變化.

5.2 實(shí)驗(yàn)2

考慮以下優(yōu)化問題：

minf(x)=(x1-1)2+(x2-x3)2+(x4-x5)2

s.tx1+x2+x3+x4+x5=5

x3-2x4-2x5=-3

2x1+2x2-x3≤5

x1+3x2≤7

(32)

式(32)是一類常見的優(yōu)化問題.經(jīng)計(jì)算可知問題(32)存在唯一的最優(yōu)解x*=(1,1,1,1,1)，對(duì)應(yīng)的目標(biāo)函數(shù)最優(yōu)值為f(x*)=0.文獻(xiàn)[8，15]要求初始點(diǎn)在給定區(qū)域內(nèi)；此外，文獻(xiàn)[8]需要計(jì)算精確的罰因子；文獻(xiàn)[16]只能解決等式約束的偽凸優(yōu)化問題；文獻(xiàn)[18]需要獲得投影算子，計(jì)算麻煩.而本文提出的神經(jīng)網(wǎng)絡(luò)模型(2)能克服以上不足且具有良好的性能.在本實(shí)驗(yàn)中任意選取初始點(diǎn)為(5,0,-1,3,4)，由不等式的定義知其初始點(diǎn)不在可行域內(nèi).圖4顯示了初始點(diǎn)的狀態(tài)變量隨時(shí)間變化的趨勢，從圖中可觀察到x(t)的軌跡最終收斂于最優(yōu)解x*=(1,1,1,1,1).圖5給出了迭代點(diǎn)與最優(yōu)解之間的距離誤差分析圖，從圖中可得知兩者之間的誤差隨著時(shí)間的遞增趨近于0，說明本文所提出模型能尋找到原始優(yōu)化問題的最優(yōu)解.

圖3 實(shí)驗(yàn)1中10個(gè)任意初始點(diǎn)的目標(biāo)函數(shù)的三維曲線圖Fig.3 Three-dimensional curves of objection behaviors with ten random initial points in example 1圖4 實(shí)驗(yàn)2中點(diǎn)為(5,0,-1,3,4)的運(yùn)動(dòng)軌跡圖Fig.4 Transient behaviors of point(5,0,-1,3,4) in experiment 2圖5 實(shí)驗(yàn)2中點(diǎn)為(5,0,-1,3,4)的誤差分析圖Fig.5 Error analysis diagram of point(5,0,-1,3,4) in experiment 2

6 結(jié)束語

本文中提出了一種新型的遞歸神經(jīng)網(wǎng)絡(luò)模型以解決一類等式約束和不等式約束的偽凸優(yōu)化問題，與目前所提出的神經(jīng)網(wǎng)絡(luò)模型相比，本文使用了正則化的思想，避免了計(jì)算懲罰因子的麻煩.同時(shí)，還設(shè)置了時(shí)變控制函數(shù)，極大簡化了網(wǎng)絡(luò)模型的復(fù)雜度.此外，本文需要較弱的假設(shè)條件就可以使神經(jīng)網(wǎng)絡(luò)模型的最優(yōu)解收斂到原偽凸優(yōu)化問題的最優(yōu)解中.最后，通過兩個(gè)仿真實(shí)驗(yàn)驗(yàn)證了所提出神經(jīng)網(wǎng)絡(luò)模型的有效性.相比現(xiàn)存的神經(jīng)網(wǎng)絡(luò)模型，它具有結(jié)構(gòu)簡單，不需要計(jì)算懲罰因子，初始點(diǎn)可以任意選取及假設(shè)條件較寬松的優(yōu)勢.