喻 昕 胡 悅 馬 崇 伍靈貞 汪炎林

(廣西大學計算機與電子信息學院 廣西 南寧 530004)

0 引 言

近年來，由于人工神經(jīng)網(wǎng)絡內(nèi)在的大規(guī)模并行機制以及快速執(zhí)行的硬件結構，其執(zhí)行效率顯著優(yōu)于傳統(tǒng)優(yōu)化算法，這讓使用人工神經(jīng)網(wǎng)絡解決優(yōu)化問題成為了當下的熱門研究對象。運用神經(jīng)網(wǎng)絡求解最優(yōu)化問題，首先要將目標函數(shù)改換成相關動力學模型，進而構造出解決該問題的神經(jīng)網(wǎng)絡模型。神經(jīng)網(wǎng)絡是由Tank等[1]最先應用到優(yōu)化問題的。自此，研究者們開始構造更多模型用于解決優(yōu)化問題。

目前，關于最優(yōu)化問題的研討大都局限于光滑優(yōu)化問題，然而，在實際應用問題的研究上，逐漸出現(xiàn)了很多非光滑問題。因此學者們設計了很多解決非光滑優(yōu)化問題的方法，文獻[2]通過微分包含的思想創(chuàng)建了一個新型模型用以解決非光滑優(yōu)化問題。文獻[3]構造了一個遞歸雙層模型來解決非光滑凸優(yōu)化問題，該模型雖不含懲罰算子，但是層次稍顯復雜。

凸優(yōu)化問題[3-7]在許多問題上具有非常廣泛的使用背景，但是隨著更深入的研究，學者們逐漸發(fā)現(xiàn)非凸優(yōu)化問題在工程問題中有著更好的應用。因此，部分學者成功構造了可以解決目標函數(shù)為非凸的相關問題的模型。如文獻[8]根據(jù)梯度思想創(chuàng)建了一種神經(jīng)網(wǎng)絡模型用以解決非光滑非凸問題，該模型結構簡單，但是需要一個懲罰算子，這限制了該模型的使用范圍。

偽凸優(yōu)化問題為非凸優(yōu)化問題的一類，也成了熱門研究對象[9-13]。為了解決非光滑偽凸優(yōu)化問題，文獻[9]創(chuàng)建了一個層次僅為一層不需要提前計算懲罰算子的新型神經(jīng)網(wǎng)絡模型， 但是這個模型需要很強的假設條件，且僅僅可以解決帶有等式約束的問題，這就大大減少了其應用范圍。為了解決同時具備等式約束以及方體約束且目標函數(shù)是偽凸的優(yōu)化問題，文獻[10]應用懲罰函數(shù)創(chuàng)建了一個層次僅為一層神經(jīng)網(wǎng)絡模型，該模型能夠較好的收斂，但需要用到懲罰算子，這在實際計算中是很難解決的。為了能夠不用計算懲罰算子，文獻[11]提出了一種新型且不帶懲罰參數(shù)的單層模型，并得出了該單層模型的解在一定的條件下可以在一定時間內(nèi)收斂到可行域的結論，該模型可以較好的收斂，但是需要目標函數(shù)存在下界等條件。

本文創(chuàng)建了一種新型的遞歸神經(jīng)網(wǎng)絡模型，該模型包括以下優(yōu)點：(1)可以求解目標函數(shù)為非光滑且偽凸的問題；(2)模型結構簡單，為單層遞歸神經(jīng)網(wǎng)絡；(3)不依賴于懲罰參數(shù)；(4)可以求解同時帶等式約束和不等式約束的問題。

本文將研究下面的非光滑偽凸優(yōu)化問題：

minf(x)

s.t.Ax=bg(x)≤0

(1)

式中：x=(x1,x2,…,xn)T∈Rn，A∈Rm×n是行滿秩矩陣，b=(b1,b2,…,bm)T∈Rm，f(x):Rn→R是偽凸函數(shù)且局部Lipschitz連續(xù)，gi(x):Rn→R是凸函數(shù)。設S1={x∈Rn:gi(x)≤0,i=1,2,…,m}S2={x∈Rn:Ax=b}，則式(1)的可行域為S=S1∩S2。

1 預備知識

下面給出部分與后文相關的定義與引理，以方便理解。

定義1對于函數(shù)f:Rn→R，若存在正數(shù)κ和ε，對于所有的x1,x2∈x+εB(0,1)，滿足:

|f(x2)-f(x1)|≤κ‖x2-x1‖

那么稱函數(shù)f(x)在x∈Rn處是Lipschitz連續(xù)，其中B(0,1)是Rn上的一個開球。如果函數(shù)f(x)在其定義域上的每一點都滿足Lipschitz連續(xù)，那么這樣的函數(shù)稱為局部Lipschitz函數(shù)。

定義2設對于集合E?Rn上的任意點x，都有一個相應的非空集合F(x)?Rn，則x→F(x)是E→Rn上的集值映射。如果對于任意的開集V?F(x0)，都存在x0的一個鄰域U，使得F(U)?V，則稱集值映射F:E→Rn在點x0∈E是上半連續(xù)。

定義3設函數(shù)f在點x附近是Lipschitz的，則f在點x處沿方向v∈Rn的廣義方向?qū)?shù)為：

另外，f在點x處的Clarke廣義梯度定義為：

?f(x)={ξ∈Rn∶f0(x∶v)≥,?v∈Rn}

如果f在點x0處是局部Lipschitz連續(xù)的，記Lipschitz常數(shù)為κ，則?f(x0)為Rn中的非空緊凸子集，并且對?ξ∈?f(x0)，都有‖ξ‖≤κ。

性質(zhì)1[9]設f∶Rn→R是凸函數(shù)，則有如下性質(zhì)：

?f(x0)={ξ∈Rn∶f(x0)-f(x)≤〈ξ,x0-x〉,?x∈Rn}?f(·)是極大單調(diào)的，即對任意的v∈?f(x)和v0∈?f(x0)，有〈x-x0,v-v0〉≥0。

定義4如果一個函數(shù)f:Rn→R，在點x附近是局部Lipschitz，那么當它滿足以下的兩個條件時，稱它在x附近是正則函數(shù)。

(2) ?v∈Rn，f′(x,v)=f0(x,v)。

定義5設E?Rn是一個非空凸集，稱函數(shù)f:E→R為集合E上的偽凸函數(shù)，是指對任意的x,y∈E，若存在η∈?f(x)，使得ηT(y-x)≥0，則必有f(y)≥f(x)。

引理1鏈式法則。設F(x)∶Rn→R是正則的，并且x(t)∶[0,+∞)→Rn在[0,+∞)上的任何緊區(qū)間上都是絕對連續(xù)的，則對t∈[0,+∞)，x(t)和F(x(t))∶[0,+∞)→R是幾乎處處可微的，并且有：

2 遞歸神經(jīng)網(wǎng)絡

2.1 定 義

當x∈S2，?P2(x)={AT(AAT)-1Aζ：‖ζ‖≤1}。

引理2[11]如果假設1成立，那么:

(2)X=M，其中X={x∈Rn:g(x)≤0}，M={x∈Rn:G(x)≤0}。

式中：I0(x)={i∈{1,2,…,m}:Gi(x)=0}，I+(x)={i∈{1,2,…,m}:Gi(x)>0}。

針對非光滑偽凸優(yōu)化問題，本文構造了如下死亡新型遞歸神經(jīng)網(wǎng)絡模型：

(2)

圖1 遞歸神經(jīng)網(wǎng)絡模型(2)的網(wǎng)絡硬件實現(xiàn)結構圖

定義6稱向量函數(shù)x(·)為式(2)過初始點x(0)=x0的狀態(tài)解，若x(t)絕對連續(xù)，并對幾乎所有的t都有:

定義7如果對所有的t都有：

0∈-?P2(x*)-ε(t)?P1(x*)-ε2(t)?f(x*)

則稱x*為式(2)的一個平衡點。

2.2 全局解的存在性

引理4如果假設1和假設2均滿足，則式(2)具有局部解x(t)，且x(t)有界。

定理1對于任意的初始點x0∈Rn，式(2)至少存在一個全局解x(t)，且x(t)是有界的。

證明由引理4可知式(2)存在有界局部解，根據(jù)解的擴展性理論，可知式(2)存在全局解x(t)，t∈[0,+∞)。類似引理4，可證明全局解x(t)有界。

2.3 遞歸神經(jīng)網(wǎng)絡的收斂性

定理2過任意初始點的式(2)的解均能在有限時間內(nèi)進到等式約束集S2，并永駐其中。

-‖η(t)‖2-ε(t)ξ(t)Tη(t)-ε2(t)γ(t)Tη(t)≤

-‖η(t)‖2+ε(t)‖ξ(t)‖‖η(t)‖+

ε2(t)‖γ(t)‖‖η(t)‖

(3)

當x(t)?S2時，‖η(t)‖=1。

‖?f(x(t))‖∶=sup{‖γ‖∶γ∈?f(x(t))}∶lf?x∈B(x,r′)

同理，對于強制的凸函數(shù)P1(x)，存在lp>0，使得:

‖?P1(x(t))‖∶=sup{‖ξ‖∶ξ∈?P1(x(t))}≤lp?x∈B(x,r′)

綜上，當x(t)?S2，有：

(4)

若x(T1)∈S2，則T1大于等于x(t)收斂到S2的時間點。

0≤‖AT(AAT)-1(Ax(t0)-b)‖≤

(5)

解以上不等式可以得到:

t0≤2‖AT(AAT)-1(Ax(T1)-b)‖+T1

這意味著，當t>2‖AT(AAT)-1(Ax(T1)-b)‖+T1，必有x(t)∈S2。即狀態(tài)解x(t)將在一定時間進入等式約束集S2={x∈Rn|Ax=b},且該上限為:

t0=2‖AT(AAT)-1(Ax(T1)-b)‖+T1

綜上，過任意初始點x0∈Rn的狀態(tài)解x(t)必將在有限時間內(nèi)進入等式約束集。

接下來將證明式(2)的狀態(tài)解x(t)一旦進入等式約束集S2，就會一直在S2內(nèi)。若非如此，假設狀態(tài)解x(t)在t1時刻離開等式約束集S2，則一定存在區(qū)間(t1,t2)，t1>T1，使得對任意的t∈(t1,t2)都有x(t)?S2，且‖AT(AAT)-1(Ax(t1)-b)‖=0。再結合式(5)，可以得到：

‖AT(AAT)-1(Ax(t2)-b)‖≤

這與‖AT(AAT)-1(Ax(t2)-b)‖>0矛盾。

因此式(2)的狀態(tài)解x(t)在有限時間里進入到等式約束集S2，并永駐其中。

引理6[4]

1) 對于所有x∈Rn，ξ2∈?P2(x)，有：

2) 對于任意x∈S2/S1，ξ1∈?P1(x)，有：

3) 對于任意x∈S2/S1，ξ1∈?P1(x)，有:

證明

1) 因為當x∈S2， ?P2(x)={AT(AAT)-1Aζ：‖ζ‖≤1}則:

定理3如果假設滿足，則式(2)從任意一點出發(fā) 的狀態(tài)解將在有限時間內(nèi)進入不等式約束集S1={x∈Rn:g(x)≤0},并永駐其中。

ξ(t)T·[(I-P)(-ε(t)ξ(t)-ε2(t)γ(t))]

又因為(I-P)T=I-P且(I-P)2=I-P有：

ε2(t)‖(I-P)ξ(t)‖‖γ(t)‖

若x(T2)∈S1，則T2大于等于x(t)收斂到S1的時間點。

若x(T2)?S1有:

(6)

然后對式(6)兩邊從T2到t進行積分得到：

用反證法，若不在有限時間內(nèi)進入S1，則當t→+∞可得:

類似于定理2，我們可以證明得到一旦神經(jīng)網(wǎng)絡的狀態(tài)解進入到S1將永駐其中。

綜上可得，式(2)從任意一點出發(fā)的狀態(tài)解x(t)將在有限時間內(nèi)進入不等式約束集S1={x∈Rn∶g(x)≤0},并永駐其中。

(7)

又由f(x)是偽凸的，可知：

引理8[11]設x*是式(1)的一個最優(yōu)解，則對于任意的x∈S1∩S2和γ∈?f(x)，有：

〈γ,x-x*〉≥0

定理4若假設1、2均滿足，式(2)至少有一個平衡點，且式(2)從任意點出發(fā)的狀態(tài)解x(t)均收斂到式(1)的一個最優(yōu)解。

證明設x*是式(1)的一個最優(yōu)解。定義Lyapunov函數(shù)如下：

V(x,t)=ε2(t)[f(x)-f(x*)]+

(8)

經(jīng)過簡單的計算可得:

?V(x)=ε2(t)?f(x)+ε(t)?P1(x)+x-x*

任取x0∈Rn，設x(t)為式(2)過初始點x0的狀態(tài)解。另外，由定理2和定理3可知，式(2)的狀態(tài)解x(t)在一定時間內(nèi)進入到等式約束集S1和不等式約束集S2，并永駐其中。因此，不失一般性，我們假設：

x(t)∈S=S1∩S2?t≥0

類似于引理4的證明，存在可測函數(shù)ξ(t)∈?P1(x(t))，γ(x(t))∈?f(x(t))，對于a.e.t∈[0,+∞)，滿足：

(9)

由x(t)，x*∈S1可知，P(x(t)-x*)=0，?t≥0。由引理1和式(I-P)2=I-P可知，對于a.e.t∈[0，+∞)，有：

-‖(I-P)(ε(t)ξ(t)+ε2(t)γ(t))‖2-

〈x(t)-x*,ε(t)ξ(t)+ε2(t)γ(t)〉+

(10)

由引理8可知:

0≤〈γ(t),x(t)-x*〉

由凸不等式知:

〈x(t)-x*,ξ(t)〉≥P1(x(t))-P1(x*)=0

令ψ(x(t))=ε2(t)?f(x)+ε(t)?P1(x)，因此：

(11)

V(x(0))-V0<+∞

(12)

3 仿真實驗

為了檢驗上述理論的正確性，下面將利用遞歸神經(jīng)網(wǎng)絡來求解二類優(yōu)化問題并列舉幾個數(shù)值實例來驗證。仿真實驗在MATLAB 2012a平臺下進行。

實驗1帶有等式和方體約束的非光滑偽凸優(yōu)化問題：

(13)

s.t.Ax=b-1≤xi≤1i=1,2

式(13)的目標函數(shù)是高斯函數(shù)。高斯函數(shù)是一種局部Lipschitz連續(xù)且在Rn上是嚴格偽凸的，且在隨機優(yōu)化中占有重要的地位。文獻[9-10]分別提出了兩類神經(jīng)網(wǎng)絡來解決這類問題，但文獻[9]的神經(jīng)網(wǎng)絡僅能解決帶等式約束的問題，而文獻[10]可以解決上述問題，卻需要提前計算懲罰參數(shù)。本文構造的遞歸神經(jīng)網(wǎng)絡模型可以克服上述兩個缺點。

針對式(13)，取A∈R2,b∈R,σ=(σ1,σ2)=(1,1)T,A=[0.523,0.917],b=0.623。任取4個不同的初始點(0,1.5)、(0,0)、(-1,-2)、(5,6)，仿真實驗結果如圖2所示。可以看出遞歸神經(jīng)網(wǎng)絡從任意初始點出發(fā)的狀態(tài)解都能收斂到式(13)的一個最優(yōu)解x*=(0.436 5,0.436 5)。

圖2 實驗1的任意4個初始點的x(t)的收斂軌跡

實驗2帶有等式和不等式約束的凸優(yōu)化問題。

凸函數(shù)是具有重要實際意義的函數(shù)，式(2)也能夠解決目標函數(shù)偽凸函數(shù)且?guī)в械仁胶筒坏仁郊s束的問題：

(14)

s.t.x1+x2=1

-xi≤0i=1,2

式(14)是一類常見的凸優(yōu)化問題，很多研究者構造了多種神經(jīng)網(wǎng)絡來解決此類問題，但這些模型大都必須包含懲罰參數(shù)，或是結構會相對復雜。本文構造的遞歸神經(jīng)網(wǎng)絡模型能夠避免上述缺點。

基于上述問題，通過MATLAB進行模擬實驗，隨機取4個初始點(0,1.5)、(0,0)、(-1,-2)、(5,6)，實驗結果如圖3所示。可以看出，對任意初始點遞歸神經(jīng)網(wǎng)絡的狀態(tài)解都將收斂到非線性凸問題的一個最優(yōu)解x*=(0,1)T。

圖3 實驗2的任意4個初始點的x(t)的收斂軌跡

4 結 語

本文創(chuàng)建了一種解決非光滑偽凸優(yōu)化問題的新型遞歸神經(jīng)網(wǎng)絡模型。與以往的模型相比較，本文提出的模型層次僅為單層，且不用依賴于懲罰參數(shù)的選取，同時還能夠解決同時帶有等式約束和不等式約束的優(yōu)化問題。本文主要證得了狀態(tài)解有全局解，且能夠在有限時間內(nèi)收斂到原目標函數(shù)的可行域，最終收斂到偽凸優(yōu)化問題的最優(yōu)解等重要理論。同時，通過兩個實驗驗證了該模型的正確性。