張永勝，肖 林

(吉首大學信息科學與工程學院，湖南 吉首 416000)

二次最小化問題是未加約束條件的二次規(guī)劃問題，是一類重要的非線性最優(yōu)化問題.快速求解二次最小化問題，在科學研究和工程應用領域中具有重大意義[1-3].對于求解非線性最優(yōu)化問題，傳統(tǒng)數(shù)值方法有梯度法、迭代法、極值點排序法、擬牛頓法、罰函數(shù)法和SQP等[4]，但這些方法在求解時存在速度慢、復雜度高等缺點.

考慮到人工神經(jīng)網(wǎng)絡具備大規(guī)模并行處理、全局穩(wěn)定和快速收斂等優(yōu)點[5-9]，有學者利用它來求解二次規(guī)劃問題和非線性方程組，并在理論上對求解的穩(wěn)定性和有效性進行了詳細分析[10-11].盡管張神經(jīng)網(wǎng)絡[12-13]可以用來準確地求解靜態(tài)或者動態(tài)的數(shù)值計算問題，但在進行大規(guī)模處理和計算時，可能會出現(xiàn)運行時間長等問題，難以滿足實時計算的要求.為了進一步提高神經(jīng)網(wǎng)絡求解數(shù)值問題的性能，又有學者研究了有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型[14-18].筆者擬引入一個特殊的非線性激勵函數(shù)來設計有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型，以達到快速求解二次最小化問題的目的.

1 有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型

1.1 有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型的設計與推導

給出一個二次最小化問題：

(1)

Ax+b=0.

(2)

于是，求解問題(1)等價于求解線性方程組(2).

根據(jù)神經(jīng)網(wǎng)絡的設計方法[11]，可通過定義誤差函數(shù)

e(t)=Ax(t)+b

(3)

來求解線性方程組(2).由遞歸神經(jīng)網(wǎng)絡的連續(xù)學習法則可得遞歸神經(jīng)網(wǎng)絡的設計公式

(4)

其中λ(>0)是一個自定義的參數(shù)，用來調(diào)節(jié)遞歸神經(jīng)網(wǎng)絡的收斂速率.將(3)式代入(4)式，即得傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡模型

(5)

值得注意的是，利用遞歸神經(jīng)網(wǎng)絡模型(5)求解問題(1)時，盡管其狀態(tài)解能收斂到理論解，但是收斂速度有限，只能達到全局指數(shù)收斂水平.在進行大規(guī)模實時處理和計算時，模型(5)難以達到實時求解的要求.因此，為了加快收斂速度，筆者在模型(5)的基礎上引入非線性單調(diào)遞增的奇激勵函數(shù)Φ(·)，從而得到改進模型

(6)

考慮到引入符號函數(shù)可以使治系統(tǒng)在有限時間內(nèi)達到穩(wěn)定，因此在激勵函數(shù)中引入符號函數(shù)

顯然，直接引用符號函數(shù)并不符合激勵函數(shù)加速神經(jīng)網(wǎng)絡的要求，于是使用改進的激勵函數(shù)，即雙符號冪激勵函數(shù)，其表達式為

(7)

其中：r∈(0,1)；

雙符號冪激勵函數(shù)(7)是單調(diào)遞增的奇激勵函數(shù).將(7)式代入(6)式，得到有時間限收斂的遞歸神經(jīng)網(wǎng)絡模型

(8)

1.2 有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型的討論

證明定義e(t)=Ax(t)+b∈Rn，對其求時間導數(shù)，得到

(9)

將模型(8)代入(9)式，得到

于是

定義一個Lyapunov函數(shù)，L=|e+(t)|2，求其時間導數(shù)，得到

綜上所述，初始向量x(0)隨機給定，利用模型(8)求解線性方程組(1)時，模型(8)的狀態(tài)向量x(t)能夠在有限時間tc之內(nèi)收斂到線性方程組(1)的理論解，且理論上誤差界限等于0.

證畢.

2 仿真驗證

在同等條件下，采用MATLAB軟件對模型(5)和模型(8)求解問題(1)的過程分別進行仿真.對于問題(1)，不失一般性，其系數(shù)可設置為

通過數(shù)學方法進行求解，可解得其理論解A*=(-1 1)T.

取λ=1，初始狀態(tài)x(0)∈R2隨機給定.分別利用模型(5)和模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數(shù)e(t)的收斂狀況如圖1—4所示.

圖1 λ=1時模型(5)的狀態(tài)解Fig. 1 State Solution of Model (5) with λ=1

圖2 λ=1時模型(5)的誤差函數(shù)Fig. 2 Error Function of Model (5) with λ=1

圖3 λ=1時模型(8)的狀態(tài)解Fig. 3 State Solution of Model (8) with λ=1

圖4 λ=1時模型(8)的誤差函數(shù)Fig. 4 Error Function of Model (8) with λ=1

由圖1和圖2可以看出，利用模型(5)求解問題(1)，隨著時間的推移，狀態(tài)解x(t)緩慢地收斂到理論解A*，誤差函數(shù)e(t)在6 s左右緩慢地接近0，屬于無限時間收斂；由圖3和圖4可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)迅速地收斂到理論解A*，誤差函數(shù)在2.6 s左右就迅速地接近0，屬于有限時間收斂.由此可知，相比于模型(5)，利用模型(8)來求解問題(1)的速度更快.

增大λ，取λ=10，此時分別利用模型(5)和模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數(shù)e(t)的收斂狀況如圖5—8所示.

圖5 λ=10時模型(5)的狀態(tài)解Fig. 5 State Solution of Model (5) with λ=10

圖6 λ=10時模型(5)的誤差函數(shù)Fig. 6 Error Function of Model (5) with λ=10

圖7 λ=10時模型(8)的狀態(tài)解Fig. 7 State Solution of Model (8) with λ=10

圖8 λ=10時模型(8)的誤差函數(shù)Fig. 8 Error Function of Model (8) with λ=10

由圖5和圖6可以看出，利用模型(5)求解問題(1)，狀態(tài)解x(t)在0.6 s左右收斂到理論解A*，誤差函數(shù)在0.6 s左右接近0；由圖7和圖8可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)在0.26 s左右收斂到理論解A*，誤差函數(shù)在0.26 s左右接近0.對比圖1—8可知，當λ的取值增大至原來的10倍時，利用模型(5)和模型(8)求解問題(1)所需的時間對應縮短約為原來的1/10.

繼續(xù)增大λ，取λ=100，分別利用模型(5)模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數(shù)e(t)的收斂狀況如圖9—12所示.

圖9 λ=100時模型(5)的狀態(tài)解Fig. 9 State Solution of Model (5) with λ=100

圖10 λ=100時模型(5)的誤差函數(shù)Fig. 10 Error Function of Model (5) with λ=100

圖11 λ=100時模型(8)的狀態(tài)解Fig. 11 State Solution of Model (8) with λ=100

圖12 λ=120時模型(8)的誤差函數(shù)Fig. 12 Error Function of Model (8) with λ=100

由圖9和圖10可以看出，利用模型(5)求解問題(1)，狀態(tài)解x(t)在0.06 s左右收斂到理論解A*，誤差函數(shù)在0.06 s左右接近0；由圖11和圖12可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)在0.026 s左右收斂到理論解A*，誤差函數(shù)在0.026 s左右接近0.

從仿真結果來看，利用模型(5)和模型(8)都能有效地求解問題(1)，但是相比于模型(5)，在同樣條件下利用模型(8)求解問題(1)的速度更快.此外，當設計參數(shù)λ成倍增大，利用模型(5)和模型(8)求解問題(1)的時間都會以相同倍數(shù)縮短.理論上，若設計參數(shù)無限大，則收斂時間可以無限小，但限于實際應用中λ表示電容、電感等電子元器件的取值，因此不可能無限大.

3 結語

在傳統(tǒng)遞歸神經(jīng)網(wǎng)絡模型的基礎上引入雙符號冪激勵函數(shù)，得到有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型.用該模型來求解二次最小化問題，可以加快求解速度.理論分析結果驗證了有限時間收斂的遞歸神經(jīng)網(wǎng)絡模型的有限時間收斂性，且收斂時間的上界可以通過推導得出.但由于本研究求解過程均在理想的、無干擾的狀態(tài)下進行，沒有考慮噪聲擾動，不具備容噪性能，因此在下一步工作中，筆者將考慮噪聲干擾環(huán)境下遞歸神經(jīng)網(wǎng)絡模型的快速求解.