喻 昕 許治健 陳昭蓉 徐辰華

?

拉格朗日神經(jīng)網(wǎng)絡(luò)解決帶等式和不等式約束的非光滑非凸優(yōu)化問題

喻 昕①許治健*①陳昭蓉①徐辰華②

①(廣西大學(xué)計算機(jī)與電子信息學(xué)院 南寧 530004)②(廣西大學(xué)電氣工程學(xué)院 南寧 530004)

非凸非光滑優(yōu)化問題涉及科學(xué)與工程應(yīng)用的諸多領(lǐng)域，是目前國際上的研究熱點。該文針對已有基于早期罰函數(shù)神經(jīng)網(wǎng)絡(luò)解決非光滑優(yōu)化問題的不足，借鑒Lagrange乘子罰函數(shù)的思想提出一種有效解決帶等式和不等式約束的非凸非光滑優(yōu)化問題的遞歸神經(jīng)網(wǎng)絡(luò)模型。由于該網(wǎng)絡(luò)模型的罰因子是變量，無需計算罰因子的初始值仍能保證神經(jīng)網(wǎng)絡(luò)收斂到優(yōu)化問題的最優(yōu)解，因此更加便于網(wǎng)絡(luò)計算。此外，與傳統(tǒng)Lagrange方法不同，該網(wǎng)絡(luò)模型增加了一個等式約束懲罰項，可以提高網(wǎng)絡(luò)的收斂能力。通過詳細(xì)的分析證明了該網(wǎng)絡(luò)模型的軌跡在有限時間內(nèi)必進(jìn)入可行域，且最終收斂于關(guān)鍵點集。最后通過數(shù)值實驗驗證了所提出理論的有效性。

拉格朗日神經(jīng)網(wǎng)絡(luò)；收斂；非凸非光滑優(yōu)化

1 引言

作為解決優(yōu)化問題的并行計算模型，遞歸神經(jīng)網(wǎng)絡(luò)在過去的幾十年里受到了極大的關(guān)注，不少神經(jīng)網(wǎng)絡(luò)模型被提出。然而這些網(wǎng)絡(luò)都是為解決光滑優(yōu)化問題而設(shè)計的，它們卻無法解決非光滑優(yōu)化問題。為此，F(xiàn)orti等人[4]提出了通用非線性規(guī)劃神經(jīng)網(wǎng)絡(luò)模型(G-NPC)，用于解決不等式限制的非光滑優(yōu)化問題。G-NPC是利用Clark次梯度和懲罰項構(gòu)造的微分包含梯度系統(tǒng)，其動態(tài)行為和最優(yōu)化能力適用于解決凸的和非凸的問題。Bian等人在文獻(xiàn)[5]和文獻(xiàn)[6]分別提出了利用Clark次梯度神經(jīng)網(wǎng)絡(luò)來解決非光滑凸和非光滑非凸最優(yōu)化問題，通過使用Clark次梯度和懲罰項建立微分包含遞歸神經(jīng)網(wǎng)絡(luò)模型。在此模型下給定一個足夠大的罰因子參數(shù)，神經(jīng)元狀態(tài)軌跡將收斂到平衡點集。此外，Liu等人[7]利用投影方法提出了解決線性等式和R上閉凸子集共同約束的非光滑非凸優(yōu)化問題的遞歸神經(jīng)網(wǎng)絡(luò)模型。Bian等人[8]利用光滑逼近技術(shù)構(gòu)造光滑神經(jīng)網(wǎng)絡(luò)模型解決非光滑非凸的優(yōu)化問題，在此模型下神經(jīng)網(wǎng)絡(luò)的平衡點就是原始問題的最優(yōu)解。Qin等人[9]提出了一種單層神經(jīng)網(wǎng)絡(luò)模型以解決目標(biāo)函數(shù)為偽凸非光滑的優(yōu)化問題。

目前提出的解決非光滑優(yōu)化問題的遞歸神經(jīng)網(wǎng)絡(luò)模型大多基于早期罰函數(shù)的思想，需要罰因子足夠大才能保證網(wǎng)絡(luò)收斂到優(yōu)化問題的最優(yōu)解，因此必須在網(wǎng)絡(luò)執(zhí)行計算前計算出罰因子。而這個參數(shù)在某些目標(biāo)函數(shù)下是難以計算的，這為網(wǎng)絡(luò)執(zhí)行計算帶來困難。為此本文擬借鑒Lagarange乘子罰函數(shù)的思想提出一種解決非光滑非凸優(yōu)化問題的遞歸神經(jīng)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型的罰因子是變量，且無需事先計算罰因子的初始值仍能保證神經(jīng)網(wǎng)絡(luò)收斂到優(yōu)化問題的最優(yōu)解。此外，與傳統(tǒng)Lagrange方法不同，該網(wǎng)絡(luò)模型增加了一個等式約束懲罰項，可以提高網(wǎng)絡(luò)的收斂能力。

本論文組織結(jié)構(gòu)如下：第2節(jié)，介紹了本文需要解決的優(yōu)化問題；第3節(jié)，介紹了增廣拉格朗日神經(jīng)網(wǎng)絡(luò)模型；第4節(jié)，對該神經(jīng)網(wǎng)絡(luò)模型進(jìn)行相關(guān)的理論分析；第5節(jié)，給出兩個仿真實例驗證理論的正確性和有效性。

2 優(yōu)化問題

本文考慮如下的優(yōu)化問題：

3 神經(jīng)網(wǎng)絡(luò)模型

基于增廣拉格朗日函數(shù)，我們提出以下神經(jīng)網(wǎng)絡(luò)模型以解決優(yōu)化問題：

上述神經(jīng)網(wǎng)絡(luò)模型中參數(shù)的作用：(1)凸化目標(biāo)函數(shù)，當(dāng)參數(shù)足夠大時，可以使優(yōu)化問題滿足局部凸性；(2)加快網(wǎng)絡(luò)軌跡的收斂速度。

式(2)給出了神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程，即網(wǎng)絡(luò)模型的學(xué)習(xí)方法，這里給出該模型對應(yīng)的硬件實現(xiàn)及其工作過程(見圖1)。當(dāng)對此硬件電路輸入初始電壓后，電流會在電路中震蕩最終趨于穩(wěn)定，若電路設(shè)計合理，那么電壓的穩(wěn)定值則是原始問題的最優(yōu)解。

4 主要定理及證明

引理1[6]，當(dāng)時，有，其中。

圖1 神經(jīng)網(wǎng)絡(luò)模型的硬件實現(xiàn)

證畢

(10)

同理，當(dāng)

證畢

5 數(shù)值仿真及結(jié)果分析

仿真實驗在MatlabR2012平臺下進(jìn)行，實驗包括兩個實例：

例1 目標(biāo)函數(shù)為非凸非光滑，限制條件為光滑凸函數(shù)

例2 目標(biāo)函數(shù)為非光滑非凸，限制條件包含非光滑凸約束函數(shù)

此外，為了比較本文所提出的增廣拉格朗日網(wǎng)絡(luò)模型和傳統(tǒng)拉格朗日網(wǎng)絡(luò)模型，設(shè)定初始點，參數(shù)分別取，其他參數(shù)不變。事實上當(dāng)增廣拉格朗日網(wǎng)絡(luò)模型就退化為傳統(tǒng)拉格朗日網(wǎng)絡(luò)模型。狀態(tài)向量的軌跡如圖6和圖7所示。從圖中可以發(fā)現(xiàn)，網(wǎng)絡(luò)隨著參數(shù)的增加，收斂速度也相應(yīng)增加，而當(dāng)時，即在傳統(tǒng)拉格朗日網(wǎng)絡(luò)模型下，網(wǎng)絡(luò)狀態(tài)甚至不收斂。

6 結(jié)束語

本文旨在解決工程應(yīng)用中經(jīng)常出現(xiàn)的含有約束的非光滑非凸優(yōu)化問題，提出了一種基于拉格朗日思想的神經(jīng)網(wǎng)絡(luò)模型，通過增加懲罰約束項以凸化目標(biāo)函數(shù)來求解優(yōu)化問題，分析了神經(jīng)網(wǎng)絡(luò)的收斂軌跡在有限時間內(nèi)進(jìn)入可行域，并且最終收斂于平衡點集，同時給出了平衡點集與關(guān)鍵點集的關(guān)系。最后實例驗證了所提出的增廣拉格朗日神經(jīng)網(wǎng)絡(luò)求解帶等式及不等式約束非光滑非凸優(yōu)化問題的有效性，同時通過與傳統(tǒng)拉格朗日網(wǎng)絡(luò)模型解決相同問題進(jìn)行比較，表明其在收斂性方面更優(yōu)。

圖2 例1中的軌跡

圖4 例2中的軌跡

圖6 取不同值的軌跡

[1] MIAO Peng, SHEN Yanjun, LI Yujiao,. Finite-time recurrent neural networks for solving nonlinear optimization problems and their application[J]., 2016, 177(7): 120-129.doi: 10.1016/j.neucom.2015.11.014.

[2] MESTARI M, BENZIRAR M, SABER N,. Solving nonlinear equality constrained multiobjective optimization problems using neural networks[J]., 2015, 26(10): 19-35. doi: 10.1109/TNNLS.2015.2388511.

[3] HOSSEINI A. A non-penalty recurrent neural network for solving a class of constrained optimization problems[J]., 2016, 73(1): 10-25. doi: 10.1016/j.neunet. 2015.09.013.

[4] FORTI M, NISTRI P, and QUINCAMPOIX M. Generalized neural network for nonsmooth nonlinear programming problems[J]., 2004, 51(9): 1741-1754. doi: 10.1109/TCSI. 2004.834493.

[5] XUE Xiaoping and BIAN Wei. Subgradient-based neural networks for nonsmooth convex optimization problems[J]., 2008, 55(8): 2378-2391. doi: 10.1109/TCSI.2008.920131.

[6] BIAN Wei and XUE Xiaoping. Subgradient-based neural networks for nonsmooth nonconvex optimization problems[J]., 2009, 20(6): 1024-1038. doi: 10.1109/TNN.2009.2016340.

[7] LIU Qingshan and WANG Jun. A one-layer projection neural network for nonsmooth optimization subject to linear equalities and bound constraints[J]., 2013, 24(5): 812-824. doi: 10.1109/TNNLS.2013.2244908.

[8] BIAN Wei and CHEN Xiaojun. Smoothing neural network for constrained non-Lipschitz optimization with applications [J]., 2012, 23(3): 399-411. doi: 10.1109/TNNLS.2011. 2181867.

[9] QIN Sitian, BIAN Wei, and XUE Xiaoping. A new one-layer recurrent neural network for nonsmooth pseudoconvex optimization[J]., 2013, 120(22): 655-662. doi: 10.1016/j.neucom.2013.01.025.

Lagrange Neural Network for Nonsmooth Nonconvex Optimization Problems with Equality and Inequality Constrains

YU Xin①XU Zhijian①CHEN Zhaorong①XU Chenhua②

①(,,,530004,)②(,,530004,)

Nonconvex nonsmooth optimization problems are related to many fields of science and engineering applications, which are research hotspots. For the lack of neural network based on early penalty function for nonsmooth optimization problems, a recurrent neural network model is proposed using Lagrange multiplier penalty function to solve the nonconvex nonsmooth optimization problems with equality and inequality constrains. Since the penalty factor in this network model is variable, without calculating initial penalty factor value, the network can still guarantee convergence to the optimal solution, which is more convenient for network computing. Compared with the traditional Lagrange method, the network model adds an equality constraint penalty term, which can improve the convergence ability of the network. Through the detailed analysis, it is proved that the trajectory of the network model can reach the feasible region in finite time and finally converge to the critical point set. In the end, numerical experiments are given to verify the effectiveness of the theoretic results.

Lagrange neural network; Convergence; Nonsmooth nonconvex optimization

TP183

A

1009-5896(2017)08-1950-06

10.11999/JEIT161049

2016-10-12；

改回日期：2017-04-18；

2017-05-18

許治健 zhongxiawuyu@126.com

國家自然科學(xué)基金(61462006, 51407037)，廣西自然科學(xué)基金(2014GXNSFAA118391)

The National Natural Science Foundation of China (61462006, 51407037), The Natural Science Foundation of Guangxi Province (2014GXNSFAA118391)

喻 昕： 男，1973年生，教授，博士，博士生導(dǎo)師，主要研究方向為人工智能、人工神經(jīng)網(wǎng)絡(luò)、優(yōu)化計算.

許治?。?男，1990年生，碩士生，研究方向為人工神經(jīng)網(wǎng)絡(luò)、優(yōu)化計算.

陳昭蓉： 女，1991年生，碩士生，研究方向為人工神經(jīng)網(wǎng)絡(luò)、優(yōu)化計算.

徐辰華： 男，1976年生，副教授，博士，主要研究方向為過程控制、人工神經(jīng)網(wǎng)絡(luò).