一個(gè)新的PRP共軛梯度法的全局收斂性

周 雪 琴

(貴州師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，貴陽(yáng) 550001)

摘要：提出了一個(gè)不依賴線搜索且具有充分下降性的新的共軛梯度法(ZPRP法)，并證明了ZPRP方法在強(qiáng)Wolfe搜索條件下全局收斂.

關(guān)鍵詞：共軛梯度法；充分下降性；強(qiáng)Wolfe線搜索；全局收斂性

doi:10.16055/j.issn.1672-058X.2015.0011.007

收稿日期：2015-05-08；修回日期：2015-06-18.

作者簡(jiǎn)介：周雪琴(1990-)，女，貴州銅仁人，碩士研究生，從事數(shù)值線性代數(shù)研究.

中圖分類號(hào)：O224文獻(xiàn)標(biāo)志碼：A

1基礎(chǔ)知識(shí)

非線性共軛梯度法常用來(lái)解決下面的無(wú)限制優(yōu)化問(wèn)題：

(1)

其中，f(x)：Rn→R是連續(xù)可微函數(shù)，g(x)表示目標(biāo)函數(shù)f(x)的梯度.求解問(wèn)題的共軛梯度法的一般迭代格式為

(2)

其中，αk是迭代步長(zhǎng)且αk>0，dk是搜索方向，xk+1是當(dāng)前迭代點(diǎn).搜索方向dk由公式(3)確定：

(3)

其中，βk是一個(gè)標(biāo)量，gk表示g(xk).

根據(jù)βk的選取方式不同，將其分為不同的共軛梯度法.這里有一些比較著名的βk公式，比如

(4)

(5)

其中，0<δ≤σ<1.

Dai在文獻(xiàn)[8]中提出了一個(gè)修正的PRP方法(記作DPRP方法)，參數(shù)βk定義如下：

(6)

并且證明了DPRP方法不依賴線搜索具有充分下降性，且對(duì)Armijo線搜索和Wolfe線搜索具有全局收斂性．

Huang在文獻(xiàn)[9]中也提出了一種修正的共軛梯度法(記作new方法)，參數(shù)βk定義如下：

(7)

并且證明了這個(gè)新的方法在強(qiáng)Wolfe搜索條件下是是全局收斂的.

受到Dai和Huang二人的啟發(fā)，現(xiàn)提出一種新的共軛梯度法(記作ZPRP方法)，參數(shù)βk定義如下：

(8)

其中μ>1.下面將證明新的ZPRP方法具有不依賴于線搜索的充分下降性，并在強(qiáng)Wolfe搜索準(zhǔn)則下是全局收斂的.

2算法

算法1(采用強(qiáng)Wolfe搜索準(zhǔn)則的ZPRP算法)

Step 1計(jì)算滿足強(qiáng)Wolfe條件的αk；

Step 3用式(8)和式(3)分別計(jì)算βk和dk+1；

Step 4置k=k+1，轉(zhuǎn)Step1.

3算法的收斂性

假設(shè)2f在Ω的一個(gè)鄰域N內(nèi)是連續(xù)可微的，且它的梯度g是Lipschitz連續(xù)的，即存在一個(gè)常數(shù)L>0，使得

所以引理1結(jié)論得證.

證明由dk的表達(dá)式(3)可知

由此引理2結(jié)論得證.

由文獻(xiàn)中[10]的定理2可以直接得到定理1.

參考文獻(xiàn)：

[1] FLETCHER R，REEVES. Function Minimization by Conjugate Gradients[J]. Comput J，1964，7(2)：149-154

[3] POLYAK T B.The Conjugate Gradient Method in Extremal Problems*1[J]. USSR Computational Mathematics and Mathematical Physics，1969(4)：94-112

[4] HESTENES M R，STIEFEL E L. Methods of Conjugate Gradients for Solving Linear Systems[J]. Journal of Research of the National Bureau of Standards，1952，49(6)：409-436

[5] LIU Y，STOREY C. Efficient Generalized Conjugate Gradient Algorithms，Part 1： Theory[J]. Journal of Optimization Theory & Applications，1991，69(1)：129-137

[6] FLETCHER R. Practical Methods of Optimization[M]. A Wiley Interscience Publication，1987

[7] DAI H Y，YUAN Y. A Nonlinear Conjugate Gradient Method with a Strong Global Convergence Property[J]. Siam J Optim，1999，10(1)：177-182

[8] DAI Z，WEN F. Another Improved Wei-yao-liu Nonlinear Conjugate Gradient Method with Sufficient Descent Property[J]. Applied Mathematics & Computation，2012(14)：7421-7430

[9] ZHANG Y，ZHENG H，ZHANG C. Global Convergence of a Modified PRP Conjugate Gradient Method[J]. 數(shù)學(xué)研究與評(píng)論，2010，30(1)：141-148

[10] GILBERT J C，NOCEDAL J. Global Convergence Properties of Conjugate Gradient Methods for Optimization[J]. Siam Journal on Optimization，1992(2)：387-395

A New PRP Conjugate Gradient Method with Global Convergence

ZHOU Xue-qin

(College of Mathematics and Computer Science，Guizhou Normal University，Guizhou Guiyang 550001，China)

Abstract：In this paper，a new PRP conjugate gradient method (ZPRP) satisfying the sufficient decent condition without any line searches is proposed，and the global convergence of ZPRP with the strong Wolfe line search is proved.

Key words： conjugate gradient method; sufficient decent property; the strong Wolfe line search; global convergence