摘要： 給出一種基于正則化模型的Dai-Liao共軛梯度法. 首先， 通過(guò)極小化3次正則化模型， 得到新的Dai-Liao參數(shù)t， 并在此基礎(chǔ)上根據(jù)函數(shù)在迭代點(diǎn)附近的性質(zhì)， 產(chǎn)

生一個(gè)自適應(yīng)的Dai-Liao參數(shù)； 其次， 結(jié)合改進(jìn)的Wolfe線搜索， 提出一種基于正則化模型的Dai-Liao共軛梯度法; 最后， 證明該算法的搜索方向滿足充分下降性， 并在一般假設(shè)下

建立該算法的全局收斂性. 數(shù)值結(jié)果表明該算法有效.

關(guān)鍵詞： 共軛梯度法； 正則化模型； Dai-Liao共軛參數(shù)；" 充分下降性； 全局收斂性

中圖分類號(hào)： O224" 文獻(xiàn)標(biāo)志碼： A" 文章編號(hào)： 1671-5489（2024）03-0529-09

A Dai＼|Liao Conjugate Gradient MethodBased on Regularization Model

NI Yan， LIU Zexian， CHEN Xuanrui

（School of Mathematics and Statistics， Guizhou University， Guiyang 550025， China）

Abstract： We gave a Dai＼|Liao conjugate gradient method based on regularization model. Firstly，" a new Dai-Liao parameter t was obtained by minimizing the

3-degree regularization model， and based" on this， an adaptive Dai-Liao parameter was generated according to" the properties of the" function near" the iterative point.

Secondly， combined with improved Wolfe line search， we proposed a Dai-Liao conjugate gradient method based on regularization model. Finally， we proved that the search direction of the proposed

method satisfied sufficient descent， and established the global convergence of the proposed algorithm under the general assumption. Numerical results show that the proposed algorithm is effective.

Keywords： conjugate gradient method; regularization model;" Dai-Liao conjugate parameter;" sufficient descent; global convergence

收稿日期： 2023-10-07.

第一作者簡(jiǎn)介： 倪" 艷（1995—）， 女， 漢族， 碩士研究生， 從事最優(yōu)化方法與應(yīng)用的研究， E-mail： ny20222202@163.com. 通信作者簡(jiǎn)介： 劉澤顯（1984—）， 男，

漢族， 博士， 副教授， 從事最優(yōu)化方法與應(yīng)用的研究， E-mail： liuzexian2008@163.com.

基金項(xiàng)目： 國(guó)家自然科學(xué)基金（批準(zhǔn)號(hào)： 12261029）和貴州省自然科學(xué)基金一般項(xiàng)目（批準(zhǔn)號(hào)： 黔科合基礎(chǔ)-ZK［2022］一般084）.

0" 引" 言

考慮如下無(wú)約束優(yōu)化問(wèn)題：

minx∈

瘙 綆 n f（x），（1）

其中f（x）是連續(xù)可微函數(shù). 共軛梯度法是求解問(wèn)題（1）的有效迭代方法， 該方法的一般迭代格式為

xk+1=xk+αkdk，（2）

其中： αk是步長(zhǎng); dk是搜索方向， 由下式確定：

dk=-gk，k=0，

-gk+βkdk-1，k≥1，（3）

這里gk=f（xk）是目標(biāo)函數(shù)f（x）在xk處的梯度， βk是共軛參數(shù). 在共軛梯度法中， βk的選取方法

至關(guān)重要， 目前已有很多研究結(jié)果， 如HS［1］，F(xiàn)R［2］，PRP［3-4］和DY［5］， 其數(shù)學(xué)表達(dá)式分別為

βHS=gTkyk-1dTk-1yk-1，

βFR=‖gk‖2‖gk-1‖2，

βPRP=gTkyk-1‖gk-1‖2，" βDY=‖gk‖2dTk-1yk-1，

其中yk-1=gk-gk-1， ‖·‖為Euclid范數(shù).

共軛梯度法由于具有迭代格式簡(jiǎn)單、 所需存儲(chǔ)少和數(shù)值效果好等優(yōu)點(diǎn)， 因此備受關(guān)注. Dai等［6］提出了一種新的共軛條件dTkyk-1

=-tgTksk-1， 其中t稱為Dai-Liao參數(shù)， 并利用該條件給出了Dai-Liao共軛梯度法， 其共軛參數(shù)為

βDLk=gTkyk-1dTk-

1yk-1-tgTks

k-1dTk-1yk-1.（4）

Hager等［7］在無(wú)記憶BFGS（Broyden＼|Fletcher＼|Goldfarb＼|Shanno）方法的啟發(fā)下， 提出了共軛參數(shù)

βHZk=gTkyk-1dTk-1yk-1-2‖yk-1‖2sTk-1yk-1gTksk-1dTk-1yk-1.（5）

Dai等［8］將Perry［9］和Shanno［10］提出的無(wú)記憶BFGS方向投影到一維子流形Span（-gk，dk-

1）上， 提出了共軛參數(shù)

βDKk=gTkyk-1dTk

-1yk-1-τk+‖yk-1‖2sTk-1yk-1

-sTk-1yk-1‖sk-1‖2

gTksk-1dTk-1yk-1，（6）

其中τk是無(wú)記憶BFGS中的自調(diào)比參數(shù)， τk=sTk-1yk-1‖sk-1‖2是βDKk最

有效的選擇. 共軛參數(shù)式（5）和式（6）分別對(duì)應(yīng)共軛梯度軟件包CG_DESCENT［7］和CGOPT［8］， 它們均可視為

t=2‖yk-1‖2sTk-1yk-1和t=τk+‖yk-1‖2sTk-1yk-1-sTk-1yk-1‖sk-1‖2的Dai-Liao共軛梯度法.

對(duì)任意的k， 若存在常數(shù)cgt;0， 使得方向dk滿足

dTkgk≤-c‖gk‖2，（7）

則稱該方向dk滿足充分下降性.

共軛參數(shù)對(duì)共軛梯度法的數(shù)值效果有很大影響， 合適的參數(shù)不僅使算法在理論上能取得良好的性質(zhì)， 而且數(shù)值性能也較好. 因此， 如何尋找更佳的共軛參數(shù)是一個(gè)重要課題.

正則化算法是求解無(wú)約束優(yōu)化問(wèn)題非常有效的算法. 本文首先通過(guò)極小化正則化模型得到新的Dai-Liao參數(shù)， 在此基礎(chǔ)上根據(jù)目標(biāo)函數(shù)在迭代點(diǎn)附近的性質(zhì)設(shè)計(jì)自適應(yīng)的D

ai-Liao參數(shù); 其次結(jié)合改進(jìn)的Wolfe線搜索， 提出一種基于正則化模型的Dai-Liao共軛梯度法; 最后分析算法搜索方向的充分下降性， 并在一般假設(shè)下建立算法的全局收斂性

. 數(shù)值結(jié)果表明， 針對(duì)CUTEst庫(kù)［11］中的測(cè)試函數(shù)， 該算法有效.

1" 算法設(shè)計(jì)及其充分下降性證明

下面通過(guò)極小化3次正則化模型， 給出一種新的Dai-Liao參數(shù)， 并根據(jù)函數(shù)的性質(zhì)設(shè)計(jì)自適應(yīng)的Dai-Liao參數(shù)， 證明搜索方向的充分下降性.

1.1" 算法設(shè)計(jì)

考慮如下3次正則化模型：

mindk∈

瘙 綆 n m（dk）=fk

+gTkdk+12dTkB

kdk+σk3‖dk‖3Ak，（8）

其中‖dk‖Ak=dTkAkdk，

Ak是對(duì)稱正定矩陣， Bk是實(shí)對(duì)稱矩陣， σk是正則化參數(shù).

將dk=-gk+βkdk-1代入問(wèn)題（8）， 對(duì)βk進(jìn)行求導(dǎo)并令其導(dǎo)數(shù)為0， 可得

βk=gTkyk-1-gTks

k-1+γkgTkAksk-1dTk-1

yk-1+γkdTk-1Aksk-1，（9）

其中γk=σk‖dk‖Ak. 若令A(yù)k=Bk， 且Bk滿足割線方程Bksk-1=yk-1， 則式（9）可表示為

βk=gTkyk-1dTk-1yk-1-11+γkgTksk-1dTk-1yk-1，（10）

可將式（10）視為t=11+γk的Dai-Liao共軛參數(shù)， 而γk是正則化參數(shù)σk與‖dk‖Ak的乘積， 下面分別對(duì)這兩

個(gè)值進(jìn)行選取和分析.

1.1.1" 正則化參數(shù)σk的選取

參考文獻(xiàn)［12］中的σk值， 當(dāng)Ak=Bk時(shí)，

σk=3fk-1-fk+gTks

k-1-12sTk-1yk-1（sTk-1yk-1）3/2.（11）

1.1.2" ‖dk‖Ak的分析與計(jì)算

首先考慮2-范數(shù)下的3次正則化子問(wèn)題：

minpk∈

瘙 綆 n m（pk）=fk

+gTkpk+12pTkBkpk+σk3‖pk‖3，（12）

文獻(xiàn)［13］中定理1.1已給出問(wèn)題（12）的解.

定理1［13］" 點(diǎn)p*k是問(wèn)題（12）的一個(gè)全局極小值點(diǎn)， 當(dāng)且僅當(dāng)

（Bk+σk‖p*k‖I）p*k=-gk，

且矩陣Bk+σk‖p*k‖I是半正定的.

令pk=A1/2kdk， 即dk=A-1/2kpk， 則問(wèn)題（8）可表示為

minpk∈

瘙 綆 n m（pk）=fk+gTk（A-1/2k

pk）+12pTkA-1/2kBkA-1/2kpk+σk3‖pk‖3.（13）

由定理1可知， p*k是問(wèn)題（13）的一個(gè)全局極小值點(diǎn)當(dāng)且僅當(dāng)

（A-1/2kBkA-1/2k+σk‖p*k‖I）p*k=-A-1/2kgk，

且矩陣A-1/2kBkA-1/2k+σk‖p*k‖I是半正定的. 可知矩陣A

-1/2kBkA-1/2k是一個(gè)實(shí)對(duì)稱矩陣， 從而存在一個(gè)正交矩陣

U∈

瘙 綆 n×n， 使得UT（A-1/2kBkA

-1/2k）U=V， 其中V=diag{λ1，λ2，…，λn}， 且λ1≤λ2≤…≤λn為矩陣A-1/2

kBkA-1/2k的特征值， 于是有

p*k=-（A-1/2kBkA-1/2k+σk‖p*k‖I）-1A-1/

2kgk=-（UVUT+Uσk‖p

*k‖IUT）-1A-1/2kgk=

-［U（V+σk‖p*k‖I）UT］-1A-1/2

kgk=-U（V+σk‖p*k‖I）-1UT

A-1/2kgk.（14）

引入一個(gè)向量a∈

瘙 綆 n， 使得p*k=Ua. 令z=‖pk‖， b=U

TA-1/2kgk， 若在式（14）兩端同時(shí)左乘UT， 則可推出ai=

-biλi+σkz， 其中ai，bi分別是向量a，b的分量， 因此

z2=pTkpk=aTa=∑ni=1b2i（λi+σkz）2.（15）

定義函數(shù)s（z）=∑ni=1b2i（λi+σkz）2-z2， 則s′（z）=∑ni=1-2σkb2i（λi+σkz）（λ

i+σkz）4-2z， 由于zgt;0且σkgt;0， 易推出s′（z）lt;0， 則函數(shù)s（z）在區(qū)間［0，+∞）上是單調(diào)遞減的. 當(dāng)b≠0時(shí)， 有s（0）=∑ni

=1b2iλ2igt;0， 而limz→+∞ s（z）=-∞， 所以函數(shù)s（z）在區(qū)間［0，+∞）上必有一個(gè)正解， 從而方程（15）在

區(qū)間［0，+∞）上必有一個(gè)正根； 當(dāng)b=0時(shí)， z=0是式（14）的唯一解.

由上述內(nèi)容可知‖dk‖Ak=dTkAkdk=‖A

1/2kdk‖=‖pk‖=z在區(qū)間［0，+∞）上必存在一個(gè)非負(fù)解. 對(duì)于問(wèn)題（8）， 若直接對(duì)dk求導(dǎo)， 并令其導(dǎo)數(shù)為

0， 則d*k是問(wèn)題（8）的全局極小點(diǎn)當(dāng)且僅當(dāng)（Bk+σk‖d*k‖

AkI）d*k=-gk， 且Bk+σk‖d*k‖AkI

是半正定的.

由于‖d*k‖Ak=z*， 因此上述結(jié)論可表述為： d*k是問(wèn)

題（8）的全局極小點(diǎn)當(dāng)且僅當(dāng)（Bk+σkz*I）d*k=-g

k， 且Bk+σkz*I是半正定的， 其中z*是方程（15）的唯一非負(fù)解.

本文主要考慮一種特殊情況， 即Bk是一個(gè)對(duì)稱正定矩陣， 且Ak=Bk， Bks

k-1=yk-1. 顯然Bk+σkz*I是一個(gè)正定矩陣， 將dk=

-gk+βkdk-1代入問(wèn)題（8）， 則問(wèn)題（8）可表示為

minβ′k∈

瘙 綆" m（β′k）=fk+‖gk‖2gTksk-1T-1β′k+12

-1β′kTHk-1β′k+σk3-1β′k3Hk，（16）

其中β′k=βkαk-1， Hk=ρkgTkyk-1gTkyk-1sTk-1yk-1， ρk=

gTkBkgk.

推論1［12］" 若Bk是一個(gè)正定矩陣， A

k=Bk， 則d*k=-11+σkz*B-1kgk是問(wèn)題（8）的全局極小

點(diǎn)， z*是方程σkz2+z-gTkB-1kgk=0的唯一非負(fù)解.

根據(jù)推論1可知， 在問(wèn)題（16）中， z*是方程σkz2+z-‖gk‖2gTksk-1TH-1k‖gk‖2gTksk-1=0的唯一

非負(fù)解， 令q=‖gk‖2gTksk-1

TH-1k‖gk‖2gTksk-1， 則有

z*=2q1+1+4σkq， （17）

其中選取ρk為文獻(xiàn)［14］中的ρk=ρBBCG3k=32‖yk-1‖2sTk-1

yk-1‖gk‖2， 于是可求出Dai-Liao參數(shù)

tk=11+γk，

這里γk=σk‖dk‖Ak， σk和‖dk‖Ak的值分別通過(guò)式（11）和式（17）求解.

為提升數(shù)值效果， 將參數(shù)tk限制在‖yk-1‖2sT

k-1yk-1和2‖yk-1‖2sTk-1yk-1之間， 即

tk=minmaxtk，‖yk-1‖2sTk-1yk-1，2‖yk-1‖2sTk-1yk-1.（18）

文獻(xiàn)［15］引入了參數(shù)θk， 用于描述函數(shù)f（x）與二次函數(shù)的接近程度， θk定義為

θk=2（fk-fk-1+gTksk-1）sTk-1yk-1-1，（19）

如果參數(shù)θk滿足

θk≤c1或（θk≤c2且θk-1≤c2），（20）

則表示目標(biāo)函數(shù)f（x）在xk附近可能非常接近二次函數(shù)， 此時(shí)可選擇Dai-Liao參數(shù)tk=‖yk-1‖2sTk-1yk-1， 否則選擇參數(shù)tk， 于是本文產(chǎn)生了一個(gè)參數(shù)tk的自適應(yīng)選擇， 即

tk=‖yk-1‖2sTk-1yk-1，滿足式（20

），tk，其他.（21）

結(jié)合式（18）和式（21）， 不妨令tk=a‖yk-1‖2sTk-1yk-1， 其中a∈［1，2］， 則有

βk=gTkyk-1dTk

-1yk-1-a‖yk-1‖2sTk-1

yk-1gTksk-1

dTk-1yk-1.（22）

與Dai等［8］提出的CGOPT類似， 給出以下共軛參數(shù)βk的截?cái)啵?/p>

βk=maxβk，ηgTkd

k-1‖dk-1‖2，" η∈［0，1），（23）

其中βk由式（22）確定.

1.2" 搜索方向的充分下降性證明

引理1" 如果sTk-1yk-1gt;0， 則對(duì)共軛梯度法（2）＼|（3）＼|（23）， 存在cgt;0， 使得

dTkgk≤-c‖gk‖2.（24）

證明： 由文獻(xiàn)［8］可知， gTk（-gk+βDK

kdk-1）≤-34‖gk‖2， 由式（22）可推出

gTk（-gk+βkdk-1）=" gTk-gk+gTkyk-

1dTk-1yk-1-a‖yk-1‖2sTk

-1yk-1gTksk-1dTk-1yk-1dk-1≤" -‖gk‖2+g

Tkyk-1gTkdk-1dTk-1yk-1-‖yk-1‖2（gTkdk-1）2（dTk-1yk-1）2≤

gTk（-gk+βDKkdk-1

）≤-34‖gk‖2.

此外， 對(duì)于k=ηgTkdk-1

‖dk-1‖2， 由Cauchy-Schwarz不等式， 有

gTkdk=-‖gk‖2+η（gT

kdk-1）2‖dk-1‖2≤-‖gk‖2

+η‖gk‖2‖dk-1‖2‖dk-1‖2=-（1-η）‖gk‖2.

綜上可知， 共軛梯度法（2）＼|（3）＼|（23）滿足充分下降性， 其中c=min34，1-η.

2" 算法框架與收斂性分析

為避免數(shù)值誤差， 保證該算法的全局收斂性， 本文使用文獻(xiàn)［8］中提出的改進(jìn)Wolfe線搜索， 找到一個(gè)步長(zhǎng)， 使其滿足

f（xk+αkdk）≤f（xk）+min

{εgTkdk，δαkgTkdk+ηk}，（25）

g（xk+αkdk）Tdk≥σgTkdk，（26）

其中0lt;δlt;σlt;1， εgt;0， ηkgt;0滿足∑k≥1ηklt;+∞.

為加快算法的速度， 本文采用一種自適應(yīng)重啟技術(shù)［8］：

rk-1=2（fk-fk-1）gT

ksk-1+gTk-1sk-1，（27）

如果rk-1接近1， 則說(shuō)明線搜索函數(shù)接近某個(gè)二次函數(shù). 若在連續(xù)的多次迭代中都有rk接近1， 則以最速下降方向重啟算法.

算法1" 基于正則化模型的Dai-Liao共軛梯度法框架.

步驟1） 給定初始值x0∈

瘙 綆 n， εgt;0， ξ，δ，σ滿足0lt;δlt;σlt;1；

步驟2） 如果‖gk‖≤ε， 則算法停止; 否則， d0=-g0， 令I(lǐng)terRestart∶=0， IterQuad∶=0;

步驟3） 利用改進(jìn)的Wolfe線搜索（25），（26）計(jì)算步長(zhǎng)αk；

步驟4） 令xk+1=xk+αkdk， 若‖gk‖∞≤

ε， 則算法停止； 令I(lǐng)terRestart∶=IterRestart+1， 利用式（27）計(jì)算rk， 若rk-1≤ξ， 則IterQuad∶=IterQuad+1； 否則， IterQuad∶=0；

步驟5） 如果IterRestart=MaxRestart或者IterQuad=MinQuad且IterQuad≠IterRestart， 則令dk=-gk， IterRestart∶=0， It

erQuad∶=0， k∶=k+1， 轉(zhuǎn)步驟3）;

步驟6） 利用式（23）計(jì)算βk， 利用式（2），（3）計(jì)算搜索方向dk， 然后令k∶=k+1， 轉(zhuǎn)步驟3）.

假設(shè)：

（H1） 目標(biāo)函數(shù)f在

瘙 綆 n上連續(xù)可微；

（H2） 水平集xf（x）≤f（x0）+∑k≥0ηk有界；

（H3） 梯度g在

瘙 綆 n上是Lipschitz連續(xù)的， 即存在常數(shù)Lgt;0， 使得

‖g（x）-g（y）‖≤L‖x-y‖，" x，y∈

瘙 綆 n.

定理2" 設(shè)f滿足假設(shè)（H1）～（H3）， 考慮共軛梯度法（2）＼|（3）＼|（23）， 利用改進(jìn)的Wolfe線搜索（25），（26）計(jì)算步長(zhǎng)αk， 如果函數(shù)f是一致凸的， 即存在常數(shù)

μgt;0， 使得（g（x）-g（y））T（x-y）≥μ‖x-y‖

2（x，y∈

瘙 綆 n）， 則有

limk→+∞‖gk‖=0.（28）

證明： 由式（25），（26）和假設(shè)（H1）～（H3）可知

∑+∞k=0-αkgTkd

klt;+∞，" αk≥-（1-σ）gTkdkL‖dk‖2，（29）

結(jié)合充分下降性和式（29）可推出

∑+∞k=0‖gk‖4‖dk‖2lt;+∞.（30）

由于函數(shù)是一致凸的， 結(jié)合式（23）， 有

βk=" maxgTkyk-1d

Tk-1yk-1-a‖yk-1‖2sTk-1yk-1gTksk-1dT

k-1yk-1，ηgTkdk-1‖dk-1‖2=

maxgTkyk-1dTk-1yk-1+a‖yk-1‖2sTk-1yk-1

gTksk-1dTk-1yk-1，ηgTkdk-1‖dk-1‖2≤

max‖gk‖‖yk-1‖μαk-1‖dk-1‖2+a‖yk-1‖2‖gk‖‖dk-1‖μ2α2k-

1‖dk-1‖4，η‖gk‖‖dk-1‖‖dk-

1‖2≤" maxLαk-1‖gk‖‖dk-1‖μαk-1‖dk-1‖2+aL2α2k-1‖dk-1‖2‖gk‖‖

dk-1‖μ2α2k-1‖dk-1‖4，η‖gk‖‖dk-1‖‖

dk-1‖2=" maxLμ+aL2μ2，η‖gk‖‖

dk-1‖，

從而可推出

‖dk‖≤‖gk‖+maxLμ+

aL2μ2，η‖gk‖‖dk-1‖‖dk-1

‖=1+maxLμ+aL2μ2，η‖gk‖.

令M=1+maxLμ+aL2μ2，η， 結(jié)合式（30）， 可推出∑+∞k=0‖gk‖2lt;+∞." 因此式（28）成立. 證畢.

引理2" 設(shè)f滿足假設(shè)（H1）～（H3）， 考慮共軛梯度法（2）＼|（3）＼|（23）， 利用

改進(jìn)的Wolfe線搜索式（25）和式（26）計(jì)算步長(zhǎng)αk， 如果對(duì)任意的k≥1， 有‖gk‖≥γ1， 令uk=dk‖dk‖， 則有

∑+∞k=0‖uk-uk-1‖2lt;+∞.

證明： 將βk分解成如下兩部分：

β（1）k=maxgTkyk-1dTk-1yk-1-a

‖yk-1‖2sTk-1yk-1gTksk-1dTk-1yk-1-ηgTkdk-1‖dk-1‖2，0，（31）

β（2）k=ηgTkdk-1‖dk-1‖2.（32）

定義

ω（1）k=-gk+β（2）kdk-1‖dk‖，

ω（2）k=β（1）kdk-1‖dk‖， （33）

則有

uk=dk‖dk‖=-

gk+（β（1）k+β（2）k）dk-1‖d

k‖=ω（1）k+ω（2）kuk-1，

再利用‖uk‖=‖uk-1‖=1， 可推出

‖ω（1）k‖=‖uk-ω（2）kuk-1‖=‖ω（2）kuk-uk-1‖.

于是

‖uk-uk-1‖≤" ‖（1+ω（2）k）uk-（1+ω（2）k）uk-1

‖≤" ‖uk-ω（2）kuk-1‖+‖ω（2

）kuk-uk-1‖=2‖ω（1）k‖.（34）

由式（32）可知‖ω（1）k‖‖dk‖=‖-gk+β（2）kdk-1‖≤‖gk‖+β（2）k‖dk-1‖≤（1+η）‖gk‖.（35）

綜合不等式（34），（35）， 有

‖uk-uk-1‖≤2‖ω（1）k‖≤2（1+η）‖gk‖‖dk‖.

由于‖gk‖≥γ1， 故結(jié)合式（30）可得

∑+∞k=0‖uk-uk-1‖2≤" 4（1+η）2∑+∞k=0‖gk‖2‖dk‖2=4（1+η）2∑+∞k=0‖gk‖4‖

dk‖21‖gk‖2≤" 4（1+η）2γ21∑+∞k=0‖gk‖4‖dk‖2lt;+∞，（36）

證畢.

定理3" 如果f滿足假設(shè)（H1）～（H3）， {xk}由算法1生成， 則有

limk→+∞ inf‖gk‖=0.（37）

證明： 假設(shè)對(duì)任意的k≥1， 有‖gk‖≥γ1， 其中γ1gt;0. 根據(jù)假設(shè)（H2）中水平集的有界性可知， 存在正常數(shù)m， 使得‖x

k‖≤m（k≥0）， 因此有‖sk‖≤2m（k≥0）. 由Wolfe線搜索條件（26）和充分下降性可推出

dTkyk=gTk+1dk-gTkdk≥-（1-σ）

gTkdk≥c（1-σ）‖gk‖2≥c（1-σ）γ21，（38）

且有

gTk+1dk≥σgTkdk=σgTk+1dk-σdTkyk，（39）

gTk+1dk=dTky

k+gTkdklt;dTkyk.（40）

由式（39），（40）， 可得

gTkdk-1d

Tk-1yk-1≤maxσ1-σ，1.（41）

由假設(shè)（H3）知存在一個(gè)正常數(shù)γ2， 使得‖gk‖≤γ2， 從而可得

βk=gTkyk-1dTk-1y

k-1-a‖yk-1‖2sTk-1

yk-1gTksk-1dTk-1yk-1≤1dTk-1yk-1

gTkyk-1+a‖yk-1‖2gT

kdk-1dTk-1yk-1≤

1cγ21（1-σ）L‖gk‖‖sk-1‖+aL2‖sk-1‖2maxσ1-σ，1≤1cγ21（1-σ）Lγ2+2amL2maxσ1-σ，1‖s

k-1‖=N‖sk-1‖，

其中N=1cγ21（1-σ）Lγ2+2amL2maxσ1-σ，1， 可知Ngt;0.

令b=2Nm， τ=12N2m， 則有

βk≤b，" ‖sk-1‖≤2Nm=b，" ‖sk-1‖≤τ，

于是βk≤N12N2m=12Nm=b， 說(shuō)明βk具有文獻(xiàn)［16］中的性質(zhì)（*）. 根據(jù)‖gk‖≥γ

1， ∑+∞k=0（gTkdk）2‖dk‖2lt;+∞和充分下降性可知

‖dk‖→+∞，（42）

從而可推出

‖dk‖=‖-gk+β（2）kdk-1‖≤（1+η）‖gk‖≤（1+η）γ2.（43）

顯然式（43）與式（42）矛盾， 故式（37）成立. 證畢.

3" 數(shù)值實(shí)驗(yàn)

本文提出的算法1是通過(guò)修改CGOPT軟件包（http：//coa.amss.ac.cn/wordpress/？page_id1/421）實(shí)現(xiàn)的. 為檢驗(yàn)算法1的實(shí)際應(yīng)用效果， 本文對(duì)CUTEst

［11］中的113個(gè)問(wèn)題進(jìn)行測(cè)試， 并將測(cè)試的結(jié)果與NEWCG［17］和CGOPT進(jìn)行比較. 實(shí)驗(yàn)過(guò)程中的參數(shù)選取如下： ε=10-6， δ=0.1， σ=0.9，

ξ=10-3， c1=10-4， c2=1.080. 當(dāng)?shù)螖?shù)超過(guò)200 000或者‖gk‖∞≤10-6時(shí)， 所有測(cè)試

算法終止. 實(shí)驗(yàn)中， 分別對(duì)迭代次數(shù)、 目標(biāo)函數(shù)的計(jì)算次數(shù)、 梯度的計(jì)算次數(shù)和CPU運(yùn)行時(shí)間這4個(gè)重要指標(biāo)進(jìn)行測(cè)試， 并使用性能圖［18］對(duì)測(cè)試結(jié)果進(jìn)行比較.

下面以迭代次數(shù)的性能圖為例對(duì)性能圖的橫軸和縱軸做出解釋. 記為np個(gè)測(cè)試問(wèn)題組成的集合， S為測(cè)試的優(yōu)化算法組成的集合， Ip，s

為優(yōu)化算法s∈S求解問(wèn)題p∈所需的迭代次數(shù). 定義性能比rp，s=Ip，sI*p， 其中I*p=minI

p，s： s∈S， 顯然有rp，s≥1. 若算法s求解問(wèn)題p失敗， 則將rp，s設(shè)為一個(gè)很大的正數(shù). 定義

P（τ）=size{p∈： rp，s≤τ}np，

其中τ≥1， size{·}表示集合元素的個(gè)數(shù). 記I*={I*1，I*2，…，I*np}為S中的優(yōu)化算法求解每個(gè)問(wèn)題所需的最少迭代次數(shù)組成的集合， 則P（τ）表示算法s在集合I*的

τ倍內(nèi)能解的問(wèn)題數(shù)占問(wèn)題總數(shù)的比率， 于是在性能圖中最高的曲線表示該測(cè)試算法在最少迭代次數(shù)集的τ倍內(nèi)能求解的問(wèn)題最多.

圖1～圖4分別為測(cè)試算法的迭代次數(shù)、 函數(shù)值計(jì)算次數(shù)、 梯度計(jì)算次數(shù)和CPU時(shí)間的性能圖. 由圖1～圖4可見(jiàn)， 在迭代次數(shù)、 目標(biāo)函數(shù)的計(jì)算次數(shù)、 梯度的計(jì)算次數(shù)和CPU運(yùn)行

時(shí)間指標(biāo)上， 算法1都比CGOPT和NEWCG更有優(yōu)勢(shì). 特別地， 由圖1～圖3可見(jiàn)算法1的明顯優(yōu)勢(shì). 數(shù)值實(shí)驗(yàn)結(jié)果表明， 針對(duì)CUTEst庫(kù)［11］中的測(cè)試函數(shù)， 算法1優(yōu)于CGOPT和NEWCG.

綜上所述， 本文通過(guò)極小化3次正則化模型， 提出了一種新的Dai-Liao參數(shù)， 通過(guò)對(duì)函數(shù)性質(zhì)的分析得到一個(gè)參數(shù)t的自適應(yīng)選擇. 并結(jié)合改進(jìn)的Wolfe線搜索， 提出一種基于正則化模型

的Dai-Liao共軛梯度法. 該算法的搜索方向滿足充分下降性， 從而在一般假設(shè)條件下， 建立了該

算法的全局收斂性. 數(shù)值實(shí)驗(yàn)結(jié)果表明， 針對(duì)CUTEst庫(kù)［11］中的測(cè)試函數(shù)， 該算法優(yōu)于CGOPT和NEWCG兩種方法.

參考文獻(xiàn)

［1］" HESTENES M R， STIEFEL E. Methods of Conjugate Gradients for Solving Lin

ear Systems ［J］. Journal of Research of the National Bureau of Standards， 1952， 49（6）： 409-436.

［2］" FLETCHER R， REEVES C M. Function Minimization by Conjugate Gradients ［J］. The Computer Journal， 1964， 7（2）： 149-154.

［3］" POLAK E， RIBIERE G. Note Sur la Convergence de Méthodes de Directions Conjugu

ées ［J］. Revue Franaise D’Informatique et de Recherche Opérationnelle， Série Rouge， 1969， 3（16）： 35-43.

［4］" POLYAK B T. The Conjugate Gradient Method in Extreme Problems ［J］. USSR Computational Mathematical Physics， 1969， 9（4）： 94-112.

［5］" DAI Y H， YUAN Y X. A Nonlinear Conjugate Gradient Method with a Strong Global Convergence Property ［J］. SIAM Journal on Optimization， 1999， 10（1）： 177-182.

［6］" DAI Y H， LIAO L Z. New Conjugacy Conditions and Related Nonlinear Conjugate Gr

adient Methods ［J］. Applied Mathematics and Optimization， 2001， 43（1）： 87-101.

［7］" HAGER W W， ZHANG H C. A New Conjugate Gradient with Guaranteed Descent and an

Efficient Line Search ［J］. SIAM Journal on Optimization， 2005， 16（1）： 170-192.

［8］" DAI Y H， KOU C X. A Nonlinear Conjugate Gradient Algorithm with an Optimal Pr

operty and an Improved Wolfe Line Search ［J］. SIAM Journal on Optimization， 2013， 23（1）： 296-320.

［9］" PERRY A. A Class of Conjugate Gradient Algorithms with a Two-Step Variable Me

tric Memory ［EB/OL］. （1977-01-01）［2023-09-23］. https：//hdl.handle.net/10409/220629.

［10］" SHANNO D F. On the Convergence of a New Conjugate Grad

ient Algorithm ［J］. SIAM Journal on Numerical Analysis， 1978， 15（6）： 1247-1257.

［11］" GOULD N I M， ORBAN D， TOINT P L. CUTEst： A Constrained and Unconstrained Testing

Environment with Safe Threads for Mathematical Optimization ［J］. Compuational Optimization and Applications， 2015， 60： 545-557.

［12］" ZHAO T， LIU H W， LIU Z X. New Subspace Minimization Conjugate Gradient Methods

Based on Regularization Model for Unconstrained Optimization ［J］. Numerical Algorithms， 2021， 87： 1501-1534.

［13］" HSIA Y， SHEU R L， YUAN Y X. Theory and Application of p-Regularized Subproblems

for pgt;2 ［J］. Optimization Methods and Software， 2017， 32（5）： 1059-1077.

［14］" DAI Y H， KOU C X. A Barzilai-Borwein Conjugate Gradient Method ［J］. Science China Mathematics， 2016， 59： 1511-1524.

［15］nbsp; YUAN Y X. A Modified BFGS Algorithm for Unconstrained Optimization ［J］. IMA Journal Numerical Analysis， 1991， 11（3）： 325-332.

［16］" GILBERT J C， NOCEDAL J. Global Convergence Properties of Conjugate Gradient

Methods for Optimization ［J］. SIAM Journal on Optimization， 1992， 2（1）： 21-42.

［17］" ZHANG K K， LIU H W， LIU Z X. A New Dai-Liao Conjugate Gradient Method with

Optimal Parameter Choice ［J］. Numerical Functional Analysis and Optimization， 2019， 40（2）： 194-215.

［18］" DOLAN E D， MOR J J. Benchmarking Optimization Software with Performance Profiles ［J］. Mathematical Programming， 2002， 91（2）： 201-213.

（責(zé)任編輯： 李" 琦）