(燕山大學(xué)理學(xué)院 河北 秦皇島 066004)

一種基于新共軛梯度方法的滑動(dòng)平均模型參數(shù)估計(jì)優(yōu)化法

王美霞

(燕山大學(xué)理學(xué)院河北秦皇島066004)

基于非線性規(guī)劃的共軛思想，結(jié)合不同的共軛梯度法的優(yōu)勢(shì)，給出新的參數(shù)標(biāo)量以及搜索方向，從而提出一種改進(jìn)的共軛梯度法，并給出全局收斂性的證明?？紤]將模型參數(shù)估計(jì)轉(zhuǎn)換成無(wú)約束優(yōu)化問(wèn)題，然后利用改進(jìn)的共軛梯度法來(lái)修正原始的ARMA(p,q)模型的參數(shù)估計(jì)值，從而提高模型的預(yù)測(cè)精度，并給出數(shù)值算例，來(lái)驗(yàn)證改進(jìn)方法的有效性。

非線性規(guī)劃；共軛梯度法；全局收斂性；ARMA(p,q)模型；參數(shù)估計(jì)

在時(shí)間序列的統(tǒng)計(jì)分析中，平穩(wěn)時(shí)間序列是一類(lèi)重要的隨機(jī)序列，最常用的就是ARMA(p,q)模型，全稱(chēng)是自回歸移動(dòng)平均模型，簡(jiǎn)單記為ARMA(p,q)模型[1]是目前最常用的擬合平穩(wěn)序列的模型。1927年，英國(guó)統(tǒng)計(jì)學(xué)家G.U.Yule首先提出自回歸(autoregressive，AR)模型[2]。 1970年，Box與Jenkins聯(lián)合發(fā)表了專(zhuān)著《時(shí)間序列分析：預(yù)測(cè)和控制》[3]對(duì)時(shí)間序列方法以及應(yīng)用做了系統(tǒng)并且深入的論述。2003年，針對(duì)參數(shù)問(wèn)題，熊淵博[4]提出了對(duì)ARMA(p,q)模型的參數(shù)進(jìn)行分步估計(jì)的方法，此方法通過(guò)對(duì)AR(p)模型的兩次估計(jì)來(lái)達(dá)成ARMA(p,q)模型的參數(shù)估計(jì)，再利用實(shí)例證明該方法的有效性；2009年，范菁[5]針對(duì)如何提高模型的擬合精度的問(wèn)題，提出了三參數(shù)共軛梯度法，該方法是在原始共軛梯度法的原理上引入?yún)?shù)標(biāo)量來(lái)確保迭代步長(zhǎng)不小于零；同一年，鄭彩萍[6]等人將非線性時(shí)序模型的參數(shù)估計(jì)法中融入了阻尼最小二乘法，提出了對(duì)于原始模型的參系數(shù)的改進(jìn)方法，通過(guò)對(duì)t統(tǒng)計(jì)量的求解來(lái)驗(yàn)證改進(jìn)方法的有效性。

本文在現(xiàn)有文獻(xiàn)的基礎(chǔ)上，結(jié)合非線性規(guī)劃中的共軛思想，優(yōu)化ARMA(p,q)模型中的參數(shù)估計(jì)，提出一種新的共軛梯度法：MHS-DY法。

一、MHS-DY法

(一)共軛梯度法

對(duì)于無(wú)約束優(yōu)化問(wèn)題

minf(x),x∈Rn

(1)

函數(shù)f:Rn→R1是連續(xù)可微的。

共軛梯度法是介于最速下降法與牛頓法之間的一種方法，不僅避免了最速下降法收斂速度慢的缺點(diǎn)，還克服了牛頓法求海賽矩陣的不足，還具有二次終止性，因此在求解上述無(wú)約束優(yōu)化問(wèn)題時(shí)，共軛梯度法更為合適，此方法尤其適合求解維數(shù)n較大的問(wèn)題。主要迭代格式如下所示：

xk+1=xk+αkdk

(2)

其中，αk為步長(zhǎng)因子。dk為下降搜索方向。βk為標(biāo)量，標(biāo)量參數(shù)不同產(chǎn)生的共軛梯度法不同。 常見(jiàn)的共軛梯度法算法有：FR算法，DY算法，HS算法，PRP算法。其中，F(xiàn)R算法與DY算法收斂性較好，但是數(shù)值表現(xiàn)并沒(méi)有HS和PRP算法好，文獻(xiàn)[5]提出使參數(shù)的標(biāo)量滿足：

(3)

將該方法記為MHS算法，本文將結(jié)合MHS算法以及DY算法的優(yōu)越之處構(gòu)造出一種新的組合優(yōu)化方法即MHS-DY法。

(二)MHS-DY法

針對(duì)前文中提到的無(wú)約束優(yōu)化問(wèn)題(1)，引用文獻(xiàn)[5]中提到的含參數(shù)的共軛梯度法思想，公式(3)作為參數(shù)標(biāo)量，再結(jié)合DY算法的全局收斂性?xún)?yōu)勢(shì)，提出MHS-DY法：

(4)

其中

保證搜索方向?yàn)橄陆捣较?，綜合考慮搜索方向：

(5)

式中，dk滿足下降方向，并且不依賴(lài)任何線搜索。

二、基于新MHS-DY法的模型參數(shù)優(yōu)化算法

(一)目標(biāo)函數(shù)的確定

ARMA(p,q)模型結(jié)構(gòu)為：

Xt-φ1Xt-1-...-φpXt-p=εt-θ1εt-1-...-θqεt-q

移項(xiàng)

Xt=φ1Xt-1+…+φpXt-p+εt-θ1εt-1-…-θqεt-q

記為

其中

ω=[φ1，φ2，…φp,-θ1,-θ2,…-θq]T

考慮到ARMA(p,q)模型中Xt與ω之間是非線性關(guān)系，定義目標(biāo)函數(shù)為模型的殘差平方和：

(6)

由無(wú)約束優(yōu)化理論的數(shù)學(xué)模型得知，估計(jì)模型的參數(shù)ω的問(wèn)題就轉(zhuǎn)變成求使得S(ω)達(dá)到極小值的最優(yōu)解ω*。

(二)初值的確定

本文采取的是AP(p0)長(zhǎng)自回歸模型，其計(jì)算原理是：以模型的等價(jià)系統(tǒng)傳遞函數(shù)為入手點(diǎn)，同時(shí)將逆函數(shù)的概念加入其中，并運(yùn)用待定系數(shù)法得到如下公式：

(7)

(8)

(9)

(三)參數(shù)估計(jì)步驟

1)對(duì)于ARMA(p,q)模型，令p+q=m，參數(shù)初值結(jié)構(gòu)如下：

(10)

(11)

其中，

(12)

(13)

記為矩陣形式如下：

(14)

因此S0=S(ω0)，初始搜索方向d0=-g0，令k=0。

3)如果‖gk+1‖<ε，那么ωk+1就是極小值點(diǎn)，否則，進(jìn)行下一步。

4)若k=p，則ω0=ωk+1,S0=Sk+1,g0=gk+1,d0=-g0,k=0，然后轉(zhuǎn)向2)；否則，轉(zhuǎn)向5)。

6)若(dk+1)Tgk+1≥0，則重復(fù)操作4)，轉(zhuǎn)向2)；否則，k=k+1，轉(zhuǎn)向2)。

三、收斂性分析

假設(shè)：(1)水平集Ω={∈Rn|f(x)≤f(x0)}有界。

(2)函數(shù)f在Ω的某個(gè)鄰域Φ內(nèi)連續(xù)可微，并且g(x)滿足利普希茨連續(xù)條件，即?L>0，使得下式成立：

‖g(x1)-g(x2)‖≤L‖x1-x2‖,?x1,x2∈Φ

(15)

(16)

用反證法證明上述定理如下：

證明：假設(shè)結(jié)論不成立。已知?k>0,?ε>0,ε為常數(shù)，使(17)式成立

‖lk‖≥ε

(17)

由

(18)

(19)

由此得出：

(20)

四、實(shí)例分析

MHS-DY算法經(jīng)數(shù)值算例證實(shí)其在求解無(wú)約束問(wèn)題時(shí)同樣保持了良好的數(shù)值結(jié)果及收斂性，可將ARMA(p,q)模型的參數(shù)優(yōu)化問(wèn)題轉(zhuǎn)換成無(wú)約束優(yōu)化問(wèn)題進(jìn)一步求解，本文引用文獻(xiàn)[5]中的算例(數(shù)據(jù)如表1所示)進(jìn)一步檢驗(yàn)本文算法的實(shí)用性。前100個(gè)數(shù)據(jù)用于模型的預(yù)測(cè)，101～103用于模型檢驗(yàn)，利用MHS-DY算法對(duì)ARMA(1,1)模型進(jìn)行參數(shù)估計(jì)，此時(shí)，初值β0=(1,0.5)，令δ=0.01，σ=0.1，同時(shí)利用Matlab[12]軟件做編程，經(jīng)過(guò)五次迭代后結(jié)果如下：

ω5=(0.8673,0.4898)T

模型結(jié)構(gòu)為：

xt=0.8673xt-1+εt-0.4898εt-1

利用MHS-DY算法改進(jìn)后的參數(shù)模型預(yù)測(cè)結(jié)果見(jiàn)表2

表1 平穩(wěn)序列

表2 預(yù)測(cè)結(jié)果對(duì)比

注：n 的值表示平穩(wěn)序列中第n個(gè)數(shù)。

五、結(jié)論

本文的核心思想是將模型的參數(shù)估計(jì)問(wèn)題轉(zhuǎn)換成無(wú)約束優(yōu)化問(wèn)題進(jìn)行研究，參考文獻(xiàn)[5]的思想上提出了一種新的共軛梯度法MHS-DY算法并運(yùn)用該算法優(yōu)化ARMA(p,q)模型參數(shù)，詳細(xì)的證明了此方法具有全局收斂性以及充分下降性。最后，用實(shí)例進(jìn)行驗(yàn)證分析，結(jié)果表明優(yōu)化后的模型有更好的擬合效果。

[1]王燕.應(yīng)用時(shí)間序列分析[M].北京:中國(guó)人民大學(xué)出版社,2005.145-147.

[2]S.Andreas.Weigend and A.Neil Gershenfeld.Time Series Prediction:Forecasting the future and Understanding the Past,eds.Reading,MA:Addison-Welsley,1993

[3]G.E.P.Box,G.N.Jenkins and G.C.Reinsel著.時(shí)間序列分析預(yù)測(cè)與控制.顧嵐主譯.北京:中國(guó)統(tǒng)計(jì)出版社,1997:45-49

[4]ARMA模型參數(shù)的分步估計(jì)方法[J].湖南大學(xué)學(xué)報(bào)(自然科學(xué)版),2003,30(2):12-13.

[5]范菁.ARMA模型的兩種共軛梯度參數(shù)估計(jì)法及ARIMAX模型的應(yīng)用[D].燕山大學(xué),2009.

王美霞(1991-)，女，漢族，河北唐山人，碩士，燕山大學(xué)，最優(yōu)化理論。

)