張宗華，張海全，魏 馳，牛新征

(1.南京南瑞集團(tuán)公司 流程與信息管理中心，南京 211106； 2.南京南瑞集團(tuán)公司 流程與信息管理中心建設(shè)部,南京 211106； 3.電子科技大學(xué) 信息與軟件工程學(xué)院，成都 610054； 4.電子科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,成都 611731)

?

基于加權(quán)改進(jìn)的AR模型的負(fù)載預(yù)測研究

張宗華1，張海全2，魏 馳3，牛新征4

(1.南京南瑞集團(tuán)公司 流程與信息管理中心，南京 211106； 2.南京南瑞集團(tuán)公司 流程與信息管理中心建設(shè)部,南京 211106； 3.電子科技大學(xué) 信息與軟件工程學(xué)院，成都 610054； 4.電子科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,成都 611731)

負(fù)載預(yù)測在故障管理中有著十分重要的作用，通過對CPU負(fù)載以及內(nèi)存使用率的預(yù)測可以對系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控，預(yù)知未來時(shí)間段資源的可用性，發(fā)出異常告警；文中提出一種加權(quán)改進(jìn)的自回歸模型，通過對最小二乘法求出的參數(shù)進(jìn)行加權(quán)處理，結(jié)合時(shí)間序列分析理論，建立一個(gè)負(fù)載預(yù)測模型，用于CPU負(fù)載和內(nèi)存使用率的預(yù)測；實(shí)驗(yàn)證明，對AR模型的參數(shù)進(jìn)行加權(quán)的方法優(yōu)化了參數(shù)估計(jì)，預(yù)測誤差減小了60%～80%。

負(fù)載預(yù)測；時(shí)間序列；自回歸模型；最小二乘法

0 引言

負(fù)載預(yù)測主要用于資源管理以及故障管理，實(shí)時(shí)監(jiān)控，對異常情況進(jìn)行告警。國內(nèi)外相關(guān)研究成果采用過下列方法：時(shí)間序列[1]、神經(jīng)網(wǎng)絡(luò)[2]、支持向量機(jī)[3]、集成學(xué)習(xí)[4]等。神經(jīng)網(wǎng)絡(luò)模型適用于處理信息模糊以及因素條件較多的情況但它存在局部極小點(diǎn)的問題。支持向量機(jī)雖然能夠避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇以及局部極小點(diǎn)的問題但目前還沒有成熟的方法來選擇理想的參數(shù)。集成學(xué)習(xí)則需要通過多次的訓(xùn)練得到預(yù)測函數(shù)。而時(shí)間序列在國內(nèi)外應(yīng)用研究最為廣泛，如天氣預(yù)報(bào)、股價(jià)指數(shù)預(yù)測、機(jī)械故障預(yù)測等，時(shí)間序列預(yù)測未來結(jié)果跟現(xiàn)在、過去的各個(gè)因素有較強(qiáng)的聯(lián)系，數(shù)據(jù)處理簡單，效果較好。它是選取過去時(shí)間段內(nèi)的一段歷史數(shù)據(jù)，依據(jù)對該數(shù)據(jù)的分析計(jì)算來預(yù)測未來時(shí)刻的數(shù)值。時(shí)間序列預(yù)測需要使用某種模型來對未來數(shù)據(jù)進(jìn)行預(yù)測。自回歸模型(AR)[1]常用來預(yù)測各種自然現(xiàn)象，滑動(dòng)平均模型(MA)[5]通過最近一組時(shí)間序列，逐次推移計(jì)算，得到未來趨勢，自回歸滑動(dòng)平均模型(ARMA)[6]由自回歸模型和滑動(dòng)平均模型迭加形成，差分自回歸滑動(dòng)平均模型(ARIMA)[7]形式跟ARMA類似。PeterA.Dinda[7]等人對幾種模型進(jìn)行了評估，實(shí)驗(yàn)結(jié)果證明，自回歸的預(yù)測效果最好。其建模簡單，容易實(shí)現(xiàn)。除此之外，自回歸模型穩(wěn)定，而且計(jì)算復(fù)雜度較低，計(jì)算速度快，消耗的運(yùn)行時(shí)間比其他模型少。通過對AR模型的進(jìn)一步研究，發(fā)現(xiàn)國內(nèi)外將AR模型應(yīng)用于多種領(lǐng)域的預(yù)測，例如，功率譜估計(jì)、股票價(jià)格預(yù)測、主機(jī)負(fù)載預(yù)測等。

本文將AR模型用于負(fù)載預(yù)測中，使用AIC準(zhǔn)則確定模型的階數(shù)，然后通過最小二乘的方法估計(jì)AR模型的參數(shù)，再選取一個(gè)權(quán)值矩陣來對參數(shù)進(jìn)行優(yōu)化，改進(jìn)傳統(tǒng)的AR模型誤差得到了大幅度減少。

1 負(fù)載預(yù)測模型

基于加權(quán)改進(jìn)的AR預(yù)測模型如圖1所示。

圖1 負(fù)載預(yù)測模型

其中，X1到Xk是前k個(gè)時(shí)間序列值，經(jīng)過加權(quán)優(yōu)化的最小二乘AR模型后得到下一個(gè)時(shí)刻的預(yù)測值Xk+1。

自回歸模型是最常用的一種線性模型，它使用歷史的輸出數(shù)據(jù)來預(yù)測未來的數(shù)據(jù)。

AR模型表示[8]：

(1)

(2)

其中:X為時(shí)間序列，an是白噪聲，φi(i=1，2…p)是AR模型的參數(shù)，該參數(shù)是通過某一種參數(shù)估計(jì)的方式得出。

在使用觀測記錄得到的數(shù)據(jù)進(jìn)行預(yù)測前，由于數(shù)據(jù)波動(dòng)過大，直接使用在AR模型上效果不佳，所以需要對數(shù)據(jù)進(jìn)行預(yù)處理。常用的預(yù)處理方法有差分法[9]和數(shù)據(jù)標(biāo)準(zhǔn)化[10]，本文將兩種方法結(jié)合來對數(shù)據(jù)做預(yù)處理，消除數(shù)據(jù)的趨勢性以及平滑數(shù)據(jù)。

1.1 負(fù)載預(yù)測模型階數(shù)的確定

AR模型定階的方法有FPE準(zhǔn)則[11]、 BIC準(zhǔn)則[12]、AIC準(zhǔn)則[13-14]，本文選取AIC準(zhǔn)則來確定AR模型的階數(shù)。赤池信息準(zhǔn)則(AIC)是日本統(tǒng)計(jì)學(xué)家赤池弘次提出的。AIC準(zhǔn)則簡便且易實(shí)現(xiàn)，減少了繁瑣的步驟，方便了模型的建立。雖然AIC準(zhǔn)則在數(shù)學(xué)表達(dá)式上是簡單的，但它卻能解決復(fù)雜的模型建立問題。

AIC準(zhǔn)則函數(shù)：

AIC=nloge+2p

(3)

其中:p為AR模型的階數(shù)，p∈(1-n)，n為時(shí)間序列的個(gè)數(shù)，e為方差系數(shù)。

利用循環(huán)求解各個(gè)p值對應(yīng)的AIC值，從中選取最小的AIC值所對應(yīng)的p值，并使用該p值作為AR模型的階數(shù)來完成后面的建模步驟。

1.2 負(fù)載預(yù)測模型的參數(shù)估計(jì)

為了建立加權(quán)最小二乘AR模型，除了模型的定階以外，還需要求出AR模型的參數(shù)φi(i=1，2…p)。參數(shù)估計(jì)的方法有兩大類，分別為直接法和間接法。本文先采用直接法中的最小二乘法進(jìn)行參數(shù)估計(jì)，然后再選取加權(quán)矩陣來優(yōu)化參數(shù)估計(jì)。

1.2.1 最小二乘參數(shù)估計(jì)

最小二乘法的精度高，參數(shù)估計(jì)無偏差，而且簡單易實(shí)現(xiàn)，也是最常用的一種參數(shù)估計(jì)的方法。

對于最小二乘的矩陣形式[15]：

(4)

其中，

(5)

(6)

(7)

p為AIC準(zhǔn)則確定的AR模型階數(shù)，X為時(shí)間序列，φ為需要求解的參數(shù)，n為時(shí)間序列的個(gè)數(shù)。

(8)

1.2.2 加權(quán)優(yōu)化參數(shù)估計(jì)

采用最小二乘法進(jìn)行參數(shù)估計(jì)雖然簡單方便，但是它只是考慮了Y的觀測值中所含有的誤差，這樣會(huì)導(dǎo)致估計(jì)出的參數(shù)也存在一定誤差，本文選取加權(quán)矩陣[16]的方法來優(yōu)化最小二乘法的參數(shù)估計(jì)，可消除異方差，改善誤差情況。

此處我們選取殘差的平方來構(gòu)建一個(gè)對角矩陣作為權(quán)值矩陣。

(9)

(10)

e為使用最小二乘參數(shù)估計(jì)得出的誤差值，W為選取的權(quán)值矩陣，β為加權(quán)最小二乘參數(shù)估計(jì)。加權(quán)優(yōu)化后的參數(shù)值見表1和表2。

表1 CPU負(fù)載數(shù)據(jù)加權(quán)優(yōu)化后的參數(shù)

表2 部分內(nèi)存使用率數(shù)據(jù)加權(quán)優(yōu)化后的參數(shù)

1.3 誤差計(jì)算

建模完成后，為了對比加權(quán)最小二乘法參數(shù)估計(jì)的AR模型與傳統(tǒng)的一階AR模型，本文采用平均絕對誤差(MeanAbsoluteError)[17]來求解誤差。這種方法比平均誤差更好，更能反映預(yù)測值的誤差情況，因?yàn)樗苊饬苏?fù)誤差的相互抵消的情況。

ei=Fi-Xi

(11)

(12)

其中:Fi表示第i個(gè)預(yù)測值，Xi表示第i個(gè)觀測數(shù)據(jù)，ei表示第i個(gè)預(yù)測值的誤差，MAE為平均絕對誤差。

算法1:加權(quán)最小二乘AR模型算法。

1)通過SNPM協(xié)議取出不同時(shí)間點(diǎn)不同CPU以及內(nèi)存的情況并生成時(shí)間序列，獲取數(shù)據(jù)后對數(shù)據(jù)進(jìn)行差分和標(biāo)準(zhǔn)化的預(yù)處理；

2)通過AIC準(zhǔn)則求出最小的AIC對應(yīng)的p值作為模型的階數(shù)；

3)用最小二乘法求解出AR模型的參數(shù)φ，再選取一個(gè)權(quán)值矩陣對參數(shù)進(jìn)行優(yōu)化，得到優(yōu)化后的AR模型參數(shù)β。

4)將參數(shù)帶入AR模型的表達(dá)式，得到預(yù)測值。

5)進(jìn)行誤差計(jì)算。

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證該負(fù)載預(yù)測模型的可行性以及優(yōu)化性，實(shí)驗(yàn)使用matlab進(jìn)行仿真，分別對CPU負(fù)載以及內(nèi)存使用率進(jìn)行預(yù)測。CPU負(fù)載的數(shù)據(jù)采取在4個(gè)不同編號的CPU上進(jìn)行觀測，每5分鐘記錄一次。內(nèi)存使用率的數(shù)據(jù)來源于4個(gè)不同資源ID在不同時(shí)刻的內(nèi)存使用情況。實(shí)驗(yàn)用小型機(jī)配置參數(shù)表見表3。

表3 實(shí)驗(yàn)用小型機(jī)配置參數(shù)

2.1 數(shù)據(jù)預(yù)處理結(jié)果

在對模型定階求參數(shù)之前先對數(shù)據(jù)進(jìn)行預(yù)處理，少量原始數(shù)據(jù)與預(yù)處理數(shù)據(jù)對比表見表4和表5。預(yù)處理后的數(shù)據(jù)波動(dòng)范圍得到了減小。

表4 CPU負(fù)載數(shù)據(jù)預(yù)處理結(jié)果

表5 內(nèi)存使用率數(shù)據(jù)預(yù)處理結(jié)果

2.2 CPU負(fù)載預(yù)測結(jié)果

選取第一組CPU負(fù)載數(shù)據(jù)分別使用一階AR模型和加權(quán)最小二乘AR模型對CPU觀測值進(jìn)行擬合，擬合結(jié)果如圖2～3。

圖2 CPU負(fù)載AR(1)擬合圖

圖3 CPU負(fù)載WLS+AR擬合圖

從擬合效果圖中我們可以看出，經(jīng)過改進(jìn)后的模型能夠更準(zhǔn)確的預(yù)測波動(dòng)很大的數(shù)據(jù)點(diǎn)，擬合效果得到改善。

由于CPU負(fù)載序列的數(shù)據(jù)量太大，從擬合效果圖中不能清楚的看到預(yù)測效果。所以，我們提取一部分的預(yù)測值進(jìn)行的對比，效果如圖4。

圖4 AR(1)與WLS+AR負(fù)載預(yù)測對比

從預(yù)測對比圖中我們可以看出一階AR模型的預(yù)測值和實(shí)際的觀測值偏差稍大，而經(jīng)過參數(shù)優(yōu)化后的AR模型，也就是加權(quán)最小二乘參數(shù)估計(jì)的AR模型，其預(yù)測值的趨勢跟實(shí)際觀測值一致，誤差也比一階AR模型小很多。

2.3 內(nèi)存使用率預(yù)測結(jié)果

分別使用一階AR模型和加權(quán)最小二乘參數(shù)估計(jì)的AR模型對內(nèi)存使用率進(jìn)行擬合，其擬合結(jié)果如圖5～6。擬合效果圖表明，加權(quán)改進(jìn)后的模型預(yù)測更精準(zhǔn)。

圖5 內(nèi)存使用率AR(1)擬合圖

圖6 內(nèi)存使用率WLS+AR擬合圖

使用一階AR模型和加權(quán)最小二乘AR模型預(yù)測內(nèi)存使用率的情況如圖7。對比圖顯示，改進(jìn)后的模型幾乎能精準(zhǔn)預(yù)測每個(gè)值。

圖7 AR(1)與WLS+AR內(nèi)存預(yù)測對比

2.4 精度估計(jì)

2.4.1CPU負(fù)載預(yù)測誤差

通過對四組CPU負(fù)載數(shù)據(jù)分別采用AR(1)、最小二乘參數(shù)估計(jì)的AR以及加權(quán)最小二乘參數(shù)估計(jì)的AR進(jìn)行預(yù)測，計(jì)算得出的誤差對比見表5。

表5 CPU負(fù)載預(yù)測誤差

2.4.2 內(nèi)存使用率預(yù)測誤差

通過對四組不同內(nèi)存使用率的數(shù)據(jù)進(jìn)行3種方法的預(yù)測，計(jì)算出誤差對比見表6。

表6 內(nèi)存使用率預(yù)測誤差

從表5和表6中我們可以發(fā)現(xiàn)，經(jīng)過加權(quán)改進(jìn)后的AR模型在進(jìn)行CPU負(fù)載預(yù)測和內(nèi)存使用率預(yù)測時(shí)，平均絕對誤差下降了很多，證明該模型的精確度更高。

2.5 負(fù)載模型的實(shí)際應(yīng)用結(jié)果

通過將負(fù)載預(yù)測算法模型運(yùn)用在自動(dòng)化運(yùn)維監(jiān)控系統(tǒng)上，預(yù)測出CPU負(fù)載以及內(nèi)存負(fù)載在未來時(shí)刻的數(shù)值，效果如圖8和圖9。

圖8 自動(dòng)化運(yùn)維監(jiān)控系統(tǒng)CPU預(yù)測

圖9 自動(dòng)化運(yùn)維監(jiān)控系統(tǒng)內(nèi)存預(yù)測

3 結(jié)束語

本文采用加權(quán)最小二乘法來進(jìn)行AR模型的參數(shù)估計(jì)，相比一階AR模型，改善后的模型對不同的測試數(shù)據(jù)能求出最適合的階數(shù)，從而使預(yù)測更精準(zhǔn)。相比使用最小二乘法進(jìn)行參數(shù)估計(jì)，加權(quán)最小二乘AR模型消除了異方差，預(yù)測效果得到了改善。由于每組CPU負(fù)載的數(shù)據(jù)以及內(nèi)存使用率的數(shù)據(jù)存在一定的差別，所以每組數(shù)據(jù)預(yù)測出來的誤差也存在一定差異，但差別較小。從實(shí)驗(yàn)中可得加權(quán)最小二乘AR模型在負(fù)載預(yù)測上的效果要明顯優(yōu)于傳統(tǒng)一階AR模型。

[1]GeorgeEPBox,GwilymM.Jenkins,GregoryC.Reinsel,TimeseriesAnalysis:ForecasingandControl[M].Wiley，2008.

[2] 楊 立,左 春,王裕國.保險(xiǎn)洪災(zāi)損失預(yù)測模型[J].計(jì)算機(jī)學(xué)報(bào)，2005， 17(11)：2523-2529.

[3] 姜慧研,宗 茂,劉相瑩.基于ACO-SVM的軟件缺陷預(yù)測模型的研究[J].計(jì)算機(jī)學(xué)報(bào)，2011，34(6)：1148-1154.

[4] 張春霞,張講社.選擇性集成學(xué)習(xí)算法綜述[J].計(jì)算機(jī)學(xué)報(bào)，2011，34(8)：1139-1410.

[5] 張善文, 雷英杰, 馮有前.MATLAB在時(shí)間序列分析中的應(yīng)用[M]. 西安：西安電子科技大學(xué)出版社,2007.

[6] 胡澤文,肖明清.基于時(shí)間序列模型的故障預(yù)測研究[J].計(jì)算機(jī)測量與控制，2013，21(6)：1421-1427.

[7] 付繼文.分布式環(huán)境中的性能預(yù)測方法[D].上海：上海交通大學(xué)，2013.

[8]MohammadMirzavand&RezaGhazavi,AStochasticModellingTechniqueforGroundwaterLevelForecastinginanAridEnvironmentUsingTimeSeriesMethods[J].WaterResourManage，2015，29：1315-1328.

[9]DingyuYang,JianCao,ChengYu,JingXiao,AMulti-step-aheadCPULoadPredictionApproachinDistrubted[A]. 2012SecondInternationalConferenceonCloudandGreenComputing[C]. 2012，206-213.

[10] 馬立平.統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化—無量綱化方法[J].北京統(tǒng)計(jì)，2000，3(121)：34-35.

[11] 楊書玲,李艷斌.基于AR模型的載頻測量[J].無線電工程，2006，36(9)：23-25.

[12]FrancescoFusco,JohnV.Short-TermWaveForecastingwithARmodelsinReal-TimeOptimalControlofWaveEnergyConverters[A].IndustrialElectronics(ISIE), 2010IEEEInternationalSymposiumon[C]. 2010，2475-2480.

[13]MahmoodKarimi,FiniteSampleAICForAutoregressiveModelOrder[A].IEEEInternationalConferenceonSignalProcessingandCommunications[C]. 2007，24-27.

[14] 魏峰遠(yuǎn), 郭繼發(fā), 李衛(wèi)賢. 基于AIC準(zhǔn)則的回歸方法在建筑物變形分析中的應(yīng)用[J]. 工程勘察，2007，7：46-52.

[15] 劉書靜, 羅海勇,吳 彬,等. 基于最小二乘測距定位算法信標(biāo)最優(yōu)部署模型[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，36(3)：546-556.

[16] 任 杰,劉家瑛,白 蔚,等.基于隱形式分段自回歸模型的圖像插值算法[J]．軟件學(xué)報(bào)，2012，23(5)：1248-1259.

[17]CPULoadPredictionUsingSupportVectorRegressionandKalmanSmootherforCloud[A].IEEEInternationalConferenceonDistributedComputingSystemsWorkshops[C]. 2013，88-92.

Load Prediction Based on an Improved AR Model with Weighting

Zhang Zonghua1, Zhang Haiquan2, Wei Chi3, Niu Xinzheng4

(1.NARI Group Corporation, Nanjing 211106, China; 2.NARI Group Corporation, Nanjing 211106, China; 3.School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu 610054,China; 4.School of Computer Science and Engineering, University of Electronic Science and Technology of China,Chengdu 611731,China)

Load prediction is very important in fault management, forecasting CPU load and memory usage can monitor the system in time, and it can know if the resource is available in the future, then give the malfunction alarm. This article came up with an improved AR model for load prediction, it based on the parameters of least square with weighting and combined with time series theory to build load prediction model. The model can predict CPU load and memory usage. The results prove that the method of weighting has optimized parameters and the prediction error has reduced 60%～80%.

load prediction; time series; AR model; least square method

2015-10-01；

2015-11-11。

張宗華(1977-), 男, 四川成都人, 工程師, 碩士, 主要從事電力信息化研究、建設(shè)工作方向的研究。

1671-4598(2016)03-0248-04DOI：10.16526/j.cnki.11-4762/tp

TP

A