王 堃，鄭 晨，張立中，陳志剛

(1．中南大學(xué)計算機學(xué)院，湖南 長沙 410083；2．國網(wǎng)寧夏電力有限信息通信公司，寧夏 銀川 753000)

1 引言

隨著人民生活水平的日益提高，電力企業(yè)的業(yè)務(wù)規(guī)模在不斷增長，目前的系統(tǒng)運維水平已難以支撐多變的業(yè)務(wù)場景和問題。為了提高運維效率，許多研究人員開始致力于電力企業(yè)智能化運維研究[1]。時間序列的預(yù)測分析是其中重要的一環(huán)。目前，時間序列預(yù)測已經(jīng)在工業(yè)環(huán)境中有了諸多經(jīng)典的應(yīng)用案例，如運用自回歸AR(Auto Regressive)模型[2]、滑動平均MA(Moving Average)模型[3]或自回歸滑動平均ARMA(Auto Regressive Moving Average)[4]模型進行負(fù)載預(yù)測。它融合了趨勢性、季節(jié)性等時間序列結(jié)構(gòu)的先驗知識，對單一線性時間序列具有良好的預(yù)測性能。但是在現(xiàn)實場景中，內(nèi)存等性能指標(biāo)有著毛刺多、陡升陡降的特點。在預(yù)測這類復(fù)雜的時間序列數(shù)據(jù)方面,傳統(tǒng)方法無法利用時間相關(guān)的特征，難以捕捉數(shù)據(jù)間的復(fù)雜模式。

近年來，在主機負(fù)載預(yù)測方面，國內(nèi)外的研究人員已經(jīng)開展了廣泛的研究,并提出了一些行之有效的預(yù)測方案。文獻[5]將ARIMA(Auto Regressive Integrated Moving Average)模型與分類回歸樹CART(Classification And Regression Tree)[6]相結(jié)合，采用了加權(quán)最小二乘法[7]和邊界判定[8]進行優(yōu)化，模型組合的方式彌補了自回歸模型無法擬合非線性信息的缺陷，大大提高了預(yù)測精度。這些方法反映出自回歸預(yù)測模型不斷完善、融合和創(chuàng)新的過程。

然而，這些方法的一個關(guān)鍵問題是誤差積累。在常見的統(tǒng)計學(xué)和機器學(xué)習(xí)方法中，大多數(shù)模型采用了滾動預(yù)測的策略。在預(yù)測過程中，將上一步的預(yù)測結(jié)果作為下一步預(yù)測模型的輸入，這種誤差的累積效應(yīng)造成了數(shù)據(jù)的預(yù)測性能隨著預(yù)測距離的增加而急劇下降。因此，在優(yōu)化時間序列預(yù)測模型結(jié)構(gòu)中，如何在減少誤差積累的同時提高預(yù)測性能已成為當(dāng)前研究的重要課題之一。文獻[9]在多步預(yù)測的基礎(chǔ)上，通過徑向基函數(shù)RBF(Radial Basis Functoin)神經(jīng)網(wǎng)絡(luò)利用歷史預(yù)測誤差對未來時刻預(yù)測值進行修正，既解決了誤差累積問題，也提高了預(yù)測準(zhǔn)確性。文獻[10]中的殘差遞歸神經(jīng)網(wǎng)絡(luò)R2N2(Residual RNN)將傳統(tǒng)的AR模型視為初始預(yù)測變量，并使用遞歸神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)估計殘差，從其實驗結(jié)論可以看出，對殘差的補償大大提高了時間序列預(yù)測的準(zhǔn)確性。這2個方法為本文提供了研究思路。

在上述工作的基礎(chǔ)上，本文提出了基于誤差補償?shù)闹芷谛訟RIMA——SARIMA-LSTM(Seasonal Auto Regressive Integrated Moving Average-Long Short-Term Memory)預(yù)測模型。首先,建立周期性ARIMA模型SARIMA將時間序列進行周期性分解，然后分開預(yù)測。周期預(yù)測采用解離出的周期波動值，趨勢預(yù)測使用ARIMA模型。對于SARIMA模型的預(yù)測誤差，本文采取了誤差自回歸預(yù)測的方法分析歷史誤差與未來誤差的關(guān)聯(lián)性。最終周期分量、ARIMA趨勢預(yù)測分量及誤差補償預(yù)測分量集成后得到預(yù)測結(jié)果。

2 方法與模型

對于給定的時間序列X={x1,x2,…,xn}，xi(1≤j≤n)表示n時刻時間序列的觀測值。本文建立的誤差補償負(fù)載預(yù)測模型主要是以時間序列X為輸入預(yù)測出n～n+v時刻數(shù)據(jù)值，并在一定程度上克服誤差累積效應(yīng),其中v表示預(yù)測時間步長。具體技術(shù)原理將在2.1節(jié)和2.2節(jié)詳細闡述。

2.1 SARIMA模型

ARIMA模型[11]是一種基于時間序列的預(yù)測方法,它由ARMA模型發(fā)展而來，用于解決實際生產(chǎn)環(huán)境中非平穩(wěn)數(shù)據(jù)的預(yù)測問題[12],例如經(jīng)濟領(lǐng)域內(nèi)的GDP和進出口額等數(shù)據(jù)[13]。ARIMA模型的主要思想是通過差分方法消去序列的局部水平或者趨勢，再將差分后的序列應(yīng)用到ARMA模型中，借此來實現(xiàn)非平穩(wěn)時間序列的預(yù)測。ARIMA的建模公式如式(1)所示：

(1)

其中,yt代表時間序列X差分后在當(dāng)前時刻t的值；μ表示常數(shù)值;p和q分別表示AR模型和MA模型的階數(shù);et表示誤差值;γi表示自相關(guān)系數(shù);θi表示相關(guān)系數(shù)[14]。

在此基礎(chǔ)上的SARIMA模型考慮了周期性因素的影響，是指一種預(yù)測周期性時間序列的模型。為了消除時間序列中的周期變動因素，一般采用STL(Seasonal and Trend decomposition using Loess)分解等方法進行趨勢解離、預(yù)測[15]。其變化周期用s表示。周期為s的乘積SARIMA模型建模公式如式(2)和式(3)所示:

(2)

(3)

SARIMA的建模流程包括：數(shù)據(jù)預(yù)處理、周期性檢驗、平穩(wěn)性檢驗、差分、BIC(Bayesian Information Criterion)準(zhǔn)則[16]定階、建模求參和殘差檢驗。其中，周期性檢驗是SARIMA建模的重中之重，通過時序圖觀測法獲得周期值s，如圖1所示，橫坐標(biāo)為1天的24小時，多條線段代表不同日期內(nèi)每天的負(fù)載值變化趨勢。觀察發(fā)現(xiàn),9點到18點存在2個明顯的波峰曲線，即存在明顯周期變化趨勢，周期值為12小時。本文采取ADF(Augmeted Dickey-Fuller)檢驗[17]，實驗數(shù)據(jù)經(jīng)過一階差分就滿足了平穩(wěn)性要求。

Figure 1 Daily periodogram of memory load time series圖1 內(nèi)存負(fù)載時間序列的日周期圖

2.2 LSTM模型

LSTM網(wǎng)絡(luò)[18]，又叫長短期記憶網(wǎng)絡(luò)，是遞歸神經(jīng)網(wǎng)絡(luò)RNN的一種變體，主要是為了解決在訓(xùn)練RNN網(wǎng)絡(luò)時存在的梯度爆炸和梯度消失問題。這些問題會造成特征輸入RNN時,較早時間步的信息無法傳遞到較遠的時間步中，使得整個網(wǎng)絡(luò)可能遺漏掉極為重要的信息。

LSTM的核心在于它建立了一條貫穿所有時間步的信息流，通過門控機制控制每個時間步信息在信息流中的保留與刪除。整體的模型結(jié)構(gòu)如圖2所示。LSTM在循環(huán)單元中采用了復(fù)雜的計算公式，其中最重要的核心結(jié)構(gòu)被稱為細胞狀態(tài)(Cell State)。細胞狀態(tài)是貫穿LSTM單元的信息流，在圖2中用Ct-1到Ct的直線箭頭流表示。

Figure 2 Structure of LSTM model圖2 LSTM模型結(jié)構(gòu)

下面詳細介紹LSTM單元的具體結(jié)構(gòu)：

(1)遺忘門(Forget Gate)。

在LSTM單元中，首先決定細胞要遺忘哪些信息。將上一單元的隱藏狀態(tài)ht-1和當(dāng)前單元的輸入序列xt輸入遺忘門，經(jīng)過sigmoid函數(shù)后生成輸出向量ft,其分量取值在[0,1]。向量中分量的值為0時，表示Ct-1的信息完全不保留；為1時，表示Ct-1的信息完全保留,具體如式(4)所示：

ft=σ(Wf·[ht-1,xt]+bf)

(4)

其中,σ(·)為神經(jīng)網(wǎng)絡(luò)中的sigmoid激活函數(shù)，Wf表示權(quán)重參數(shù)。

(2)輸入門(Input Gate)。

(5)

it=σ(Wi·[ht-1,xt]+bi)

(6)

其中,tanh表示神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，WC和Wi表示權(quán)重參數(shù)，bC和bi表示偏置參數(shù)。

(3)更新門(Update Gate)。

經(jīng)過遺忘門和輸入門后，確定了丟棄和更新的信息。接著對細胞狀態(tài)進行更新操作，得到Ct,具體如式(7)所示：

(7)

(4)輸出門(Output Gate)。

更新細胞狀態(tài)后，首先通過sigmoid函數(shù)處理輸入的ht-1和xt，得到判斷條件向量ot。然后，使細胞狀態(tài)Ct經(jīng)過tanh函數(shù)，得到每個分量取值為[-1,1]的向量值，該向量與ot相乘，得到LSTM單元的輸出ht，具體如式(8)和式(9)所示：

ot=σ(Wo[ht-1,xt]+bo)

(8)

ht=ot*tanh(Ct)

(9)

其中，Wo表示權(quán)重系數(shù)，bo表示偏置系數(shù)。

綜上所述，LSTM通過其內(nèi)部門控機制和模型循環(huán)結(jié)構(gòu)，實現(xiàn)了具有長短期記憶的時間序列數(shù)據(jù)處理模型。

2.3 SARIMA-LSTM模型

ARIMA模型被廣泛應(yīng)用于設(shè)備狀態(tài)預(yù)測中，通過差分方法處理非平穩(wěn)數(shù)據(jù)，挖掘出歷史數(shù)據(jù)與預(yù)測數(shù)據(jù)的函數(shù)關(guān)系，實現(xiàn)數(shù)據(jù)預(yù)測并推測出置信區(qū)間。但是，傳統(tǒng)的ARIMA在進行多步預(yù)測時，存在誤差累積現(xiàn)象，難以滿足預(yù)測精度的要求。為此，本文提出了SARIMA-LSTM模型，首先，通過STL分解建立SARIMA模型;然后,對其進行誤差補償分析，利用誤差數(shù)據(jù)訓(xùn)練LSTM神經(jīng)網(wǎng)絡(luò)；訓(xùn)練完成后，利用現(xiàn)有歷史誤差數(shù)據(jù)預(yù)測未來誤差；最后，結(jié)合SARIMA模型的預(yù)測值和LSTM的誤差補償值得到指標(biāo)值未來12小時的預(yù)測值。

SARIMA-LSTM模型的建模流程如圖3所示。首先，進行數(shù)據(jù)預(yù)處理，刪除無關(guān)指標(biāo)項后，取內(nèi)存值每小時的均值作為該小時的指標(biāo)值；然后，依據(jù)數(shù)據(jù)缺失狀況，采用K最近鄰插值法對數(shù)據(jù)進行補全；最后，輸出SARIMA-LSTM模型預(yù)測結(jié)果。

Figure 3 Flow chart of SARIMA-LSTM modeling圖3 SARIMA-LSTM建模流程圖

2.4 模型評價指標(biāo)

本文的評價指標(biāo)采用相對均方誤差RMSE(Root Mean Square Error)[19]和決定系數(shù)R2[20]。均方根誤差RMSE對一組預(yù)測結(jié)果中的極大或極小誤差比較敏感，它可以反映出預(yù)測的精密度和整體偏差大小。RMSE值越小，代表模型預(yù)測越準(zhǔn)確。決定系數(shù)是用來衡量預(yù)測結(jié)果與真實樣本之間的相似程度，正常值處于[0,1]，結(jié)果越接近于1說明預(yù)測模型的擬合效果越好。2個指標(biāo)的計算公式分別如式(10)和式(11)所示：

(10)

(11)

3 實驗與分析

本文將提出的SARIMA-LSTM模型應(yīng)用于寧夏電力公司財務(wù)應(yīng)用服務(wù)器的內(nèi)存負(fù)載數(shù)據(jù)，采樣間隔為5 min。本文的所有方法基于Python3.8實現(xiàn)，實驗環(huán)境采用Windows10，AMD Ryzen 5 3550H with Radeon Vega Mobile Gfx 2.10 GHz，16 GB內(nèi)存。神經(jīng)網(wǎng)絡(luò)使用PyTorch 1.4.0+cu92實現(xiàn)。

3.1 實驗數(shù)據(jù)與參數(shù)

建模過程的數(shù)據(jù)信息如表1所示。

首先對實驗數(shù)據(jù)進行周期性檢驗，根據(jù)周期情況進行STL分解，得到周期分量和趨勢分量(包含隨機部分)。周期分量作為周期預(yù)測部分加入模型預(yù)測值中。在趨勢分量上，建立ARIMA模型預(yù)測趨勢部分，通過StateModels方法得到歷史數(shù)據(jù)預(yù)測誤差。在其基礎(chǔ)上，建立LSTM訓(xùn)練集及測試集。輸入LSTM模型進行訓(xùn)練。最后將周期預(yù)測值、趨勢預(yù)測值和誤差預(yù)測值累加在一起，得到多步預(yù)測結(jié)果。最終的預(yù)測公式如式(12)所示：

Table 1 Information of modeling data表1 建模數(shù)據(jù)信息

(12)

Table 2 Parameters of LSTM model表2 LSTM模型參數(shù)

3.2 數(shù)據(jù)預(yù)處理

圖4所示是2020年3月1日內(nèi)存負(fù)載的波動變化圖。圖4a采樣間隔為5 min，數(shù)據(jù)上下波動劇烈;圖4b時間間隔為1 h，數(shù)值取每小時均值，數(shù)據(jù)波動平穩(wěn)。對比可以發(fā)現(xiàn),數(shù)據(jù)經(jīng)過歸并后，消除了影響預(yù)測的數(shù)據(jù)抖動，又保留了大體趨勢。

Figure 4 Memory load time series of 5-minute and 1-hour intervals圖4 5 min間隔和1 h間隔內(nèi)存負(fù)載時間序列

3.3 實驗及結(jié)果分析

使用SARIMA-LSTM模型對預(yù)處理后的內(nèi)存負(fù)載時間序列進行訓(xùn)練和預(yù)測，預(yù)測誤差絕對值變化如圖5所示。

Figure 5 Variation of absolute prediction error圖5 絕對預(yù)測誤差變化

從圖5可以發(fā)現(xiàn)，ARIMA在進行前1～6步預(yù)測時，誤差較小，在6～12步時誤差值急劇上升，絕對誤差最大值為0.332 97，其預(yù)測效果需進一步提高。對ARIMA進行周期補償后，SARIMA模型前半段誤差增大，后半段的誤差顯著減小，整體多步預(yù)測效果相對于ARIMA提升不大。因此得出結(jié)論:SARIMA可以有效減少誤差累積，但周期變化會影響短期預(yù)測精度。而從圖像上看，SARIMA-LSTM模型前12步的絕對誤差值都小于0.2，整體預(yù)測性能高于其他模型。由此可見，SARIMA-LSTM能夠較好地權(quán)衡長期和短期預(yù)測效果，使得一段時間內(nèi)的整體預(yù)測結(jié)果有顯著提升。

如表3所示，本文采用不同評價指標(biāo)綜合比較不同模型的預(yù)測性能。在RMSE值上，ARIMA模型、SARIMA模型和SARIMA-LSTM模型的RMSE值分別為0.170 7,0.162 0和0.117 6，ARIMA的多步預(yù)測誤差最大，相比之下SARIMA-LSTM誤差下降了0.0531，這說明SARIMA-LSTM模型的誤差補償方法顯著提升了模型的預(yù)測效果。在R2值上，SARIMA-LSTM模型的R2值為0.564 6，在3種預(yù)測模型中數(shù)值最接近1，這反映出SARIMA-LSTM模型的擬合效果最好，優(yōu)于其他模型。

Table 3 Comparison of indicators of different models

除了模型預(yù)測性能的比較以外，本文還利用SARIMA-LSTM模型的預(yù)測結(jié)果生成了內(nèi)存負(fù)載的動態(tài)閾值區(qū)間。如圖6所示，本文利用置信理論生成陰影區(qū)間，表示未來這一預(yù)測時間段的指標(biāo)值有95%的可能性處于該區(qū)域內(nèi)。首先，從真實值和預(yù)測值之間的對比效果來看，本文模型可以準(zhǔn)確地預(yù)測內(nèi)存負(fù)載在白天業(yè)務(wù)高峰期7點～18點的波動變化。其次，將95%置信區(qū)間作為閾值區(qū)間后，可以發(fā)現(xiàn)正常的指標(biāo)值波動處于閾值區(qū)間內(nèi)時不會觸發(fā)報警。而實際內(nèi)存負(fù)載超出了該區(qū)間，說明發(fā)生了概率為5%的內(nèi)存異常事件，系統(tǒng)通知運維人員進行設(shè)備運行狀態(tài)檢查。這種利用服務(wù)器內(nèi)存歷史數(shù)據(jù)預(yù)測并估算設(shè)備運行指標(biāo)動態(tài)閾值的方法，可以提高設(shè)備故障的預(yù)知能力，充分提升運維監(jiān)控和故障搶修工作的主動性，提高了運維效率。

Figure 6 Prediction results of SARIMA-LSTM圖6 SARIMA-LSTM預(yù)測結(jié)果

4 結(jié)束語

本文借鑒了時間序列預(yù)測方向應(yīng)用廣泛的預(yù)測模型以及誤差補償?shù)那把厮惴夹g(shù)，提出了一種基于LSTM誤差補償?shù)碾娋W(wǎng)主機負(fù)載預(yù)測模型——SARIMA-LSTM模型。在綜合分析了電網(wǎng)主機負(fù)載數(shù)據(jù)的波動性和周期性后，建立SARIMA模型對時間序列趨勢、周期進行分開預(yù)測，再利用 LSTM誤差補償模型對SARIMA預(yù)測誤差進行自回歸分析。實驗數(shù)據(jù)中，以內(nèi)存負(fù)載數(shù)據(jù)為例，驗證了本文所提出的模型在電網(wǎng)運維場景中的準(zhǔn)確性和有效性。本文的未來研究工作如下：

(1)預(yù)測指標(biāo)項。值得注意的是，本文的預(yù)測指標(biāo)項為主機內(nèi)存負(fù)載數(shù)據(jù)。業(yè)界常用的設(shè)備運行狀態(tài)指標(biāo)還有CPU負(fù)載數(shù)據(jù)。下一步可以考慮進行多元時間序列預(yù)測，提高預(yù)測模型的穩(wěn)定性和準(zhǔn)確性。

(2)實時性。智能電網(wǎng)建立在集成、高速的雙向網(wǎng)絡(luò)上，需要運維人員能夠及時地發(fā)現(xiàn)問題甚至是預(yù)測問題。所以，需要在保證預(yù)測精度的情況下，降低預(yù)測模型的計算消耗，提高運算速度。

(3)自動化。電力運維系統(tǒng)逐步向高集成化、高智能化發(fā)展，先進的自動化系統(tǒng)可以實時調(diào)取歷史資料信息，建立信息分析平臺，防范未知風(fēng)險。未來，先進的設(shè)備監(jiān)控技術(shù)、信息決策技術(shù)、智能調(diào)度技術(shù)將在智能電網(wǎng)領(lǐng)域發(fā)揮巨大作用。