高凱悅,牟 莉,張英博

(西安工程大學(xué) 計算機科學(xué)學(xué)院,西安 710048)

多元時間序列是指以相同間隔按指定采樣率對某過程進行采集的一組變量,且按時間先后順序排列. 在實際處理多元時間序列時,需要分析各變量之間潛在的復(fù)雜關(guān)系和變化規(guī)律,才能對其做出有效預(yù)測. 但現(xiàn)有方法常因為多元時間序列復(fù)雜的變化規(guī)律難以捕捉,所以導(dǎo)致預(yù)測精度較低. 如何對其做出有效預(yù)測,成為國內(nèi)外諸多學(xué)者關(guān)注的問題.

早期傳統(tǒng)多元時間序列預(yù)測方法主要采用灰色模型[1]、自回歸綜合移動平均模型(ARMA)[2]、自回歸移動平均模型(ARIMA)[3]等. 這些方法雖然結(jié)構(gòu)簡單,但都屬于線性方法,不能較好反映時間序列中非線性因素的影響. 為了克服這一缺陷,人們將神經(jīng)網(wǎng)絡(luò)引入對多元時間的序列的預(yù)測. 例如,Meng 等人[4]使用BP 神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對股價走勢的預(yù)測. 這種模型可以較好反映出多元時間序列中非線性因素對結(jié)果的影響,但無法聯(lián)系多元時序數(shù)據(jù)間的潛在的內(nèi)部關(guān)聯(lián). 鄧玉婧等人[5]采用了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)實現(xiàn)了對航班客座率的預(yù)測,證明了RNN 神經(jīng)網(wǎng)絡(luò)在時序預(yù)測方面的有效性,這種模型可以解決無法聯(lián)系多元時序數(shù)據(jù)關(guān)系的缺點,但在預(yù)測較長序列時經(jīng)常會出現(xiàn)梯度爆炸的缺陷,使模型無法從訓(xùn)練數(shù)據(jù)中得到較高的學(xué)習(xí)效率. 廖志偉等人[6]使用LSTM 神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對短期電煤價格預(yù)測,這種模型在RNN 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了不同的門控單元來實現(xiàn)長期信息記憶功能,成功減緩了RNN 神經(jīng)網(wǎng)絡(luò)梯度爆炸問題. 周莽等人[7]使用GRU 神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對短期電力負荷的預(yù)測,這種模型是LSTM 模型的一種流行變體,不僅同樣可以克服RNN 模型梯度爆炸問題,其結(jié)構(gòu)較LSTM 模型還更為簡易,更易訓(xùn)練. BiLSTM 神經(jīng)網(wǎng)絡(luò)作為近年來神經(jīng)網(wǎng)絡(luò)中的新型模型[8,9],它創(chuàng)新性地將一個正向LSTM模型和一個反向LSTM 模型相結(jié)合,實現(xiàn)了特征之間潛在關(guān)系的雙向挖掘. 與LSTM 相比,BiLSTM 模型在預(yù)測多元時序序列時,其預(yù)測精度明顯提高. 江知航等人[10]使用BiLSTM 神經(jīng)網(wǎng)絡(luò)對棉花價格進行了預(yù)測,但沒有考慮多維特征與預(yù)測目標的相關(guān)性以及無關(guān)特征對預(yù)測結(jié)果的影響,導(dǎo)致預(yù)測精度并未大幅提升. 陳宇韶等人[11]在預(yù)測股票價格前使用了PCC 相關(guān)系數(shù),在龐雜多維特征中分析出與預(yù)測目標高度相關(guān)的特征,消除了無關(guān)特征對預(yù)測結(jié)果的影響,降低了模型復(fù)雜度的同時有效地改善了最終的預(yù)測效果.

基于以上,為了更有效地對多元時序序列進行預(yù)測,本文將PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法進行了探討和驗證. 具體來說,該方法首先利用PCC 相關(guān)系數(shù)對輸入特征進行篩選,刪除無關(guān)變量,避免無關(guān)變量對結(jié)果精度的影響. 其次使用BiLSTM神經(jīng)網(wǎng)絡(luò)雙向獲取輸入特征之間潛在的關(guān)聯(lián)關(guān)系. 最后使用GRU 神經(jīng)網(wǎng)絡(luò)融合Attention 機制,進一步深入學(xué)習(xí)雙向時序特征的變化規(guī)律,更精準的捕獲關(guān)鍵時刻的信息以及非線性動力系統(tǒng)的復(fù)雜變化規(guī)律. 為了驗證此方法在多元時間序列中的預(yù)測效果,本文以股票價格預(yù)測[12–15]為實驗場景,以各模型的平均絕對百分比誤差值和決定系數(shù)值作為衡量標準進行對比實驗,驗證結(jié)果表明,相比于其他5 種模型,PCC-BiLSTMGRU-Attention 組合模型的預(yù)測方法擬合程度更高,預(yù)測效果更好.

1 PCC-BiLSTM-GRU-Attention 組合預(yù)測模型

1.1 PCC 相關(guān)系數(shù)

根據(jù)文獻[16]可知,在預(yù)測多元時間序列前,建立初始化指標體系后進行相關(guān)性篩選可以有效減少的數(shù)據(jù)復(fù)雜度和無關(guān)變量對預(yù)測結(jié)果的影響. Cai 等人[17]根據(jù)PCC 相關(guān)系數(shù)計算出變量間的相關(guān)程度來刪除冗余變量. 因此本文選擇PCC 相關(guān)系數(shù)對實驗進行特征選擇,PCC 相關(guān)系數(shù)的公式為:

其中,rX,Y為變量X,Y的相關(guān)系數(shù),Xi為自變量,Yi為因變量. 變量的相關(guān)程度可由相關(guān)系數(shù)的絕對值表示,具體如表1 所示.

表1 相關(guān)程度

1.2 BiLSTM 神經(jīng)網(wǎng)絡(luò)

BiLSTM 神經(jīng)網(wǎng)絡(luò)由兩個LSTM 神經(jīng)網(wǎng)絡(luò)疊加組成[18]. LSTM 神經(jīng)網(wǎng)絡(luò)是另一種RNN 神經(jīng)網(wǎng)絡(luò),在處理時間序列方面具備顯著優(yōu)勢[19],它具有遺忘門、輸入門、輸出門和細胞狀態(tài)等部分,其結(jié)構(gòu)如圖1 所示.細胞狀態(tài)用來存儲和傳遞時序特征信息,3 種門結(jié)構(gòu)在訓(xùn)練過程中會學(xué)習(xí)如何去保存、遺忘和輸出時序特征信息[20]. 這種結(jié)構(gòu)使得在LSTM 神經(jīng)網(wǎng)絡(luò)中早期單元的特征信息一樣可以傳遞至后期單元的細胞狀態(tài)中,實現(xiàn)了LSTM 神經(jīng)網(wǎng)絡(luò)可長時間記憶特征信息的優(yōu)勢.

圖1 LSTM 神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)圖

其中,Wf、Wi、Wc、Wo和bf、bi、bc、bo分別對應(yīng)各門結(jié)構(gòu)的權(quán)重矩陣與偏置,其運行原理首先是遺忘門通過式(2)計算當(dāng)前細胞狀態(tài)需要遺忘的信息ft,然后輸入門通過式(3)計算當(dāng)前細胞狀態(tài)需要存放的信息it,并通過式(4)、式(5)在tanh 層中創(chuàng)建候選值加入到細胞狀態(tài)中并且將單元狀態(tài)從Ct?1更新為Ct,最后輸出門通過式(6)、式(7)計算出當(dāng)前LSTM 單元的輸出ht.

圖2 是BiLSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,它由一個前向LSTM 計算層一個為后向LSTM 計算層. 這種結(jié)構(gòu)可對時序序列關(guān)系進行較長時間的雙向挖掘,提取雙向時序特征.

圖2 BiLSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 GRU 神經(jīng)網(wǎng)絡(luò)

GRU 神經(jīng)網(wǎng)絡(luò)對LSTM 內(nèi)部進行了有效簡化,引入了重置門、更新門的概念,這使其在保留原LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測效果的同時變得更易訓(xùn)練[21],其結(jié)構(gòu)如圖3 所示.

圖3 GRU 神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)圖

其中,Xt代表當(dāng)前時刻的輸入,ht?1代表上一時刻GRU 單元的隱藏狀態(tài),ht代表當(dāng)前GRU 單元計算出的隱藏狀態(tài),Wr、Wh、Wz和br、bh、bz為各門結(jié)構(gòu)對應(yīng)的權(quán)重矩陣和偏置,GRU 神經(jīng)網(wǎng)絡(luò)單元的運行原理首先是通過式(8)計算出重置門的取值,再通過式(9)計算候選狀態(tài). 若重置門取值接近0,則候選值會選擇忽略前一個隱藏狀態(tài)的信息,這有效地使隱藏狀態(tài)具有丟棄不相關(guān)的特征信息的能力. 計算出候選值后,通過式(10)使更新門控制特征信息需要傳遞多少信息至當(dāng)前隱藏狀態(tài),實現(xiàn)了單元的長期記憶功能,最后通過式(11)計算出當(dāng)前隱藏狀態(tài)的最終值.

1.4 Attention 注意力機制

Attention 機制通過不同特征對于預(yù)測結(jié)果影響的大小來為神經(jīng)網(wǎng)絡(luò)中的隱藏單元賦予不同權(quán)重,使對預(yù)測結(jié)果有突出影響的因素獲得更高關(guān)注,為后續(xù)再次處理數(shù)據(jù)提供更好的參考[22–24],大大減少了對資源的消耗,提高了預(yù)測精度,其結(jié)構(gòu)具體如圖4 所示.

圖4 Attention 機制網(wǎng)絡(luò)結(jié)構(gòu)圖

其中,W、b為權(quán)重系數(shù)和偏置系數(shù),hi為GRU 神經(jīng)網(wǎng)絡(luò)中t時刻中輸出的第i個隱藏單元狀態(tài)值. Attention機制首先根據(jù)GRU 神經(jīng)網(wǎng)絡(luò)輸出每個隱層單元的值hi計算式(12)后得到每個隱層單元的得分ei,再通過式(13)對注意力得分值進行歸一化,最終計算式(14)將歸一化后的得分值ai和隱層單元hi進行加權(quán)求和得到t時刻這一時間步長內(nèi)的隱藏層狀態(tài)值ct.

1.5 PCC-BiLSTM-GRU-Attention 組合預(yù)測模型

PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法主要由6 個階段構(gòu)成,具體層級結(jié)構(gòu)如圖5 所示.

圖5 PCC-BiLSTM-GRU-Attention 組合模型預(yù)測方法的層級結(jié)構(gòu)

(1)PCC 相關(guān)系數(shù): 將原始數(shù)據(jù)中的自變量逐一與預(yù)測的因變量進行PCC 相關(guān)性分析,刪除與因變量無關(guān)的特征,具體表示為:

其中,Xi表示某時刻中的第i天的輸入序列,xi為第i個特征值,N為未降維選優(yōu)時的總特征數(shù),n為降維后的總特征數(shù).p為某時刻第i天的預(yù)測值,未經(jīng)過篩選時Xi可表示為式(15),經(jīng)過PCC 相關(guān)性分析篩選出不相關(guān)的特征后,Xi可表示為式(16).

(2)輸入層: 將經(jīng)過特征值篩選后的特征以及因變量作為本文模型的輸入,在t時刻中的輸入序列具體為:

其中,Xt為t時刻的輸入序列,T為時間步數(shù).

(3)BiLSTM 層: 在前向?qū)又休斎胝騒t序列[X1,···,Xi,···,XT]T計算出該層第i個輸出的隱藏狀態(tài),在后向?qū)又休斎敕聪騒t序列[XT,···,Xi,···,X1]T計算出該層第i個輸出的隱藏狀態(tài):

其中,通過式(18)使用對應(yīng)t時刻的輸入序列Xt、第i–1 個輸入時間步的前向LSTM 層中的隱藏單元狀態(tài)以及第i–1 個輸入時間步的前向LSTM 層中的細胞狀態(tài),計算出在t時刻的前向LSTM 層中第i個輸出的隱藏狀態(tài). 通過式(19)使用對應(yīng)t時刻的輸入序列Xt、第i+1 個輸入時間步的后向LSTM 層中的隱藏單元狀態(tài)以及第i+1 個輸入時間步的后向LSTM層中的細胞狀態(tài)計算出在t時刻的后向LSTM 層中第i個輸出狀態(tài),通過式(20)計算出BiLSTM 層在t時刻的第i個隱藏單元狀態(tài)值,將式(21)中Ht最終作為t時刻上提取的雙向時序序列.

(4)GRU: 將BiLSTM 層中輸出的雙向時序序列Ht作為GRU 層的輸入序列進行進一步學(xué)習(xí):

其中,記hi為t時刻中第i個GRU 層的隱層狀態(tài),式(23)中ht為最終在t時刻上GRU 層的隱層狀態(tài).

(5)Attention 機制: 將GRU 層輸出的隱層狀態(tài)ht作為Attention 機制的輸入,每個隱層單元的得分ei、歸一化后得分ai和最終Attention 層輸出ct由式(12)–式(14)計算而來.

(6)輸出層: 選擇Sigmoid函數(shù)作為激活全連接層的函數(shù),輸出最終t時刻最終預(yù)測值,記作yt:

2 實驗分析

2.1 數(shù)據(jù)來源

本文選取某銀行從2006 年1 月5 日至2019 年6 月5 日這一時段內(nèi)所有交易日的股指數(shù)據(jù)作為實驗數(shù)據(jù)集. 采集數(shù)據(jù)主要包括: 開盤價、最高價、最低價、漲幅率、振幅率、總手數(shù)、交易金額、換手率、成交次數(shù)和收盤價,最終將股票收盤價作為目標變量.此數(shù)據(jù)集大且全面,具有多元特性,在連續(xù)的時間序列上呈現(xiàn)一定的變化規(guī)律. 本文將數(shù)據(jù)集選取前80%的數(shù)據(jù)為訓(xùn)練集,后20%的數(shù)據(jù)為測試集.

2.2 數(shù)據(jù)預(yù)處理

本文對數(shù)據(jù)的預(yù)處理分為兩個步驟,歸一化和特征數(shù)據(jù)的降維選優(yōu):

(1)為了消除特征參數(shù)之間數(shù)值與單位的差異性,以對每個特征進行同等對待,本文對原始特征數(shù)據(jù)進行歸一化處理來提升預(yù)測精度,歸一化公式如下:

其中,min代表特征x在時序序列中的最小值,max代表在時序序列中的最大值.

(2)將歸一化后的特征數(shù)據(jù)進行PCC 相關(guān)性分析.如表2 可以看出各特征與股票收盤價的PCC 相關(guān)程度,為了消除無關(guān)變量對模型預(yù)測帶來的噪聲影響,決定選取開盤價、最高價、最低價、總手數(shù)、交易金額和成交次數(shù)這些具有相關(guān)性的因素作為神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù),刪除無關(guān)因素來實現(xiàn)對特征數(shù)據(jù)的降維選優(yōu).

表2 不同特征與股票價格的相關(guān)系數(shù)

2.3 參數(shù)設(shè)置

基于本文提出方法訓(xùn)練中的優(yōu)化目標為平均絕對百分比誤差MAPE最小化,即決定采用Adam 優(yōu)化算法對模型中的權(quán)重進行迭代更新. 模型各參數(shù)選用經(jīng)驗數(shù)據(jù)且通過多次實驗進行調(diào)整,最終確定BiLSTM神經(jīng)網(wǎng)絡(luò)層的隱層節(jié)點個數(shù)為64 個,GRU 神經(jīng)網(wǎng)絡(luò)層的隱層節(jié)點個數(shù)為16 個,迭代次數(shù)為100 次,batchsize 大小為64,滑動窗口長度為5,學(xué)習(xí)率為0.01.

2.4 評價指標

本文選用的評價指標為平均絕對百分比誤差(MAPE)和決定系數(shù)(R2score)兩種指標來評價模型的優(yōu)劣性,兩種指標公式如下:

其中,n為樣本個數(shù),ytrue(i)為i時刻的實際值,ypre(i)為i時刻的預(yù)測值.MAPE的值代表預(yù)測值與真實值產(chǎn)生的誤差值與真實值之間的比例,當(dāng)比例越接近0%時,表明預(yù)測誤差越小.R2score的值表示預(yù)測值曲線與真實值曲線的擬合優(yōu)度,當(dāng)R2score的值越接近1 時擬合優(yōu)度越好.

2.5 多模型對比

為了驗證PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法的預(yù)測性能,將該方法與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU- Attention 等神經(jīng)網(wǎng)絡(luò)模型放在股票價格預(yù)測場景中進行對比實驗,觀察不同模型對某銀行測試集的預(yù)測效果. 為了減少結(jié)果中的偶然因素對各神經(jīng)網(wǎng)絡(luò)精度的影響,本文對每種神經(jīng)網(wǎng)絡(luò)進行了多次實驗,記錄下每種模型在測試集預(yù)測的最優(yōu)結(jié)果,實驗結(jié)果如表3 所示.

表3 不同神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果對比

從表3 可觀察到,PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法在MAPE與決定系數(shù)兩種評估指標上計算的結(jié)果均優(yōu)于其他神經(jīng)網(wǎng)絡(luò). 該方法的MAPE指標為2.484%,與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU-Attention 等神經(jīng)網(wǎng)絡(luò)相比,其MAPE指標分別下降了7.285%、5.462%、5.369%、2.216%、0.372%. 該方法的決定系數(shù)指標為0.966,與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU-Attention 等神經(jīng)網(wǎng)絡(luò)進行對比后,決定系數(shù)分別提高了0.343、0.268、0.208、0.028、0.02,由此可見,實驗的結(jié)果驗證了PCCBiLSTM-GRU-Attention 組合模型的預(yù)測方法可以有效提高對多元時間序列的預(yù)測. 此外,將PCC-BiLSTMGRU-Attention 組合模型的預(yù)測方法與BiLSTM-GRUAttention 神經(jīng)網(wǎng)絡(luò)模型相比較,MAPE指標降低了0.372%,決定系數(shù)提高了0.02,證明了使用PCC 相關(guān)性系數(shù)剔除無關(guān)變量可有效減少其對預(yù)測精度的影響.將BiLSTM-GRU-Attention 神經(jīng)網(wǎng)絡(luò)模型與BiLSTMGRU 神經(jīng)網(wǎng)絡(luò)模型相比較,MAPE指標降低了1.844%,決定系數(shù)提高了0.008,證明了Attention機制神經(jīng)網(wǎng)絡(luò)的加入能夠有效捕捉關(guān)鍵時刻的信息. 圖6 為PCCBiLSTM-GRU-Attention 組合模型的預(yù)測方法與其他模型的預(yù)測結(jié)果圖,可以看出該方法相較于其他模型預(yù)測的結(jié)果同真實值的波動更為擬合.

圖6 不同模型預(yù)測結(jié)果圖

3 結(jié)論

本文將PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法進行了探討和驗證. 該方法首先利用PCC 相關(guān)系數(shù)將特征數(shù)據(jù)進行篩選,刪除冗余無關(guān)特征對實驗結(jié)果精度的影響,實現(xiàn)多元數(shù)據(jù)的降維選優(yōu). 其次選取BiLSTM 神經(jīng)網(wǎng)絡(luò)雙向?qū)W習(xí)時序序列的變化規(guī)律,再使用GRU 融合Attention 機制進一步深度學(xué)習(xí)雙向時序特征的變化規(guī)律,同時更精準的捕獲關(guān)鍵時刻的信息,最后通過全連接層輸出最后預(yù)測值. 本文結(jié)合PCC 相關(guān)系數(shù)、BiLSTM 神經(jīng)網(wǎng)絡(luò)、GRU 神經(jīng)網(wǎng)絡(luò)、Attention 機制進一步提高了對多元時序序列的預(yù)測精度. 將該方法通過實驗與BP、LSTM、GRU、BiLSTMGRU、BiLSTM-GRU-Attention 五種模型進行對比,驗證結(jié)果表明,PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測方法在MAPE和決定系數(shù)兩種指標上有顯著優(yōu)勢,與真實值具有更高的擬合性,實際預(yù)測精度最佳.