楊 驀, 王 靜

(西北農(nóng)林科技大學(xué) 經(jīng)濟(jì)管理學(xué)院,陜西 楊陵 712100)

0 引言

對股票市場的準(zhǔn)確預(yù)測可以為投資者提供投資參考,提高金融市場的運(yùn)行效率。然而,股票市場是一個復(fù)雜的、非線性的、有噪聲的、動態(tài)的系統(tǒng),因此很難對其進(jìn)行準(zhǔn)確的預(yù)測。一方面,許多因素影響股票市場的價(jià)格,因此有必要解決外部屬性之間的相關(guān)性問題。另一方面,股票市場的內(nèi)部變化是不規(guī)則的,容易受到外部屬性的影響。特別是在進(jìn)行長期預(yù)測時,外部影響會加劇股價(jià)的波動,因此很難提取股價(jià)隨時間變化的關(guān)系。然而,目前大多數(shù)方法只在股指的短期預(yù)測中取得良好的效果。在神經(jīng)網(wǎng)絡(luò)上分配注意力權(quán)重已經(jīng)出現(xiàn)在各種任務(wù)中,如文本翻譯、圖像識別等。主要原因是注意力機(jī)制可以自適應(yīng)地聚焦于特征的信息部分,減少不必要的特征,釋放運(yùn)行內(nèi)存,從而提高擬合數(shù)據(jù)時的模型精度。

1 相關(guān)工作

傳統(tǒng)時間序列模型是最早被用于股票價(jià)格預(yù)測的一類模型,如DEVI等利用四家股票數(shù)據(jù)驗(yàn)證了ARIMA模型的預(yù)測準(zhǔn)確性[1]。傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)模型刻畫金融時間序列時假設(shè)具體的模型,但是高噪聲、非線性的動態(tài)金融時間序列數(shù)據(jù)不能通過參數(shù)方程來描述,導(dǎo)致了傳統(tǒng)時間序列模型的局限性。

機(jī)器學(xué)習(xí)模型為股市建模和預(yù)測提供了一種新的方法。淺層機(jī)器學(xué)習(xí)模型可以從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計(jì)規(guī)律。然而,在有限樣本和計(jì)算單元的情況下,淺層學(xué)習(xí)結(jié)構(gòu)對于復(fù)雜函數(shù)的表示能力是有限的。相反,深度學(xué)習(xí)可以通過構(gòu)建隱藏層多、訓(xùn)練數(shù)據(jù)量大的模型,實(shí)現(xiàn)復(fù)雜函數(shù)逼近、提高預(yù)測的精度,如RATHER等使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)預(yù)測六只股票回報(bào)率,并使用遺傳算法為模型生成最優(yōu)權(quán)重,得到了準(zhǔn)確的預(yù)測性能[2]。HOSEINZADE和 HARATIZADEH構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)CNN,預(yù)測S&P500、納斯達(dá)克等指數(shù)走勢,發(fā)現(xiàn)CNN的預(yù)測性能比基線算法有顯著提高[3]。ZULQARNAIN等使用門控遞歸單元(GRU)層捕捉長期信號相關(guān)性,在恒生指數(shù)HSI、德國DAX和S&P 500三個股票指數(shù)數(shù)據(jù)集上評估模型,發(fā)現(xiàn)基于GRU-CNN方法的預(yù)測準(zhǔn)確率最高[4]。

HOCHRITER提出的長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)是近年來最流行的模型之一,因?yàn)樗梢酝ㄟ^門結(jié)構(gòu)緩解RNN造成的梯度消失和爆炸。近年來,許多基于LSTM的研究興起。FISCHER和KRAUSS驗(yàn)證了LSTM在股指預(yù)測上相對于隨機(jī)森林模型、DNN等的更高精度[5]。雙向長短期記憶神經(jīng)網(wǎng)絡(luò)由兩個相反方向的LSTM模型組成,在大范圍時間序列數(shù)據(jù)學(xué)習(xí)中具有顯著優(yōu)勢。SIAMI等發(fā)現(xiàn)BiLSTM額外的數(shù)據(jù)訓(xùn)練過程提供了比標(biāo)準(zhǔn)LSTM更好的預(yù)測效果[6]。

特征選擇是指選擇原始輸入變量的子集,這些輸入變量通常是技術(shù)或基本指標(biāo)。由于所選擇的輸入子集可以更好地表示數(shù)據(jù)集的原始特征,因此使用其構(gòu)造模型可以提高準(zhǔn)確性和效率。主成分分析(PCA)是數(shù)據(jù)降維的有效方法之一。

注意力機(jī)制逐漸被應(yīng)用到時間序列預(yù)測中,因?yàn)檫@種方法可以學(xué)習(xí)動態(tài)的時空關(guān)系,并為屬性賦予不同的權(quán)重。其中,空間注意力權(quán)重是指屬性對預(yù)測結(jié)果的影響。CHEN等提出了空間注意力機(jī)制與BiLSTM相結(jié)合的混合模型,其中注意力機(jī)制對關(guān)鍵特征賦予更高的權(quán)重,從而獲得了較好的準(zhǔn)確性[7]。

此外,由于培訓(xùn)不穩(wěn)定和梯度消失問題,LSTM無法記住非常長期的相互依存關(guān)系。時間注意力機(jī)制可以緩解這一問題,該機(jī)制對神經(jīng)網(wǎng)絡(luò)模塊的隱藏狀態(tài)進(jìn)行加權(quán),以確保動態(tài)地、選擇性地獲得所有時間相關(guān)性。SHIH等提出了基于時間模式的注意力機(jī)制,不僅可以在同一時間步長內(nèi),而且可以在多個時間步長內(nèi)學(xué)習(xí)變量之間的相互依賴關(guān)系[8]。

本文的主要貢獻(xiàn)包括以下幾個方面:首先,分析了基于注意力機(jī)制的時空關(guān)系,并將其應(yīng)用于股指收盤價(jià)的多步預(yù)測。其次,利用BiLSTM對股指進(jìn)行預(yù)測,探究在LSTM的基礎(chǔ)上加入反向LSTM層對預(yù)測的效果。第三,提出了兩種基于注意力機(jī)制的BiLSTM模型,可以學(xué)習(xí)數(shù)據(jù)的時空關(guān)系,提高BiLSTM模型的性能。

2 理論框架

2.1 長短期記憶神經(jīng)網(wǎng)絡(luò)

長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM(long short term memory)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò),由Hochreiter和Schmidhuber提出。它在傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)上添加了記憶存儲(Cell)和門結(jié)構(gòu)(Gates),Cell(Ct)用于記錄神經(jīng)元狀態(tài),門可以實(shí)現(xiàn)選擇性地讓信息通過,主要通過一個sigmoid的神經(jīng)層和一個逐點(diǎn)相乘的操作來實(shí)現(xiàn)的。LSTM通過三個類似于過濾器的門結(jié)構(gòu)來實(shí)現(xiàn)信息的保護(hù)和控制:遺忘門(ft)決定從細(xì)胞狀態(tài)中丟棄的信息、輸入門(it)決定有多少新的信息加入到Cell中、輸出門(Ot)用過濾最終輸出信息。LSTM通過門結(jié)構(gòu)可以很好的表達(dá)輸入中的長期依賴的信息,有效緩解了梯度消失和梯度爆炸的問題。

2.2 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)

在通常的時間序列處理中,LSTM往往會忽視未來的信息,雙向長短期記憶神經(jīng)網(wǎng)絡(luò)BiLSTM(Bi-directional long short term memory)在LSTM基礎(chǔ)上使用兩個單獨(dú)的隱藏層在正向和反向兩個方向上處理序列數(shù)據(jù),將兩個隱藏層連接到同一輸出層,將先前的信息和后來的信息都存儲為時間序列數(shù)據(jù)的當(dāng)前時間基礎(chǔ),因此理論上預(yù)測表現(xiàn)會比單向LSTM好。BiLSTM的隱藏層輸出包括前向隱藏層的激活輸出和后向隱藏層的激活輸出。

2.3 注意力機(jī)制

LSTM無法捕捉到不同時點(diǎn)和不同輸入特征對收盤價(jià)的不同貢獻(xiàn)。注意力機(jī)制是一種模擬人腦注意力機(jī)制的模型,它可以通過計(jì)算注意力概率分布,突出某個關(guān)鍵性輸入對于輸出的影響作用,在計(jì)算能力有限的情況下,將計(jì)算資源分配給更重要的任務(wù),對于傳統(tǒng)的模型具有很好的優(yōu)化作用。本文提出一種新穎的時空注意力機(jī)制,以捕獲股票市場上的動態(tài)時空相關(guān)性,它包含兩種注意力機(jī)制,即空間注意力機(jī)制和時間注意力機(jī)制。

2.3.1 空間注意力機(jī)制

在空間維度上,不同的輸入特征相互影響,并且相互影響是高度動態(tài)的,因此,本文使用空間注意力機(jī)制自適應(yīng)地捕獲空間維度上節(jié)點(diǎn)之間的動態(tài)相關(guān)性。該部分機(jī)制表示總和為1 的注意力權(quán)重的外部特征對收盤價(jià)的影響。對于每個時間步長t,權(quán)重用于衡量一個節(jié)點(diǎn)應(yīng)該在另一節(jié)點(diǎn)的狀態(tài)上集中多少注意力以預(yù)測其狀態(tài)計(jì)算未來的收盤價(jià)。

2.3.2 時間注意力機(jī)制

BiLSTM單元可以通過單元機(jī)制存儲時間信息,并通過門機(jī)制控制時間信息的增加或減少,從而保持長期依賴性。但是,通過門機(jī)制的時間信息會導(dǎo)致BiLSTM單元在每個時間窗口T中更改單元狀態(tài),與歷史的輸入相比,此最終狀態(tài)傾向于保留有關(guān)最新輸入的更多信息。在較短時序的預(yù)測中,該問題不會導(dǎo)致嚴(yán)重偏差。但是,對于較長的預(yù)測范圍,標(biāo)準(zhǔn)模型可能會低估較早狀態(tài)的影響,時間注意力機(jī)制用于了解每個時間窗口中這些隱藏狀態(tài)的影響。本文BiLSTM單位存儲時間信息,并且注意力機(jī)制用于測量這些不同細(xì)胞狀態(tài)對收盤價(jià)預(yù)測的重要性。

2.3.3 時空注意力機(jī)制

空間相關(guān)性通過空間注意力機(jī)制將注意力權(quán)重分配給原始屬性來表示,時間關(guān)系通過時間注意力機(jī)制通過將注意力權(quán)重分配給空間注意力中的隱藏狀態(tài)來表示,時空注意力機(jī)制同時結(jié)合了空間和時間相關(guān)性,使神經(jīng)網(wǎng)絡(luò)自動對有價(jià)值的信息給予更多關(guān)注。

2.4 評估指標(biāo)

為了全面評估所提出模型用于股票指數(shù)收盤價(jià)預(yù)測的有效性,本文將使用如下幾種評價(jià)指標(biāo)測評所提出的模型。平均絕對百分比誤差(MAPE)、均方根誤差(RMSE)和均值絕對誤差(MAE)用于定量評價(jià)模型的預(yù)測精度,MAPE,RMSE和MAE越小說明精度越高。為了進(jìn)一步驗(yàn)證模型的有效性,對股指的漲跌趨勢進(jìn)行預(yù)測。本文使用預(yù)測分類準(zhǔn)確率對預(yù)測結(jié)果進(jìn)行評價(jià)。

3 實(shí)證檢驗(yàn)

3.1 數(shù)據(jù)來源及描述

為探究上述模型對于實(shí)際金融事件序列數(shù)據(jù)預(yù)測的適用性與有效性,本部分將基于注意力機(jī)制和BiLSTM神經(jīng)網(wǎng)絡(luò)的金融預(yù)測模型應(yīng)用于香港恒生股票指數(shù)(HSI)收盤價(jià)的預(yù)測,數(shù)據(jù)樣本選取區(qū)間為1986年12月31日—2020年8月3日。本文的響應(yīng)變量為恒生指數(shù)的日收盤價(jià),影響指標(biāo)分為行情因子和技術(shù)因子,共29個指標(biāo),見表1。數(shù)據(jù)來源于銳思金融數(shù)據(jù)庫。

表1 香港恒生指數(shù)特征向量

3.2 總樣本區(qū)間及劃分

本文采用如下標(biāo)準(zhǔn)選取數(shù)據(jù)集:剔除日成交量為0的初期數(shù)據(jù),選取自日成交量數(shù)據(jù)存在至2020年8月3日的所有交易數(shù)據(jù)。為了觀察預(yù)測方法對股指短期、中期、長期的預(yù)測效果,本文分別對1日(次日),7日,30日,60日,120日的股指收盤價(jià)進(jìn)行預(yù)測,其中,25%作為測試集,剩下數(shù)據(jù)中,15%為驗(yàn)證集,其余數(shù)據(jù)為訓(xùn)練集。

3.3 數(shù)據(jù)歸一化

在使用模型對數(shù)據(jù)進(jìn)行擬合之前,為了加快梯度下降速度、提高運(yùn)算精度,本文先對數(shù)據(jù)進(jìn)行歸一化處理,對原始數(shù)據(jù)進(jìn)行線性處理,映射到[0,1]區(qū)間。

3.4 參數(shù)設(shè)置

本部分訓(xùn)練模型的運(yùn)行環(huán)境如下:2.4GHz+四核+Intel Core i5+8 GB+2133 MHz LPDDR3。本文基于Python語言環(huán)境,以Tensorflow為深度學(xué)習(xí)框架進(jìn)行模型的訓(xùn)練及預(yù)測,Python版本為3.7,Tensorflow版本為2.2.0。

首先,本文選取Adam作為優(yōu)化器。Adam算法集合了以下兩種隨機(jī)梯度下降擴(kuò)展式的優(yōu)點(diǎn),即:(1)適應(yīng)性梯度算法:為每一個參數(shù)保留一個學(xué)習(xí)率以提升在稀疏梯度上的性能。(2)均方根傳播:基于權(quán)重梯度最近量級的均值為每一個參數(shù)適應(yīng)性地保留學(xué)習(xí)率,這意味著該算法在非穩(wěn)態(tài)和非線性問題上有很有優(yōu)秀的性能。此外,Adam算法很容易實(shí)現(xiàn),并且有較高的運(yùn)算效率和較低的內(nèi)存需求。

BiLSTM模型中有如下參數(shù)需要設(shè)置,即窗口T中的時間步數(shù):由于本文需要對模型的短期、中期、長期預(yù)測效果進(jìn)行評估,本文選擇T∈{1,7,30,60,120},分別計(jì)算模型性能;每個注意力模塊中的隱藏層個數(shù),編碼器中的隱藏層個數(shù)m和解碼器中的隱藏層個數(shù)p:本文設(shè)置m=p∈{16,32,64,128,256},其中當(dāng)m=p=128時在驗(yàn)證集上得到最佳性能以用于評估。

本文構(gòu)建的Spatial-Temporal-BiLSTM主體結(jié)構(gòu)如下:一個全連接層,一個空間注意力機(jī)制,一個BiLSTM遞歸層,一個時間注意力機(jī)制,一個BiLSTM層。為了防止模型過擬合,在每個訓(xùn)練批次中,通過Dropout按照一定的概率隨機(jī)使某些隱含層節(jié)點(diǎn)不工作。Hinton等發(fā)現(xiàn),輸入層為0.2的Dropout率適用于各種任務(wù),因此本文將Dropout率設(shè)置為0.2。

為剔除神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的隨機(jī)性,本文對每個模型進(jìn)行10次訓(xùn)練,記錄結(jié)果并取均值以評價(jià)模型性能。

4 結(jié)果分析

本節(jié)用于對比六種基線模型和四種添加了注意力機(jī)制的模型在短、中、長期預(yù)測股票指數(shù)收盤價(jià)的表現(xiàn)。在基線模型中,支持向量回歸機(jī)(SVR),卷積神經(jīng)網(wǎng)絡(luò)(CNN),門控循環(huán)單元網(wǎng)絡(luò)(GRU),標(biāo)準(zhǔn)長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM),雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(BiLSTM),結(jié)合主成分分析的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(PCA-BiLSTM),以及四個添加了注意力機(jī)制的模型:分別結(jié)合了空間注意力機(jī)制(Spatial-BiLSTM)和時間注意力機(jī)制(Temporal-BiLSTM)的雙向長短期記憶神經(jīng)網(wǎng)絡(luò),結(jié)合時空注意力機(jī)制的標(biāo)準(zhǔn)LSTM模型(Spatial-Temporal-LSTM),以及結(jié)合時空注意力機(jī)制的BiLSTM(Spatial-Temporal-BiLSTM)。

在進(jìn)行模型評估指標(biāo)計(jì)算前,為了便于與原始數(shù)據(jù)進(jìn)行比較,衡量模型性能,對預(yù)測結(jié)果進(jìn)行反歸一化。表2展示了十種模型在不同時間步長中的預(yù)測表現(xiàn),本文選取T=7和T=60時的結(jié)果進(jìn)行羅列。總體來看,淺層學(xué)習(xí)模型模型SVR在所有時間步長中表現(xiàn)都欠佳;深度學(xué)習(xí)模型CNN,GRU,LSTM表現(xiàn)均優(yōu)于淺層學(xué)習(xí)模型;BiLSTM模型由于在LSTM基礎(chǔ)上添加了一層反向結(jié)構(gòu),可以從歷史數(shù)據(jù)中捕獲空間特征和雙向時間依賴性,BiLSTM 精度高于LSTM,Spatial-Temporal-BiLSTM的精度也高于Spatial-Temporal-LSTM;此外,添加了注意力機(jī)制的模型總體上預(yù)測效果都要優(yōu)于沒有添加注意力機(jī)制的模型。

表2(a)和(b) 模型預(yù)測效果比較(T=7和T=60)

圖1和圖2分別為T=7和T=60時訓(xùn)練集損失和驗(yàn)證集損失隨迭代次數(shù)的變化趨勢。在T=7時,時間注意力機(jī)制的作用不是很明顯,有時間注意力機(jī)制和沒有的訓(xùn)練集損失和驗(yàn)證集損失都有逐漸降低趨勢。但是當(dāng)時間步長增加的時候,在T=60時,如果沒有時間注意力機(jī)制,運(yùn)算時的驗(yàn)證集損失反而會隨著迭代次數(shù)的增加而呈上升趨勢,而有時間注意力機(jī)制的模型,即使時間步長增加,驗(yàn)證集損失也會隨著迭代次數(shù)增加而呈下降趨勢,且當(dāng)?shù)螖?shù)在50以后逐漸穩(wěn)定下降。說明在多步預(yù)測中,時間注意力機(jī)制可以捕捉數(shù)據(jù)之間的長期依賴性,因此隨著運(yùn)算迭代次數(shù)的增加,模型在訓(xùn)練集和驗(yàn)證集數(shù)據(jù)上的準(zhǔn)確度才會逐漸增加。

(a)包含時間注意力機(jī)制 (b)不包含注意力機(jī)制圖1 T=7時訓(xùn)練集損失函數(shù)和驗(yàn)證集損失函數(shù)

(a)包含時間注意力機(jī)制 (b)不包含注意力機(jī)制圖2 T=60時訓(xùn)練集損失函數(shù)和驗(yàn)證集損失函數(shù)

圖3中(a)和(b)分別為BiLSTM, Spatial-BiLSTM, Temporal-BiLSTM, Spatial-Temporal-BiLSTM和PCA-BiLSTM的RMSE和MAE隨著時間步長增加的變化圖。由于主成分分析方法作為比較有效的特征篩選方法,將其與空間注意力機(jī)制進(jìn)行對比,可以評估本文特征篩選方法的有效性。注意力權(quán)重可視化不僅可以看到每個特征有多少注意力被關(guān)注和接收,還可以識別最重要的特征。對比PCA-BiLSTM和Spatial-BiLSTM,發(fā)現(xiàn)使用空間注意力機(jī)制篩選特征在任何時間步長都比用主成分分析降維達(dá)到更低的預(yù)測誤差,且當(dāng)T=1時,PCA-BiLSTM模型預(yù)測精度低于原始BiLSTM,原因可能是進(jìn)行單步預(yù)測的時候,PCA會使輸入數(shù)據(jù)損失掉一部分有效信息,反而使原本模型的預(yù)測精度降低。而添加了空間注意力機(jī)制的模型,可以對輸入特征進(jìn)行篩選和分析,更有效的提取輸入指標(biāo)的數(shù)據(jù)結(jié)構(gòu),并對重要變量進(jìn)行更高的關(guān)注度,同時減少了在模型在訓(xùn)練非信息性特征時花費(fèi)的不必要的計(jì)算時間從而降低了高計(jì)算成本以及過度擬合的風(fēng)險(xiǎn),因此在進(jìn)行預(yù)測時可以達(dá)到更高的準(zhǔn)確率。

(a)不同模型MAE變化 (b)不同模型RMSE變化圖3 時間步長改變時有無注意力機(jī)制的BiLSTM模型性能比較

由圖3可知,隨著時間步長的增加,模型的預(yù)測精度均會降低,但是Temporal-BiLSTM隨著時間步長的增加,其預(yù)測誤差增加幅度不大,且當(dāng)T=60時,預(yù)測誤差相對于T=30有所下降,說明添加了時間注意力模塊的模型在預(yù)測長時間序列的時候有很大優(yōu)勢,而沒有時間注意力機(jī)制的模型,當(dāng)時間步長增加時,模型預(yù)測誤差會有較大程度的升高,預(yù)測精度會大幅度降低,說明時間注意力機(jī)制的確可以保持序列的長期依賴性,在長期預(yù)測時表現(xiàn)更優(yōu)。

概而言之,基于注意力的BiLSTM模型通過學(xué)習(xí)不同屬性和不同序列之間的時空關(guān)系,可以在股票指數(shù)序列預(yù)測中實(shí)現(xiàn)更好的性能,從而為該神經(jīng)網(wǎng)絡(luò)提供了良好的解釋性。

圖4(a)和(b)分別為T=7和T=60時的模型預(yù)測結(jié)果和真實(shí)收盤價(jià)的對比圖?？梢钥闯霎?dāng)時間步數(shù)變長時,所有模型的擬合誤差都會增大。

圖4(a) T=7時所有模型的預(yù)測價(jià)格和真實(shí)價(jià)格比較

圖4(b) T=60時所有模型的預(yù)測價(jià)格和真實(shí)價(jià)格比較

5 結(jié)論

本文研究了基于注意力機(jī)制的BiLSTM方法在短、中、長期香港恒生股票指數(shù)收盤價(jià)預(yù)測中的有效性。所提出的模型Spatial-Temporal-BiLSTM在幾乎所有時間步長的預(yù)測中均達(dá)到最佳結(jié)果。實(shí)驗(yàn)結(jié)果證明了以下結(jié)論:(1)在其他條件相同的情況下,BiLSTM可以在任何時間步長達(dá)到比LSTM更優(yōu)的準(zhǔn)確率。(2)基于注意力機(jī)制的BiLSTM模型在股票指數(shù)的短、中、長期預(yù)測中均優(yōu)于所有基線方法,這是由于時空關(guān)系的清晰有效表示和學(xué)習(xí)能力所致。(3)Spatial-BiLSTM模型在股票指數(shù)預(yù)測中,準(zhǔn)確率高于結(jié)合了PCA-BiLSTM模型,表明空間注意力機(jī)制可以更有效地提取數(shù)據(jù)關(guān)系。(4)Temporal-BiLSTM模型在股票指數(shù)的長期預(yù)測中更準(zhǔn)確,這表明在長期預(yù)測中保持時間序列的長期依賴性很重要。