張庭溢,陳香香,黃禮欽

(福建理工大學(xué) 1.管理學(xué)院; 2.互聯(lián)網(wǎng)經(jīng)貿(mào)學(xué)院,福建 福州 350118)

0 引言

股市預(yù)測是金融和計算機(jī)科學(xué)交叉領(lǐng)域的經(jīng)典問題.法瑪(Fama)提出了有效市場假說(Efficient Markets Hypothesis,EMH)[1],即在一個有效的股票市場,投資者無法通過技術(shù)分析獲得超過市場平均水平的超額利潤.然而,有效市場假說的有效性依賴于所有參與者都是足夠理性的前提,這在現(xiàn)實世界中很難實現(xiàn).股票市場受到各種因素的影響,如國家政策變化、國內(nèi)外經(jīng)濟(jì)環(huán)境、國際形勢等,因此,股票價格的變化是非線性的,這使得股票價格的預(yù)測成為了一個長期備受關(guān)注的問題.如果能準(zhǔn)確預(yù)測股價的變動,將對投資者的風(fēng)險規(guī)避和收益最大化具有重要幫助.

目前,股價預(yù)測的模型主要有線性模型和非線性模型兩種.線性模型是早期的預(yù)測模型,但由于預(yù)測效果不理想,學(xué)者們逐漸將非線性模型引入該領(lǐng)域.其中,GRU是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory network,LSTM)的一種變體,屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)之一.LSTM的門控機(jī)制能夠避免RNN模型存在的梯度消失和梯度爆炸問題,適合進(jìn)行長時間序列預(yù)測.相比之下,GRU對LSTM進(jìn)行了簡化.但是,GRU無法捕捉時間特征,而股票價格在不同時刻的重要性是不同的.為了進(jìn)行更準(zhǔn)確的價格預(yù)測,我們通過引入注意力機(jī)制,給重要的信息更多的關(guān)注,抑制不重要的信息.

GRU能夠?qū)W習(xí)到股票價格這一時間序列數(shù)據(jù)間的特征關(guān)系,而AM能夠根據(jù)其時間特征進(jìn)行重分配.因此,本文將GRU和AM的優(yōu)勢相結(jié)合,建立了GRU-AM模型.該模型旨在學(xué)習(xí)股票數(shù)據(jù)的特征并分配這些特征的重要度.為了驗證模型的預(yù)測效果,我們使用了七種基準(zhǔn)模型與本文實驗結(jié)果進(jìn)行對比.最終實驗結(jié)果表明,本文模型對股票價格預(yù)測效果具有一定的提升.

1 相關(guān)工作

股價預(yù)測方法一直是研究的熱點.最初,人們使用線性模型如線性回歸(Linear Regression,LR)、自回歸(Autoregressive,AR)、移動平均(Moving Av-erage,MA)和差分自回歸移動平均(Autoregressive Integrated Moving Average model,ARIMA)來進(jìn)行預(yù)測.但由于股票數(shù)據(jù)存在許多非線性特征,線性模型存在許多局限性,因此開始嘗試使用非線性模型,引入了機(jī)器學(xué)習(xí)方法,比如支持向量機(jī)(Support Vector Machine,SVM)、隨機(jī)森林(Random Forest,RF)和神經(jīng)網(wǎng)絡(luò)(Neural Networks,NN)等[2-3].在神經(jīng)網(wǎng)絡(luò)中,循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一種含有循環(huán)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),其每個時刻的輸入不僅包含當(dāng)前時刻的輸入數(shù)據(jù),還包括當(dāng)前時刻的隱藏層狀態(tài)數(shù)據(jù).這些隱藏層狀態(tài)具有記憶模塊的功能,能夠保存歷史信息并隨著新數(shù)據(jù)的輸入不斷更新.RNN的記憶能力可以將過去的信息運用到當(dāng)前的預(yù)測任務(wù)上,有效地解決時間序列的長期依賴問題[4].因此,使用RNN相關(guān)方法尤其是LSTM和GRU進(jìn)行金融市場時間序列預(yù)測逐漸成為熱門課題[5].

GRU作為RNN模型的一種類型,許多研究者對使用GRU進(jìn)行股票價格預(yù)測進(jìn)行了探究.左勒蓋爾奈英(Zulqarnain)等將CNN和GRU相結(jié)合來預(yù)測股票價格,通過CNN層學(xué)習(xí)金融時間序列預(yù)測股價特征,并直接傳遞到GRU層以捕獲股價長期特征,驗證了GRU模型在股價預(yù)測任務(wù)中表現(xiàn)更好[6].李瀟俊等引入技術(shù)面和基本面分析并將LSTM和GRU方法相結(jié)合構(gòu)建股價預(yù)測模型,提高了模型在長期預(yù)測上的預(yù)測精度[7].張倩玉等引入自適應(yīng)噪聲的完整集成經(jīng)驗?zāi)B(tài)分解(CEEMDAN)算法提取股票價格時間序列在時間尺度上的特征,利用注意力機(jī)制捕獲輸入特征參數(shù)的權(quán)重并結(jié)合門控循環(huán)單元(GRU)網(wǎng)絡(luò)進(jìn)行股票價格預(yù)測[8].實驗結(jié)果表明與RNN、LSTM等模型相比,所提模型能有效減少預(yù)測誤差,提高模型擬合能力.

近年來,諸多研究者將注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)相關(guān)模型相結(jié)合來預(yù)測股票價格.陸文杰等提出一種CNN-BiLSTM-AM模型,AM用于捕捉特征狀態(tài)對過去不同時間股票收盤價的影響,以提高預(yù)測準(zhǔn)確性[9].李成宇等利用 GRU、LSTM和多頭注意力 (multi-head attention,MHA)Transformer開發(fā)了一種用于價格預(yù)測的新型混合神經(jīng)網(wǎng)絡(luò)[10],能夠捕捉到從過去到當(dāng)前每個時間步的不同權(quán)重的影響,從而實現(xiàn)準(zhǔn)確預(yù)測.并將結(jié)果與其他先進(jìn)方法獲得的結(jié)果進(jìn)行比較,比較表明該模型提供了有效的價格預(yù)測.此外,還進(jìn)行了消融研究,以驗證所提出模型中每個組件的重要性和必要性.劉翀等使用深度LSTM網(wǎng)絡(luò)對金融數(shù)據(jù)進(jìn)行建模,解決了數(shù)據(jù)間長依賴的問題,引入了注意力機(jī)制,使得不同時間的數(shù)據(jù)對預(yù)測的重要程度不同,預(yù)測更加精準(zhǔn)[11].景楠等提出CNN-LSTM模型用于預(yù)測銅期貨價格序列,并將LSTM與AM相結(jié)合以提高預(yù)測性能[12].最終證明了注意力機(jī)制對CNN-LSTM模型的預(yù)測準(zhǔn)確性有所幫助.

鄒婕等構(gòu)建了RF-SA-GRU混合模型,該模型使用自注意力機(jī)制加強對重要因子的關(guān)注和因子內(nèi)部的聯(lián)系.實驗表明RF-SA-GRU模型在18只股票上均取得較好的預(yù)測效果,且預(yù)測精度和穩(wěn)定性均優(yōu)于其他模型[13].

2 基于GRU-AM的股票價格預(yù)測模型

在處理股票價格這類時間序列數(shù)據(jù)時,前饋神經(jīng)網(wǎng)絡(luò)并不能很好地處理與歷史數(shù)據(jù)的關(guān)系.因為股票價格不僅與當(dāng)前時刻的輸入相關(guān),還與之前的輸入(即歷史狀態(tài))有關(guān).因此,RNN可能更適合處理這類數(shù)據(jù).此外,不同時間的特征對股票價格的影響程度是不同的.通過引入注意力機(jī)制,可以為這些特征分配不同的權(quán)重,從而更準(zhǔn)確地預(yù)測股票價格.本文選擇GRU-AM方法進(jìn)行研究,以探討如何更好地利用歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)來提高預(yù)測精度.

2.1 GRU模型

2.1.1 GRU模型原理

秋(Cho)等在2014年首次提出了GRU[14].GRU在LSTM的基礎(chǔ)上進(jìn)行了簡化,只保留了兩個門,即重置門和更新門.GRU單元的內(nèi)部結(jié)構(gòu)如圖1所示.

圖1 GRU單元結(jié)構(gòu)圖

(1)

2.1.2 GRU模型構(gòu)建

本文構(gòu)建的模型采用單層GRU層,初始時隱藏層信息被設(shè)置為0.模型的輸入數(shù)據(jù)是三維張量,其形狀為[b,s,f].其中,b代表批次尺寸,即一次輸入的序列數(shù)量;s是設(shè)置的輸入序列長度,即后續(xù)提到的滑動窗口長度;f為輸入序列包含的特征數(shù)量.本文選取了5個特征:最高價、最低價、收盤價、開盤價和交易量,因此f=5.模型的輸出為二維張量,其形狀為[b,1],即通過輸入序列對未來時刻的收盤價進(jìn)行預(yù)測.

2.2 AM模型

2.2.1 AM模型原理

早在1980年,特雷斯曼(Treisman)和蓋雷德(Gelade)就已經(jīng)提出了注意力機(jī)制[15].2014年,弗拉基米爾(Volodymyr)等將RNN與AM相結(jié)合,并成功地應(yīng)用于圖像分類中[16].AM的本質(zhì)是資源分配過程,主要分為三個階段:權(quán)值計算階段(計算資源分配的系數(shù))、權(quán)值縮放階段和用權(quán)值計算最終值階段(進(jìn)行資源分配).AM的計算過程如圖2所示.其中,Query(Q)和key(K)表示輸入的值,用Q和通過函數(shù)F()計算相似度,通過第二階段歸一化[使用softmax()函數(shù)]計算出AM的權(quán)值,最后是第三階段將ai和vi進(jìn)行加權(quán)求和得到最終值

圖2 AM計算過程

Attention value.AM的三個階段公式分別如下:

(2)

2.2.2 AM模型構(gòu)建

AM可以分為三類,分別是硬注意力、軟注意力和自注意力,本文的AM方法使用的是注意力.具體地說,輸入數(shù)據(jù)經(jīng)過GRU層其輸出為O=[o1,o2,…,on],和隱藏層為H=[h1,h2,…,hn],O作為Key以及H作為Query傳入AM層進(jìn)行三個階段的計算.其中第一階段為計算AM層的權(quán)值,本文中,權(quán)值是通過點積的方式直接計算得出的.GRU層的輸出O實際上是所有時刻的隱狀態(tài)數(shù)據(jù),隱藏層H則是最后一個時刻的隱狀態(tài)數(shù)據(jù),即H=on,所以公式(2)中第一個公式的點積計算可以算出最后時刻隱藏層狀態(tài)數(shù)據(jù)和每一時刻隱藏層狀態(tài)數(shù)據(jù)的相似度; 公式(2)中第二個公式是對第一階段得出的權(quán)值進(jìn)行歸一化處理; 公式(2)中第三個公式是第三階段加權(quán)求和(其中vi=oi),計算出的值就是根據(jù)其時間特征完成重分配的預(yù)測值.

2.3 GRU-AM模型

基于上述方法,本文建立了使用GRU方法預(yù)測后輸入AM進(jìn)行重分配的股票價格預(yù)測模型,即GRU-AM模型.這個模型是以序貫?zāi)Ｐ蜑榛A(chǔ)設(shè)計的,它由GRU層和AM層疊加構(gòu)成,并最終通過一層全連接層實現(xiàn)輸出.在AM層中,O和H均來自GRU層的輸出數(shù)據(jù),而Query則采用GRU層的隱藏層數(shù)據(jù).模型的詳細(xì)結(jié)構(gòu)如圖3所示.

圖3 GRU-AM模型結(jié)構(gòu)圖

3 實驗

為了評估GRU-AM模型的性能,我們首先對數(shù)據(jù)進(jìn)行了預(yù)處理,隨后將本文模型與多種基準(zhǔn)模型進(jìn)行了對比.接著,我們采用了四種評估指標(biāo)來評估模型的預(yù)測結(jié)果.值得注意的是,本文的代碼是基于Python語言和PyTorch框架編寫實現(xiàn)的.

3.1 實驗設(shè)置

實驗設(shè)置涵蓋了數(shù)據(jù)處理、GRU-AM模型的訓(xùn)練與預(yù)測過程、對比模型的選擇以及評估指標(biāo)的確定這四個關(guān)鍵方面.

本實驗數(shù)據(jù)是從Baostack網(wǎng)站提供的接口獲取的,包含了滬深300成分股之一的浦發(fā)銀行s的股票日頻數(shù)據(jù).數(shù)據(jù)的起始時間為2001年1月1日,結(jié)束時間為2022年10月31日,總共有5 291條數(shù)據(jù).

在獲取數(shù)據(jù)之后,我們首先進(jìn)行了數(shù)據(jù)預(yù)處理過程.本實驗收集的數(shù)據(jù)屬性包括股票的最高價、最低價、收盤價、開盤價和交易量這5個維度.因此,第一步,刪除下載下來的數(shù)據(jù)中不需要的信息.

第二步,考慮到價格之間的波動比率較小,并且交易量和價格的數(shù)值差異較大,如果直接進(jìn)行預(yù)測,模型可能無法識別.因此,我們對數(shù)據(jù)按維度進(jìn)行了標(biāo)準(zhǔn)化處理.標(biāo)準(zhǔn)化處理公式如下:

(3)

經(jīng)過數(shù)據(jù)預(yù)處理后的數(shù)據(jù)如表1所示.

表1 參數(shù)調(diào)整表

在完成標(biāo)準(zhǔn)化處理后,需要設(shè)置序列(即模型的輸入數(shù)據(jù))以及序列對應(yīng)的標(biāo)簽,這個標(biāo)簽用于對模型結(jié)果進(jìn)行檢驗.本實驗采用滑動窗口的方式設(shè)置序列和標(biāo)簽.假設(shè)滑動窗口長度為s,步長為p.這意味著序列是股票五個特征維度s天的值,而標(biāo)簽是收盤價未來第p天的值.具體來說,第0到第s條數(shù)據(jù)構(gòu)成一個序列,第(s+p)條數(shù)據(jù)是這個序列的標(biāo)簽; 第1到第(s+1)條數(shù)據(jù)構(gòu)成第二個序列,第(s+1+p)條數(shù)據(jù)是第二個序列的標(biāo)簽,以此類推.最終生成的序列形狀為(5189-s-p+1,s,5),標(biāo)簽形狀為(5189-s-p+1,1).數(shù)據(jù)滑動窗口圖如圖4所示.

圖4 數(shù)據(jù)滑動窗口圖(黑框為輸入序列,黃框為標(biāo)簽)

為了評估算法的性能,我們將數(shù)據(jù)集劃分為訓(xùn)練集和測試集.具體而言,前70%的數(shù)據(jù)被劃分為訓(xùn)練集,用于訓(xùn)練模型參數(shù); 而后30%的數(shù)據(jù)則被劃分為測試集,用于驗證模型的性能.設(shè)訓(xùn)練集的大小為t1,測試集的大小為t2.其具體的計算公式如下:

t1=t*0.7,

t2=t-t1.

(4)

其中,t為數(shù)據(jù)集總長度,為向下取整.

最后,還需要分別將訓(xùn)練集和測試集劃分批次,訓(xùn)練集批次數(shù)量b1和測試集批次數(shù)量b2計算公式如下:

(5)

其中,b為每一個批次的尺寸,為向上取整.

3.2 GRU-AM訓(xùn)練與預(yù)測過程

經(jīng)過數(shù)據(jù)處理后,我們將訓(xùn)練集按批次作為輸入數(shù)據(jù)依次輸入到模型中進(jìn)行訓(xùn)練.模型的輸出目標(biāo)是對應(yīng)序列未來第p天的收盤價的預(yù)測值.我們將這些預(yù)測值與實際值通過損失函數(shù)來計算損失.在本文中,我們采用的是均方誤差(MSE)作為損失函數(shù).優(yōu)化器算法我們選擇的是自適應(yīng)動量隨機(jī)優(yōu)化算法(Adam),通過優(yōu)化器進(jìn)行梯度下降來更新模型參數(shù),從而實現(xiàn)迭代訓(xùn)練.通過訓(xùn)練過程,我們能夠訓(xùn)練出合適的模型參數(shù).接下來,我們將測試集數(shù)據(jù)輸入到訓(xùn)練好的模型中,模型的輸出值會進(jìn)行反歸一化處理.不同的模型會輸出不同的預(yù)測值,我們將這些預(yù)測值分別與測試集的標(biāo)簽通過評估指標(biāo)來計算評估結(jié)果,用以對比各個模型的優(yōu)劣程度.具體的過程如圖5所示.

圖5 訓(xùn)練與測試過程圖

3.3 對比模型

本文共選取了7種基準(zhǔn)模型進(jìn)行對比實驗.首先,為了檢驗混合模型的效果,我們引入了4種單一模型,分別是GRU、雙向門控循環(huán)單元(Bi-directional Gate Recurrent Unit,BiGRU)、LSTM和BiLSTM.在這些模型中,GRU和LSTM都采用了門控機(jī)制,但GRU將LSTM中的遺忘門、輸入門和輸出門簡化為重置門和更新門,因此GRU的運行速度通常更快,效率也更高.不過,從效果上來看,兩者各有優(yōu)勢,具體選擇需要根據(jù)實際情況來決定.而BiGRU和BiLSTM則是在GRU和LSTM的基礎(chǔ)上增加了一層從后往前的隱藏層,這樣的雙向模型能夠?qū)ν粋€輸入序列分別進(jìn)行正向和反向計算,再將每個時刻計算出的兩層隱含層共同連接到輸出層.通過這4個單一模型之間的對比,我們可以驗證本文模型選擇GRU層的合理性.其次,我們將這4個單一模型分別與AM層結(jié)合,形成了本文的GRU-AM模型以及另外三種基準(zhǔn)模型:BiGRU-AM、LSTM-AM和BiLSTM-AM.通過這4個混合模型之間的對比,我們可以驗證本文模型的有效性.同時,將單一模型和對應(yīng)的混合模型的效果進(jìn)行對比,可以進(jìn)一步驗證單一模型結(jié)合AM層后的性能提升.

綜上所述,本文共設(shè)置了7種基準(zhǔn)模型,包括BiGRU-AM、LSTM-AM、BiLSTM-AM、GRU、BiGRU、LSTM和BiLSTM.這些模型將為我們提供全面的比較和分析基礎(chǔ).

3.4 評估指標(biāo)

(6)

4 結(jié)果與討論

本節(jié)通過四個實驗來全面闡述本文算法的性能.首先,我們對參數(shù)設(shè)置進(jìn)行了詳細(xì)的討論.接著,我們將AM-GRU與單一模型進(jìn)行了性能對比,以突顯其優(yōu)勢.為了進(jìn)一步驗證本文模型的合理性,我們還將其與三個混合模型進(jìn)行了對比分析.最后,我們進(jìn)行了模型的穩(wěn)健性分析,具體使用了光大銀行和民生銀行的數(shù)據(jù)來測試本文模型在不同數(shù)據(jù)集下的預(yù)測效果.

4.1 參數(shù)討論

本節(jié)主要探討GRU層的寬度h以及訓(xùn)練次數(shù)epoch的設(shè)定,通過多次實驗來確定最佳參數(shù)值.通常來說,h的大小決定了GRU層中隱藏單元的數(shù)量,進(jìn)而影響模型的擬合效果.較大的h值雖然可以提高擬合效果,但也可能導(dǎo)致過擬合現(xiàn)象的出現(xiàn).因此,需要通過實驗不斷調(diào)整,找到最合適的h值.同時,訓(xùn)練次數(shù)epoch的選擇也至關(guān)重要.太少的訓(xùn)練次數(shù)可能導(dǎo)致模型欠擬合,而太多的訓(xùn)練次數(shù)則可能引發(fā)過擬合.此外,本文還對比了在輸出層前添加RELU層與不添加RELU層的情況,具體的評價指標(biāo)和預(yù)測結(jié)果如表1所示.經(jīng)過反復(fù)實驗,我們發(fā)現(xiàn)當(dāng)使用RELU層,并將h設(shè)定為32,epoch設(shè)定為800時,模型的MSE達(dá)到最小,R2達(dá)到最高,即模型表現(xiàn)最佳.

他參數(shù)設(shè)定為:GRU隱藏層數(shù)量layers=1,學(xué)習(xí)率lr=0.001,窗口滑動長度s=10,步長p=1,批次尺寸b=20,訓(xùn)練集劃分比例設(shè)為0.7.使用經(jīng)過調(diào)整的參數(shù)(h=32,epoch=800)進(jìn)行模型的訓(xùn)練和預(yù)測.訓(xùn)練過程中訓(xùn)練集的損失變化如圖6所示.

圖6 GRU-AM訓(xùn)練過程損失圖

4.2 單一模型預(yù)測效果

本小節(jié)將本文的GRU-AM模型與基準(zhǔn)模型GRU、LSTM及其雙向變體BiGRU、BiLSTM進(jìn)行了實驗對比.

評估結(jié)果如表2所示.從表中可以看出,本文模型的MSE最小,最接近0,同時R2最大,最接近1.其次是BiGRU、LSTM、GRU和BiLSTM模型.與GRU-AM模型的實驗結(jié)果相比,GRU模型的MSE增加了約0.011,增長了約28.81%; 而RMSE和MAE則有所減少,分別減少了約0.030 6和0.029 4,減少比例分別為15.62%和22.51%.此外,R2提升了約0.001 5,提升了約0.15%.由此可見,加入AM模型后,預(yù)測的準(zhǔn)確性和穩(wěn)定性均得到了一定的提升.

表2 單一模型預(yù)測評估結(jié)果表

4.3 混合模型預(yù)測效果

為了驗證本文模型選擇GRU和AM結(jié)合的合理性,本節(jié)選擇了LSTM-AM、BiLSTM-AM和U-AM這種混合模型作為基準(zhǔn)模型.

使用評估指標(biāo)對混合模型的預(yù)測值和實際值進(jìn)行比較,結(jié)果如表3所示.將表3與表2中沒有添加注意力機(jī)制的對應(yīng)模型進(jìn)行比較,可以發(fā)現(xiàn)GRU、BiGRU和BiLSTM在與注意力機(jī)制結(jié)合后,性能都有不同程度的提升.

表3 混合模型預(yù)測評估結(jié)果表

4.4 模型穩(wěn)健性分析

為了進(jìn)一步驗證模型的穩(wěn)健性,本文選取了滬深300指數(shù)和上證50指數(shù)自2002年11月1日至2022年10月31日共計4 857條數(shù)據(jù)作為研究樣本,數(shù)據(jù)處理過程與上文保持一致.表4展示了滬深300指數(shù)和上證50指數(shù)數(shù)據(jù)在本文模型以及7種基準(zhǔn)模型下的預(yù)測評估結(jié)果對比.通過對比分析,可以明顯看出本文模型表現(xiàn)最佳.

表4 滬深300指數(shù)和上證50指數(shù)模型預(yù)測評估結(jié)果表

5 結(jié)論

本文提出了一種GRU-AM模型,旨在提高股票價格預(yù)測的準(zhǔn)確性.鑒于股票價格數(shù)據(jù)具有顯著的時間特征,我們引入了注意力機(jī)制來學(xué)習(xí)股票價格序列數(shù)據(jù)的時間依賴性.通過與7種基準(zhǔn)模型的對比實驗,驗證了本文模型的有效性,結(jié)果顯示在準(zhǔn)確性和穩(wěn)定性方面均有顯著提升.然而,本文仍存在一些局限性.首先,在數(shù)據(jù)方面有待改進(jìn),由于股票數(shù)據(jù)通常包含較高的噪聲,因此計劃對股票數(shù)據(jù)進(jìn)行降噪預(yù)處理,以期進(jìn)一步提高模型的預(yù)測準(zhǔn)確性.其次,模型方面也有改進(jìn)的空間,例如對注意力機(jī)制進(jìn)行更深入的研究和優(yōu)化.最后,訓(xùn)練過程也需要進(jìn)一步優(yōu)化,我們打算采用早停法來避免過擬合問題,但相關(guān)參數(shù)設(shè)置仍需進(jìn)一步研究確定.