趙紅蕊，薛 雷

上海大學(xué) 通信與信息工程學(xué)院，上海200444

隨著計算機科學(xué)和市場經(jīng)濟(jì)的快速發(fā)展，股票市場作為資本市場的重要組成部分，成為了政府、上市公司、投資機構(gòu)以及一些個人投資者的關(guān)注熱點。股票市場是國民經(jīng)濟(jì)發(fā)展變化的“晴雨表”和“報警器”，其行情的變化與國家的宏觀經(jīng)濟(jì)發(fā)展、法律法規(guī)的制定、政治事件的發(fā)生、公司的財務(wù)狀況和政策、投資者心理、輿論引導(dǎo)等等都有所關(guān)聯(lián)，從而導(dǎo)致股票價格具有高度的波動性與不規(guī)律性，因此合理準(zhǔn)確地預(yù)測股票價格的變化趨勢成為許多業(yè)界學(xué)者的主要探索和研究方向。

隨著大數(shù)據(jù)時代的發(fā)展，像支持向量機[1]、決策樹[2]、隨機森林[3]以及深度學(xué)習(xí)算法[4]等機器學(xué)習(xí)算法模型被廣泛應(yīng)用于股票等金融數(shù)據(jù)研究。由于股票數(shù)據(jù)具有數(shù)據(jù)量大，信息模糊，長記憶性，非線性和非平穩(wěn)性等特征，傳統(tǒng)的機器學(xué)習(xí)算法并不能取得較好的預(yù)測效果，而深度學(xué)習(xí)模型與傳統(tǒng)的機器學(xué)習(xí)模型相比有著更為強大的學(xué)習(xí)能力和自適應(yīng)能力[5]，對非線性系統(tǒng)可以更好地進(jìn)行預(yù)測分析。

LSTM[6]神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)算法模型中的一種新型遞歸神經(jīng)網(wǎng)絡(luò)模型受到了廣泛的關(guān)注，由于其具備良好的選擇性、記憶性以及時序內(nèi)部影響的特性極適用于股票價格時間序列的預(yù)測，因此具有廣闊的應(yīng)用前景。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)展開圖

本文基于深度學(xué)習(xí)方法對股票金融數(shù)據(jù)進(jìn)行研究，以收盤價格為預(yù)測目標(biāo)，提出了一種結(jié)合LSTM和CNN的時間序列預(yù)測模型，該模型主要采用端到端的網(wǎng)絡(luò)結(jié)構(gòu)，首先使用LSTM 來提取數(shù)據(jù)中的特征，尤其是時間序列中的時序特征，然后利用CNN 挖掘時間序列中的局部特征和深層特征[7]。同時結(jié)合了注意力機制[8]CBAM[9]，相比于SENet[10]只關(guān)注通道的注意力機制可以更好地提升網(wǎng)絡(luò)模型的特征提取能力。

本實驗中使用PyTorch 作為神經(jīng)網(wǎng)絡(luò)的框架，使用Python 語言進(jìn)行了網(wǎng)絡(luò)的代碼實現(xiàn)。使用上海證券綜合指數(shù)（簡稱上證指數(shù)，證券代碼為000001）1991—2018年股票數(shù)據(jù)進(jìn)行分析預(yù)測實驗，將真實值和預(yù)測值進(jìn)行對比，并且進(jìn)行預(yù)測結(jié)果圖形擬合[11]和誤差評估，通過與LSTM 和LSTM-CNN 模型的對比實驗，最后驗證了在LSTM與CNN結(jié)合的網(wǎng)絡(luò)模型中加入CBAM模塊預(yù)測模型的有效性。

1 LSTM的結(jié)構(gòu)和原理介紹

LSTM 是為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)[12]（RNN）模型由于輸入序列過長而產(chǎn)生的梯度消失[13]問題而發(fā)展出來的一種機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，主要由記憶細(xì)胞、輸入門、輸出門、遺忘門組成，三個門的激活函數(shù)均為Sigmoid。輸入門用來控制當(dāng)前時刻神經(jīng)單元的輸入信息，遺忘門用來控制上一時刻神經(jīng)單元中存儲的歷史信息，輸出門用來控制當(dāng)前時刻神經(jīng)單元的輸出信息[14]。

圖1為LSTM的網(wǎng)絡(luò)結(jié)構(gòu)展開圖，其中Xt表示當(dāng)前t時刻的輸入，ht表示當(dāng)前t時刻細(xì)胞的狀態(tài)值，下面是LSTM的計算公式：

其中，Wi、Wf、Wc、Wo分別為輸入門、遺忘門、更新門和輸出門的權(quán)值矩陣，bi、bf、bc、bo分別為輸入門、遺忘門、更新門和輸出門的偏置，以此計算得到當(dāng)前t時刻的輸出ht與當(dāng)前t時刻更新的細(xì)胞狀態(tài)Ct。

2 注意力模型CBAM

最近幾年注意力模型在深度學(xué)習(xí)的各個領(lǐng)域被廣泛使用，深度學(xué)習(xí)中的注意力機制的核心目標(biāo)是從眾多信息中選擇出對當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息。

本文中，采用Convolutional Block Attention Module（CBAM）去實現(xiàn)attention 機制。CBAM 表示卷積模塊的注意力機制模塊，它是一種為卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的，簡單有效的注意力模塊，結(jié)合了空間和通道的注意力模塊，相對于SENet多了一個空間attention，可以取得更好的效果。CBAM 使得模型擁有了重視關(guān)鍵特征忽視無用特征的能力。對于卷積神經(jīng)網(wǎng)絡(luò)生成的特征圖，CBAM 從通道和空間兩個維度計算特征圖的權(quán)重圖，然后將權(quán)重圖與輸入的特征圖相乘來進(jìn)行特征的自適應(yīng)學(xué)習(xí)。CBAM是一個輕量的通用模塊，可以將其融入到各種卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行端到端的訓(xùn)練。圖2 為CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖，其中Channel attention module主要關(guān)注于輸入數(shù)據(jù)中有意義的內(nèi)容。它的表達(dá)式為：

圖2 CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖

而Spatial Attention Module 主要關(guān)注于哪個位置信息是有意義的，是對于通道注意力的補充。它的表達(dá)式為：

3 網(wǎng)絡(luò)模型結(jié)構(gòu)

基于LSTM-CNN-CBAM 的股票預(yù)測網(wǎng)絡(luò)模型是在LINUX 操作系統(tǒng)下搭建的，使用的是GPU 版本的PyTorch 框架。通過在結(jié)合長短時記憶神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的長記憶性分析的時間序列分類模型中加入了CBAM 注意力機制，使模型自動學(xué)習(xí)和提取時間序列中的局部特征和長記憶性特征，模型展開如圖3所示。

圖3 網(wǎng)絡(luò)模型結(jié)構(gòu)圖

首先是LSTM 模塊，使用了3 層LSTM 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)中的時序特征，每層LSTM 有128 個隱藏神經(jīng)元，學(xué)習(xí)率為0.001，迭代次數(shù)（epochs）為200次，然后將學(xué)習(xí)到的特征通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)和提取，并且加入了注意力機制，最后通過5層反向傳播神經(jīng)網(wǎng)絡(luò)[15]輸出預(yù)測價格，每個全連接層的神經(jīng)元個數(shù)依次為1 024、128、64、20、1，激活函數(shù)使用ReLu函數(shù)。

4 實驗及其結(jié)果分析

4.1 實驗流程

實驗主要由數(shù)據(jù)下載、數(shù)據(jù)處理、模型訓(xùn)練、微調(diào)參數(shù)[9]這幾個部分組成，具體流程圖如圖4所示。

圖4 實驗流程圖

4.2 實驗數(shù)據(jù)

4.2.1 數(shù)據(jù)來源

圖5 時間步長=5

圖6 時間步長=10

本文的實驗數(shù)據(jù)是利用Tushare財經(jīng)接口包下載的上證指數(shù)1991年1月1日至2018年12月28日（共6 847組數(shù)據(jù)），主要包含收盤價（close）、開盤價（open）、最高價（high）、最低價（low）、昨日收盤價（pre_close）、漲跌額（change）、漲跌幅（pct_chg）成交量（vol）、成交額（amount）等時序數(shù)據(jù)。

4.2.2 數(shù)據(jù)處理

數(shù)據(jù)預(yù)處理：由于獲取到的原始數(shù)據(jù)集存在缺值和亂序等情況，所以要先對下載的數(shù)據(jù)集進(jìn)行插值和按日期進(jìn)行排序等操作，獲得一個無亂序的完整數(shù)據(jù)集。

數(shù)據(jù)標(biāo)準(zhǔn)化[16]：由于數(shù)據(jù)集的數(shù)據(jù)之間量級不一樣，例如開盤價、收盤價與成交量、成交額等數(shù)據(jù)量級之間存在著巨大的差異，為了消除數(shù)據(jù)之間不同量級的影響，將不同量級的數(shù)據(jù)統(tǒng)一轉(zhuǎn)化為同一個量級，所以本模型對這些數(shù)據(jù)進(jìn)行了z-score 標(biāo)準(zhǔn)化處理，它是將觀測值減去該組觀測值的中值(μ)，再除以標(biāo)準(zhǔn)差(σ)得到的，有利于提高模型的訓(xùn)練速度和預(yù)測精度。表達(dá)式如公式（10）所示：

4.2.3 時間步數(shù)設(shè)置

因為LSTM神經(jīng)網(wǎng)絡(luò)具有時間序列的特性，本文將數(shù)據(jù)集的前85%作為訓(xùn)練集數(shù)據(jù)，后15%作為測試集數(shù)據(jù)。在LSTM-CNN-CBAM 股票預(yù)測網(wǎng)絡(luò)模型中，通過設(shè)置不同的時間步長進(jìn)行實驗對比，分別得到圖5～10的實驗結(jié)果，通過實驗可以發(fā)現(xiàn)，設(shè)置不同的步長時間，對預(yù)測結(jié)果的準(zhǔn)確性具有影響。

通過觀察圖5～10可以發(fā)現(xiàn)當(dāng)時間步長為5時，因為考慮的時間步長較短，沒有考慮到全局因素影響，預(yù)測結(jié)果有較大偏差，數(shù)據(jù)具有一定的波動。

當(dāng)時間步長設(shè)置為30時，考慮的時間范圍過大，容易忽略短時間內(nèi)輿情等因素產(chǎn)生的影響，預(yù)測結(jié)果不準(zhǔn)確。步長設(shè)置為20的時候，誤差最小，準(zhǔn)確率最高。所以最后將時間步長設(shè)置為20，用前20天的9個屬性的數(shù)據(jù)作為神經(jīng)單元的輸入層，第21 天的收盤價格作為標(biāo)簽進(jìn)行訓(xùn)練模型。

圖7 時間步長=15

圖8 時間步長=20

圖9 時間步長=25

圖10 時間步長=30

圖11 LSTM

圖12 LSTM-CNN

圖13 LSTM-CNN-CBAM

4.3 實驗結(jié)果

模型預(yù)測結(jié)果如圖11～13所示，紅色虛線為股票收盤價預(yù)測值，藍(lán)色曲線為股票收盤價真實值，橫坐標(biāo)為時間，縱坐標(biāo)為股票標(biāo)準(zhǔn)化處理后的價格。

通過觀察對比實驗擬合圖形可以發(fā)現(xiàn)單一的LSTM網(wǎng)絡(luò)對于股票價格的波動不敏感，而LSTM與卷積神經(jīng)網(wǎng)絡(luò)的結(jié)合模型有能力學(xué)習(xí)到股票價格波動的特征。然而，從圖12可知，盡管LSTM-CNN模型可以擬合股票價格的大致波動，但擬合的精度較低，LSTMCNN-CBAM的預(yù)測效果明顯優(yōu)于單純的LSTM網(wǎng)絡(luò)模型和LSTM-CNN 網(wǎng)絡(luò)模型，因為CBAM 模塊能夠通過通道注意力機制從卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生的大量特征圖中選擇對預(yù)測結(jié)果有重要影響的特征圖。同時，通過空間注意力機制能夠從特征圖的空間信息中選擇有效的特征信息。該模型可以合理準(zhǔn)確地預(yù)測到股票的價格。圖13 中，在150 天左右，該模型對于股票的價格的預(yù)測值與實際值差別較大，這可能是由于股市受到當(dāng)時的政府政策或者網(wǎng)絡(luò)輿情的影響所造成的而非本文所提出的網(wǎng)絡(luò)的缺陷所致。因此，本次實驗驗證了本文提出的網(wǎng)絡(luò)具有有效性和可行性。

4.4 實驗評價指標(biāo)

本文主要目標(biāo)是預(yù)測股指未來收盤價，采用均方根誤差[17]（RMSE）對預(yù)測結(jié)果進(jìn)行評價。均方根誤差也稱之為標(biāo)準(zhǔn)誤差，是觀測值與真實值之間的偏差，常用來作為機器學(xué)習(xí)模型預(yù)測結(jié)果衡量的標(biāo)準(zhǔn)。

由表1 可知，表中各模型之間的誤差走勢與圖11～13中的預(yù)測價格曲線與實際價格曲線的之間的誤差走勢具有一致性。單一的LSTM 模型的預(yù)測價格能力最差，LSTM-CNN 模型的預(yù)測價格能力次之。LSTMCNN-CBAM 模型的性能較其他模型的預(yù)測RMSE 小，其預(yù)測值與真實值擬合圖形的分散程度較小，預(yù)測精度最高。因此，表1定量地證明了本文中設(shè)計的網(wǎng)絡(luò)模型的有效性。

表1 網(wǎng)絡(luò)模型預(yù)測誤差

4.5 預(yù)測模型的時效性

時間復(fù)雜度決定了模型的預(yù)測時間。如果復(fù)雜度過高，則會導(dǎo)致模型預(yù)測耗費大量時間，既無法快速地驗證想法和改善模型，也無法做到快速地預(yù)測。針對這一問題，對三種股票預(yù)測模型的時效性做了一個對比分析，運用訓(xùn)練集的數(shù)據(jù)進(jìn)行預(yù)測，得到的三種模型的預(yù)測完成所需時間如表2。

表2 網(wǎng)絡(luò)模型的預(yù)測時效性

由表2可知，三種模型的預(yù)測完成所需時間相差不大，只有幾毫秒。在預(yù)測過程中不會耗費大量時間，可以做到快速的預(yù)測。因此，表2定量地證明了本文中設(shè)計的網(wǎng)絡(luò)模型具有一定的時效性。

5 結(jié)束語

本文通過對在結(jié)合長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)中引入CBAM 進(jìn)行理論研究與對比，并利用Python語言和PyTorch 框架對模型進(jìn)行代碼實現(xiàn)，采用上證指數(shù)數(shù)據(jù)進(jìn)行價格預(yù)測，通過與LSTM 和LSTM-CNN 的對比實驗可以看出預(yù)測的準(zhǔn)確率得到了一定的提升。表明了此模型對股票信息的預(yù)測是具有可行性和有效性的。通過對三種預(yù)測模型的時效性對比分析，證明了此模型具有良好的時效性?？紤]到本次實驗中在峰值處出現(xiàn)的預(yù)測值與真實值之間的誤差，將會在未來的工作中考慮結(jié)合輿情分析等因素，進(jìn)行文本挖掘[18]，希望能提高模型對股價預(yù)測的精準(zhǔn)度，給股民的選擇帶來更加有價值的參考。