段夢冉 劉美君 薛碧月 王都成

[摘 要]在第四代科技革命，即新信息技術(shù)高速發(fā)展的背景下，人工智能技術(shù)在股票市場中也得以廣泛應用。股價綜合指數(shù)可視為股票市場整體趨勢的一種量化描述，對綜合指數(shù)的變化趨勢分析有助于了解股票市場的演化方向。因此，我們利用建立了一個含有200個隱藏神經(jīng)元的長短時記憶網(wǎng)絡(luò)以分析上證指數(shù)的變化趨勢，該模型實現(xiàn)了基于前7個交易日的歷史數(shù)據(jù)的一步預測。由于ADAM具有高效性的優(yōu)勢，我們將其用ADAM與模型訓練，并利用正則化方法提高模型的泛化能力。通過仿真實驗證明，LSTM模型較好地對上證指數(shù)運動的趨勢進行了預測，為上證指數(shù)預測提供了一個新的研究方向。

[關(guān)鍵詞]長短時記憶網(wǎng)絡(luò);上證指數(shù)預測;LSTM模型;ADAM算法

[中圖分類號]TM715 [文獻標識碼]A

1 引言

近幾年來，隨著高新技術(shù)快速發(fā)展和經(jīng)濟全球化，我國的資本市場規(guī)模迅速擴大。資本市場得到了充分的利用，財產(chǎn)性收入不斷增加，越來越多的人加入到投資者的行列中來，投資者們通過投資股票、基金等投資方式來獲得紅利、股息等。投資是具有風險性，證券持有者面臨著預期收益不能實現(xiàn)甚至連本金都會虧損的風險。通常情況下，風險越大的證券，預期收益越高。目前，證券投資的分析方法大致分為基礎(chǔ)分析法和技術(shù)分析法。所謂的基礎(chǔ)分析法，就是對股票本身的內(nèi)在價值進行分析，并通過對宏觀政治、經(jīng)濟環(huán)境，發(fā)行者所在的行業(yè)與市場公司本身的情況的分析，再結(jié)合股票價格的高低，來預測該對未來股票走向的大致趨勢。而技術(shù)分析法是根據(jù)市場過去已有的統(tǒng)計數(shù)據(jù)進行訓練，進而研究出市場未來的發(fā)展趨勢和變動。事實上，影響證券的許多因素會反映在股票收盤價、開盤價、最低價、最高價和交易量上。股票市場還具有一定的記憶性，過去市場上出現(xiàn)的一些變動，很有可能在將來再次出現(xiàn)。在證券市場中，大多數(shù)股民都不能全面地了解股市的實時信息，因此就需要我們利用兩種方法相結(jié)合建立一個準確度較高的股市預測的模型。

作為機器學習的一個重要內(nèi)容，深度學習近年迅速發(fā)展，受到了許多研究者的關(guān)注。早在1943年，心理學家Warren McCulloch和數(shù)學邏輯學家Walter Pitts就提出了一種模擬大腦神經(jīng)元的結(jié)構(gòu)MP神經(jīng)模型（McCulloch-Pitts Neuron model），MP模型其實采用的是線性加權(quán)的方法模擬神經(jīng)元處理信號的構(gòu)成，I為輸入，W為權(quán)重，加權(quán)和經(jīng)過一個閾值函數(shù)后作為輸出。

為使計算機更自動，合理地設(shè)置權(quán)重。在1958年，F(xiàn)rank Rosenblatt提出了感知機模型（perceptron），感知器使用特征向量來表示前饋式人工神經(jīng)網(wǎng)絡(luò)。在1969年，Marvin Minsky和Seymour證明了單層感知器無法解決線性不可分問題[感知器]，至此神經(jīng)網(wǎng)絡(luò)的發(fā)展研究停歇了近20年，直到2006年，迎來了深度學習的爆發(fā)期，例如：Nelder等人提出的廣義現(xiàn)象模型就建立了回歸進行了股票預測?，F(xiàn)今神經(jīng)網(wǎng)絡(luò)不斷發(fā)展，給證券市場建模及其更準確地預測提供了許多新思路。上證指數(shù)是具有“記憶性”，LSTM引入了記憶單位的結(jié)構(gòu)設(shè)計，能夠模擬記憶性。LSTM結(jié)構(gòu)通過訓練數(shù)據(jù)，利用LSTM中前向算法和反向算法計算誤差，根據(jù)誤差，訓練權(quán)重，提高其學習能力及學習效率，例如：谷歌在2015年通過基于CTC訓練的LSTM程序大幅度提升了安卓手機和其他設(shè)備中的語音識別能力。

建立基于長短時記憶神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預測，為股票購買和投資提供參考。因為長短時記憶神經(jīng)網(wǎng)絡(luò)對短期數(shù)據(jù)更為敏感，而利用長短時記憶網(wǎng)絡(luò)建造的模型可使股民更好地了解股票的趨勢，以獲得更大的利潤。此外，長短時記憶神經(jīng)網(wǎng)絡(luò)可以使用傳統(tǒng)的通過時間的反向傳播（BPTT）或?qū)崟r循環(huán)學習，在時間中反向流動的誤差信號往往會爆炸或消失。反向傳播誤差的時間演化指數(shù)式地依賴于權(quán)重的大小。權(quán)重爆炸可能會導致權(quán)重振蕩，而權(quán)重消失則可能導致學習彌合時間滯后并耗費過多時間或根本不工作。因此，LSTM是一種全新的循環(huán)網(wǎng)絡(luò)架構(gòu)，它可用一種合適的基于梯度的學習算法進行訓練，以得到更好的網(wǎng)絡(luò)。因此，我們將利用LSTM神經(jīng)網(wǎng)絡(luò)進行上證指數(shù)預測。

2 LSTM神經(jīng)網(wǎng)絡(luò)基本原理

2.1 LSTM神經(jīng)網(wǎng)絡(luò)的理論

長短時記憶網(wǎng)絡(luò)（LongShortTermNetwork，LSTM），是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）特殊的類型，可學習長期依賴信息。LSTM由Hochreiter和Schmidhuber提出，在很多問題上，LSTM都得到了廣泛的使用，例如，基于LSTM網(wǎng)絡(luò)的大霧臨近預報模型及應用、基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的核電設(shè)備狀態(tài)預測。長短時記憶網(wǎng)絡(luò)（LSTM）是一種特殊的RNNs，可以很好地解決長時依賴問題。

LSTM的運算過程第一步，將樣本數(shù)據(jù)輸入“遺忘門”層，根據(jù)上一刻的輸出和當前輸入來產(chǎn)生一個0到1的值，判斷是否讓上一時刻的信息通過和部分通過。過程如下：

其中，σ表示sigmod激活函數(shù)，Wf為“遺忘門”層的權(quán)值向量，bf為“遺忘門”層的偏置參數(shù)。

第二步包含兩個部分，第一部分由“輸入門”層通過sigmoid來確定哪些值用來更新，第二部分是由tanh層用來生成新的候選值Ct，它作為當前層產(chǎn)生的候選值可能會添加到單元狀態(tài)中。將兩者產(chǎn)生的值結(jié)合起來進行更新。

其中，Wi、Wc分別為“輸入門”層和記憶單元的權(quán)值向量;bi、bc分別為“輸入層”和記憶單元的偏置參數(shù)。

老的單元狀態(tài)進行更新，首先，將老的單元狀態(tài)乘以ft來忘掉不需要的信息，然后再與相加，it*Ct得到候選值。一二步結(jié)合起來就是丟掉不需要的信息。

最后一步是通過sigmoid層來得到一個初始輸出，然后使用tanh將Ct值縮放到-1到1間，再與sigmoid得到的輸出逐對相乘，從而得到模型的輸出。sigmoid函數(shù)的輸出是不考慮先前時刻學到的信息的輸出，tanh函數(shù)是對先前學到信息的壓縮處理，起到穩(wěn)定數(shù)值的作用。

其中，Wo為“輸出門”層的權(quán)值向量，bo為“輸出門”層的偏置參數(shù)。

2.2 ADAM理論和優(yōu)點

2.2.1 ADAM理論

ADAM是由DiederikKingma和Jimmy Ba最先提出的，是一種深度學習模型中可以代替?zhèn)鹘y(tǒng)隨機梯度下降過程的一階優(yōu)化算法，它基于訓練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。該算法基于適應性低階矩估計。相較于傳統(tǒng)的隨機梯度不同，隨機梯度下降保持單一的學習率更新所有的權(quán)重，學習率在訓練過程中并不會改變。ADAM通過計算梯度的一階矩估計和二階矩估計為每一個參數(shù)保留了適應性的學習率。

ADAM算法中確定了參數(shù)α、β1、β2和隨機目標函數(shù) f（θ）之后，我們需要初始化參數(shù)向量、一階矩向量、二階矩向量和時間步。然后當參數(shù)θ沒有收斂時，循環(huán)迭代地更新各個部分。即時間步t+1、更新目標函數(shù)在該時間步上對參數(shù)θ所求的梯度、更新偏差的一階矩估計和二階原始矩估計，再計算偏差修正的一階矩估計和偏差修正的二階矩估計，然后再用以下公式計算出來的值更新模型的參數(shù)θ。

2.2.2 ADAM優(yōu)點

ADAM算法具有高效性，ADAM算法同時具有AdaGrad和RMSProp算法的優(yōu)點。適應性梯度算法（AdaGrad）為每一個參數(shù)保留一個學習率以提升在稀疏梯度（自然語言和計算機視覺問題）上的性能。它能很快地實現(xiàn)優(yōu)良的結(jié)果。經(jīng)驗性結(jié)果證明，ADAM算法在實踐中性能優(yōu)異，相對于其他種類的隨機優(yōu)化算法具有很大的優(yōu)勢。ADAM算法很容易實現(xiàn)，并且有很高的計算效率和較低的內(nèi)存需求。ADAM算法梯度的對角縮放（diagonal rescaling）具有不變性，因此很適合求解帶有大規(guī)模數(shù)據(jù)或參數(shù)的問題。因此，本文將運用ADAM算法進行LSTM神經(jīng)網(wǎng)絡(luò)的訓練，希望能夠取得較好的模型，提高預測的準確性。

3 LSTM神經(jīng)網(wǎng)絡(luò)模型的設(shè)計

3.1 數(shù)據(jù)預處理

網(wǎng)絡(luò)的數(shù)據(jù)預處理主要包括數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)選擇兩部分，本文的數(shù)據(jù)來源于國泰安（CSMAR）數(shù)據(jù)庫中，數(shù)據(jù)內(nèi)容為2014年10月26日到2016年10月26日90個工作日的開盤價、最高價、最低價、收盤價和指數(shù)回報率，因此，神經(jīng)網(wǎng)絡(luò)輸入的神經(jīng)元為5。本文所建立的LSTM神經(jīng)網(wǎng)絡(luò)系統(tǒng)就是針對上證指數(shù)走勢的短期預測模型，所以上證指數(shù)是唯一的輸出向量，神經(jīng)網(wǎng)絡(luò)輸出的神經(jīng)元個數(shù)為1。從前向后選取75%的數(shù)據(jù)作為樣本集，而剩余25%的數(shù)據(jù)作為測試集。為了提高訓練的準確性，我們采用參數(shù)正則化及dropout的方法限制模型的復雜度，即：

3.2 模型參數(shù)的選擇

由Robet Hecht-Nielsen的萬能逼近定理（Universal approximation theorem），即包含一個隱藏層的LSTM神經(jīng)網(wǎng)絡(luò)是能夠完成從一個有限維空間到另一個有限維空間的映射，且只要給予網(wǎng)絡(luò)足夠數(shù)量的隱藏神經(jīng)元，其逼近的精度越高。本文的LSTM神經(jīng)網(wǎng)絡(luò)預測模型是具有隱含層的網(wǎng)絡(luò)，增加隱含層神經(jīng)網(wǎng)絡(luò)的判定，首先要考察運算的準確度，其次考慮樣本訓練及預測所需時間。若隱含層神經(jīng)元數(shù)目過少，會導致學習精確度不高，而且所需訓練迭代的權(quán)重次數(shù)增加;但神經(jīng)元數(shù)目過大就會增加網(wǎng)絡(luò)的復雜度，導致所需訓練時間及權(quán)重個數(shù)變多。因此，隱含神經(jīng)元個數(shù)的確定決定著神經(jīng)網(wǎng)絡(luò)最終結(jié)果的好壞，我們在這里選擇200個神經(jīng)元作為隱藏神經(jīng)元的個數(shù)。

全連接層的每一個節(jié)點都與上一層的所有節(jié)點相連，用來把前邊提取到的特征綜合起來，用于反映時間序列隱藏的規(guī)律。在這里我們選擇50作為全連接層的節(jié)點。

學習率是監(jiān)督學習以及深度學習中重要的超參，其決定著目標函數(shù)能否收斂到局部最小值以及何時收斂到最小值。合適的學習率能夠使目標函數(shù)在合適的時間內(nèi)收斂到局部最小值。本文的學習率有測試的最優(yōu)解0.005.

3.3 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實證情況分析

上面敘述了LSTM神經(jīng)網(wǎng)絡(luò)的理論與ADAM算法流程，下面將通過Matlab R2018a上編制LSTM神經(jīng)網(wǎng)絡(luò)的程序來實現(xiàn)模型的預測。模型參數(shù)取值如表1所列：

首先，將之前下載好的數(shù)據(jù)帶入編制好的模型中進行預測，本文仿真實驗開始時，我們一次測試中只進行一次預測，將原始值與預測值畫在一張圖中進行比較，預測與實際比較圖和訓練過程圖如下：

從預測圖中可以看出，預測曲線與實際曲線較為緊密，真實值上升或者下跌都會伴隨著預測值的上升或者下跌，只是兩者豎直方向上數(shù)值有一定的誤差;均方根誤差RMSE用來衡量預測值與真實值之間的偏差，1500次訓練，大多數(shù)訓練誤差值小于0.2;且最后損失函數(shù)趨近于0，說明RMSE與模型復雜度使得模型得出數(shù)據(jù)，符合靠近測試集的最優(yōu)組合;因此，僅從曲線的方向與誤差來看，LSTM神經(jīng)網(wǎng)絡(luò)對上證指數(shù)的預測還是比較完美的。

之后我們進行5次預測，將原始值與5次預測值畫在一張圖中進行比較，預測比較圖如下：

從預測與實際比較圖中可以看出，在5次預測中，每次預測值曲線運動趨勢大致相同，但不同次預測值與真實值之間誤差有所不同，其預測5次的實際誤差值分別為（112.4130、1122.6438、1108.1272、1510.5632、1035.6719），預測的實際誤差值在1100.0000上下擺動，而第4次預測實際誤差值較大，為1510.5632異常數(shù)據(jù)，因此將第4次實際誤差值舍去，則從其余4次實際誤差值可得模型穩(wěn)定性較高。

將兩個預測與實際比較圖進行比較，預測1次時，剛開始時預測趨勢比較準確，真實值與預測值較為相近，但當預測至70天左右時，預測值與真實值之間差值逐漸增大;預測5次時，初始預測趨勢較預測1次時不準確，但預測時間越長，預測趨勢逐漸趨于真實值，這表明LSTM預測上證指數(shù)具有一定的可靠性。

5 總結(jié)

股票投資具有相當高的風險性，預計在不久的將來，越來越多的專家學者都會對股票的走勢進行研究。本文主要運用了機器學習中的LSTM對股票的上證指數(shù)后期走勢進行預測，充分地利用了LSTM的長期記憶性。與其他論文相比，LSTM是本文的創(chuàng)新之處，也是本文的難處。

起初，創(chuàng)建的LSTM模型對上證指數(shù)的預測準確性不強，我們將數(shù)據(jù)導入matlab，對數(shù)據(jù)進行了預處理，不過由于數(shù)據(jù)選擇和數(shù)據(jù)處理方法不當，我們用兩年的數(shù)據(jù)來預測未來一周的趨勢并沒有達到預期效果，該模型很快就被淘汰了。之后我們進行了模型的改進，只進行短期的的預測，即利用七天的數(shù)據(jù)預測一天的上證指數(shù)升降變化，進行滾動預測。

LSTM是一種縱向預測，適合處理時間序列數(shù)據(jù)，有根據(jù)過去預測未來的本領(lǐng)。本文所研究的是LSTM預測出股票的上證指數(shù)，股票市場中，大盤行情瞬息萬變，所謂預測的也就難上加難，而本文則預測出了短期的上證指數(shù)趨勢，這遠遠不能緊跟股票市場的發(fā)展速度，因此則需要進一步的提高預測的準確性。針對本文的LSTM上證指數(shù)股票預測模型進行深度剖析，未來對上證指數(shù)的預測可有如下設(shè)想：

（1）能夠具有股市時勢行情的數(shù)據(jù)，運用時間序列，使模型確定一天中最佳買入點和最佳賣出點，以保證投資者獲得最佳收益;

（2）本文選取的變量只有開盤價、收盤價、最高價、最低價、指數(shù)回報率，并沒有考慮其他的相關(guān)變量;沒有考慮上證指數(shù)是否具有周期性變化，同時沒有考慮是否還存在其他變量對上證指數(shù)價格有影響。

股市瞬息萬變，影響上證指數(shù)的因素多且復雜，未來還是要根據(jù)實際情況，進行具體分析，做模型的進一步優(yōu)化。

[參考文獻]

[1] 周高雄.金融發(fā)展探索[M].中國金融出版社，2015.

[2] 謝百三.證券投資學[M].清華大學出版社，2006.

[3] 吳微，陳維強，劉波.用BP神經(jīng)網(wǎng)絡(luò)預測股票市場漲跌[J].大連理工大學學報，2001（01）.

[4] 劉莉華.神經(jīng)網(wǎng)絡(luò)在股市預測中的應用研究[D].南開大學，1997.

[5] 曾毅成.基于改進BP神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預測[D].廈門大學，2006.