【摘要】由于神經(jīng)網(wǎng)絡自身的高度自學習性，穩(wěn)定性以及抽象模擬能力，相比于統(tǒng)計學以及計量經(jīng)濟學中的數(shù)學模型，神經(jīng)網(wǎng)絡用于預測金融時間序列更具優(yōu)勢。本文在深入分析LSTM神經(jīng)網(wǎng)絡對股指進行短期時間序列預測的可行性。

【關鍵詞】LSTM RNN 神經(jīng)網(wǎng)絡 股指預測

一、LSTM神經(jīng)網(wǎng)絡分析

LSTM（長短時記憶）神經(jīng)網(wǎng)絡是建立在RNN上的一種新型深度機器學習神經(jīng)網(wǎng)絡。在這個模型中LSTM單元包含一個嘗試將信息儲存較久的存儲單元。這個記憶單元的入口被一些特殊的門控制，被控制的功能包括保存、寫入和讀取操作。這些門都是邏輯單元，它們負責在神經(jīng)網(wǎng)絡的其它部分與記憶單元連接的邊緣處設定權值。這個記憶單元是一個線型的神經(jīng)元，有自體內部連接。具體來說就是其在每一個神經(jīng)元內部加入了三個門，分別是輸入門、輸出門和忘記門。用來選擇性記憶反饋的誤差函數(shù)隨梯度下降的修正參數(shù)。當忘記門被打開時，自己連接權值為1，記憶單元將內容寫入自身。當忘記門輸出為0時，記憶單元會清除之前的內容。輸出門允許在輸出值為1的時候，神經(jīng)網(wǎng)絡的其它部分將內容記入記憶單元，而輸入門則允許在輸出值為1的時候，神經(jīng)網(wǎng)絡的其它部分讀取記憶單元。模型結構如下：

Cell，就是神經(jīng)元狀態(tài)的記憶，有個叫做state的參數(shù)來記錄狀態(tài)的。Forget Gate：將上一次神經(jīng)元的狀態(tài)選擇性遺忘修正參數(shù)。對于每個存儲單元，三套權重從輸入訓練而得，包括先前時間步中完整的隱藏狀態(tài)。一個帶入到輸入節(jié)點，在上圖的底部。一個帶入到忘記門，在最右側顯示。另一個帶入到輸出門，在頂部最左側的顯示。每個黑色節(jié)點與一個激活函數(shù)相關聯(lián)，典型的激活函數(shù)為S型函數(shù)。單元中最中央的節(jié)點即內部狀態(tài)，并且以數(shù)量1為權重來跨越時間步，再反饋到本身。內部狀態(tài)的自連接邊，被稱為恒定誤差傳送帶或CEC。

以前傳遞為例，輸入門來決定何時讓激活狀態(tài)傳入存儲單元cell，而輸出門決定何時讓激活傳出存儲單元，這些都是通過訓練學習而確定的。最后忘記門用來學習是否記憶上一個神經(jīng)元狀態(tài)的全部或部分或完全遺忘。后傳遞也是同樣的道理，輸出門是在學習什么時候讓誤差流入存儲單元，而輸入門則學習什么時候讓它流出存儲單元，并傳到神經(jīng)網(wǎng)絡的其它部分。忘記門也是一樣。以下按照一般算法的計算順序來給出每個部分的公式：

帶下標L的是跟Input Gate相關的，連向Input Gate包括：外面的輸入，來自Cell的那個虛線（虛線叫做peephole連接），帶H的是一個泛指，因為LSTM的一個重要特點就是其靈活性，cell之間可以互聯(lián)，hidden units之間可以互聯(lián)，所以這個H就是泛指這些連進來的東西，可以看成是從外面連進了的三條邊的一部分。

FORGET GATE：

后向傳播中的偏微分求導由于非常復雜，在這里就不贅述了，只要明白對每個門中經(jīng)過的參數(shù)求偏導是為了按梯度的方向進行收斂并修正權值。

二、LSTM神經(jīng)網(wǎng)絡模型的優(yōu)勢及問題

LSTM的出現(xiàn)的原因其實是因為RNN轉換成超級長的傳統(tǒng)神經(jīng)網(wǎng)絡后，利用BP反向傳播的時候，誤差會逐級減小，但由于展開的太長了，誤差需要歸因到每一層每一個神經(jīng)元，這會導致整個訓練過程無法逃離局部最優(yōu)解。LSTM正是解決了這個問題，他將每一層的神經(jīng)元設計成具有多個“門”的結構，這使得誤差在傳播過程中，有些可以直接通過“門”，不用歸因于當前神經(jīng)元，誤差就完好無損的直接通過到下一層了，因此收斂性很好。

三、LSTM神經(jīng)網(wǎng)絡模型的算法改進

α學習速率是與誤差函數(shù)的一階導數(shù)相乘，來控制隨梯度下降的步長的，雖然α是變化的但是每一次歸因對于每個自變量來說是相同的?？梢詫ⅵ猎O為誤差函數(shù)的二階導數(shù)，這樣以每一自變量下降的不同速度來隨梯度下降。這種改變的理論依據(jù)源于著名的數(shù)學理論擬牛頓法。

具體公式為：wn∈w=wold+H-1wold

這里的w為權值的向量矩陣，H-1為hessian矩陣，這里就是將學習速率α設為誤差函數(shù)的二階導數(shù)，從而使每一個自變量（權值）下降的速度隨各自梯度下降，使模型收斂的更加準確。

四、實證分析

研究對象：選取日成交量最大的標普500指數(shù)作為基礎研究對象來驗證模型的準確性，運用LUA語言進行編程，并以TORCH作為深度學習框架。進行訓練預測擬合圖形并計算誤差。

LSTM模型預測誤差均值為0.783%股指。模型收斂的更小，誤差更小，模型預測準確。

參考文獻

[1]Andrej Karpathy.The Unreasonable Effectiveness of Recurrent Neural Networks[R].，2015.3.

[2]胡新辰.于LSTM的語義關系分類研究[M].哈爾濱工業(yè)大學.2015.6.

[3]李小燕.灰色神經(jīng)網(wǎng)絡預測模型的優(yōu)化研究[D].武漢理工大學.2009.

作者簡介：唐寅（1991-），男，漢族，貴州金沙人，現(xiàn)就讀于首都經(jīng)濟貿易大學，碩士學位，研究方向：電子商務。