楊義 章劍林 劉闖

摘 ?要： 分析并預測股票市場中板塊指數的漲跌是自股票市場創(chuàng)立以來，受到持續(xù)關注的研究熱點之一。但由于股票市場具有非線性的時序特征，使得這一研究方向進展得頗為坎坷。而神經網絡恰好在一定程度上可以捕捉非線性特征，這給研究帶來了一種可能的途徑。本文基于長短期記憶網絡（LSTM）和全連接神經網絡（FCNN）設計模型，將大盤行情指數、關聯板塊指數和金融板塊三個方面的歷史價格和成交量以及十年期國債收益率的歷史價格作為輸入，對TDX金融行業(yè)指數漲跌的走勢進行研究。實證結果表明使用39天的先驗數據使得走勢預測效果最優(yōu)，達到了理想的預測效果，且沒有出現過擬合。

關鍵詞： 神經網絡;板塊指數;國債;數據預處理

中圖分類號： TP391.41 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.08.038

本文著錄格式：楊義，章劍林，劉闖. 基于人工神經網絡模型的金融板塊指數走勢研究[J]. 軟件，2020，41（08）：140-146+185

【Abstract】： Analyzing and predicting the rise and fall of the sector index in the stock market has been one of the hot topics since the establishment of the stock market. However， due to the non-linear temporal characteristics of stock market， this research direction is rather bumpy. However， the neural network can capture the nonlinear features to some extent， which brings a possible approach to the research. Based on the design model of long and short term memory network （LSTM） and fully connected neural network （FCNN）， this paper studies the trend of the rise and fall of the TDX financial index by taking the historical price and trading volume of the three aspects of the market index， the related sector index and the financial sector and the historical price of the 10-year Treasury bond yield as input. The empirical results show that using the 39-day prior data makes the trend prediction effect optimal， achieving the ideal prediction effect， and there is no overfitting.

【Key words】： Neural networks; Sector index; National bond; Data preprocessing

0 ?引言

指數價格形成機制的理論研究一直伴隨著股票市場的發(fā)展，并帶動了其他理論的研究，例如資本資產定價理論[1]、不完全信息博弈理論[2]等。從系統(tǒng)論的角度看，指數價格的形成機制屬于復雜的非線性系統(tǒng)，它與經濟環(huán)境和行業(yè)周期高度相關。使用數學模型根據輸入和輸出來模擬這種非線性關系，是非常困難的。這不僅是因為其機制本身的復雜性，還受到布朗運動[3]的影響。人工智能系統(tǒng)的出現和應用，例如人工神經網絡、自適應神經模糊推理系統(tǒng)等，在科學和工程領域推動解決了大量具有挑戰(zhàn)性的問題。

在銀行評估用戶信用分數的應用中，Koutanaei發(fā)現人工神經網絡自適應增強算法表現出了更好的分類精度[4]。Ban Uensal[5]在判斷土耳其銀行系統(tǒng)是否會出現危機的數據分析實驗[5]中，發(fā)現人工神經網絡的泛化能力比判別模型（discriminant model）和邏輯斯諦回歸模型都要強。Al-Fattah在基于遺傳算法和人工神經網絡建模預測油價的波動率時，模型預測精度高達88%[6]。另外，人工神經網絡在數字圖像處理方面也有出色的表現[7]。

本文考慮到其他板塊對金融板塊具有傳染效應[8]。研究金融板塊的走勢必須先考慮其他板塊對金融板塊的影響。于是根據金融市場歷史數據中各板塊的歷史數據，使用Pearson相關系數[9]挖掘出與金融板塊指數正相關性最強的前三個板塊，將這些板塊的指數序列使用小波變換的Mallat算法[10]去噪。然后將三個板塊每日的數值分別加權，進而得到關聯板塊對金融板塊的影響值的數值序列。同時為了反映市場環(huán)境對金融板塊指數的影響，對大盤指數（即上證指數和深證成指的加權指數）進行去噪，得到影響值的數值序列。此外，對金融板塊指數的序列和十年期國債收益率的歷史序列也進行去噪，分別得到數值序列，以衡量板塊自身的影響和債市的影響。將以上四種數值序列分別經過四個LSTM網絡后，對特征向量進行級聯融合，然后通過FCNN得到輸出，分析金融板塊指數的后期走勢。

1 ?相關研究

之前關于金融市場價格預測的研究，并未聚焦于板塊，而是以大盤指數作為主要研究對象。研究方法集中于運用價值投資理念和使用數理統(tǒng)計、機器學習方法。

在國外已經進行過的研究中，Yujin[11]等人提出，通過兩個輸入維度不同的LSTM分別提取市場指數及其成分股的歷史收盤價，然后使用FCNN進行特征融合和輸出?；跇藴势諣?00指數和韓國綜指200的實證分析表明，該模型的預測效果優(yōu)于比單一提取該指數歷史數據的效果要好，可能是因為指數忽略了個股的一些信息。Malagrino[12]設計了兩種貝葉斯網絡拓撲結構，先驗時間分別為24小時和48小時?；诖?，他使用全球各國指數約4.4年的收盤價格數據，分析了巴西市場指數受到其他地區(qū)金融市場指數的影響。本研究的結果不僅指明了指數的走勢方向，而且形成了一組影響指標。Ren[13]使用“周內效應”作為反映市場情緒的指標，結合支持向量機捕捉非線性特征并減少過擬合的特點，建立模型分析SSE 50的后期走勢，并發(fā)現情緒指標的引入給預測效果帶來了18.6%的提升。對于數據樣本少但對預測實時要求高的時間序列分析而言，深度神經網絡的擬合效果不理想，而結構更簡潔的函數鏈接網絡更合適。在此基礎上，Nayak[14]等人用ACRO[15，16]技術代替了訓練神經網絡時的優(yōu)化算法，并對納斯達克指數等5個主要指數進行了實證分析。結果表明，該模型比其他已知模型具有更好的性能。在Basak[17]等人的研究中，對市場指數價格的后期走勢的預測并不被視為一個傳統(tǒng)的預測問題，而是一個分類問題，即只關注價格的漲跌，然后判斷買賣點。他們采用隨機森林和XGBoost分類器對數據進行指數平滑處理，提高了分類效果。輸入特征還包括一些常用的市場技術分析指標。該研究使用軟件、電力、汽車、體育等領域10家上市公司的公開數據，發(fā)現該方法優(yōu)于SVM等算法的預測效果。Ruoxuan Xiong[18]應用長短期記憶神經網絡模擬標準普爾 500 指數的波動性，將谷歌國內趨勢作為反映公眾情緒和宏觀經濟情況的指標。在訓練集的不斷迭代中，長短期記憶模型給出的平均絕對百分比誤差為24.2%，優(yōu)于嶺回歸、LASSO回歸和自回歸GARCH基準測試至少31%。該方案通過使國內趨勢與訓練集中的每日波動之間的互信息最大以達到訓練效果。在研究市場指數時，Lee[19]等人主要考慮歷史數據和其他國家市場指數的傳導影響。他們首先利用Pearson相關系數[9]和VAR模型計算傳導大小和方向，然后將滯后數據和傳導影響進行歸一化并轉換為z分數。最后分別通過LR、SVM和RF技術，用得到的z分數進行預測。對來自10個國家的數據集的實證分析表明，支持向量機的性能優(yōu)于其他兩種技術，但仍難以處理金融序列。Idrees[20]等人發(fā)現ARIMA統(tǒng)計模型具有較好的預測效果，并且得到的模型通過了ADF檢驗和L-Jung-Box檢驗。Goyenko[21]在使用英國的數據進行實證時，發(fā)現長、短期國債收益率與股票市場存在著顯著的負相關。綜合國外的研究結果可以表明，通過神經網絡模型，特別是遞歸神經網絡模型可以較好地預測市場價格行為，而統(tǒng)計學模型可以較好地處理傳導影響。此外，政府債券收益率與股票市場存在相關關系。

在國內研究方面，很多學者將傳統(tǒng)的統(tǒng)計計量分析方法與神經網絡方法相結合，從而達到優(yōu)化的效果。肖菁，潘中亮[22]對傳統(tǒng)神經網絡提出了改進，解決了容易出現局部最優(yōu)的問題。張喆等[23]人認為股票價格受宏觀經濟、地緣政治、公司經營情況、市場人氣等方面的復雜影響，而且股票市場本身是一個非線性系統(tǒng)，提出了使用模糊神經網絡模型解決上述問題。通過非線性自回歸分布滯后模型，溫[24]等人從整體與部門的角度分析中國股市和油價之間的因果關系，發(fā)現中國股市和油價之間有顯著的非線性因果關系。就石油行業(yè)而言，油價會對電力、金融和房地產板塊產生重大影響。對于股票價格這種頻繁波動的時間序列數據，我們應該將它更多地考慮為一種非平穩(wěn)時間序列。另外，蔡勝琴[25]在研究中發(fā)現，重大事件的影響往往只能在較短時間內對金融板塊起產生作用，中長期來說其指數波動會受到各種因素的綜合影響。李湛和唐晉榮[26]在基于事件研究方法的分析實證中發(fā)現，隨著股市的發(fā)展，當市場異常波動時，股債聯動關系變得越來越緊密。

本文在前人研究的基礎上進行了以下改進：（1）將LSTM應用于提取四個方面多個維度的數據，將融合特征輸入FCNN進行預測，使得數據模型的特征覆蓋面更廣，從而預測效果更好;（2）將債市對股市的影響引入預測模型，將這種影響由定性轉為定量分析。

本文其余部分的結構如下：在第2節(jié)中，我們討論了數據預處理的步驟，包括小波去噪和歸一化。在第3節(jié)中，我們首先對FCNN和LSTM逐一進行了描述，然后介紹了模型的整體框架，最后對模型使用的數據源和性能指標進行了說明。在第4節(jié)中，我們給出了實證步驟和結果。在第5節(jié)中，我們總結了實證結果，并指出了實證分析過程中的不足。

2 ?數據預處理

2.1 ?小波去噪

2.1.1 ?去噪原理

金融市場是一個由自然、社會、政治、宏觀經濟、投資者心理等多種因素共同作用的復雜系統(tǒng)。另外由于交易制度的限制，導致我們看到的指數價格信息包含噪聲。這些帶噪音的數據影響了預測的準確性，給算法的評估帶來困難。為了進一步分析金融數據的時間序列，有必要對原始的金融序列進行預處理，進而抑制信號中的無用部分，增強有用部分。

傳統(tǒng)處理金融時間序列的方法主要有移動平均 法[27]、卡爾曼濾波法[28，29]以及納紋濾波法[30]。由于金融時間序列非平穩(wěn)、非線性以及高信噪比的特性，傳統(tǒng)的去噪方法的效果并不理想。而小波變換[7，10]，由于具有時域局部化和自適應性，適合對金融時間序列進行處理。

小波分析起源于20世紀初期，由傅里葉分析[31]衍生而來，真正發(fā)展為一門數學學科是在20世紀80年代末。法國學者Mallat[32]將其引入工程應用，尤其在信號處理領域，得到了長足的發(fā)展。其特點主要集中表現在對時-頻域的雙重定域能力和多尺度分析能力。

小波，即小區(qū)域的波，僅僅在非常有限的一段區(qū)間有非零值，而不是像正弦波和余弦波那樣無始無終。小波可以沿時間軸前后平移，也可按比例伸展和壓縮以獲取低頻和高頻小波，構造好的小波函數可以用于濾波或壓縮信號，從而可以提取出含噪信號中的有用信號。

小波函數作位移 后，在不同尺度 下，與待分析信號 作內積過程，稱為待分析信號的小波變換。若待分析信號為連續(xù)信號，那么位移和尺度也必須均連續(xù)，則這一過程稱作信號的連續(xù)小波變換（CWT），其表達式如公式1所示。

對離散信號 進行小波變換，每個尺度都可以得到兩個子帶，分別是低頻帶CA和高頻帶CD。其中CA描述了信號的概貌，為近似部分，而CD則為細節(jié)部分，常表現為噪聲。小波分析去噪的整體思路可以用圖1表示。

如圖1所示，小波去噪實際是小波的分解與重構過程。1989年，Mallat受到到塔式算法的啟發(fā)，提出了Mallat算法[10]。Mallat算法，分為信號的分解與重構兩個部分。重構算法是將閾值處理后得到的低頻信號與高頻信號合成原始信號的過程。

綜上，小波分析去噪可以分為三個步驟：

（1）選用適當的小波函數，對含噪信號進行小波變換，得到小波變換系數;

（2）采取合適的閾值以及適當的閾值處理方法，對系數進行處理，得到新的小波系數;

（3）對新的小波系數進行逆變換，重構得到去噪的信號。

2.1.2 ?閾值確定準則及處理辦法

基于小波分析的去噪方法，根據其多尺度特征，可以將信號的能量集中在少數的小波系數上。通常根據小波系數的絕對值大小作為分類的依據，系數越大其含有的信息能量越大，越小則認為其所包含的信號信息越少，并受到噪聲干擾越強。確定閾值一般遵循以下幾個準則[33]：

（1）無偏風險估計準則，即根據無偏似然估計，對每個閾值求出相應的風險值，選取風險最小的作為閾值。

（2）固定閾值準則。

（3）混合準則。它根據信噪比的不同在無偏風險估計準則和固定閾值準則中進行選擇。

（4）極小極大準則：先求出去噪后的信號與原信號的方差，計算其極值，再求出使得極大值最小的估計閾值。

本文對金融數據進行處理是為了方便后續(xù)分析，因此在處理數據時，使用以上四種中的極小極大準則，以保留更多信號。

確定閾值后，對于分解得到的小波系數一般有多種處理方法。為了盡可能降低誤差，本文選用硬閾值消噪法，即保留絕對值較大的系數，將絕對值較小的系數設為零。

目前小波函數形式多種多樣，效果也不盡相同。綜合分析，dbN、symN、coifN等系列的小波比較合適。

2.2 ?數據標準化

本文采用了四種時間序列數據，其變化區(qū)間處于不同的數量級。為避免訓練過程出現無法收斂的情況，以及某些指標因量級較小而被忽視的情況，在訓練之前先對數據進行歸一化。無論是訓練過程還是測試過程，都存在預測窗口，如圖2所示。

3.3 ?實證分析

在這一節(jié)中，我們基于不同時間長度（9天，19天，29天的先驗數據）的歷史數據建立模型并驗證，然后選擇對這些時間長度的性能均表現最優(yōu)的模型作為目標模型。股票市場的數據來自通達信提供的數據接口，十年期國債收益率數據收集自英為財情網站。

由于其他板塊對金融板塊具有傳染效應[8]，我們使用Pearson[9]相關系數r來度量關聯程度。關聯程度最高的三個板塊指數的數值序列納入考慮范圍。從圖5中可以得出，能源板塊（即煤炭、電力、石油）、可選板塊（即家用電器、汽車類、醫(yī)療保健、家居用品、醫(yī)藥）和材料板塊（即鋼鐵、有色金屬、化纖、化工、建材、造紙、礦物制品）與金融板塊的關聯程度最高，分別為：0.908，0.903，0.843。

金融行業(yè)是周期性很強的行業(yè)，其業(yè)績與金融市場高度相關，與大盤指數關聯性強。因此本文中對上證指數和深證成指的價格根據其與金融板塊的關聯程度進行加權處理，以刻畫宏觀經濟的起伏周期，如圖6所示。

考慮到股市與債市存在“蹺蹺板”效應，本文將十年期國債收益率作為衡量債市對股市影響的指標。然后對四種數據序列均進行小波去噪，然后輸入模型進行訓練并預測。在使用不同時間長度的歷史先驗數據時，預測效果如圖7所示。

為了檢測模型是否出現過擬合現象，我們通過在訓練集與檢測集中，使用不同時間長度的先驗數據后預測得到結果的R2，進行比較判斷，如表1所示。根據表中數據橫向比較得知，訓練集的R2均大于測試集上的R2，這表明模型沒有出現過擬合現象。根據表中數據縱向比較得知，使用39天的歷史先驗數據時，R2?最高。這表明，使用39天的歷史先驗數據使得模型預測準確率最高。

3.4 ?模型對比

從關聯研究中可以看出，神經網絡模型已經被廣泛使用在指數價格的預測問題中。因此，從全面性和謹慎角度考慮，本文使用通用指標MAPE來度量模型之間的差別。從圖8中可以看出，本文中使用的模型和近期推出的模型均要優(yōu)于單一使用DNN或者RNN。相比于近期推出的模型而言，本模型使用中等長度的先驗數據時的性能更好，這與上一小節(jié)得出的結論一致。

4 ?結論與展望

本文建立基于人工神經網絡的模型，該模型使用了大盤行情指數、關聯板塊指數、金融板塊指數以及十年期國債收益率作為輸入特征，模型選擇的時間段覆蓋2013年3月5日至2019年8月30日的所有交易日。通過分別使用9天、19天、29天、39天、49天和59天的歷史先驗數據建立模型，然后比較模型在訓練集和測試集上的擬優(yōu)合度，可以得知：模型沒有出現過擬合現象，且使用39天的歷史先驗數據時，模型的預測準確率最高，在訓練集上的 為0.9749，在測試集上的 為0.9545。

考慮到研究的全面性，將本文中提出的模型與其他模型通過MAPE這一度量指標進行了比較。比較得出，本文中提出的模型不僅優(yōu)于單一使用DNN或者RNN，在對中等時間長度的先驗數據特征的提取方面也有顯著優(yōu)勢，這與模型在預測精度方面相對應。

另外，模型也存在局限和不足。在數據選取方面，這里只選取了約6.5年的數據，會使得模型的精度有所下降，還可以選取更長的時間段以降低價格波動的偶然性。在模型結構的LSTM和FCNN部分，可以建立不同的網絡結構，改進特征的提取效果和模型的預測精度。

參考文獻

[1] Merton R C. An Intertemporal Capital Asset Pricing Model[J]. Econometrica， 1973， 41（5）： 867.

[2] Milgrom P R， Weber R J. Distributional Strategies for Games with Incomplete Information[J]. Mathematics of Operations Research， 1985， 10（4）： 619-632.

[3] Einstein A. Investigations on the Theory of the Brownian Movement[M]. Courier Corporation， 1956.

[4] Koutanaei F N， Sajedi H， Khanbabaei M. A hybrid data mining model of feature selection algorithms and ensemble learning classifiers for credit scoring[J]. Journal of Retailing and Consumer Services， 2015， 27： 11-23.

[5] Ban U， Mazibas M. Bank Failure Prediction with Artificial Neural Networks： A Comparative Application to Turkish Banking System[J]. Iktisat Isletme Ve Finans， 2009， 24（282）： 27-53.

[6] Al-Fattah S M. Artificial Intelligence Approach for Modeling and Forecasting Oil-Price Volatility[J]. SPE Reservoir Evaluation & Engineering， 2019， 22（03）： 0817-0826.

[7] Chaplot S， Patnaik L M， Jagannathan N R. Classification of magnetic resonance brain images using wavelets as input to support vector machine and neural network[J]. Biomedical Signal Processing and Control， 2006， 1（1）： 86-92.

[8] 黃乃靜， 張冰潔， 郭冬梅， 等. 中國股票市場行業(yè)間金融傳染檢驗和風險防范[J]. 管理科學學報， 2017， 20（12）： 19-28+86.

[9] Benesty J， Jingdong Chen， Yiteng Huang. On the Importance of the Pearson Correlation Coefficient in Noise Reduction[J]. IEEE Transactions on Audio， Speech， and Language Processing， 2008， 16（4）： 757-765.

[10] Shensa M J. The discrete wavelet transform： wedding the a trous and Mallat algorithms[J]. IEEE Transactions on Signal Processing， 1992， 40（10）： 2464-2482.

[11] Baek Y， Kim H Y. ModAugNet： A new forecasting framework for stock market index value with an overfitting prevention LSTM module and a prediction LSTM module[J]. Expert Systems with Applications， 2018， 113： 457-480.

[12] Malagrino L S， Roman N T， Monteiro A M. Forecasting stock market index daily direction： A Bayesian Network approach[J]. Expert Systems with Applications， 2018， 105： 11–22.

[13] Ren R， Wu D D， Liu T. Forecasting Stock Market Movement Direction Using Sentiment Analysis and Support Vector Machine[J]. IEEE Systems Journal， 2019， 13（1）： 760-770.

[14] Nayak S C. ACFLN： artificial chemical functional link network for prediction of stock market index[J]. Evolving Systems， 2018， 10： 567-592.

[15] Lam A Y S， Xu J， Li V O K. Chemical Reaction Opti?mization for population transition in peer-to-peer live strea-ming[C]//IEEE Congress on Evolutionary Computation. Bar?celona， Spain： IEEE， 2010： 1-8[2020-03-08].

[16] Lam A Y S， Li V O K. Chemical-Reaction-Inspired Metah-euristic for Optimization[J]. IEEE Transactions on Evolu-tionary Computation， 2010， 14（3）： 381-399.

[17] Basak S， Saha S， Kar S， 等. Predicting the Direction of Stock Market Price Using Tree Based Classi?ers[J]. The North American Journal of Economics and Finance， 2018， 47（C）： 552-567.

[18] Xiong R， Nichols E P， Shen Y. Deep Learning Stock Volatility with Google Domestic Trends[J]. arXiv： 1512. 04916 [q-fin. CP]， 2015[2019-10-20].

[19] Lee T K， Cho J H， Kwon D S， et al. Global stock market investment strategies based on financial network indicators using machine learning techniques[J]. Expert Systems with Applications， 2019， 117： 228-242.

[20] Idrees S M， Alam M A， Agarwal P. A Prediction Approach for Stock Market Volatility Based on Time Series Data[J]. IEEE Access， 2019， 7： 17287-17298.

[21] Goyenko R Y， Ukhov A D. Stock and Bond Market Liquidity： A Long-Run Empirical Analysis[J]. Journal of Financial and Quantitative Analysis， 2009， 44（1）： 189-212.

[22] 肖菁， 潘中亮. 股票價格短期預測的LM 遺傳神經網絡算法[J]. 計算機應用， 2012， 32（S1）： 144-146， 150.

[23] 張喆， 曹旭， 馬少仙. 模糊神經網絡在股票價格預測中的應用[J]. 甘肅聯合大學學報（自然科學版）， 2011， 25（3）： 9–11.

[24] Wen F， Xiao J， Xia X， 等. Oil Prices and Chinese Stock Market： Nonlinear Causality and Volatility Persistence[J]. Emerging Markets Finance and Trade， 2019， 55（6）： 1247- 1263.

[25] 蔡勝琴， 桑壯. 國內重大事件對股票市場影響的實證分 ?析——以金融板塊為例[J]. 現代商貿工業(yè)， 2010， 22（07）： 74-76.

[26] 李湛， 唐晉榮. 股市異常波動下的股債聯動關系——基于事件研究法的分析[N]. 證券市場導報， 2017： 24-29+37.

[27] Gencay R. Non-linear prediction of security returns with moving average rules[J]. Journal of Forecasting， 1996， 15（3）： 165-174.

[28] Rye B J， Hardesty R M. Time series identification and Kalman filtering techniques for Doppler lidar velocity estimation[J]. Applied Optics， 1989， 28（5）： 879.

[29] Hansun S. A new approach of moving average method in time series analysis[C]//2013 Conference on New Media Studies （CoNMedia）. Tangerang， Indonesia： IEEE， 2013： 1-4[2019-10-20].

[30] Qian X-Y. Financial Series Prediction： Comparison Between Precision of Time Series Models and Machine Learning Methods[J]. arXiv：1706.00948 [cs， q-fin]， 2017[2019-10- 06].

[31] Komorowski D， Pietraszek S. The Use of Continuous Wavelet Transform Based on the Fast Fourier Transform in the Analysis of Multi-channel Electrogastrography Recor-dings[J]. J Med Syst， 2016： 15.

[32] Mallat G. A Theory for Multiresolution Signal Decom-position： The Wavelet Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（7）： 674-693.

[33] Jing-Yi L， Hong L， Dong Y， et al. A New Wavelet Threshold Function and Denoising Application[J]. Mathematical Pro-blems in Engineering， 2016， 2016： 1-8.

[34] Bradley S D. Neural Network Simulations Support Heuristic Processing Model of Cultivation Effects[J]. Media Psycho-logy， 2007， 10（3）： 449-469.

[35] Arulampalam G， Bouzerdoum A. A generalized feedforward neural network architecture for classification and regres-sion[J]. Neural Networks， 2003， 16（5–6）： 561-568.

[36] Graves A. Generating Sequences With Recurrent Neural Networks[J]. arXiv：1308.0850[cs]， 2013[2019-10-20].

[37] Olah. Understanding LSTM Networks[Z]http： //colah. github. io/posts/2015-08-Understanding-LSTMs/.

[38] Karpathy. The Unreasonable Effectiveness of Recurrent Ne?ural Networks[Z]. http：//karpathy.github.io/2015/05/21/rnn- effectiveness/.

[39] Britz D. Recurrent Neural Network Tutorial， Part 4-Imple?-menting a GRU/LSTM RNN with Python and Theano[Z] http：//www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/.

[40] Sepp Hochreiter， Jurgen Schmidhuber. Long Short-Term Memory[J]. Neural Computation， 1997， 9（8）： 1735-1780.

[41] Gers F A， Schmidhuber J， Cummins F. Learning to Forget： Continual Prediction with LSTM[J]. 1999.

[42] Graves A， Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network archi-tectures[J]. Neural Networks， 2005， 18（5-6）： 602-610.

[43] Sak H， Senior A， Beaufays F. Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition[J]. arXiv：1402.1128 [cs， stat]， 2014[2019-10-20].

[44] Dougherty E R， Kim S， Chen Y. Coefficient of determination in nonlinear signal processing[J]. Signal Processing， 2000， 80（10）： 2219-2235.