摘要： 近年來隨著人工智能的不斷發(fā)展，相關(guān)深度學(xué)習(xí)技術(shù)也在量化投資中得以運(yùn)用。LSTM（long short term memory network）屬于深度學(xué)習(xí)模型之一，該模型在預(yù)測時間序列數(shù)據(jù)方面性能較優(yōu)，在此基礎(chǔ)之上本文引入Attention機(jī)制以提高其捕捉關(guān)鍵信息的能力，從而提升模型預(yù)測性能。本文采用Attention-LSTM方法構(gòu)建模型對上證50指數(shù)最高價漲跌趨勢進(jìn)行預(yù)測，結(jié)果顯示所構(gòu)建量化投資方法預(yù)測能力較優(yōu)，其正確率能達(dá)到63.42%，這表明深度學(xué)習(xí)模型的泛化能力較強(qiáng)以及預(yù)測準(zhǔn)確性較高，為拓寬深度學(xué)習(xí)應(yīng)用場景，深入應(yīng)用于量化投資領(lǐng)域提供了實踐經(jīng)驗。

關(guān)鍵詞：LSTM;Attention;深度學(xué)習(xí);量化投資

深度學(xué)習(xí)模型是人工智能的重要實現(xiàn)手段，近年來受益于深度學(xué)習(xí)研究的不斷深入，人工智能實現(xiàn)了迅速發(fā)展，在圖像識別、語音識別等領(lǐng)域得以廣泛應(yīng)用。人工智能概念的興起也促使金融學(xué)者將目光轉(zhuǎn)向深度學(xué)習(xí)模型中，開始探究其在量化投資領(lǐng)域的應(yīng)用。相關(guān)研究表明深度學(xué)習(xí)模型可以用于股價預(yù)測之中，識別出投資機(jī)會，從而在降低風(fēng)險的同時獲得超額收益。深度學(xué)習(xí)在量化投資方面取得的優(yōu)秀表現(xiàn)，使得越來越多關(guān)于這方面的研究不斷涌現(xiàn)。

為了緊跟研究方向，本文選取了具有代表性的LSTM深度學(xué)習(xí)模型在量化投資方面進(jìn)行研究。LSTM是深度學(xué)習(xí)模型的一種，由于其較強(qiáng)的自學(xué)習(xí)能力，能夠充分挖掘金融數(shù)據(jù)中的有效信息，在預(yù)測時間序列數(shù)據(jù)方面具有很大優(yōu)勢，因此在量化投資領(lǐng)域中得以脫穎而出。本文將LSTM深度學(xué)習(xí)模型應(yīng)用于上證50指數(shù)的預(yù)測之中，實證結(jié)果驗證了LSTM模型泛化能力較強(qiáng)，預(yù)測準(zhǔn)確性較高，為將深度學(xué)習(xí)技術(shù)拓寬應(yīng)用場景，廣泛應(yīng)用于各種時間序列預(yù)測提供了實踐經(jīng)驗。此外，本文在LSTM模型基礎(chǔ)之上引入Attention 機(jī)制，進(jìn)一步捕捉重要時間點的局部特征，提高正確率。

本文通過實證研究得出LSTM深度學(xué)習(xí)模型擁有預(yù)測精度和穩(wěn)定性兩方面的優(yōu)勢，未來在金融預(yù)測等方向應(yīng)用前景廣闊。同時借助于大數(shù)據(jù)與Attention 機(jī)制的優(yōu)勢，可以將深度學(xué)習(xí)方法應(yīng)用于量化投資領(lǐng)域，依靠計算機(jī)識別投資機(jī)會，提升預(yù)測準(zhǔn)確性與投資效率，吸引國內(nèi)外投資者，推動我國金融市場不斷完善與發(fā)展。

一、深度學(xué)習(xí)在量化投資領(lǐng)域的文獻(xiàn)綜述

近年來，隨著人工智能的發(fā)展，深度學(xué)習(xí)模型開始脫穎而出，其中CNN、RNN、LSTM等深度學(xué)習(xí)模型應(yīng)用較為廣泛。由于金融數(shù)據(jù)具有非平穩(wěn)的特性，傳統(tǒng)的模型對其非線性部分的處理具有一定局限性，而深度學(xué)習(xí)擅于挖掘金融噪聲中的有效信息，正好補(bǔ)充了傳統(tǒng)模型的應(yīng)用缺陷，能在一定程度上降低投資風(fēng)險并提高收益。例如，Xiong等（2015）基于LSTM模型預(yù)測S&P 500波動率，發(fā)現(xiàn)LSTM能準(zhǔn)確預(yù)測信噪比較高的金融時間序列。Di Persio和Honchar（2016）對比了MLP、LSTM、CNN這三種模型在S&P500指數(shù)預(yù)測結(jié)果，研究表明CNN模型預(yù)測誤差最小。

在國內(nèi)研究方面，崔建福和李興緒（2004）對比了GARCH和深度學(xué)習(xí)模型模型在股價預(yù)測性能，研究表明兩者都不能用隨機(jī)游走模型來預(yù)測股票價格，經(jīng)過多次實驗得出BP深度學(xué)習(xí)模型模型優(yōu)于GARCH（1，1）模型。張坤等（2009）提出一種混合模型改進(jìn)模型預(yù)測效果，該模型將灰度預(yù)測深度學(xué)習(xí)模型和小波深度學(xué)習(xí)模型相結(jié)合，改進(jìn)后的預(yù)測結(jié)果表明混合模型的預(yù)測效果好于采用單一方法的預(yù)測模型。肖著和潘中亮（2012） 基于LM算法的改進(jìn)算法建立了改進(jìn)的三層BP深度學(xué)習(xí)模型，解決了容易出現(xiàn)局部最優(yōu)的問題，使模型具有更好的準(zhǔn)確性和穩(wěn)定性。

在深度學(xué)習(xí)領(lǐng)域中，LSTM由于其自學(xué)習(xí)能力，可以深入挖掘大量數(shù)據(jù)中的有效信息，提升預(yù)測精度。它創(chuàng)新地引入了門機(jī)制，解決了RNN梯度消失和梯度爆炸問題，使其具有記憶能力，因此更適合預(yù)測金融時間序列。周凌寒（2018）從股市相關(guān)文本數(shù)據(jù)中提取出情感因子，并作為輸入特征應(yīng)用于LSTM模型，提升了模型預(yù)測效果。Shun Chen和Lei Ge （2019）、陳佳等（2019）這些學(xué)者均提出了改進(jìn)后的 LSTM模型，有效提升了模型的運(yùn)算速度與預(yù)測精度。李佳（2019）等比較了LSTM深度學(xué)習(xí)模型與其他模型在上證指數(shù)以及滬深300指數(shù)上的預(yù)測結(jié)果，得出的結(jié)論表明LSTM預(yù)測效果較優(yōu)，在股價預(yù)測問題上具有較為廣闊的發(fā)展前景。

總之，國外已有大量文獻(xiàn)將深度學(xué)習(xí)應(yīng)用于股市預(yù)測中，包括融合各類模型的混合算法，挖掘不同的預(yù)測指標(biāo)，以及預(yù)測前對數(shù)據(jù)進(jìn)行預(yù)處理的算法。但是，LSTM作為一種新型的深度學(xué)習(xí)模型模型，以前主要應(yīng)用于圖像識別、語音識別等領(lǐng)域，在國內(nèi)金融市場預(yù)測應(yīng)用還不多，實證效果還有待于進(jìn)一步的檢驗和驗證，這也是本文主要研究目的。

二、基于Attention-LSTM模型的實證分析

3.1數(shù)據(jù)來源

運(yùn)用python中第三方庫tushare選取上證50來預(yù)測未來最高價。選取最高價是因為穩(wěn)定性比收盤價更好，波動性小，如圖1所示。選取時間段為從設(shè)立之日起至2020年5月22日的日行情數(shù)據(jù)。同時應(yīng)用talib庫計算技術(shù)指標(biāo)，包括sma、wma、momentum、slowk、slowd、rsi、macd、william、oscillator、cci，從而盡可能獲取更多的特征，用這10個技術(shù)指標(biāo)對股指進(jìn)行預(yù)測。最終數(shù)據(jù)特征數(shù)為10個。

3.2數(shù)據(jù)預(yù)處理

在缺失值處理中，計算技術(shù)指標(biāo)過程中產(chǎn)生了缺失值NaN，因為數(shù)據(jù)集足夠大、缺少的特征值集中于前10日，這里選擇刪除整行來處理。本文是對上證50的漲跌趨勢進(jìn)行預(yù)測，需要事先進(jìn)行離散化處理，若當(dāng)日指標(biāo)相對于前一日上漲則記為1，下跌記為0。

3.3研究方法與過程

LSTM深度學(xué)習(xí)模型具有很強(qiáng)的自學(xué)習(xí)能力，可以更好地發(fā)現(xiàn)長期依賴關(guān)系，對于股價這類非平穩(wěn)、信噪比高的金融數(shù)據(jù)來說具有很高的應(yīng)用價值。它創(chuàng)新地引入了門機(jī)制，包括輸入門、輸出門和遺忘門。其中，輸入門和輸出門用來接收和輸出參數(shù)，遺忘門決定了上一單元狀態(tài)的保存情況，此外還設(shè)置了一個記憶存儲機(jī)制Cell，用來記錄神經(jīng)元狀態(tài)。使用門來控制記憶的方式有效解決了RNN梯度消失和梯度爆炸問題，使其具有記憶能力，因此更適合預(yù)測金融時間序列。

在訓(xùn)練方法與優(yōu)化器選擇上，本文采用Minibatch方法訓(xùn)練LSTM網(wǎng)絡(luò)，batch_size設(shè)置為128。本文目標(biāo)是預(yù)測股指未來最高價漲跌，即為二分類，因此選categorical_crossentropy作為損失函數(shù)。優(yōu)化器方面，這里采用Adam優(yōu)化器進(jìn)行優(yōu)化訓(xùn)練并基于Keras框架進(jìn)行LSTM深度學(xué)習(xí)預(yù)測。在預(yù)測時間窗口選擇上，本文采用歷史40個交易日的數(shù)據(jù)信息對第二天指數(shù)最高價漲跌進(jìn)行預(yù)測。在輸入值選取上，本文采用10個技術(shù)指標(biāo)的離散型數(shù)據(jù)作為輸入，最終輸出得到次日最高價漲跌情況。本文將數(shù)據(jù)集分為訓(xùn)練集和測試集，其中前80%作為訓(xùn)練集，后20%作為預(yù)測集。設(shè)置validation_split=0.2，將訓(xùn)練集的后20%作為驗證集，檢驗?zāi)Ｐ偷姆夯芰?。LSTM輸入格式需要為三維，用前四十天數(shù)據(jù)預(yù)測第二天，輸入格式應(yīng)該轉(zhuǎn)換為（-1，40，10）。訓(xùn)練集、預(yù)測集的形式分別為X_train （3158， 40， 10），y_train （3158，2），X_test （749， 40， 10），y_test （749，2）。

此外，本文還引入了Attention機(jī)制，該機(jī)制又稱為注意力機(jī)制，能讓模型把注意力集中在重要信息上，而并抑制其它無用信息，能夠作用于任何序列模型中，在序列學(xué)習(xí)任務(wù)上具有巨大的提升作用。谷麗瓊和吳運(yùn)杰（2020）曾在GRU模型中引入Attention機(jī)制，在MAPE，RMSE，R2 score三個評價指標(biāo)中均取得了提升，表明注意力機(jī)制可以有效優(yōu)化預(yù)測模型，捕捉重要信息特征。

三、結(jié)語

本文通過構(gòu)建Attention-LSTM模型訓(xùn)練20次后得到的訓(xùn)練集loss為0.5785，acc為0.7169，驗證集loss為0.6595，acc為0.6282，最終得到的上證50指數(shù)最高價預(yù)測正確率為63.42%，驗證了LSTM模型在預(yù)測上的有效性。在未來的研究中，我們可以進(jìn)一步將CNN、GRU、ConvLSTM模型等進(jìn)行對比，比較分析各種深度學(xué)習(xí)模型的優(yōu)劣。此外，除了對離散型數(shù)據(jù)進(jìn)行預(yù)測外，還可以用連續(xù)型數(shù)據(jù)進(jìn)行研究預(yù)測。

綜上所述，本文利用Attention-LSTM模型在量化投資方面進(jìn)行研究，對上證指數(shù)的預(yù)測驗證了LSTM深度學(xué)習(xí)模型泛化能力較強(qiáng)，預(yù)測準(zhǔn)確性較高，為將深度學(xué)習(xí)技術(shù)拓寬應(yīng)用場景，廣泛應(yīng)用于各種時間序列預(yù)測提供了實踐經(jīng)驗。進(jìn)一步來說，未來借助于大數(shù)據(jù)的優(yōu)勢，可以將深度學(xué)習(xí)方法應(yīng)用于量化投資領(lǐng)域，依靠計算機(jī)識別投資機(jī)會，提升預(yù)測準(zhǔn)確性與投資效率，吸引國內(nèi)外投資者，推動我國金融市場不斷完善與發(fā)展。

參考文獻(xiàn)：

[1] Sun L， Najand M， Shen J.Stock return predictability and investor sentiment： A high-frequency perspective[J].Journal of Banking & Finance， 2016，73：147-164.

[2] Ballings M， Van den Poel D， Hespeels N， et al.Evaluating multiple classifiers for stock price direction prediction [J].Expert Systems with Applications， 2015，42（20）：7046-7056.

[3] A. Jayanth Balaji， D.S. Harish Ram， Binoy B. Nair. Applicability of Deep Learning Models for Stock Price Forecasting An Empirical Study on BANKEX Data[J]. Procedia Computer Science， 2018， 143.

[4] 周凌寒. ?基于 LSTM 和投資者情緒的股票行情預(yù)測研究[D].華中師范大學(xué)，2018.

[5] 宋剛， ?張云峰， ?包芳勛， ?秦超. ?基于粒子群優(yōu)化 LSTM 的股票預(yù)測模型[J]. ?北京航空航天大學(xué)學(xué)報， 2019， 45（12）： 2533-2542.

[6] 潘水洋， ?劉俊瑋， ?王一鳴. ?基于深度學(xué)習(xí)模型的股票收益率預(yù)測研究[J]. ?浙江大學(xué)學(xué)報（理學(xué)版）， 2019， 46（05）： 550-555.

[7] 陳佳， ?劉冬雪， ?武大碩. ?基于特征選取與 LSTM 模型的股指預(yù)測方法研究[J]. ?計算機(jī)工程與應(yīng)用， 2019， 55（06）： 108-112.

[8] 李佳，黃之豪，陳冬蘭. ?基于 LSTM 等深度學(xué)習(xí)方法的股指預(yù)測研究[J/OL]. ?軟件導(dǎo)

刊：1-5.http：//kns.cnki.net/kcms/detail/42.1671.TP.20190624.1359.040.html.

[9] 谷麗瓊，吳運(yùn)杰，逄金輝.基于Attention機(jī)制的GRU股票預(yù)測模型[J/OL].系統(tǒng)工程：1-11[2020-08-05].http：//kns.cnki.net/kcms/detail/43.1115.N.20200805.1323.004.html.

[10] 喬若羽. ?基于深度學(xué)習(xí)模型的股票預(yù)測模型[J]. ?運(yùn)籌與管理， 2019， 28（10）： 132-140.

[11] 彭燕， ?劉宇紅， ?張榮芬. ?基于 LSTM 的股票價格預(yù)測建模與分析[J]. ?計算機(jī)工程與應(yīng)用， ?2019， 55（11）： 209-212.

[12] 楊青， ?王晨蔚. ?基于深度學(xué)習(xí) LSTM 深度學(xué)習(xí)模型的全球股票指數(shù)預(yù)測研究[J]. ?統(tǒng)計研究， ?2019， 36（03）： 65-77.

作者簡介：唐成（1996-），男，漢族，江蘇高郵人。主要研究方向：金融工程。