趙洪科 吳李康 李 徵 張 兮 劉 淇 陳恩紅

1(天津大學(xué)管理與經(jīng)濟(jì)學(xué)部 天津 300072)2(大數(shù)據(jù)分析與應(yīng)用安徽省重點實驗室(中國科學(xué)技術(shù)大學(xué)) 合肥 230027)

互聯(lián)網(wǎng)金融(Internet finance, ITFIN)[1]是指傳統(tǒng)金融機(jī)構(gòu)與互聯(lián)網(wǎng)企業(yè)利用互聯(lián)網(wǎng)技術(shù)和信息通信技術(shù)等實現(xiàn)資金融通、支付、投資和信息中介等服務(wù)的新型金融業(yè)務(wù)模式.其中，網(wǎng)絡(luò)小額借貸(peer-to-peer lending or P2P lending)[2-5]和眾籌(crowdfunding)[6-7]是互聯(lián)網(wǎng)金融中2種發(fā)展比較成熟的模式.例如網(wǎng)絡(luò)借貸中的Lendingclub,Prosper、人人貸等，眾籌中的 Indiegogo,Kickstarter和國內(nèi)的眾籌網(wǎng)等.最近幾年，國內(nèi)互聯(lián)網(wǎng)金融市場持續(xù)保持著指數(shù)級的增長速度，2017年中國已超越美國成為全球最大的網(wǎng)絡(luò)借貸交易市場，網(wǎng)貸平臺綜合成交量達(dá)1 163.98億元[7].根據(jù)世界銀行預(yù)測，2025年全球眾籌市場規(guī)模將達(dá)到3 000億美元；發(fā)展中國家將達(dá)到960億美元，其中我國將占52%[8].

互聯(lián)網(wǎng)金融快速發(fā)展的背后卻存在著政策滯后、監(jiān)管缺失和相關(guān)研究不足的問題，導(dǎo)致了行業(yè)亂象、平臺停業(yè)、清盤等頻繁發(fā)生.追蹤和預(yù)測市場動態(tài)(例如日交易量)可以及時推測和把握平臺的系統(tǒng)風(fēng)險，對用戶和平臺管理都有極重要意義.然而，在互聯(lián)網(wǎng)環(huán)境中，金融市場的流動性增強(qiáng)、易變性更高，使得金融市場的動態(tài)跟蹤和預(yù)測變得十分困難.并且，網(wǎng)絡(luò)環(huán)境下影響變量增多，多種序列的耦合關(guān)系更加復(fù)雜.例如對具體互聯(lián)網(wǎng)金融市場，除市場宏觀動態(tài)序列以外，平臺下各種類別金融子市場的動態(tài)對平臺整體動態(tài)也有顯著影響.

傳統(tǒng)的金融時間序列預(yù)測算法大多以目標(biāo)變量序列作為主要的研究對象.其中，具有代表性的技術(shù)包括自回歸模型[9]、向量自回歸模型[10-11]等.隨著深度學(xué)習(xí)技術(shù)發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)在序列問題上被廣泛應(yīng)用，并展現(xiàn)出比傳統(tǒng)線性模型更好的學(xué)習(xí)能力[12].尤其是在金融市場的動態(tài)預(yù)測問題中，深度學(xué)習(xí)模型具有良好的非線性映射能力和較強(qiáng)的擬合泛化能力，因此能夠更好地建模金融市場的易變特征、非線性關(guān)聯(lián)以及時間序列依賴關(guān)系.在各種深度神經(jīng)網(wǎng)絡(luò)模型中，長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory network, LSTM)通過引入門結(jié)構(gòu)，保留序列特征中需要記憶的長時信息，有效地解決了長序列依賴問題[13].另外，借助神經(jīng)網(wǎng)絡(luò)強(qiáng)大的異構(gòu)數(shù)據(jù)處理能力，部分學(xué)者基于長短期神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計了融合變量特征的預(yù)測模型[14].例如研究者通過結(jié)合新聞文本信息對股市漲跌進(jìn)行動態(tài)預(yù)測[15]，還有研究工作利用圖片等異構(gòu)信息輔助預(yù)測社交媒體的流行度變化[16].最近研究中發(fā)現(xiàn)在序列預(yù)測問題中引入注意力機(jī)制(attention mechanism)[17]能夠更加有效地快速篩選出對當(dāng)前任務(wù)更為關(guān)鍵的信息，從而進(jìn)一步增強(qiáng)模型的預(yù)測能力.然而，傳統(tǒng)的注意力機(jī)制主要從時間維度進(jìn)行設(shè)計，無法區(qū)分多變量時間序列間的不同影響.

本文針對互聯(lián)網(wǎng)金融市場的動態(tài)序列(具體包括市場日交易量和日交易次數(shù))，設(shè)計了基于長短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測模型.模型融合市場整體的宏觀動態(tài)序列以及各種子類市場的動態(tài)序列，且該模型從時間和序列特征2個維度設(shè)計2種注意力機(jī)制，建模特征的時間依賴關(guān)系和多序列輸入的共同影響.最后，模型設(shè)計了基于預(yù)測序列平穩(wěn)性約束的優(yōu)化函數(shù)，使得模型具有更好的穩(wěn)健性.通過在真實互聯(lián)網(wǎng)金融平臺大規(guī)模數(shù)據(jù)上實驗驗證的結(jié)果，充分說明了本文所設(shè)計方法在預(yù)測互聯(lián)網(wǎng)金融市場動態(tài)問題上的有效性.

1 相關(guān)工作

在金融場景中，市場信息隨著時間而動態(tài)變化.因此基于時間序列的分析與預(yù)測是該領(lǐng)域研究所關(guān)注的重點.本節(jié)首先介紹傳統(tǒng)的時間序列預(yù)測方法，然后介紹深度學(xué)習(xí)模型和注意力機(jī)制在時序問題中的相關(guān)研究，最后討論金融場景中序列預(yù)測的最新相關(guān)研究工作.

1.1 傳統(tǒng)時間序列預(yù)測方法

根據(jù)模型的輸出結(jié)果對傳統(tǒng)經(jīng)典模型進(jìn)行分類，預(yù)測模型可以分為隨機(jī)時序模型和確定性時序模型.傳統(tǒng)時間序列模型一般需要嚴(yán)格的數(shù)學(xué)原理作為支撐，并需要較嚴(yán)格的條件加以約束，從而借助外推原則來推測未來變化.

1) 確定性模型

在很多實際應(yīng)用問題中，時間序列的變化由多種因素疊加或耦合得來，如季節(jié)變化、趨勢因素、周期性變化和不規(guī)則性等因素.為了使時間序列預(yù)測消除不規(guī)則性因素帶來的影響，學(xué)者進(jìn)行了相關(guān)研究.在該類預(yù)測模型中，常采用分解方法、移動平均法、指數(shù)平滑法、季節(jié)系數(shù)法來構(gòu)建時間序列分析模型.

① 分解方法[18].分解方法的基本思想是將預(yù)測數(shù)據(jù)進(jìn)行分解，得到季節(jié)因子、循環(huán)因子、誤差因子、趨勢因子和隨機(jī)因子等.該類方法中一些新設(shè)計的優(yōu)化調(diào)整可看做是在其原始思想上的延伸.雖然這種方法在獨自使用時效果比較差，但是其作為一種基本獲取數(shù)據(jù)特征的方法，仍然有著不錯的應(yīng)用場景.

② 移動平均法[19].該方法的基本思路是先計算一組歷史序列數(shù)據(jù)的平均值，然后以該平均值作為對未來時期的預(yù)測.因此，當(dāng)時間序列受到周期性波動和隨機(jī)波動的影響時，序列波動很大且很難顯示事件的變化規(guī)律，這時使用移動平均法可以消除這些因素的影響并得到相對穩(wěn)定的趨勢線.移動平均法使用方便，但由于預(yù)測精度不夠故實用性不高.

③ 指數(shù)平滑法[20].該方法是一種特殊的加權(quán)移動平均法，會將較近時間距離內(nèi)的數(shù)據(jù)進(jìn)行加權(quán).指數(shù)平滑法和指數(shù)平滑規(guī)則與全期平均值和移動平均長度兼容，該方法預(yù)測過程不會丟棄過往數(shù)據(jù)，并且結(jié)果會基于過往數(shù)據(jù)逐漸變化.

④ 季節(jié)系數(shù)法[19].一些應(yīng)用場景中，在不同的季節(jié)，時間序列會受到不同因素的影響.例如，觀察金融時間序列數(shù)據(jù)，可以發(fā)現(xiàn)在較長的時間周期內(nèi)，數(shù)據(jù)的變化顯示出明顯的季節(jié)性周期.為了適應(yīng)季節(jié)性因素，季節(jié)系數(shù)法是一種基于季節(jié)周期性變化來進(jìn)行預(yù)測的方法，其系數(shù)用來輔助模型給出更準(zhǔn)確的預(yù)測結(jié)果.

2) 隨機(jī)性模型

統(tǒng)計學(xué)領(lǐng)域?qū)W者通過利用隨機(jī)理論研究時間序列，發(fā)現(xiàn)時間序列中由許多隨機(jī)因素共同作用引起的不規(guī)則變化并不是完全混亂而是具有一定規(guī)律性.在這種現(xiàn)象啟發(fā)下，設(shè)計基于隨機(jī)理論的預(yù)測模型引起了眾多學(xué)者的關(guān)注.這類模型一般基于以下的流程：首先，觀察時間序列數(shù)據(jù)分布確定一些較為合理的規(guī)約條件，然后采用演繹推理得到刻畫該時間序列的理論模型.如果理論模型滿足實際數(shù)據(jù)特點，則建立實際模型，進(jìn)而用來進(jìn)行時間序列的分析和預(yù)測.該類模型中比較有代表性的包括ARMA[20],ARIMA[21],ARCH[22],GARCH[23]等.

1.2 基于深度學(xué)習(xí)的時序預(yù)測方法

深度神經(jīng)網(wǎng)絡(luò)能夠通過高維特征的非線性變化獲得相比于傳統(tǒng)方法更好的表示能力.在時間序列預(yù)測問題中，應(yīng)用最為廣泛的深度學(xué)習(xí)模型是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)[12]及長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory network, LSTM)[13].循環(huán)神經(jīng)網(wǎng)絡(luò)通過引入循環(huán)機(jī)制來處理時間序列數(shù)據(jù)中的前后依賴關(guān)系.LSTM在RNN的基礎(chǔ)上，通過引入“門”結(jié)構(gòu)，對前序信息進(jìn)行篩選，將不重要信息有選擇地遺忘，從而解決了RNN在長序列問題中梯度消失的困難，進(jìn)一步強(qiáng)化學(xué)習(xí)時間序列中長距離信息的依賴關(guān)系.

1.3 基于注意力機(jī)制的時序預(yù)測方法

注意力機(jī)制是一種基于深度學(xué)習(xí)框架的優(yōu)化方法[24].目前，注意力機(jī)制在自然語言處理、計算機(jī)視覺和語音識別等領(lǐng)域都得到了很好的應(yīng)用.由于注意力機(jī)制對準(zhǔn)確率等指標(biāo)提升明顯，因此很多研究人員已經(jīng)在探索如何將其應(yīng)用到更多需要優(yōu)化的場景中.具體地，注意力模型借鑒了人類視覺注意力機(jī)制，即人類在獲得信息時，會優(yōu)先關(guān)注信息中重要的或者自己目前需要的部分.事實上，基于視覺的注意力機(jī)制是人類在觀察時所使用的信號過濾機(jī)制.在時間序列研究中，也有相關(guān)工作探索性地應(yīng)用注意力機(jī)制，并取得了一定的成功.然而，目前針對時間序列問題的注意力設(shè)計大部分只從時間維度描述序列的作用關(guān)系，而不能建模多序列特征之間的關(guān)系，這是本文設(shè)計模型時的重要出發(fā)點.

1.4 金融市場時間序列分析與預(yù)測

金融時序預(yù)測是以金融市場中時間序列變量作為數(shù)據(jù)和研究對象，構(gòu)建數(shù)學(xué)模型以分析建模市場的變動規(guī)律，并對未來市場的動態(tài)變化進(jìn)行預(yù)測的研究.傳統(tǒng)方法對金融市場的時序預(yù)測大部分是利用有效市場假說和隨機(jī)理論來對價值的波動率進(jìn)行預(yù)測，而并非直接預(yù)測價值的本身.近些年來，越來越多研究者從不同領(lǐng)域開始對金融的時序預(yù)測問題展開了研究，例如基于混沌理論的交易序列預(yù)測[25]等.特別是隨著計算機(jī)技術(shù)尤其是機(jī)器學(xué)習(xí)領(lǐng)域的技術(shù)發(fā)展，越來越多研究者開始關(guān)注機(jī)器學(xué)習(xí)方法在時序分析與預(yù)測問題上的應(yīng)用，提出了眾多的學(xué)習(xí)模型，例如深度網(wǎng)絡(luò)模型[26]、支持向量機(jī)模型[27]以及基于聚類算法的模型[28]等.這些模型可以根據(jù)歷史數(shù)據(jù)來分析市場的變化模式，并進(jìn)一步對市場未來走勢進(jìn)行預(yù)測.

針對互聯(lián)網(wǎng)金融場景中的時間序列問題，有專家學(xué)者進(jìn)行過相關(guān)研究并提出了一些預(yù)測模型，例如馬爾科夫模型[29]、轉(zhuǎn)化回顧模型[30]、生存分析模型[31]和集成學(xué)習(xí)模型[32]等.

2 長短期記憶神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制

本節(jié)首先介紹長短期記憶神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)與原理，然后針對時間序列中重要信息的提取，分析注意力機(jī)制在序列預(yù)測問題中的設(shè)計與構(gòu)建.

2.1 長短期記憶神經(jīng)網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)(long short-term memory network, LSTM)[13]在經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的基礎(chǔ)上，通過對網(wǎng)絡(luò)神經(jīng)元內(nèi)部添加非線性“門”(gate)結(jié)構(gòu)，實現(xiàn)有選擇地遺忘非重要信息，并對前序重要信息進(jìn)行加強(qiáng).因此，LSTM避免了RNN對較長序列進(jìn)行訓(xùn)練時產(chǎn)生無法避免的梯度消失問題.具體地，LSTM的門結(jié)構(gòu)定義為

(1)

其中，it，ft，ct，ot以及ht分別表示輸入門、遺忘門、記憶模塊、輸出門以及神經(jīng)元的隱狀態(tài).LSTM的遺忘門和輸入門結(jié)構(gòu)通過有選擇地保留歷史信息，從而有效地傳播梯度，避免了時序信息較長時導(dǎo)致的梯度消失問題.LSTM解決了RNN無法有效學(xué)習(xí)時間序列中的長距離信息依賴關(guān)系的問題，因此在很多時序建模問題中得到了很好的應(yīng)用.

2.2 注意力機(jī)制

時序問題中的注意力機(jī)制大部分基于深度循環(huán)網(wǎng)絡(luò)的編解碼(encoder-decoder)過程[33].該過程將學(xué)習(xí)模型分為兩大模塊，首先是由一個單層或多層RNN構(gòu)成的編碼器，將輸入序列按照時間關(guān)系輸入編碼器中，用于學(xué)習(xí)已知序列的前后依賴關(guān)系以及當(dāng)前狀態(tài)表示；得到最后一個時刻的隱狀態(tài)將其保留，稱之為向量C，此向量保留了輸入序列的動態(tài)信息以及當(dāng)前的序列狀態(tài).然后，同樣由類似結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)單元組成一個解碼器，將編碼向量E轉(zhuǎn)換為預(yù)測長度為T′的時序信息，其每一個時刻j的輸入是由向量E與目標(biāo)值序列(y1,y2,…,yj-1)共同映射而得到的向量；時刻j的輸出值即為對應(yīng)時刻的預(yù)測值，即：

E=F(x1,x2,…,xT),
yj=G(E,y1,y2,…,yj-1).

在傳統(tǒng)的編解碼模型中，解碼時每個時刻所用的上下文向量E都固定不變，這種構(gòu)造沒有將不同時刻所關(guān)注的信息不同的原理融入模型中[24].研究者對該問題進(jìn)行了更深入的探索，將圖像識別中的注意力機(jī)制引入到序列問題中[24]，通過設(shè)計注意力機(jī)制與編碼解碼器結(jié)構(gòu)相結(jié)合，提出了序列注意力機(jī)制的方法，具體為

(2)

3 預(yù)測模型

在上述介紹長短期記憶神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制的基礎(chǔ)上，本節(jié)詳細(xì)展示本文提出的融合多時間序列市場動態(tài)預(yù)測模型的具體內(nèi)容.首先介紹模型的框架，隨后從多序列輸入、注意力機(jī)制的設(shè)計以及優(yōu)化函數(shù)3個方面進(jìn)行詳細(xì)介紹.

3.1 模型框架

本節(jié)通過對互聯(lián)網(wǎng)金融市場動態(tài)的特性分析，設(shè)計并實現(xiàn)了一種基于多時間序列的注意力網(wǎng)絡(luò)模型(multiple time series based attention LSTM, MALSTM).圖1中箭頭表示各個模塊中輸入和輸出的對應(yīng)的向量，LSTM和全連接層等結(jié)構(gòu)用帶有標(biāo)記的矩形框表示，隱含層狀態(tài)矩陣用圓角矩形表示.具體地，模型首先提出一種基于多時間序列的輸入模塊，然后從時間和特征2個維度設(shè)計注意力機(jī)制；最后，模型設(shè)計了基于預(yù)測序列平穩(wěn)性約束的優(yōu)化函數(shù)，使得預(yù)測結(jié)果具有更好的穩(wěn)健性.

3.2 多序列輸入

時間序列研究中的傳統(tǒng)方法對于時序的預(yù)測往往僅考慮目標(biāo)變量時間序列自身的變化情況，沒有考慮同時刻其他特征序列的相互影響.但是在互聯(lián)網(wǎng)金融市場的動態(tài)分析中，其市場動態(tài)是會受到多個不同細(xì)分子類市場動態(tài)的共同影響；因此，本文對市場整體宏觀動態(tài)以及多個類別市場的子序列同時進(jìn)行建模，建立多類時間序列輸入：

(3)

ht,ct=LSTM(ht-1,ct-1),

(4)

其中ht,ct分別表示當(dāng)前時刻t的市場隱狀態(tài)以及記憶狀態(tài).因此，通過LSTM可以得到當(dāng)前多序列的動態(tài)表征hT.

3.3 注意力機(jī)制設(shè)計

通過多序列的LSTM輸入建模后，可以得到每時刻市場動態(tài)狀態(tài)ht，以及多序列輸入的記憶狀態(tài)ct.考慮到金融市場的宏觀動態(tài)建模需要前序時間段序列中的重要信息，因此模型需要學(xué)習(xí)不同時刻的信息對于長期變化預(yù)測所起的關(guān)鍵性作用；同時，考慮到宏觀市場的組成，模型應(yīng)能夠自動挖掘?qū)φw宏觀序列預(yù)測影響最大的子類序列，并進(jìn)一步增強(qiáng)對市場動態(tài)預(yù)測的能力.因此，本文分別從時間以及多序列特征維度設(shè)計2種注意力機(jī)制對市場動態(tài)的重要影響因素進(jìn)行了建模.

首先，通過借鑒傳統(tǒng)編解碼模型設(shè)計思想，即不同時刻的隱狀態(tài)被關(guān)注程度是不同的，在時間維度中構(gòu)建基于市場歷史狀態(tài)的注意力機(jī)制.

依據(jù)3.1節(jié)中LSTM輸入模塊處理流程，可得每個時刻隱層狀態(tài)所組成的輸出矩陣h=[h1,h2,…,hT].模型進(jìn)一步將h作為編碼器的輸出，矩陣h中的每個列向量ht表示時刻t的市場狀態(tài)，并將其作為注意力機(jī)制的輸入.進(jìn)而通過式(5)計算出當(dāng)前時刻狀態(tài)對預(yù)測狀態(tài)yj的重要程度：

(5)

另外，考慮到市場宏觀動態(tài)受到多個子類時序變化的影響，本文提出另一種基于多序列特征維度的注意力機(jī)制.不同于時間維度，多序列維度注意力機(jī)制需要考慮到每一個序列的歷史編碼狀態(tài)對于市場完整宏觀動態(tài)的影響.通過根據(jù)每一個序列在編碼器序列的所有狀態(tài)計算當(dāng)前序列狀態(tài)對宏觀市場動態(tài)的影響程度，具體過程：

(6)

(7)

(8)

3.4 優(yōu)化函數(shù)設(shè)計

從宏觀層面分析，相比于具體金融產(chǎn)品而言，金融市場的動態(tài)變化由于總需求與總供給的相對平衡而趨于平緩[28].因此對于宏觀市場的表征也應(yīng)是趨于穩(wěn)定平緩變化.本研究對于模型宏觀市場的輸出表征，提出一種線性演變約束過程，即采用式(9)的條件分布使模型對宏觀動態(tài)編碼過程中滿足線性平穩(wěn)約束：

ht|ht-1～N(Mht-1,Σ),

(9)

其中M是狀態(tài)轉(zhuǎn)移矩陣，其值在模型訓(xùn)練過程中進(jìn)行優(yōu)化，Σ為協(xié)方差矩陣.由此可以看出，宏觀市場的隱狀態(tài)不再是直接由LSTM生成，而是由市場的最終狀態(tài)演化而來，演化方式具體為

hf=MhT,

(10)

其中，hf表示的是宏觀市場的隱狀態(tài)，hT表示歷史信息的最后時間步狀態(tài).為了進(jìn)一步滿足市場宏觀動態(tài)的平穩(wěn)特性，我們設(shè)計一種基于歷史隱狀態(tài)線性演變過程的優(yōu)化目標(biāo)，用于約束模型學(xué)習(xí)過程中對宏觀市場的表征滿足線性平穩(wěn)特性.具體優(yōu)化目標(biāo)為最小化Lp：

(11)

模型最終目的是通過對歷史序列信息的學(xué)習(xí)預(yù)測未來T′時間的市場狀態(tài)；因此，準(zhǔn)確度是最重要的優(yōu)化目標(biāo).模型選擇目前時序預(yù)測中最常見的均方根誤差(root mean squard error, RMSE)[29,31]作為模型準(zhǔn)確性的優(yōu)化函數(shù)，具體如式(12)所示:

(12)

進(jìn)一步，為了防止模型訓(xùn)練造成過擬合，引入可調(diào)參數(shù)λ平衡模型在平穩(wěn)性以及準(zhǔn)確程度上的優(yōu)化目標(biāo).最終的優(yōu)化函數(shù):

(13)

具體地，模型使用初始學(xué)習(xí)率為0.000 1的RMSProp算法[34]優(yōu)化模型參數(shù)直至模型收斂.

本節(jié)提出的模型提出解碼器需要同時考慮時間和特征維度不同特征的重要程度，從而設(shè)計了一種新的注意力結(jié)構(gòu).并且模型考慮到從宏觀層面分析，金融市場的動態(tài)變化由于總需求與總供給的相對平衡會相對趨于平緩，因此設(shè)計了線性平穩(wěn)約束函數(shù)對預(yù)測過程進(jìn)行約束.這2點改進(jìn)為本文模型最為重要的創(chuàng)新點.

4 實驗評估

本節(jié)通過在真實數(shù)據(jù)集上構(gòu)建實驗驗證所設(shè)計模型在互聯(lián)網(wǎng)金融市場宏觀動態(tài)預(yù)測問題上的有效性.

4.1 實驗數(shù)據(jù)

本文實驗數(shù)據(jù)全部來源于Prosper平臺，該平臺是全球第二大互聯(lián)網(wǎng)P2P借貸平臺.實驗收集了平臺自2006-04-01至2011-05-25平臺有記錄的總計1 622 d的貸款人投資記錄.實驗中按照4∶1的比例將所有數(shù)據(jù)樣本劃分為訓(xùn)練集和測試集，即1 297 d交易數(shù)據(jù)用于模型訓(xùn)練，325 d交易數(shù)據(jù)用于測試.具體地，實驗中主要以日交易額和交易次數(shù)2種變量作為研究對象.參照平臺的用戶信用評級，將7種(風(fēng)險由高到低依次為：“HR”,“E”,“D”,“C”,“B”,“A”,“AA”)不同風(fēng)險評級的項目的動態(tài)序列提取出來，構(gòu)成宏觀市場的子類序列作為模型的輸入，并按照滑動窗口的方法構(gòu)建每個樣本的歷史序列和目標(biāo)序列(例如采用平臺上10 d的歷史數(shù)據(jù)預(yù)測未來10 d每天的目標(biāo)變量).

考慮到平臺采集的真實數(shù)據(jù)可能存在不完整、不一致的特性，本文對訓(xùn)練集以及測試集進(jìn)行了預(yù)處理:1)首先使用線性插值法處理數(shù)據(jù)集中的缺失值.使用線性插值是因為在時間序列問題中對于缺失值不能做簡單的刪除操作，它會導(dǎo)致時間序列索引的斷裂.2)對原始時間序列進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，不同信用等級時間序列的變量數(shù)值大小差異較大，數(shù)值較大的序列對模型訓(xùn)練和預(yù)測結(jié)果的影響會有較大干擾，直接輸入到模型中可能會導(dǎo)致模型的權(quán)重偏移.實驗中采用數(shù)據(jù)歸一化的方法將所有的時間序列變量映射到[0,1]區(qū)間內(nèi):

(14)

其中，X為序列變量的原始數(shù)據(jù)，Xmax，Xmin分別是原始序列變量中的最大值和最小值，X*為經(jīng)過數(shù)據(jù)歸一化的值，其取值范圍為[0,1].

4.2 實驗設(shè)置

本節(jié)分別介紹實驗平臺、對比方法和評測指標(biāo).

4.2.1 實驗平臺

實驗中本文所提出的MALSTM模型以及全部對比方法均基于python 3.5以及tensorflow1.2.1實現(xiàn)，并且涉及到LSTM結(jié)構(gòu)的所有模型中神經(jīng)元個數(shù)設(shè)置為200，Dropout為0.5，λ=0.001，Batchsize大小設(shè)置為8.本文所有方法程序均在配置2塊2.20 GHz Intel Xeon E5-2650 v4 CPU以及4塊Tesla K80 GPU的Linux環(huán)境下運(yùn)行.

4.2.2 對比方法

為了對比驗證本文所提出模型的效果，共選取和設(shè)計了4種方法作為對比實驗.

1) 自回歸差分移動平均模型(ARIMA).經(jīng)典的傳統(tǒng)時間序列預(yù)測模型，輸入為單時間序列，只包括平臺總金額或總貸款筆數(shù).

2) 單序列輸入的LSTM模型[12](記為LSTM).在循環(huán)網(wǎng)絡(luò)模型中使用LSTM構(gòu)造編碼器和解碼器，每個時間步的輸入只包括每天的平臺總金額或總交易筆數(shù).

3) 多序列輸入的LSTM模型(記為LSTM-M)，使用LSTM構(gòu)造編碼器和解碼器，參考本文的多序列輸入機(jī)制，每個時間步的輸入除了當(dāng)前每天的平臺總金額數(shù)或總交易筆數(shù)之外，還包含不同風(fēng)險等級項目每天的總金額數(shù)或總交易筆數(shù).此模型也看作是傳統(tǒng)模型的一個改進(jìn).

4) 多序列注意力機(jī)制模型(記為MALSTM-t).在LSTM-M模型的基礎(chǔ)上增加了時間緯度上的注意力機(jī)制.

5) 多序列注意力機(jī)制模型(記為MALSTM)，即本文所提出的基于多序列輸入的注意力模型.MALSTM在訓(xùn)練中只使用RMSE作為優(yōu)化目標(biāo).

6) 加入平穩(wěn)性優(yōu)化目標(biāo)的模型(MALSTM-L).在MALSTM模型中加入了本文提出的線性平穩(wěn)約束對模型進(jìn)行優(yōu)化，并使用本文設(shè)計的完整優(yōu)化函數(shù).

4.2.3 評測指標(biāo)

本文使用在時間序列預(yù)測領(lǐng)域中最為廣泛采用的均方根誤差(root mean squard error,RMSE)[27,29]以及平均絕對誤差(mean absolute error,MAE)[29]作為預(yù)測精準(zhǔn)度評價標(biāo)準(zhǔn)，兩者基本原理是計算預(yù)測序列的目標(biāo)值與預(yù)測值之間的差異性大小，RMSE和MAE值越小代表預(yù)測精準(zhǔn)度越高，RMSE和MAE計算方法為

(15)

4.3 實驗結(jié)果與分析

本文分別對平臺的總貸款金額和總貸款筆數(shù)進(jìn)行預(yù)測對比實驗，固定歷史天數(shù)為10的情況下，將預(yù)測天數(shù)調(diào)整為1～10，觀察不同模型的表現(xiàn)情況.

表1和表2分別給出了4種算法在預(yù)測天數(shù)1～10 d中平臺總交易金額預(yù)測結(jié)果的RMSE和MAE值.從表中可以很清晰地觀察到本文提出的模型(MALSTM與MALSTM-L)顯著優(yōu)于其他對比模型.其中，在RMSE指標(biāo)上，本文提出的MALSTM與MALSTM-L相較于經(jīng)典注意力架構(gòu)MALSTM-t分別取得了最大2.04%和4.18%的效果提升，相對于未使用注意力機(jī)制的其他模型取得了4.45%～6.72%以及6.04%～8.67%的提升.同時，在MAE指標(biāo)上，MALSTM與MALSTM-L相較于經(jīng)典注意力架構(gòu)MALSTM-t分別取得了最大1.78%和4.33%的效果提升，相對于未使用注意力機(jī)制的其他模型取得了4.26%～8.96%以及5.82%～11.06%的提升.這些結(jié)果說明了本文提出的多輸入注意力深度網(wǎng)絡(luò)模型的有效性與先進(jìn)性.同時，通過比較本文提出的2個模型，可以發(fā)現(xiàn)MALSTM-L相比于MALSTM在RMSE指標(biāo)和MAE指標(biāo)上，分別平均提升了2.02%以及2.52%，這說明了模型基于的平穩(wěn)性約束條件的合理性和有效性，并證明了市場宏觀的動態(tài)變化是趨于平穩(wěn)的.

Table 1 The RMSE Results of the Market Amount Prediction in the Next Ten Days表1 對未來10 d市場的交易總額預(yù)測結(jié)果的均方根誤差

Note: The best results are in bold.

Table 2 The MAE Results of the Market Amount Prediction in the Next Ten Days表2 對未來10 d市場的交易總額預(yù)測結(jié)果的平均絕對誤差

Note: The best results are in bold.

進(jìn)一步，通過對預(yù)測結(jié)果按照時間維度的橫向分析，可以發(fā)現(xiàn)隨著預(yù)測時間的推移，傳統(tǒng)的LSTM與MLSTM模型預(yù)測效果顯著減低，例如，2個模型在第10天預(yù)測結(jié)果相比較于第一天準(zhǔn)確度在RMSE指標(biāo)下分別降低了14.51%與7.21%.由此可以看出，對于長期預(yù)測問題，多序列輸入模型顯著優(yōu)于直接輸入目標(biāo)單序列的模型，這證明了多序列之間的相互關(guān)系能夠有效地輔助市場的宏觀動態(tài)建模，并提高模型對于遠(yuǎn)期預(yù)測結(jié)果的準(zhǔn)確性.同時，對于MALSTM和MALSTM-L模型，遠(yuǎn)期的預(yù)測結(jié)果在RMSE指標(biāo)下僅降低了5.41%以及4.80%，這表明本文提出的模型能夠很好的建模金融市場宏觀動態(tài)的長期波動情況，同時也說明在市場宏觀預(yù)測問題中，平穩(wěn)性約束的有效性，進(jìn)一步證明了本文提出的模型在金融宏觀市場預(yù)測問題中的穩(wěn)健性.

圖2展示的是4種算法在預(yù)測1～10 d中平臺總交易筆數(shù)預(yù)測結(jié)果的RMSE和MAE值.從圖2可以清晰看出，本文提出的帶有平穩(wěn)性約束的MALSTM-L模型效果最佳，其次是多序列注意力模型MALSTM，然后是多序列輸入的MALSTM-t和MLSTM模型，效果最差的是ARIMA模型和原始的LSTM模型.結(jié)果進(jìn)一步表明本文所提出的多序列對市場宏觀動態(tài)預(yù)測的重要性，同時也證明了基于多序列注意力機(jī)制的有效性以及本文所設(shè)計模型的先進(jìn)性.同時，圖2中結(jié)果顯示序列預(yù)測模型的準(zhǔn)確度隨著預(yù)測時間的推移表現(xiàn)出先上升后下降.同時，對比4種方法的預(yù)測誤差的變化趨勢可以發(fā)現(xiàn)，MALSTM-L模型的誤差隨著時間的推移變化幅度最小，這進(jìn)一步驗證本文提出的模型在宏觀市場預(yù)測問題中的穩(wěn)健性，也說明了引入的市場平穩(wěn)性約束的有效性.另外，相比較而言，由于交易筆數(shù)序列比交易金額序列平穩(wěn)性差，所以，在表3和表4的結(jié)果中，MALSTM-L有個別情況時表現(xiàn)弱于MALSTM.

Fig. 2 The results of the market transaction quantity prediction in the next ten days圖2 模型對未來10 d金融市場的交易單數(shù)預(yù)測結(jié)果Table 3 The RMSE Results of the Market Counts Prediction in the Next Ten Days表3 對未來10 d市場的交易筆數(shù)預(yù)測結(jié)果的均方根誤差

MethodDays12345678910ARIMA0.08160.08100.08000.07920.07710.07750.07800.07940.08050.0826LSTM0.08120.08010.07900.07780.07630.07610.07730.07890.08100.0833MLSTM0.08000.07860.07730.07460.07490.07480.07710.08130.07790.0847MALSTM-t0.08010.07790.07650.07500.07430.07480.07630.07640.07720.0774MALSTM0.07890.07740.07600.07440.07400.07490.07570.07510.07570.0759MALSTM-L0.07770.07710.07560.07480.07300.07420.07440.07470.07580.0761

Note: The best results are in bold.

Table 4 The MAE Results of the Market Counts Prediction in the Next Ten Days表4 對未來10 d市場的交易筆數(shù)預(yù)測結(jié)果的平均絕對誤差

Note: The best results are in bold.

5 總 結(jié)

本文針對互聯(lián)網(wǎng)金融市場的宏觀動態(tài)預(yù)測進(jìn)行研究，首先介紹了互聯(lián)網(wǎng)金融市場時間序列動態(tài)的特點與預(yù)測問題的研究背景.然后回顧了傳統(tǒng)時間序列預(yù)測方法，基于深度學(xué)習(xí)的方法和注意力機(jī)制，并對當(dāng)前金融市場時序預(yù)測研究進(jìn)行了簡要介紹.針對互聯(lián)網(wǎng)金融市場的流動性強(qiáng)、易變性高的特點，本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)融合層次多時間序列學(xué)習(xí)的預(yù)測模型.首先，該模型可以實現(xiàn)對多序列(宏觀動態(tài)序列和多種子序列)特征變量輸入的處理，并且在時間和序列特征2個維度上利用注意力機(jī)制融合輸入變量;其次，模型設(shè)計了基于預(yù)測序列平穩(wěn)性約束的優(yōu)化函數(shù)，使得模型預(yù)測具有更好的穩(wěn)健性;最后，在真實大規(guī)模互聯(lián)網(wǎng)金融數(shù)據(jù)集上進(jìn)行了大量實驗，實驗結(jié)果表明本文所提出的基于深度神經(jīng)網(wǎng)絡(luò)融合層次多時間序列學(xué)習(xí)的預(yù)測模型取得了最佳的預(yù)測性能，充分證明了模型在互聯(lián)網(wǎng)金融市場宏觀動態(tài)預(yù)測問題上的有效性與穩(wěn)健性.

本文探索了互聯(lián)網(wǎng)金融市場的宏觀動態(tài)預(yù)測問題，并建模了多序列輸入對于市場動態(tài)的影響，同時利用了市場宏觀動態(tài)的平穩(wěn)性特點，提升了時序預(yù)測準(zhǔn)確度，為時間序列預(yù)測提供了一種新的研究思路.未來的研究可以從2個方面展開：1)進(jìn)一步探索子序列對于宏觀動態(tài)的影響以及各個子序列之間的相互影響關(guān)系；2)探索外部信息，例如新聞媒體文本等對市場宏觀動態(tài)預(yù)測的影響.