溫伍正宏,潘 甦,張 坤

(南京郵電大學(xué),江蘇 南京210009)

1 引言

深度學(xué)習(xí)在語音識別[1,2]、圖像識別[3,4]以及自然語言處理[5,6]等領(lǐng)域不斷取得突破性的進(jìn)展,表現(xiàn)出巨大的潛力。隨著 AI 技術(shù)在各個(gè)應(yīng)用領(lǐng)域的落地及實(shí)踐,金融科技也將迎來一個(gè)智能化的新時(shí)代,銀行系統(tǒng)的交易平臺擁有海量的數(shù)據(jù),運(yùn)用深度學(xué)習(xí)算法發(fā)現(xiàn)交易量的漸變趨勢并進(jìn)行預(yù)測,提前通知業(yè)務(wù)人員和系統(tǒng)運(yùn)維人員可能的流量變化,并為領(lǐng)導(dǎo)者提供精準(zhǔn)的決策支持,越來越受到關(guān)注。

圖1 網(wǎng)銀用戶增長曲線

本文的主要研究內(nèi)容和貢獻(xiàn)如下:

1)研究歷史交易量數(shù)據(jù)的周期性的變化趨勢和特征,包括:分鐘級別、小時(shí)級別、日級別、鄰近時(shí)間截面、鄰近時(shí)間區(qū)域、特殊日等;

2)通過特征工程對241天的歷史數(shù)據(jù)進(jìn)行處理,生成的特征向量維度為[347040, 20];

3)基于長短期記憶網(wǎng)絡(luò)LSTM設(shè)計(jì)并實(shí)現(xiàn)了交易量預(yù)測模型LSTM-WP;

訓(xùn)練模型,超參數(shù)調(diào)優(yōu)并進(jìn)行預(yù)測結(jié)果對比分析,結(jié)果表明LSTM-WP模型在節(jié)假日的準(zhǔn)確度比線性算法提高了約8%。

2 相關(guān)技術(shù)說明

2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN:Recurrent Neural Network)[8]是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。它通過每層之間節(jié)點(diǎn)(也稱為RNN cell)的連接結(jié)構(gòu)來記憶之前的信息,并利用這些信息來影響后面節(jié)點(diǎn)的輸出。RNN可充分挖掘序列數(shù)據(jù)中的時(shí)序信息以及語義信息,它在處理時(shí)序數(shù)據(jù)時(shí)比全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)更具有深度表達(dá)能力,這使得RNN已廣泛應(yīng)用于語音識別、語言模型、機(jī)器翻譯和時(shí)序分析等各個(gè)領(lǐng)域。

RNN的設(shè)計(jì)原理如圖2所示,RNN網(wǎng)絡(luò)在時(shí)間維度上展開,輸入xt(t時(shí)刻的特征向量),并經(jīng)過輸入層到隱藏層連接的有權(quán)重矩陣U參數(shù)化后,結(jié)合上一時(shí)刻該節(jié)點(diǎn)的狀態(tài)h(t-1)計(jì)算出該時(shí)刻的h(t),計(jì)算公式如式(1)所示,其中,隱藏到隱藏的循環(huán)連接由權(quán)重矩陣W參數(shù)化,函數(shù)f表示神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)。

圖2 RNN設(shè)計(jì)原理

h(t)=f(U×xt+W×h(t-1))

(1)

隱藏到輸出的連接由權(quán)重矩陣V參數(shù)化,之后便得到了由x值得輸入序列映射后的輸出值o的對應(yīng)序列,損失函數(shù)L衡量每個(gè)o與相應(yīng)的訓(xùn)練目標(biāo)y的距離,再利用反向傳播算法和梯度下降算法訓(xùn)練模型,由于每個(gè)時(shí)刻的節(jié)點(diǎn)都有一個(gè)輸出,所以通常情況下,RNN的總損失為所有時(shí)刻(或部分時(shí)刻)上的損失和。然而,如果時(shí)間序列過長,RNN并不能夠很好的將這些上下文信息關(guān)聯(lián)起來,產(chǎn)生“長期依賴”的問題,這是因?yàn)榻?jīng)過許多階段傳播后的梯度傾向于消失(大部分情況)或爆炸(很少,但對優(yōu)化過程影響很大)[9]。

2.2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)(LSTM:Long Short Term Memory Network)是一種特殊的RNN,它由Hochreiter等人在1997年提出[10],主要解決了上面提到的RNN的“長期依賴”問題。它將原始的RNN cell替換成了LSTM cell,原始RNN cell僅適用單一tanh循環(huán)體,但LSTM cell使用三個(gè)“門(Gate)”結(jié)構(gòu)來控制不同時(shí)刻的狀態(tài)和輸出[11],分別為“遺忘門”、“輸入門”和“輸出門”,對比如圖3圖4所示。這里的“門”結(jié)構(gòu)可以實(shí)現(xiàn)有選擇性地讓信息通過,它使用了sigmoid激活函數(shù)的全連接神經(jīng)網(wǎng)絡(luò)和一個(gè)按位做乘法的操作來實(shí)現(xiàn)。

圖3 RNN cell內(nèi)部結(jié)構(gòu)

圖4 LSTM cell內(nèi)部結(jié)構(gòu)

“遺忘門”的計(jì)算公式如式(2)所示,它使得LSTM cell可以決定讓哪些信息通過,它的輸入是ht-1和xt,輸出是一個(gè)向量長度與Ct相同的、數(shù)值都在0和1之間的向量,表示讓Ct-1的各部分信息通過的比重,其中,0表示不讓任何信息通過,1表示讓所有信息通過。

ft=σ(Wf·[ht-1,xt]+bf)

(2)

“輸入門”使得LSTM可以決定當(dāng)前t時(shí)刻的輸入數(shù)據(jù)中哪些信息留下來,它的操作分為兩步:①選取更新信息內(nèi)容(計(jì)算公式如式(3)所示)與更新量(計(jì)算公式如式(4)所示);②更新cell狀態(tài),計(jì)算公式如式(5)所示。

(3)

it=σ(Wi·[ht-1,xt]+bi)

(4)

(5)

通過“輸入門”的第二步操作,首先將不想保留的信息刪除掉,再加入需要保留的新添加的信息。在得到最新的節(jié)點(diǎn)狀態(tài)Ct后,“輸出門”結(jié)合上一時(shí)刻節(jié)點(diǎn)的輸出ht-1和當(dāng)前時(shí)刻節(jié)點(diǎn)的輸入xt來決定當(dāng)前時(shí)刻節(jié)點(diǎn)的輸出,具體計(jì)算公式如式(6)和式(7)所示。

ot=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot×tanh(Ct)

(7)

3 交易量預(yù)測

3.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

原始數(shù)據(jù)集共包含241個(gè)文本文件,每個(gè)文本文件記錄了關(guān)于中銀開放平臺當(dāng)天每分鐘的用戶交易量,即每個(gè)文本文件是由1440條記錄構(gòu)成,因此共有347040條記錄。

每條記錄格式為:

日期(date)時(shí)間(time)交易量(count)

在這241個(gè)文本文件中,有若干文件的記錄是異常的,如交易量為0或交易量與其它相同時(shí)間段內(nèi)的記錄顯著不同,因此首先通過刪除替換的方法對離異樣本點(diǎn)進(jìn)行了處理。

3.2 特征工程

分析原始數(shù)據(jù)發(fā)現(xiàn)交易量有如下特征:

1)分鐘級別和小時(shí)級別的周期性變化特征:通常情況下,每天的每分鐘和每小時(shí)的交易量的變化趨勢大致相同,如圖5所示。

圖5 分鐘和小時(shí)級別的交易量變化趨勢

2)日級別的周期性變化特征:通常情況下,周一到周五每一天的交易量的變化趨勢大致相同,如圖6中“—”線所示,周六和周日的交易量的變化趨勢大致相同,如圖6中“:”線所示,這里將周一到周五定義為工作日,周六和周日定義為休息日。

圖6 日級別交易量變化趨勢

3)鄰近時(shí)間截面交易量的變化特征:通常情況下,如果當(dāng)天是工作日,那么其交易量與上周5天工作日的交易量的均值以及和上周該天的交易量大致相同;如果當(dāng)天是休息日,那么其交易量與上周2天休息日的交易量的均值以及和上周該天的交易量大致相同。

4)鄰近時(shí)間區(qū)域交易量的變化特征:當(dāng)前時(shí)刻的瞬時(shí)交易量與該時(shí)刻之前一段時(shí)間范圍內(nèi)的交易量變化存在關(guān)系。

5)特殊日的變化特征:特殊日包括節(jié)假日(比如:春節(jié)、國慶等)、重要日(比如:重大促銷日等)以及這些天前后的日期,特殊日的變化往往與日級別的周期性變化特征相反,比如,如果當(dāng)天是工作日,但同時(shí)又是節(jié)假日,那么當(dāng)天的交易量通常要比其它工作日要低很多,如圖7所示,“—”線代表正常的工作日交易量,“:”線代表特殊的工作日的交易量,可以看出,特殊的工作日由于該天實(shí)際上是假期,所以導(dǎo)致其交易量比正常的工作日要低;如果當(dāng)天是休息日,但同時(shí)又是實(shí)際上需要工作的日期,那么當(dāng)天的交易量通常要比其它休息日高很多,如圖8所示,“—”線代表正常的休息日交易量,“:”線代表特殊的休息日的交易量,可以看出,特殊的休息日由于該天實(shí)際上是工作日,所以導(dǎo)致其交易量比正常的休息日要高很多。

圖7 特殊工作日交易量變化趨勢

圖8 特殊休息日交易量變化趨勢

綜合以上分析,在特征工程階段,將每條記錄擴(kuò)展為20維(feature＿size=20)的特征向量,這里將第i條記錄記為Xi,Xi={fj,j=1,…,feature＿size-1},其中,第2個(gè)特征即交易量是重點(diǎn)關(guān)注的,記為Yi。具體每一維的含義如表1所示。

表1 特征向量的特征含義

數(shù)據(jù)量共有241天×1440分鐘-time＿step=346980條,這里time＿step取60,表示每連續(xù)60條分鐘級別的記錄作為1個(gè)樣本Si,即Si是由[X0,X1,X2,…X59]組成,因此Si的維度為[time＿step,feature＿size]=[60, 20],樣本Si的組成如圖9所示,Y0為下一時(shí)刻的交易量值,以此來生成訓(xùn)練集和測試集,這里將其中的90%作為訓(xùn)練集(312282條),其余數(shù)據(jù)作為測試集(34698條),具體如圖10所示。

圖9 樣本Si的組成

圖10 訓(xùn)練集與測試集的Si、Yi

由于LSTM對數(shù)據(jù)尺度敏感,所以根據(jù)特征的性質(zhì)將20維特征的每一維進(jìn)行標(biāo)準(zhǔn)化:

1)對于f6、f7特征,使用one-hot編碼取值為0或1;

2)對于其它特征使用z-score標(biāo)準(zhǔn)化使其符合標(biāo)準(zhǔn)正態(tài)分布。

3.3 模型結(jié)構(gòu)

本文設(shè)計(jì)的LSTM-WP(LSTM-WebPredict)模型使用6層神經(jīng)網(wǎng)絡(luò),包括輸入轉(zhuǎn)換層(Input Layer)、處理層(LSTM Layer)與輸出轉(zhuǎn)換層(Output Layer),如圖11所示。其中,輸入轉(zhuǎn)換層由1層全連接層(FCN:Fully Connected Network)構(gòu)成,負(fù)責(zé)將每一時(shí)刻的訓(xùn)練樣本數(shù)據(jù)Xi由原始維度[batch＿size:64, time＿step:60, feature＿size:20]轉(zhuǎn)換成與LSTM cell的num＿units具有相同的維度[batch＿size:64, time＿step:60, num＿units:128],如圖12所示;處理層由3層LSTM構(gòu)成,每一層由1個(gè)LSTM cell在60個(gè)時(shí)間步長上(time＿step)展開,加入dropout過程防止模型過擬合,如圖13所示;輸出轉(zhuǎn)換層由2層全連接層構(gòu)成,負(fù)責(zé)將最后一個(gè)時(shí)間維度的LSTM cell的輸出轉(zhuǎn)換成預(yù)測的交易量,數(shù)據(jù)維度的變化過程為:[batch＿size:64, num＿units:128]-> [batch＿size:64, output＿layer1＿size:64]-> [batch＿size:64, output＿layer2＿size:1],如圖14所示。

圖11 LSTM-WP 模型設(shè)計(jì)

圖12 Input Layer

圖13 LSTM Layer

圖14 Output Layer

3.4 訓(xùn)練與預(yù)測

在訓(xùn)練過程中,模型使用平方誤差來刻畫損失,使用L2正則化來防止模型過擬合,損失函數(shù)的定義參見式(8)所示,L2正則化公式見式(9),其中,y＿t表示第t分鐘的實(shí)際交易量,y＿pre表示第t分鐘的預(yù)測交易量,γ表示正則項(xiàng)系數(shù),Wi表示第i個(gè)參數(shù),模型共有m個(gè)參數(shù)。

(8)

(9)

在評價(jià)過程中,模型使用均方誤差(RMSE:root mean squared error)來評價(jià)模型的好壞,它反映了預(yù)測值對觀測值的平均偏離程度,取值大于或等于零,預(yù)測無誤差時(shí)等于零,均方誤差的計(jì)算公式參見式(10)所示,其中,n為1440,表示預(yù)測當(dāng)天的1440分鐘,y＿t表示第t分鐘的實(shí)際交易量,y＿pre表示第t分鐘的預(yù)測交易量。

(10)

在預(yù)測過程中,本文使用滑動窗口方法,在每一天的凌晨0點(diǎn)5分觸發(fā)預(yù)測過程,根據(jù)上一日的引導(dǎo)數(shù)據(jù)并以此不斷更新引導(dǎo)數(shù)據(jù)來預(yù)測當(dāng)天1440個(gè)分鐘的交易量。具體方法如下,算法偽代碼1給出了具體過程。

1)生成引導(dǎo)數(shù)據(jù):取前一天最后60分鐘的交易量數(shù)據(jù),即從23:00:00時(shí)刻到23:59:00時(shí)刻的實(shí)際交易量,生成維度為[time＿step, feature＿size]的特征向量;

2)喂進(jìn)已訓(xùn)練好的模型中:模型輸出下一時(shí)刻的交易量的預(yù)測值,如第一次觸發(fā)即生成00:00:00時(shí)刻的預(yù)測交易量Y0;

3)更新引導(dǎo)數(shù)據(jù):利用該交易量的預(yù)測值生成下一時(shí)刻維度為[1, feature＿size]特征向量,即00:00:00時(shí)刻的特征向量,并將其添加到引導(dǎo)數(shù)據(jù)中的最后,再刪除最早時(shí)刻的特征向量,保證引導(dǎo)數(shù)據(jù)維度仍為[time＿step, feature＿size];

4)上述2)、3)步不斷迭代運(yùn)行,直到預(yù)測出當(dāng)天全部1440個(gè)分鐘的交易量,即當(dāng)天的00:00:00到23:59:00。

算法偽代碼 1:基于滑動窗口預(yù)測交易量

算法變量定義:

1)lead＿data表示用于計(jì)算當(dāng)天00:00:00時(shí)刻交易量的引導(dǎo)數(shù)據(jù)

2)fv表示根據(jù)引導(dǎo)數(shù)據(jù)生成的特征向量

3)nfv表示標(biāo)準(zhǔn)化后的特征向量

4)next＿predict＿count表示根據(jù)引導(dǎo)數(shù)據(jù)計(jì)算的下一時(shí)刻交易量的預(yù)測值

5)predict＿count表示當(dāng)天1440個(gè)交易量預(yù)測序列

6)next＿minute＿fv表示下一時(shí)刻分鐘的特征向量

7)lstm()表示訓(xùn)練好的模型

8)time＿from, time＿to表示引導(dǎo)數(shù)據(jù)的開始時(shí)刻與結(jié)束時(shí)刻

輸入:time＿from, time＿to

輸出:predict＿count

算法開始:

1)lead＿data=create＿lead＿data(time＿from=23:00:00, time＿to=23:59:00)

2)fv=create＿feature＿vector(lead＿data)

3). nfv=normalizied(fv)

4)for i in range(1440):

5)next＿predict＿count=lstm(nfv)

6)predict＿count.append(next＿predict＿count)

7)next＿minute＿fv=create＿next＿minute

＿feature＿vector(next＿predict＿count)

8)fv=update＿feature＿vector(fv,

next＿minute＿fv)

9)nfv=normalizied(fv)

10)Return predict＿count．

3.5 結(jié)果分析

本文使用LSTM-WP模型的預(yù)測結(jié)果與加權(quán)平均算法的預(yù)測結(jié)果在2020年勞動節(jié)節(jié)假日期間的表現(xiàn)進(jìn)行了對比。勞動節(jié)節(jié)假日的時(shí)間信息如表2所示。

表2 2020年勞動節(jié)節(jié)假日信息

五天相應(yīng)的預(yù)測對比結(jié)果如表3所示,可以看出,在節(jié)假日期間LSTM-WP模型的均方誤差要低于加權(quán)平均算法的均方誤差,平均降低了約8.63%,即LSTM-WP的預(yù)測準(zhǔn)確率更高。

表3 預(yù)測對比結(jié)果

4 總結(jié)與展望

利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法助力金融科技中的趨勢預(yù)測等應(yīng)用場景越來越成為一種趨勢。本文在分析交易量歷史數(shù)據(jù)特征的基礎(chǔ)上,基于長短期記憶網(wǎng)絡(luò)LSTM設(shè)計(jì)并實(shí)現(xiàn)了一種用于交易量預(yù)測的模型LSTM-WP,并與基于統(tǒng)計(jì)學(xué)的加權(quán)平均算法進(jìn)行對比,結(jié)果表明,在對于特殊日這一類重要日期的預(yù)測上,LSTM-WP模型的準(zhǔn)確率提高了約8%,同時(shí),隨著訓(xùn)練數(shù)據(jù)的不斷增多,模型的學(xué)習(xí)能力會逐漸增強(qiáng);不僅如此,該算法的研究對于將AI技術(shù)應(yīng)用于其它時(shí)間序列問題的業(yè)務(wù)場景,比如異常檢測、容量評估等也提供了相應(yīng)的技術(shù)積累。