余樂安,雷凱宇

(1.四川大學(xué) 商學(xué)院,四川 成都 610065; 2.北京化工大學(xué) 經(jīng)濟(jì)管理學(xué)院,北京 100029)

一、引言

原油在工業(yè)社會(huì)發(fā)展中起著不可替代的作用,故其價(jià)格預(yù)測一直是學(xué)術(shù)界研究的熱點(diǎn)問題。對于企業(yè)和國家做長期規(guī)劃而言,可靠的多期預(yù)測比單期預(yù)測更具有實(shí)際意義,故本文擬構(gòu)建模型以重點(diǎn)提升油價(jià)的多期預(yù)測精度。既往文獻(xiàn)曾使用計(jì)量經(jīng)濟(jì)、人工智能(AI)、混合模型和相似模式匹配模型對油價(jià)預(yù)測進(jìn)行探索。對于計(jì)量模型,Baumeister等[1]使用向量自回歸模型(VAR)預(yù)測了原油價(jià)格,結(jié)果表明VAR模型比AR與ARMA模型具有更高的方向精度;Zhao等[2]使用自回歸移動(dòng)平均(ARIMA)模型來預(yù)測國際原油價(jià)格,發(fā)現(xiàn)這一模型在短期預(yù)測上具有顯著優(yōu)勢。對于AI模型,Xie等[3]提出了一種基于支持向量機(jī)(SVM)的原油價(jià)格預(yù)測新方法,取得了較好的預(yù)測精度;Tang等[4]使用隨機(jī)向量函數(shù)鏈路(RVFL)預(yù)測WTI油價(jià),結(jié)果表明沒有迭代過程的RVFL計(jì)算時(shí)間短且能達(dá)到較高的預(yù)測精度;Yu等[5]利用極限學(xué)習(xí)機(jī)(ELM)和擴(kuò)展極限學(xué)習(xí)機(jī)(EELM)對WTI原油價(jià)格進(jìn)行了預(yù)測,也得到了較高的預(yù)測精度。不同于單個(gè)模型,混合模型可以克服單個(gè)模型的缺點(diǎn),Wang等[6]將人工神經(jīng)網(wǎng)絡(luò)(ANN)和基于規(guī)則的專家系統(tǒng)(RES)以及文本挖掘(WTM)技術(shù)相互集成,開發(fā)了一種新穎的混合模型用于油價(jià)預(yù)測;Zhang等[7]提出了一種EEMD-PSO-LSSVM-GARCH的混合方法用于原油價(jià)格預(yù)測,并證明了該方法對原油價(jià)格具有很強(qiáng)的預(yù)測能力。相似模式匹配模型是一類能夠一次輸出未來多個(gè)預(yù)測結(jié)果的模型,在多期預(yù)測任務(wù)上表現(xiàn)良好,Singh等[8]第一次在金融序列長記憶性的基礎(chǔ)上提出了PMR方法,并可以一次輸出多期預(yù)測結(jié)果;Fan等[9]也在此基礎(chǔ)上構(gòu)建了GPM模型,使用遺傳算法對相似模式匹配過程進(jìn)行尋優(yōu),取得了多期預(yù)測精度的提升。綜上,受到模式匹配思想與深度學(xué)習(xí)訓(xùn)練過程可以互相嵌入的啟發(fā),本文擬將二者結(jié)合進(jìn)行模型構(gòu)建,且通過多種相似性度量方法的綜合增強(qiáng)模型魯棒性,提升國際油價(jià)多期預(yù)測精度。

二、模型方法

(一)總體框架

為了充分挖掘隱藏在油價(jià)歷史數(shù)據(jù)中的有用信息,同時(shí)能夠利用AI方法強(qiáng)大的非線性擬合能力[10],本文提出了一種基于模式匹配與深度學(xué)習(xí)的原油價(jià)格預(yù)測模型。該模型由2個(gè)主要步驟組成:第一步為形狀相似性判斷,這一步擬基于相似模式搜尋的思想進(jìn)行建模;第二步為相似模式驅(qū)動(dòng)的參數(shù)訓(xùn)練,按照第一步選出的相似模式進(jìn)行模型參數(shù)訓(xùn)練,采用對特定時(shí)間段加權(quán)的方式來使模型更加關(guān)注特定形狀的學(xué)習(xí)。所提方法的整體框架如圖1所示。

圖1 基于相似模式與深度學(xué)習(xí)的算法流程

從圖1中可以看出,模型中的2個(gè)步驟總共包含4個(gè)核心環(huán)節(jié),下面分別對這4個(gè)環(huán)節(jié)進(jìn)行詳細(xì)介紹。

1.滾動(dòng)窗口長度確定

原油價(jià)格的記憶性特征是指當(dāng)前油價(jià)走勢與歷史上某些時(shí)間段具有很強(qiáng)的相關(guān)性[11],需要依據(jù)記憶性特征來確定滾動(dòng)窗口的長度。英國水文學(xué)家Hurst[12]提出的R/S分析法常被用來對序列的記憶性進(jìn)行度量,由于改變R/S分析法的窗口長度可以影響生成R/S序列的標(biāo)準(zhǔn)差、極差、子間隔個(gè)數(shù)等因素,從而對最終的Hurst指數(shù)產(chǎn)生影響,這也說明在不同窗口長度下序列會(huì)表現(xiàn)出不同的記憶性強(qiáng)度。故本環(huán)節(jié)先使用R/S分析法對原油價(jià)格的長記憶性特征進(jìn)行檢驗(yàn),并通過改變R/S分析的參數(shù)值判定原油價(jià)格的最優(yōu)記憶性尺度,然后基于記憶性強(qiáng)弱確定最優(yōu)滾動(dòng)窗口長度(即相似模式長度)。

2.相似模式匹配

首先將實(shí)驗(yàn)數(shù)據(jù)劃分為訓(xùn)練集與測試集,并以訓(xùn)練集的最后一個(gè)窗口作為油價(jià)變動(dòng)的當(dāng)前模式,然后,按照與當(dāng)前油價(jià)波動(dòng)狀態(tài)的“相似性”進(jìn)行模式匹配與尋找。[13]為了增強(qiáng)整體模型的魯棒性,采用長度標(biāo)準(zhǔn)化的歐氏距離[14]、相關(guān)系數(shù)[13]、均方誤差[13]3種不同的相似性度量方式,并為每一種方法設(shè)定一個(gè)閾值,歷史序列中相似性指標(biāo)大于/小于此閾值的即被選為當(dāng)前模式的相似模式。最后,本文還將3種方法所選出的相似模式區(qū)段取交集,以獲得更為魯棒的相似模式,方便后續(xù)產(chǎn)生更為魯棒的預(yù)測結(jié)果。

3.樣本加權(quán)訓(xùn)練

根據(jù)找出的當(dāng)前模式的歷史相似模式對訓(xùn)練樣本進(jìn)行加權(quán),這一步驟的基本原則為根據(jù)歷史中所有模式與當(dāng)前模式的相似性進(jìn)行加權(quán):當(dāng)歷史模式與當(dāng)前模式之間的相似性高時(shí),它在訓(xùn)練過程中就被賦予更高的權(quán)重,以體現(xiàn)訓(xùn)練過程對于相似模式的關(guān)注。最終訓(xùn)練出帶有權(quán)重因素的深度學(xué)習(xí)模型,然后對測試集進(jìn)行預(yù)測。

4.深度學(xué)習(xí)預(yù)測

在預(yù)測環(huán)節(jié),本文選用長短期記憶網(wǎng)絡(luò)(LSTM)這一深度學(xué)習(xí)模型進(jìn)行向前預(yù)測,這一網(wǎng)絡(luò)結(jié)構(gòu)包含一系列循環(huán)連接的子網(wǎng)絡(luò),每個(gè)記憶模塊包含一個(gè)或多個(gè)自連接的細(xì)胞以及控制信息流動(dòng)的輸入門、輸出門和遺忘門三個(gè)門限單元系統(tǒng),故其能夠很好地處理時(shí)間序列數(shù)據(jù)前后之間的依賴關(guān)系。[15]

(二)滾動(dòng)窗口長度確定——R/S分析

將實(shí)證數(shù)據(jù)劃分為訓(xùn)練集和測試集之后,需要選定訓(xùn)練集的最后一段作為當(dāng)前油價(jià)模式,而當(dāng)前模式的長度確定是一個(gè)十分重要的問題,這一長度的選取將直接影響最終相似模式尋找的質(zhì)量。時(shí)間序列的長記憶性現(xiàn)象表明序列會(huì)在當(dāng)前與歷史上的某些窗口具有一定相似性[16-17],故在進(jìn)行模式匹配之前,應(yīng)該基于時(shí)間序列的長記憶性特征進(jìn)行滾動(dòng)窗口長度的選擇。使用R/S分析法對油價(jià)序列的記憶性進(jìn)行度量,其基本原理是通過更改時(shí)序數(shù)據(jù)的時(shí)間尺度分析其統(tǒng)計(jì)特性的變化,其具體步驟如下。

(2)計(jì)算每個(gè)子間隔的累積離散度。

(1)

(3)基于式(2)計(jì)算每個(gè)子集合的極差。

Ra=max (Xa,k)-min (Xa,k)

(2)

(4)使用標(biāo)準(zhǔn)偏差和極差來計(jì)算每個(gè)子間隔的重標(biāo)度極差,即Ra/Sa。m個(gè)子集合的平均重標(biāo)度極差可以表示為

(3)

(5)改變時(shí)間窗口n后,重復(fù)上述步驟計(jì)算以得到長度為n的所有子集合的(R/S)n。當(dāng)n為無窮大時(shí),存在E(R/S)n=cnH,對數(shù)處理后有l(wèi)nE(R/S)n=lnc+Hlnn,其中,Hurst指數(shù)(H)是該式的斜率,c為常數(shù)。

Hurst指數(shù)是衡量時(shí)間序列記憶性強(qiáng)弱的重要指標(biāo),最優(yōu)的Hurst指數(shù)可以保證這個(gè)窗口是容易被“記憶”的,即以這個(gè)窗口為一個(gè)記憶周期的可能性較大。故本文通過修改起始窗口長度這一參數(shù)以獲取不同的Hurst指數(shù),最終選取最大的Hurst指數(shù)所對應(yīng)的窗口長度作為模式長度,以這一窗口長度進(jìn)行窗口劃分可以獲得最強(qiáng)的記憶性強(qiáng)度,故以這一窗口長度作為記憶周期較為合理。

(三)相似模式匹配

相似模式匹配即根據(jù)模式之間的相似性對模式進(jìn)行分類的過程[9],在不同文獻(xiàn)中,相似性度量的方法各不相同。根據(jù)當(dāng)前模式和滾動(dòng)窗口操作得到的多個(gè)歷史模式,按照歷史模式與當(dāng)前模式之間的相似性程度進(jìn)行相似模式匹配,并采用對特定時(shí)間段加權(quán)的方式來使模型更加關(guān)注特定形狀的學(xué)習(xí)。這里選擇長度標(biāo)準(zhǔn)化的歐式距離、皮爾遜相關(guān)系數(shù)以及均方誤差作為模式之間的相似性度量方法,這3類方法都是時(shí)間序列相似性度量的常用方法。而為了保證找出相似模式的魯棒性,本文將3種方法找出的相似區(qū)段取交集處理,因?yàn)檫@些區(qū)段通過這3種度量方式都可以取到,故認(rèn)為它們是帶有魯棒性的相似區(qū)段。

歐式距離是最常用的距離度量方式,在這里使用長度標(biāo)準(zhǔn)化的歐氏距離來進(jìn)行距離度量,消除序列長度對相似性度量的影響,從而更關(guān)注形狀對于相似性的影響,其公式為

(4)

式中:TX,TY為兩條時(shí)間序列;n為它們的長度;i為序列的第i個(gè)點(diǎn)。

皮爾遜相關(guān)系數(shù)通常用于衡量兩個(gè)序列之間的相關(guān)程度,在本文中指的是兩個(gè)序列之間的相似性,其值介于-1與1之間,其絕對值越大表明兩條序列之間的相似性越大[13],其公式為

Pearson(TX,TY)=

(5)

均方誤差(MSE)也常用來度量兩個(gè)序列之間的差異性大小[13],是衡量“平均誤差”的一種較方便的方法,均方誤差越小,說明兩個(gè)序列之間的差異越小、越相似,其公式為

(6)

為了找出歷史中與當(dāng)前模式形狀相似的模式,需要為每一種度量方法設(shè)定一個(gè)閾值,當(dāng)歷史模式的度量值大于/小于這一閾值時(shí)即被認(rèn)定為相似模式。對于距離指標(biāo)(歐式距離與均方誤差),本文參考Zakaria等人的方法來確定閾值[14]。而對于相關(guān)系數(shù)指標(biāo),現(xiàn)有文獻(xiàn)沒有統(tǒng)一的標(biāo)準(zhǔn),故最后對這一參數(shù)的取值敏感性進(jìn)行分析。

(四)樣本加權(quán)訓(xùn)練

利用上一步選擇出的相似模式,本步驟對訓(xùn)練樣本進(jìn)行加權(quán)。加權(quán)的方法為:與當(dāng)前模式相似性高的窗口(相似模式)被賦予高權(quán)重,與當(dāng)前模式相似性低的窗口被賦予低權(quán)重,而對樣本進(jìn)行加權(quán)則通過影響機(jī)器學(xué)習(xí)模型訓(xùn)練中的誤差傳播與損失下降過程實(shí)現(xiàn)。為了增強(qiáng)模式匹配過程的魯棒性,分別對皮爾遜相關(guān)系數(shù)、歐式距離與均方誤差3個(gè)指標(biāo)進(jìn)行賦權(quán)方法的定義。

對于相關(guān)系數(shù)的指標(biāo),歷史模式與當(dāng)前模式之間的相關(guān)系數(shù)越高,它在訓(xùn)練中的樣本權(quán)重就越高,其公式為

(7)

式中:ρi為第i個(gè)模式與當(dāng)前模式之間的相關(guān)系數(shù);m代表所有歷史模式的個(gè)數(shù)。

對于距離指標(biāo)(歐氏距離與均方誤差),歷史模式與當(dāng)前模式之間的距離越近,其被賦予的權(quán)重應(yīng)該越高,反之應(yīng)該越低。以歐氏距離為例,這里采用常用的反函數(shù)加權(quán)法進(jìn)行賦權(quán),為了避免分母為零,一般在賦權(quán)時(shí)需要在分母上加上均值,具體公式為

Wi=1/[dist(pi,cs)+mean(dist(pi,cs))]

(8)

式中:pi為第i個(gè)模式;cs為當(dāng)前模式;dist可以為歐式距離,也可以為MSE距離。

(五)深度學(xué)習(xí)預(yù)測

由于本文是時(shí)間序列預(yù)測場景,故采用長短期記憶網(wǎng)絡(luò)(LSTM)模型[15]作為油價(jià)預(yù)測的主體模型,并通過修改模型內(nèi)部結(jié)構(gòu),完成回歸預(yù)測和方向預(yù)測兩種任務(wù)。對于水平預(yù)測,模型接受帶有相似模式加權(quán)的價(jià)格序列樣本作為輸入,并通過誤差反向傳播訓(xùn)練出帶有相似模式權(quán)重因素的網(wǎng)絡(luò),完成向前預(yù)測。而對于方向預(yù)測,本文擬搭建二分類網(wǎng)絡(luò),預(yù)測向前2、4、8期的油價(jià)比今天是漲(1)還是跌(0),故模型接受帶有權(quán)重因素的歷史漲跌(0/1)序列作為輸入,并將漲跌信息(0/1)作為預(yù)測結(jié)果,最后用精度(Accuracy)指標(biāo)代替方向精度。

樣本權(quán)重對模型訓(xùn)練的影響會(huì)通過損失的下降過程來實(shí)現(xiàn),算法在進(jìn)行反向傳播時(shí)會(huì)把每個(gè)樣本的訓(xùn)練損失乘以其對應(yīng)權(quán)重,故之前被賦予特定權(quán)重的相似區(qū)段樣本則會(huì)在訓(xùn)練中帶來更大的損失下降,最終影響整體模型的訓(xùn)練效果,使模型更關(guān)注相似區(qū)段樣本所包含的信息。在之后的實(shí)證中也會(huì)對相似模式加權(quán)影響訓(xùn)練損失這一現(xiàn)象進(jìn)行驗(yàn)證。

在網(wǎng)絡(luò)結(jié)構(gòu)方面,為了使實(shí)驗(yàn)具有可比性,回歸預(yù)測和方向預(yù)測模型主體部分都是使用LSTM單元,但在回歸網(wǎng)絡(luò)中,使用重復(fù)向量(Repeat Vector)層和時(shí)間分布(Time Distribution)層聯(lián)合產(chǎn)生序列多期預(yù)測的結(jié)果,而在分類網(wǎng)絡(luò)中則分別將它們替換為隨機(jī)失活(Dropout)層和普通的全連接層(Dense),并且在最終的輸出層中將線性激活函數(shù)替換為S型激活函數(shù)(Sigmoid)。

三、實(shí)證分析

自2005年以來,國際原油價(jià)格受多方面因素影響而呈現(xiàn)出劇烈波動(dòng),故為了驗(yàn)證所提方法的有效性,選擇Brent原油期貨價(jià)格2005年1月1日到2022年2月26日共896個(gè)周度數(shù)據(jù)進(jìn)行實(shí)證分析。

(一)實(shí)驗(yàn)設(shè)計(jì)

按照8∶2的比例,將實(shí)驗(yàn)數(shù)據(jù)劃分為訓(xùn)練集與測試集,并選擇訓(xùn)練集的最后一個(gè)窗口作為當(dāng)前模式。使用訓(xùn)練集訓(xùn)練模型,并在測試集上驗(yàn)證效果。為了將基于模式相似性的方法和深度學(xué)習(xí)方法融合起來,預(yù)測模型的主體使用LSTM模型,并利用找出相似模式對訓(xùn)練數(shù)據(jù)進(jìn)行加權(quán)訓(xùn)練,最終用帶有樣本權(quán)重的LSTM模型對Brent油價(jià)進(jìn)行向前預(yù)測。

在進(jìn)行模式匹配之前,首先需要確定模式長度。本文使用R/S分析法,通過改變最短時(shí)間間隔這一參數(shù)得出不同起始時(shí)間間隔下的Hurst指數(shù),然后選擇Hurst指數(shù)最大的時(shí)間間隔作為窗口長度。在確定窗口長度之后,對訓(xùn)練集數(shù)據(jù)進(jìn)行滾動(dòng)窗口操作,得到多個(gè)長度相等的滾動(dòng)窗口(子序列),選擇最后一個(gè)滾動(dòng)窗口作為當(dāng)前模式。

接下來分別使用相關(guān)系數(shù)法、長度歸一化的歐式距離與均方誤差距離來尋找相似模式,為了解決不同時(shí)間段油價(jià)尺度不一樣的問題,統(tǒng)一將訓(xùn)練集所有滾動(dòng)窗口進(jìn)行歸一化,這樣便可得到尺度在(0, 1)之內(nèi)、消除尺度影響而只體現(xiàn)具體形狀差異的多個(gè)模式。

在找出相似模式之后,根據(jù)各個(gè)模式與當(dāng)前模式之間的相似性對訓(xùn)練數(shù)據(jù)進(jìn)行加權(quán)并輸入模型,訓(xùn)練出帶有權(quán)重因素的預(yù)測器,然后對測試集分別進(jìn)行向前2周、4周和8周的多期預(yù)測。將所提模型(3種不同的加權(quán)方式)與常見的深度學(xué)習(xí)模型LSTM、多層感知機(jī)(MLP)以及機(jī)器學(xué)習(xí)模型支持向量回歸(SVR)、決策樹(DT)、嶺回歸(Ridge)和計(jì)量模型自回歸移動(dòng)平均(ARIMA)、指數(shù)平滑(ES)作對比,以驗(yàn)證相似模式加權(quán)的有效性以及基于模式的預(yù)測方法的有效性。

為了比較不同模型的性能,選擇水平精度和方向精度作為評價(jià)標(biāo)準(zhǔn)。具體而言,平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)被用來衡量預(yù)測結(jié)果的水平精度[18-19],其指標(biāo)的具體計(jì)算方法如式(9)和(10)所示。

(9)

(10)

而對于方向精度,將油價(jià)所在時(shí)間區(qū)間內(nèi)的油價(jià)漲跌情況進(jìn)行統(tǒng)計(jì),發(fā)現(xiàn)在實(shí)驗(yàn)期內(nèi)油價(jià)的漲(1)跌(0)情況接近1:1的比例,所以在分類實(shí)驗(yàn)中不需要考慮類別標(biāo)簽不均衡[20]的問題,這也進(jìn)一步說明了使用分類精度(Accuracy)指標(biāo)直接衡量方向精度的合理性。

最后,為了在統(tǒng)計(jì)學(xué)意義上證明所提方法的優(yōu)越性,本文分別對不同模型的預(yù)測結(jié)果進(jìn)行DM檢驗(yàn)(Diebold-Mariano Test)[21-22]。

(二)實(shí)驗(yàn)結(jié)果分析

1.長記憶性特征分析

使用經(jīng)典的R/S分析法對Brent原油價(jià)格序列的長記憶性特征進(jìn)行檢驗(yàn),并通過改變R/S檢驗(yàn)中的時(shí)間間隔參數(shù)來得到不同的Hurst指數(shù)。通過調(diào)節(jié)最小窗口長度計(jì)算出不同的Hurst指數(shù)來確定油價(jià)的記憶周期[23]。根據(jù)圖2結(jié)果可知,窗口的長度確定為19(周)較好,因?yàn)檫@時(shí)的Hurst指數(shù)最大,即以這個(gè)窗口為一個(gè)周期的記憶性較強(qiáng)。同時(shí),當(dāng)Hurst指數(shù)大于0.5時(shí),時(shí)間序列數(shù)據(jù)具有長期記憶性特征[24],且Hrust指數(shù)的值越大表明數(shù)據(jù)的記憶性越強(qiáng)[25],油價(jià)序列的Hurst指數(shù)最大約為0.72,故這一時(shí)間序列具有正向的長期記憶性特征,即歷史序列波動(dòng)會(huì)與當(dāng)前序列波動(dòng)形狀相似,適合于使用基于模式相似性的方法和尺度變換進(jìn)行預(yù)測分析。

圖2 不同窗口長度下Brent油價(jià)序列的R/S分析結(jié)果

在確定窗口長度為19之后,對長度為717(896×0.8)的訓(xùn)練集數(shù)據(jù)進(jìn)行滾動(dòng)窗口操作,共獲得717-19+1=699個(gè)滾動(dòng)窗口,每一個(gè)滾動(dòng)窗口都是一個(gè)模式。選擇訓(xùn)練集最后一個(gè)滾動(dòng)窗口為當(dāng)前模式,其他訓(xùn)練集數(shù)據(jù)為歷史模式,并從中尋找當(dāng)前模式的歷史相似模式。

2.相似模式匹配

接下來,根據(jù)歷史模式與當(dāng)前模式之間的相似性進(jìn)行相似模式匹配。為了增強(qiáng)魯棒性,本文選擇長度標(biāo)準(zhǔn)化歐氏距離、相關(guān)系數(shù)、均方誤差總共3種相似性度量方式進(jìn)行匹配,將每一種方式的匹配結(jié)果用于測試集的預(yù)測,并進(jìn)行精度效果對比。

將序列尺度歸一化后,首先使用相關(guān)系數(shù)法尋找相似模式,相關(guān)系數(shù)大于閾值的歷史模式即被選為相似模式,不同閾值下的結(jié)果如表1所示。最終選擇相似模式的閾值為0.6,所找出的相似模式如圖3所示,虛線型為當(dāng)前模式,十字花型為找出的所有歷史相似模式。然后根據(jù)每個(gè)歷史模式與當(dāng)前模式之間的相似性對訓(xùn)練樣本進(jìn)行加權(quán),當(dāng)作之后預(yù)測模型的輸入。在后面的模型參數(shù)討論部分將對相關(guān)系數(shù)加權(quán)法閾值選擇問題進(jìn)行更具體的實(shí)證分析,以驗(yàn)證0.6這一閾值選擇的合理性。

表1 不同相關(guān)系數(shù)閾值下找出的相似模式個(gè)數(shù)

使用長度標(biāo)準(zhǔn)化的歐式距離和均方誤差兩個(gè)距離指標(biāo)尋找當(dāng)前油價(jià)模式的歷史相似模式,并按照設(shè)定的相似性閾值判定方法[14]進(jìn)行相似模式的搜尋匹配。其匹配結(jié)果如圖4和圖5所示,距離小于既定閾值的時(shí)間窗口模式即被判定為當(dāng)前油價(jià)模式的歷史相似模式。圖4和圖5分別展示了利用長度標(biāo)準(zhǔn)化的歐氏距離和均方誤差距離找出的相似模式結(jié)果(最后的虛線為當(dāng)前模式),可以看出前者找出了14段相似模式,而后者找出了10段。這也同時(shí)說明使用不同的距離度量方式進(jìn)行相似模式匹配確實(shí)會(huì)得到不同的結(jié)果。

圖4 歐式距離選出的相似模式

圖5 均方誤差距離選出的相似模式

為了增強(qiáng)模式匹配過程的魯棒性,接下來對3種方法下找出的相似模式取交集,以找出在任何相似性度量方式下都能夠找出的相似模式,取交集后發(fā)現(xiàn)得出的相似模式同樣如圖3所示,即與相關(guān)系數(shù)法找出的相似模式相同,故在后面預(yù)測實(shí)驗(yàn)中也會(huì)重點(diǎn)關(guān)注相關(guān)系數(shù)法找出的相似模型區(qū)段加權(quán)后(作為魯棒相似模式)的預(yù)測性能,并分別與歐式距離、MSE距離加權(quán)的預(yù)測結(jié)果以及其他基準(zhǔn)模型相對比,以驗(yàn)證相關(guān)系數(shù)法尋找出的魯棒相似模式在預(yù)測性能上的優(yōu)越性。

接下來利用找出的相似模式對訓(xùn)練樣本進(jìn)行加權(quán),訓(xùn)練出帶有樣本權(quán)重因素的預(yù)測器用于后續(xù)的預(yù)測工作。

3.預(yù)測精度分析

將通過3種不同加權(quán)方式訓(xùn)練出的模型與上文中提到的多種基準(zhǔn)模型相對比,并統(tǒng)一做向前2周、4周和8周的多期預(yù)測,各個(gè)模型的預(yù)測在水平精度上的表現(xiàn)如表2所示。發(fā)現(xiàn)在向前2周、4周和8周的預(yù)測中,相關(guān)系數(shù)加權(quán)模型的所有水平指標(biāo)都表現(xiàn)最好。但隨著預(yù)測步長的增長,在向前8周的預(yù)測中,相關(guān)系數(shù)指標(biāo)的預(yù)測精度與歐式距離、均方誤差距離的整體水平精度相近。同時(shí),所提出的3種相似模式加權(quán)LSTM模型的表現(xiàn)不僅比未加權(quán)的LSTM模型要好,而且比其他基準(zhǔn)模型都要好,這不僅說明了本文所提出的“基于相似模式加權(quán)”這一技巧的有效性,而且還說明了基于模式相似性這一類預(yù)測模型較其他模型的有效性。另外,所提模型中不同相似性度量方式之間的對比說明基于相關(guān)系數(shù)搜尋的相似模式比其他度量方式所找到的相似模式質(zhì)量要高,具有更高的預(yù)測性能。

表2 預(yù)測水平精度對比

進(jìn)一步地,使用LSTM分類網(wǎng)絡(luò)來預(yù)測油價(jià)的漲跌情況,并利用精度(Accuracy)指標(biāo)評估方向預(yù)測的準(zhǔn)確性。為了使實(shí)驗(yàn)效果易于對比,本步驟中僅選用相關(guān)系數(shù)加權(quán)的模型作為主推模型與其他基準(zhǔn)模型進(jìn)行比較。同時(shí),在對比模型中,剔除嶺回歸這一回歸模型。實(shí)驗(yàn)結(jié)果如表3所示。

表3 預(yù)測方向精度對比

從表3中可以看出,在所有基準(zhǔn)模型中,LSTM模型的預(yù)測方向精度最高,這是因?yàn)槠浔旧磉m合于時(shí)序信息記憶問題。而所提模型在多期預(yù)測方向精度上比大部分模型要好,這是由于所提模型的主體也是LSTM模型,只是加了相似模式的樣本加權(quán)訓(xùn)練的機(jī)制,且可以看出所提出的3種模型在向前2、4、和8步預(yù)測的方向精度上可以超過基準(zhǔn)LSTM模型,這也證明了所提相似模式加權(quán)的技巧可以適用于油價(jià)方向預(yù)測的分類任務(wù)。另外,單獨(dú)對比所提模型發(fā)現(xiàn),基于相關(guān)系數(shù)加權(quán)的方法在方向精度上也優(yōu)于其他兩種度量方法,且與水平精度不同,隨著預(yù)測步長的增長,相關(guān)系數(shù)方法在水平精度上的優(yōu)勢越來越明顯。這可能是因?yàn)橄嚓P(guān)系數(shù)本身在度量相似性的時(shí)候會(huì)關(guān)注到序列之間形狀上的相似性,故在進(jìn)行加權(quán)訓(xùn)練時(shí)使模型學(xué)習(xí)到了形狀走向的變化規(guī)律。而距離度量方式只是單純地將與當(dāng)前模式距離較小的模式找了出來,并沒有考慮形狀因素,故其在方向精度,尤其是多步多期方向精度上的表現(xiàn)不如相關(guān)系數(shù)法。

最后,為了驗(yàn)證所提模型相較其他模型在統(tǒng)計(jì)學(xué)意義上的優(yōu)越性,對預(yù)測結(jié)果進(jìn)行DM檢驗(yàn)。由于之前的實(shí)驗(yàn)證明了基于相關(guān)系數(shù)加權(quán)模型的優(yōu)越性,故為了凸顯模型性能,此處只選擇相關(guān)系數(shù)加權(quán)的所提模型進(jìn)行檢驗(yàn)。DM檢驗(yàn)的結(jié)果如表4所示。

通過表4可以看出,在向前2周的預(yù)測中,除了ARIMA模型,其他所提出模型的預(yù)測效果在統(tǒng)計(jì)學(xué)意義上比所有基準(zhǔn)模型都要好,第一行DM值都為負(fù),且p值都小于0.1,在90%的置信度下可以相信模型效果比大部分基準(zhǔn)模型要好;在向前4周的預(yù)測中,所提模型的預(yù)測效果在統(tǒng)計(jì)學(xué)意義上顯著優(yōu)于其他所有模型;在向前8周的預(yù)測中,所提出模型的預(yù)測效果在統(tǒng)計(jì)學(xué)上意義上優(yōu)于所有模型。由DM檢驗(yàn)的結(jié)果可知,所提模型在各個(gè)步長任務(wù)上的預(yù)測結(jié)果均具有一定優(yōu)勢,且這種優(yōu)勢隨著預(yù)測步長的增加而變得更明顯。

(三)模型參數(shù)討論

雖然相關(guān)系數(shù)加權(quán)的模型在各項(xiàng)性能上表現(xiàn)優(yōu)越,但其閾值的選擇也是一個(gè)主要問題,因此,應(yīng)對相關(guān)系數(shù)加權(quán)法確定相似模式的閾值進(jìn)行討論。與“距離”方式的加權(quán)不同文獻(xiàn)給出的閾值的公式有所不同,相關(guān)系數(shù)加權(quán)需要對特定的閾值所找出的相似模式以及每一種閾值取值情況下的模型預(yù)測效果進(jìn)行具體的靈敏度分析。相關(guān)系數(shù)閾值在不同時(shí)的模型預(yù)測效果對比如表5所示。

表5 不同相關(guān)系數(shù)閾值的預(yù)測效果

結(jié)合表1不同閾值下找出的不同相似模式段數(shù)可以看出,在向前2、4、8周預(yù)測的任務(wù)中,相關(guān)系數(shù)閾值為0.6時(shí)均取得了最好的效果,而在訓(xùn)練過程中,雖然相關(guān)系數(shù)為0.5時(shí)選出的相似模式較多(15段),但其在預(yù)測實(shí)驗(yàn)中的表現(xiàn)卻不如閾值為0.6時(shí)的結(jié)果。這說明加權(quán)訓(xùn)練的模式越多不一定訓(xùn)練過程越徹底,最后的精度也不一定越高,還要看模型在加權(quán)訓(xùn)練中是否學(xué)習(xí)到信息,也就是說,雖然閾值為0.5時(shí)找出的相似模式較多,但并不是每一個(gè)模式的加權(quán)訓(xùn)練都帶來了訓(xùn)練損失的大幅度下降。因此相關(guān)系數(shù)方法確定相似模式的閾值為0.6是合理的。

四、結(jié)語

(1)不同的滾動(dòng)窗口長度會(huì)影響油價(jià)序列的記憶性強(qiáng)度,通過記憶性檢驗(yàn)發(fā)現(xiàn),當(dāng)窗口長度設(shè)定為19周時(shí),Brent油價(jià)序列的Hurst指數(shù)可以達(dá)到最大,故以19周作為一個(gè)記憶周期可以獲得較強(qiáng)的記憶性效果。

(2)所提出的加權(quán)模型不僅比一般機(jī)器學(xué)習(xí)(深度學(xué)習(xí))的模型要好,而且比未加權(quán)的模型要好,且進(jìn)一步用DM檢驗(yàn)驗(yàn)證了這一點(diǎn)。這說明所提出的基于相似模式加權(quán)訓(xùn)練的技巧確實(shí)可以提升模型在預(yù)測中的性能。而使用所提模型分類方法對油價(jià)變化的方向做出預(yù)測取得了較好的方向精度,這說明相似模式加權(quán)的技巧對油價(jià)方向預(yù)測(分類任務(wù))同樣也有較好效果。

(3)對不同相似性度量方式找出的相似模式取交集,發(fā)現(xiàn)基于相關(guān)系數(shù)找出的相似模式更為魯棒,且其預(yù)測能力比歐式距離和MSE距離找出的更強(qiáng)。

(4)通過對相關(guān)系數(shù)閾值設(shè)定的討論可以看出,所找出的相似模式的個(gè)數(shù)確實(shí)能影響訓(xùn)練過程與最終的模型效果,但并不是加權(quán)相似模式越多精度越高,具體還要看每一段模式中加權(quán)是否能帶來信息。