任晟岐,宋 偉

(鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院,河南 鄭州450001)

1 引言

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)及各行業(yè)的發(fā)展,積累的時(shí)間序列數(shù)據(jù)量非常龐大且復(fù)雜。其中,相比單維時(shí)間序列數(shù)據(jù),多維時(shí)間序列數(shù)據(jù)要更為復(fù)雜。多維時(shí)間序列數(shù)據(jù)之間存在著相互依賴(lài)的關(guān)系,主要包括數(shù)據(jù)間的時(shí)序依賴(lài)關(guān)系以及多維特征間相互依賴(lài)關(guān)系。2種關(guān)系都會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生重要的影響。

早期,對(duì)于時(shí)序預(yù)測(cè)任務(wù),研究人員多使用統(tǒng)計(jì)學(xué)的方法進(jìn)行研究。Gurland等人[1]提出的自回歸滑動(dòng)平均模型,將自回歸過(guò)程和滑動(dòng)平均過(guò)程結(jié)合起來(lái),使模型更具有普遍性。Box等人[2]提出的差分整合移動(dòng)平均自回歸模型,通過(guò)差分變換方法將非平穩(wěn)化時(shí)間序列平穩(wěn)化,提高了模型性能。Cao等人[3]提出了基于回歸分析的線性支持向量回歸模型,并將其應(yīng)用到了金融時(shí)序預(yù)測(cè)領(lǐng)域。Boller-slev[4]提出了廣義自回歸條件異方差模型,并將該模型推廣到更大的回歸階數(shù),解決了自相關(guān)系數(shù)消退較慢的問(wèn)題。Ariyo等人[5]將差分整合移動(dòng)平均自回歸模型用于預(yù)測(cè)股價(jià)。基于傳統(tǒng)統(tǒng)計(jì)學(xué)的方法對(duì)數(shù)據(jù)分布規(guī)則和完整性等方面要求非常嚴(yán)格,僅考慮了線性變化關(guān)系,適用于線性數(shù)據(jù),對(duì)于非線性、多尺度的時(shí)間序列,無(wú)法捕捉非線性關(guān)系。這使得傳統(tǒng)時(shí)序預(yù)測(cè)的方法無(wú)法獲得較高的預(yù)測(cè)精度。

隨著人工智能的發(fā)展,深度學(xué)習(xí)技術(shù)在眾多領(lǐng)域都取得了巨大的成就,研究人員也將其應(yīng)用于時(shí)間序列預(yù)測(cè)。Karim等人[6]將LSTM(Long Short-Term Memory)網(wǎng)絡(luò)與BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的全連接層結(jié)合起來(lái)用于多元時(shí)間序列分類(lèi)。Yu等人[7]將圖神經(jīng)網(wǎng)絡(luò)和時(shí)間序列預(yù)測(cè)相結(jié)合,用于交通流量預(yù)測(cè)。Meesad等人[8]使用支持向量回歸SVR(Support Vector Regression)模型對(duì)股票數(shù)據(jù)進(jìn)行建模分析。Nair等人[9]提出了一種基于粗糙集的決策樹(shù)系統(tǒng),使用C4.5決策樹(shù)和粗糙集進(jìn)行特征提取和規(guī)則總結(jié),基于孟買(mǎi)證券交易所數(shù)據(jù)進(jìn)行實(shí)驗(yàn)研究。White[10]使用人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)對(duì)IBM公司的股票進(jìn)行分析。Selvin等人[11]使用CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)和LSTM對(duì)股票市場(chǎng)進(jìn)行預(yù)測(cè)。Kussul等人[12]提出了一種用于交通流預(yù)測(cè)的深層結(jié)構(gòu)模型,使用堆疊式自動(dòng)編碼器提取交通流特征,并應(yīng)用邏輯回歸層進(jìn)行預(yù)測(cè)。李章曉等人[13]將深度學(xué)習(xí)和進(jìn)化計(jì)算結(jié)合起來(lái)對(duì)外匯進(jìn)行預(yù)測(cè)。2020年楊妥等人[14]提出了融合情感分析的SVM-LSTM模型,提高了對(duì)股指期貨的預(yù)測(cè)精度。Wu等人[15]結(jié)合CNN和LSTM提出了一個(gè)混合深度學(xué)習(xí)框架,用于預(yù)測(cè)未來(lái)的交通流量。Gensler等人[16]提出了結(jié)合自動(dòng)編碼器和LSTM網(wǎng)絡(luò)的預(yù)測(cè)模型,用于激活各種太陽(yáng)能預(yù)測(cè)。Grover等人[17]提出了一種綜合方法,將經(jīng)過(guò)鑒別訓(xùn)練的預(yù)測(cè)模型與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合,用于聯(lián)合統(tǒng)計(jì)一組天氣相關(guān)變量。

以上方法針對(duì)時(shí)間序列預(yù)測(cè)已經(jīng)取得了相對(duì)較好的結(jié)果,然而在處理特征參數(shù)復(fù)雜、非線性的多維時(shí)序數(shù)據(jù)時(shí)仍然存在一定的局限性。多維時(shí)間序列存在特征數(shù)較多、特征間相關(guān)性較差以及特征冗余問(wèn)題嚴(yán)重的情況,且不同的特征變量對(duì)于最終的預(yù)測(cè)結(jié)果會(huì)產(chǎn)生不同的影響。對(duì)多維時(shí)間序列進(jìn)行特征提取,剔除不相關(guān)及冗余的特征,將對(duì)提升預(yù)測(cè)效果產(chǎn)生積極影響。

本文針對(duì)多維時(shí)間序列特征提取及預(yù)測(cè)任務(wù)提出了GGInformer模型。首先,對(duì)遺傳算法進(jìn)行改進(jìn),使用類(lèi)內(nèi)類(lèi)間距離作為判斷依據(jù)計(jì)算出每個(gè)特征的類(lèi)內(nèi)類(lèi)間距離比值,根據(jù)比值初步對(duì)數(shù)據(jù)特征進(jìn)行提取,同時(shí)去除數(shù)據(jù)集中的不相關(guān)特征;然后,利用遺傳算法[18]的“優(yōu)勝劣汰”原則對(duì)多維時(shí)間序列數(shù)據(jù)進(jìn)行全局尋優(yōu),進(jìn)一步去除冗余特征;最終,選擇出最優(yōu)的特征組合用于后續(xù)的預(yù)測(cè)任務(wù)。針對(duì)長(zhǎng)序列時(shí)序預(yù)測(cè)LSTF(Long Sequence Time-series Forecasting)任務(wù)中的長(zhǎng)程依賴(lài)問(wèn)題與多維時(shí)序數(shù)據(jù)的時(shí)序依賴(lài)關(guān)系,本文通過(guò)融合Informer模型[19]與GRU(Gate Recurrent Unit)網(wǎng)絡(luò),提升了預(yù)測(cè)效果。實(shí)驗(yàn)結(jié)果表明,GGInformer模型可以很好地對(duì)多維時(shí)序數(shù)據(jù)進(jìn)行特征提取與預(yù)測(cè)。此外,本文還對(duì)模型的長(zhǎng)序列時(shí)序預(yù)測(cè)能力進(jìn)行了研究,通過(guò)預(yù)測(cè)不同的時(shí)間長(zhǎng)度來(lái)對(duì)模型性能進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明,相比于對(duì)照模型,本文模型的長(zhǎng)序列預(yù)測(cè)能力也有所提高。

2 GGInformer模型構(gòu)建

本文結(jié)合改進(jìn)遺傳算法、GRU網(wǎng)絡(luò)和Informer模型構(gòu)建了GGInformer模型,以此對(duì)多維時(shí)序數(shù)據(jù)進(jìn)行特征提取與預(yù)測(cè)。該模型首先使用改進(jìn)遺傳算法對(duì)多維時(shí)間序列數(shù)據(jù)進(jìn)行特征提取,減少了不相關(guān)特征和冗余特征對(duì)后續(xù)預(yù)測(cè)過(guò)程的消極影響,同時(shí)還可以減少輸入到預(yù)測(cè)模型中的數(shù)據(jù)量,起到降低計(jì)算量的作用。然后,將提取出的特征輸入到GRU網(wǎng)絡(luò)進(jìn)一步提取數(shù)據(jù)的全局時(shí)序依賴(lài)信息。之后,將GRU網(wǎng)絡(luò)保存的全局時(shí)序信息輸入到Informer 模型,經(jīng)過(guò)嵌入層、編碼器和解碼器,最后在全連接層得到預(yù)測(cè)值。GGInformer模型架構(gòu)如圖1所示。

Figure 1 Architecture of GGInformer model

2.1 基于改進(jìn)遺傳算法的特征提取

針對(duì)多維時(shí)序數(shù)據(jù)存在特征復(fù)雜、特征冗余等問(wèn)題,本文結(jié)合類(lèi)內(nèi)類(lèi)間距離判斷依據(jù)與傳統(tǒng)遺傳算法提出了改進(jìn)的遺傳算法。首先,為了剔除數(shù)據(jù)集中的不相關(guān)及相關(guān)性較小的特征,本文采用類(lèi)內(nèi)類(lèi)間距離公式計(jì)算出每個(gè)特征的類(lèi)內(nèi)類(lèi)間距離比值,根據(jù)比值的大小對(duì)數(shù)據(jù)特征進(jìn)行初步提取;然后再利用遺傳算法對(duì)多維時(shí)序數(shù)據(jù)集進(jìn)行全局尋優(yōu),繼續(xù)去除冗余特征;最終選出最優(yōu)的特征組合完成后續(xù)預(yù)測(cè)任務(wù)。

基于改進(jìn)遺傳算法的特征選擇算法如算法1所示,相關(guān)流程圖如圖2所示。

算法1 基于改進(jìn)遺傳算法的特征選擇算法輸入:特征選擇前的高維時(shí)序數(shù)據(jù) P∈Rl×m。輸出:特征選擇后的低維時(shí)序數(shù)據(jù) B∈Rl×n。Step 1 對(duì)多維時(shí)序數(shù)據(jù)P進(jìn)行數(shù)據(jù)預(yù)處理并隨機(jī)選擇樣本數(shù)據(jù)X;Step 2 利用類(lèi)內(nèi)類(lèi)間距離計(jì)算公式計(jì)算樣本數(shù)據(jù)的類(lèi)間離散度矩陣Sb;Step 3 利用類(lèi)內(nèi)類(lèi)間距離計(jì)算公式計(jì)算樣本數(shù)據(jù)的類(lèi)內(nèi)離散度矩陣Sw;Step 4 計(jì)算類(lèi)內(nèi)類(lèi)間距離比值J;

Step 5 根據(jù)比值J對(duì)高維時(shí)序數(shù)據(jù)P進(jìn)行特征選擇,剔除不相關(guān)或相關(guān)度低的特征,得到數(shù)據(jù)Y;Step 6 使用遺傳算法對(duì)數(shù)據(jù)Y進(jìn)行二次特征提取,剔除冗余特征,得到數(shù)據(jù)B。

Figure 2 Flow chart of improved genetic algorithm

遺傳算法基本操作包括:基因編碼、產(chǎn)生初代種群、進(jìn)行染色體選擇、染色體交叉、染色體變異,不斷產(chǎn)生新的子代以尋找最優(yōu)解。具體設(shè)計(jì)流程如下所示:

(1)種群初始化。本文對(duì)輸入的多維時(shí)序數(shù)據(jù)采用二進(jìn)制編碼進(jìn)行種群初始化,每條數(shù)據(jù)的每一個(gè)特征因子位按照等概率在{0,1}中選擇。矩陣表示如下所示:

其中,矩陣中每一行代表一條染色體,ai,xj∈{0,1},其取值為0表示未被選中,取值為1表示被選中,m代表染色體數(shù)量。

(2)適應(yīng)度函數(shù)選取。本文選擇基于類(lèi)內(nèi)類(lèi)間距離的可分性判斷依據(jù)作為適應(yīng)度函數(shù)。

假設(shè)從D個(gè)特征中選出最優(yōu)的d個(gè)特征(d

(1)

(2)

(3)

其中,tr(Sb)和tr(Sw)表示矩陣的跡。

(3)選擇算子選取。確定了適應(yīng)度函數(shù)之后,遺傳算法基于適應(yīng)度值對(duì)個(gè)體進(jìn)行評(píng)價(jià),為了保證能夠選擇出適應(yīng)度最好的個(gè)體,有效剔除相關(guān)性較差的和冗余的個(gè)體,本文使用輪盤(pán)賭選擇方法作為選擇算子選擇出最合適的個(gè)體。

(4)交叉算子選取。本文采用多點(diǎn)交叉方式作為交叉算子進(jìn)行交叉操作。在單個(gè)個(gè)體中隨機(jī)設(shè)置多個(gè)交叉點(diǎn),2個(gè)個(gè)體間根據(jù)交叉點(diǎn)進(jìn)行基因交換,生成新的個(gè)體。

(5)變異算子選取。本文采用單點(diǎn)位翻轉(zhuǎn)突變作為變異算子進(jìn)行變異操作。隨機(jī)從種群中選擇一個(gè)個(gè)體,再隨機(jī)從個(gè)體基因中選擇一個(gè)基因進(jìn)行翻轉(zhuǎn)變異。

2.2 基于GGInformer模型的時(shí)序預(yù)測(cè)

為了解決多維時(shí)間序列預(yù)測(cè)中由于長(zhǎng)程依賴(lài)導(dǎo)致的時(shí)序依賴(lài)性較弱的問(wèn)題,模型需要具有較強(qiáng)的解決長(zhǎng)程依賴(lài)問(wèn)題的能力。本文基于Informer模型來(lái)構(gòu)建時(shí)序預(yù)測(cè)模型。此外,為了更好地提取時(shí)間序列數(shù)據(jù)間的時(shí)序依賴(lài)關(guān)系,模型選擇GRU網(wǎng)絡(luò)保存多維時(shí)序數(shù)據(jù)早期的時(shí)序信息,以增強(qiáng)后續(xù)模型預(yù)測(cè)能力。模型設(shè)計(jì)流程如下所示:

(1)GRU網(wǎng)絡(luò)包括2部分:GRU單元和線性單元。為了模型能夠更準(zhǔn)確地預(yù)測(cè),通過(guò)實(shí)驗(yàn)驗(yàn)證,本文GRU單元選擇3層,線性單元選擇2層。GRU網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

Figure 3 Structure of GRU of network

(2)嵌入層包括3部分:標(biāo)量投影嵌入、本地時(shí)間戳嵌入和全局時(shí)間戳嵌入,可為輸入數(shù)據(jù)添加位置向量以及每個(gè)時(shí)間點(diǎn)的時(shí)間信息。其中,標(biāo)量投影嵌入主要采用一維卷積將輸入數(shù)據(jù)的特征維度向量轉(zhuǎn)換為512維向量;本地時(shí)間戳嵌入采用Transformer模型中的位置編碼方法;全局時(shí)間戳嵌入采用全連接層將輸入的時(shí)間戳向量映射為512維向量。最后,將標(biāo)量投影嵌入、本地時(shí)間戳嵌入和全局時(shí)間戳嵌入三者結(jié)果相加,得到最終的嵌入層結(jié)果。

(3)編碼器包括2部分:注意力層和蒸餾層。其中,在注意力層Informer 模型使用算法2描述的概率稀疏自注意力算法。

算法2 概率稀疏自注意力算法輸入:Q∈Rm×d,K∈Rn×d,V∈Rn×d。輸出:概率稀疏自注意力特征矩陣 S。Step 1 設(shè)置超參數(shù) c,u=c ln m,U=m ln n;Step 2 從K中隨機(jī)采樣U個(gè)點(diǎn)積對(duì)作為 K;Step 3 計(jì)算采樣的得分 S=QKT;Step 4 按行計(jì)算稀疏性得分 M=max(S)-mean(S);Step 5 按照稀疏性得分M的排序選擇前u 個(gè)Qi 作為Q;Step 6 計(jì)算S1=softmax(QKT/d)·V;Step 7 計(jì)算S0=meanV ;Step 8 合并S1和S0,得到最終結(jié)果S={S1,S0},并調(diào)整為原來(lái)的行順序。

根據(jù)算法2的概率稀疏自注意力計(jì)算過(guò)程可以看出,結(jié)果S必然會(huì)產(chǎn)生冗余(由于存在S0),因此在編碼器中又加入了注意力蒸餾機(jī)制,以此來(lái)蒸餾出更具有優(yōu)勢(shì)的注意力權(quán)重。從第j層到j(luò)+1層的蒸餾計(jì)算如式(4)所示:

(4)

(4)解碼器。解碼器的注意力層由一個(gè)掩碼多頭概率稀疏自注意力層和一個(gè)多頭自注意力層組成。其中,多頭概率稀疏自注意力層要進(jìn)行mask掩碼操作,防止自回歸。最后連接一個(gè)全連接層進(jìn)行預(yù)測(cè)。整個(gè)解碼器的解碼過(guò)程舍棄了動(dòng)態(tài)解碼過(guò)程,而采用一次前向過(guò)程,即可解碼得到整個(gè)輸出序列,大大縮短了預(yù)測(cè)時(shí)間。需要注意的是,解碼器使用的是生成式的推理解碼,其輸入數(shù)據(jù)形式如式(5)所示:

(5)

(5)全連接層。經(jīng)過(guò)Informer模型解碼器之后連接一個(gè)全連接層進(jìn)行預(yù)測(cè)輸出。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)集

本文在5個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),即用于研究LSTF問(wèn)題的2個(gè)真實(shí)數(shù)據(jù)集和3個(gè)公共基準(zhǔn)數(shù)據(jù)集。

電力變壓器溫度ETT(Electricity Transformer Temperature)數(shù)據(jù)集:ETT是電力長(zhǎng)期部署的一個(gè)重要指標(biāo)。為了探究LSTF問(wèn)題的粒度,本文選擇了不同粒度的數(shù)據(jù)集,包括以1 h間隔劃分的ETTh1和ETTh2、以15 min間隔劃分的ETTm1。每個(gè)數(shù)據(jù)點(diǎn)由1個(gè)目標(biāo)值“OT”和6個(gè)電力負(fù)荷特征組成。訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包括12個(gè)月、4個(gè)月和4個(gè)月的數(shù)據(jù)。

耗電負(fù)荷ECL(Electricity Consuming Load)數(shù)據(jù)集:該數(shù)據(jù)集包括321個(gè)客戶端的耗電量。本文設(shè)置“MT 320”為目標(biāo)值。訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包括15個(gè)月、3個(gè)月和4個(gè)月的數(shù)據(jù)。

天氣WTH(WeaTHer)數(shù)據(jù)集:該數(shù)據(jù)集包含2010年～2013年4年間美國(guó)近1 600個(gè)地點(diǎn)的當(dāng)?shù)貧夂驍?shù)據(jù),每1 h收集1次數(shù)據(jù)點(diǎn)數(shù)據(jù)。每個(gè)數(shù)據(jù)點(diǎn)數(shù)據(jù)包括1個(gè)目標(biāo)值“wet bulb”和11個(gè)氣候特征。訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包括28個(gè)月、10個(gè)月和10個(gè)月的數(shù)據(jù)。

3.2 評(píng)價(jià)指標(biāo)

為了準(zhǔn)確全面地評(píng)價(jià)模型性能,本文選擇平均絕對(duì)誤差MAE(Mean Absolute Error)和均方誤差MSE(Mean Square Error)2種預(yù)測(cè)評(píng)價(jià)指標(biāo),分別如式(6)和式(7)所示:

(6)

(7)

3.3 對(duì)比模型與超參數(shù)設(shè)置

為了驗(yàn)證模型的有效性,本文選擇了ARIMA[5]、Prophet[20]、LSTMa[21],DeepAR[22],Reformer[23]和LogTrans[24]6種時(shí)間序列預(yù)測(cè)算法及Informer模型與GGInformer模型進(jìn)行對(duì)比實(shí)驗(yàn)。在參數(shù)的選擇與設(shè)置過(guò)程中,本文通過(guò)交叉驗(yàn)證的方法來(lái)確定最合適的超參數(shù)設(shè)置。改進(jìn)遺傳算法和Informer模型有關(guān)超參數(shù)設(shè)置分別如表1和表2所示。此外,GRU網(wǎng)絡(luò)隱藏層維度設(shè)置為64,GRU網(wǎng)絡(luò)層數(shù)設(shè)置為3。

Table 1 Super parameters setting of genetic algorithm

Table 2 Super parameters setting of Informer model

4 實(shí)驗(yàn)結(jié)果分析

4.1 改進(jìn)遺傳算法特征選擇結(jié)果分析

(1)基于類(lèi)內(nèi)類(lèi)間距離的特征選擇結(jié)果分析。

為了驗(yàn)證類(lèi)內(nèi)類(lèi)間距離的有效性,本文以WTH數(shù)據(jù)集為例,使用類(lèi)內(nèi)類(lèi)間距離對(duì)WTH數(shù)據(jù)集進(jìn)行特征選擇。首先,計(jì)算WTH數(shù)據(jù)集的類(lèi)內(nèi)類(lèi)間距離比值大小J。然后,根據(jù)J的大小,選擇大于閾值的特征,去除小于閾值的特征。本文閾值取比值J的最大值與最小值的均值。最后,將選擇出的特征進(jìn)行組合,用來(lái)指導(dǎo)后續(xù)遺傳算法的特征優(yōu)化?；陬?lèi)內(nèi)類(lèi)間距離的WTH數(shù)據(jù)集的特征選擇結(jié)果如圖4所示。

Figure 4 Feature selection results on WTH dataset based on intra class and inter class distances

由圖4可以看到,WTH數(shù)據(jù)集的12個(gè)數(shù)據(jù)特征中,部分特征的類(lèi)內(nèi)類(lèi)間距離比值較小,說(shuō)明其特征相關(guān)性較弱。根據(jù)圖4選擇大于閾值0.000 079的特征,得到特征序列號(hào)為1,3,4,6,7,10和12的7個(gè)特征進(jìn)行組合。選擇出的7個(gè)特征類(lèi)內(nèi)類(lèi)間距離比值結(jié)果較大,說(shuō)明其特征間的相關(guān)性較強(qiáng),組成的特征組合可以對(duì)后續(xù)特征提取與預(yù)測(cè)產(chǎn)生積極的影響。

(2)基于改進(jìn)遺傳算法的特征選擇結(jié)果分析。

在上述根據(jù)類(lèi)內(nèi)類(lèi)間距離比值篩選出來(lái)的特征的基礎(chǔ)上,繼續(xù)使用改進(jìn)遺傳算法進(jìn)行特征提取,以此消除冗余特征的消極影響。經(jīng)過(guò)種群初始化、選擇復(fù)制、交叉、變異等過(guò)程,數(shù)次迭代優(yōu)化后選擇出最優(yōu)的特征組合。

由于不同特征對(duì)最終的預(yù)測(cè)結(jié)果會(huì)產(chǎn)生不同的影響,因此特征數(shù)對(duì)于多維時(shí)序預(yù)測(cè)來(lái)說(shuō)也是一個(gè)重要影響因素。為了測(cè)試特征數(shù)對(duì)預(yù)測(cè)結(jié)果的影響,本文仍以WTH數(shù)據(jù)集為例進(jìn)行研究,對(duì)選取的7種特征使用遺傳算法再進(jìn)行特征提取,分別提取2種,3種,4種,5種和6種特征組合進(jìn)行實(shí)驗(yàn)對(duì)比,實(shí)驗(yàn)結(jié)果如表3所示。

Table 3 Prediction results based on genetic algorithm feature selection

從表3可以看出,當(dāng)WTH數(shù)據(jù)集通過(guò)遺傳算法選擇的特征組合數(shù)為4時(shí),預(yù)測(cè)結(jié)果的MSE值和MAE值均達(dá)到最小值0.061 5和0.110 5。由此可以得出,WTH數(shù)據(jù)的最優(yōu)特征組合是通過(guò)遺傳算法選擇出的4種特征的組合。

4.2 預(yù)測(cè)結(jié)果分析

為了驗(yàn)證GGInformer模型預(yù)測(cè)的有效性,本文在5種數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表4所示。為了測(cè)試模型處理LSTF問(wèn)題的能力,本文逐步延長(zhǎng)了預(yù)測(cè)窗口大小,即在ETTh1、ETTh2、ECL和WTH幾種數(shù)據(jù)集中分別預(yù)測(cè)24 h,48 h,168 h,336 h,720 h和960 h的結(jié)果。在ETTm1數(shù)據(jù)集中分別預(yù)測(cè)6 h,12 h,24 h,72 h和168 h。

Table 4 Time series forecasting results on five datasets

從表4中可以看出,GGInformer模型的預(yù)測(cè)能力相比于Informer模型的有顯著提升,主要體現(xiàn)在GGInformer模型的獲勝結(jié)果數(shù),即GGInformer模型在5種數(shù)據(jù)集上的獲勝結(jié)果數(shù)為42,遠(yuǎn)大于Informer模型的獲勝結(jié)果數(shù)6,說(shuō)明Informer模型在預(yù)測(cè)訓(xùn)練過(guò)程中雖然相比于LogTrans等模型有了明顯提升,但是還是會(huì)受到多維時(shí)序數(shù)據(jù)的復(fù)雜度以及長(zhǎng)程依賴(lài)問(wèn)題的影響。本文在Informer模型的基礎(chǔ)上結(jié)合改進(jìn)遺傳算法和GRU網(wǎng)絡(luò)有效地提升了預(yù)測(cè)的性能,消除了不相關(guān)特征和冗余特征的消極影響,并通過(guò)GRU網(wǎng)絡(luò)保存數(shù)據(jù)的全局時(shí)序信息,進(jìn)一步提高了模型的預(yù)測(cè)精度。

需要注意的是,雖然GGInformer模型的預(yù)測(cè)結(jié)果整體上相比Informer模型的較有優(yōu)勢(shì),但是在ETTh1和ETTh2 2種數(shù)據(jù)集上的較長(zhǎng)序列(336 h,720 h)的預(yù)測(cè)結(jié)果卻有一定的差距。為了探究原因,本文將上述2種數(shù)據(jù)集與ETTm1數(shù)據(jù)集進(jìn)行對(duì)比分析,發(fā)現(xiàn)GGInformer模型在ETTm1數(shù)據(jù)集上的長(zhǎng)序列預(yù)測(cè)能力優(yōu)勢(shì)很明顯,說(shuō)明GGInformer模型的長(zhǎng)序列預(yù)測(cè)能力會(huì)受數(shù)據(jù)集劃分粒度的影響,劃分粒度越大,其時(shí)序依賴(lài)性越弱,預(yù)測(cè)起來(lái)難度越大。

此外,本文還發(fā)現(xiàn),在ECL數(shù)據(jù)集上,在較短的時(shí)序上(≤336 h),DeepAR 模型的預(yù)測(cè)能力相比于Informer模型的要好,說(shuō)明在個(gè)別特殊的數(shù)據(jù)集上Informer模型的短距離時(shí)序預(yù)測(cè)能力不強(qiáng)。但是,將DeepAR模型的預(yù)測(cè)結(jié)果與GGInformer模型的對(duì)比后可以發(fā)現(xiàn),在預(yù)測(cè)時(shí)序長(zhǎng)度為168 h和336 h時(shí),GGInformer模型的MSE值和MAE值明顯降低,且優(yōu)于DeepAR模型的。上述結(jié)果說(shuō)明,GGInformer模型相比Informer模型可以更有效地增強(qiáng)短距離時(shí)序預(yù)測(cè)能力。

4.3 消融實(shí)驗(yàn)分析

為了驗(yàn)證改進(jìn)遺傳算法和GRU網(wǎng)絡(luò)對(duì)GGInformer模型預(yù)測(cè)能力的提升效果,本文對(duì)其進(jìn)行了消融實(shí)驗(yàn)。以WTH數(shù)據(jù)集為例,相關(guān)消融實(shí)驗(yàn)結(jié)果分別如表5和表6所示。

Table 5 Ablation experiment results of improved genetic algorithm

Table 6 Ablation experiment results of GRU network

本文將GGInformer模型與GRU+Informer模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比,預(yù)測(cè)時(shí)序長(zhǎng)度選擇24 h,168 h和720 h。相比GRU+Informer模型,GGInformer模型預(yù)測(cè)結(jié)果的MSE分別降低了22%,10%和28%。這說(shuō)明多維時(shí)間序列數(shù)據(jù)集中不相關(guān)特征和冗余特征對(duì)時(shí)序預(yù)測(cè)會(huì)產(chǎn)生消極影響,本文提出的改進(jìn)遺傳算法可以有效解決多維時(shí)序數(shù)據(jù)特征間的相關(guān)性較差以及特征冗余的問(wèn)題。

本文將GGInformer模型與GA+Informer模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比,預(yù)測(cè)時(shí)序長(zhǎng)度同樣選擇24 h,168 h和720 h。相比GA+Informer模型,GGInformer模型預(yù)測(cè)結(jié)果的MSE分別降低了29%,10%和22%。上述結(jié)果表明,對(duì)于時(shí)序預(yù)測(cè)任務(wù),時(shí)間序列數(shù)據(jù)間的時(shí)序依賴(lài)性學(xué)習(xí)同樣很重要,GRU網(wǎng)絡(luò)可以有效提取時(shí)序信息的全局依賴(lài)性,通過(guò)保存全局時(shí)序信息進(jìn)一步增強(qiáng)后續(xù)模型的時(shí)序預(yù)測(cè)能力,從而有效地解決了多維時(shí)序數(shù)據(jù)在預(yù)測(cè)過(guò)程中由于時(shí)序依賴(lài)性較低導(dǎo)致的長(zhǎng)程依賴(lài)問(wèn)題。

4.4 浦發(fā)銀行股票數(shù)據(jù)實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文模型對(duì)于不同類(lèi)型多維時(shí)間序列數(shù)據(jù)預(yù)測(cè)的通用性,本文選擇了浦發(fā)銀行(SPDB(Shanghai Pudong Development Bank),sh60000)從2010年7月1日～2020年7月31日共10年的股票價(jià)格歷史數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。在實(shí)驗(yàn)過(guò)程中,模型設(shè)置同上述實(shí)驗(yàn)過(guò)程的相同,在真實(shí)數(shù)據(jù)上預(yù)測(cè)時(shí)不需要在特定數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。具體實(shí)驗(yàn)結(jié)果如表7所示,GGInformer模型預(yù)測(cè)結(jié)果與實(shí)際值的擬合曲線如圖5所示。實(shí)驗(yàn)表明,改進(jìn)遺傳算法通過(guò)特征提取去除了數(shù)據(jù)不相關(guān)特征和冗余特征,提高了預(yù)測(cè)準(zhǔn)確度,結(jié)合了GRU網(wǎng)絡(luò)的模型又進(jìn)一步提高了預(yù)測(cè)結(jié)果。

Table 7 Prediction results of SPDB stock price

Figure 5 Results of SPDB stock price prediction

5 結(jié)束語(yǔ)

本文主要研究多維時(shí)間序列數(shù)據(jù)的特征提取與時(shí)序預(yù)測(cè)問(wèn)題。針對(duì)多維時(shí)間序列數(shù)據(jù)存在特征間相關(guān)性較差及特征冗余的問(wèn)題,以及由于時(shí)序數(shù)據(jù)間時(shí)序依賴(lài)性較低導(dǎo)致的長(zhǎng)程依賴(lài)問(wèn)題,本文提出了GGInformer模型。為了驗(yàn)證該模型的有效性,本文在5種多維時(shí)間序列數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn),并通過(guò)消融實(shí)驗(yàn)驗(yàn)證了模型解決上述問(wèn)題的有效性。此外,還在不同類(lèi)型數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),最終的實(shí)驗(yàn)結(jié)果和可視化分析均表明,本文模型在多維時(shí)序預(yù)測(cè)任務(wù)中具有較好的通用性和普適性。