那幸儀 賈俊鋮 趙曉筠 張 莉 李凡長

1(蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院 江蘇 蘇州 215000)2(蘇州大學(xué)計算機信息處理技術(shù)省級重點實驗室 江蘇 蘇州 215000)3(蘇州燃?xì)饧瘓F(tuán)有限責(zé)任公司 江蘇 蘇州 215000)

0 引 言

近年來，我國從政策上加強了對清潔能源的支持，在一次能源消費結(jié)構(gòu)中天然氣的比重也有所增加，天然氣供應(yīng)變得尤其重要[1-2]。由于天然氣需求迅速增多，問題也隨之而來，天然氣供應(yīng)的巨大缺乏已經(jīng)導(dǎo)致國家連續(xù)多年的區(qū)域性“氣荒”。為加強天然氣的供氣能力，2017年9月于上海市石油天然氣交易中心啟動了管道天然氣線上競價交易機制。這個機制的建立為燃?xì)夤窘鉀Q區(qū)域性“氣荒”帶來了一定的機會，同時也給基于原有天然氣采購合同的短期采購帶來了新的挑戰(zhàn)，如果中長期內(nèi)購買過量的天然氣會使存儲成本增加。因此，找到一種可行、準(zhǔn)確的城市中長期天然氣負(fù)荷預(yù)測模型和方法具有很好的應(yīng)用價值，對于城市燃?xì)夤径裕梢愿行У匾?guī)劃天然氣采購，降低存儲成本，并降低客戶成本，提高企業(yè)利潤。

燃?xì)庥脷庳?fù)荷預(yù)測按預(yù)測時間段可從大類上區(qū)分為中長期預(yù)測與短期預(yù)測。中長期預(yù)測時間段為1年、5～15年或15年以上；短期預(yù)測時間段可為24小時，7～30天?，F(xiàn)有研究主要集中在短期負(fù)荷預(yù)測上，且通常為1天，至多7～30天。預(yù)測的天數(shù)越多，預(yù)測的難度越大，預(yù)測的準(zhǔn)確度則會越低，而本文工作的一個關(guān)鍵目標(biāo)是為城市燃?xì)夤旧商烊粴饽曦?fù)荷量預(yù)測模型，以進(jìn)行準(zhǔn)確和適用的中長期預(yù)測。本文選擇了中長期內(nèi)1年的預(yù)測范圍，并以每日天然氣需求總量為單位進(jìn)行預(yù)測，即對未來1年(即時間步長為364天)的數(shù)據(jù)進(jìn)行預(yù)測。

天然氣年負(fù)荷量預(yù)測屬于時間序列預(yù)測，這是一個一般統(tǒng)計預(yù)測很難解決好的問題，一般基于回歸分析模型的預(yù)測或分類，未考慮時間序列中存在的觀測項之間的時間依賴性。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)主要用于分析和預(yù)測時間序列數(shù)據(jù)，存儲先前數(shù)據(jù)并將其應(yīng)用于當(dāng)前的輸出，即隱藏層不但有與當(dāng)前時刻t輸入層的連接，同時有與上一時刻t-1隱層的連接。但是RNN保留的歷史數(shù)據(jù)會隨著時間有所衰減，即反傳過程當(dāng)中的歷史梯度有所消散。由于這個缺點，RNN不能應(yīng)用于較長時間序列而往往用于短時間序列的數(shù)據(jù)建模，例如語言模型等。而RNN的一種特殊情況為長短期記憶網(wǎng)絡(luò)(LSTM)[3-4]，其具有一種特殊的神經(jīng)元結(jié)構(gòu)，被稱作“記憶單元”，能夠更好地調(diào)節(jié)如何從不同的輸入源學(xué)習(xí)或遺忘，解決RNN長期記憶的問題，因此LSTM具有更好的時間序列學(xué)習(xí)的能力。

在序列數(shù)據(jù)經(jīng)過小波變換處理之后，分解序列將具有比原始序列更穩(wěn)定的方差，因此它可以使處理后的數(shù)據(jù)在智能計算方法或統(tǒng)計方法預(yù)測上得到更好的結(jié)果[5]，且現(xiàn)有研究并沒有將小波變換與LSTM網(wǎng)絡(luò)組合應(yīng)用于天然氣負(fù)荷量預(yù)測。綜合考慮以上因素，本文研究并提出了一種基于小波變換和LSTM的城市天然氣年負(fù)荷量預(yù)測模型。

1 相關(guān)工作

1.1 城市燃?xì)庳?fù)荷預(yù)測

現(xiàn)有的關(guān)于城市燃?xì)庳?fù)荷預(yù)測研究主要集中在兩個方面：① 通過研究影響因素從而提高預(yù)測模型的解釋能力，常見的影響因素有氣象、經(jīng)濟(jì)因素和社會因素等[6-7]；② 從方法入手，使用相關(guān)方法對城市燃?xì)庳?fù)荷進(jìn)行多元化預(yù)測以提升預(yù)測模型的性能，預(yù)測方法的改進(jìn)通常集中在數(shù)據(jù)的預(yù)處理、單一模型的優(yōu)化及建立組合模型三方面。對于后者的研究較多，例如：Wei等[8]首次提出的PCCA是一種改進(jìn)的主成分分析(PCA)，可以對輸入數(shù)據(jù)進(jìn)行降維預(yù)處理，并結(jié)合LSTM，與LSTM、PCA-LSTM、反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量回歸(SVR)相比，組合模型PCCA-LSTM表現(xiàn)出更好的性能，預(yù)測的時間步長為1；孫相博等[9]提出三種改進(jìn)的灰色預(yù)測模型，相比于傳統(tǒng)的灰色模型，預(yù)測精度大幅提高，預(yù)測的時間步長為1；陳川等[10]使用某市兩年多的民用類燃?xì)馊肇?fù)荷數(shù)據(jù)集，設(shè)計基于BP神經(jīng)網(wǎng)絡(luò)、經(jīng)驗?zāi)B(tài)分解(EMD)和長短期記憶神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型，預(yù)測的時間步長為15；徐玚等[11]提出了基于回聲狀態(tài)網(wǎng)絡(luò)(ESN)和改進(jìn)徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型，預(yù)測的時間步長為2?，F(xiàn)有的研究主要集中在城市燃?xì)舛唐谪?fù)荷預(yù)測上，而對于中長期內(nèi)的城市燃?xì)庳?fù)荷預(yù)測的相關(guān)研究較少，因此本文提出一個年步長的中長期城市燃?xì)庳?fù)荷預(yù)測模型。

1.2 LSTM模型

近來，人們越來越關(guān)注將深度學(xué)習(xí)架構(gòu)應(yīng)用于時間序列預(yù)測，特別是能源生產(chǎn)[12]、需求[13-14]和價格[15]預(yù)測。神經(jīng)網(wǎng)絡(luò)已成功用于機器學(xué)習(xí)問題中，而循環(huán)神經(jīng)網(wǎng)絡(luò)已提出用來解決與時間有關(guān)的學(xué)習(xí)問題[15]。

LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，克服了RNN梯度消失的問題，從而具備了處理長期序列依賴的能力，這主要是由于LSTM精心設(shè)計的“門”結(jié)構(gòu)能夠刪除或向記憶單元添加信息，使得LSTM能夠記住長期的信息，它們分別是輸入門、遺忘門和輸出門。

LSTM可以存儲長期信息，總體預(yù)測效果較好，但預(yù)測結(jié)果的準(zhǔn)確性還有待提升，所以本文提出了基于小波變換和LSTM的組合模型。

2 模型設(shè)計

2.1 組合模型框架

基于小波變換和LSTM的組合模型(wavelet_LSTM)由穩(wěn)定小波變換和基準(zhǔn)LSTM模型組成，其模型框架見圖1。

圖1 wavelet_LSTM模型框架

首先對天然氣用氣量進(jìn)行穩(wěn)定小波變換，再分別對小波變換后得到的各成分進(jìn)行歸一化，即將數(shù)據(jù)按比例縮小至0～1之間。

(1)

式中：Xmin是數(shù)據(jù)集X的最小值；Xmax是數(shù)據(jù)集X的最大值；x是數(shù)據(jù)集的樣本；xscaled即為x歸一化后對應(yīng)的值。使用按比例縮小的數(shù)據(jù)進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型可獲取更好的性能。

然后將歸一化后的數(shù)據(jù)放到基準(zhǔn)LSTM模型中進(jìn)行訓(xùn)練。本文的基準(zhǔn)LSTM模型是由具有32個LSTM神經(jīng)元的單隱藏層及頂部的完全連接層組成的神經(jīng)網(wǎng)絡(luò)，以將LSTM輸出映射到期望的目標(biāo)特征。網(wǎng)絡(luò)提供364個時間步長的歷史數(shù)據(jù)點，并經(jīng)過訓(xùn)練以預(yù)測接下來364個時間步長中的天然氣用氣量。最后，對預(yù)測結(jié)果進(jìn)行重構(gòu)，即逆穩(wěn)定小波變換，并利用評價指標(biāo)進(jìn)行驗證。

2.2 穩(wěn)定小波變換

小波變換可以大致分為連續(xù)型小波變換(CWT)和離散型小波變換(DWT)兩類。由于實驗中所用的天然氣用氣量數(shù)據(jù)是按天記錄的，因此對于有限的用氣量數(shù)據(jù)，本文采用離散小波變換。離散型小波變換定義為：

(2)

式中：α為尺度參數(shù)；τ為平移參數(shù)；ψ*(x)為復(fù)共軛函數(shù)；m為縮放常數(shù)(表示分解的級別數(shù))；n為平移常數(shù)；m、n均為整數(shù)。

本文采用的是離散小波變換的變形：穩(wěn)定小波變換(SWT)。穩(wěn)定小波變換可以彌補離散小波變換因為縮減取樣而失去的平移不變性，因為本文的基準(zhǔn)LSTM模型期望輸入的各個特征維度要相同。穩(wěn)定小波變換不同于離散小波變換的部分，主要在于經(jīng)過每一階的高通濾波器和低通濾波器之后，是將濾波器提升取樣，取代離散小波變換在經(jīng)過濾波器之后的縮減取樣。

在時間序列數(shù)據(jù)分析應(yīng)用中，Daubechies小波取得廣泛應(yīng)用并表現(xiàn)出良好的性能[16-17]。在權(quán)衡了數(shù)據(jù)的維度和平滑度之后，本文采用了分解系數(shù)為2的Daubechies小波變換，變換后得到兩個低頻近似部分和兩個高頻細(xì)節(jié)部分，分別對應(yīng)圖1中的cA1、cA2和cD1、cD2。分解系數(shù)為2的穩(wěn)定小波變換的數(shù)位實現(xiàn)模型如圖2所示。

圖2 穩(wěn)定小波變換的數(shù)位實現(xiàn)模型

圖2中x[n]是原始信號，gi[n]為第i階的低通濾波器，hj[n]為第j階的高通濾波器。穩(wěn)定小波變換算法步驟如下：

(1) 原始信號與高通濾波器做旋積分之后會得到此信號中高頻的成分xi,H[n]。此高頻的成分為第i個高頻的輸出。(2) 原始信號與低通濾波器做旋積分后會得到信號中低頻的成分xj,L[n]，此低頻的成分再作為下一階j+1階濾波器的輸入。

重復(fù)上述兩個步驟，即可將信號作多階(此處為二階)的穩(wěn)定小波變換。

2.3 LSTM網(wǎng)絡(luò)

LSTM提供長期記憶的能力，因此可以對天然氣日負(fù)荷進(jìn)行長達(dá)364天的預(yù)測。LSTM神經(jīng)元通過輸入門、遺忘門和輸出門的狀態(tài)組合來實現(xiàn)這一點。

在信息傳遞過程中，LSTM通過當(dāng)前時刻輸入、上一時刻隱藏層狀態(tài)、上一時刻記憶單元狀態(tài)和門結(jié)構(gòu)來增加或刪除記憶單元狀態(tài)中的信息。門結(jié)構(gòu)用來控制增加或刪除信息的程度：利用輸入門，記憶單元可以決定是否更新單元狀態(tài)；利用遺忘門，記憶單元可以刪除其記憶；通過輸出門，記憶單元可以決定輸出信息是否可用。更新后的記憶單元狀態(tài)由以下兩部分構(gòu)成：① 來自上一時刻舊的記憶單元狀態(tài)信息；② 當(dāng)前輸入新生成的信息。最后，基于更新的記憶單元狀態(tài)輸出隱藏狀態(tài)[18]。因此，LSTM網(wǎng)絡(luò)的關(guān)鍵就是通過記憶單元的狀態(tài)長期存儲數(shù)據(jù)的信息[19]。

本文實現(xiàn)的為對未來364天的天然氣日負(fù)荷量預(yù)測，建立的預(yù)測模型為：

y=f(x1,x2,…,x364)

(3)

式中：y為未來364天的天然氣日負(fù)荷量；x1，x2，…，x364為當(dāng)前時刻之前的364天的天然氣日負(fù)荷量。

3 實 驗

3.1 數(shù)據(jù)來源及預(yù)處理

城市燃?xì)夤緸榇斯ぷ魈峁┝艘粋€多變量數(shù)據(jù)集，包含2008年—2017年共10年的每日數(shù)據(jù)。數(shù)據(jù)集記錄包括天然氣每日總用氣量(單位：立方米)、日平均氣溫、節(jié)假日、天然氣用戶數(shù)量、seasonal和日期等字段，如表1所示。其中，seasonal是通過STL(Seasonal and Trend decomposition using Loess)分解獲取的季節(jié)項。該數(shù)據(jù)集共3 653條記錄，包括2008年1月1日至2017年12月31日的每日數(shù)據(jù)，將2008年—2016年這9年的數(shù)據(jù)作為訓(xùn)練集，將2017年的數(shù)據(jù)作為測試集。

表1 數(shù)據(jù)集特征

城市天然氣負(fù)荷數(shù)據(jù)表明，節(jié)日假期(例如春節(jié))的天然氣負(fù)荷量顯著增加，因此數(shù)據(jù)集中包含“holiday”字段特征。

分解作為一種抽象化工具，主要用于時間序列分析，可以為模型的數(shù)據(jù)預(yù)測提供幫助。STL分解是一種把時間序列分解為趨勢項、季節(jié)項和余項的過濾過程。本文使用STL分解的乘法模型對所有天然氣實際使用量的對數(shù)值進(jìn)行自動分解，頻率為364。將分解獲取的三種成分加入到訓(xùn)練數(shù)據(jù)中，經(jīng)模型訓(xùn)練實驗表明，加入季節(jié)項后的模型預(yù)測效果會有所提升，而趨勢項和余項成分影響不大。

對天然氣用氣量“gas”特征進(jìn)行穩(wěn)定小波變換，使用的小波對象為Daubechies 2，變換后得到兩個低頻近似部分cA1、cA2和兩個高頻細(xì)節(jié)部分cD1、cD2。以一年的數(shù)據(jù)為例，注意此處為364天，因為穩(wěn)定小波變換方法要求原始信號的維度是偶數(shù)，如圖3所示。

(a)

(b)圖3 小波變換結(jié)果

對原始數(shù)據(jù)進(jìn)行對數(shù)轉(zhuǎn)換可以減輕指數(shù)效應(yīng)[20]，因此本項目模型的目標(biāo)變量是燃?xì)鈱嶋H使用量的對數(shù)值，經(jīng)模型訓(xùn)練實驗表明，將實際值取對數(shù)進(jìn)行訓(xùn)練確實可以改善模型的性能：

y′=log(y)

(4)

在對低頻成分cA1、cA2訓(xùn)練時，分別將其對數(shù)值加入數(shù)據(jù)集，以進(jìn)行更好的訓(xùn)練和預(yù)測。

3.2 組合模型實現(xiàn)

將數(shù)據(jù)集進(jìn)行劃分，其中2 923天作為訓(xùn)練集，364天作為測試集，并使用滑動窗口創(chuàng)建訓(xùn)練和測試數(shù)據(jù)。要創(chuàng)建364天的預(yù)測，輸入數(shù)據(jù)X是多變量數(shù)據(jù)的364個時間步長，目標(biāo)輸出Y是接下來364個時間步長的用氣量，即輸入歷史天然氣用氣量，來預(yù)測未來一年的天然氣用氣量，圖4展示了用于創(chuàng)建一個訓(xùn)練示例的方法。

圖4 窗口滑動

接下來對天然氣用氣量進(jìn)行穩(wěn)定小波變換，將獲取的四個成分分別加入訓(xùn)練集和測試集；對數(shù)據(jù)進(jìn)行歸一化處理后分別放到LSTM模型中進(jìn)行訓(xùn)練；本文的LSTM模型是由具有32個LSTM神經(jīng)元的單隱藏層及頂部的SELU全連接層組成的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的搭建基于深度學(xué)習(xí)框架Keras。得到訓(xùn)練好的模型后，分別在驗證集的小波分解后的四個成分上進(jìn)行預(yù)測，最后使用逆穩(wěn)定小波變換對預(yù)測出的驗證集的四個成分進(jìn)行信號重構(gòu)，與驗證集的原始信號進(jìn)行實驗比對。

編譯Keras模型時通常需要很多參數(shù)，其中有兩個重要參數(shù)分別是損失函數(shù)(或稱目標(biāo)函數(shù)、優(yōu)化評分函數(shù))和優(yōu)化器。在基準(zhǔn)LSTM中使用均方誤差函數(shù)作為損失函數(shù)，并使用RMSprop優(yōu)化器。優(yōu)化器的初始學(xué)習(xí)速率設(shè)定值為0.005，隨著梯度到達(dá)穩(wěn)定的水平，學(xué)習(xí)率會以0.1的衰減因子逐漸減小，將最小學(xué)習(xí)率設(shè)置為0.000 1，將patience設(shè)置為0。雖然Adam和RMSprop優(yōu)化器都確實收斂到低損失值，但是RMSprop能夠?qū)崿F(xiàn)更低的損失，并且通常會在較少的訓(xùn)練迭代次數(shù)內(nèi)收斂。將訓(xùn)練網(wǎng)絡(luò)預(yù)設(shè)為迭代20次，使用EarlyStopping以防止過擬合，patience值的迭代次數(shù)設(shè)置為5，即在出現(xiàn)5個epoch的驗證集損失沒有減小的情形時提前終止訓(xùn)練。此外，在基準(zhǔn)LSTM模型的全連接層使用預(yù)定義激活函數(shù)中的SELU激活函數(shù)。

3.3 模型比較

使用SVR、ARIMA等方法進(jìn)行的初步嘗試并未得到令人滿意的結(jié)果。在更長的時間間隔內(nèi)，這些模型似乎無法捕捉到有意義的長期趨勢。

本節(jié)給出了本文方法的實證結(jié)果，并與基準(zhǔn)LSTM、支持向量回歸機(SVR)和差分整合移動平均自回歸(ARIMA)進(jìn)行了對比。實驗采用平均絕對誤差(MAE)、平均絕對百分誤差(MAPE)和平均絕對范圍標(biāo)準(zhǔn)化誤差(MARNE)分別對ARIMA、SVR、基準(zhǔn)LSTM和wavelet_LSTM進(jìn)行了評比。MAE、MAPE和MARNE三個指標(biāo)的定義分別如下：

(5)

(6)

(7)

表2 各模型預(yù)測結(jié)果

可以看出傳統(tǒng)時間序列預(yù)測方法預(yù)測準(zhǔn)確性較差，無法捕捉長期復(fù)雜趨勢，機器學(xué)習(xí)方法的預(yù)測準(zhǔn)確性一般，深度學(xué)習(xí)方法在預(yù)測準(zhǔn)確性上有很大程度的提升，而本文提出的wavelet_LSTM平均絕對誤差和平均絕對百分誤差均下降，預(yù)測偏差浮動范圍也有所減小，在天然氣年負(fù)荷預(yù)測上有較高的準(zhǔn)確性。

LSTM模型為輸入數(shù)據(jù)的每一個時間步長生成單個時間步長的輸出，當(dāng)模型僅運行幾個時間步時，它從輸入信號中學(xué)習(xí)到的歷史信息很少，還不能做出精確的預(yù)測，因此LSTM模型的預(yù)測對前幾個時間步長來講并不是非常精確。該模型需要通過處理大約20～30個時間步長來“預(yù)熱”，然后才能展現(xiàn)較好的預(yù)測結(jié)果。以364個時間步長為例進(jìn)行測試集的展示，基準(zhǔn)LSTM模型預(yù)測效果如圖5所示。

圖5 基準(zhǔn)LSTM預(yù)測效果

本文嘗試從數(shù)據(jù)和模型兩個方面入手：在數(shù)據(jù)方面，嘗試將天然氣數(shù)據(jù)去趨勢化，即將天然氣數(shù)據(jù)按年做差分，使用基準(zhǔn)LSTM模型對364個步長的差值進(jìn)行訓(xùn)練及預(yù)測，最終加上預(yù)測年前一年的數(shù)據(jù)即為預(yù)測年的數(shù)據(jù)；在模型方面，為基準(zhǔn)LSTM網(wǎng)絡(luò)另加一層隱藏層，使之變?yōu)閷盈BLSTM網(wǎng)絡(luò)(Stacked LSTM)，即有2個隱藏LSTM層的網(wǎng)絡(luò)模型。但這兩種實驗結(jié)果較之前相比并無明顯提升。

將小波變換與基準(zhǔn)LSTM模型相結(jié)合，即將驗證集穩(wěn)定小波變換后獲取的四個成分分別放入到訓(xùn)練好的LSTM模型進(jìn)行預(yù)測，最后進(jìn)行信號重構(gòu)并與原始信號進(jìn)行對比。以364個時間步長為例進(jìn)行測試集的展示，預(yù)測效果如圖6所示。預(yù)測的天數(shù)越多，預(yù)測的難度越大，預(yù)測的準(zhǔn)確度會越低。而本文的wavelet_LSTM相比于基準(zhǔn)LSTM模型，有較高的準(zhǔn)確性，在天然氣年負(fù)荷預(yù)測上有較好的表現(xiàn)，可以較好地滿足城市燃?xì)夤镜臉I(yè)務(wù)需求。

圖6 wavelet_LSTM預(yù)測效果

4 結(jié) 語

本文探索了傳統(tǒng)時間序列預(yù)測方法、機器學(xué)習(xí)模型和深度學(xué)習(xí)時間序列預(yù)測模型在天然氣需求預(yù)測方面的應(yīng)用，提出了基于小波變換和LSTM的組合模型，相比于基準(zhǔn)LSTM模型，其預(yù)測準(zhǔn)確性有所提高，是一種可行、準(zhǔn)確的城市中長期天然氣負(fù)荷預(yù)測模型。

從預(yù)測效果來看，一些過高或過低的峰值并沒有擬合到，由于該燃?xì)夤静]有對異常數(shù)據(jù)做相關(guān)判斷和記錄，且沒有異常值數(shù)據(jù)可以提供，本文并沒有相關(guān)依據(jù)判斷其是否為異常值，所以不能做進(jìn)一步處理。未來工作將對wavelet_LSTM進(jìn)行一般適用性的探索。