湯敬偉， 王達布希拉圖

(廣州大學(xué) 經(jīng)濟與統(tǒng)計學(xué)院， 廣東 廣州 510006)

近年來，伴隨著人工智能理論與技術(shù)的不斷進步，深度學(xué)習(xí)方法在計算機視覺、語音識別、自然語言處理、目標預(yù)測等多領(lǐng)域中得到廣泛應(yīng)用.其雖具有局部精準預(yù)測的性能優(yōu)勢，但有效量化深度學(xué)習(xí)預(yù)測的不確定性是目前急需解決的問題.目前大多數(shù)深度學(xué)習(xí)的結(jié)果為精準的均值預(yù)測，遠遠不能滿足現(xiàn)實應(yīng)用的需求.

為了量化預(yù)測時所產(chǎn)生的不確定信息，系統(tǒng)地提高預(yù)測的可靠性和有效性，人們將注意力聚焦于不確定性預(yù)測.不確定性預(yù)測主要包括密度預(yù)測和區(qū)間預(yù)測.密度預(yù)測給出概率密度函數(shù)或累積分布函數(shù)，能夠反映預(yù)測結(jié)果的全部概率信息.通常都需要假設(shè)誤差服從某一已知分布，如貝葉斯神經(jīng)網(wǎng)絡(luò)[1].Nix等[2]提出在正態(tài)分布假設(shè)下,利用神經(jīng)網(wǎng)絡(luò)和負對數(shù)似然損失函數(shù)對均值方差進行估計.雖然該方法計算較為簡便，但是在實際應(yīng)用中往往很難找到合適的分布來擬合其預(yù)測誤差值，常出現(xiàn)預(yù)測不合理的問題.通過非參數(shù)的方法如核密度估計[3]、分位數(shù)回歸[4]等方法，基于歷史相關(guān)數(shù)據(jù)直接計算出其預(yù)測誤差的經(jīng)驗分布函數(shù)或分位數(shù)點，可以規(guī)避假設(shè)分布不合理的問題.這類方法需要大量數(shù)據(jù)，并且存在維數(shù)災(zāi)難問題，即這些方法的性能會隨著特征個數(shù)增加而迅速降低.

區(qū)間預(yù)測[5]能夠給出在某一確定的置信水平下大致的波動范圍，因而也能反映出預(yù)測結(jié)果的不確定信息.相較密度預(yù)測而言，區(qū)間預(yù)測能夠較好地滿足不確定預(yù)測的需要.當(dāng)前，區(qū)間預(yù)測的主要研究致力于直接預(yù)測時間序列可能的上界與下界.Oord等[6-7]提出通過神經(jīng)網(wǎng)絡(luò)將回歸問題轉(zhuǎn)換成分類問題，根據(jù)預(yù)測分類結(jié)果的分布計算出區(qū)間預(yù)測值.然而這種方法得到的區(qū)間預(yù)測是特定置信水平下的近似區(qū)間，因此,Keren等[8]提出兩種校準方法，得到更為合理且有效的區(qū)間預(yù)測值估計.還有通過區(qū)間預(yù)測的高質(zhì)量原則構(gòu)建有效的區(qū)間預(yù)測的損失函數(shù)，用于在深度學(xué)習(xí)模型中進行學(xué)習(xí)，其中Khosravi等[9]提出下上界估計(Lower Upper Bound Estimation, LUBE)的損失函數(shù)，并在很多領(lǐng)域內(nèi)得到廣泛的應(yīng)用.但是LUBE損失函數(shù)并不可微，在使用深度學(xué)習(xí)模型時不能使用常用的基于梯度的算法，同時該方法易產(chǎn)生不合理的結(jié)果.Pearce等[10]基于Khosravi的工作提出新的區(qū)間預(yù)測的損失函數(shù)，并給出可微的損失函數(shù)形式.然而上述區(qū)間預(yù)測的損失函數(shù)只考慮單個區(qū)間，當(dāng)進行多個區(qū)間預(yù)測時，這種方法要求對不同置信水平進行相互獨立預(yù)測，因而并沒有考慮不同置信水平下諸區(qū)間之間的內(nèi)在聯(lián)系，同時該方法還需更多的模型訓(xùn)練時間.

針對上述問題，本文擬將單區(qū)間高質(zhì)量損失函數(shù)推廣到適用于多區(qū)間的損失函數(shù)，并利用深度學(xué)習(xí)模型和UCI的家電能耗預(yù)測數(shù)據(jù)集驗證多區(qū)間的損失函數(shù)有效性與合理性.

1 神經(jīng)網(wǎng)絡(luò)模型介紹

1.1 BP神經(jīng)網(wǎng)絡(luò)

由Rumelhart等在1986年首次提出的BP神經(jīng)網(wǎng)絡(luò)[11]，是最常見的神經(jīng)網(wǎng)絡(luò)模型，可用于解決非線性問題.通常問題越復(fù)雜，需要的隱含層數(shù)量越多.前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，能夠以任意精度逼近任意連續(xù)函數(shù)及平方可積函數(shù).具體的框架圖如圖1所示，其中x1,x2…,xM為模型的輸入，W1,W2…,WL和b1,b2…,bL分別為隱含層的權(quán)重矩陣和偏置項，φ(·) 為激活函數(shù).

圖1 BP神經(jīng)網(wǎng)絡(luò)框架圖Fig.1 Architecture of BP neural networks

1.2 長短期記憶網(wǎng)絡(luò)(LSTM)

Hochreiter等在1997提出了LSTM[11]，與RNN相比，增加了控制信息流動的門控單元系統(tǒng)，控制自循環(huán)的權(quán)重.在經(jīng)典的RNN網(wǎng)絡(luò)中，隱含層只有一個狀態(tài)，這一狀態(tài)只對短期輸入敏感，因此,LSTM增加了一個保持長期記憶的狀態(tài).最重要的組成部分是狀態(tài)單元，LSTM通過輸入門Ct、遺忘門ft和輸出門Ot控制信息的增減，具體的框架圖如圖2所示.

圖2 LSTM框架圖Fig.2 Architecture of LSTM

其中遺忘門ft，決定上個時間的輸入單元Ct-1是否需要遺忘或保留信息，ft為1表示完全保留，為0表示完全遺忘.

ft=σ(wf·[hC-1,xt]+bf)

(1)

輸入門Ct：由舊的輸入門Ct-1信息與遺忘門ft相結(jié)合更新.

it=σ(Wi[ht-1,xt]+bi)

(2)

(3)

(4)

輸出門Ot：決定當(dāng)前狀態(tài)單元的輸出信息.

Ot=σ(WO·[ht-1,xt]+bO)

(5)

ht=Ot*tanh(Ct)

(6)

2 區(qū)間預(yù)測的損失函數(shù)

2.1 單一區(qū)間的損失函數(shù)[10]

區(qū)間預(yù)測的高質(zhì)量原則(High-Quality principle,簡稱HQ原則)——高質(zhì)量區(qū)間預(yù)測應(yīng)該在特定的置信水平(區(qū)間能捕獲數(shù)據(jù)點的比例)下，區(qū)間寬度盡可能小.根據(jù)HQ原則推導(dǎo)出無需分布假設(shè)的損失函數(shù).

再定義n維向量K表示每個數(shù)據(jù)點是否被預(yù)測區(qū)間覆蓋，每個分量kt如下所示：

m表示被區(qū)間預(yù)測值覆蓋的數(shù)據(jù)點的總數(shù)

(7)

預(yù)測區(qū)間的覆蓋概率(Prediction Interval Coverage Probability, PICP)和平均預(yù)測區(qū)間的寬度(Mean Prediction Interval Width, MPIW)定義為

(8)

(9)

根據(jù)HQ原則，高質(zhì)量的預(yù)測區(qū)間應(yīng)該在符合PICP≥(1-α)的條件下最小化MPIW，MPIW應(yīng)該屬于損失函數(shù)的一部分，但是沒有覆蓋到數(shù)據(jù)點的預(yù)測區(qū)間寬度就不應(yīng)該再縮小.因此，提出已覆蓋數(shù)據(jù)點的平均預(yù)測區(qū)間的寬度(captured MPIW)代替MPIW

(10)

假設(shè)kt是獨立同分布的，m就會服從二項分布，m～B(n,(1-α))，根據(jù)中心極限定理(de Moivre-Laplace 定理[12])，對于極大的n值，m近似服從正態(tài)分布

B(n,(1-α))≈N(n(1-α),nα(1-α))=

(11)

因此,可以得到負的對數(shù)似然函數(shù)，

(12)

考慮到覆蓋率與區(qū)間寬度的平衡，加上拉格朗日項λ，得到單區(qū)間損失函數(shù)：

LossQD=MPIWcapt+

(13)

2.2 多區(qū)間損失函數(shù)

首先定義R個不同的置信水平(1-α1)，(1-α2)，…，(1-αR)，且(1-α1)>(1-α2)>…>(1-αR).定義向量u1用于判別置信水平(1-α1)的預(yù)測區(qū)間上界是否小于(1-α2)置信水平的預(yù)測區(qū)間上界，每個u1,t如下所示：

(14)

定義向量l1用于判別置信水平(1-α1)的預(yù)測區(qū)間下界是否大于置信水平(1-α2)的預(yù)測區(qū)間下界，其在t時刻的表達式如下:

(15)

根據(jù)向量u1計算出多區(qū)間的上界越界平均寬度(Mean Upper-bound Crossing Width, MUCW)為

(16)

同理可得，多區(qū)間的下界越界平均寬度(Mean Lower-bound Crossing Width, MLCW)

(17)

在單區(qū)間損失函數(shù)基礎(chǔ)上，增加不同置信水平區(qū)間上界之間關(guān)系的量化函數(shù)(MUCW)和不同置信水平區(qū)間下界之間關(guān)系的量化函數(shù)(MLCW)來定義多區(qū)間聯(lián)合預(yù)測的損失函數(shù).

(18)

3 實驗與分析

3.1 實驗基礎(chǔ)

本文采用的數(shù)據(jù)是家電能耗預(yù)測數(shù)據(jù)集，來源于UC Irvine Machine Learning Repository公開數(shù)據(jù)庫(由加州大學(xué)歐文分校提供的用于機器學(xué)習(xí)的數(shù)據(jù)庫)，可在網(wǎng)站https://archive.ics.uci.edu/ml/index.php下載.

該數(shù)據(jù)記錄一間低能耗的建筑從2016年1月11日至2016年5月27日的數(shù)據(jù)，其中檢測的時間間隔為10 min，共記錄了19 735個樣本，同時收集了能源消耗量、溫度、濕度和風(fēng)速等29個特征.

本次研究的所有算法均由Python 3.6實現(xiàn)，Tensorflow的版本為1.15.0，電腦的CPU主頻為2.60 GHz和8GB內(nèi)存，系統(tǒng)為Windows10專業(yè)版.

3.2 實驗步驟

(1)數(shù)據(jù)預(yù)處理.對數(shù)據(jù)進行缺失數(shù)據(jù)的補缺、歸一化和利用互信息進行特征篩選，建立特征矩陣，以便于隨后的模型構(gòu)建.

(2)構(gòu)建區(qū)間預(yù)測模型.首先將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，然后訓(xùn)練集用于單區(qū)間聯(lián)合預(yù)測的BP神經(jīng)網(wǎng)絡(luò)模型(S_BPNN)和單區(qū)間預(yù)測的LSTM模型(S_LSTM)、多區(qū)間聯(lián)合預(yù)測的BP神經(jīng)網(wǎng)絡(luò)模型(M_BPNN)和多區(qū)間聯(lián)合預(yù)測的LSTM模型(M_LSTM)的建立，置信水平為0.95、0.90和0.85，最后利用所建立的模型對測試集進行預(yù)測.

(3)計算評價指標.基于上述模型的區(qū)間預(yù)測結(jié)果，計算評價指標，包括預(yù)測區(qū)間的覆蓋概率(PICP)、平均預(yù)測區(qū)間的寬度(MPIW)、均方根誤差(RMSE)和平均絕對誤差(MAE)，其中RMSE和MAE是根據(jù)區(qū)間上界和下界的均值作為點預(yù)測來進行計算，最后進行綜合分析.

3.3 實驗結(jié)果分析

按照上述研究步驟，得到測試集的評價指標結(jié)果如表1所示.

表1 實驗結(jié)果

由表1可見，BP神經(jīng)網(wǎng)絡(luò)(S_BPNN)和多區(qū)間BP網(wǎng)絡(luò)(M_BPNN)的PICP分別為94.68%與94.95%，沒有達到大于當(dāng)前設(shè)置置信水平95%的標準，但已經(jīng)非常接近，說明所有模型的預(yù)測區(qū)間結(jié)果是有效的.

從LSTM與BP神經(jīng)網(wǎng)絡(luò)的對比來看，在不同置信水平下，無論采用單區(qū)間損失函數(shù)或多區(qū)間損失函數(shù)，LSTM的平均預(yù)測區(qū)間的寬度(MPIW)都要比BP神經(jīng)網(wǎng)絡(luò)的小，在置信水平95%下尤為明顯，與此同時，LSTM的RMSE和MAE均比BP神經(jīng)網(wǎng)絡(luò)的RMSE和MAE小.證明具有長短期記憶的LSTM比一般的神經(jīng)網(wǎng)絡(luò)BPNN更加適用于時間序列數(shù)據(jù).

將單區(qū)間損失函數(shù)與多區(qū)間損失函數(shù)對比，可知在所有顯著性水平下，無論是BPNN還是LSTM模型，多區(qū)間損失函數(shù)的MPIW、RMSE和MAE指標結(jié)果明顯優(yōu)于單區(qū)間的對應(yīng)指標，這表明本文提出的多區(qū)間損失函數(shù)能夠高效地量化預(yù)測的不確定性.

綜上所述，在所有顯著性水平下，采用多區(qū)間損失函數(shù)的LSTM的效果最好，所有的指標效果都優(yōu)于其他對比模型.為了進一步驗證本文所提出的多區(qū)間損失函數(shù)的高效性，本文給出S_LSTM和M_LSTM模型的部分預(yù)測結(jié)果區(qū)間圖(圖3).

圖3 S_LSTM和M_LSTM的預(yù)測區(qū)間圖Fig.3 Prediction interval of S_LSTM and M_LSTM

從圖3可知，采用單區(qū)間損失函數(shù)的S_LSTM模型存在不同置信水平區(qū)間交叉的情況，特別是下區(qū)間；而采用多區(qū)間損失函數(shù)的M_LSTM模型基本不存在交叉越界問題，同時更能刻畫出真實值的波動不確定信息.

4 結(jié)論與展望

本文將單區(qū)間損失函數(shù)推廣到適用于多區(qū)間的損失函數(shù)，并與BPNN和LSTM深度學(xué)習(xí)算法結(jié)合，對家電能耗進行區(qū)間預(yù)測，從PICP、MPIW、RMSE和MAE四個指標對不同置信水平下的不同模型進行比較與分析，結(jié)果表明，考慮不同置信水平區(qū)間之間關(guān)聯(lián)的多區(qū)間損失函數(shù)能有效解決單區(qū)間損失函數(shù)的越界交叉問題，對比單區(qū)間損失函數(shù)顯現(xiàn)出高效省時的優(yōu)勢.

值得指出的是，目前的研究是在離線的情況下進行的，而在當(dāng)今大數(shù)據(jù)時代，每時每刻都會產(chǎn)生海量數(shù)據(jù)，離線方法很難再適用于實際，如何有效地利用在線數(shù)據(jù)進行區(qū)間預(yù)測是一個非常值得關(guān)注的問題.