田英杰 郭乃網(wǎng) 徐東輝 龐 悅 周向東 施伯樂

1(國網(wǎng)上海市電力公司電力科學研究院 上海 200437)2(復旦大學計算機科學技術學院 上海 200433)

0 引 言

隨著中國經(jīng)濟的飛速發(fā)展和城市化的快速推進，社會對電力能源的需求日益增加[1]。為保障能源利用可持續(xù)發(fā)展，提高發(fā)電和配電效率，減少資源浪費，我國電網(wǎng)系統(tǒng)正向智能化電網(wǎng)發(fā)展[2-3]。智能化電網(wǎng)要求電力系統(tǒng)能夠根據(jù)用戶需求動態(tài)調(diào)整發(fā)電與分配方案。因此，準確預測未來電力能耗需求對智能電網(wǎng)的推動起至關重要的作用。

電力能耗預測屬于時間序列預測問題，其主要預測方法是通過回歸機器學習模型。無論是對基于統(tǒng)計學的傳統(tǒng)模型還是深度神經(jīng)網(wǎng)絡，模型的輸入特征對預測結(jié)果都有著決定性作用。勞倫斯伯克利國家實驗室(LBNL)的研究[4]顯示，引入與目標序列相關聯(lián)的外因序列進行輔助預測將有效提升預測精度。但是在現(xiàn)實應用中，由于獲取與耗電單位直接相關或顯著相關的外界因素數(shù)據(jù)成本高、難度大，且同一時間戳往往記錄了多種不同類型的時間序列數(shù)據(jù)，通過人工挑選和目標序列強相關的外界序列效率低、拓展性差，而直接將多序列作為特征輸入則為目標序列引入噪聲，使預測精度下降，導致多數(shù)用電能耗預測僅通過用電序列自身作為特征，根據(jù)目標序列自回歸性做出預測，精度有限。因此，倘若模型能從相對容易獲取的外界序列中自動挖掘序列間關系并用以輔助預測，將有助于提升目標序列預測精度。如圖1所示，兩條序列分別為某大型醫(yī)院醫(yī)療設備I號與醫(yī)療設備II號，盡管兩條序列在背景知識下無直接關聯(lián)，但兩條序列在部分區(qū)段存在明顯的遲滯相關性。倘若模型可以對此加以識別并利用其相關性，將有助于提升預測精度。

圖1 序列間存在隱含相關性

注意力機制(Attention Mechanism)[5]在深度學習中有著重要地位。在多序列預測問題中，通過注意力機制可以根據(jù)序列間相關性為目標序列自動選取相關性強的外因序列。因此準確刻畫序列間相關性將決定注意力機制是否能正確對多序列選取。然而僅通過不同序列各自的數(shù)值信息無法描述各序列的真實背景，語義模糊，進而使注意力機制難以發(fā)揮作用。

建筑信息模型(Building Information Model，BIM)是建筑領域一種新興的建筑設計技術[6]。BIM超越了傳統(tǒng)的二維CAD技術，將信息的表達方式由二維轉(zhuǎn)換為三維，記錄了整個建筑從項目方案到建筑設計、施工的所有數(shù)據(jù)信息與特征。圖2為BIM技術建模示例。BIM具有高度的集成性，貫穿在建筑項目的整個生命周期內(nèi)為設施的所有決策提供可靠依據(jù)，支持不同利益相關方協(xié)同工作。由于BIM模型中包含豐富的數(shù)據(jù)特征，通過用電單位的BIM特征將完善用電單位對應時間序列的語義信息，使得不同時間序列間的數(shù)字化、離散化描述更加清晰、準確。

圖2 BIM三維建模示例

針對以上問題和設想，本文提出BIMAttenNN模型，結(jié)合注意力機制與BIM特征的深度神經(jīng)網(wǎng)絡模型對多外因能耗序列進行預測，該模型具備自動選取外因序列能力。結(jié)合真實多序列電力能耗數(shù)據(jù)進行預測，實驗表明BIMAttenNN模型提升了預測精度。

1 相關工作

電力能耗預測是時間序列預測問題。時間序列預測多年來一直是專家學者研究的熱門領域。在眾多預測模型中，最經(jīng)典的是由Whittle[7]在1951年提出的自回歸移動平均模型[8](Autoregressive moving average model，ARMA)及其變種自回歸差分移動平均模型(Autoregressive Integrated Moving Average model，ARIMA)等基于統(tǒng)計學的傳統(tǒng)模型。但是此類模型只能由時間序列的線性自回歸做出預測，并且無法對多序列建模。循環(huán)神經(jīng)網(wǎng)絡(Recurrent Nerual Network，RNN)作為神經(jīng)網(wǎng)絡中序列模型的代表，由于其強大的非線性建模能力與靈活的建模方式[9]，越來越受到人們的關注。Gao等[10]使用RNN模型對多序列問題建模，該模型可以自適應地學習復雜序列間的關系。而傳統(tǒng)的RNN存在梯度消失的問題[11]，為改善此問題，諸多帶門控的RNN被提出，如Hochreiter等[12]提出的長短記憶網(wǎng)絡(Long Short-term Memory Units，LSTM)和Cho等[13]提出的門控循環(huán)網(wǎng)絡(Gated Recurrent Units，GRU)。此后研究多在LSTM或GRU的基礎上建立。Gensler等[14]利用自編碼器對時間序列進行特征抽取并結(jié)合LSTM進行預測。Yan等[15]利用卷積神經(jīng)網(wǎng)絡(CNN)和LSTM搭配的結(jié)構對電力能耗進行時間序列預測，用CNN選取特征，LSTM進行數(shù)值預測。Li[16]將編碼-解碼網(wǎng)絡用于風能時間序列預測任務中，證明了編碼-解碼網(wǎng)絡在時間序列預測問題中的價值。

注意力機制具備學習權重的能力，Bahdanau等[17]使用帶注意力機制的編碼-解碼網(wǎng)絡，令機器翻譯效果獲得大幅提升。Vaswani等[5]根據(jù)注意力機制強大的權重學習能力提出了Transfomer模型，在機器翻譯領域大獲成功。Song等[18]將Transformer結(jié)構應用于時間序列預測領域，驗證了注意力機制和Trasfomer模型的價值。Qin等[19]提出了兩步注意力模型，除了將注意力機制用在時間步選取外，還用于外因選擇中，大幅提升目標序列預測精度。注意力機制的有效性為多序列學習任務提供了有效指導。

BIM對電力能耗的預測國內(nèi)外已有一定研究。張先鋒[1]通過BIM技術對建筑模型進行參數(shù)化，并通過小波神經(jīng)網(wǎng)絡對電力負荷預測，驗證了BIM對能耗預測的可行性。Kim[20]將BIM特征與決策樹結(jié)合，搭建了預測建筑能耗支出的模型。Alshibani等[21]利用BIM特征和多層感知機構建了電力支出預測模型。上述研究均直接建模了BIM與電力總能耗的關系，未利用BIM對耗電單位語義描述豐富的特點，因此本文結(jié)合注意力模型并使用BIM特征更加清晰地定義序列間相似度，進而提升預測精度。

2 模型設計

2.1 符號與問題定義

給定n個目標序列以外長度為T的耗電單位時間序列X(簡稱外因序列)以及長度同樣為T的目標序列Y和總計n+1個耗電單位的BIM特征Z：

X=(x1,x2,…,xn)′=(x1,x2,…,xT)∈Rn×T

(1)

Y=yT=(y1,y2,…,yT)∈RT

(2)

Z=(z1,z2,…,zn+1)∈R(n+1)×q

(3)

V=(v1,v2,…,vn+1)=(x1,x2,…,xn,y)∈R(n+1)×T

(4)

本文研究的問題為：給定全電力時間序列V的歷史T個值和BIM特征Z，如何準確預測目標序列Y的下一時刻值yT+1：

(5)

式中：映射F(·)即為模型學習目標。

2.2 BIM特征選用

BIM特征建立在工業(yè)基礎類(Industry Foundation Class，IFC)數(shù)據(jù)結(jié)構上，IFC結(jié)構定義復雜，容納信息量龐大，通過建立類對象實例來描述具體的建筑信息[6]。IFC中的類根據(jù)集成關系分為資源層、核心層、共享層、領域?qū)铀膫€層次，每個層次中都使用EXPRESS語言建立了對應的類來描述對象。在IFC文件中將類實例化為對象來存儲建筑信息。IFC層次結(jié)構如圖3所示。

圖3 IFC類層次結(jié)構

合理選用BIM特征對模型建立有重要意義。BIM特征可以分為IFC類結(jié)構信息與建筑描述信息。其中IFC類結(jié)構信息主要描述了IFC類之間的繼承關系與類結(jié)構屬性等；建筑描述信息則是面向BIM開發(fā)人員的建筑、建造單位的顯式建造特征。由于顯式特征的直接相關性，本文使用BIM特征中顯式的建筑描述信息進行建模。以本文使用的數(shù)據(jù)集為例，選用的BIM特征描述見表1。

表1 BIM特征詳情

其中，數(shù)值型特征將直接作為特征使用，類別特征使用獨熱編碼[22]方式轉(zhuǎn)化為向量形式，多個向量化的類別特征、實數(shù)特征拼接構成第k個序列的BIM特征向量zk，即zk=[b1，b2,…,b41,s]′，b1,b2,…,b41∈{0,1},s∈Z。不同數(shù)據(jù)集可以用同樣的方法構造BIM特征向量。

2.3 模型建立

Qin等[19]在股價預測問題中使用兩步注意力機制的結(jié)構，并驗證了注意力機制對外因序列的選擇作用。受此啟發(fā)，本文采用兩步注意力機制與編碼器-解碼器結(jié)構進行預測。此外，Lai等[23]指出，神經(jīng)網(wǎng)絡對時間序列建模可能會缺乏對時間序列的線性自回歸部分建模。因此本文在模型中添加線性自回歸預測分支以確保模型對線性映射部分的學習能力。模型由BIM-Attention編碼器、解碼器和自回歸部分組成。整體結(jié)構如圖4所示。

圖4 模型整體結(jié)構

2.3.1 BIM-Attention編碼器

在機器翻譯領域，編碼器本質(zhì)上是對輸入序列進行特征抽取，在每個時間步生成對應輸入的編碼向量。在本文研究的多變量時間序列問題中，因各外因序列與目標序列相關程度不明了，故編碼器輸入為全電力序列V=(v1,v2,…,vT)，其中vt∈Rn+1，n是外因數(shù)目。編碼器可以學習從vt到ht的映射關系：

ht=f(ht-1,vt)

(6)

式中：ht是輸入序列在t時刻編碼后的編碼向量，ht∈Rm，m為編碼長度；f(·)是編碼器學習到的從輸入向量到編碼向量的映射關系，可以由RNN模型習得。由于LSTM具備克服梯度消失的能力，故本文使用LSTM作為編碼單元。LSTM在每個時間步保持一個細胞狀態(tài)和多個門控部分。其中細胞狀態(tài)se,t用來記錄長時間步中隱含的信息，遺忘門fe,t控制對歷史信息的舍棄程度，更新門ue,t控制對候選細胞狀態(tài)的更新程度，oe,t控制細胞狀態(tài)ce,t多大程度轉(zhuǎn)化為編碼隱狀態(tài)ht。具體計算如下：

fe,t=σ(We,f[ht-1;vt]+be,f)

(7)

ue,t=σ(We,u[ht-1;vt]+be,u)

(8)

oe,t=σ(We,o[ht-1;vt]+be,o)

(9)

(10)

(11)

ht=oe,t⊙tanh(se,t)

(12)

式中：[ht-1;vt]∈Rm+n+1是上一時間步ht-1和當前輸入vt的拼接運算；We,f、We,u、We,o、We,s∈Rm×(m+n+1)和be,f、be,u、be,o、be,s∈Rm是模型學習的參數(shù)；σ和⊙分別代表邏輯斯蒂運算和逐元素相乘運算。

在編碼階段的LSTM部分前，使用BIM-Attention對輸入的全電力序列重構，對重構后的序vt←BIM-Attention(vt)編碼。注意力機制是學習分配權重的一種方法。本文利用BIM特征與各序列歷史值計算目標序列對各外因序列的注意力分數(shù)，從而獲得更加準確的權重向量。在t時刻對第k個外因序列的權重計算公式如下：

(13)

(14)

(15)

通過BIM-Attention編碼器，模型利用BIM特征與序列歷史值學習目序列與全序列的相關程度，從而使模型關注全序列中對目標序列預測真正有幫助的部分，進而達到自動選擇外因序列的目的。

2.3.2 解碼器

為生成未來時刻的預測值yT+1，用另外一支LSTM做解碼器，對編碼器的輸出解碼。并根據(jù)目標序列與外因序列間潛在的時間上的遲滯相關性，在每個解碼時刻t，利用解碼器LSTM的p維隱狀態(tài)dt-1∈Rp對T個編碼向量利用注意力機制進行權重計算，即：

(16)

(17)

(18)

(19)

(20)

(21)

(22)

(23)

dt=od,t⊙tanh(sd,t)

(24)

2.3.3 自回歸部分

相關研究[23]表明，LSTM等神經(jīng)網(wǎng)絡模型在時間序列預測問題中，由于其強大的非線性建模能力，可能會造成模型對輸入序列的線性自回歸部分難以學習的問題。因此本文在模型最后的預測部分加入目標序列的線性自回歸部分以克服這一缺陷。

在模型最終的預測部分，將目標序列的T個歷史值Y=(y1,y2,…,yT)和解碼器最終解碼輸出dT拼接，通過一層全連接網(wǎng)絡生成預測值，即：

(25)

2.3.4 訓練過程

模型訓練方法采用小批量隨機梯度下降，優(yōu)化器為Adam。參數(shù)使用標準的反向傳播學習，使用平均平方誤差(Mean Squared Error，MSE)作為優(yōu)化目標O,N是訓練樣本數(shù)：

(26)

3 實 驗

3.1 實驗數(shù)據(jù)

實驗使用的數(shù)據(jù)集來自國家電網(wǎng)電力公司與華東建筑設計研究院。數(shù)據(jù)包含電力數(shù)據(jù)和BIM數(shù)據(jù)兩部分，采集于中國上海市某大型醫(yī)院。電力數(shù)據(jù)包含類別有醫(yī)療設備、電梯、照明插座、空調(diào)等13個類別，共415個不同的用電設備，每個設備的電力數(shù)據(jù)采樣率為24點/天，共計一年，每條序列8 605個計數(shù)值。BIM數(shù)據(jù)為整座醫(yī)院的BIM模型，包含了415個用電設備的各項BIM參數(shù)，實驗中使用的BIM特征為設備所在樓層、設備類別、科室類別、所在樓宇類別。

3.2 實驗設置

實驗對比方法包括以下5種。

Lasso回歸：經(jīng)典的單變量線性自回歸模型，輸入為目標序列的歷史序列。

LSTM：輸入為目標序列的歷史序列。

LSTM-Multi：與LSTM方法結(jié)構一致，但是模型輸入為全部電力序列。

InputAtten：在LSTM-Multi輸入前加入普通的注意力機制，輸入為全部電力序列。

AttenNN：將BIMAttenNN中的BIM-Attention替換為普通的注意力模型，輸入為全部電力序列。

本文方法的輸入為全部電力序列。

對比實驗中除不同模型的輸入與模型結(jié)構不同外，其他參數(shù)均保持一致，如優(yōu)化目標均為MSE，優(yōu)化算法均為Adam，實驗均用過去24小時的歷史序列預測未來1小時的電力能耗值。實驗中所有對比方法采用統(tǒng)一訓練集、測試集，其中訓練集占數(shù)據(jù)集比例為80%，BIM特征使用獨熱編碼。

對比指標包括均方根誤差RMSE，平均絕對誤差MAE，計算公式分別如下：

(27)

(28)

3.3 實驗結(jié)果

實驗對比結(jié)果如表2所示，指標均在測試集上計算。

表2 對比實驗預測精度

以綜合樓2層檢驗科醫(yī)療設備為例，預測表現(xiàn)優(yōu)秀的LSTM、AttenNN、BIMAttenNN方法在測試集前144點(一周步長)的預測效果如圖5-圖7所示。

圖5 LSTM預測結(jié)果

圖6 AttenNN預測結(jié)果

圖7 BIMAttenNN預測結(jié)果

3.4 實驗結(jié)果分析

表2的實驗結(jié)果表明，本文提出的基于BIM與注意力機制的BIMAttenNN模型在各目標序列預測上均取得了最優(yōu)表現(xiàn)，相較于不使用BIM特征，預測表現(xiàn)同樣優(yōu)秀的AttenNN在MAE指標上平均提升13.26%，RMSE指標上平均提升20.27%，驗證了BIM對多序列融合預測的價值。

對比LSTM與LSTM-Multi模型的預測結(jié)果可以看出，對多序列建模時，倘若對多序列輸入不添加任何選取機制，對所有外因序列一視同仁，則會為目標序列預測引入噪聲，帶來干擾。而InputAtten與LSTM-Multi和LSTM的實驗對比說明，同為多外因序列輸入的InputAtten和LSTM-Multi由于InputAtten加入了注意力機制對外因進行了一定程度的區(qū)分，其效果要優(yōu)于LSTM-Multi，證明了注意力機制引入的必要性。但是由于InputAtten的單層結(jié)構，導致對目標序列自身信息關注不足，因此在精度上遜于單序列輸入的LSTM。AttenNN則在InputAtten上改善這一缺陷，在解碼階段輸入目標序列歷史值，并且在最后加入目標序列的線性自回歸部分，預測效果得到了改善。

BIMAttenNN與AttenNN模型差別在于AttenNN沒有使用結(jié)合BIM特征的注意力機制。BIMAttenNN根據(jù)BIM特征清晰地定義了序列間關系，使輸入序列的權重分配更加合理。從而獲得了對比實驗中最高預測精度。本文將兩種方法中的注意力分數(shù)繪圖，以直觀的方式闡述結(jié)合BIM特征的注意力機制的價值。

繪圖以綜合樓二層檢驗科設備用電序列預測為例，外因序列有25條，預測任務是過去24小時預測未來1小時電力能耗，計算了測試集上1 716條測試數(shù)據(jù)對25條外因序列在24小時上的平均注意力分數(shù)并繪制分布圖。AttenNN的注意力分數(shù)分布如圖8所示；BIMAttenNN的注意力分數(shù)分布如圖9所示。

圖8 AttenNN注意力分數(shù)分布圖

圖9 BIMAttenNN注意力分數(shù)分布圖

可以看出，AttenNN對外因序列輸入雖然使用了注意力機制，但是普通的注意力機制對各外因無法有效計算對應的注意力分數(shù)，目標序列對各外因序列一視同仁。而BIMAttenNN則有效地結(jié)合BIM特征學習到了目標序列與外因序列之間的關聯(lián)程度。圖8中，BIM-Attention注意力分數(shù)較高的17～25號序列正是和目標序列同為同樓宇的檢驗科或者同一層的醫(yī)療設備，而相關性較低的1～16號序列則是同樓地下一層放射科設備或者其他樓的用電設備。

綜上所述，本文提出的BIMAttenNN模型結(jié)合注意力機制與BIM特征對電力能耗序列建模預測合理且有效，并且提升了預測精度。

4 結(jié) 語

針對電力時間序列預測中多外因序列預測的問題，本文總結(jié)了現(xiàn)有方法的不足，提出了一種結(jié)合注意力機制與BIM特征的電力能耗預測方法。使用BIM特征與注意力機制對外因序列準確提取，通過編碼器-解碼器網(wǎng)絡結(jié)構預測，并在模型中補充線性回歸分支來彌補神經(jīng)網(wǎng)絡對時間序列線性部分建模能力不足的問題。實驗結(jié)果表明，BIMAttenNN能結(jié)合注意力機制與BIM特征自動捕捉序列與序列間的關系，具備對輸入外因自動選取的功能，相比于傳統(tǒng)模型具有更高的預測精度。