田晨璐 劉業(yè)春 楊愛新 韓春雪 王璠 梁麗華

摘? 要： 針對(duì)由新建建筑或建筑節(jié)能改造能耗數(shù)據(jù)不足引起的深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)測(cè)精度低的問題，提出一種基于遷移學(xué)習(xí)與BiLSTM（雙向長短期記憶網(wǎng)絡(luò)）的新建建筑能耗預(yù)測(cè)方法。首先采用MMD（最大均值差異）對(duì)源域建筑與目標(biāo)域建筑的歷史數(shù)據(jù)進(jìn)行相似度分析；然后利用相似建筑的歷史數(shù)據(jù)對(duì)BiLSTM進(jìn)行預(yù)訓(xùn)練；最后微調(diào)BiLSTM對(duì)目標(biāo)域建筑進(jìn)行預(yù)測(cè)。使用真實(shí)的建筑能耗數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，與其他預(yù)測(cè)模型相比，所提出方法顯著提高了能耗預(yù)測(cè)精度。

關(guān)鍵詞： 建筑能耗預(yù)測(cè)； 遷移學(xué)習(xí)； 相似度分析； 深度學(xué)習(xí)； BiLSTM

中圖分類號(hào)：TU111.195? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）04-62-05

Abstract： Aiming at the problem of low prediction accuracy of deep learning network caused by insufficient energy consumption data of new buildings or building energy conservation renovation， in this paper， a new building energy consumption prediction method based on transfer learning and BiLSTM （bi-directional long short-term memory network） is proposed. Firstly， MMD （maximum mean difference） is used to analyze the similarity between the historical data of buildings in the source domain and the target domain. Secondly， the BiLSTM is pre-trained using the historical data of similar buildings. Finally， BiLSTM is fine-tuned to predict the buildings in the target domain. Experiments with real building energy consumption data show that the proposed method significantly improves the prediction accuracy of energy consumption compared with other prediction models.

Key words： building energy consumption prediction; transfer learning; similarity analysis; deep learning; BiLSTM

0 引言

建筑用能占全球用能的40%以上[1，2]，也是主要的碳排放來源。建筑物節(jié)能管控是實(shí)現(xiàn)國家“碳達(dá)峰、碳中和”戰(zhàn)略的主要措施之一，而建筑用能預(yù)測(cè)建筑節(jié)能管控中發(fā)揮著關(guān)鍵的作用。精準(zhǔn)的能耗預(yù)測(cè)對(duì)于保證節(jié)能措施有效性、降低建筑運(yùn)維費(fèi)用等具有重要的意義[3]。為了實(shí)現(xiàn)精準(zhǔn)的能耗預(yù)測(cè)，相關(guān)研究人員提出了多種基于深度學(xué)習(xí)的預(yù)測(cè)方法，例如Jing[4]等人通過灰狼優(yōu)化算法（GWO）對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值等參數(shù)進(jìn)行優(yōu)化來得到更優(yōu)的BP神經(jīng)網(wǎng)絡(luò)，從而對(duì)辦公建筑的能耗進(jìn)行了更加精準(zhǔn)的預(yù)測(cè)。Zhang[5]設(shè)計(jì)了一種以LSTM（長短期記憶網(wǎng)絡(luò)）為生成器、卷積式神經(jīng)網(wǎng)絡(luò)的判斷器，對(duì)建筑能耗的歷史數(shù)據(jù)進(jìn)行多步預(yù)測(cè)，從而達(dá)到降低預(yù)測(cè)誤差的目的。Yu[6]等人采用樹種算法（TSA）優(yōu)化的徑向基函數(shù)（RBF）與LSTM分別對(duì)建筑物能耗數(shù)據(jù)的低頻分量和高頻分量進(jìn)行預(yù)測(cè)，從而達(dá)到較高的預(yù)測(cè)結(jié)果。Dou[7]等人針對(duì)建筑能耗中單一預(yù)測(cè)模型預(yù)測(cè)精度低的問題，提出了多種預(yù)測(cè)模型相結(jié)合的方法。但是這些方法的有效性依賴于充足、高質(zhì)量的歷史能耗數(shù)據(jù)，在新建建筑、建筑節(jié)能改造等小數(shù)據(jù)場景下，可用建筑能耗數(shù)據(jù)較少，上述模型準(zhǔn)確率難以保證。

據(jù)研究發(fā)現(xiàn)，遷移學(xué)習(xí)[8]在處理小樣本數(shù)據(jù)預(yù)測(cè)方面有顯著優(yōu)勢(shì)，已在發(fā)電預(yù)測(cè)、能耗預(yù)測(cè)、空氣質(zhì)量預(yù)測(cè)等領(lǐng)域有了初步的應(yīng)用。例如文獻(xiàn)[9]針對(duì)發(fā)電風(fēng)電場數(shù)據(jù)不穩(wěn)定、訓(xùn)練時(shí)間長等問題，提出一種DNN-MRT（深度學(xué)習(xí)的元回歸器）與遷移學(xué)習(xí)相結(jié)合的方法對(duì)風(fēng)電場的功率進(jìn)行準(zhǔn)確預(yù)測(cè)。文獻(xiàn)[10]提出聚類特征提取與遷移學(xué)習(xí)相結(jié)合的方法，來解決由于用戶耗能的強(qiáng)隨機(jī)性、強(qiáng)波動(dòng)性造成的預(yù)測(cè)精度地的問題。文獻(xiàn)[11]為了解決由于水力發(fā)電數(shù)據(jù)頻發(fā)導(dǎo)致發(fā)電預(yù)測(cè)精度的問題，提出一種基于樣本數(shù)據(jù)遷移學(xué)習(xí)下的CNN（卷積神經(jīng)網(wǎng)絡(luò)）與LSTM（長短期記憶網(wǎng)絡(luò)）混合卷積時(shí)空網(wǎng)絡(luò)。文獻(xiàn)[12]采用ELM（極限學(xué)習(xí)機(jī)）與DQR（直接分位數(shù)回歸）結(jié)合遷移學(xué)習(xí)的思想，提出一種區(qū)間預(yù)測(cè)的太陽能發(fā)電訓(xùn)練那模型。文獻(xiàn)[13]采用BiLSTM與遷移學(xué)習(xí)結(jié)合的方法，將現(xiàn)有的空氣監(jiān)測(cè)站的知識(shí)遷移到新建空氣監(jiān)測(cè)站中，以解決預(yù)測(cè)精度低的問題。文獻(xiàn)[14]采用遷移學(xué)習(xí)與BiRNN相結(jié)合的方法，將ICE/HEV的知識(shí)通過BiRNN載具模型遷移學(xué)習(xí)到EV上，進(jìn)而解決由于EV充電數(shù)據(jù)少帶來的預(yù)測(cè)精度低的問題。

為了解決小數(shù)據(jù)場景下基于深度學(xué)習(xí)的建筑能耗預(yù)測(cè)精度低的問題，本文提出了一種基于遷移學(xué)習(xí)與BiLSTM 的建筑能耗預(yù)測(cè)方法。該方法利用相似建筑豐富的能耗數(shù)據(jù)對(duì)BiLSTM模型進(jìn)行預(yù)訓(xùn)練，再利用目標(biāo)建筑數(shù)據(jù)集微調(diào)模型參數(shù)，最終達(dá)到提升預(yù)測(cè)精度的目的。為驗(yàn)證所提方法的有效性，本文基于SVR（支持向量機(jī)）、ELM（極限學(xué)習(xí)機(jī)）、LSTM（長短期記憶網(wǎng)絡(luò)）、BiLSTM（雙向長短期記憶網(wǎng)絡(luò)）多種模型，建立了建筑用能預(yù)測(cè)對(duì)比方法，并應(yīng)用到真實(shí)的建筑能耗預(yù)測(cè)中，采用R（皮爾相關(guān)系數(shù)）、SMAPE（對(duì)稱平均絕對(duì)百分比誤差）、RMSE（均方根誤差）、MAE（平均絕對(duì)誤差）四個(gè)評(píng)價(jià)指標(biāo)進(jìn)行精確度分析與驗(yàn)證。

1 方法介紹

1.1 遷移學(xué)習(xí)與Fine-tuning（微調(diào)）

遷移學(xué)習(xí)根據(jù)學(xué)習(xí)方式，可分成以下四類[15]：基于樣本、基于特征、基于模型以及基于關(guān)系的遷移學(xué)習(xí)。本文采用基于模型的遷移的方式，基于模型遷移最常見的方法為Fine-tuning（微調(diào)），F(xiàn)inetuning體現(xiàn)在源域預(yù)測(cè)模型到目標(biāo)域預(yù)測(cè)模型的調(diào)整上。源域數(shù)據(jù)內(nèi)包含充足的數(shù)據(jù)樣本，目標(biāo)域數(shù)據(jù)內(nèi)包含少量的數(shù)據(jù)樣本。源域數(shù)據(jù)集在模型 A的基礎(chǔ)上進(jìn)行預(yù)訓(xùn)練，完成訓(xùn)練任務(wù)A；而后經(jīng)過Fine-tuning后得到模型B，新的模型 B再針對(duì)目標(biāo)域進(jìn)行訓(xùn)練，完成訓(xùn)練任務(wù)B。Fine-tuning的優(yōu)勢(shì)點(diǎn)在于：經(jīng)過源域充足數(shù)據(jù)量訓(xùn)練后的模型，廣義上相當(dāng)于擴(kuò)充了目標(biāo)域的數(shù)據(jù)量，使得目標(biāo)域預(yù)測(cè)模型仍有較好的擬合能力，基于模型的遷移示意如圖1所示。

1.2 最大平均差異MMD

遷移學(xué)習(xí)的核心為：分析源領(lǐng)域與目標(biāo)領(lǐng)域的相似性[15]；當(dāng)源域與目標(biāo)域之間相似性較低時(shí)，遷移之后會(huì)產(chǎn)生負(fù)面情況的情況，因此有必要對(duì)源域、目標(biāo)域數(shù)據(jù)進(jìn)行相似度分析。本文采用最大平均差異MMD作為相似度分析算法。MMD通常被用于測(cè)量兩個(gè)分布間的差異，MMD是通過將兩分布映射同一空間內(nèi)，進(jìn)而計(jì)算兩分布的距離。MMD的核心特性就是再生核希爾伯特空間（RKHS），即RKHS具備再生性，標(biāo)準(zhǔn)公式如下：

綜上本文采用MMD，可以作為分析源域、目標(biāo)域的相似度算法。MMD最終求得的為量分布之間的距離，因此MMD結(jié)果越小，相似度越高；反之亦然。

1.3 雙向長短期記憶網(wǎng)絡(luò)BiLSTM

LSTM是為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）形成的梯度爆炸問題。LSTM結(jié)構(gòu)主要包括：輸入門，遺忘門，輸出門，內(nèi)部記憶單元。其中，遺忘門根據(jù)特定的機(jī)會(huì)監(jiān)控有無遺忘上一級(jí)的隱藏細(xì)胞狀況；而輸入門則一般負(fù)責(zé)管理對(duì)當(dāng)前序列情況的輸入；內(nèi)部記憶模塊一般由兩部分形成：前一細(xì)胞狀態(tài)與當(dāng)前遺忘門輸出的乘積、輸入門的乘積；輸出門一般由兩部分形成：前一序列狀態(tài)和當(dāng)前順序的隱含態(tài)與sigmoid激活函數(shù)、隱含態(tài)與tanh激活函數(shù)。

其中[ft、it、Ct、ht]分別代表遺忘門、輸入門、內(nèi)部記憶單元、輸出門；[Wf、Wi、Wo、Uf、Ui、Uo、bf、bi、bo]表示線性關(guān)系的系數(shù)與偏移，[σ]為sigmoid激活函數(shù)、[⊙]為Hadamard積。BiLSTM在LSTM的基礎(chǔ)上，通過兩個(gè)單獨(dú)的隱藏層對(duì)序列信息進(jìn)行了正向和反向處理，把兩個(gè)連接結(jié)合在同一個(gè)輸出層，將節(jié)點(diǎn)之前的信息和節(jié)點(diǎn)之后的信息作為時(shí)間序列數(shù)據(jù)的當(dāng)前時(shí)間基礎(chǔ)。BiLSTM的優(yōu)勢(shì)在于能夠結(jié)合前向數(shù)據(jù)與后向數(shù)據(jù)的共同知識(shí)，從而獲取更為精確的模型知識(shí)。

2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

從https：//trynthink.github.io/buildingsdatasets下載源域建筑能耗數(shù)據(jù)，數(shù)據(jù)包含美國100個(gè)匿名商業(yè)和工業(yè)站點(diǎn)2012年到2013年的能耗數(shù)據(jù)，每五分鐘采集一次建筑能耗。從其中選擇部分商業(yè)建筑、工業(yè)建筑作為實(shí)驗(yàn)數(shù)據(jù)集，并分別建立商業(yè)建筑、工業(yè)建筑的遷移學(xué)習(xí)實(shí)驗(yàn)。

2.2 參數(shù)設(shè)置

⑴ 相似度分析設(shè)置

相似度分析算法采用MMD，為了減少計(jì)算成本，降低運(yùn)算時(shí)間，設(shè)計(jì)隨機(jī)抽取器對(duì)源域建筑能耗數(shù)據(jù)進(jìn)行抽取，抽取的步長由目標(biāo)域新建建筑能耗數(shù)據(jù)的數(shù)量長度決定，初設(shè)定抽取三次，將每次抽取的源域子集與目標(biāo)域進(jìn)行MMD運(yùn)算，最后取3次MMD均值作為相似度結(jié)果輸出。

⑵ 方法設(shè)置

針對(duì)所提出的方法中BiLSTM的參數(shù)設(shè)置如下：BiLSTM的層數(shù)為十一層，其中包含一個(gè)序列的輸入層用于調(diào)整不同輸入數(shù)據(jù)的大小，四個(gè)BiLSTM層，四個(gè)Dropout層，一個(gè)全連接層以及一個(gè)回歸層。各個(gè)層級(jí)BiLSTM有四十八個(gè)隱藏單元，同時(shí)在各個(gè)層級(jí)BiLSTM后面接一層丟失率為0.5的Dropout層，以防止模型訓(xùn)練過擬合；針對(duì)源于數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，采用凍結(jié)后兩層BiLSTM，預(yù)訓(xùn)練后解凍后兩層BiLSTM，同時(shí)更新全連接層。進(jìn)一步來說，參加源域數(shù)據(jù)訓(xùn)練的有兩層BiLSTM，而后經(jīng)過微調(diào)后有四層BiLSTM參與目標(biāo)域數(shù)據(jù)預(yù)測(cè)。

⑶ 評(píng)價(jià)指標(biāo)

采用四個(gè)指標(biāo)來度量模型預(yù)測(cè)精度，分別為平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）、 對(duì)稱平均絕對(duì)百分比誤差（SMAPE）、皮爾遜相關(guān)系數(shù)（R），其中MAE、RMSE、SMAPE越低，表明預(yù)測(cè)精度越高，R越高，表明預(yù)測(cè)精度越高。標(biāo)準(zhǔn)公式如下：

2.3 微調(diào)策略

微調(diào)策略采用凍結(jié)部分BiLSTM預(yù)測(cè)模型的BiLSTM層，讓其針對(duì)源域數(shù)據(jù)進(jìn)行模型預(yù)測(cè)，經(jīng)過一定訓(xùn)練Epoch后，驗(yàn)證源域擬合效果。而后對(duì)BiLSTM模型已凍結(jié)層數(shù)進(jìn)行解凍處理，同時(shí)設(shè)計(jì)新的全連接層與解凍后的BiLSTM進(jìn)行拼接，進(jìn)而得到新的BiLSTM，新的BiLSTM既包含源域預(yù)訓(xùn)練BiLSTM層，又包含解凍后無權(quán)重的BiLSTM層，微調(diào)策略示意圖如圖2所示。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 相似度分析

根據(jù)設(shè)計(jì)相似度分析算法，分別選取六個(gè)商業(yè)建筑、六個(gè)工業(yè)建筑作為備選源域數(shù)據(jù)，再分別選取另外一商業(yè)建筑、工業(yè)建筑的一個(gè)月的能耗數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)，來模擬出新建建筑的場景。由圖3可得商業(yè)建筑備用源域數(shù)據(jù)中源域5的MMD結(jié)果最小，即源域5與目標(biāo)域最為相似；工業(yè)建筑備用源域中源域3的MMD結(jié)果最小，即源域3與目標(biāo)域最為相似。因此商業(yè)建筑備用源域選擇源域5作為最終源域訓(xùn)練數(shù)據(jù)，工業(yè)建筑備用源域選擇源域3作為最終源域訓(xùn)練數(shù)據(jù)。

3.2 模型對(duì)比及評(píng)價(jià)指標(biāo)

表1、表2分別展示了商業(yè)建筑、工業(yè)建筑BiLSTM-TF以及對(duì)比模型的各個(gè)評(píng)價(jià)指標(biāo)，由表可知所提方法在四個(gè)評(píng)價(jià)指標(biāo)方面都有較優(yōu)越的表現(xiàn)。在商業(yè)建筑預(yù)測(cè)模型中R指標(biāo)至少提高了1.3%，SMAPE指標(biāo)至少降低了34.45%，MAE指標(biāo)至少降低了41.23%，RMSE至少降低了27.89%；在工業(yè)建筑預(yù)測(cè)模型中，R指標(biāo)至少提高了0.6%，SMAPE指標(biāo)至少降低了22.42%，MAE指標(biāo)至少降低了12.21%，RMSE至少降低了11.36%。而且對(duì)比LSTM與BiLSTM模型預(yù)測(cè)指標(biāo)發(fā)現(xiàn)，BiLSTM模型的預(yù)測(cè)性能較為優(yōu)越，這表明BiLSTM通過結(jié)合雙向傳播的信息，達(dá)到了更精確的預(yù)測(cè)精度；再對(duì)比BiLSTM與BiLSTM-TF模型預(yù)測(cè)指標(biāo)發(fā)現(xiàn)，BiLSTM-TF四個(gè)指標(biāo)均有一定的優(yōu)化，這表明遷移學(xué)習(xí)在預(yù)測(cè)中起到了積極的作用。

4 結(jié)束語

豐富的歷史能耗數(shù)據(jù)是實(shí)現(xiàn)高預(yù)測(cè)精度的必要前提，面對(duì)新建建筑或建筑節(jié)能改造能耗數(shù)據(jù)不足的問題，本文提出一種基于遷移學(xué)習(xí)與BiLSTM的新建建筑能耗預(yù)測(cè)方法。采用對(duì)相似源域建筑進(jìn)行模型預(yù)訓(xùn)練，而后經(jīng)過微調(diào)，再對(duì)目標(biāo)域建筑進(jìn)行預(yù)測(cè)，該方法廣義上擴(kuò)充了目標(biāo)域建筑的能耗數(shù)據(jù)量。為了驗(yàn)證所提方法的優(yōu)越性，在美國真實(shí)的商業(yè)建筑、工業(yè)建筑上建立對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該方法至少優(yōu)化了22.42%。

在未來的工作中，我們希望通過消融實(shí)驗(yàn)，確定BiLSTM模型結(jié)構(gòu)以及微調(diào)策略的最優(yōu)解，并在現(xiàn)有目標(biāo)域建筑能耗數(shù)據(jù)量的基礎(chǔ)上，建立周期性遷移預(yù)測(cè)模型，進(jìn)一步討論所提方法的優(yōu)越性。

參考文獻(xiàn)（References）：

[1] Gao Yuan， Ruan Yingjun， Fang Chengkuan， Yin Shuai.?Deep learning and transfer learning models of energy consumption forecasting for a building with poor information data. Energy and Buildings，2020，223：110156

[2] Zhang Yan， He Chen-Qi， Tang Bao-Jun， Wei Yi-Ming. China's energy consumption in the building sector： A life cycle approach， Energy and Buildings，2015，94：240-251

[3] Zhang Jinping， Deng Xiaoping， Li Chengdong， Su Guanqun， Yu Yulong. Cloud-edge collaboration based transferring prediction of building energy consumptio.Journal of Intelligent & Fuzzy Systems，2021，41：7563-7575

[4] 井文強(qiáng)，關(guān)宏潔，羅薇等.基于改進(jìn)GWO-BP的辦公建筑能耗預(yù)測(cè)模型[J].建筑節(jié)能（中英文），2022，50（8）：125-129

[5] 張卓淵.一種基于生成對(duì)抗網(wǎng)絡(luò)的建筑能耗多步預(yù)測(cè)方法[J].電腦知識(shí)與技術(shù)，2022，18（23）：92-94

[6] 于軍琪，楊思遠(yuǎn)，趙安軍，等.基于神經(jīng)網(wǎng)絡(luò)的建筑能耗混合預(yù)測(cè)模型[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2022，56（6）：1220-1231

[7] 竇嘉銘，馬鴻雁.基于多神經(jīng)網(wǎng)絡(luò)組合的建筑能耗預(yù)測(cè)研究[J].計(jì)算機(jī)仿真，2022，39（5）：438-443

[8] Karl Weiss， Taghi M. Khoshgoftaar， DingDing Wang. A survey of transfer learning， J Big Data （2016）3：9，https：//doi.org/10.1186/s40537-016-0043-6

[9] Qureshi AqsaSaeed， Khan Asifullah， Zameer Aneela，Usman Anila . Wind power prediction using deep neural network based meta regression and transfer learning， Applied Soft Computing Journal，2017，58

[10] 孫曉燕，李家釗，曾博，等.基于特征遷移學(xué)習(xí)的綜合能源系統(tǒng)小樣本日前電力負(fù)荷預(yù)測(cè)[J].控制理論與應(yīng)用，2021，38（1）：63-72

[11] 魏澤濤，劉友波，沈曉東，等.基于樣本數(shù)據(jù)遷移學(xué)習(xí)的貧資料地區(qū)小水電超短期出力建模及發(fā)電預(yù)測(cè)[J].中國電機(jī)工程學(xué)報(bào)，2022（11）：1-17

[12] Runhao Geng， Huan Long，Wei Gu， Small-Sample Interval Prediction Model based on Transfer Learning for Solar Power Prediction，2022 IEEE 5th International Electrical and Energy Conference （CIEEC），2022：4739-4743

[13] Ma Jun， Li Zheng， Cheng Jack C.P.， Ding Yuexiong， Lin Changqing， Xu Zherui. Air quality prediction at new stations using spatially transferred bi-directional long short-term memory network， Science of the Total Environment，2020，705：135771

[14] Yining Hua， Michele Sevegnani， Dewei Yi， Andrew Birnie， Steve McAslan. Fine-Grained RNN With Transfer Learning for Energy Consumption Estimation on EVs， IEEE Transactions on Industrial Informatics， 2022，18：8182-8190

[15] Zhuang Fuzhen， Qi Zhiyuan， Duan Keyu， Xi Dongbo， Zhu Yongchun， Zhu Hengshu，? Xiong Hui， He Qing. A Comprehensive Survey on Transfer Learning， Proceedings of the IEEE，2021，109：43-76

*基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（61903226，52007109）； 山東建筑大學(xué)校內(nèi)博士基金（X22015Z）

作者簡介：田晨璐（1991-），女，山東濟(jì)南人，博士，講師，主要研究方向：建筑能耗預(yù)測(cè)。

通訊作者：梁麗華（1991-），女，山東濟(jì)南人，碩士，實(shí)驗(yàn)師，主要研究方向：智能建筑檢測(cè)技術(shù)。