薛普寧， 周志剛， 蔣 毅， 陳 昕， 方修睦， 劉 京

(1.哈爾濱工業(yè)大學 建筑學院， 黑龍江 哈爾濱 150006； 2.哈爾濱工業(yè)大學，寒地城鄉(xiāng)人居環(huán)境科學與技術工業(yè)和信息化部重點實驗室， 黑龍江 哈爾濱 150006；.黑龍江省計算中心， 黑龍江 哈爾濱 150026)

1 概述

集中供熱是保障人民生產生活的重要基礎能源設施。近年來，在我國能源戰(zhàn)略轉型的大背景下，隨著智慧城市、“互聯(lián)網(wǎng)+”智慧能源等概念的提出，供熱行業(yè)也興起了智慧供熱的研究浪潮[1]。智慧供熱是以數(shù)字化、網(wǎng)絡化、智能化的信息技術設施為基礎，以用戶為目標，以低碳、舒適、高效為主要特征，以透徹感知、廣泛互聯(lián)、深度智能為技術特點的現(xiàn)代供熱方式[2]。其內涵是利用傳感器透徹感知供熱系統(tǒng)信息，網(wǎng)絡傳輸信息全面互聯(lián)互通，以及系統(tǒng)實現(xiàn)智能決策和智能控制。

熱負荷的準確預測是實現(xiàn)供熱系統(tǒng)運行控制、決策優(yōu)化，提高供熱效率，降低運行維護成本的重要前提。由于供熱系統(tǒng)具有規(guī)模龐大、結構復雜、熱惰性高等特點，難以通過數(shù)學建模方法建立有效的熱負荷預測模型。機器學習通過從數(shù)據(jù)中學習模型從而賦予計算機在特定任務上的預測或決策能力。隨著數(shù)據(jù)存儲與計算機技術的飛速發(fā)展，機器學習在科研和商業(yè)領域得到廣泛的應用，也為熱負荷預測提供了新的思路。供熱企業(yè)在供熱系統(tǒng)的運行管理過程中，儲存了大量的歷史運行數(shù)據(jù)，這些數(shù)據(jù)反映了供熱系統(tǒng)潛在的運行特性，使得采用機器學習算法建立熱負荷預測模型成為可能。

國內外已有許多學者開展了機器學習算法在熱負荷預測領域的應用研究，常用算法包括多元線性回歸[3]、自回歸積分移動平均[4]、支持向量回歸[5]、極限學習機[6]、回歸樹[7]、梯度提升[8]、神經網(wǎng)絡[9]等。然而，目前的研究多集中于熱負荷的單步預測，模型輸出結果為未來某一時刻的熱負荷預測值。實現(xiàn)供熱系統(tǒng)的決策控制，需要提前掌握未來一段時期內的熱負荷的動態(tài)概況，即對熱負荷進行多步預測。

為了實現(xiàn)供熱系統(tǒng)熱負荷的多步預測，本文提出了一種基于機器學習的供熱負荷多步遞歸預測策略，利用支持向量回歸(support vector regression，SVR)、極限梯度提升(extreme gradient boosting，XGBoost)分別建立了熱負荷單步預測模型，并根據(jù)實際供熱系統(tǒng)案例對所提出的多步遞歸預測策略的預測性能進行了評估。本文中所有模型均通過R語言予以實現(xiàn)。

2 研究方法

2.1 用于熱負荷預測的數(shù)據(jù)集

熱負荷預測屬于機器學習中的監(jiān)督學習。監(jiān)督學習的任務是訓練一個模型，使得模型能夠對給定的輸入變量，對其相應的輸出變量做出一個好的預測。這里的輸入變量指熱負荷的影響因子，輸出變量是要預測的目標時刻的熱負荷。在機器學習中，模型的每一個輸入變量被稱為一個特征或屬性，而模型要預測的目標變量則被稱為標簽。一個由特征和標簽所組成的向量，被稱為一個樣本或示例。一組樣本構成的集合稱為數(shù)據(jù)集[10]2-3。

一般地，我們用x=(x1,x2,…,xd)T表示一個樣本的所有特征組成的向量，稱為特征向量，d稱為樣本的維數(shù)；用y表示樣本的標簽；用D={(x1,y1),(x2,y2),…,(xn,yn)}表示包含n個樣本的數(shù)據(jù)集[10]2-3。

熱負荷的影響因子可分為4類：時間變量、氣象參數(shù)、系統(tǒng)運行數(shù)據(jù)和社會因素(用戶行為)[4, 11]。時間變量即年、月、日、小時等參數(shù)；氣象參數(shù)包括室外空氣溫濕度、太陽輻射、風速等，是熱負荷最顯著的影響因子；系統(tǒng)運行數(shù)據(jù)是反映供熱系統(tǒng)運行狀態(tài)的供回水溫度、流量、供熱量、控制信號等變量；社會因素指熱用戶的用熱模式、社會活動、自主調節(jié)等行為。雖然熱負荷的影響因子很多，相關研究表明，只需選擇少數(shù)關鍵的影響因子如時間、室外空氣溫度、歷史供熱量(熱負荷)作為熱負荷預測的數(shù)據(jù)集的特征，就可以得到較準確的熱負荷預測結果[12]。

考慮到目前我國供熱系統(tǒng)缺少對用戶行為的連續(xù)監(jiān)測記錄，而且氣象參數(shù)中也一般只記錄室外空氣溫度，本文只選擇時間變量、室外空氣溫度和歷史熱負荷這3種類型的熱負荷影響因子作為熱負荷預測中特征向量的特征。

2.2 熱負荷單步預測模型

本文提出的熱負荷多步遞歸預測策略是對熱負荷單步預測模型的拓展，因此首先給出熱負荷單步預測模型的介紹。

熱負荷單步預測模型是利用特征向量預測樣本的標簽，即預測未來目標時刻的熱負荷值。該模型可用式(1)表示[13]:

(1)

f——熱負荷單步預測模型

t——時刻

Tt+1——t+1時刻室外空氣溫度的預報值

Φt——t時刻熱負荷的真實值

Φt-1——t-1時刻熱負荷的真實值

Φt-(m-1)——t-(m-1)時刻熱負荷的真實值

m——特征向量中歷史熱負荷的總數(shù)目

2.3 熱負荷多步遞歸預測策略

2.4 熱負荷多步遞歸預測的流程

圖2為熱負荷多步遞歸預測的流程。該流程可分為4個步驟：數(shù)據(jù)預處理、數(shù)據(jù)集劃分、模型訓練和模型評估。

2.4.1 數(shù)據(jù)預處理

數(shù)據(jù)預處理可細分為3個子步驟：特征選擇、特征工程和特征變換。通過數(shù)據(jù)預處理將用于熱負荷預測的數(shù)據(jù)集變換為SVR模型和XGBoost模型所要求的格式。

圖1 熱負荷多步遞歸預測策略

圖2 熱負荷多步遞歸預測的流程

特征選擇旨在確定數(shù)據(jù)集的特征向量中歷史熱負荷的總數(shù)目m。本文采用偏自相關函數(shù)(partial autocorrelation function,符號為P)對熱負荷時間序列進行分析以確定最優(yōu)的m值。對于一個熱負荷時間序列，偏自相關函數(shù)移除當前值Φt與歷史值Φt-i之間的所有變量Φt-1，Φt-2，…，Φt-i+1帶來的影響后，度量Φt和Φt-i的相關性[14]。若P絕對值超過顯著性水平，表明歷史值與當前值具有很強的相關性，則可將該歷史值用作樣本的一個特征。在本文的特征選擇中，當熱負荷時間序列的P絕對值不再大于顯著性水平時，對應的m值的最大值作為最終的m值。

特征工程旨在將類別特征變換為數(shù)值特征。SVR和XGBoost均要求輸入變量為數(shù)值特征。本文在特征工程中采用one-hot編碼(one-hot encoding)方法。對于一個有k個類別取值的類別特征，one-hot編碼用長度為k的二元向量對k個類進行編碼，二元向量的每個元素與每個類一一對應，當類別取值為i時，相應的二元變量的第i個元素為1，其余元素均為0[15]。

(2)

式中x′——經特征變換后，一個特征的特征值的新值

x——一個特征的特征值的原值

xmin——一個特征的原取值區(qū)間的下限

xmax——一個特征的原取值區(qū)間的上限

2.4.2 數(shù)據(jù)集劃分

經數(shù)據(jù)預處理后的數(shù)據(jù)集，本文采用留出法(hold-out)直接將其劃分為兩個互斥的子集，其中一個子集用作訓練集，另一個作為測試集。我們在訓練集上建立熱負荷單步預測模型，然后在測試集上，利用所提出的多步遞歸預測策略預測熱負荷，然后對預測結果進行評估。

2.4.3 模型訓練

本文分別采用SVR模型和XGBoost模型建立熱負荷單步預測模型。SVR模型在之前有很多成功的應用，因此本文選擇SVR作為基準模型以評估后續(xù)熱負荷預測的結果。

① SVR模型

SVR是用于回歸任務的支持向量機模型[10]121-145。學習目標是基于訓練集在輸入空間中得到一個超平面，使得預測變量的真實值與超平面對應的預測值的偏差盡可能小。對于熱負荷預測這種在輸入空間中的非線性可分問題，SVR通過引入核函數(shù)，將樣本的特征向量由輸入空間映射到更高維度的特征空間中，使得非線性可分問題轉換為在高維特征空間中的線性可分問題。SVR模型可表示為：

(3)

式中fsvr——SVR模型

ws——SVR的超平面的法向量

φ——將特征向量由原輸入空間映射到高維特征空間的核函數(shù)

b——SVR的超平面的位移項

本文中，核函數(shù)φ采用高斯核函數(shù)，其計算公式為:

(4)

式中κ——高斯核函數(shù)

σ——高斯核函數(shù)的帶寬參數(shù)

SVR模型的訓練可以形式化為一個凸二次規(guī)劃問題，優(yōu)化目標是結構風險最小化，優(yōu)化變量是ws和b[10]121-145。如果ws和b的某一取值使得式(5)取得最小值，那么此時ws和b的取值稱為該優(yōu)化問題的最優(yōu)解，該最優(yōu)解對應的超平面即為最終的SVR模型。

(5)

(6)

式中 C——正則化常數(shù)

lε——不敏感損失函數(shù)

ε——不敏感損失參數(shù)

②XGBsoot模型

XGBoost是一種提升樹模型，屬于集成學習技術，通過構建并結合多個基學習器來完成學習任務。XGBoost模型采用的基學習器為回歸樹，即XGBoost模型是多個回歸樹組成的集合[16]，可用式(7)表示:

(7)

fcart——回歸樹

K——回歸樹的總數(shù)目

對于一棵具有N個葉結點的回歸樹，設w=(w1,w2,…,wN)T為葉結點的權重向量，可以用函數(shù)q:x→{1,2,…,N}描述回歸樹的內部結構，函數(shù)值q(x)表示樣本被劃歸到的葉結點的索引值。如式(8)所示，函數(shù)q和葉結點權重向量w描述了一棵回歸樹的所有預測信息。回歸樹的復雜度函數(shù)Ω可用式(9)表示。

fcart(x)=wq(x)

(8)

(9)

式中w——權重向量w中的一個元素，表示回歸樹中一個葉結點的權重值

Ω——描述回歸樹的復雜度的函數(shù)

γ——損失函數(shù)值減少的最小閾值，為常數(shù)

λ——葉結點的權重向量的L2正則化項

XGBoost模型訓練的優(yōu)化目標函數(shù)為[16]：

(10)

式中J——目標函數(shù)值

l——損失函數(shù)

XGBoost模型的訓練采用基于加性模型的訓練策略，依次訓練每一棵回歸樹。第z輪模型訓練時，保持已訓練的回歸樹fcart,1，fcart,2，...，fcart,z-1不變，然后訓練新的回歸樹fcart,z，如果回歸樹fcart,z可以優(yōu)化目標函數(shù)J，則將fcart,z加到XGBoost模型中。該過程循環(huán)進行，直到XGBoost模型包含K個回歸樹。對于熱負荷預測任務，損失函數(shù)l一般為均方誤差，因此，優(yōu)化目標函數(shù)式可改寫為[16]：

(11)

(12)

(13)

Ij={i|q(xi)=j,j=1,2,…,N}

(14)

式中J(z)——第z輪模型訓練時的目標函數(shù)值

Ij——劃分到回歸樹中第j個葉結點的所有樣本的索引值的集合

g——損失函數(shù)l的一階導數(shù)

h——損失函數(shù)l的二階導數(shù)

2.4.4 模型評估

當模型訓練結束后，利用建立的基于SVR的熱負荷單步預測模型和基于XGBoost的熱負荷單步預測模型，采取圖1所示的熱負荷多步遞歸預測策略，分別對測試集中的樣本，預測其熱負荷，并對熱負荷的預測結果進行評估。

本文采用平均絕對誤差(mean absolute error，MAE)和平均絕對百分誤差(mean absolute percentage error，MAPE)對熱負荷預測的結果進行評價。兩個指標的計算公式為：

(15)

(16)

式中IMAE——平均絕對誤差

IMAPE——平均絕對百分誤差

IMAE和IMAPE值越小，表明熱負荷的預測結果越精確；反之，則表明熱負荷的預測結果越差。

3 案例分析

本文收集了長春市某集中供熱系統(tǒng)熱源首站2017年12月22日至2018年3月7日的運行數(shù)據(jù)，數(shù)據(jù)采集的時間步長為1 h。用于熱負荷預測的數(shù)據(jù)集包含2個時間變量(月份和小時)、室外空氣溫度以及逐時熱負荷。表1為逐時熱負荷和室外空氣溫度的統(tǒng)計概況。我們采用熱負荷多步遞歸預測策略，按照圖2的流程，對該供熱系統(tǒng)未來24 h的逐時熱負荷進行預測，即預測范圍H=24。

表1 逐時熱負荷和室外空氣溫度概況

首先通過特征選擇步驟確定用作模型輸入特征的歷史熱負荷的總數(shù)目m。圖3為逐時熱負荷時間序列的偏自相關分析結果。我們將顯著性水平設置為0.15。如圖3所示，當時間超過24 h后，P絕對值不再大于0.15，也就是說滯后時間超過24 h的歷史熱負荷與熱負荷當前值的相關性很小。因此，我們設定用于模型輸入特征的歷史熱負荷數(shù)目m=24。

圖3 逐時熱負荷時間序列的偏自相關分析結果

然后通過特征工程對類別特征月份和小時進行處理，采用one-hot編碼將月份和小時分別變換為數(shù)值特征。然后使用最小-最大規(guī)范化，把所有的數(shù)值特征映射到新的取值區(qū)間[0, 1]內。最終，通過數(shù)據(jù)預處理，數(shù)據(jù)集共包含53個特征。

我們將預處理后的數(shù)據(jù)集進行劃分，其中訓練集包含61個供暖日的數(shù)據(jù)，測試集包含14個供暖日的數(shù)據(jù)。

在訓練SVR模型和XGBoost模型時，需要設定一些參數(shù)，參數(shù)配置不同，建立的模型的性能往往有顯著差別。這些參數(shù)的設定過程稱為超參數(shù)優(yōu)化。本文對SVR模型的3個超參數(shù)進行優(yōu)化，包括正則化常數(shù)C、不敏感損失參數(shù)ε、高斯核函數(shù)的帶寬參數(shù)σ。對XGBoost模型的4個超參數(shù)進行優(yōu)化，包括回歸樹的總數(shù)目K、回歸樹的深度dcart、訓練過程中的樣本的子采樣率r以及學習率η?；貧w樹的深度dcart控制回歸樹中根節(jié)點到葉結點的路徑的最大長度；子采樣率r描述XGBoost模型的訓練過程的隨機性；學習率η又被稱為收縮因子，其作用是在XGBoost模型的每一輪訓練過程中，調節(jié)新添加的回歸樹的權重向量在XGBoost模型中所占的比例[16]。

我們采用10折交叉驗證和網(wǎng)格搜索方法在訓練集上確定最優(yōu)的超參數(shù)。SVR和XGBoost的超參數(shù)優(yōu)化結果見表2。根據(jù)超參數(shù)優(yōu)化結果，在訓練集上學習得到最終的熱負荷單步預測模型。

表2 SVR和XGBoost的超參數(shù)設置

4 結果與討論

采用圖1所示的熱負荷多步遞歸預測策略，利用建立的基于SVR的熱負荷單步預測模型和基于XGBoost的熱負荷單步預測模型，依據(jù)測試集中14個供暖日的樣本，分別對該供熱系統(tǒng)在這14個供暖日的逐時熱負荷進行預測，并采用式(15)和式(16)對預測結果進行評估。

表3給出了基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略在測試集上的總預測精度，圖4描繪了兩個模型在其中某一個測試供暖日的詳細預測結果。由圖4可知，基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略均可以對未來24 h的逐時熱負荷進行準確預測，且基于XGBoost的熱負荷多步遞歸預測策略的預測精度要高于基于SVR的熱負荷多步遞歸預測策略的預測精度。

表3 SVR和XGBoost在測試集上的熱負荷多步遞歸預測精度的總預測精度

圖4 SVR和XGBoost在某測試日的逐時熱負荷多步遞歸預測結果

我們進一步對基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略的預測穩(wěn)定性進行評估。針對SVR和XGBoost在每個測試供暖日的預測結果，我們繪制其預測精度的箱線圖，見圖5。箱線圖可以度量預測精度的散布程度。由圖5可知，XGBoost在這14個測試供暖日的預測精度的分布更加集中，這表明基于XGBoost的熱負荷多步遞歸預測策略在預測穩(wěn)定性方面優(yōu)于基于SVR的熱負荷多步遞歸預測策略。

圖5 SVR和XGBoost的逐時熱負荷多步遞歸預測精度的箱線圖

XGBoost模型通過將多個學習器進行結合，往往可以獲得比單一學習器更優(yōu)越的泛化性能。從預測精度和預測穩(wěn)定性角度看，XGBoost模型更適用于熱負荷多步遞歸預測任務。也就是說，通過將多個回歸樹的預測結果集成，XGBoost模型可以在熱負荷多步遞歸預測任務中取得比SVR模型更好的預測結果。

如2.3節(jié)所述，熱負荷遞歸預測策略是對熱負荷單步預測模型的拓展。在熱負荷預測過程中，遞歸地調用單步預測模型有可能會產生誤差累積，導致預測結果的精度隨著預測范圍H的增大而降低。為分析熱負荷多步遞歸預測的誤差累積程度，我們計算了基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略，在這14個測試采暖日中各時刻預測結果的IMAE的平均值，結果見圖6。通過圖6可以看出，對于本文中預測未來24 h的逐時熱負荷概況的案例，隨著時間的變化，預測結果的IMAE值的平均值始終在7.5 MW左右波動。表明基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略均不會產生明顯的誤差累積，在預測范圍的各時刻均可以得到較為準確的熱負荷預測值。

圖6 SVR和XGBoost在各時刻預測結果MAE的平均值

5 結論

為實現(xiàn)集中供熱系統(tǒng)的運行優(yōu)化和決策控制，有必要對熱負荷的動態(tài)概況進行預測。本文提出了一種基于機器學習的熱負荷多步遞歸預測策略，該策略是對熱負荷單步預測模型的拓展。詳細介紹了熱負荷多步遞歸預測的流程，該流程可分為數(shù)據(jù)預處理、數(shù)據(jù)集劃分、模型訓練和模型評估4個步驟。為評估所提出的熱負荷多步遞歸預測策略的適用性，收集了某供熱系統(tǒng)熱源首站2017年12月22日至2018年3月7日的運行數(shù)據(jù)。按照熱負荷多步遞歸預測的流程，分別使用SVR模型和XGBoost模型建立了熱負荷單步預測模型，利用所建立的單步預測模型，按照提出的熱負荷多步遞歸預測策略，對該供熱系統(tǒng)未來24 h的逐時熱負荷概況進行了預測，并從多方面評估了熱負荷多步遞歸預測策略的預測性能。主要結論如下：

① 在預測精度和預測穩(wěn)定性方面，基于XGBoost的熱負荷多步遞歸預測策略均優(yōu)于基于SVR的熱負荷多步遞歸預測策略。

② 基于SVR的熱負荷多步遞歸預測策略和基于XGBoost的熱負荷多步遞歸預測策略不會產生明顯的誤差累積，在預測范圍內，各時刻的預測結果均可以滿足工程精度要求。

③ 熱負荷多步遞歸預測策略可以實現(xiàn)對供熱系統(tǒng)短期熱負荷的動態(tài)概況的準確預測，為供熱系統(tǒng)的運行優(yōu)化和決策控制提供技術支撐。