吳 晨，姚 菁，薛貴元，王劍曉，吳 垠，何 凱

（1. 國網(wǎng)江蘇省電力有限公司經(jīng)濟技術(shù)研究院，江蘇南京 210008；2. 北京清能互聯(lián)科技有限公司，北京 100080；3. 華北電力大學(xué)新能源電力系統(tǒng)國家重點實驗室，北京 102206）

0 引言

隨著經(jīng)濟社會的發(fā)展，我國對能源需求持續(xù)增長，能源問題成為關(guān)乎國家安全戰(zhàn)略與可持續(xù)發(fā)展的重要議題。傳統(tǒng)供能系統(tǒng)中，冷、熱、電等功能系統(tǒng)彼此運行獨立，缺乏協(xié)調(diào)，能源利用率低，能源供應(yīng)可靠性差，因此能源供應(yīng)消費環(huán)節(jié)逐漸朝綜合能源系統(tǒng)方向發(fā)展［1］。綜合能源系統(tǒng)充分利用多種能源形式之間的互補效應(yīng)，顯著提高了能源的利用效率，并通過能源間的動態(tài)轉(zhuǎn)化使得能源供應(yīng)環(huán)節(jié)的不確定性大幅降低，從而提高了整個系統(tǒng)的安全性［2-3］。

針對綜合能源系統(tǒng)開展多元負荷預(yù)測對系統(tǒng)運行優(yōu)化意義重大。一方面，依據(jù)多元負荷預(yù)測結(jié)果可以合理配置多種形式的能源，提高能源利用效率及系統(tǒng)運行的經(jīng)濟性；另一方面，還可以依據(jù)負荷預(yù)測結(jié)果制定需求響應(yīng)計劃，實現(xiàn)能源供需平衡，提高系統(tǒng)運行的可靠性［4-5］。目前，多能負荷預(yù)測主要從時間、空間維度對不同能源消耗之間的復(fù)雜關(guān)聯(lián)性進行建模，主要的預(yù)測方法有循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）［6］、深度信念網(wǎng)絡(luò)DBN（Deep Belief Network）［7］、長短時記憶網(wǎng)絡(luò)LSTM（Long Short-Term Memory network）［8］以及雙向LSTM［9］等，驗證了深度學(xué)習(xí)網(wǎng)絡(luò)在解決多元負荷預(yù)測問題時的有效性。

相比傳統(tǒng)的電力負荷預(yù)測，綜合能源系統(tǒng)中冷、熱、電負荷間的聯(lián)系日益密切，若對不同能源形式進行單獨建模、預(yù)測，則忽略了多元負荷間的耦合特性，使預(yù)測效果受限。因此，已有研究一般通過考慮多元負荷間的耦合關(guān)系來提升預(yù)測效果，其方法主要分為統(tǒng)計學(xué)方法和深度學(xué)習(xí)方法。統(tǒng)計學(xué)方法是基于統(tǒng)計理論對多元負荷的耦合關(guān)系展開分析的，例如基于向量自回歸VAR（Vector Auto-Regression）模型［10］、多元線性回歸模型［11］和不確定性分析理論［12］展開分析，文獻［13］則分析了冷熱電負荷的非線性關(guān)系，并提出反映負荷間非線性協(xié)同效應(yīng)的負荷預(yù)測公式。然而，統(tǒng)計學(xué)方法存在建模復(fù)雜的問題，在特征變量和影響因素較多時難以對其耦合關(guān)系進行全面的建模，因此深度學(xué)習(xí)方法中的多任務(wù)學(xué)習(xí)策略逐漸成為近幾年的研究熱點。多任務(wù)學(xué)習(xí)策略是對冷、熱、電等預(yù)測任務(wù)共同構(gòu)建一個深度學(xué)習(xí)模型，并設(shè)置多個子任務(wù)，實現(xiàn)對多元負荷的預(yù)測。與多任務(wù)學(xué)習(xí)策略相配合的深度學(xué)習(xí)網(wǎng)絡(luò)主要有LSTM［14-15］、深度置信網(wǎng)絡(luò)［16］、門控循環(huán)單元網(wǎng)絡(luò)［17］等。多任務(wù)學(xué)習(xí)可以利用特征間的耦合特性提升所有子任務(wù)的訓(xùn)練效果，并且具有建模簡單的優(yōu)勢。目前使用的多任務(wù)學(xué)習(xí)模型均基于參數(shù)硬共享機制，該模型在多元負荷相關(guān)性較強時表現(xiàn)出色。然而，部分綜合能源系統(tǒng)中多元負荷間可能存在弱相關(guān)性，基于硬共享機制的多任務(wù)模型對所有任務(wù)強制進行信息共享，無法考慮子任務(wù)間相關(guān)性的差異，因此當(dāng)部分子任務(wù)耦合關(guān)系較弱時，該模型訓(xùn)練效果難以達到最佳水平。

綜上所述，利用多元負荷間的耦合特性，結(jié)合先進深度學(xué)習(xí)網(wǎng)絡(luò)和多任務(wù)學(xué)習(xí)策略是實現(xiàn)多元負荷準確預(yù)測的關(guān)鍵。已有基于參數(shù)硬共享機制的多任務(wù)學(xué)習(xí)方法，易受到子任務(wù)弱相關(guān)性的干擾，影響任務(wù)的學(xué)習(xí)效果。因此，本文提出了基于MMoE（Multigate Mixture-of-Experts）多任務(wù)學(xué)習(xí)和LSTM 的多元負荷預(yù)測方法，利用多個專家子網(wǎng)和門控單元實現(xiàn)對共享信息的合理分配，保證每個任務(wù)均能獲得最有效的信息，并結(jié)合LSTM實現(xiàn)多元負荷預(yù)測。

1 多元負荷相關(guān)性分析

綜合能源用戶的用能行為與多種因素有關(guān)，本文使用皮爾遜相關(guān)系數(shù)分析冷、熱、電3 類負荷的內(nèi)在關(guān)聯(lián)性以及綜合能源與氣象因素的相關(guān)性。皮爾遜相關(guān)系數(shù)的計算公式為：

式中：ρX，Y為皮爾遜相關(guān)系數(shù)；X、Y為2 個特征向量；cov(X，Y)為X、Y的協(xié)方差；σX、σY分別為X、Y的標準差。ρX，Y的取值范圍為［-1，1］，當(dāng)ρX，Y接近1 或-1時，表明X、Y存在較強的線性相關(guān)性，呈正或負相關(guān)；當(dāng)ρX，Y=0時，表明X、Y不存在線性相關(guān)性。

使用美國亞利桑那州立大學(xué)綜合能源公開數(shù)據(jù)集作為研究對象，該綜合能源系統(tǒng)包括電力系統(tǒng)、熱力系統(tǒng)和冷卻站等，數(shù)據(jù)集包含2019 年1—10 月的冷、熱、電負荷數(shù)據(jù)，數(shù)據(jù)采樣率為15 min／次，即每天包含96 組數(shù)據(jù)［18］。本文還收集了當(dāng)?shù)貙?yīng)日期氣象數(shù)據(jù)，包括溫度、濕度、露點、氣壓、云量和風(fēng)速，以研究氣象因素與用戶用能行為的相關(guān)性。計算冷、熱、電負荷數(shù)據(jù)及氣象數(shù)據(jù)的皮爾遜相關(guān)系數(shù)，并得到熱力圖如圖1所示。

由圖1 可知：在該綜合能源系統(tǒng)中，多元負荷間冷負荷與熱負荷的相關(guān)性最強，相關(guān)系數(shù)為-0.8；冷負荷與電負荷的相關(guān)性較弱，相關(guān)系數(shù)為0.3；熱負荷與電負荷的相關(guān)性最弱，相關(guān)系數(shù)為0.1。在多元負荷與氣象因素間，冷、熱負荷與溫度相關(guān)性很強，與濕度、露點、氣壓的相關(guān)性較強，與云量和風(fēng)速的相關(guān)性較弱；電負荷與6 個氣象指標的相關(guān)性均較弱。所得結(jié)論與用戶的用能習(xí)慣基本一致，用戶對冷、熱能源的需求與溫度關(guān)聯(lián)性最強，高溫時冷負荷增加，低溫時熱負荷增加，因此冷、熱負荷呈高度負相關(guān)；濕度、露點、氣壓這3 個氣象因素也會在一定程度上影響用戶的用能習(xí)慣，例如濕度較高時用戶可能會通過空調(diào)除濕，因此與用戶用能行為存在相關(guān)關(guān)系；電-冷、電-熱的轉(zhuǎn)換是為了提升整個系統(tǒng)的能源利用效率，雖存在耦合特性，但并不存在顯式的相關(guān)關(guān)系，因此電負荷與冷、熱負荷的相關(guān)系數(shù)較小。綜上所述，多元負荷間同時存在強相關(guān)性與弱相關(guān)性，多元負荷與氣象因素的相關(guān)程度也不完全相同。因此，在對多元負荷預(yù)測問題進行建模時，應(yīng)考慮不同負荷類型間耦合關(guān)系的差異。

2 基于MMoE多任務(wù)學(xué)習(xí)和LSTM的多元負荷預(yù)測模型

2.1 模型框架

本文所提的基于MMoE 多任務(wù)學(xué)習(xí)和LSTM 的多元負荷預(yù)測模型如圖2 所示。首先，對綜合能源系統(tǒng)的多元負荷數(shù)據(jù)及氣象數(shù)據(jù)進行采集、整理；然后，搭建MMoE 多任務(wù)學(xué)習(xí)模型，學(xué)習(xí)多元負荷間的耦合關(guān)系，并利用MMoE 的專家子網(wǎng)和門控機制實現(xiàn)共享信息在子任務(wù)中合理分配；最后，搭建基于LSTM的子任務(wù)模型，對多元負荷進行預(yù)測。

圖2 模型框架Fig.2 Framework of model

2.2 MMoE多任務(wù)學(xué)習(xí)模型機理分析

在深度學(xué)習(xí)中，對于多個不相關(guān)的學(xué)習(xí)任務(wù)，一般分別建立模型；但當(dāng)多個問題間存在某種潛在關(guān)聯(lián)時，若仍采用單獨建模的思路，則忽略了多個問題的相關(guān)性，此時可以使用多任務(wù)學(xué)習(xí)策略提升整體效果。多任務(wù)學(xué)習(xí)策略僅需建立一個深度學(xué)習(xí)模型，將多個相關(guān)問題看作模型的子任務(wù)，并在模型中對特征進行控制，使多任務(wù)間可以共享信息，從而提高每一個任務(wù)的表現(xiàn)［19］。傳統(tǒng)的多任務(wù)學(xué)習(xí)策略一般采用參數(shù)硬共享機制，其基本原理如附錄A 圖A1所示。硬共享機制將模型分為參數(shù)共享層和子任務(wù)學(xué)習(xí)層，參數(shù)共享層獲得所有任務(wù)的輸入特征，并進行特征提取；子任務(wù)學(xué)習(xí)層從參數(shù)共享層中獲得與任務(wù)本身相關(guān)的特征，隨后進行子任務(wù)的訓(xùn)練，并輸出預(yù)測結(jié)果。

在硬共享機制中，子任務(wù)的相關(guān)性越強，模型訓(xùn)練效果越好；如果部分任務(wù)的相關(guān)性較弱，則模型可能會因為其他任務(wù)的誤導(dǎo)使性能下降。為此，Google 提出了MMoE 多任務(wù)學(xué)習(xí)模型，其基本原理如附錄A 圖A2 所示［20］。MMoE 將參數(shù)共享層劃分為若干個專家子網(wǎng)，每個專家子網(wǎng)均為多層感知機，負責(zé)獨立學(xué)習(xí)多任務(wù)間的耦合關(guān)系，不同的專家子網(wǎng)不進行參數(shù)共享。同時，MMoE 針對每個子任務(wù)分別設(shè)置一個門控單元，負責(zé)計算子任務(wù)中每個專家子網(wǎng)的權(quán)重，使不同任務(wù)對專家子網(wǎng)的選擇更加靈活，避免了弱相關(guān)任務(wù)間的互相干預(yù)。MMoE 多任務(wù)學(xué)習(xí)模型中第k個子任務(wù)的輸出yk可以表示為：

門控單元通過線性變換將輸入特征映射到n維，經(jīng)過softmax 激活函數(shù)得到每個專家子網(wǎng)的權(quán)重系數(shù)，實現(xiàn)對任務(wù)中專家子網(wǎng)輸出的靈活控制。由于冷、熱、電負荷間同時存在強相關(guān)性與弱相關(guān)性，MMoE 多任務(wù)學(xué)習(xí)模型可以在進行多元負荷信息共享的前提下，為冷、熱、電負荷預(yù)測子任務(wù)單獨訓(xùn)練專家子網(wǎng)的權(quán)重系數(shù)，從而保證網(wǎng)絡(luò)訓(xùn)練時每個子任務(wù)均能學(xué)習(xí)到最有效的信息，因此更適合采用MMoE多任務(wù)學(xué)習(xí)模型進行建模。

2.3 LSTM簡介

LSTM 是一種改進的RNN 結(jié)構(gòu)，克服了RNN 僅能進行短時記憶的缺陷，解決了RNN 存在的梯度消失問題。LSTM 的基本結(jié)構(gòu)如附錄A 圖A3 所示。LSTM能夠選擇性地遺忘或保留歷史信息，避免梯度消失，有利于長時間序列的建模，在綜合能源系統(tǒng)多元負荷預(yù)測問題中發(fā)揮著重要作用［8］。

2.4 網(wǎng)絡(luò)結(jié)構(gòu)與輸入特征

本文所提多元負荷預(yù)測模型的網(wǎng)絡(luò)結(jié)構(gòu)如附錄A表A1所示。該模型包含對冷、熱、電3種負荷的預(yù)測任務(wù)，即模型在每個時間步輸出下一個時刻點的3 個負荷值。該模型包含多任務(wù)學(xué)習(xí)層和3 個子任務(wù)層，前者基于MMoE 多任務(wù)學(xué)習(xí)模型實現(xiàn)，用于學(xué)習(xí)多任務(wù)間的耦合關(guān)系；后者基于LSTM 模型實現(xiàn)，用于實現(xiàn)單個負荷預(yù)測任務(wù)。

多任務(wù)學(xué)習(xí)層中，MMoE 多任務(wù)學(xué)習(xí)模型的專家子網(wǎng)參數(shù)屬于超參數(shù)，本文采用交叉驗證進行參數(shù)設(shè)置，具體包括4 個專家子網(wǎng)，神經(jīng)元數(shù)目為32，每個專家子網(wǎng)用于學(xué)習(xí)輸入特征與3 個預(yù)測任務(wù)的特定關(guān)系。子任務(wù)層中包括2層LSTM 層，神經(jīng)元數(shù)目分別為16 和8，激活函數(shù)為“Relu”，用于捕捉序列的長距離依賴關(guān)系；2 層LSTM 層之間加入Dropout層，強制神經(jīng)元進行隨機失活，隨機失活比率為0.3，用于防止網(wǎng)絡(luò)過擬合；LSTM 層末端為全連接層，結(jié)合“Linear”激活函數(shù)輸出負荷預(yù)測結(jié)果。網(wǎng)絡(luò)訓(xùn)練時，損失函數(shù)中3 個任務(wù)的權(quán)重為1∶1∶1，優(yōu)化器為Adam，損失函數(shù)為平均絕對誤差MAE（Mean Absolute Error），迭代次數(shù)為100。

由第1 節(jié)的分析結(jié)果可知，溫度、濕度、露點、氣壓與冷、熱負荷存在相關(guān)關(guān)系，因此將其作為網(wǎng)絡(luò)訓(xùn)練時的輸入特征。此外，臨近被預(yù)測時刻的歷史負荷數(shù)據(jù)與被預(yù)測時刻的負荷相關(guān)性較強［17］，有助于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，因此也將其作為輸入特征。當(dāng)對第t個時間步的多元負荷進行預(yù)測時，具體輸入特征包括：①被預(yù)測時刻前10 個時間步的多元負荷數(shù)據(jù)，即冷負荷｛ct-10，ct-9，…，ct-1｝、熱負荷｛ht-10，ht-9，…，ht-1｝和電負荷｛et-10，et-9，…，et-1｝；②被預(yù)測時刻的4個氣象特征｛wt，1，wt，2，wt，3，wt，4｝；③被預(yù)測時刻的時間特征（由于本文使用數(shù)據(jù)集的采樣率為15 min／次，因此一天包含96 個數(shù)據(jù)點，對應(yīng)時間編碼為0—95）。網(wǎng)絡(luò)訓(xùn)練時的標簽為被預(yù)測時間步的多元負荷數(shù)據(jù)，即｛ct，ht，et｝。

3 算例分析

3.1 實驗設(shè)置

本文使用Python 3.7.7作為編程語言，基于TensorFlow 1.15.4［21］和Keras 2.2.4［22］搭建深度學(xué)習(xí)模型。原始數(shù)據(jù)中冷、熱、電負荷的單位分別為kW、mBtu／h和ton／h，為方便表述，本文將熱、電負荷的單位均轉(zhuǎn)換為kW。選用數(shù)據(jù)集的時間周期為2019年1—10 月，采用5 折交叉驗證法對模型進行訓(xùn)練和性能測試，以15 min 為時間步進行超短期多元負荷預(yù)測，性能測試指標均為5 折交叉驗證結(jié)果的平均值。誤差評價指標使用MAE 和平均絕對百分比誤差MAPE（Mean Absolute Percentage Error）指標，計算公式分別為：

式中：eMAE為MAE 值；eMAPE為MAPE 值；N為樣本數(shù)目；yi為第i個樣本的真實值；y?i為第i個樣本的預(yù)測值。

3.2 離線訓(xùn)練結(jié)果分析

3.2.1 損失函數(shù)訓(xùn)練過程分析

搭建模型后，首先要對模型進行離線訓(xùn)練。本文采用MAE 指標作為損失函數(shù)，訓(xùn)練集和驗證集的損失函數(shù)變化如附錄A 圖A4所示。由圖可見：網(wǎng)絡(luò)訓(xùn)練時，冷負荷和電負荷預(yù)測任務(wù)的訓(xùn)練集與驗證集損失函數(shù)值均不斷下降，從第50 輪開始逐漸穩(wěn)定，在第100 輪時達到最穩(wěn)定狀態(tài)，隨后有輕微波動；熱負荷預(yù)測任務(wù)中，訓(xùn)練集損失函數(shù)值一直保持下降狀態(tài)，而驗證集損失函數(shù)值則先下降，然后在第100 輪附近逐漸穩(wěn)定，在150 輪之后又開始上升，表明模型訓(xùn)練后期，熱負荷預(yù)測模型出現(xiàn)過擬合問題?？傮w而言，總?cè)蝿?wù)損失函數(shù)值的變化趨勢與熱負荷預(yù)測任務(wù)一致，因此本文在迭代次數(shù)達到100 次時終止離線訓(xùn)練。

3.2.2 MMoE作用機理分析

本文所構(gòu)建的MMoE 多任務(wù)學(xué)習(xí)模型包括4 個專家子網(wǎng)和3 個門控單元，3 個門控單元分別對應(yīng)冷、熱、電預(yù)測任務(wù)。門控單元本質(zhì)上是一個權(quán)重向量，用于表示各專家子網(wǎng)的輸出作為子任務(wù)模型輸入的權(quán)重，使子任務(wù)預(yù)測模型可以選擇強相關(guān)的共享特征進行訓(xùn)練。為了分析MMoE 的作用機理，本文將模型門控單元向量進行提取，并使用Softmax 函數(shù)得到權(quán)重分布如圖3 所示。由圖可見：冷負荷預(yù)測任務(wù)中，門控單元更傾向于選擇第4 個專家子網(wǎng)，第1、3個專家子網(wǎng)的輸出占比較低，表明第4個專家子網(wǎng)所學(xué)習(xí)到的共享特征可能更有助于冷負荷的預(yù)測；熱負荷預(yù)測任務(wù)中第2 個專家子網(wǎng)所占權(quán)重更高，而電負荷預(yù)測任務(wù)中4 個專家子網(wǎng)的權(quán)重基本相同。與傳統(tǒng)多任務(wù)模型不加區(qū)分、直接使用全部共享特征的方式相比，基于MMoE 多任務(wù)學(xué)習(xí)模型的機制能夠針對任務(wù)本身的特點，多樣化地使用共享特征，從而提升所有子任務(wù)的訓(xùn)練效果。

圖3 MMoE多任務(wù)學(xué)習(xí)模型的權(quán)重分布結(jié)果Fig.3 Weight distribution results of MMoE multi-task learning model

3.3 不同預(yù)測模型的性能對比

3.3.1 本文模型與單任務(wù)負荷預(yù)測模型對比

為驗證本文模型可利用多元負荷的耦合關(guān)系提升負荷精度，本文將其與單任務(wù)負荷預(yù)測模型進行對比，對比方法包括RNN 和LSTM。為保證對比方法的模型訓(xùn)練效果，本文采用3 層網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計［23］，對比方法的輸入特征與本文方法保持一致，超參數(shù)均參考文獻［8］進行設(shè)置。3 種方法在測試集上的誤差對比結(jié)果如表1 所示?？梢?，在單任務(wù)學(xué)習(xí)模型中，LSTM 的冷、熱負荷預(yù)測誤差均明顯低于RNN，原因是LSTM 能夠?qū)Χ嘣摵尚蛄行畔⑦M行長時記憶，更適合進行多元負荷預(yù)測任務(wù)，從側(cè)面驗證了本文使用LSTM 作為子任務(wù)預(yù)測模型的正確性。采用本文方法時冷、熱、電負荷預(yù)測的MAPE 指標較單任務(wù)LSTM 模型分別降低了1.98%、10.45%、1.25%，原因是單任務(wù)學(xué)習(xí)方法無法考慮多元負荷間的耦合關(guān)系，即使使用較為先進的網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)測效果依然受限，只有引入多任務(wù)學(xué)習(xí)策略才能進一步提高預(yù)測精度。

表1 本文模型與單一負荷預(yù)測模型對比Table 1 Comparison between proposed model and single load forecasting model

本文還對比了本文模型與單任務(wù)負荷預(yù)測模型的訓(xùn)練耗時。采用單任務(wù)RNN、單任務(wù)LSTM 以及本文方法的訓(xùn)練時間分別為108、161、81 s，可見2種單任務(wù)負荷預(yù)測模型的訓(xùn)練耗時較長，本文模型較單任務(wù)RNN 模型訓(xùn)練耗時降低了25%，較單任務(wù)LSTM 模型降低了50%。在處理多元負荷預(yù)測問題時，單任務(wù)方法需要建立3 個模型進行獨立訓(xùn)練；而本文使用的多任務(wù)方法僅需建立1個模型，且由于3個預(yù)測任務(wù)包含相同的輸入特征（氣象特征和時間特征），使用多任務(wù)模型能夠減少輸入特征數(shù)量，從而使得訓(xùn)練耗時大幅縮減。此外，LSTM 較RNN 結(jié)構(gòu)更為復(fù)雜，所需訓(xùn)練時間更長，但本文模型的訓(xùn)練耗時仍低于單任務(wù)RNN 模型，表明所提多任務(wù)學(xué)習(xí)方法具有較強的工程應(yīng)用價值。

3.3.2 本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型對比

為驗證本文模型能夠考慮多元負荷間的強相關(guān)性與弱相關(guān)性，降低預(yù)測誤差，本文將其與傳統(tǒng)基于參數(shù)硬共享的多任務(wù)學(xué)習(xí)模型［14］進行對比分析。傳統(tǒng)多任務(wù)學(xué)習(xí)方法首先將MMoE 多任務(wù)層替換為參數(shù)硬共享層，然后使用LSTM 層進行負荷預(yù)測，最后使用全連接層輸出預(yù)測結(jié)果，超參數(shù)參考文獻［14］進行設(shè)置，輸入特征與所提方法保持一致。從測試集選取某天展示預(yù)測效果如圖4 所示，測試集的預(yù)測誤差對比如表2所示。

圖4 預(yù)測效果對比Fig.4 Comparison of prediction effect

表2 本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型對比Table 2 Comparison between proposed model and traditional multi-task learning model

觀察圖4（a）、（c）可知，冷負荷與電負荷的預(yù)測效果中，本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型均能取得較好的預(yù)測效果，預(yù)測曲線對真實曲線的擬合程度較高。但觀察圖4（a）、（c）的細節(jié)部分可知，本文模型在曲線波動劇烈的部分仍能保持較好的擬合效果，預(yù)測值更加接近真實值，而傳統(tǒng)多任務(wù)學(xué)習(xí)模型的預(yù)測誤差有所提高，效果不佳。結(jié)合表2 可知，本文模型的冷、電負荷MAEP 指標較傳統(tǒng)多任務(wù)學(xué)習(xí)模型降低了0.98%和0.84%，因此本文模型的預(yù)測效果更好。

由于熱負荷較其他2 類負荷波動更加劇烈，因此模型的訓(xùn)練更加困難，容易發(fā)生過擬合或欠擬合。由圖4（b）和表2 可見：傳統(tǒng)多任務(wù)學(xué)習(xí)模型對熱負荷的預(yù)測結(jié)果更加保守，預(yù)測曲線的波動性較低，MAEP 指標為13.47%；而本文模型仍然能夠保持較好的預(yù)測能力，MAPE 指標為9.04%，較傳統(tǒng)多任務(wù)學(xué)習(xí)模型降低了4.43%。其原因是參數(shù)硬共享機制無法考慮多元負荷間相關(guān)性的差異，為3 個子任務(wù)賦相同的共享參數(shù)，而熱負荷與電負荷的相關(guān)系數(shù)僅為0.1，不存在明顯相關(guān)關(guān)系，因此電負荷序列信息可能會對熱負荷預(yù)測模型造成干擾，影響模型性能；本文模型通過設(shè)置多個專家子網(wǎng)和門控單元，在考慮多元負荷間相關(guān)性差異的基礎(chǔ)上，僅為各個子任務(wù)傳遞有助于提升其預(yù)測精度的共享信息，避免弱相關(guān)信息對子任務(wù)的干擾，因此取得了更好的預(yù)測效果。

本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型的訓(xùn)練時間分別為72、81 s，參數(shù)量分別為58838和72108，在同等算力下，本文模型的訓(xùn)練耗時略高于傳統(tǒng)多任務(wù)學(xué)習(xí)模型，原因在于傳統(tǒng)基于硬共享機制的多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)簡單，其參數(shù)共享層本質(zhì)上是一層全連接層，而MMoE 多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)復(fù)雜，包括對多個專家子網(wǎng)和門控單元的訓(xùn)練，模型參數(shù)量更多，訓(xùn)練耗時較傳統(tǒng)多任務(wù)學(xué)習(xí)模型增加了13%。2 種多任務(wù)學(xué)習(xí)模型的訓(xùn)練耗時均明顯低于單任務(wù)學(xué)習(xí)模型，驗證了多任務(wù)學(xué)習(xí)模型應(yīng)用于多元負荷預(yù)測問題的實用性。

4 結(jié)論

本文針對綜合能源系統(tǒng)多元負荷預(yù)測問題，提出了一種基于MMoE 多任務(wù)學(xué)習(xí)和LSTM 的多元負荷預(yù)測方法，得到如下結(jié)論。

1）隨著綜合能源系統(tǒng)的不斷發(fā)展，多元負荷間的聯(lián)系更加密切，多任務(wù)學(xué)習(xí)模型較單任務(wù)學(xué)習(xí)模型更能考慮多元負荷的耦合特性，能夠有效提高預(yù)測精度，且模型的訓(xùn)練耗時更短，具有較高的工程應(yīng)用價值。

2）分析多元負荷的耦合特性時需要考慮多元負荷間的相關(guān)性。若多元負荷間存在弱相關(guān)性，則會影響基于硬共享機制多任務(wù)學(xué)習(xí)模型的性能。針對這一問題，本文提出基于MMoE 多任務(wù)學(xué)習(xí)和LSTM的模型，其能夠考慮多元負荷間相關(guān)性的差異，通過門控單元對子任務(wù)進行合理的共享信息分配，避免弱相關(guān)信息對子任務(wù)的干擾，實現(xiàn)了更好的預(yù)測效果。

附錄見本刊網(wǎng)絡(luò)版（http：//www.epae.cn）。