柳松林，成貴學，趙晉斌，蔣明喆，李健明

（1.上海電力大學，上海 201306；2.國網(wǎng)蚌埠供電公司，安徽蚌埠 233000）

0 引言

隨著我國能源結(jié)構(gòu)的調(diào)整[1-2]，綜合能源系統(tǒng)（Integrated Energy System，IES）的提出加快了多類型能源網(wǎng)絡(luò)在發(fā)電、變電、輸電、配電、用電等各個環(huán)節(jié)的耦合互聯(lián)[3-5]。隨著新能源裝機總?cè)萘康牟粩嘣鲩L，高比例的新能源在并網(wǎng)后會增大電網(wǎng)負荷的峰谷波動，降低系統(tǒng)的峰谷調(diào)節(jié)能力[6]。不同類型能源網(wǎng)絡(luò)間的強耦合性也會增大電網(wǎng)負荷的峰谷波動。因此，利用IES 理論與技術(shù)尋找有效的優(yōu)化調(diào)度方法，對改善系統(tǒng)的峰谷波動和運行經(jīng)濟性具有重要的意義[7-9]。

為解決高比例新能源并網(wǎng)引起的調(diào)峰能力不足問題，有關(guān)學者提出了一系列調(diào)峰方法，包括多源協(xié)調(diào)的儲能模型[10-11]、基于IES 的優(yōu)化控制[12-13]等。文獻[14]從最優(yōu)棄能率角度出發(fā)，提出一種分層優(yōu)化模型用于提升電網(wǎng)的峰谷調(diào)節(jié)能力。但其僅從源側(cè)對電網(wǎng)的調(diào)節(jié)能力進行分析，忽略了荷側(cè)負荷具備可調(diào)度的可能性。因此，探討基于荷側(cè)靈活性資源的調(diào)峰策略，可以進一步提升電網(wǎng)的峰谷調(diào)節(jié)能力和運行經(jīng)濟性。

荷側(cè)資源具有靈活性和經(jīng)濟性的優(yōu)化調(diào)度潛力，尤其在改善電網(wǎng)峰谷波動方面具有顯著的作用。文獻[15]通過建立需求響應(yīng)（Demand Response，DR）模型，引導(dǎo)荷側(cè)資源參與電網(wǎng)功率調(diào)節(jié)。文獻[16]針對高比例風電并網(wǎng)帶來的調(diào)峰壓力，建立計及需求響應(yīng)的風電優(yōu)化調(diào)度模型，驗證了荷側(cè)資源在緩解電網(wǎng)調(diào)峰方面的有效性。文獻[17]從荷側(cè)多類型能源耦合的角度，提出了一種用于削峰填谷控制的IES 模型，進一步提升了電網(wǎng)調(diào)峰能力。

國內(nèi)外研究人員從多時間尺度[18-20]角度提出了源荷側(cè)協(xié)同優(yōu)化的調(diào)度模型。文獻[21]建立了計及DR 的源荷側(cè)協(xié)同調(diào)峰優(yōu)化模型，可以有效調(diào)節(jié)負荷峰谷。但是傳統(tǒng)的源荷側(cè)協(xié)同優(yōu)化的調(diào)度模型往往依賴于IES 數(shù)據(jù)的精準預(yù)測，在面臨不確定性場景時存在偏差。文獻[22-23]引入強化學習（Reinforcement Learning，RL）算法對IES 進行動態(tài)優(yōu)化。文獻[24]提出了基于深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）強化學習算法的優(yōu)化調(diào)度模型，進一步提高了復(fù)雜場景下IES 的優(yōu)化效果。

因此，本文提出一種基于IES 源荷側(cè)協(xié)同的調(diào)峰運行方法和雙層優(yōu)化調(diào)度模型。首先，分析了不同比例的風光并網(wǎng)功率對電負荷峰谷的影響，并建立綜合需求響應(yīng)（Integrated Demand Response，IDR）的調(diào)峰模型。其次，考慮IES 的峰谷調(diào)節(jié)能力和運行經(jīng)濟性，構(gòu)建了一種雙層優(yōu)化調(diào)度的電-熱IES 模型，其上層模型采用傳統(tǒng)的優(yōu)化方法平滑電網(wǎng)負荷曲線，下層模型采用DDPG 算法優(yōu)化IES 的運行經(jīng)濟性。最后，以某高校實際微能源系統(tǒng)作為算例，驗證了本文所提運行方法和模型的有效性。

1 IES源荷側(cè)協(xié)同調(diào)峰分析

1.1 風光并網(wǎng)功率對電網(wǎng)負荷的影響

近年來，我國以風電、光電為代表的新能源迅速發(fā)展。基于電力系統(tǒng)中供需平衡的原理，電網(wǎng)負荷曲線受到新能源并網(wǎng)功率的影響，在全額并網(wǎng)消納后會增大電網(wǎng)負荷的峰谷差。此外，風電和光電輸出功率受自然因素影響，其功率變化具有一定的規(guī)律性。典型日新能源及電負荷預(yù)測曲線如圖1所示。

圖1 典型日新能源及電負荷預(yù)測曲線Fig.1 Forecasting curve of renewable energy and electric load on typical day

由圖1 可知，風電與電負荷功率變化趨勢相反，即00:00—07:00 和18:00—24:00 時段電負荷水平較低時風電功率較高，07:00—18:00 時段電負荷水平較高時風電的功率較低，反調(diào)峰特性明顯。而光電與風電變化趨勢完全相反。這類負荷特性由新能源發(fā)電的固有特點決定，在我國的新能源開發(fā)中比較典型。

因此，新能源并網(wǎng)給電網(wǎng)運行帶來困難，尤其在大量新能源并網(wǎng)時更加明顯。為此需要對系統(tǒng)進行合理地優(yōu)化，以發(fā)揮新能源的優(yōu)勢，提高系統(tǒng)的可靠性和經(jīng)濟性。

1.2 IDR模型

本文考慮負荷具備橫向DR 和縱向DR 的能力，根據(jù)負荷的特性，數(shù)學建模為：

式中：PL(t)，P0,L(t)，ΔPL(t)分別為t時段IDR 后的負荷功率、IDR 前的負荷功率與IDR 負荷的改變量；分別為t時段IDR 后的負荷轉(zhuǎn)移改變量與IDR 后的負荷替代改變量；αmax為系統(tǒng)允許的最大負荷變化率。

1）轉(zhuǎn)移負荷。轉(zhuǎn)移負荷指在調(diào)度周期（1d）內(nèi)進行用能時段轉(zhuǎn)移的負荷。數(shù)學建模為：

2）替代負荷。替代負荷指同一時段選擇不同的能源類型滿足負荷側(cè)等質(zhì)的用能需求的負荷。數(shù)學建模為：

2 IES源荷側(cè)雙層優(yōu)化調(diào)度模型

本文基于IES 建立源荷側(cè)協(xié)同的雙層優(yōu)化調(diào)度模型，如圖2 所示。其中，其上層模型為調(diào)節(jié)電網(wǎng)負荷的峰谷波動，下層模型為IES 的優(yōu)化調(diào)度。

圖2 IES結(jié)構(gòu)與源荷側(cè)雙層優(yōu)化調(diào)度模型框架圖Fig.2 IES structure and source load side bi-level optimization dispatch model

2.1 上層模型

2.1.1 目標函數(shù)

為抑制電網(wǎng)負荷波動，上層模型采用最小二乘法建立目標函數(shù)，數(shù)學建模為：

式中：F1為負荷側(cè)電網(wǎng)的負荷方差；Pg(t)，Pg,avg分別為t時段電網(wǎng)負荷與調(diào)度周期T內(nèi)電網(wǎng)的平均負荷；Ppv(t)，Pwt(t)分別為t時段光電與風電的最優(yōu)并網(wǎng)功率；P0,pv(t)，P0,wt(t)分別為t時段光電和風電的預(yù)測出力；μpv(t)，μwt(t)分別為t時段光電與風電的最優(yōu)并網(wǎng)系數(shù)。

2.1.2 運行約束

1）并網(wǎng)約束為：

2）棄能約束為：

式中：βwt,max，βpv,max分別為最大允許的棄風系數(shù)和棄光系數(shù)。

2.2 下層模型

2.2.1 目標函數(shù)

下層模型以IES 在調(diào)度周期T內(nèi)的總運行成本最小為目標函數(shù)。數(shù)學建模為：

1）從主電網(wǎng)購電的成本C1為：

式中：Pnet(t)為t時段IES 向主電網(wǎng)購電的功率；εe(t)為t時段的購電電價。

2）熱電機組（Combined Heat and Power，CHP）的運行成本C2為：

式中：Pchp(t)，Hchp(t)分別為t時段CHP 發(fā)出的電功率與熱功率；achp，bchp，cchp分別為CHP 的運行成本系數(shù)；cv1，cv2分別為CHP 的最小進汽工況斜率和最大進汽工況斜率。

3）電儲能設(shè)備（Battery，BA）的折舊成本C3為：

式中：Pba(t)為t時段BA 設(shè)備充電/放電的功率，若Pba(t)>0，表示t時段BA 設(shè)備處于放電狀態(tài)，若Pba(t)<0，表示t時段BA 設(shè)備處于充電狀態(tài)，若Pba(t)=0，表示t時段BA 設(shè)備處于靜置狀態(tài)；ρba為BA 設(shè)備的折舊系數(shù)。

4）CO2排放懲罰成本C4為：

2.2.2 運行約束

1）電/熱功率平衡約束為：

式中：Pchp,g(t)，Peb(t) 為t時段CHP 與電熱鍋爐（Electric Boiler，EB）的并網(wǎng)功率；Hchp(t)，Heb(t)為t時段CHP 和EB 輸出的熱功率；HL(t)為t時段的熱負荷需求。

2）與主電網(wǎng)聯(lián)絡(luò)線約束為：

式中：Pnet,min，Pnet,max分別為主電網(wǎng)聯(lián)絡(luò)線向IES 注入電功率的下限和上限。

3）設(shè)備運行約束。

（1）CHP 設(shè)備約束為：

式中：b為CHP 的熱電比；Hchp,min，Hchp,max分別為CHP 輸出熱功率的下限與上限；Pchp,ccs(t)為t時段CHP 的碳捕集系統(tǒng)（Carbon Capture System，CCS）捕捉CO2消耗的電功率；為t時段CCS 捕捉的CO2量；?為捕捉單位的CO2量所需電功率；，分別為CHP 的CO2排放系數(shù)。。

（2）EB 設(shè)備約束為：

式中：ηeb為EB 設(shè)備的制熱效率；Heb,min，Heb,max分別為EB 輸出熱功率的下限和上限。

（3）BA 設(shè)備約束為：

式中：Soc(t)為t時段BA 的荷電狀態(tài)；Soc,min，Soc,max為BA 的下限與上限；Pba,max，Pba,min分別為BA 設(shè)備充/放電功率的上限與下限；Qba為BA 設(shè)備的容量；ηba為BA 設(shè)備的充/放電系數(shù)，其數(shù)學建模為：

式中：ηch，ηdis分別為電儲能設(shè)備的充電系數(shù)和放電系數(shù)。

3 雙層模型求解方法

本文所提源荷側(cè)協(xié)同的雙層優(yōu)化調(diào)度模型采用雙階段求解方法，如圖3 所示。其中，St，St+1分別為t，t+1 時段RL 智能體的狀態(tài)值；Rt，Rt+1分別為t，t+1時段RL 智能體獲得獎勵值。

圖3 IES源荷側(cè)雙層優(yōu)化調(diào)度模型求解流程Fig.3 Solving process of IES source-load side bi-level optimal dispatch model

本文所提模型求解方法中，上層模型使用商業(yè)求解器Groubi 優(yōu)化各時段的風光并網(wǎng)功率和電網(wǎng)負荷功率，并將求解結(jié)果傳遞到下層模型。

下層模型基于Actor-Critic 框架的DDPG 強化學習算法，求解得到最優(yōu)的IES 調(diào)度方案。RL 智能體通過不斷與IES 環(huán)境交互試錯，通過評估動作-值函數(shù)Qπ(S,A)，尋找最優(yōu)的策略π，以獲得最大化累計獎勵R，即：

式中：S為IES 環(huán)境的狀態(tài)空間；a為RL 智能體動作；A為RL 智能體的動作空間；Eπ(?)為策略π的期望；φ為折扣因子，φ∈[0,1]。

RL 智能體在t時段觀測到環(huán)境狀態(tài)St后，基于策略π生成的動作At作用于環(huán)境，得到當前t時段的獎勵Rt，RL 智能體進入到下一個環(huán)境狀態(tài)St+1。將這一過程得到的經(jīng)驗(St,At,Rt,St+1)存儲在經(jīng)驗回放池M中，用于RL 智能體訓(xùn)練時更新估值神經(jīng)網(wǎng)絡(luò)參數(shù)。RL 智能體在訓(xùn)練學習過程中，以IES 總運行成本最小為目標函數(shù)訓(xùn)練DDPG 算法的神經(jīng)網(wǎng)絡(luò)，訓(xùn)練結(jié)束后即可用于IES 的優(yōu)化調(diào)度。對IES 的狀態(tài)空間、動作空間和獎勵函數(shù)進行設(shè)計。

1）狀態(tài)空間。IES 的狀態(tài)空間St為5 維狀態(tài)，數(shù)學建模為：

2）動作空間。IES 的動作空間At為2 維動作，數(shù)學建模為：

3）獎勵函數(shù)。IES 的獎勵函數(shù)Rt(St,At)為RL智能體在t時刻獲得的最大化獎勵，數(shù)學建模為：

4 算例驗證

4.1 算例配置

本文以華東地區(qū)某高校的實際微能源系統(tǒng)為研究對象，系統(tǒng)的風電、光電和電/熱負荷數(shù)據(jù)采集于2020 年6 月22 日—2020 年6 月30 日，如圖4 所示。

圖4 微能源系統(tǒng)的歷史數(shù)據(jù)Fig.4 Historical data of micro-energy systems

本文設(shè)置DDPG 算法的估值神經(jīng)網(wǎng)絡(luò)和目標神經(jīng)網(wǎng)絡(luò)的隱含層均為2 層，大小分別為256 和128，激活函數(shù)為tanh 函數(shù)，其他參數(shù)請參考文獻[18-19]。IES 的調(diào)度周期為24 h，間隔時段為15 min，并使用6 月22 日—6 月29 日的數(shù)據(jù)進行訓(xùn)練，使用6 月30 日的數(shù)據(jù)進行測試。本文采用分時電價，如表1所示。其中，峰時段為07:00—15:00，平時段15:00—23:00，谷時段為00:00—07:00，23:00—24:00。

表1 電價劃分Table 1 Electricity price division [元·(kWh)-1]

4.2 優(yōu)化調(diào)度結(jié)果

4.2.1 上層模型調(diào)度結(jié)果

圖5 為各時段最優(yōu)的風光并網(wǎng)功率。在整個調(diào)度周期內(nèi)，光電的并網(wǎng)率大于風電的并網(wǎng)率，光電和風電并網(wǎng)率分別為94.86%和57.47%。在峰時段和平時段，風電和光電的發(fā)電功率大部分被并網(wǎng)消納，這是由于在峰時段和平時段的新能源發(fā)電功率和負荷需求量較高所致。而在谷時段，風電的并網(wǎng)功率處在較低的水平，甚至在02:00—06:00 時段風電并網(wǎng)率最小為0，這是由于在谷時段電網(wǎng)負荷的需求量較低，盡管風電功率在整個調(diào)度周期內(nèi)處于較高水平，但由于電網(wǎng)負荷的限制，風電功率并未充分利用。因此，上層模型可以在保證風光并網(wǎng)消納率最大的前提下，實現(xiàn)對電網(wǎng)負荷的調(diào)峰運行。

圖5 各時段最優(yōu)的風光并網(wǎng)功率Fig.5 Optimal WPV grid-connected power at each time

圖6 為電負荷的IDR 調(diào)度結(jié)果。根據(jù)電負荷需求的特點，13:00—21:00 時段通過減少電負荷曲線的“峰值”，即利用轉(zhuǎn)移負荷將該時段的部分用電需求轉(zhuǎn)移至谷時段。00：00—07:00 和22:00—24:00時段通過增加電負荷曲線的“谷值”，即峰時段或平時段的部分用電需求通過轉(zhuǎn)移負荷的方式至該時段。此外，負荷側(cè)優(yōu)化更傾向于將峰時段或平時段的部分用電需求用其他類型能源替代。

圖6 電負荷的IDR調(diào)度結(jié)果Fig.6 IDR dispatching result of electrical load

通過源荷側(cè)協(xié)同調(diào)峰運行方法可以抑制電網(wǎng)負荷的波動，實現(xiàn)電網(wǎng)負荷曲線的“削峰填谷”。電負荷曲線和考慮風光并網(wǎng)后的電網(wǎng)負荷曲線在經(jīng)過上層模型平滑優(yōu)化后，如圖7 所示，不僅降低了電網(wǎng)負荷的峰谷差還提升了電網(wǎng)的調(diào)峰能力。由圖7 可知，初始電負荷功率曲線的峰谷差為2.16 MW。當風電和光電的出力功率被全額并網(wǎng)消納后，此時電網(wǎng)的負荷變化率較大，電網(wǎng)負荷曲線的峰谷差為1.81 MW。通過本文所提的調(diào)峰運行方法優(yōu)化后，電網(wǎng)負荷曲線的最大峰谷差僅為0.7 MW。因此，經(jīng)過本文所提的上層模型優(yōu)化后，不僅可以抑制電網(wǎng)負荷曲線的波動，還保證了較高的風光消納率。

4.2.2 下層模型調(diào)度結(jié)果

圖8 和圖9 分別為IES 的電功率調(diào)度結(jié)果和熱功率調(diào)度結(jié)果。由圖8—圖9 可知，IES 購電量與電價成反比，即在電價較高時購電量較少，在電價較低時購電量較多。在峰時段和平時段，除風光并網(wǎng)功率外，由于CHP 的“以熱定電”約束，使CHP 的發(fā)電功率也處于較高水平，電儲能設(shè)備則適時對外放電；在谷時段，CHP 的電出力基本用于CCS，如圖10 所示，除風電并網(wǎng)功率外，IES 主要提高購電量以滿足負荷側(cè)的用電需求，并將多余的電能儲存在BA 中，以用于后續(xù)時段調(diào)度的使用。IES 的熱負荷主要由CHP供應(yīng)，當熱負荷高于1.2MW 時，僅靠CHP 的熱出力供熱無法滿足時，電熱鍋爐啟動承擔熱負荷的調(diào)峰。

圖8 電功率調(diào)度結(jié)果Fig.8 Dispatching result of electric power

圖9 熱功率調(diào)度結(jié)果Fig.9 Dispatching result of heat power

圖10 CHP的CCS捕集的CO2量與所消耗的電功率關(guān)系Fig.10 Relationship between CO2 capture amount and electrical power consumed by CCS of CHP

由圖10 可知，在調(diào)度周期T內(nèi)，CCS 消耗的電功率與CCS 捕集的CO2量成正比。通過捕集CHP運行程中產(chǎn)生的CO2并將其封存在地下或其他儲存設(shè)施中，以減少CO2氣體排放。因此，含CCS 的CHP 在IES 中運行時，在減少IES 的運行成本和實現(xiàn)IES 的低碳運行方面具有較好的效果。

綜上所述，下層模型能夠動態(tài)的優(yōu)化IES 中各設(shè)備的運行狀態(tài)，在提高IES 的經(jīng)濟性和實現(xiàn)IES的低碳運行方面具有有效性。

4.3 對比分析

為驗證本文所提出的IES 源荷側(cè)協(xié)同運行方法的經(jīng)濟性和其在不同負荷特性上的普適性，設(shè)立工作日和周末2 個不同時段的4 個場景進行對比分析。場景1：不考慮調(diào)峰運行，利用Gurobi 求解；場景2：考慮荷側(cè)IDR 調(diào)峰運行，利用Gurobi 求解；場景3：考慮源荷側(cè)協(xié)同的調(diào)峰運行，利用Gurobi 求解；場景4：考慮源荷側(cè)協(xié)同的調(diào)峰運行，利用Gurobi+DDPG 算法求解。工作日和周末各場景下的IES 運行成本如表2 所示。

表2 各場景下的IES運行成本Table 2 Operating cost of IES under each scenario 元

由表2 可知，場景1 中的IES 運行成本在工作日和周末均最高。場景2 相較于場景1，由于考慮荷側(cè)IDR 調(diào)峰運行，IES 能夠根據(jù)負荷特性和能源價格進行優(yōu)化，使IES 運行成本有所降低。場景3相對與場景2，考慮了源荷側(cè)協(xié)同的調(diào)峰運行，實現(xiàn)經(jīng)濟高效地IES 運行。場景4 相較于場景3，由于引入了DDPG 算法，能夠更加準確地預(yù)測負荷特性和價格信號，源荷側(cè)協(xié)同調(diào)峰得到進一步優(yōu)化，使IES 運行更加經(jīng)濟。綜上所述，本文所提出的IES源荷側(cè)協(xié)同運行方法，能夠顯著降低IES 的運行成本，具有一定的普適性。

5 結(jié)語

為解決高比例風光并網(wǎng)引起的電網(wǎng)峰谷波動，本文提出了一種源荷側(cè)協(xié)同調(diào)峰的運行方法和雙層優(yōu)化調(diào)度模型，并通過算例驗證了本文所提方法在平抑電網(wǎng)負荷波動、提高IES 的峰谷調(diào)節(jié)能力和提高IES 的經(jīng)濟性具有顯著的效果。