柳松林,成貴學(xué),趙晉斌,蔣明喆,李健明
(1.上海電力大學(xué),上海 201306;2.國網(wǎng)蚌埠供電公司,安徽蚌埠 233000)
隨著我國能源結(jié)構(gòu)的調(diào)整[1-2],綜合能源系統(tǒng)(Integrated Energy System,IES)的提出加快了多類型能源網(wǎng)絡(luò)在發(fā)電、變電、輸電、配電、用電等各個環(huán)節(jié)的耦合互聯(lián)[3-5]。隨著新能源裝機(jī)總?cè)萘康牟粩嘣鲩L,高比例的新能源在并網(wǎng)后會增大電網(wǎng)負(fù)荷的峰谷波動,降低系統(tǒng)的峰谷調(diào)節(jié)能力[6]。不同類型能源網(wǎng)絡(luò)間的強(qiáng)耦合性也會增大電網(wǎng)負(fù)荷的峰谷波動。因此,利用IES 理論與技術(shù)尋找有效的優(yōu)化調(diào)度方法,對改善系統(tǒng)的峰谷波動和運(yùn)行經(jīng)濟(jì)性具有重要的意義[7-9]。
為解決高比例新能源并網(wǎng)引起的調(diào)峰能力不足問題,有關(guān)學(xué)者提出了一系列調(diào)峰方法,包括多源協(xié)調(diào)的儲能模型[10-11]、基于IES 的優(yōu)化控制[12-13]等。文獻(xiàn)[14]從最優(yōu)棄能率角度出發(fā),提出一種分層優(yōu)化模型用于提升電網(wǎng)的峰谷調(diào)節(jié)能力。但其僅從源側(cè)對電網(wǎng)的調(diào)節(jié)能力進(jìn)行分析,忽略了荷側(cè)負(fù)荷具備可調(diào)度的可能性。因此,探討基于荷側(cè)靈活性資源的調(diào)峰策略,可以進(jìn)一步提升電網(wǎng)的峰谷調(diào)節(jié)能力和運(yùn)行經(jīng)濟(jì)性。
荷側(cè)資源具有靈活性和經(jīng)濟(jì)性的優(yōu)化調(diào)度潛力,尤其在改善電網(wǎng)峰谷波動方面具有顯著的作用。文獻(xiàn)[15]通過建立需求響應(yīng)(Demand Response,DR)模型,引導(dǎo)荷側(cè)資源參與電網(wǎng)功率調(diào)節(jié)。文獻(xiàn)[16]針對高比例風(fēng)電并網(wǎng)帶來的調(diào)峰壓力,建立計(jì)及需求響應(yīng)的風(fēng)電優(yōu)化調(diào)度模型,驗(yàn)證了荷側(cè)資源在緩解電網(wǎng)調(diào)峰方面的有效性。文獻(xiàn)[17]從荷側(cè)多類型能源耦合的角度,提出了一種用于削峰填谷控制的IES 模型,進(jìn)一步提升了電網(wǎng)調(diào)峰能力。
國內(nèi)外研究人員從多時(shí)間尺度[18-20]角度提出了源荷側(cè)協(xié)同優(yōu)化的調(diào)度模型。文獻(xiàn)[21]建立了計(jì)及DR 的源荷側(cè)協(xié)同調(diào)峰優(yōu)化模型,可以有效調(diào)節(jié)負(fù)荷峰谷。但是傳統(tǒng)的源荷側(cè)協(xié)同優(yōu)化的調(diào)度模型往往依賴于IES 數(shù)據(jù)的精準(zhǔn)預(yù)測,在面臨不確定性場景時(shí)存在偏差。文獻(xiàn)[22-23]引入強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)算法對IES 進(jìn)行動態(tài)優(yōu)化。文獻(xiàn)[24]提出了基于深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)強(qiáng)化學(xué)習(xí)算法的優(yōu)化調(diào)度模型,進(jìn)一步提高了復(fù)雜場景下IES 的優(yōu)化效果。
因此,本文提出一種基于IES 源荷側(cè)協(xié)同的調(diào)峰運(yùn)行方法和雙層優(yōu)化調(diào)度模型。首先,分析了不同比例的風(fēng)光并網(wǎng)功率對電負(fù)荷峰谷的影響,并建立綜合需求響應(yīng)(Integrated Demand Response,IDR)的調(diào)峰模型。其次,考慮IES 的峰谷調(diào)節(jié)能力和運(yùn)行經(jīng)濟(jì)性,構(gòu)建了一種雙層優(yōu)化調(diào)度的電-熱IES 模型,其上層模型采用傳統(tǒng)的優(yōu)化方法平滑電網(wǎng)負(fù)荷曲線,下層模型采用DDPG 算法優(yōu)化IES 的運(yùn)行經(jīng)濟(jì)性。最后,以某高校實(shí)際微能源系統(tǒng)作為算例,驗(yàn)證了本文所提運(yùn)行方法和模型的有效性。
近年來,我國以風(fēng)電、光電為代表的新能源迅速發(fā)展?;陔娏ο到y(tǒng)中供需平衡的原理,電網(wǎng)負(fù)荷曲線受到新能源并網(wǎng)功率的影響,在全額并網(wǎng)消納后會增大電網(wǎng)負(fù)荷的峰谷差。此外,風(fēng)電和光電輸出功率受自然因素影響,其功率變化具有一定的規(guī)律性。典型日新能源及電負(fù)荷預(yù)測曲線如圖1所示。
圖1 典型日新能源及電負(fù)荷預(yù)測曲線Fig.1 Forecasting curve of renewable energy and electric load on typical day
由圖1 可知,風(fēng)電與電負(fù)荷功率變化趨勢相反,即00:00—07:00 和18:00—24:00 時(shí)段電負(fù)荷水平較低時(shí)風(fēng)電功率較高,07:00—18:00 時(shí)段電負(fù)荷水平較高時(shí)風(fēng)電的功率較低,反調(diào)峰特性明顯。而光電與風(fēng)電變化趨勢完全相反。這類負(fù)荷特性由新能源發(fā)電的固有特點(diǎn)決定,在我國的新能源開發(fā)中比較典型。
因此,新能源并網(wǎng)給電網(wǎng)運(yùn)行帶來困難,尤其在大量新能源并網(wǎng)時(shí)更加明顯。為此需要對系統(tǒng)進(jìn)行合理地優(yōu)化,以發(fā)揮新能源的優(yōu)勢,提高系統(tǒng)的可靠性和經(jīng)濟(jì)性。
本文考慮負(fù)荷具備橫向DR 和縱向DR 的能力,根據(jù)負(fù)荷的特性,數(shù)學(xué)建模為:
式中:PL(t),P0,L(t),ΔPL(t)分別為t時(shí)段IDR 后的負(fù)荷功率、IDR 前的負(fù)荷功率與IDR 負(fù)荷的改變量;分別為t時(shí)段IDR 后的負(fù)荷轉(zhuǎn)移改變量與IDR 后的負(fù)荷替代改變量;αmax為系統(tǒng)允許的最大負(fù)荷變化率。
1)轉(zhuǎn)移負(fù)荷。轉(zhuǎn)移負(fù)荷指在調(diào)度周期(1d)內(nèi)進(jìn)行用能時(shí)段轉(zhuǎn)移的負(fù)荷。數(shù)學(xué)建模為:
2)替代負(fù)荷。替代負(fù)荷指同一時(shí)段選擇不同的能源類型滿足負(fù)荷側(cè)等質(zhì)的用能需求的負(fù)荷。數(shù)學(xué)建模為:
本文基于IES 建立源荷側(cè)協(xié)同的雙層優(yōu)化調(diào)度模型,如圖2 所示。其中,其上層模型為調(diào)節(jié)電網(wǎng)負(fù)荷的峰谷波動,下層模型為IES 的優(yōu)化調(diào)度。
圖2 IES結(jié)構(gòu)與源荷側(cè)雙層優(yōu)化調(diào)度模型框架圖Fig.2 IES structure and source load side bi-level optimization dispatch model
2.1.1 目標(biāo)函數(shù)
為抑制電網(wǎng)負(fù)荷波動,上層模型采用最小二乘法建立目標(biāo)函數(shù),數(shù)學(xué)建模為:
式中:F1為負(fù)荷側(cè)電網(wǎng)的負(fù)荷方差;Pg(t),Pg,avg分別為t時(shí)段電網(wǎng)負(fù)荷與調(diào)度周期T內(nèi)電網(wǎng)的平均負(fù)荷;Ppv(t),Pwt(t)分別為t時(shí)段光電與風(fēng)電的最優(yōu)并網(wǎng)功率;P0,pv(t),P0,wt(t)分別為t時(shí)段光電和風(fēng)電的預(yù)測出力;μpv(t),μwt(t)分別為t時(shí)段光電與風(fēng)電的最優(yōu)并網(wǎng)系數(shù)。
2.1.2 運(yùn)行約束
1)并網(wǎng)約束為:
2)棄能約束為:
式中:βwt,max,βpv,max分別為最大允許的棄風(fēng)系數(shù)和棄光系數(shù)。
2.2.1 目標(biāo)函數(shù)
下層模型以IES 在調(diào)度周期T內(nèi)的總運(yùn)行成本最小為目標(biāo)函數(shù)。數(shù)學(xué)建模為:
1)從主電網(wǎng)購電的成本C1為:
式中:Pnet(t)為t時(shí)段IES 向主電網(wǎng)購電的功率;εe(t)為t時(shí)段的購電電價(jià)。
2)熱電機(jī)組(Combined Heat and Power,CHP)的運(yùn)行成本C2為:
式中:Pchp(t),Hchp(t)分別為t時(shí)段CHP 發(fā)出的電功率與熱功率;achp,bchp,cchp分別為CHP 的運(yùn)行成本系數(shù);cv1,cv2分別為CHP 的最小進(jìn)汽工況斜率和最大進(jìn)汽工況斜率。
3)電儲能設(shè)備(Battery,BA)的折舊成本C3為:
式中:Pba(t)為t時(shí)段BA 設(shè)備充電/放電的功率,若Pba(t)>0,表示t時(shí)段BA 設(shè)備處于放電狀態(tài),若Pba(t)<0,表示t時(shí)段BA 設(shè)備處于充電狀態(tài),若Pba(t)=0,表示t時(shí)段BA 設(shè)備處于靜置狀態(tài);ρba為BA 設(shè)備的折舊系數(shù)。
4)CO2排放懲罰成本C4為:
2.2.2 運(yùn)行約束
1)電/熱功率平衡約束為:
式中:Pchp,g(t),Peb(t) 為t時(shí)段CHP 與電熱鍋爐(Electric Boiler,EB)的并網(wǎng)功率;Hchp(t),Heb(t)為t時(shí)段CHP 和EB 輸出的熱功率;HL(t)為t時(shí)段的熱負(fù)荷需求。
2)與主電網(wǎng)聯(lián)絡(luò)線約束為:
式中:Pnet,min,Pnet,max分別為主電網(wǎng)聯(lián)絡(luò)線向IES 注入電功率的下限和上限。
3)設(shè)備運(yùn)行約束。
(1)CHP 設(shè)備約束為:
式中:b為CHP 的熱電比;Hchp,min,Hchp,max分別為CHP 輸出熱功率的下限與上限;Pchp,ccs(t)為t時(shí)段CHP 的碳捕集系統(tǒng)(Carbon Capture System,CCS)捕捉CO2消耗的電功率;為t時(shí)段CCS 捕捉的CO2量;?為捕捉單位的CO2量所需電功率;,分別為CHP 的CO2排放系數(shù)。。
(2)EB 設(shè)備約束為:
式中:ηeb為EB 設(shè)備的制熱效率;Heb,min,Heb,max分別為EB 輸出熱功率的下限和上限。
(3)BA 設(shè)備約束為:
式中:Soc(t)為t時(shí)段BA 的荷電狀態(tài);Soc,min,Soc,max為BA 的下限與上限;Pba,max,Pba,min分別為BA 設(shè)備充/放電功率的上限與下限;Qba為BA 設(shè)備的容量;ηba為BA 設(shè)備的充/放電系數(shù),其數(shù)學(xué)建模為:
式中:ηch,ηdis分別為電儲能設(shè)備的充電系數(shù)和放電系數(shù)。
本文所提源荷側(cè)協(xié)同的雙層優(yōu)化調(diào)度模型采用雙階段求解方法,如圖3 所示。其中,St,St+1分別為t,t+1 時(shí)段RL 智能體的狀態(tài)值;Rt,Rt+1分別為t,t+1時(shí)段RL 智能體獲得獎勵值。
圖3 IES源荷側(cè)雙層優(yōu)化調(diào)度模型求解流程Fig.3 Solving process of IES source-load side bi-level optimal dispatch model
本文所提模型求解方法中,上層模型使用商業(yè)求解器Groubi 優(yōu)化各時(shí)段的風(fēng)光并網(wǎng)功率和電網(wǎng)負(fù)荷功率,并將求解結(jié)果傳遞到下層模型。
下層模型基于Actor-Critic 框架的DDPG 強(qiáng)化學(xué)習(xí)算法,求解得到最優(yōu)的IES 調(diào)度方案。RL 智能體通過不斷與IES 環(huán)境交互試錯,通過評估動作-值函數(shù)Qπ(S,A),尋找最優(yōu)的策略π,以獲得最大化累計(jì)獎勵R,即:
式中:S為IES 環(huán)境的狀態(tài)空間;a為RL 智能體動作;A為RL 智能體的動作空間;Eπ(?)為策略π的期望;φ為折扣因子,φ∈[0,1]。
RL 智能體在t時(shí)段觀測到環(huán)境狀態(tài)St后,基于策略π生成的動作At作用于環(huán)境,得到當(dāng)前t時(shí)段的獎勵Rt,RL 智能體進(jìn)入到下一個環(huán)境狀態(tài)St+1。將這一過程得到的經(jīng)驗(yàn)(St,At,Rt,St+1)存儲在經(jīng)驗(yàn)回放池M中,用于RL 智能體訓(xùn)練時(shí)更新估值神經(jīng)網(wǎng)絡(luò)參數(shù)。RL 智能體在訓(xùn)練學(xué)習(xí)過程中,以IES 總運(yùn)行成本最小為目標(biāo)函數(shù)訓(xùn)練DDPG 算法的神經(jīng)網(wǎng)絡(luò),訓(xùn)練結(jié)束后即可用于IES 的優(yōu)化調(diào)度。對IES 的狀態(tài)空間、動作空間和獎勵函數(shù)進(jìn)行設(shè)計(jì)。
1)狀態(tài)空間。IES 的狀態(tài)空間St為5 維狀態(tài),數(shù)學(xué)建模為:
2)動作空間。IES 的動作空間At為2 維動作,數(shù)學(xué)建模為:
3)獎勵函數(shù)。IES 的獎勵函數(shù)Rt(St,At)為RL智能體在t時(shí)刻獲得的最大化獎勵,數(shù)學(xué)建模為:
本文以華東地區(qū)某高校的實(shí)際微能源系統(tǒng)為研究對象,系統(tǒng)的風(fēng)電、光電和電/熱負(fù)荷數(shù)據(jù)采集于2020 年6 月22 日—2020 年6 月30 日,如圖4 所示。
圖4 微能源系統(tǒng)的歷史數(shù)據(jù)Fig.4 Historical data of micro-energy systems
本文設(shè)置DDPG 算法的估值神經(jīng)網(wǎng)絡(luò)和目標(biāo)神經(jīng)網(wǎng)絡(luò)的隱含層均為2 層,大小分別為256 和128,激活函數(shù)為tanh 函數(shù),其他參數(shù)請參考文獻(xiàn)[18-19]。IES 的調(diào)度周期為24 h,間隔時(shí)段為15 min,并使用6 月22 日—6 月29 日的數(shù)據(jù)進(jìn)行訓(xùn)練,使用6 月30 日的數(shù)據(jù)進(jìn)行測試。本文采用分時(shí)電價(jià),如表1所示。其中,峰時(shí)段為07:00—15:00,平時(shí)段15:00—23:00,谷時(shí)段為00:00—07:00,23:00—24:00。
表1 電價(jià)劃分Table 1 Electricity price division [元·(kWh)-1]
4.2.1 上層模型調(diào)度結(jié)果
圖5 為各時(shí)段最優(yōu)的風(fēng)光并網(wǎng)功率。在整個調(diào)度周期內(nèi),光電的并網(wǎng)率大于風(fēng)電的并網(wǎng)率,光電和風(fēng)電并網(wǎng)率分別為94.86%和57.47%。在峰時(shí)段和平時(shí)段,風(fēng)電和光電的發(fā)電功率大部分被并網(wǎng)消納,這是由于在峰時(shí)段和平時(shí)段的新能源發(fā)電功率和負(fù)荷需求量較高所致。而在谷時(shí)段,風(fēng)電的并網(wǎng)功率處在較低的水平,甚至在02:00—06:00 時(shí)段風(fēng)電并網(wǎng)率最小為0,這是由于在谷時(shí)段電網(wǎng)負(fù)荷的需求量較低,盡管風(fēng)電功率在整個調(diào)度周期內(nèi)處于較高水平,但由于電網(wǎng)負(fù)荷的限制,風(fēng)電功率并未充分利用。因此,上層模型可以在保證風(fēng)光并網(wǎng)消納率最大的前提下,實(shí)現(xiàn)對電網(wǎng)負(fù)荷的調(diào)峰運(yùn)行。
圖5 各時(shí)段最優(yōu)的風(fēng)光并網(wǎng)功率Fig.5 Optimal WPV grid-connected power at each time
圖6 為電負(fù)荷的IDR 調(diào)度結(jié)果。根據(jù)電負(fù)荷需求的特點(diǎn),13:00—21:00 時(shí)段通過減少電負(fù)荷曲線的“峰值”,即利用轉(zhuǎn)移負(fù)荷將該時(shí)段的部分用電需求轉(zhuǎn)移至谷時(shí)段。00:00—07:00 和22:00—24:00時(shí)段通過增加電負(fù)荷曲線的“谷值”,即峰時(shí)段或平時(shí)段的部分用電需求通過轉(zhuǎn)移負(fù)荷的方式至該時(shí)段。此外,負(fù)荷側(cè)優(yōu)化更傾向于將峰時(shí)段或平時(shí)段的部分用電需求用其他類型能源替代。
圖6 電負(fù)荷的IDR調(diào)度結(jié)果Fig.6 IDR dispatching result of electrical load
通過源荷側(cè)協(xié)同調(diào)峰運(yùn)行方法可以抑制電網(wǎng)負(fù)荷的波動,實(shí)現(xiàn)電網(wǎng)負(fù)荷曲線的“削峰填谷”。電負(fù)荷曲線和考慮風(fēng)光并網(wǎng)后的電網(wǎng)負(fù)荷曲線在經(jīng)過上層模型平滑優(yōu)化后,如圖7 所示,不僅降低了電網(wǎng)負(fù)荷的峰谷差還提升了電網(wǎng)的調(diào)峰能力。由圖7 可知,初始電負(fù)荷功率曲線的峰谷差為2.16 MW。當(dāng)風(fēng)電和光電的出力功率被全額并網(wǎng)消納后,此時(shí)電網(wǎng)的負(fù)荷變化率較大,電網(wǎng)負(fù)荷曲線的峰谷差為1.81 MW。通過本文所提的調(diào)峰運(yùn)行方法優(yōu)化后,電網(wǎng)負(fù)荷曲線的最大峰谷差僅為0.7 MW。因此,經(jīng)過本文所提的上層模型優(yōu)化后,不僅可以抑制電網(wǎng)負(fù)荷曲線的波動,還保證了較高的風(fēng)光消納率。
4.2.2 下層模型調(diào)度結(jié)果
圖8 和圖9 分別為IES 的電功率調(diào)度結(jié)果和熱功率調(diào)度結(jié)果。由圖8—圖9 可知,IES 購電量與電價(jià)成反比,即在電價(jià)較高時(shí)購電量較少,在電價(jià)較低時(shí)購電量較多。在峰時(shí)段和平時(shí)段,除風(fēng)光并網(wǎng)功率外,由于CHP 的“以熱定電”約束,使CHP 的發(fā)電功率也處于較高水平,電儲能設(shè)備則適時(shí)對外放電;在谷時(shí)段,CHP 的電出力基本用于CCS,如圖10 所示,除風(fēng)電并網(wǎng)功率外,IES 主要提高購電量以滿足負(fù)荷側(cè)的用電需求,并將多余的電能儲存在BA 中,以用于后續(xù)時(shí)段調(diào)度的使用。IES 的熱負(fù)荷主要由CHP供應(yīng),當(dāng)熱負(fù)荷高于1.2MW 時(shí),僅靠CHP 的熱出力供熱無法滿足時(shí),電熱鍋爐啟動承擔(dān)熱負(fù)荷的調(diào)峰。
圖8 電功率調(diào)度結(jié)果Fig.8 Dispatching result of electric power
圖9 熱功率調(diào)度結(jié)果Fig.9 Dispatching result of heat power
圖10 CHP的CCS捕集的CO2量與所消耗的電功率關(guān)系Fig.10 Relationship between CO2 capture amount and electrical power consumed by CCS of CHP
由圖10 可知,在調(diào)度周期T內(nèi),CCS 消耗的電功率與CCS 捕集的CO2量成正比。通過捕集CHP運(yùn)行程中產(chǎn)生的CO2并將其封存在地下或其他儲存設(shè)施中,以減少CO2氣體排放。因此,含CCS 的CHP 在IES 中運(yùn)行時(shí),在減少IES 的運(yùn)行成本和實(shí)現(xiàn)IES 的低碳運(yùn)行方面具有較好的效果。
綜上所述,下層模型能夠動態(tài)的優(yōu)化IES 中各設(shè)備的運(yùn)行狀態(tài),在提高IES 的經(jīng)濟(jì)性和實(shí)現(xiàn)IES的低碳運(yùn)行方面具有有效性。
為驗(yàn)證本文所提出的IES 源荷側(cè)協(xié)同運(yùn)行方法的經(jīng)濟(jì)性和其在不同負(fù)荷特性上的普適性,設(shè)立工作日和周末2 個不同時(shí)段的4 個場景進(jìn)行對比分析。場景1:不考慮調(diào)峰運(yùn)行,利用Gurobi 求解;場景2:考慮荷側(cè)IDR 調(diào)峰運(yùn)行,利用Gurobi 求解;場景3:考慮源荷側(cè)協(xié)同的調(diào)峰運(yùn)行,利用Gurobi 求解;場景4:考慮源荷側(cè)協(xié)同的調(diào)峰運(yùn)行,利用Gurobi+DDPG 算法求解。工作日和周末各場景下的IES 運(yùn)行成本如表2 所示。
表2 各場景下的IES運(yùn)行成本Table 2 Operating cost of IES under each scenario 元
由表2 可知,場景1 中的IES 運(yùn)行成本在工作日和周末均最高。場景2 相較于場景1,由于考慮荷側(cè)IDR 調(diào)峰運(yùn)行,IES 能夠根據(jù)負(fù)荷特性和能源價(jià)格進(jìn)行優(yōu)化,使IES 運(yùn)行成本有所降低。場景3相對與場景2,考慮了源荷側(cè)協(xié)同的調(diào)峰運(yùn)行,實(shí)現(xiàn)經(jīng)濟(jì)高效地IES 運(yùn)行。場景4 相較于場景3,由于引入了DDPG 算法,能夠更加準(zhǔn)確地預(yù)測負(fù)荷特性和價(jià)格信號,源荷側(cè)協(xié)同調(diào)峰得到進(jìn)一步優(yōu)化,使IES 運(yùn)行更加經(jīng)濟(jì)。綜上所述,本文所提出的IES源荷側(cè)協(xié)同運(yùn)行方法,能夠顯著降低IES 的運(yùn)行成本,具有一定的普適性。
為解決高比例風(fēng)光并網(wǎng)引起的電網(wǎng)峰谷波動,本文提出了一種源荷側(cè)協(xié)同調(diào)峰的運(yùn)行方法和雙層優(yōu)化調(diào)度模型,并通過算例驗(yàn)證了本文所提方法在平抑電網(wǎng)負(fù)荷波動、提高IES 的峰谷調(diào)節(jié)能力和提高IES 的經(jīng)濟(jì)性具有顯著的效果。