馮文韜,李龍勝,曾 愚,潘可佳,張子聞,景致遠(yuǎn)

(1. 國網(wǎng)四川省電力公司信息通信公司,四川 成都 610041;2. 電子科技大學(xué)機(jī)械與電氣工程學(xué)院,四川 成都 611731)

0 引 言

近年來,隨著各國GDP和科學(xué)技術(shù)的飛速發(fā)展,化石能源消耗急劇增長。近幾十年里,化石能源的高消耗造成大氣中CO2濃度猛增。為有效降低CO2增長比例,各國開始研究利用可再生能源替代化石能源以此實(shí)現(xiàn)低碳生活[1-2]。中國在2020年提出了“碳中和、碳達(dá)峰”目標(biāo),旨在通過加強(qiáng)對(duì)風(fēng)力、光伏等可再生能源的發(fā)展,降低化石能源在微電網(wǎng)體系的比例,從而實(shí)現(xiàn)減少碳排放的目標(biāo)[3]。然而可再生能源存在的隨機(jī)性、間歇性等缺點(diǎn)導(dǎo)致其在微電網(wǎng)中的比例難以有效提升。此外,能源需求的飛速增長也給當(dāng)前微電網(wǎng)能源供給優(yōu)化帶來了一定的壓力。因此,未來十幾年內(nèi)化石能源依舊會(huì)在微電網(wǎng)中占據(jù)較大的比例。當(dāng)前人們面臨著如何優(yōu)化能源管理策略同時(shí)滿足能源需求與實(shí)現(xiàn)系統(tǒng)低碳化的難題。電力行業(yè)中發(fā)電側(cè)使用能源最多的依舊是燃煤等化石能源,在發(fā)電的同時(shí)增加了碳排放。碳排放與發(fā)電側(cè)密切關(guān)聯(lián),因此,眾多學(xué)者對(duì)發(fā)電側(cè)碳排放進(jìn)行了相應(yīng)的研究。

文獻(xiàn)[4]構(gòu)建了一種考慮碳減排合作機(jī)制和引入風(fēng)力發(fā)電的微電網(wǎng)低碳調(diào)度模型,利用碳捕捉裝置有效地吸收燃煤輪機(jī)產(chǎn)生的CO2,從而實(shí)現(xiàn)系統(tǒng)低碳經(jīng)濟(jì)運(yùn)行[5-6]。文獻(xiàn)[7]設(shè)計(jì)和規(guī)劃了一個(gè)多能載體微電網(wǎng),利用能源系統(tǒng)中二氧化碳流的建模技術(shù)估計(jì)能源系統(tǒng)中分布的碳量,提出了配電系統(tǒng)層面多載能系統(tǒng)的優(yōu)化方法。文獻(xiàn)[8]為研究不同的低碳技術(shù)對(duì)微電網(wǎng)經(jīng)濟(jì)調(diào)度的影響,構(gòu)建了一個(gè)基于機(jī)會(huì)約束的兩階段隨機(jī)優(yōu)化調(diào)度模型。然而,隨著微電網(wǎng)規(guī)模逐漸龐大化、系統(tǒng)結(jié)構(gòu)逐漸復(fù)雜化、控制變量多元化,上述方法難以快速有效地獲取最優(yōu)低碳經(jīng)濟(jì)策略。

隨著AI技術(shù)的快速發(fā)展,具有記憶能力的強(qiáng)化學(xué)習(xí)(reinforcement learning, RL)方法廣泛地應(yīng)用于微電網(wǎng)電壓控制、運(yùn)行優(yōu)化等領(lǐng)域[9]。文獻(xiàn)[10]基于深度Q網(wǎng)絡(luò)(deep Q network, DQN)構(gòu)建了一種低碳家庭微電網(wǎng)能源動(dòng)態(tài)管理模型,擺脫了源荷不確定性對(duì)系統(tǒng)低碳經(jīng)濟(jì)運(yùn)行的影響。然而,上述方法在面對(duì)微電網(wǎng)中連續(xù)多目標(biāo)實(shí)時(shí)控制問題,難以快速獲得最優(yōu)策略。文獻(xiàn)[11]利用深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning, DRL)構(gòu)建了一種超參數(shù)自適應(yīng)的多能供給微電網(wǎng)優(yōu)化調(diào)度模型,可以實(shí)時(shí)制定系統(tǒng)中多元件最優(yōu)出力策略,實(shí)現(xiàn)微電網(wǎng)低碳經(jīng)濟(jì)運(yùn)行。文獻(xiàn)[12]利用DRL建立了一種電動(dòng)汽車充電能源管理策略?；贒RL的先進(jìn)性,下面采用深度確定性策略梯度算法(deep deterministic policy gradient, DDPG)搭建了一種同時(shí)將微電網(wǎng)的經(jīng)濟(jì)性和低碳性作為優(yōu)化目標(biāo)的調(diào)度模型。首先,介紹了碳排放理論流重點(diǎn)概念,并基于此構(gòu)建了一種更能反映實(shí)際情況的階梯碳價(jià)計(jì)算模型;然后,利用DDPG建立了一個(gè)微電網(wǎng)低碳經(jīng)濟(jì)運(yùn)行優(yōu)化模型,通過考慮負(fù)荷需求響應(yīng)實(shí)現(xiàn)降低系統(tǒng)運(yùn)行成本和減少碳排放量的目標(biāo);最后,建立了一個(gè)實(shí)時(shí)調(diào)度模型,能夠根據(jù)微電網(wǎng)最新的信息實(shí)時(shí)制定最優(yōu)策略。

1 碳排放流理論研究

1.1 碳排放理論概述

當(dāng)利用煤炭等化石能源發(fā)電時(shí),燃燒過程中會(huì)釋放大量的CO2,從而產(chǎn)生碳排放。假定產(chǎn)生的CO2并不是直接從發(fā)電廠釋放到大氣層中,而是隨著電能的傳輸直至用戶。用戶在使用電能的同時(shí),需要支付發(fā)電造成的碳排放成本。因此碳排放成本并不單單由發(fā)電側(cè)承擔(dān),用戶也具有一定的責(zé)任。據(jù)此,提出了碳排放流方法用以研究碳排放在發(fā)電側(cè)到用戶之間的關(guān)系,如圖1所示[13-14]。在計(jì)算過程中應(yīng)該從用戶側(cè)討論碳排放責(zé)任劃分,而碳排放流理論能夠有效地將發(fā)電側(cè)的碳排放任務(wù)分給用戶。

圖1 碳排放流結(jié)構(gòu)

1.2 碳排放流理論相關(guān)定義

1.2.1 碳排放流率

碳排放流率表示單位時(shí)間內(nèi)系統(tǒng)某一節(jié)點(diǎn)通過的CO2流量[15],t/h。

(1)

式中:MCEF為碳排放流率;CCEF為碳排放的流量;t為時(shí)間。

1.2.2 支路碳流密度

碳排放流主要依靠電力系統(tǒng)中的有功潮流,支路消耗單位電量導(dǎo)致發(fā)電側(cè)產(chǎn)生CO2的數(shù)值稱之為支路碳流密度[15],t/kWh。

(2)

式中:IBCEl為支路l的碳流密度;Pl為支路l的有功功率。

1.2.3 節(jié)點(diǎn)碳勢

節(jié)點(diǎn)碳勢主要描述節(jié)點(diǎn)消耗單位電量導(dǎo)致發(fā)電側(cè)產(chǎn)生CO2的數(shù)值,一般也可叫做節(jié)點(diǎn)碳流密度,用INCEi表示[15],t/kWh。

(3)

式中,N+為所有與節(jié)點(diǎn)i相連接的支路。

1.3 碳排放流計(jì)算方法

以圖1的節(jié)點(diǎn)2為例,節(jié)點(diǎn)2的碳勢INCE2[16]為

(4)

式中:P2為節(jié)點(diǎn)2的有功功率;INCEg2為發(fā)電機(jī)在節(jié)點(diǎn)2的碳勢。

根據(jù)碳排放流理論求解過程,支路中碳流密度由本支路中首個(gè)節(jié)點(diǎn)的碳流密度決定,即

IBCEl2=INCE2

(5)

根據(jù)各個(gè)發(fā)電機(jī)組在每個(gè)節(jié)點(diǎn)的碳勢以及系統(tǒng)各個(gè)節(jié)點(diǎn)的負(fù)荷量即可求解出各節(jié)點(diǎn)的碳排放量。

Bemi=INCEdi·Di

(6)

式中:Bemi為節(jié)點(diǎn)i的碳排放量;INCEdi為負(fù)荷節(jié)點(diǎn)i的碳勢;Di為節(jié)點(diǎn)i的負(fù)荷量。

2 碳計(jì)量模型以及階梯碳價(jià)計(jì)算模型

2.1 發(fā)電機(jī)組碳排放計(jì)量模型

在傳統(tǒng)的計(jì)算過程中,發(fā)電機(jī)組的碳排放量計(jì)算時(shí)總是采取固定因子,即碳排放量與發(fā)電量之間存在著線性關(guān)系,該方法在長時(shí)間的計(jì)算過程中精確度較低,難以真實(shí)有效地評(píng)估發(fā)電機(jī)組長時(shí)間運(yùn)作碳排放量。因此采用了一種動(dòng)態(tài)碳排放計(jì)算模型,該模型將發(fā)電機(jī)組的出力分為了幾個(gè)區(qū)間,隨著機(jī)組出力的增加,區(qū)間數(shù)目逐漸增大,區(qū)間碳排放強(qiáng)度值增長趨勢將逐漸減緩。求解每個(gè)機(jī)組總碳排放量時(shí),首先計(jì)算每個(gè)區(qū)間的碳排放量,即區(qū)間碳排放強(qiáng)度值與機(jī)組出力之間的乘積;最后將所有區(qū)間的碳排量相加即為總碳排放量。動(dòng)態(tài)碳排放計(jì)算模型[14]為

(7)

式中:B(i,t)為機(jī)組i在時(shí)刻t的總碳排放量;P(i,t)為機(jī)組i在時(shí)刻t的功率輸出;p為區(qū)間長度;Pmin,i和Pmax,i分別為機(jī)組i最小和最大輸出功率;P0為機(jī)組最低輸出功率;ψ1為碳排放強(qiáng)度的基準(zhǔn)值;ξ1、ξ2、…、ξn為碳排放強(qiáng)度的增長系數(shù),隨著碳排放的逐漸增加,該值逐漸降低。

2.2 階梯碳價(jià)計(jì)算模型

為有效降低節(jié)點(diǎn)碳排放量,將各節(jié)點(diǎn)每個(gè)時(shí)刻的碳排放量分為了幾個(gè)區(qū)間,主要包括免費(fèi)區(qū)間、低碳區(qū)間、中碳區(qū)間等。隨著區(qū)間的上升,碳價(jià)具有一定的漲幅,計(jì)算總碳排放成本為各區(qū)間碳價(jià)與碳排放的乘積之和。階梯式碳價(jià)的計(jì)算模型[17]為

(8)

式中:Cemi,i,t為機(jī)組i在時(shí)刻t的總碳排放成本;ψ2為碳排放成本基準(zhǔn)值;Bc為機(jī)組免費(fèi)碳排放額度;b為區(qū)間長度;ω為區(qū)間之間的碳交易價(jià)格漲幅,一般取值較小。

3 問題建模

3.1 優(yōu)化模型

該模型的優(yōu)化目標(biāo)函數(shù)為最小化系統(tǒng)發(fā)電成本、碳排放成本以及負(fù)荷轉(zhuǎn)移成本。

(9)

式中:Cg,t為火力發(fā)電機(jī)組在時(shí)刻t的成本;Cwind,t為風(fēng)力發(fā)電機(jī)組在時(shí)刻t的成本;Cload,i,t為負(fù)荷響應(yīng)產(chǎn)生的成本。

各成本的計(jì)算方式為:

Cg,t=cg·Pg,t

(10)

Cwind,t=cwind·Pwind,t

(11)

Cload,i,t=cload,i,t·Pload,i,t

(12)

式中:cg為火力機(jī)組發(fā)電成本系數(shù);Pg,t為火力機(jī)組在時(shí)刻t的發(fā)電功率;cwind為風(fēng)力機(jī)組發(fā)電成本系數(shù);Pwind,t為風(fēng)力機(jī)組在時(shí)刻t的發(fā)電功率;cload,i,t為節(jié)點(diǎn)i在時(shí)刻t的負(fù)荷轉(zhuǎn)移系數(shù),Pload,i,t為節(jié)點(diǎn)i在時(shí)刻t的負(fù)荷轉(zhuǎn)移功率。

3.2 馬爾科夫決策建模

將微電網(wǎng)低碳經(jīng)濟(jì)優(yōu)化調(diào)度問題構(gòu)建為一個(gè)馬爾可夫決策,即:

環(huán)境:微電網(wǎng)網(wǎng)絡(luò)。

智能體:深度強(qiáng)化學(xué)習(xí)算法。

狀態(tài):時(shí)刻t微電網(wǎng)中各節(jié)點(diǎn)用電負(fù)荷功率、時(shí)刻t各發(fā)電機(jī)組最大出力和碳排放系數(shù)、時(shí)刻t風(fēng)電預(yù)測功率和發(fā)電機(jī)組時(shí)刻t碳價(jià)。

動(dòng)作:時(shí)刻t火力發(fā)電功率、時(shí)刻t各節(jié)點(diǎn)負(fù)荷轉(zhuǎn)移功率和時(shí)刻t風(fēng)電接入系統(tǒng)功率。

獎(jiǎng)勵(lì)值:智能體針對(duì)當(dāng)前狀態(tài)選擇執(zhí)行的動(dòng)作所獲得的獎(jiǎng)勵(lì)。

3.3 相關(guān)約束

Pi,t=Pexp,i,t-Pwind,t-Pg,t,i∈N

(13)

Qi,t=Qexp,i,t-Qg,t,i∈N

(14)

Pg,min≤Pg,t≤Pg,max

(15)

Pwind,min≤Pwind,t≤Pwind,max

(16)

ζre,t=0

(17)

ΔPg,min≤Pg,t-Pg,t-1≤ΔPg,max,t>2

(18)

式中:Pi,t和Qi,t分別為節(jié)點(diǎn)i在時(shí)刻t凈流入有功功率和無功功率;Pexp,i,t和Qexp,i,t分別為時(shí)刻t節(jié)點(diǎn)i負(fù)荷預(yù)測維持系統(tǒng)平衡所需有功功率和無功功率;Pg,min和Pg,max分別為發(fā)電機(jī)組出力的最小值與最大值;Pwind,min和Pwind,max為風(fēng)電機(jī)組出力的最小值與最大值;ζre,t為平衡節(jié)點(diǎn)時(shí)刻t相角約束;ΔPg,min和ΔPg,max為發(fā)電機(jī)組功率爬坡限制。

4 深度強(qiáng)化學(xué)習(xí)方法

在監(jiān)督或無監(jiān)督學(xué)習(xí)中,學(xué)習(xí)過程是基于現(xiàn)有數(shù)據(jù)的,但強(qiáng)化學(xué)習(xí)采用了完全不同的方法,其通過不斷的試錯(cuò)獲得最優(yōu)的結(jié)果。經(jīng)過訓(xùn)練的智能體在其環(huán)境中以一系列時(shí)間離散步驟t=1,2…,T移動(dòng)。在每個(gè)時(shí)間步長,智能體感知其狀態(tài)并選擇一個(gè)動(dòng)作at。根據(jù)動(dòng)作智能體移動(dòng)到下一個(gè)狀態(tài)st+1,它接收到來自環(huán)境的評(píng)估反饋,這表明它的決策是以目標(biāo)為導(dǎo)向的。通過這種方式定義獎(jiǎng)勵(lì)rt,如此反復(fù)訓(xùn)練直至結(jié)果收斂,如圖2所示。

圖2 智能體與環(huán)境交互

4.1 評(píng)價(jià)網(wǎng)絡(luò)

DDPG算法的評(píng)價(jià)網(wǎng)絡(luò)包括了計(jì)算Q值的評(píng)價(jià)函數(shù)[18]。

(19)

式中:Kt為目標(biāo)評(píng)價(jià)函數(shù)的數(shù)值;σ為折扣系數(shù);Q′(·)為目標(biāo)評(píng)價(jià)函數(shù);?′為目標(biāo)評(píng)價(jià)函數(shù)中的參數(shù)合集。

評(píng)價(jià)網(wǎng)絡(luò)參數(shù)的損失函數(shù)為

(20)

式中,E(·)為數(shù)學(xué)期望;Q(·)為評(píng)價(jià)函數(shù)。

其梯度下降求解方法為:

(21)

?t+1=?t-δ??J(?)

(22)

式中:??J(?)為梯度下降方向;δ為評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率;??Q(·)為評(píng)價(jià)函數(shù)的下降梯度。

4.2 動(dòng)作網(wǎng)絡(luò)

動(dòng)作網(wǎng)絡(luò)中t+1時(shí)刻的動(dòng)作函數(shù)[19]為

at+1=πθ(st+1|θ)

(23)

式中:πθ(·)為動(dòng)作函數(shù);θ為動(dòng)作函數(shù)的參數(shù)。

梯度?θJ(θ)表示為:

?θJ(θ)=Ε[?aQ(st,at|?)·?θπθ(st)]

(24)

θt+1=θt-ε?θJ(θ)

(25)

式中,ε為動(dòng)作網(wǎng)絡(luò)的學(xué)習(xí)率。目標(biāo)動(dòng)作函數(shù)的計(jì)算公式為

a′=π?′(s′t+1|?′)

(26)

針對(duì)目標(biāo)動(dòng)作函數(shù)和目標(biāo)評(píng)價(jià)函數(shù)的參數(shù),選用了一個(gè)較小的平滑系數(shù)實(shí)現(xiàn)軟更新。

(27)

(28)

式中:?′為目標(biāo)動(dòng)作函數(shù)參數(shù)合集;λ為平滑系數(shù);θ′為目標(biāo)評(píng)價(jià)函數(shù)參數(shù)合集。

所提方法的流程如圖3所示。

圖3 算法流程

5 算例分析

在PJM-5節(jié)點(diǎn)系統(tǒng)上驗(yàn)證試驗(yàn),結(jié)構(gòu)如圖4所示,該節(jié)點(diǎn)系統(tǒng)主要包括了6條輸電線路、5種不同類型的發(fā)電機(jī)組以及3個(gè)用電負(fù)荷,其中風(fēng)力發(fā)電機(jī)組接在節(jié)點(diǎn)E,各節(jié)點(diǎn)參數(shù)來源于參考文獻(xiàn)[20]。所提算法選用了python進(jìn)行程序編撰與運(yùn)行。

圖4 PJM-5節(jié)點(diǎn)系統(tǒng)

系統(tǒng)各時(shí)刻用電負(fù)荷以及風(fēng)力發(fā)電機(jī)組出力如圖5所示。從圖中可以看出風(fēng)力機(jī)組在1:00—8:00、13:00—16:00、22:00—24:00都維持了較高的出力。9:00—12:00、17:00—21:00出力較低。負(fù)荷在7:00—21:00之間功率較高。除了4:00—6:00以外,每個(gè)時(shí)刻的用電負(fù)荷都大于風(fēng)電出力。

圖5 風(fēng)力機(jī)組出力及用電負(fù)荷

各節(jié)點(diǎn)機(jī)組參數(shù)設(shè)置如表1所示,各發(fā)電機(jī)組碳排放系數(shù)求解方法參考文獻(xiàn)[21]。粒子群算法、DQN算法以及所提算法中各參數(shù)設(shè)置分別如表2和表3所示。

表1 發(fā)電機(jī)組相關(guān)參數(shù)設(shè)置

表2 粒子群算法相關(guān)參數(shù)設(shè)置

表3 DQN和DDPG相關(guān)參數(shù)設(shè)置

為驗(yàn)證所提方法的有效性,選取了粒子群算法以及DQN算法作為對(duì)比。粒子群算法是一種基于個(gè)體之間信息交流和合作的優(yōu)化算法,DQN算法是Q-learning算法的升級(jí)版,其采用深度神經(jīng)網(wǎng)絡(luò)來近似Q值函數(shù)。各方法在測試集上的結(jié)果如表4所示。從表4中可以看出,雖然粒子群算法的風(fēng)機(jī)發(fā)電成本以及負(fù)荷響應(yīng)成本都低于其他兩個(gè)方法,但是其碳排放成本以及機(jī)組發(fā)電成本都高于其他兩種方法。這是因?yàn)槠洳呗载?fù)荷需求響應(yīng)較低,難以有效地開發(fā)風(fēng)力發(fā)電機(jī)組的潛力。DQN算法相較粒子群方法有了一定提升,但是最終的總成本依舊低于DDPG算法。DDPG算法的總成本相較粒子群算法降低了12.68%,相較DQN算法降低了5.16%。

表4 各算法在測試集上的成本對(duì)比 單位:美元

需求響應(yīng)前后風(fēng)電出力對(duì)比和負(fù)荷變化對(duì)比情況分別如圖6和圖7所示。從圖6中可以看出,在風(fēng)電出力較高的時(shí)刻,如1:00—7:00、15:00—16:00、22:00—24:00,考慮負(fù)荷響應(yīng)以后,系統(tǒng)消納風(fēng)電的功率有所增加。這是因?yàn)橥ㄟ^負(fù)荷轉(zhuǎn)移,該時(shí)段的負(fù)荷有所增加,從而提升了負(fù)荷需求隨著風(fēng)電消納的增加,系統(tǒng)中火力發(fā)電相應(yīng)減少,減少了碳排放量與用電成本。

圖6 需求響應(yīng)前后風(fēng)力機(jī)組輸出對(duì)比

圖7 需求響應(yīng)前后負(fù)荷變化對(duì)比

考慮需求響應(yīng)前后系統(tǒng)整體發(fā)電成本以及碳排放成本如表5所示。從表中可以看出,考慮負(fù)荷需求響應(yīng)后,系統(tǒng)在負(fù)荷可調(diào)節(jié)的范圍內(nèi)對(duì)負(fù)荷進(jìn)行了再分配。將負(fù)荷轉(zhuǎn)移至富余風(fēng)力發(fā)電時(shí)刻從而提升了風(fēng)電出力權(quán)重,減少碳排放較大的火力發(fā)電機(jī)組出力,降低系統(tǒng)運(yùn)行成本的同時(shí)實(shí)現(xiàn)碳減排?？紤]負(fù)荷需求響應(yīng)以后系統(tǒng)發(fā)電成本降低了2300美元,碳排放成本降低了7600美元。節(jié)點(diǎn)通過負(fù)荷響應(yīng)加大對(duì)風(fēng)電的消納,減少了碳排放量,如表6所示。從表6中可以看出,各節(jié)點(diǎn)經(jīng)過需求響應(yīng)后都降低了碳排放量,總碳排放量削減達(dá)到了707 t。

表5 考慮需求響應(yīng)前后成本對(duì)比 單位:美元

表6 各節(jié)點(diǎn)碳排放量 單位:t

6 結(jié) 論

上面提出了一種以系統(tǒng)經(jīng)濟(jì)性和低碳為目標(biāo)的考慮需求響應(yīng)的優(yōu)化調(diào)度模型,利用碳排放理論流構(gòu)建了階梯碳價(jià)模型。通過實(shí)驗(yàn)驗(yàn)證表明:1)所提方法能有效地求解包括系統(tǒng)經(jīng)濟(jì)性與碳排放在內(nèi)的多目標(biāo)優(yōu)化問題,總運(yùn)營成本相較粒子群算法降低了12.68%,相較DQN算法降低了5.16%;2)通過考慮負(fù)荷需求響應(yīng),成功地提升了風(fēng)電消納比例并降低了碳排放量;3)所提優(yōu)化調(diào)度模型基于DRL算法的快速響應(yīng)能力能夠?qū)崟r(shí)做出決策。