鄭潔云，宋倩蕓，吳桂聯(lián)，陳 浩，胡志堅(jiān)，陳 志，翁菖宏，陳錦鵬

(1.國(guó)網(wǎng)福建省電力有限公司經(jīng)濟(jì)技術(shù)研究院，福建 福州 350012；2.武漢大學(xué)電氣與自動(dòng)化學(xué)院，湖北 武漢 430072)

隨著能源短缺和環(huán)境污染問(wèn)題日益凸顯，如何通過(guò)節(jié)能減排、提高能源利用率、增加新能源占比等方式來(lái)實(shí)現(xiàn)可持續(xù)的發(fā)展是當(dāng)前研究中較為關(guān)注的問(wèn)題[1-2]。區(qū)域綜合能源系統(tǒng)(regional integrated energy system, RIES)在此背景下應(yīng)運(yùn)而生，RIES直接面向終端能源用戶，利用光伏、風(fēng)力等發(fā)電方式可以提高清潔能源在終端能源消費(fèi)中的占比，同時(shí)，通過(guò)熱電聯(lián)產(chǎn)、燃?xì)忮仩t等能源轉(zhuǎn)化裝置可以滿足用戶的多種用能需求[3-5]。在恰當(dāng)?shù)哪茉催\(yùn)行策略下，RIES可以實(shí)現(xiàn)多能互補(bǔ)和能量的梯級(jí)利用[6]，最終實(shí)現(xiàn)能源的高效靈活利用。但RIES中負(fù)荷的波動(dòng)性、風(fēng)力和光伏的不確定性以及能流的多樣性的存在，使得制定經(jīng)濟(jì)合理的運(yùn)行策略具有較大的挑戰(zhàn)[7-8]。

目前，國(guó)內(nèi)外關(guān)于RIES的運(yùn)行策略優(yōu)化已有一定的研究成果。文獻(xiàn)[9-12]為了尋求綜合能源系統(tǒng)的有效運(yùn)行策略，或建立了混合整數(shù)線性模型，采用數(shù)學(xué)優(yōu)化算法進(jìn)行求解；或建立混合整數(shù)非線性模型，采用粒子群、遺傳等智能算法進(jìn)行求解。除了數(shù)學(xué)優(yōu)化、智能算法外，也有研究將馬爾可夫決策過(guò)程(Markov decision process, MDP)應(yīng)用到綜合能源系統(tǒng)的能量管理和運(yùn)行策略優(yōu)化中，并且達(dá)到了較好的效果[13-15]。文獻(xiàn)[16]基于深度Q網(wǎng)絡(luò)(deep Q network, DQN)對(duì)微能源網(wǎng)進(jìn)行能量管理，驗(yàn)證了強(qiáng)化學(xué)習(xí)算法在能量管理中相較于啟發(fā)式算法的優(yōu)勢(shì)；文獻(xiàn)[17-18]在Q學(xué)習(xí)算法中引入雙層模糊推理來(lái)對(duì)Q值表進(jìn)行處理；文獻(xiàn)[19-20]引入強(qiáng)化學(xué)習(xí)算法考慮多個(gè)智能體之間的博弈，制定了RIES的能源管理策略和負(fù)荷的調(diào)度策略，最終取得了較好的效果。

減少碳排放水平、實(shí)現(xiàn)低碳可持續(xù)發(fā)展是世界各國(guó)未來(lái)的重要發(fā)展戰(zhàn)略目標(biāo)，中國(guó)也根據(jù)國(guó)情提出了“雙碳”目標(biāo)[21]。而能源行業(yè)在碳排放行業(yè)中占比大，因此，在制定RIES的運(yùn)行策略時(shí)，兼顧經(jīng)濟(jì)性和低碳性對(duì)節(jié)能減排尤為重要。目前，已有研究在綜合能源系統(tǒng)的運(yùn)行優(yōu)化中引入碳交易、碳稅等機(jī)制來(lái)考慮系統(tǒng)的低碳性[22-24]，但鮮有研究將強(qiáng)化學(xué)習(xí)算法應(yīng)用于兼顧經(jīng)濟(jì)性與低碳性的運(yùn)行優(yōu)化問(wèn)題中。

基于上述研究，本文綜合考慮區(qū)域綜合能源系統(tǒng)的經(jīng)濟(jì)性和低碳性，將二氧化碳排放的治理費(fèi)用轉(zhuǎn)化為經(jīng)濟(jì)指標(biāo)、優(yōu)化RIES的運(yùn)行策略。再者，傳統(tǒng)的Q學(xué)習(xí)一般將Q值表的所有元素初始化為0，收斂速度較慢。針對(duì)此不足，本文對(duì)Q學(xué)習(xí)算法的初始化方法進(jìn)行改進(jìn)，以提高算法的收斂速度。首先，本文對(duì)區(qū)域綜合能源系統(tǒng)及其主要裝置進(jìn)行建模；接著以經(jīng)濟(jì)性和低碳性為目標(biāo)建立RIES低碳運(yùn)行策略的數(shù)學(xué)模型，決策RIES向上級(jí)電網(wǎng)、氣網(wǎng)的購(gòu)買量以及能源轉(zhuǎn)化裝置出力等變量；然后，闡述本文基于改進(jìn)Q學(xué)習(xí)算法尋求RIES運(yùn)行策略的過(guò)程；最后，在Matlab環(huán)境下，通過(guò)仿真驗(yàn)證本文所提模型和算法的有效性以及可行性。

1 RIES結(jié)構(gòu)及能源轉(zhuǎn)化裝置建模

RIES通過(guò)能源轉(zhuǎn)化裝置及儲(chǔ)能裝置可以充分實(shí)現(xiàn)多種能源之間的互補(bǔ)及協(xié)同效益，滿足用戶的多種用能需求，本文構(gòu)建的RIES結(jié)構(gòu)如圖1所示。

圖1 RIES結(jié)構(gòu)Figure 1 Structure diagram of RIES

在能源轉(zhuǎn)化裝置中，熱電聯(lián)產(chǎn)( combined heat and power，CHP)的輸入是天然氣，輸出是電能和熱能；燃?xì)忮仩t(gas boiler,GB)的輸入是天然氣，其熱輸出與CHP的熱輸出共同為用戶提供熱負(fù)荷；壓縮式制冷機(jī)(compression refrigerator,CR)的輸入為電能，其冷輸出直接為用戶提供冷負(fù)荷。若將能源轉(zhuǎn)化裝置的輸入功率表示Ii，輸出功率表示為Oi，則其模型即能源轉(zhuǎn)化關(guān)系、額定功率限制可以表示為

(1)

式中ηi為能源轉(zhuǎn)化裝置的能源轉(zhuǎn)化效率。

光伏(PV)發(fā)電具有較強(qiáng)的不確定性和波動(dòng)性，本文采用時(shí)序法[25]對(duì)其進(jìn)行建模，要求PV實(shí)際輸出的電功率小于其預(yù)測(cè)出力，該約束可以表示為

(2)

電儲(chǔ)(electricity storage,ES)有充、放電2種狀態(tài)，合理配置ES的充、放電功率，可有效緩解用電高峰期的用電壓力。本文采用儲(chǔ)能的通用模型對(duì)ES進(jìn)行建模，其模型及運(yùn)行約束條件可以表示為

(3)

2 RIES低碳運(yùn)行策略數(shù)學(xué)建模

本文綜合考慮RIES的經(jīng)濟(jì)性和低碳性，以考慮碳治理費(fèi)用的日運(yùn)行成本最小為目標(biāo)函數(shù)，建立RIES低碳運(yùn)行的數(shù)學(xué)模型，決策RIES向上級(jí)電網(wǎng)、天然氣網(wǎng)的購(gòu)買量以及能源轉(zhuǎn)化裝置出力等變量，最終實(shí)現(xiàn)RIES的多能互補(bǔ)以及協(xié)同效益。

2.1 目標(biāo)函數(shù)

本文基于不輕易改變RIES用戶側(cè)消費(fèi)意愿的原則，即不輕易切掉負(fù)荷，以RIES的日運(yùn)行費(fèi)用最小為目標(biāo)函數(shù)，該目標(biāo)函數(shù)由RIES向上級(jí)電網(wǎng)購(gòu)電、向上級(jí)天然氣網(wǎng)購(gòu)氣、二氧化碳的治理費(fèi)用組成。目標(biāo)函數(shù)可以表示為

(4)

式中F為目標(biāo)函數(shù)；FP、FG、FC分別為RIES向上級(jí)電網(wǎng)購(gòu)電、向上級(jí)天然氣網(wǎng)購(gòu)氣、二氧化碳的治理費(fèi)用；P(t)、G(t)為t時(shí)刻RIES向上級(jí)電網(wǎng)的購(gòu)電、向上級(jí)氣網(wǎng)的購(gòu)氣功率；fP(t)、fG(t)分別為t時(shí)刻的電價(jià)、氣價(jià)；C(t)為t時(shí)刻RIES的CO2排放量；fC為單位CO2排放量的治理價(jià)格。

RIES向上級(jí)電網(wǎng)所購(gòu)買的電量大多通過(guò)燃燒煤炭而產(chǎn)生，此產(chǎn)電過(guò)程會(huì)排放CO2。因此，本文考慮RIES的CO2治理成本由向上級(jí)電網(wǎng)購(gòu)電、CHP、GB構(gòu)成。C(t)的具體描述可以表示為

C(t)=CP(t)+CCHP(t)+CGB(t)

(5)

CP(t)=P(t)Δtβe

(6)

CCHP(t)={HCHP(t)Δt+φe,hPCHP(t)Δt}βh

(7)

CGB(t)=HGB(t)Δtβh

(8)

式(5)～(8)中CP(t)、CCHP(t)、CGB(t)分別為t時(shí)刻購(gòu)電、CHP、GB的CO2排放量；βe、βh為RIES單位產(chǎn)電量、產(chǎn)熱量所產(chǎn)生的CO2排放量；φe,h為單位產(chǎn)電量向單位產(chǎn)熱量的折算系數(shù)；HCHP(t)為CHP的輸出熱功率；PCHP(t)為CHP的輸出電功率；HGB(t)為GB的輸出熱功率。

2.2 約束條件

基于所構(gòu)建的目標(biāo)函數(shù)，本文考慮2類約束：各類裝置的運(yùn)行約束與電、熱、氣、冷功率平衡的約束，以達(dá)到供需平衡的目的。

2.2.1 裝置運(yùn)行約束

RIES涉及的CHP、GB、CR、PV、ES等裝置在運(yùn)行時(shí)需要滿足的約束條件與式(1)～(3)一致。

2.2.2 功率平衡約束

RIES運(yùn)行時(shí)不僅需要約束設(shè)備的狀態(tài)，也必須實(shí)現(xiàn)功率的平衡，根據(jù)圖1，本文考慮以下約束。

1) 電功率平衡。

P(t)+PPV(t)+PCHP(t)=

(9)

式中Pload(t)為t時(shí)刻的電負(fù)荷；PCR(t)為t時(shí)刻CR電能輸入功率。

2) 熱功率平衡。

HCHP(t)+HGB(t)=Hload(t)

(10)

式中Hload(t)為t時(shí)刻的熱負(fù)荷。

3) 天然氣平衡。

G(t)=GCHP(t)+GGB(t)

(11)

式中GCHP(t)為t時(shí)刻CHP的天然氣輸入；GGB(t)為t時(shí)刻GB的天然氣輸入。

4)冷功率平衡。

FCR(t)=Fload(t)

(12)

式中FCR(t)為t時(shí)刻CR的輸出；Fload(t)為t時(shí)刻的冷負(fù)荷。

3 基于Q學(xué)習(xí)的RIES運(yùn)行策略求解

3.1 Q學(xué)習(xí)簡(jiǎn)介

Q學(xué)習(xí)算法與模型無(wú)關(guān)，具有良好的后效性，以MDP為理論基礎(chǔ)。在Q學(xué)習(xí)算法中，智能體通過(guò)不斷與外部環(huán)境進(jìn)行交互學(xué)習(xí)獲得經(jīng)驗(yàn)，如果智能體在當(dāng)前狀態(tài)下采取的某個(gè)動(dòng)作導(dǎo)致環(huán)境給予積極的獎(jiǎng)賞，則智能體后續(xù)再次處于這個(gè)狀態(tài)時(shí)選中該行為的趨勢(shì)增強(qiáng)。總的來(lái)說(shuō)，Q學(xué)習(xí)算法是一種基于值函數(shù)迭代的在線學(xué)習(xí)和動(dòng)態(tài)最優(yōu)技術(shù)[14,16,20]。Q值的迭代過(guò)程可以表示為

Q*(st,at)=(1-α)Q(st,at)+

α[r(st,at)+γmaxQ(st+1,a′)]

(13)

式中 (st,at)為t時(shí)刻的狀態(tài)—?jiǎng)幼鲗?duì)；Q(st,at)為采取動(dòng)作at之前的Q值；Q*(st,at)為執(zhí)行動(dòng)作at之后更新的Q值；maxQ(st+1,a′)為執(zhí)行動(dòng)作at進(jìn)入狀態(tài)st+1后，在st+1狀態(tài)下智能體能執(zhí)行的所有動(dòng)作中的最大Q值；α為學(xué)習(xí)率，其值越大，表示智能體學(xué)習(xí)新經(jīng)驗(yàn)的概率越大，保留以往經(jīng)驗(yàn)的概率越??；γ為折現(xiàn)因子；r(st,at)為動(dòng)作對(duì)(st,at)所對(duì)應(yīng)的獎(jiǎng)勵(lì)函數(shù)值。

3.2 RIES運(yùn)行策略求解的MDP建模

在滿足供需平衡的前提下，本文建立的RIES低碳運(yùn)行策略通過(guò)決策優(yōu)化各類裝置的出力、購(gòu)電量、購(gòu)氣量，來(lái)達(dá)到RIES低碳經(jīng)濟(jì)運(yùn)行的目的。而在MDP問(wèn)題中，RIES智能體在當(dāng)前狀態(tài)下所采取的下一步動(dòng)作僅僅與其當(dāng)前狀態(tài)有關(guān)，即當(dāng)前時(shí)刻下的負(fù)荷功率大小、ES的荷電狀態(tài)、PV出力等，當(dāng)智能體執(zhí)行某一決策動(dòng)作后，會(huì)獲得與該動(dòng)作相對(duì)應(yīng)的獎(jiǎng)賞，智能體的動(dòng)作、狀態(tài)、獎(jiǎng)賞即對(duì)應(yīng)MDP問(wèn)題的3個(gè)要素：動(dòng)作空間、狀態(tài)空間和獎(jiǎng)勵(lì)函數(shù)。

3.2.1 動(dòng)作空間

RIES的運(yùn)行策略目的在于優(yōu)化裝置的出力、電和氣的購(gòu)買量。因此，基于圖1，本文考慮MDP的動(dòng)作空間由CHP/GB/CR這3類能源轉(zhuǎn)化裝置的輸入、ES充放電功率、向上級(jí)電網(wǎng)購(gòu)電量、向上級(jí)氣網(wǎng)購(gòu)氣量組成，動(dòng)作空間可以表示為

A=[GCHP(t),GGB(t),PCR(t),

PES(t),P(t),G(t)]

(14)

式中PES(t)為ES的充放電功率，其取值為正時(shí)表示ES充電，取值為負(fù)時(shí)表示ES放電。

由于電、熱、冷負(fù)荷以及PV出力可以通過(guò)預(yù)測(cè)而在決策前得知，因此，結(jié)合熱功率平衡約束式(10)和天然氣平衡約束式(11)，若CHP的天然氣輸入已知，則GB的天然氣輸入、天然氣購(gòu)買量可以通過(guò)平衡式(10)、(11)推算出來(lái)。同理，冷負(fù)荷僅僅由CR提供，CR的電輸入功率可由冷平衡式(12)推算而得；若ES的充放電功率已知，則通過(guò)電功率平衡式(9)同樣可以推算出RIES的購(gòu)電量。綜上所述，若動(dòng)作空間A僅由CHP的天然氣輸入、ES的充放電功率組成，式(14)中的其余變量均可由CHP天然氣輸入、電儲(chǔ)充放電功率根據(jù)相應(yīng)約束條件推算而得。因此，動(dòng)作空間可以簡(jiǎn)化為

A=[GCHP(t),PES(t)]

(15)

3.2.2 狀態(tài)空間

對(duì)于智能體RIES來(lái)說(shuō)，外界環(huán)境能提供的狀態(tài)信息包括電價(jià)以及ES的荷電狀態(tài)。因此，本文將分時(shí)電價(jià)信息以及ES的荷電狀態(tài)作為MDP問(wèn)題的狀態(tài)空間，可以表示為

S=[fP(t),W(t)]

(16)

3.2.3 獎(jiǎng)勵(lì)函數(shù)

獎(jiǎng)勵(lì)函數(shù)和模型的目標(biāo)函數(shù)有關(guān)，同時(shí)，動(dòng)作空間的確定考慮到了CHP、GB、CR的設(shè)備約束條件以及電、熱、氣、冷的功率平衡，卻沒(méi)有涉及ES的荷電狀態(tài)約束。本文考慮對(duì)ES荷電狀態(tài)越限進(jìn)行懲罰，MDP問(wèn)題的獎(jiǎng)勵(lì)函數(shù)除了和目標(biāo)函數(shù)有關(guān)，也和該懲罰函數(shù)有關(guān)。Q學(xué)習(xí)算法考慮的是最終的獎(jiǎng)賞最大化，因此，本文構(gòu)建的獎(jiǎng)勵(lì)函數(shù)R的具體描述可以表示為

R=-(F+F2)

(17)

F2=

(18)

(19)

其中x用于判斷ES的荷電狀態(tài)是否越限，t時(shí)刻采取動(dòng)作后ES荷電狀態(tài)變?yōu)閃(t+1)，若ES荷電狀態(tài)越限，將按照越限量乘以當(dāng)前時(shí)刻電價(jià)的100倍來(lái)進(jìn)行懲罰。

3.3 RIES運(yùn)行策略求解的MDP建模

3.3.1 動(dòng)作空間及狀態(tài)空間離散化

(20)

(21)

由于電價(jià)通常在決策之前給定，因此，狀態(tài)空間僅有W(t)一個(gè)變量需要進(jìn)行離散。W(t)在Wmin和Wmax之間取值，可以按照公式離散為c+1個(gè)值，即

(Wmax-Wmin),Wmax

(22)

3.3.2 Q值表初始化

傳統(tǒng)的Q學(xué)習(xí)算法將Q值表的全部元素初始化為零，本文的目標(biāo)函數(shù)為RIES的日運(yùn)行費(fèi)用最小，將獎(jiǎng)勵(lì)函數(shù)R定義為負(fù)值，則需把Q值表的全部元素初始化為一個(gè)較小的負(fù)值。無(wú)論是初始化為零還是一個(gè)較小的負(fù)值，收斂的速度都會(huì)較慢，為了提高算法的收斂速度，本文將Q值表初始化為每個(gè)動(dòng)作對(duì)(st,at)相應(yīng)的獎(jiǎng)勵(lì)函數(shù)值，即

Qin(st,at)=r(st,at)

(23)

式中Qin(st,at)為動(dòng)作對(duì)(st,at)對(duì)應(yīng)的初始Q值。

3.3.3 求解流程

本文提出的基于Q學(xué)習(xí)的RIES低碳運(yùn)行策略的求解流程如圖2所示，其求解流程如下。

1) 按照式(23)初始化Q值表，迭代次數(shù)n=1。

2) 決策周期t初始化為0，并初始化RIES在開始時(shí)刻的取值，本文認(rèn)為ES在0點(diǎn)時(shí)儲(chǔ)有ES額定容量的10%電量。

3) 根據(jù)RIES當(dāng)前的狀態(tài)st，基于ε-greedy貪心算法選擇合適的動(dòng)作at，ε-greedy貪心算法的要點(diǎn)是探索和利用：初始化ε的取值，智能體在學(xué)習(xí)過(guò)程以ε的概率進(jìn)行探索，以1-ε的概率利用，探索即將所有的嘗試機(jī)會(huì)均勻地分到每個(gè)可以執(zhí)行的動(dòng)作中去，利用即選擇獎(jiǎng)賞最大的動(dòng)作。本文為了在探索和利用中實(shí)現(xiàn)較好的折中，首先將ε設(shè)置為一個(gè)較大的值以獲得多個(gè)動(dòng)作的獎(jiǎng)賞經(jīng)驗(yàn)值，然后隨著迭代次數(shù)的增加逐漸減小ε的取值，使得選取獎(jiǎng)賞最大的動(dòng)作的概率增大。執(zhí)行動(dòng)作at后便可以獲得下一決策周期的狀態(tài)st+1。

4) 根據(jù)步驟3所選擇的動(dòng)作at，按照式(17)計(jì)算相應(yīng)的獎(jiǎng)賞r(st,at)，并按照式(13)更新動(dòng)作對(duì)t=t+1的Q值。

5) 令t=t+1，T=24表示總的決策周期數(shù)，若t≤T，則返回步驟4，否則進(jìn)入步驟6。

6) 令n=n+1，N表示迭代次數(shù)最大值，若n>N或者學(xué)習(xí)過(guò)程已收斂，則結(jié)束迭代，得到最終的Q值表和運(yùn)行策略，否則返回步驟2。

圖2 基于Q學(xué)習(xí)算法的求解流程Figure 2 The solution flow based on Q learning algorithm

4 仿真分析

4.1 仿真數(shù)據(jù)說(shuō)明

過(guò)度季典型日RIES的日負(fù)荷、PV出力曲線如圖3所示，電、熱、冷負(fù)荷的最大值分別為100、175、75 kW。

圖3 RIES在過(guò)度季典型日的負(fù)荷、PV出力曲線Figure 3 Load and PV output curves of RIES on a typical day during the transition season

本文采用文獻(xiàn)[25]中的分時(shí)電價(jià)模式，峰、平、谷時(shí)段的電價(jià)分別為1.35、0.90、0.47元/(kW·h)，峰時(shí)段為11:00—16:00、19:00—21:00，平時(shí)段為08:00—11:00、16:00—19:00、21:00—00:00，谷時(shí)段為00:00—08:00。天然氣價(jià)為0.35元/(kW·h)，二氧化碳的治理費(fèi)用為100元/t。能源轉(zhuǎn)化裝置、設(shè)備的碳排放以及Q學(xué)習(xí)算法的相關(guān)參數(shù)分別如表1～3所示。

表1 設(shè)備參數(shù)Table 1 The equipment parameters

表2 碳排放相關(guān)參數(shù)Table 2 Related parameters of carbon emission

表3 Q學(xué)習(xí)算法相關(guān)參數(shù)Table 3 Related parameters of Q learning algorithm

儲(chǔ)能ES的額定容量為200 kW·h，最大的充放電功率為容量的25%，荷電狀態(tài)的取值為0.1～0.9，因此，本文以0.012 5為區(qū)間長(zhǎng)度，按照式(22)將荷電狀態(tài)離散為65個(gè)值，作為MDP問(wèn)題的狀態(tài)空間，即狀態(tài)空間共有65×24=1 560維。ES的最大充放電功率為50 kW，本文以2.5 kW為區(qū)間長(zhǎng)度，按照式(21)將動(dòng)作空間的充放電功率離散為41個(gè)取值。同理，在0～200 kW之間以2.5 kW為區(qū)間長(zhǎng)度將CHP的輸入離散為81個(gè)取值，共有41×81=3 321種動(dòng)作組合。

4.2 仿真結(jié)果及分析

4.2.1 算法收斂分析

算法的收斂過(guò)程如圖4所示，給出了學(xué)習(xí)過(guò)程中的最佳動(dòng)作和平均最佳序列獎(jiǎng)勵(lì)的迭代過(guò)程。本文設(shè)定的最大迭代次數(shù)為105次，在最終的最終動(dòng)作序列下，RIES的日運(yùn)行費(fèi)用為2 586.91元。由圖4可以發(fā)現(xiàn)，基于獎(jiǎng)勵(lì)函數(shù)的初始化方法，相較于采用將Q值表所有元素置為同一個(gè)取值的傳統(tǒng)初始化方法，Q學(xué)習(xí)算法更快收斂，經(jīng)過(guò)7 000次迭代后，采用本文改進(jìn)初始化方法的Q學(xué)習(xí)算法的最佳動(dòng)作和平均最佳序列獎(jiǎng)勵(lì)已收斂，說(shuō)明Q學(xué)習(xí)算法已收斂，同時(shí)，也證明Q學(xué)習(xí)算法可以有效解決本文所提出能量運(yùn)行策略問(wèn)題。

圖4 算法收斂過(guò)程Figure 4 Algorithm convergence process

采用改進(jìn)Q值初始化方法的Q學(xué)習(xí)、遺傳、粒子群算法的優(yōu)化結(jié)果對(duì)比如表4所示，可以發(fā)現(xiàn)，不論是目標(biāo)函數(shù)日運(yùn)行費(fèi)用還是碳排放量，Q學(xué)習(xí)算法具有較好的優(yōu)化結(jié)果。這是因?yàn)镼學(xué)習(xí)算法與模型無(wú)關(guān)，具有良好的后效性，算法會(huì)考慮當(dāng)前操作對(duì)未來(lái)的影響，會(huì)通過(guò)犧牲目前的部分收益以換取整體的更大收益。而遺傳、粒子群等啟發(fā)式算法后效性較差，以至于優(yōu)化結(jié)果相對(duì)較差。

表4 不同算法的優(yōu)化結(jié)果Table 4 Optimization results of different algorithms

在文4.1中，動(dòng)作空間的2個(gè)變量GCHP(t)、PES(t)分別被離散為81、41個(gè)取值，即在式(20)、(21)中，a=80,b=20，同樣可以由式(22)推算出c=64(定義為離散情形2)。為了研究不同離散化程度，即不同a、b、c取值對(duì)算法收斂的影響，本文進(jìn)一步對(duì)a=40,b=10,c=32(定義為離散情形1)和a=160,b=40,c=128(定義為離散情形3)2種情形進(jìn)行仿真，各情形下算法收斂過(guò)程如圖5所示，各情形下目標(biāo)函數(shù)即RIES的日運(yùn)行費(fèi)用如表5所示。

圖5 不同離散化程度下的算法收斂過(guò)程Figure 5 Algorithm convergence process of different degrees of dispersion

表5 不同離散化程度下的目標(biāo)函數(shù)值Table 5 Values of objective function within different degrees of dispersion

由圖5、表5可以看出，隨著a、b、c值的增大，收斂速度變慢，目標(biāo)函數(shù)值增大。而a、b、c的值越大，離散度也越高。由此可知，隨著離散化程度的提高，RIES的日運(yùn)行費(fèi)用也會(huì)減小，這意味著RIES有更好的運(yùn)行策略；但同時(shí)，隨著離散化程度的提高，收斂速度變慢，導(dǎo)致RIES運(yùn)算策略求解變慢。這是因?yàn)閍、b、c的取值增大了動(dòng)作和狀態(tài)空間的維度，導(dǎo)致算法不易收斂，而a、b、c取值的增大使得被離散的連續(xù)變量更能接近原本的連續(xù)取值范圍，因此能為系統(tǒng)求解得到更優(yōu)的運(yùn)行策略。綜上，離散化程度過(guò)高或過(guò)低都有一定的缺陷，需要恰當(dāng)選擇a、b、c的取值以實(shí)現(xiàn)RIES的日運(yùn)行費(fèi)用與收斂速度之間的折衷。

4.2.2 功率平衡分析

RIES的運(yùn)行策略如圖6～8所示。

圖6 RIES能源購(gòu)買量Figure 6 Energy purchases of RIES

圖7 電能優(yōu)化結(jié)果Figure 7 Optimization results of power

圖8 天然氣優(yōu)化結(jié)果Figure 8 Optimization results of natural gas

圖6展示了RIES向上級(jí)電網(wǎng)、上級(jí)氣網(wǎng)的購(gòu)電量和購(gòu)氣量以及電儲(chǔ)充放電情況。由圖6可以發(fā)現(xiàn)，相比于電價(jià)的平價(jià)、谷時(shí)段，RIES在電價(jià)的高峰時(shí)段(11:00-16:00)購(gòu)電量較少、購(gòu)氣量較多，并且電儲(chǔ)裝置基本處于“低儲(chǔ)高發(fā)”的狀態(tài)。圖7展示了電能優(yōu)化結(jié)果，其中電能輸入表示購(gòu)電量、PV出力、CHP電輸出之和，電能輸出表示電負(fù)荷、CR輸入、ES充放電功率之和。

對(duì)比圖6、7可知，在滿足供需平衡的前提下，電價(jià)高峰時(shí)段RIES不僅減少了向上級(jí)電網(wǎng)的購(gòu)電量，還可以通過(guò)增加天然氣的購(gòu)買量進(jìn)而增大CHP的電功率輸出；同時(shí)，電價(jià)高峰時(shí)段ES處于放電狀態(tài)，進(jìn)一步減少了RIES的購(gòu)電量，甚至可以向電網(wǎng)售電，提高RIES運(yùn)行時(shí)的經(jīng)濟(jì)性。說(shuō)明通過(guò)合理配置CHP、ES的運(yùn)行策略，可以充分發(fā)揮RIES的多能互補(bǔ)優(yōu)勢(shì)，進(jìn)而實(shí)現(xiàn)RIES的經(jīng)濟(jì)運(yùn)行。

圖8給出了最佳動(dòng)作序列下熱功率的平衡情況，CHP機(jī)組的輸出熱功率與GB的熱輸出功率一起滿足用戶的熱負(fù)荷需求。

結(jié)合圖6～8分析可知，合理配置CHP、ES、GB等裝置的運(yùn)行策略是實(shí)現(xiàn)RIES供需平衡和多能互補(bǔ)的基本前提?？偟膩?lái)說(shuō)，本文采用Q學(xué)習(xí)算法學(xué)習(xí)得到的運(yùn)行策略具有以下特點(diǎn)：

1) 電儲(chǔ)能在低負(fù)荷的谷時(shí)段或者平時(shí)段利用光伏和谷價(jià)電能充電，然后在電價(jià)高峰時(shí)段集中放電，可以提升RIES運(yùn)行時(shí)的經(jīng)濟(jì)性能，也能在一定程度上起到緩解主網(wǎng)供電壓力的作用；

2)在電價(jià)高峰時(shí)段，除了電儲(chǔ)放電，RIES的購(gòu)氣量也相對(duì)其他時(shí)段有一定的增長(zhǎng)，從而CHP的電能輸出增加，可以進(jìn)一步減少RIES的購(gòu)電量，甚至可以和電儲(chǔ)配合向主網(wǎng)售電；

3) 在滿足供需平衡的基礎(chǔ)上，求得的運(yùn)行策略可以充分發(fā)揮RIES的多能互補(bǔ)優(yōu)勢(shì)。

4.2.3 碳排放分析

為了分析RIES運(yùn)行策略的低碳性，本文分析比較目標(biāo)函數(shù)不考慮二氧化碳排放治理成本(情形1)、二氧化碳的治理費(fèi)用為100元/t(情形2)這2種情況下的RIES總運(yùn)行成本、RIES與上級(jí)電/氣網(wǎng)的能源交易成本、碳治理費(fèi)用以及二氧化碳排放量，優(yōu)化結(jié)果如表6所示，可以發(fā)現(xiàn)，如果以100元/t的治理費(fèi)用來(lái)處理情形1下的二氧化碳排放量，則情形1的總成本為2 350.01+2.330×100=2 580.01元，以0.27%的降幅略低于情形2下的總成本，而情形1的碳排放量卻相較情形2增加了4.02%。因此，當(dāng)碳治理成本被納入目標(biāo)函數(shù)時(shí)，盡管目標(biāo)函數(shù)值會(huì)小幅增加，碳排放卻會(huì)相對(duì)大幅減少。由此可以得出結(jié)論，本文利用Q學(xué)習(xí)算法求解得到的RIES運(yùn)行策略可以在一定程度上同時(shí)兼顧系統(tǒng)的經(jīng)濟(jì)性和低碳性。

表6 碳排放優(yōu)化結(jié)果Table 6 Optimization results of carbon emissions

為了進(jìn)一步分析碳治理價(jià)格對(duì)RIES運(yùn)行策略的影響，本文將碳治理價(jià)格分別重置為50、100、200 元/t進(jìn)行仿真。不同價(jià)格下的仿真結(jié)果如圖9所示，其展示了不同價(jià)格下系統(tǒng)的碳排放量和日運(yùn)行費(fèi)用。從圖9可以看出，隨著碳治理價(jià)格的增加，碳排放量隨之減少，RIES的日運(yùn)行費(fèi)用隨之增加。當(dāng)碳治理價(jià)格定義為100元/t時(shí)，碳排放和日常運(yùn)營(yíng)成本之間存在折衷。

圖9 不同碳治理價(jià)格下的仿真結(jié)果Figure 9 Simulation results under different carbon management prices

5 結(jié)語(yǔ)

基于Q學(xué)習(xí)算法，本文對(duì)區(qū)域綜合能源系統(tǒng)的低碳運(yùn)行策略展開了研究，得出以下結(jié)論：

1)利用本文給出的改進(jìn)Q學(xué)習(xí)算法求解區(qū)域綜合能源系統(tǒng)的運(yùn)行策略，算法能較快地收斂；

2)針對(duì)區(qū)域綜合能源系統(tǒng)所建立的低碳運(yùn)行策略，本文通過(guò)合理配置多種能源轉(zhuǎn)化和儲(chǔ)能裝置的輸出功率，達(dá)到了充分發(fā)揮區(qū)域綜合能源系統(tǒng)多能互補(bǔ)優(yōu)勢(shì)的目的，進(jìn)而實(shí)現(xiàn)了能源高效利用的目的；

3)計(jì)及二氧化碳排放，本文把二氧化碳排放的治理費(fèi)用考慮進(jìn)區(qū)域綜合能源系統(tǒng)的日運(yùn)行總費(fèi)用中，雖然總費(fèi)用因此而增加，但是區(qū)域綜合能源系統(tǒng)可以因此以相對(duì)低碳的模式運(yùn)行，即可以在一定程度上兼顧經(jīng)濟(jì)性與低碳性。

Q學(xué)習(xí)算法只能處理離散問(wèn)題，后續(xù)的研究可以進(jìn)一步針對(duì)處理連續(xù)變量而展開。