王曉康,俞智浩,蘆翔

(1.國(guó)網(wǎng)寧夏電力有限公司吳忠供電公司,寧夏 吳忠 751100;2.國(guó)網(wǎng)寧夏電力有限公司電力科學(xué)研究院,寧夏 銀川 750011)

0 引 言

隨著可再生能源技術(shù)的發(fā)展,分布式發(fā)電技術(shù)不僅應(yīng)用于變電,而且,在接入更方便的配電網(wǎng)中應(yīng)用更為廣泛。但在大量分布式電源接入配電網(wǎng)后,其固有的出力波動(dòng)和高度間歇性會(huì)直接影響配電網(wǎng)的電壓運(yùn)行水平和功率平衡性,進(jìn)而導(dǎo)致電壓越限和配變過(guò)載等問(wèn)題[1]。解決上述問(wèn)題的關(guān)鍵在于控制配電網(wǎng)有功功率的平衡性,因此在配電網(wǎng)末端接入儲(chǔ)能裝置的輔助運(yùn)行方式成為一種可行的技術(shù)方案[2]。

儲(chǔ)能技術(shù)的應(yīng)用對(duì)于改善配電網(wǎng)系統(tǒng)的電壓特性,實(shí)現(xiàn)負(fù)荷側(cè)靈活削峰填谷有著重要的價(jià)值。除此之外,合理的儲(chǔ)能控制可以有效提高能源的利用效率[3]。在儲(chǔ)能裝置的輔助下,配電網(wǎng)對(duì)于功率波動(dòng)的耐受性更強(qiáng),配電網(wǎng)區(qū)域內(nèi)的電壓波動(dòng)減小,有利于接納更多的新能源接入,從經(jīng)濟(jì)性和穩(wěn)定性上對(duì)區(qū)域電網(wǎng)都有著重要的價(jià)值[4]。

儲(chǔ)能裝置的控制目標(biāo)通常為減小系統(tǒng)內(nèi)節(jié)點(diǎn)電壓波動(dòng),根據(jù)負(fù)荷需求合理控制出力水平。儲(chǔ)能控制技術(shù)通?；谝欢ǖ哪Ｐ?以提升系統(tǒng)某項(xiàng)指標(biāo)為目的,通過(guò)對(duì)系統(tǒng)控制策略進(jìn)行優(yōu)化和創(chuàng)新來(lái)實(shí)現(xiàn)預(yù)期控制效果[5]。目前國(guó)內(nèi)外常用算法有線性規(guī)劃、混合整數(shù)規(guī)劃、動(dòng)態(tài)規(guī)劃、模糊邏輯等,其中動(dòng)態(tài)規(guī)劃算法作為目前應(yīng)用較為成熟的一種算法形式,在迭代計(jì)算后可以實(shí)現(xiàn)對(duì)狀態(tài)空間內(nèi)的控制效果優(yōu)化,得到局部最優(yōu)解。但隨著狀態(tài)數(shù)的增加動(dòng)態(tài)規(guī)劃算法容易出現(xiàn)“維度災(zāi)”問(wèn)題,即迭代計(jì)算量出現(xiàn)指數(shù)型上升,從而導(dǎo)致在線計(jì)算時(shí)間大大增加,同時(shí)也會(huì)增加計(jì)算成本。為了解決這個(gè)問(wèn)題,強(qiáng)化學(xué)習(xí)算法被提出,并用來(lái)求解動(dòng)態(tài)的決策任務(wù)。強(qiáng)化學(xué)習(xí)是一種從歷史經(jīng)驗(yàn)中學(xué)習(xí)最佳策略的算法,主要思想就是智能體通過(guò)不斷和環(huán)境互動(dòng)來(lái)學(xué)習(xí)系統(tǒng)的動(dòng)態(tài)特性,具體到每一個(gè)迭代過(guò)程就是智能體根據(jù)當(dāng)前的狀態(tài)做出一個(gè)動(dòng)作,然后得到一個(gè)獎(jiǎng)勵(lì)值和下一時(shí)刻的狀態(tài)。強(qiáng)化學(xué)習(xí)智能體和環(huán)境互動(dòng)的次數(shù)越多,經(jīng)驗(yàn)越豐富,所做的策略越準(zhǔn)確。強(qiáng)化學(xué)習(xí)的Q-learning算法作為一種應(yīng)用領(lǐng)域較為廣泛的算法類型,通過(guò)調(diào)整迭代條件可以避免過(guò)多狀態(tài)量的出現(xiàn),從而解決維度災(zāi)難的問(wèn)題[6]。

Q-learning在使用歷史數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)具有優(yōu)勢(shì)且易于理解,對(duì)計(jì)算資源需求較少,算法訓(xùn)練過(guò)程更為穩(wěn)定,更能適應(yīng)配電網(wǎng)的實(shí)際情況;因此本文將Q-learning算法應(yīng)用于以儲(chǔ)能電池為模型的配電網(wǎng)儲(chǔ)能裝置電能出力控制中,研究該算法在儲(chǔ)能電池荷電狀態(tài)管理策略下可行狀態(tài)空間的優(yōu)化特性,并將該算法的優(yōu)化結(jié)果與經(jīng)典動(dòng)態(tài)規(guī)劃方法優(yōu)化結(jié)果進(jìn)行對(duì)比,驗(yàn)證了在儲(chǔ)能電池出力控制的應(yīng)用背景下Q-learning算法能夠與動(dòng)態(tài)規(guī)劃算法達(dá)成一致最優(yōu)解的結(jié)論。

1 蓄電池的儲(chǔ)能特性

以蓄電池為代表的電化學(xué)儲(chǔ)能是一種目前應(yīng)用較為廣泛的儲(chǔ)能技術(shù)。不僅擁有較高的能量密度和功率密度,同時(shí)低廉的成本也是其在能源應(yīng)用領(lǐng)域的優(yōu)勢(shì)所在。在配電網(wǎng)儲(chǔ)能系統(tǒng)的應(yīng)用背景下,選取蓄電池儲(chǔ)能裝置,研究蓄電池儲(chǔ)能裝置正常工作時(shí)剩余電量、固定時(shí)段內(nèi)的充、放電量以及自放電等參數(shù)的相互關(guān)系。儲(chǔ)能充電過(guò)程可以表示如下:

(1)

對(duì)應(yīng)的儲(chǔ)能放電過(guò)程可表示為

(2)

式中:SOC(t)為蓄電池儲(chǔ)能裝置在t時(shí)間段的荷電狀態(tài),Pb是蓄電池儲(chǔ)能裝置在t時(shí)間段的充放電功率,σ為儲(chǔ)能介質(zhì)的自放電率,LC為蓄電池儲(chǔ)能裝置的充電損耗,LDC為蓄電池儲(chǔ)能裝置的放電損耗,Δt為計(jì)算周期時(shí)長(zhǎng),Ecap為蓄電池儲(chǔ)能裝置的額定容量。

蓄電池儲(chǔ)能裝置在其正常工作內(nèi)的充放電功率受到硬件限制的充放電特性和自身荷電狀態(tài)狀態(tài)的影響,其荷電狀態(tài)需要滿足以下條件:

SOC min≤SOC(t)≤SOC max

(3)

式中:SOC min和SOC max分別為蓄電池儲(chǔ)能裝置荷電狀態(tài)的最小值和最大值,即約束了荷電狀態(tài)的正常范圍。

2 儲(chǔ)能裝置優(yōu)化調(diào)度模型

2.1 強(qiáng)化學(xué)習(xí)建模

強(qiáng)化學(xué)習(xí)方法的原理是將優(yōu)化問(wèn)題建模為一個(gè)馬爾科夫決策過(guò)程來(lái)進(jìn)行求解[7],本文把配電網(wǎng)儲(chǔ)能裝置的策略優(yōu)化問(wèn)題描述為一個(gè)馬爾科夫決策過(guò)程。在馬爾科夫決策過(guò)程中,定義環(huán)境狀態(tài)st為t時(shí)間段蓄電池儲(chǔ)能裝置的可行離散電量,動(dòng)作at為t時(shí)間段內(nèi)蓄電池儲(chǔ)能裝置的平均放電量,由當(dāng)前時(shí)間段和對(duì)應(yīng)下一時(shí)間段可行離散電量、時(shí)間段內(nèi)平均充電量所確定;同時(shí)定義t時(shí)刻的獎(jiǎng)勵(lì)函數(shù)rt(st,at)為

(4)

其中

(5)

Et=APf,tΔt

(6)

式中:C為常數(shù),Et為t時(shí)段內(nèi)蓄電池儲(chǔ)能裝置對(duì)外發(fā)出的電能,Nt為t時(shí)段內(nèi)蓄電池儲(chǔ)能裝置的平均出力,Nb為t時(shí)段內(nèi)蓄電池儲(chǔ)能裝置的保證出力,Eb則作為懲罰項(xiàng)代表蓄電池儲(chǔ)能裝置在保證處理下產(chǎn)生的電能;A為出力系數(shù),Pf,t為t時(shí)段內(nèi)蓄電池儲(chǔ)能裝置的平均發(fā)電功率,Δt為t時(shí)段的時(shí)間長(zhǎng)度值。

采用值迭代的算法求解儲(chǔ)能裝置調(diào)度的最優(yōu)方案,定義Q(st,at)為動(dòng)作值函數(shù),簡(jiǎn)稱Q值,即:

…+r(st-1,at-1)+r(st,at)]

(7)

轉(zhuǎn)化為遞推形式:

(8)

將蓄電池儲(chǔ)能裝置優(yōu)化調(diào)度模型以時(shí)段獎(jiǎng)勵(lì)函數(shù)rt(st,at)為基礎(chǔ),以確保電能出力為目標(biāo),在扣除懲罰值后將各時(shí)段內(nèi)的發(fā)電量進(jìn)行累加,即可得到總發(fā)電量E*,并以該數(shù)值為基礎(chǔ)構(gòu)建目標(biāo)函數(shù),表達(dá)式如下:

(9)

也可將E*表示為

(10)

2.2 建立強(qiáng)化學(xué)習(xí)約束空間

2.2.1 強(qiáng)化學(xué)習(xí)狀態(tài)轉(zhuǎn)移約束

蓄電池儲(chǔ)能裝置的供能關(guān)系約束條件即為強(qiáng)化學(xué)習(xí)狀態(tài)轉(zhuǎn)移約束條件。功能平衡方程的計(jì)算公式如下:

(11)

式中:Qt、Qt+1分別為t時(shí)間段初、末時(shí)間段下的儲(chǔ)能狀態(tài)。Pin,t、Pout,t分別為t時(shí)間段內(nèi)蓄電池儲(chǔ)能裝置的輸入和輸出平均功率。

儲(chǔ)能裝置輸出功率約束:

Pmin,t≤Pout,t≤Pmax,t

(12)

式中:Pmin,t和Pmax,t分別為t時(shí)段內(nèi)儲(chǔ)能裝置輸出功率的最小值和最大值。

配電網(wǎng)需求側(cè)功率約束:

Pdis,min≤Pdis,t≤Pdis,max

(13)

式中:Pdis,min和Pdis,max分別為t時(shí)段內(nèi)配電網(wǎng)需求側(cè)功率的最小值和最大值。

荷電狀態(tài)約束同式(3)。

2.2.2 確定強(qiáng)化學(xué)習(xí)可行狀態(tài)空間

圖1 蓄電池儲(chǔ)能裝置可行荷電狀態(tài)邊界求解。

當(dāng)確定荷電狀態(tài)邊界后,可以將強(qiáng)化學(xué)習(xí)過(guò)程的要素定義為t時(shí)間段的狀態(tài)集合、動(dòng)作集合以及式(4)中的獎(jiǎng)勵(lì)函數(shù)。狀態(tài)集合為t時(shí)刻的可行荷電狀態(tài);動(dòng)作集合為蓄電池儲(chǔ)能裝置的輸出功率,數(shù)值可由功能平衡關(guān)系確定;獎(jiǎng)勵(lì)函數(shù)集合由t時(shí)刻當(dāng)前蓄電池儲(chǔ)能裝置荷電狀態(tài)及其對(duì)應(yīng)的動(dòng)作集合共同確定[9]。

2.3 配電網(wǎng)儲(chǔ)能裝置優(yōu)化調(diào)度模型

Q-learning是一種基于離軌策略的強(qiáng)化學(xué)習(xí)算法,它根據(jù)時(shí)序差分控制的原理并以Q值為評(píng)價(jià)標(biāo)準(zhǔn),通過(guò)不斷的迭代來(lái)求解最優(yōu)動(dòng)作,Q-learning算法的目的是在一個(gè)迭代回合中使累計(jì)期望回報(bào)達(dá)到最大。Q-learning算法的迭代過(guò)程就是從歷史經(jīng)驗(yàn)軌跡(也即馬爾科夫決策鏈)中學(xué)習(xí)最優(yōu)動(dòng)作的過(guò)程,在單次的模擬流程中,Q-learning通過(guò)即時(shí)更新Q值為下一次模擬形成新的方案,其算法流程如下:

1)隨機(jī)初始化Q(s,a),?s∈S,a∈A(s)。

3)t時(shí)刻下,智能體應(yīng)根據(jù)環(huán)境狀態(tài)st執(zhí)行動(dòng)作,本文采用了ε-greedy策略作為智能體的動(dòng)作策略。

(14)

εt=εb

(15)

式中:εt為t時(shí)刻ε的值;ε為小數(shù),其含義為智能體在t時(shí)刻有ε的概率隨機(jī)選取動(dòng)作;b為接近1的小數(shù),一般取0.9;π(st)為t時(shí)刻根據(jù)狀態(tài)st采取的策略;εm為小數(shù),一般取0.1。

圖2 算法流程。

當(dāng)算法迭代次數(shù)達(dá)到一定數(shù)量時(shí)即可終止,最優(yōu)策略的生成不再由ε-greedy策略決定,而是依據(jù)各時(shí)刻相應(yīng)狀態(tài)下的最優(yōu)Q值選取動(dòng)作形成最優(yōu)策略。

3 實(shí)例分析

3.1 配電網(wǎng)儲(chǔ)能裝置實(shí)例

以某配電網(wǎng)儲(chǔ)能裝置為例,其儲(chǔ)能容量為60 kW·h,最大輸出功率為30 kW,出力系數(shù)A=1。以臺(tái)區(qū)日內(nèi)負(fù)荷變化作為調(diào)度時(shí)段,將儲(chǔ)能裝置典型高負(fù)荷日的輸出功率作為模型的輸入。

3.2 試驗(yàn)結(jié)果分析

為了證明Q-learning算法在配電網(wǎng)儲(chǔ)能裝置優(yōu)化調(diào)度問(wèn)題上的有效性,設(shè)置了Q-learning算法與動(dòng)態(tài)規(guī)劃算法的對(duì)比實(shí)驗(yàn):首先,使用動(dòng)態(tài)規(guī)劃算法求出儲(chǔ)能設(shè)備日內(nèi)各時(shí)刻的最優(yōu)荷電狀態(tài);其次,將離線訓(xùn)練好的Q-learning算法在線部署,使其在線生成儲(chǔ)能設(shè)備日內(nèi)各時(shí)刻的最優(yōu)荷電狀態(tài);最后,對(duì)比兩種方法的性能。動(dòng)態(tài)規(guī)劃的優(yōu)化結(jié)果見(jiàn)圖3。

圖3 基于動(dòng)態(tài)規(guī)劃算法的日內(nèi)最優(yōu)荷電狀態(tài)。

本論文定義Q-learning算法的學(xué)習(xí)率為α,同時(shí)對(duì)該參數(shù)進(jìn)行敏感性分析,分別設(shè)置3組實(shí)驗(yàn),每組實(shí)驗(yàn)α值分別設(shè)置為0.01、0.05、0.1,然后觀察各組實(shí)驗(yàn)Q-learning的迭代過(guò)程。對(duì)于其他超參數(shù),設(shè)置ε初始值為0.99,常數(shù)值b為0.99,εm值為0.1。強(qiáng)化學(xué)習(xí)智能體和環(huán)境互動(dòng)的次數(shù)越多,經(jīng)驗(yàn)越豐富,所做的策略越準(zhǔn)確。在訓(xùn)練時(shí)讓智能體和環(huán)境交互1百萬(wàn)次,其中包括1 000個(gè)回合,每回合包括1 000個(gè)迭代步,每回合記錄依賴Q值生成的解對(duì)應(yīng)的總獎(jiǎng)勵(lì)值,最終優(yōu)化結(jié)果見(jiàn)圖4。

圖4 Q-learning迭代過(guò)程曲線。

從圖4中可以看出:由于Q-learning算法剛開始進(jìn)行隨機(jī)探索,所做的動(dòng)作是隨機(jī)的,因此獲得較低的獎(jiǎng)勵(lì),隨著探索的減小,Q-learning算法逐漸學(xué)習(xí)到正確的策略,獎(jiǎng)勵(lì)值不斷增大,隨著迭代的進(jìn)行,Q-learning算法不再探索隨機(jī)動(dòng)作,而是采用學(xué)習(xí)到的最優(yōu)動(dòng)作,因此獎(jiǎng)勵(lì)函數(shù)逐漸收斂,Q-learning智能體也進(jìn)入穩(wěn)定的最優(yōu)狀態(tài)。參數(shù)α越大,Q-learning收斂的越快。

表1為Q-learning算法不同α值的對(duì)比結(jié)果,圖5為動(dòng)態(tài)規(guī)劃與Q-learning不同α值變化的對(duì)比。由表1及圖5可知,隨著α值的不斷增大迭代收斂的速度會(huì)不斷變快,其訓(xùn)練所需的時(shí)間也會(huì)大大減小,因此我們?cè)谟?xùn)練時(shí)需要將α值調(diào)整為0.1。在Q-learning算法訓(xùn)練的前期,由于動(dòng)作是隨機(jī)探索的,因此Q值存在較大的優(yōu)化空間,其獎(jiǎng)勵(lì)值和優(yōu)化效果也會(huì)呈現(xiàn)較大的變化趨勢(shì)。隨著迭代的進(jìn)行,Q-learning算法的動(dòng)作逐步穩(wěn)定并趨于最優(yōu),這時(shí)Q值對(duì)動(dòng)作的評(píng)估和每回合的累計(jì)獎(jiǎng)勵(lì)也達(dá)到穩(wěn)定,迭代收斂。迭代后期當(dāng)Q-learning算法所做的決策逼近最優(yōu)解時(shí),優(yōu)化趨于平穩(wěn)狀態(tài),Q-learning算法能夠與動(dòng)態(tài)規(guī)劃算法達(dá)成一致最優(yōu)解。

表1 Q-learning算法不同a值對(duì)比結(jié)果

(a)α=0.01。

(b)α=0.05和α=0.1圖5 動(dòng)態(tài)規(guī)劃與Q-learning不同α值荷電狀態(tài)變化對(duì)比。

如2.3節(jié)中的算法流程所示,在每個(gè)迭代步開始時(shí)智能體根據(jù)當(dāng)前的狀態(tài)從Q表中選取Q值最大的動(dòng)作,迭代步結(jié)束時(shí)根據(jù)式(8)來(lái)更新Q表。訓(xùn)練迭代1百萬(wàn)次的目的就是得到一個(gè)完美的Q表,這個(gè)過(guò)程是離線進(jìn)行的,所消耗的時(shí)間是可以接受的。訓(xùn)練完成后,將訓(xùn)練好的智能體(具備完美的Q表)部署下去進(jìn)行在線執(zhí)行,在線執(zhí)行時(shí)智能體輸入當(dāng)前的狀態(tài),根據(jù)Q表可以實(shí)時(shí)得到一個(gè)最佳的策略,因此相比其他算法,Q-learning算法在執(zhí)行過(guò)程中得到策略的過(guò)程非?？?是毫秒級(jí)別[10]。

上述結(jié)果顯示,在整個(gè)可行的策略搜索空間中,當(dāng)訓(xùn)練回合數(shù)達(dá)到一定的數(shù)量時(shí),Q-learning算法所構(gòu)建的配電網(wǎng)儲(chǔ)能裝置可以執(zhí)行最優(yōu)的動(dòng)作,實(shí)現(xiàn)調(diào)度任務(wù)的最優(yōu)化。

4 結(jié) 論

將強(qiáng)化學(xué)習(xí)的Q-learning算法應(yīng)用于配電網(wǎng)儲(chǔ)能裝置的控制策略中,以蓄電池儲(chǔ)能裝置為例建立了優(yōu)化調(diào)度模型,并通過(guò)調(diào)節(jié)強(qiáng)化學(xué)習(xí)超參數(shù)實(shí)現(xiàn)迭代優(yōu)化。證明了當(dāng)?shù)螖?shù)達(dá)到一定數(shù)量時(shí),Q-learning算法可達(dá)到理論上的最優(yōu)解。該方法在大大減少優(yōu)化時(shí)間的同時(shí),獲取了同動(dòng)態(tài)規(guī)劃一致的最優(yōu)調(diào)度方案。該算法能夠有效引導(dǎo)蓄電池儲(chǔ)能裝置學(xué)習(xí)到滿足預(yù)設(shè)目標(biāo)且趨于最優(yōu)的充放電策略,根據(jù)用戶在不同時(shí)段用電需求及用電特征,儲(chǔ)能裝置在用電低谷期時(shí)充電,在日間根據(jù)用戶負(fù)荷的實(shí)時(shí)需求放電,就地增大供電能力,緩解配電網(wǎng)季節(jié)性配電變壓器重過(guò)載問(wèn)題,具有較高的應(yīng)用價(jià)值,但Q-learning算法仍然存在一定的局限性,例如在處理大規(guī)模問(wèn)題時(shí)會(huì)出現(xiàn)計(jì)算效率低下和內(nèi)存需求過(guò)大的問(wèn)題,以及在用于多智能體的環(huán)境時(shí),會(huì)面臨其他智能體策略變化導(dǎo)致非平穩(wěn)問(wèn)題。針對(duì)配電網(wǎng)的環(huán)境中的不確定性可以考慮將其他算法與Q-learning相結(jié)合,來(lái)提高Q-learning算法的適應(yīng)能力。