唐 昊 劉 暢 楊 明 湯必強 許 丹 呂 凱

近年來,由于能源危機和生存環(huán)境的不斷惡化,各國政府紛紛出臺政策鼓勵和推進新能源發(fā)展.隨著光伏(Photovoltaic,PV)、風(fēng)電等新能源的大規(guī)模應(yīng)用,配電網(wǎng)的分布式特性愈發(fā)明顯,電網(wǎng)調(diào)峰形勢愈加嚴(yán)峻[1],傳統(tǒng)配電網(wǎng)逐漸演變成為可對分布式發(fā)電、柔性負荷和儲能三者進行主動控制的主動配電系統(tǒng)[2?3].如何有效利用需求響應(yīng)資源以及對新能源、儲能、柔性負荷等分布式調(diào)峰資源進行協(xié)調(diào)優(yōu)化控制,提高新能源利用率,緩解電網(wǎng)調(diào)峰壓力,保持配電系統(tǒng)運行的經(jīng)濟性,增強電力系統(tǒng)的可靠性和可控性,是主動配電系統(tǒng)研究的重要發(fā)展趨勢[4?5].

國內(nèi)外學(xué)者通過不同的建模與求解方法對各類主動配電系統(tǒng)的運行、管理、優(yōu)化等問題展開了大量研究.文獻[6]在考慮分布式能源特性的基礎(chǔ)上建立了主動配電系統(tǒng)優(yōu)化調(diào)度模型,并提出了基于智能單粒子優(yōu)化算法的求解方法,實現(xiàn)完整調(diào)度周期內(nèi)主動配電系統(tǒng)優(yōu)化調(diào)度策略求解.文獻[7]建立了分布式電源和儲能系統(tǒng)的多目標(biāo)協(xié)調(diào)規(guī)劃模型,并采用了改進的生物地理學(xué)優(yōu)化算法對主動配電系統(tǒng)多目標(biāo)調(diào)度問題進行求解,但以上文獻均未考慮到柔性負荷對調(diào)度問題的影響.文獻[8]建立了考慮分布式能源和柔性負荷的主動配電系統(tǒng)調(diào)度規(guī)劃模型,并提出了一種免疫二叉螢火蟲算法來求解多目標(biāo)優(yōu)化問題的最優(yōu)策略,但沒有考慮儲能裝置和柔性負荷的協(xié)調(diào)調(diào)度作用.文獻[9]提出一種新的多周期柔性負荷與儲能系統(tǒng)協(xié)調(diào)調(diào)度模型,并通過改進的粒子群算法對主動配電系統(tǒng)經(jīng)濟調(diào)度問題進行求解.上述文獻均是在預(yù)測數(shù)據(jù)的基礎(chǔ)上對主動配電系統(tǒng)的運行優(yōu)化問題進行研究,并未考慮到系統(tǒng)中新能源出力和各類負荷變化過程的隨機動態(tài)特性對系統(tǒng)運行效率的影響.但新能源出力及各類負荷需求的不確定性是普遍存在且不可避免的,當(dāng)實際值與日前預(yù)測值相差較大時,若以預(yù)測數(shù)據(jù)為基礎(chǔ)確定相應(yīng)的優(yōu)化控制策略,將難以保證主動配電系統(tǒng)的長期經(jīng)濟運行.

另外,隨著新能源滲透率的日益增加以及用電環(huán)節(jié)的不斷智能化,主動配電系統(tǒng)源荷雙側(cè)的不確定性不斷加大,電力系統(tǒng)調(diào)度也不斷向智能化發(fā)展,傳統(tǒng)的基于模型的靜態(tài)優(yōu)化算法變得越發(fā)不適用[10?11].在智能電網(wǎng)背景下,利用人工智能技術(shù)為電力系統(tǒng)動態(tài)調(diào)度問題提供智能化解決方案是當(dāng)前調(diào)度計劃研究的重點[12?13].

目前,主動配電系統(tǒng)的優(yōu)化研究主要針對居民用戶和商業(yè)用戶,對工業(yè)用戶的研究較少,且較少考慮需求側(cè)調(diào)峰問題[14].為此,儲能系統(tǒng)和柔性負荷作為需求側(cè)調(diào)峰資源參與電力調(diào)度問題越發(fā)值得關(guān)注.文獻[15]提出了一種儲能系統(tǒng)削峰填谷的變參數(shù)功率差控制方法,實現(xiàn)在滿足商業(yè)園區(qū)運行經(jīng)濟性的同時降低自身負荷峰谷差的目標(biāo).文獻[16]構(gòu)建了供需側(cè)聯(lián)合隨機調(diào)度模型,并通過仿真驗證了柔性負荷的調(diào)峰效益.文獻[17]論證了對工業(yè)園區(qū)內(nèi)的柔性負荷進行控制能夠降低用電高峰期用戶集中用電給電網(wǎng)帶來的調(diào)峰壓力,提高大電網(wǎng)運行的安全性和穩(wěn)定性.

因此,在上述研究基礎(chǔ)上,本文研究了工業(yè)園區(qū)主動配電系統(tǒng)實時響應(yīng)大電網(wǎng)系統(tǒng)下發(fā)電隨機調(diào)峰需求的優(yōu)化調(diào)度問題.首先,本文根據(jù)VRB 儲能裝置的充放電特性建立其數(shù)學(xué)模型,并采用三段式安全充放電控制策略求解模型;然后,本文考慮了多類型柔性負荷,并針對各類柔性負荷特性分別進行了建模處理;最后,考慮到當(dāng)前電力系統(tǒng)調(diào)度問題一般為離散時段決策,并且各個決策時刻間具有時序相關(guān)性,將考慮電網(wǎng)調(diào)峰隨機需求和源荷雙側(cè)隨機性的工業(yè)園區(qū)主動配電系統(tǒng)內(nèi)多類型柔性負荷與儲能裝置協(xié)同動態(tài)調(diào)度問題建成離散時間馬爾科夫決策過程(Discrete time Markov decision process,DTMDP)模型,并采用學(xué)習(xí)優(yōu)化方法對該動態(tài)調(diào)度優(yōu)化問題進行策略求解.

在系統(tǒng)實際運行過程中,可根據(jù)觀測狀態(tài)及最優(yōu)策略選擇最優(yōu)的控制行動,實時制定出各類型柔性負荷調(diào)整計劃和儲能裝置充放電計劃,從而在發(fā)、供、用電平衡協(xié)調(diào)基礎(chǔ)上緩解電網(wǎng)調(diào)峰壓力并實現(xiàn)系統(tǒng)安全經(jīng)濟運行的目標(biāo).

1 工業(yè)園區(qū)主動配電系統(tǒng)模型

1.1 工業(yè)園區(qū)主動配電系統(tǒng)

本文研究的是由工業(yè)園區(qū)調(diào)度中心、屋頂光伏、VRB 儲能系統(tǒng)以及多類型用戶負荷等組成的工業(yè)園區(qū)主動配電系統(tǒng).其中,園區(qū)調(diào)度中心作為協(xié)調(diào)電網(wǎng)調(diào)控中心與工業(yè)用戶的中間機構(gòu),可實現(xiàn)系統(tǒng)內(nèi)整個負荷群的宏觀整體協(xié)調(diào)響應(yīng)以及微觀靈活分散自治[18],進而可以調(diào)控需求側(cè)配電系統(tǒng)內(nèi)各類調(diào)峰資源以滿足大電網(wǎng)實時調(diào)峰需求,同時實現(xiàn)系統(tǒng)的供需平衡以及經(jīng)濟運行,系統(tǒng)結(jié)構(gòu)如圖1 所示.

圖1 工業(yè)園區(qū)主動配電系統(tǒng)結(jié)構(gòu)模型Fig.1 Structure model of active distribution system in industrial park

主動配電系統(tǒng)在任意時刻t都需要滿足實時供需平衡,即:

表1 部分變量符號Table 1 Partial variable symbols

本文將該系統(tǒng)中總負荷按需求管理模式分為剛性負荷和柔性負荷[1],其中工業(yè)園區(qū)內(nèi)剛性負荷屬于不可調(diào)節(jié)的用電需求,應(yīng)優(yōu)先被滿足;園區(qū)內(nèi)柔性負荷屬于可控負荷,常被用于參與系統(tǒng)緊急調(diào)峰的需求響應(yīng)[19].現(xiàn)將柔性負荷按響應(yīng)特性分為可削減負荷、可轉(zhuǎn)移負荷和可平移負荷三種類型.其中,可削減負荷指可根據(jù)需要對用電量進行部分或全部削減的負荷;可轉(zhuǎn)移負荷在一個調(diào)度周期內(nèi)總用電量不變,但各時段用電量可靈活調(diào)節(jié);可平移負荷受生產(chǎn)流程約束,其用電曲線只能在不同時段間平移[18].各類負荷需求可表示為:

本文園區(qū)調(diào)度中心采取基于合同的直接負荷控制策略,考慮的柔性負荷只限于與園區(qū)調(diào)度中心簽訂合同服從其調(diào)度指令的負荷.在調(diào)度周期內(nèi),調(diào)度中心對負荷具有直接調(diào)控權(quán),可直接控制各類柔性負荷在時序上重新調(diào)度,并在調(diào)度結(jié)束后根據(jù)負荷調(diào)整量給予一定補償[20].

1.2 不確定性隨機變量建模

由于環(huán)境和用戶行為的隨機特性,新能源出力與各類負荷實際需求變化既具有一定統(tǒng)計特征,同時也具有隨機不確定性[21?22].本文涉及到的隨機變量分別為PV 出力、各類負荷需求和電網(wǎng)調(diào)峰需求.

1.2.1 建立PV 出力模型

在系統(tǒng)實際運行過程中,可以根據(jù)氣象數(shù)據(jù)預(yù)測得到次日的PV 出力預(yù)測曲線.設(shè)根據(jù)預(yù)測得到的t時刻PV 出力為,由于預(yù)測準(zhǔn)確性有限,在t時刻實際PV 出力可視為預(yù)測值與隨機不確定部分的疊加,表達式為:

本文將PV 出力隨機不確定部分的最大范圍離散為?Npv ～Npv共 2Npv+1 個等級,并將該不確定量隨時間的變化過程用連續(xù)時間馬爾科夫過程近似描述[23?24].即假設(shè)狀態(tài)等級的逗留時間服從參數(shù)為的指數(shù)分布,在各時刻下的轉(zhuǎn)移概率服從以自身狀態(tài)為中心的離散高斯分布.在t時刻PV實際出力可近似描述為:

1.2.2 建立各類負荷需求模型

在系統(tǒng)實際運行過程中,可以通過對環(huán)境以及用戶歷史用電行為預(yù)測得到t時刻各類負荷需求功率.但由于各類負荷用電隨機性大,影響預(yù)測的準(zhǔn)確性,在t時刻各類負荷實際需求功率與預(yù)測值存在偏差(其中由于可平移負荷一般為固定流程生產(chǎn)線,故本文不考慮其隨機性),則t時刻剛性負荷、可削減負荷及可轉(zhuǎn)移負荷實際需求功率可分別表示為:

類似地,各類負荷需求隨機不確定部分隨時間的變化過程也可看作高斯—馬爾科夫過程[25?27],將各類負荷隨機不確定部分的最大范圍區(qū)間分別離散為相應(yīng)的狀態(tài)等級?Nrl～Nrl、?Ncu～Ncu、?Nsh～Nsh,則在t時刻相應(yīng)狀態(tài)等級下的各類負荷實際需求功率可分別描述如下:

1.2.3 建立電網(wǎng)調(diào)峰需求模型

電網(wǎng)日負荷峰谷差嚴(yán)重影響著電力系統(tǒng)穩(wěn)定性和發(fā)電效率,峰谷差越大,發(fā)電效率越低.調(diào)度日內(nèi),電網(wǎng)實時下發(fā)相應(yīng)調(diào)峰指令以期減小日負荷峰谷差,從而提高電力系統(tǒng)運行穩(wěn)定性、實現(xiàn)節(jié)能減排.為此,本文通過對系統(tǒng)內(nèi)VRB 儲能裝置和多類型柔性負荷等需求側(cè)調(diào)峰資源進行協(xié)調(diào)控制以滿足電網(wǎng)調(diào)峰需求,緩解電網(wǎng)實時調(diào)峰壓力.

由于受環(huán)境氣候以及用戶行為等諸多隨機因素影響,電網(wǎng)實際下發(fā)給工業(yè)園區(qū)的調(diào)峰指令存在著相應(yīng)的隨機不確定部分,任意時刻t電網(wǎng)實際調(diào)峰需求可表示為:

類似地,將電網(wǎng)調(diào)峰需求隨機不確定部分隨時間的變化過程建模為連續(xù)馬爾科夫過程,并將隨機不確定部分的最大范圍離散為?Npeak ～Npeak共2Npeak+1個等級,則在t時刻相應(yīng)狀態(tài)等級下的電網(wǎng)實際調(diào)峰需求可描述為:

其中,?Ppe表示t時刻電網(wǎng)調(diào)峰指令不確定部分離散化后的最小單位功率,狀態(tài)等級···0,1,···,Npeak}.

1.3 VRB 儲能模型

VRB 的電氣模型有很多種,為了充分反映其充放電過程中的端電壓、端電流以及SOC 等的動態(tài)變化特性,本文采用的VRB 等效電路如圖2 所示[28?29].

圖2 VRB 等效電路圖Fig.2 Equivalent circuit model of VRB

圖中,Ud和Vs分別為VRB 外部端電壓和內(nèi)核電壓,Id和Ip分別為充放電電流和泵損電流,R1和R2為等效內(nèi)阻,Rf和Ce分別為寄生損耗和電極電容.

根據(jù)VRB 等效電路圖,可得到其非線性數(shù)學(xué)模型如下:

在系統(tǒng)實際運行中,需盡量將VRB 儲能裝置的SOC 控制在0.2～0.8 之間以保證VRB 工作于安全區(qū)內(nèi),防止出現(xiàn)過充過放現(xiàn)象,提高電池充放電效率.本文以VRB 的端電壓和SOC 作為安全充放電切換控制的約束條件,采用先恒流再恒壓最后涓流充放電的三階段式控制策略求解所建立的VRB 非線性數(shù)學(xué)模型.其中,三段式安全充放電控制策略的給定值可分別表示如下:

在VRB 儲能裝置的三段式充電過程中,端電壓Ud、端電流Id及SOC 隨時間的變化特性如圖3所示.

圖3 采用三段式充放電策略時VRB 的充電曲線Fig.3 Charging curve using strategy three-phase of VRB

在一個周期內(nèi),VRB 儲能裝置約束如下[30]:

1)充放電功率約束:

2)端電壓約束:

3)荷電狀態(tài)(剩余容量)約束:

4)儲能裝置始末荷電狀態(tài)一致約束:

2 調(diào)度優(yōu)化模型及求解

為制定各類柔性負荷調(diào)整計劃和儲能系統(tǒng)充放電計劃,所求調(diào)度優(yōu)化策略需考慮到任意決策時刻所有可能出現(xiàn)的源荷出力隨機情況.為此,本文將系統(tǒng)決策過程建立為相應(yīng)的DTMDP 模型,該調(diào)度優(yōu)化模型包括狀態(tài)、行動、轉(zhuǎn)移代價及優(yōu)化目標(biāo)函數(shù).

2.1 調(diào)度優(yōu)化模型

將一天時間等分為K+1 個決策周期,采用等周期決策方式,決策時刻為tk,其中k ∈{0,1,···,K},?tk表示決策周期k的持續(xù)時間.

系統(tǒng)行動包括當(dāng)前狀態(tài)下VRB 儲能裝置的充放電動作avrb∈Dvrb={?1,0,1},可削減負荷削減動作acu∈Dcu={0,1,···,Nacu},可轉(zhuǎn)移負荷轉(zhuǎn)移動作ash∈Dsh={?Nash,···,0,1,···,Nash}以及可平移負荷平移動作ahs∈Dhs={0,1,···,Nahs}.系統(tǒng)行動向量為a=(avrb,acu,ash,ahs)∈D,系統(tǒng)行動集為D=Dvrb×Dcu×Dsh×Dhs.

定義系統(tǒng)策略π為狀態(tài)空間–行動集的映射,即對于任意狀態(tài)sk,均可根據(jù)策略 π選擇行動ask=π(sk)用以控制系統(tǒng)運行.

2.2 目標(biāo)函數(shù)及代價

本文的優(yōu)化目標(biāo)是在考慮系統(tǒng)功率平衡、儲能裝置等各類約束情況下,通過學(xué)習(xí)優(yōu)化的方法制定多類型柔性負荷調(diào)整計劃和儲能系統(tǒng)充放電計劃,以緩解電網(wǎng)調(diào)峰壓力并降低系統(tǒng)日運行代價.

假設(shè)當(dāng)前時間到達決策時刻tk,通過觀測可知系統(tǒng)處于當(dāng)前狀態(tài)sk,在該狀態(tài)下選擇行動,經(jīng)過一個決策周期后,系統(tǒng)狀態(tài)轉(zhuǎn)移到下一決策周期的狀態(tài)sk+1,并產(chǎn)生轉(zhuǎn)移代價ck,由此得到一個狀態(tài)轉(zhuǎn)移過程為 〈sk,ask,sk+1,ck〉.其中,在決策周期k內(nèi)系統(tǒng)運行過程中產(chǎn)生的各類代價可分別表示如下:

在決策周期k內(nèi)通過執(zhí)行行動ak狀態(tài)轉(zhuǎn)移過程中產(chǎn)生的運行代價ck可表示為:

主動配電系統(tǒng)調(diào)度呈一定周期性,應(yīng)使每個調(diào)度周期末VRB 儲能裝置剩余容量等級與調(diào)度周期起始時刻一致并達到期望的容量等級,故將末狀態(tài)代價設(shè)置為如下所示的差值函數(shù)cvrb(sK+1):

定義系統(tǒng)在策略π下以初始狀態(tài)為s0的有限時段內(nèi)優(yōu)化性能準(zhǔn)則為Vπ(s0),可表示如下:

其中,ck取決于狀態(tài)sk及根據(jù)策略π選取的動作ask.系統(tǒng)的優(yōu)化目標(biāo)為在策略集 ? 中找到一個最優(yōu)策略π?,使得在該策略下系統(tǒng)平均日運行代價最低,即π?=arg minπ∈?V π(s0).

2.3 學(xué)習(xí)優(yōu)化過程

針對考慮源荷雙側(cè)隨機性的工業(yè)園區(qū)主動配電系統(tǒng)的動態(tài)調(diào)度問題,本文采用強化學(xué)習(xí)方法對該問題進行策略求解.其中,Q 學(xué)習(xí)算法是一種模型無關(guān)的基于強化學(xué)習(xí)的隨機動態(tài)規(guī)劃方法,適用于求解隨機環(huán)境下的最優(yōu)控制策略[31].為此,本文采用基于模擬退火的有限時段Q 學(xué)習(xí)算法對所建調(diào)度優(yōu)化模型進行策略求解,具體求解過程如下:

步驟1.初始化Q值表,樣本軌道總數(shù)L,單條樣本軌道決策周期數(shù)K+1,學(xué)習(xí)率αl,學(xué)習(xí)率更新系數(shù)ηα,模擬退火溫度Ttemp及模擬退火系數(shù)ηtemp,并令當(dāng)前樣本軌道數(shù)l=0;

步驟2.k=0,并隨機初始化系統(tǒng)狀態(tài)sk;

步驟3.根據(jù)Q值表和貪婪策略,選取在當(dāng)前狀態(tài)sk下對VRB 儲能裝置和各類柔性負荷的貪婪行動agreedy=arg minask∈D Q(sk,ask),同時隨機選取有效行動arand.若

步驟4.執(zhí)行當(dāng)前所選行動ask,根據(jù)所建系統(tǒng)模型觀察下一決策周期對應(yīng)的系統(tǒng)狀態(tài)sk+1,并計算在決策周期k內(nèi)通過執(zhí)行行動ask狀態(tài)轉(zhuǎn)移過程中產(chǎn)生的代價ck,根據(jù)式(28)更新Q值表,同時更新策略,即通過不斷更新各狀態(tài)-行動對對應(yīng)的Q值和選取各狀態(tài)下最小的Q值對應(yīng)的儲能裝置充放電方案和各類柔性負荷調(diào)整方案作為該狀態(tài)下新的行動,達到更新策略的目的.并令k:=k+1,返回步驟3;

步驟5.執(zhí)行當(dāng)前狀態(tài)sK所選行動asK,并計算在決策周期K內(nèi)通過執(zhí)行行動asK狀態(tài)轉(zhuǎn)移過程中產(chǎn)生的代價cK及末狀態(tài)代價cvrb(sK+1),并根據(jù)式(29)更新Q 值表,同時更新策略,并令l:=l+1,αl:=ηα ?αl;

步驟6.若l

3 算例分析

3.1 算例描述

在本文算例中,根據(jù)某市各類負荷、PV 相關(guān)數(shù)據(jù)特征[21,32],擬合典型的工業(yè)園區(qū)主動配電系統(tǒng)內(nèi)PV 出力、總負荷需求以及各類柔性負荷需求等隨機因素的相應(yīng)統(tǒng)計預(yù)測曲線如圖4、圖5 所示.其中,柔性負荷占園區(qū)內(nèi)總體負荷需求的比例為16%,可削減、可轉(zhuǎn)移、可平移3 類柔性負荷的比例分別為10 %、4.8 %、1.2 %.全天負荷整體平穩(wěn),但在早、中、晚各有一個低谷,且早晚低谷相對更低,呈現(xiàn)明顯的日峰夜谷特點.在PV 發(fā)電裝置附近配備有容量為3 MWh 的VRB 儲能裝置,單個VRB 儲能單元相關(guān)參數(shù)如表2 所示[33].設(shè)置本文動態(tài)調(diào)度問題的決策周期為24 個時段,每個時段的持續(xù)時間為1 h.

圖4 工業(yè)園區(qū)內(nèi)PV 出力與總負荷需求預(yù)測曲線Fig.4 Prediction curves of PV and loads demand in industrial parks

圖5 工業(yè)園區(qū)內(nèi)各類柔性負荷典型日曲線Fig.5 Prediction curves of multi-type flexible loads in industrial parks

表2 VRB 模型參數(shù)設(shè)置表Table 2 Parameters of VRB

本文參照江蘇省工業(yè)用戶峰谷分時電價標(biāo)準(zhǔn)設(shè)定工業(yè)園區(qū)主動配電系統(tǒng)內(nèi)各時段的具體電價,其中,高峰時段8:00—12:00 和17:00—21:00,電價為0.9947 元/kWh;低谷時段0:00—8:00,電價為0.2989 元/kWh;剩余時段的平電價為0.5968 元/kWh[34].

根據(jù)第2.1 節(jié)可知,本文考慮到的系統(tǒng)狀態(tài)變量和控制變量種類較多,仿真算例中所選取的狀態(tài)?行動對個數(shù)更是多達7 558 272,由此形成的策略空間龐大,難以通過傳統(tǒng)數(shù)值求解方法進行求解,因此本文采用學(xué)習(xí)優(yōu)化方法對該動態(tài)調(diào)度問題進行策略求解.

3.2 仿真結(jié)果分析

1)學(xué)習(xí)優(yōu)化過程分析

本文以一天24 小時為調(diào)度周期,充分利用各類柔性負荷和儲能裝置等可調(diào)度資源對工業(yè)園區(qū)主動配電系統(tǒng)進行調(diào)度協(xié)調(diào)控制,并采用基于模擬退火Q 的學(xué)習(xí)算法對該系統(tǒng)的動態(tài)調(diào)度優(yōu)化問題進行求解.在學(xué)習(xí)過程中,通過Q 值更新公式不斷更新Q 值表,得到Q 學(xué)習(xí)優(yōu)化策略.設(shè)一條樣本軌道為系統(tǒng)一日內(nèi)運行過程,每經(jīng)過20 000 條樣本軌道,對所得策略進行一次評估,并設(shè)置策略評估過程中評估樣本軌道數(shù)為3 000,對評估樣本軌道結(jié)果取均值以估算系統(tǒng)日運行代價,圖6 分別給出了傳統(tǒng)Q 學(xué)習(xí)、雙Q 學(xué)習(xí)、模擬退火Q 學(xué)習(xí)以及模擬退火雙Q 學(xué)習(xí)的日平均代價學(xué)習(xí)優(yōu)化曲線,各學(xué)習(xí)優(yōu)化方法的收斂時間分別為54 820 s、14 803 s、44 508 s和11 154 s.從圖6 中可以看出各優(yōu)化算法下系統(tǒng)日運行代價均隨著學(xué)習(xí)步數(shù)的增加而逐漸下降,并最終趨于收斂,其中,雙Q 學(xué)習(xí)收斂速度較Q 學(xué)習(xí)快很多,這是因為雙Q 學(xué)習(xí)是雙重學(xué)習(xí),可避免最大值帶來的偏差影響,收斂更快,但Q 學(xué)習(xí)較雙Q的優(yōu)化效果更勝一籌;同時模擬退火Q 學(xué)習(xí)算法可利用模擬退火思想解決探索和利用的平衡問題,進而可提高收斂速度和算法性能,相較于傳統(tǒng)Q 學(xué)習(xí)的收斂速度更快.在實際應(yīng)用中,可綜合考慮時間和效果進行相應(yīng)優(yōu)化算法的選取和實驗.

圖6 不同學(xué)習(xí)優(yōu)化算法下的系統(tǒng)總學(xué)習(xí)優(yōu)化過程曲線Fig.6 The optimal curve of the system under different learning optimization algorithm

圖7 給出了基于模擬退火的Q 學(xué)習(xí)過程的策略性能曲線,學(xué)習(xí)曲線為每一條樣本軌道所記錄的日運行代價的平均值,填充區(qū)間為這3 000 條樣本軌道所得數(shù)據(jù)在各點處的標(biāo)準(zhǔn)差區(qū)間,填充區(qū)域面積越小,則表明不同樣本軌道得出的結(jié)果越接近,學(xué)習(xí)穩(wěn)定性越好.由學(xué)習(xí)曲線可以看出系統(tǒng)日運行代價均隨著學(xué)習(xí)步數(shù)的增加而逐漸下降,并趨于收斂,系統(tǒng)日運行平均代價較學(xué)習(xí)優(yōu)化前降低28.7%,顯著提高了系統(tǒng)運行效益;同時學(xué)習(xí)過程中不同樣本軌道得到的數(shù)據(jù)波動并不大且隨著學(xué)習(xí)步數(shù)的增加在不斷減小直至趨于較小的穩(wěn)定值.綜上所述,本文采用的基于模擬退火法的Q 學(xué)習(xí)算法所求得的策略可以穩(wěn)定、有效的適用于工業(yè)園區(qū)型主動配電系統(tǒng)的優(yōu)化研究.

圖7 系統(tǒng)學(xué)習(xí)優(yōu)化過程的策略性能曲線Fig.7 The strategic performance curve of the system learning optimization process

圖8 給出了電網(wǎng)調(diào)峰需求未完成度的學(xué)習(xí)曲線,經(jīng)過學(xué)習(xí)優(yōu)化,調(diào)峰需求未完成度逐漸降低并最終穩(wěn)定在11.1% 左右;圖9 為學(xué)習(xí)優(yōu)化過后,各時段內(nèi)電網(wǎng)調(diào)峰需求完成情況,明顯可以看出在用電高峰時段實際調(diào)峰量完全滿足其調(diào)峰需求,在用電低谷時段實際調(diào)峰量也基本完成了電網(wǎng)調(diào)峰需求.例如在5～7 時段,系統(tǒng)實際調(diào)峰量較電網(wǎng)調(diào)峰需求量相差較大,主要是因為從凌晨至今,大電網(wǎng)調(diào)峰需求均趨向于填谷,系統(tǒng)內(nèi)儲能裝置SOC 已臨近極值,故這段時間調(diào)峰效果稍差.

圖8 調(diào)峰學(xué)習(xí)優(yōu)化曲線Fig.8 The optimal curve of peak operation

圖9 各時段電網(wǎng)調(diào)峰指令完成情況示意圖Fig.9 The completion of peak adjustment instruction

圖10 給出的是在隨機初始SOC 情況下末狀態(tài)代價的優(yōu)化曲線,從圖10 可以看出,通過學(xué)習(xí)優(yōu)化,末狀態(tài)代價可收斂在0 左右,即末狀態(tài)儲能剩余容量等級可達到期望值;圖11 給出在不同初始荷電狀態(tài)情況下,所得優(yōu)化策略在一條樣本軌道運行中系統(tǒng)內(nèi)儲能裝置SOC 的變化情況.可以看出在不同初始荷電狀態(tài)下,所得優(yōu)化策略均可將荷電狀態(tài)在夜間降至較低水平,且趨向于在低電價時段選取充電或閑置,而在用電高峰時段趨向于放電或閑置,以獲取因電價差值產(chǎn)生的收益,緩解大電網(wǎng)的調(diào)峰壓力,進而提高工業(yè)園區(qū)主動配電系統(tǒng)運行的經(jīng)濟性并提升需求側(cè)調(diào)峰效果.

圖10 末代價學(xué)習(xí)優(yōu)化曲線Fig.10 The optimal curve of final cost

圖11 不同初始荷電狀態(tài)下各時段SOC 變化情況Fig.11 Changing process of SOC under different initial values

圖12 為學(xué)習(xí)優(yōu)化前后需求側(cè)負荷曲線,由圖12可以看出,與原負荷曲線相比,學(xué)習(xí)優(yōu)化策略對工業(yè)園區(qū)主動配電系統(tǒng)有一定的調(diào)峰效果,學(xué)習(xí)優(yōu)化前后系統(tǒng)總負荷特征如表3 所示.由表3 可知,學(xué)習(xí)優(yōu)化前系統(tǒng)負荷峰谷差為2 689 kW,通過學(xué)習(xí)優(yōu)化對系統(tǒng)內(nèi)多類型柔性負荷選取控制行動,使峰谷差減少為2 535 kW,系統(tǒng)峰谷差降低5.7 %.上述結(jié)果說明通過學(xué)習(xí)優(yōu)化不但可以滿足電網(wǎng)調(diào)峰需求,而且可以在一定程度上降低系統(tǒng)自身峰谷差,有利于主動配電系統(tǒng)安全經(jīng)濟運行.

圖12 學(xué)習(xí)優(yōu)化前后系統(tǒng)負荷曲線Fig.12 The curves of load before and after learning optimization in the system

表3 學(xué)習(xí)優(yōu)化前后系統(tǒng)總負荷特征Table 3 The characteristic of load before and after learning optimization in the system

圖13 為學(xué)習(xí)優(yōu)化后系統(tǒng)內(nèi)3 類典型柔性負荷在調(diào)度日內(nèi)各時段下的實際調(diào)整量,可以看出可削減負荷的削減量在負荷用電高峰期明顯高于用電低谷期,可轉(zhuǎn)移負荷趨向于將自身負荷用電從用電高峰轉(zhuǎn)移到用電低谷,可平移負荷由于自身特性和限制只會小范圍向后平移.通過對各類柔性負荷的動態(tài)調(diào)整可在一定程度上減緩電網(wǎng)調(diào)峰壓力,并在一定程度上實現(xiàn)峰電谷用.

圖13 學(xué)習(xí)優(yōu)化后各時段典型柔性負荷調(diào)整量Fig.13 Adjustment of multi-type flexible loads after optimization

2)不同調(diào)度模式下的優(yōu)化結(jié)果對比分析

在相同配置情況下,將VRB 儲能裝置與柔性負荷協(xié)同優(yōu)化調(diào)度模式記為模式1;將僅考慮VRB儲能裝置的優(yōu)化調(diào)度模式記為模式2;將僅考慮柔性負荷的優(yōu)化調(diào)度模式記為模式3;將既不考慮VRB 儲能裝置也不考慮柔性負荷的優(yōu)化調(diào)度模式記為模式4.4 種模式對應(yīng)于系統(tǒng)不同的物理結(jié)構(gòu),其策略維度也不同,故分別對應(yīng)不同的策略,分別記為策略1,2,3,4.現(xiàn)分別將其他模式對應(yīng)的優(yōu)化效果與模式1 進行比較,在各優(yōu)化調(diào)度模式下主動配電系統(tǒng)運行過程中產(chǎn)生的日運行代價和調(diào)峰完成情況對比如圖14 所示,各項代價指標(biāo)的具體數(shù)值如表4 所示.

圖14 不同調(diào)度模式下的調(diào)峰效果比較圖Fig.14 Comparison effect of peak operation under different dispatching modes

表4 不同調(diào)度模式下的相關(guān)指標(biāo)Table 4 Related indexes under different dispatching modes

由表4 數(shù)據(jù)可以看出各模式下系統(tǒng)優(yōu)化效果由好到差分別為:模式1、模式3、模式2、模式4.由圖14 可以看出,模式1 下的電網(wǎng)調(diào)峰需求完成度明顯優(yōu)于其他3 種模式,且模式1 下的系統(tǒng)日平均運行代價最低:模式2 的調(diào)峰完成度較差,主要是因為在模式2 下電網(wǎng)調(diào)峰需求由VRB 儲能裝置充放電來完成,然而各時刻下充放電功率與儲能裝置實際容量有關(guān),無法動態(tài)調(diào)節(jié),在一定程度上受到很大限制,而模式1 和模式3 中電網(wǎng)調(diào)峰需求可通過調(diào)節(jié)各類典型柔性負荷來完成,可動態(tài)調(diào)節(jié),更有利于大電網(wǎng)調(diào)峰任務(wù)的完成.上述結(jié)論充分說明了本文引入VRB 儲能裝置與多類型柔性負荷進行協(xié)同優(yōu)化調(diào)度的有效性.

由圖15 可以看出,模式1 與模式2 的策略相比,負荷需求有明顯差異,在負荷用電高峰時段模式1 的負荷需求明顯低于模式2,而在負荷用電低谷時段模式1 的負荷用電需求又高于模式2,說明了策略1 通過在不同時段對各類型柔性負荷選取不同行動,即用電高峰選取削負荷行動,并將部分可轉(zhuǎn)移、可平移負荷由高峰用電移至低谷,在一定程度上實現(xiàn)了削峰填谷,發(fā)揮了柔性負荷的調(diào)峰作用.

圖15 不同調(diào)度模式下負荷優(yōu)化結(jié)果比較圖Fig.15 Comparison diagram of load optimal results under different dispatching modes

以模式1 選取的VRB 儲能裝置容量配置為基準(zhǔn),分別求解不同儲能裝置容量配置下對應(yīng)的優(yōu)化調(diào)度方案,經(jīng)優(yōu)化得到不同容量占比下系統(tǒng)運行過程中的各項代價比較情況如圖16 所示.由圖16 可知,隨著儲能裝置容量的增加,系統(tǒng)日運行總代價緩慢降低,并且未完成電網(wǎng)調(diào)峰需求產(chǎn)生的調(diào)峰代價以及柔性負荷的補償代價逐漸減小,儲能裝置充放電過程產(chǎn)生的損耗也逐漸增加,說明了在允許范圍內(nèi)適當(dāng)增加儲能裝置的容量配置可以提高電網(wǎng)調(diào)峰需求完成度和降低系統(tǒng)日運行代價.

圖16 不同儲能容量占比下的各項代價比較圖Fig.16 Comparison of costs under different proportion of energy storage capacity

以模式1 設(shè)置的各類柔性負荷占比為基準(zhǔn),分別求解不同柔性負荷占比下的優(yōu)化調(diào)度方案,所得系統(tǒng)運行過程中產(chǎn)生的各項代價指標(biāo)的變化趨勢如圖17 所示.由圖17 可明顯看出,隨著柔性負荷的占比增加,系統(tǒng)運行過程中因調(diào)節(jié)各類柔性負荷需補償?shù)拇鷥r逐漸增加,而因未完成電網(wǎng)調(diào)峰需求產(chǎn)生的調(diào)峰代價先是逐漸降低直至柔性負荷占比為所設(shè)基準(zhǔn)值的90%左右,此時若繼續(xù)增加柔性負荷占比調(diào)峰代價則呈上升趨勢,并且系統(tǒng)總體運行代價趨勢與調(diào)峰代價趨勢基本一致.

圖17 不同柔性負荷占比下的各項代價比較圖Fig.17 Comparison of costs under different proportion of flexible load

根據(jù)光伏及負荷統(tǒng)計預(yù)測曲線,在模式1 結(jié)構(gòu)下,將源荷雙側(cè)隨機因素作為系統(tǒng)狀態(tài)和不作為系統(tǒng)狀態(tài)的兩種優(yōu)化求解方式分別記為方案1 和方案2.將方案2 與方案1 所得的優(yōu)化策略在隨機環(huán)境下進行評估比較,結(jié)果如表5 和圖18 所示.

從圖18 可以看出總體上各時段內(nèi)方案1 的優(yōu)化策略對應(yīng)的電網(wǎng)調(diào)峰需求未完成量要小于方案2,且方案1 在用電高峰時段下的調(diào)峰未完成量均趨于0,故方案1 的調(diào)峰效果明顯好于方案2.由表5可知方案1 下的系統(tǒng)日運行代價相比于方案2 更低,且其調(diào)峰完成度也高于方案2.以上現(xiàn)象均說明了本文采用的將源荷雙側(cè)隨機因素作狀態(tài)的方案1與不將隨機因素作狀態(tài)的方案2 相比,其所得優(yōu)化策略能夠更加經(jīng)濟地適用于實際的隨機環(huán)境,并可進一步提高電網(wǎng)調(diào)峰需求完成度.

表5 不同方案下的相關(guān)指標(biāo)Table 5 Related indexes under different projects

圖18 不同方案下的調(diào)峰需求未完成量比較圖Fig.18 Unfinished amount of peak operation demand under different projects

3)學(xué)習(xí)優(yōu)化策略分析

在所得優(yōu)化策略下對一條樣本軌道進行學(xué)習(xí),可以觀測得到該條仿真樣本軌道中各時段PV 發(fā)電功率、各類負荷需求、電網(wǎng)調(diào)峰需求和電池荷電狀態(tài)等實際狀態(tài)值,以及相應(yīng)狀態(tài)下采取的最優(yōu)控制行動如圖19 所示,表6 記錄了調(diào)度日內(nèi)該樣本典型狀態(tài)和行動.

圖19 優(yōu)化策略下各時段行動選取情況Fig.19 Choice of action pairs under optimal policy

由圖19 和表6 可知,VRB 儲能裝置在低電價時更趨向于選取充電動作來儲存電量以備即將到來的負荷用電高峰,在高電價時則傾向于選取放電動作,利用存儲的電能為負荷供電,以降低在用電高峰購電代價以及負荷高峰期的用電需求,獲取“低價儲電,高價賣電”的經(jīng)濟收益,這種低儲高放方式不但可以賺取電價差的利潤而且可以緩解電網(wǎng)調(diào)峰壓力;可削減負荷在用電高峰期傾向于大幅度的削減負荷用電,在用電低谷期則不削減負荷用電;可轉(zhuǎn)移負荷傾向于將負荷從高峰用電轉(zhuǎn)移到低谷用電;可平移負荷向后平移2 個時段,使時間跨度由3:00—15:00 變?yōu)?:00—17:00,避免了夜間工作為工人帶來的不便利.例如,在4 時低負荷、低電價的情況選擇儲能裝置的動作為充電,可削減負荷的動作為不削減,可轉(zhuǎn)移負荷的動作為轉(zhuǎn)入,可平移負荷的動作是向后平移.

表6 優(yōu)化策略下部分狀態(tài)行動Table 6 Partial state-action pairs under optimal policy

針對模式1,2,3 所得相應(yīng)的調(diào)度優(yōu)化策略1,2,3,可得到各策略在同一樣本軌道下各時段的調(diào)峰完成情況如圖20 所示,可以看出模式1 下該樣本的調(diào)峰未完成量明顯小于模式2、3,且其在負荷高峰期的調(diào)峰未完成量均為0,完全滿足電網(wǎng)在用電高峰期的調(diào)峰需求.表7 給出了各優(yōu)化策略在該樣本軌道下產(chǎn)生的各項代價指標(biāo),根據(jù)表中數(shù)據(jù)分析可知模式1 下的日運行費用也明顯小于其他模式,說明了在單條樣本下,考慮多類型柔性負荷與儲能裝置協(xié)同調(diào)度所得策略的優(yōu)化效果更好,進一步證明了本文優(yōu)化方法的有效性.

表7 優(yōu)化策略下不同模式的相關(guān)指標(biāo)Table 7 Related indexes under different modes in optimal policy

圖20 優(yōu)化策略下不同模式的調(diào)峰需求未完成量比較圖Fig.20 Unfinished amount of peak operation demand under different modes in optimal policy

4 結(jié)論

本文研究的是考慮電網(wǎng)調(diào)峰需求的工業(yè)園區(qū)主動配電系統(tǒng)內(nèi)動態(tài)經(jīng)濟調(diào)度優(yōu)化問題,并在此基礎(chǔ)上考慮了源荷雙側(cè)不確定因素,將工業(yè)園區(qū)主動配電系統(tǒng)調(diào)度問題建立為馬爾科夫決策過程模型,采用模擬退火Q 學(xué)習(xí)算法對該動態(tài)問題進行策略求解.仿真結(jié)果表明,考慮多類型柔性負荷和儲能系統(tǒng)協(xié)同調(diào)度相比于傳統(tǒng)單一模式可顯著降低電網(wǎng)調(diào)峰需求未完成度以及提高系統(tǒng)運行效益,并且學(xué)習(xí)優(yōu)化所得控制策略能夠在考慮源荷隨機情況下降低系統(tǒng)的運行成本,降低自身峰谷差,可在很大程度上滿足電網(wǎng)調(diào)峰需求,有利于主動配電系統(tǒng)經(jīng)濟運行和提高電力系統(tǒng)運行穩(wěn)定性.

由于本文考慮的系統(tǒng)狀態(tài)和行動種類多,若后續(xù)考慮將系統(tǒng)狀態(tài)和行動連續(xù)化以獲取更加精確的模型和更高精度的控制效果,可能會導(dǎo)致維數(shù)災(zāi)問題,探索解決該類問題的方法十分值得進一步研究;同時,由于系統(tǒng)故障或人為行為等因素帶來的系統(tǒng)物理結(jié)構(gòu)的動態(tài)變化,考慮系統(tǒng)結(jié)構(gòu)動態(tài)切換場景下的策略優(yōu)化問題也是值得深入研究的一個方向;此外,隨著新能源滲透率和柔性負荷規(guī)模的日益增大,考慮在源荷互動、多方參與的復(fù)雜電力市場交易環(huán)境下系統(tǒng)內(nèi)各部分利益間的博弈問題以及多類型市場機制對系統(tǒng)調(diào)度優(yōu)化的影響也是有意義的研究方向.