張 劍 崔明建 何怡剛

結(jié)合數(shù)據(jù)驅(qū)動(dòng)與物理模型的主動(dòng)配電網(wǎng)雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制

張 劍1崔明建2何怡剛3

（1. 合肥工業(yè)大學(xué)電氣與自動(dòng)化工程學(xué)院 合肥 230009 2. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院 天津 300072 3. 武漢大學(xué)電氣與自動(dòng)化學(xué)院 武漢 430072）

高比例電動(dòng)汽車(chē)、分布式風(fēng)電、光伏接入配電網(wǎng)，導(dǎo)致電壓頻繁地劇烈波動(dòng)。傳統(tǒng)調(diào)壓設(shè)備與逆變器動(dòng)作速度差異巨大，如何協(xié)調(diào)是難點(diǎn)問(wèn)題。該文結(jié)合數(shù)據(jù)驅(qū)動(dòng)與物理建模方法，提出一種配電網(wǎng)雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制策略。針對(duì)短時(shí)間尺度（min級(jí)）電壓波動(dòng)，以靜止無(wú)功補(bǔ)償器、分布式電源無(wú)功功率為決策變量，以電壓二次方偏差最小為目標(biāo)函數(shù)，針對(duì)平衡與不平衡配電網(wǎng)，基于支路潮流方程，計(jì)及物理約束構(gòu)建了二次規(guī)劃模型。針對(duì)長(zhǎng)時(shí)間尺度（h級(jí)）電壓波動(dòng)，以電壓調(diào)節(jié)器匝比、可投切電容電抗器擋位、儲(chǔ)能系統(tǒng)充放電功率為動(dòng)作，當(dāng)前時(shí)段配電網(wǎng)節(jié)點(diǎn)功率為狀態(tài)，節(jié)點(diǎn)電壓二次方偏差為代價(jià)，構(gòu)建了馬爾可夫決策過(guò)程。為克服連續(xù)-離散動(dòng)作空間維數(shù)災(zāi)，提出了一種基于松弛-預(yù)報(bào)-校正的深度確定性策略梯度強(qiáng)化學(xué)習(xí)求解算法。最后，采用IEEE 33節(jié)點(diǎn)平衡與123節(jié)點(diǎn)不平衡配電網(wǎng)驗(yàn)證了所提出方法的有效性。

智能配電網(wǎng) 電壓控制 深度強(qiáng)化學(xué)習(xí) 二次規(guī)劃 雙時(shí)間尺度

0 引言

未來(lái)一二十年，我國(guó)配電網(wǎng)將接入大量可再生分布式電源（Distributed Generators, DG）與電動(dòng)汽車(chē)（Electrical Vehicles, EV）。DG、EV對(duì)配電網(wǎng)的影響與利用、配電網(wǎng)優(yōu)化運(yùn)行、主動(dòng)配電網(wǎng)技術(shù)等已成為電氣工程領(lǐng)域的研究熱點(diǎn)[1]。某些情況下，傳統(tǒng)電壓調(diào)節(jié)方法無(wú)法將所有節(jié)點(diǎn)電壓調(diào)整至額定范圍[2]。文獻(xiàn)[3]針對(duì)實(shí)際配電網(wǎng)以10 min為動(dòng)作周期進(jìn)行的仿真結(jié)果表明，電壓調(diào)節(jié)器（Voltage Regulators, VR）、電容器與DG相互作用，導(dǎo)致動(dòng)作次數(shù)急劇上升，甚至達(dá)到10萬(wàn)余次/年。

高比例DG接入配電網(wǎng)可能導(dǎo)致潮流反向，超過(guò)允許的最大值，損壞VR。間歇性DG、EV與VR、電容器、電動(dòng)機(jī)相互作用可能導(dǎo)致分接頭達(dá)到最高/最低擋位，失去控制，加重公共并網(wǎng)點(diǎn)電壓下降/上升幅度，電壓調(diào)節(jié)失敗、惡化[4]，甚至引起暫態(tài)電壓失穩(wěn)與振蕩[5]。DG啟停、出力變化、EV無(wú)序充電、快充亦可能導(dǎo)致電壓越限、失穩(wěn)與振蕩[6]。光伏發(fā)電有功功率變化量在1 min內(nèi)能夠達(dá)到其額定功率的15%。文獻(xiàn)[1]針對(duì)某實(shí)際配電網(wǎng)的仿真表明，處于配電網(wǎng)末端的快速充電站內(nèi)6輛EV同時(shí)快充即可導(dǎo)致電壓越限。

基于物理模型的無(wú)功功率優(yōu)化是解決上述電壓?jiǎn)栴}的常用手段。根據(jù)對(duì)通信系統(tǒng)的依賴程度，無(wú)功優(yōu)化可分為集中式、分布式與本地控制。集中式控制主要基于混合整數(shù)二次規(guī)劃、二階錐規(guī)劃、半定規(guī)劃[7]、模型預(yù)測(cè)控制[8]、靈敏度分析、進(jìn)化算法[9]等；分布式控制主要基于交替方向乘子法[10]、多智能體技術(shù)[11]、一致性算法[12-13]等；本地控制主要基于梯度投影法、下垂控制等。由于存在整數(shù)變量與非線性約束，集中式控制模型一般是非凸的，求解十分困難，屬于NP難題。本地控制難以保證最優(yōu)性。分布式控制一般要求模型是凸的。

計(jì)及源荷不確定性，傳統(tǒng)基于物理模型的配電網(wǎng)多時(shí)段有功無(wú)功協(xié)調(diào)優(yōu)化屬于大規(guī)?；旌险麛?shù)非凸非線性隨機(jī)或魯棒優(yōu)化，求解復(fù)雜度隨配電網(wǎng)拓?fù)湟?guī)模與可調(diào)設(shè)備數(shù)量的增加呈指數(shù)增長(zhǎng)，屬于NP難題。同時(shí)，DG逆變器、VR、可投切電容電抗器（Switchable Capacitors Reactors, SCR）、儲(chǔ)能系統(tǒng)（Energy Storage Systems, ESS）、靜止無(wú)功補(bǔ)償器（Static Var Compensators, SVC）等可調(diào)設(shè)備動(dòng)作速度與特性差異很大，使得配電網(wǎng)有功無(wú)功協(xié)調(diào)優(yōu)化面臨維數(shù)高、建模困難、求解緩慢等難題。如何快速找到全局最優(yōu)解已成為主動(dòng)配電網(wǎng)最優(yōu)潮流領(lǐng)域的研究熱點(diǎn)。

為消除對(duì)配電網(wǎng)精確模型與源荷不確定性先驗(yàn)知識(shí)的依賴，近年來(lái)基于強(qiáng)化學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)方法受到了眾多專家與學(xué)者的關(guān)注。深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning, DRL）已成功應(yīng)用于電力系統(tǒng)狀態(tài)估計(jì)與預(yù)測(cè)[14]、微電網(wǎng)經(jīng)濟(jì)調(diào)度[15]、電網(wǎng)安全穩(wěn)定控制[16]、混合動(dòng)力汽車(chē)能量管理[17]、園區(qū)綜合能源系統(tǒng)優(yōu)化管理[18]、風(fēng)儲(chǔ)聯(lián)合電站實(shí)時(shí)調(diào)度[19]、配電網(wǎng)無(wú)功優(yōu)化與電壓控制[20-23]等。文獻(xiàn)[24]提出了一種配電網(wǎng)雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制策略，采用深度Q網(wǎng)絡(luò)（Deep Q Network, DQN）算法協(xié)調(diào)控制電容器投切，但未計(jì)及配電網(wǎng)三相不平衡、ESS、VR、電抗器的作用。

目前，DQN算法廣泛應(yīng)用于配電網(wǎng)無(wú)功功率-電壓優(yōu)化問(wèn)題。然而，當(dāng)配電網(wǎng)中存在大量VR或電容器時(shí)，DQN算法導(dǎo)致離散動(dòng)作空間維數(shù)災(zāi)[24]。針對(duì)此問(wèn)題，文獻(xiàn)[25]提出了一種多智能體DQN算法。然而，連續(xù)決策變量被離散化，導(dǎo)致離散動(dòng)作維數(shù)急劇增加。此外，逆變器、VR與電容器的動(dòng)作時(shí)間間隔設(shè)置為相同，降低了靈活性與最優(yōu)性。盡管多智能體DRL能夠有效地克服維度災(zāi)，但訓(xùn)練過(guò)程收斂速度與平穩(wěn)度遠(yuǎn)低于單智能體。

此外，上述基于數(shù)據(jù)驅(qū)動(dòng)的方法未計(jì)及傳統(tǒng)可調(diào)設(shè)備與新出現(xiàn)的DG、ESS在不同時(shí)間尺度上的協(xié)同優(yōu)化。VR、SCR、ESS與SVC、DG逆變器動(dòng)作速度與特性不同（VR、SCR動(dòng)作速度慢，為降低磨損，延長(zhǎng)使用壽命，不宜頻繁動(dòng)作；ESS充放電功率變化率與循環(huán)次數(shù)亦存在限制），適用于不同時(shí)間尺度的電壓調(diào)節(jié)。當(dāng)前時(shí)刻VR匝比、SCR擋位、ESS充放電功率設(shè)定值對(duì)下一時(shí)段SVC、DG逆變器無(wú)功功率設(shè)定值具有重大影響。反之，當(dāng)前時(shí)刻SVC、DG逆變器無(wú)功功率設(shè)定值對(duì)未來(lái)時(shí)段VR匝比、SCR擋位、ESS充放電功率設(shè)定值亦具有重大影響。事實(shí)上，這種雙向長(zhǎng)期互動(dòng)很難刻畫(huà)、建模與求解。因此，本文從可調(diào)設(shè)備動(dòng)作速度與特性出發(fā)，結(jié)合數(shù)據(jù)驅(qū)動(dòng)與物理建模方法，提出了一種在短、長(zhǎng)時(shí)間尺度上協(xié)調(diào)優(yōu)化控制VR、SCR、ESS、SVC與DG逆變器五種不同類型可調(diào)設(shè)備的策略。

1 雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制策略

1.1 系統(tǒng)模型

圖1 輻射狀配電網(wǎng)支路潮流

圖2 電壓調(diào)節(jié)器支路等效電路

圖3 可調(diào)設(shè)備雙時(shí)間尺度動(dòng)作時(shí)刻劃分

1.2 雙時(shí)間尺度有功無(wú)功功率-電壓協(xié)調(diào)優(yōu)化控制模型

2 短時(shí)間尺度無(wú)功功率-電壓二次規(guī)劃模型

2.1 平衡配電網(wǎng)支路潮流方程

2.2 不平衡配電網(wǎng)支路潮流方程

2.3 DG的模型

2.4 SVC的模型

SVC注入配電網(wǎng)的無(wú)功功率約束為

2.5 目標(biāo)函數(shù)

對(duì)于三相平衡配電網(wǎng)，短時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制模型為

對(duì)于三相不平衡配電網(wǎng)，短時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制模型為

值得指出的是，本文對(duì)源荷不確定性處理方法如下：短時(shí)間尺度凸優(yōu)化模型時(shí)隙間隔可根據(jù)實(shí)際配電網(wǎng)功率波動(dòng)情況設(shè)置為幾分鐘。因此，源荷功率可采用超短期預(yù)測(cè)方法得到精確值[14]。

3 長(zhǎng)時(shí)間尺度ESS VR與SCR設(shè)置

3.1 基于數(shù)據(jù)驅(qū)動(dòng)的求解方法

隨機(jī)優(yōu)化與魯棒優(yōu)化是處理源荷不確定性的常用方法。然而，隨機(jī)優(yōu)化需要大量數(shù)據(jù)樣本，計(jì)算開(kāi)銷巨大，難以滿足大規(guī)模配電網(wǎng)實(shí)時(shí)控制需求。魯棒優(yōu)化針對(duì)最惡劣場(chǎng)景進(jìn)行決策，未利用源荷不確定性概率密度信息，使得優(yōu)化結(jié)果偏于保守。因此，針對(duì)傳統(tǒng)大規(guī)?；旌险麛?shù)優(yōu)化NP難題，本文第一層長(zhǎng)時(shí)間尺度（h級(jí)）控制基于數(shù)據(jù)驅(qū)動(dòng)方法構(gòu)建MDP，采用DRL方法能夠快速求解離散可調(diào)設(shè)備匝比/擋位與ESS充放電功率（近似）最優(yōu)設(shè)定值。為克服離散動(dòng)作空間維數(shù)災(zāi)，本文提出一種基于松弛-預(yù)報(bào)-校正的改進(jìn)深度確定性策略梯度（Deep Deterministic Policy Gradient, DDPG）強(qiáng)化學(xué)習(xí)算法，能夠高效處理離散與連續(xù)決策變量聯(lián)合動(dòng)作。針對(duì)高比例間歇性DG、快充EV接入配電網(wǎng)引起的源荷功率與電壓頻繁、快速、劇烈波動(dòng)問(wèn)題，本文第二層短時(shí)間尺度（min級(jí)）控制在給定第一層控制變量設(shè)定值后，通過(guò)構(gòu)建單一時(shí)隙無(wú)功優(yōu)化二次規(guī)劃（Quadratic Programming, QP）物理模型，能夠快速求解SVC與DG逆變器無(wú)功功率設(shè)定值，滿足實(shí)時(shí)控制需求。源荷功率采用超短期預(yù)測(cè)方法得到精確值[14]。長(zhǎng)時(shí)間尺度（h級(jí)）內(nèi)求解每個(gè)短時(shí)間尺度（min級(jí)）QP得到的最優(yōu)目標(biāo)函數(shù)值累加后作為MDP的代價(jià)。因此，數(shù)據(jù)驅(qū)動(dòng)與物理建模方法融為一體，相互協(xié)調(diào)，互相配合，能夠保證解的（近似）最優(yōu)性。

長(zhǎng)期回報(bào)：MDP的目標(biāo)是采用最優(yōu)策略使得長(zhǎng)期折扣回報(bào)最大。

3.2 基于松弛-預(yù)報(bào)-校正的改進(jìn)DDPG求解算法

圖4 消除離散-連續(xù)動(dòng)作空間維數(shù)災(zāi)的改進(jìn)DDPG算法

本文提出的雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制程序流程如圖5所示。

圖5 雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制程序流程

4 仿真算例

4.1 仿真條件

表1 ESS的參數(shù)

Tab.1 Parameters of ESS

表2 可調(diào)設(shè)備的參數(shù)

表3 DDPG人工神經(jīng)網(wǎng)絡(luò)的參數(shù)

Tab.3 Settings of DDPG

在33節(jié)點(diǎn)配電網(wǎng)中，SVC容量為[-0.5 0.5]Mvar；每個(gè)SCR最小、最大無(wú)功功率分別為-0.5、0.5 Mvar，步長(zhǎng)為0.1 Mvar；VR步長(zhǎng)為0.006 25；每臺(tái)WTG最大有功功率與額定容量分別為0.1 MW、0.1 MV·A；時(shí)隙間隔長(zhǎng)度設(shè)置為5 min。

在123節(jié)點(diǎn)配電網(wǎng)中，每個(gè)SVC容量為[-0.15 0.15]Mvar；每個(gè)on-off電容器無(wú)功功率分別為0.2、0.2、0.2、0.05、0.05、0.05 Mvar；每個(gè)VR步長(zhǎng)為0.025；每臺(tái)WTG最大有功功率與額定容量分別為0.09 MW、0.09 MV·A；節(jié)點(diǎn)123為平衡節(jié)點(diǎn)，電壓固定為1.05(pu)；時(shí)隙間隔長(zhǎng)度設(shè)置為10 min；每個(gè)節(jié)點(diǎn)最大負(fù)荷功率與文獻(xiàn)[28]相同。

值得指出的是，目前配電網(wǎng)調(diào)度周期是固定的，如1 h。未來(lái)，高比例光伏、（快充）EV接入配電網(wǎng)，導(dǎo)致電壓頻繁、快速、劇烈波動(dòng)。配電網(wǎng)調(diào)度周期將會(huì)發(fā)生改變，如變?yōu)?～15 min。文獻(xiàn)[24]設(shè)置配電網(wǎng)調(diào)度周期為5 min。因此，本文提出的結(jié)合數(shù)據(jù)驅(qū)動(dòng)與物理模型的主動(dòng)配電網(wǎng)雙時(shí)間尺度電壓協(xié)調(diào)優(yōu)化控制方法中，ESS、VR與SCR動(dòng)作周期為每個(gè)時(shí)段（h級(jí)），在每個(gè)時(shí)隙（min級(jí)）均不動(dòng)作，SVC、DG逆變器無(wú)功動(dòng)作周期為每個(gè)時(shí)隙（min級(jí)），如圖3所示。

4.2 33節(jié)點(diǎn)配電網(wǎng)仿真結(jié)果

圖6 33節(jié)點(diǎn)配電網(wǎng)平均每小時(shí)代價(jià)

圖8 第600天數(shù)據(jù)被訓(xùn)練后當(dāng)天節(jié)點(diǎn)18與33電壓幅值

圖9 第172 800時(shí)隙所有節(jié)點(diǎn)電壓幅值

4.3 123節(jié)點(diǎn)配電網(wǎng)仿真結(jié)果

圖10 123節(jié)點(diǎn)配電網(wǎng)平均每小時(shí)代價(jià)

圖12 在第600天數(shù)據(jù)被訓(xùn)練后節(jié)點(diǎn)96當(dāng)天電壓幅值

圖13 第86 400時(shí)隙所有節(jié)點(diǎn)電壓幅值

4.4 與現(xiàn)有多智能體DQN算法比較

5 結(jié)論

本文訓(xùn)練集是固定的，而且未采用測(cè)試集驗(yàn)證基于松弛-預(yù)報(bào)-校正的DDPG算法泛化能力。進(jìn)一步研究的工作重點(diǎn)是采用滾動(dòng)測(cè)試集在線實(shí)時(shí)驗(yàn)證基于松弛-預(yù)報(bào)-校正的DDPG算法泛化能力。

[1] Yong Jiaying, Ramachandaramurthy V K, Tan Kangmiao, et al. Bi-directional electric vehicle fast charging station with novel reactive power compensation for voltage regulation[J]. International Journal of Electrical Power & Energy Systems, 2015, 64: 300-310.

[2] Wang Pengfei, Liang D H, Yi Jialiang, et al. Integrating electrical energy storage into coordinated voltage control schemes for distribution networks[J]. IEEE Transactions on Smart Grid, 2014, 5(2): 1018-1032.

[3] Ranamuka D, Agalgaonkar A P, Muttaqi K M. Examining the interactions between DG units and voltage regulating devices for effective voltage control in distribution systems[J]. IEEE Transactions on Industry Applications, 2017, 53(2): 1485-1496.

[4] Agalgaonkar Y P, Pal B C, Jabr R A. Distribution voltage control considering the impact of PV generation on tap changers and autonomous regulators[J]. IEEE Transactions on Power Systems, 2014, 29(1): 182-192.

[5] Kawabe K, Tanaka K. Impact of dynamic behavior of photovoltaic power generation systems on short-term voltage stability[J]. IEEE Transactions on Power Systems, 2015, 30(6): 3416-3424.

[6] Taranto G N, Assis T M L, Falcao D M, et al. Highlighting the importance of chronology on voltage protection and control in active distribution networks[J]. IEEE Transactions on Power Delivery, 2017, 32(1): 361-369.

[7] Bose S, Low S H, Teeraratkul T, et al. Equivalent relaxations of optimal power flow[J]. IEEE Transactions on Automatic Control, 2015, 60(3): 729-742.

[8] Valverde G, Van Cutsem T. Model predictive control of voltages in active distribution networks[J]. IEEE Transactions on Smart Grid, 2013, 4(4): 2152-2161.

[9] 黃大為, 王孝泉, 于娜, 等. 計(jì)及光伏出力不確定性的配電網(wǎng)混合時(shí)間尺度無(wú)功/電壓控制策略[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(17): 4377-4389. Huang Dawei, Wang Xiaoquan, Yu Na, et al. Hybrid timescale voltage/var control in distribution network considering PV power uncertainty[J]. Transactions of China Electrotechnical Society, 2022, 37(17): 4377-4389.

[10] Magnússon S, Qu Guannan, Fischione C, et al. Voltage control using limited communication[J]. IEEE Transactions on Control of Network Systems, 2019, 6(3): 993-1003.

[11] Bolognani S, Carli R, Cavraro G, et al. Distributed reactive power feedback control for voltage regulation and loss minimization[J]. IEEE Transactions on Automatic Control, 2015, 60(4): 966-981.

[12] 楊珺, 侯俊浩, 劉亞威, 等. 分布式協(xié)同控制方法及在電力系統(tǒng)中的應(yīng)用綜述[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(19): 4035-4049. Yang Jun, Hou Junhao, Liu Yawei, et al. Distributed cooperative control method and application in power system[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4035-4049.

[13] 李忠文, 程志平, 張書(shū)源, 等. 考慮經(jīng)濟(jì)調(diào)度及電壓恢復(fù)的直流微電網(wǎng)分布式二次控制[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(21): 4482-4492. Li Zhongwen, Cheng Zhiping, Zhang Shuyuan, et al. Distributed secondary control for economic dispatch and voltage restoration of DC microgrid[J]. Transactions of China Electrotechnical Society, 2021, 36(21): 4482-4492.

[14] Zhang Liang, Wang Gang, Giannakis G B. Real-time power system state estimation and forecasting via deep unrolled neural networks[J]. IEEE Transactions on Signal Processing, 2019, 67(15): 4069-4077.

[15] 巨云濤, 陳希, 李嘉偉, 等. 基于分布式深度強(qiáng)化學(xué)習(xí)的微網(wǎng)群有功無(wú)功協(xié)調(diào)優(yōu)化調(diào)度[J]. 電力系統(tǒng)自動(dòng)化, 2023, 47(1): 115-125. Ju Yuntao, Chen Xi, Li Jiawei, et al. Active and reactive power coordinated optimal dispatch of networked microgrids based on distributed deep reinforcement learning[J]. Automation of Electric Power Systems, 2023, 47(1): 115-125.

[16] 顧雪平, 劉彤, 李少巖, 等. 基于改進(jìn)雙延遲深度確定性策略梯度算法的電網(wǎng)有功安全校正控制[J]. 電工技術(shù)學(xué)報(bào), 2023, 38(8): 2162-2177. Gu Xueping, Liu Tong, Li Shaoyan, et al. Active power correction control of power grid based on improved twin delayed deep deterministic policy gradient algorithm[J]. Transactions of China Electrotechnical Society, 2023, 38(8): 2162-2177.

[17] 陳澤宇, 方志遠(yuǎn), 楊瑞鑫, 等. 基于深度強(qiáng)化學(xué)習(xí)的混合動(dòng)力汽車(chē)能量管理策略[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(23): 6157-6168. Chen Zeyu, Fang Zhiyuan, Yang Ruixin, et al. Energy management strategy for hybrid electric vehicle based on the deep reinforcement learning method[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 6157-6168.

[18] 陳明昊, 孫毅, 謝志遠(yuǎn). 基于雙層深度強(qiáng)化學(xué)習(xí)的園區(qū)綜合能源系統(tǒng)多時(shí)間尺度優(yōu)化管理[J]. 電工技術(shù)學(xué)報(bào), 2023, 38(7): 1864-1881. Chen Minghao, Sun Yi, Xie Zhiyuan. The multi-time-scale management optimization method for park integrated energy system based on the Bi-layer deep reinforcement learning[J]. Transactions of China Electrotechnical Society, 2023, 38(7): 1864-1881.

[19] 宋煜浩, 魏韡, 黃少偉, 等. 風(fēng)儲(chǔ)聯(lián)合電站實(shí)時(shí)自調(diào)度的高效深度確定性策略梯度算法[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(23): 5987-5999. Song Yuhao, Wei Wei, Huang Shaowei, et al. Efficient deep deterministic policy gradient algorithm for real-time self-dispatch of wind-storage power plant[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 5987-5999.

[20] Xu Hanchen, Domínguez-García A D, Sauer P W. Optimal tap setting of voltage regulation transformers using batch reinforcement learning[J]. IEEE Transactions on Power Systems, 2020, 35(3): 1990-2001.

[21] Al-Saffar M, Musilek P. Reinforcement learning-based distributed BESS management for mitigating overvoltage issues in systems with high PV penetration[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 2980-2994.

[22] Wang Wei, Yu Nanpeng, Gao Yuanqi, et al. Safe off-policy deep reinforcement learning algorithm for volt-VAR control in power distribution systems[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 3008-3018.

[23] Cao Di, Hu Weihao, Zhao Junbo, et al. A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters[J]. IEEE Transactions on Power Systems, 2020, 35(5): 4120-4123.

[24] Yang Qiuling, Wang Gang, Sadeghi A, et al. Two-timescale voltage control in distribution grids using deep reinforcement learning[J]. IEEE Transactions on Smart Grid, 2020, 11(3): 2313-2323.

[25] Zhang Ying, Wang Xinan, Wang Jianhui, et al. Deep reinforcement learning based volt-VAR optimization in smart distribution systems[J]. IEEE Transactions on Smart Grid, 2021, 12(1): 361-371.

[26] Dulac-Arnold G, Evans R, Van Hasselt H, et al. Deep reinforcement learning in large discrete action spaces[J]. Computer Science, 2015. DOI:10.48550/ ARXiv.1512.07679.

[27] Zhang Jian, He Yigang. Fast solving method for two-stage multi-period robust optimization of active and reactive power coordination in active distribution networks[J]. IEEE Access, 2022, 11: 30208-30222.

[28] Ding Tao, Liu Shiyu, Yuan Wei, et al. A two-stage robust reactive power optimization considering uncertain wind power integration in active distribution networks[J]. IEEE Transactions on Sustainable Energy, 2016, 7(1): 301-311.

Dual Timescales Coordinated and Optimal Voltages Control in Distribution Systems using Data-Driven and Physical Optimization

Zhang Jian1Cui Mingjian2He Yigang3

（1. School of Electrical and Automation Engineering Hefei University of Technology Hefei 230009 China 2. School of Electrical and Information Engineering Tianjin University Tianjin 300072 China 3. School of Electrical and Automation Wuhan University Wuhan 430072 China）

A large number of electric vehicles (EVs), distributed solar and/or wind turbine generators (WTGs) connected to distribution systems lead to frequent and sharp voltages fluctuations. The action rates of conventional adjustable devices and smart inverters are very different. In this context, a novel dual-timescale voltage control scheme is proposed by organically combining data-driven with physics-based optimization. On fast timescale, a quadratic programming (QP) for balanced and unbalanced distribution systems is developed based on branch flow equations. The optimal reactive power of renewable distributed generators (DGs) and static VAR compensators (SVCs) is configured on several minutes. Whereas, on slow timescale, a data-driven Markovian decision process (MDP) is developed, in which the charge/discharge power of energy storage systems (ESSs), statuses/ratios of switchable capacitors reactors (SCRs), and voltage regulators (VRs) are configured hourly to minimize long-term discounted squared voltages magnitudes deviations using an adapted deep deterministic policy gradient (DDPG) deep reinforcement learning (DRL) algorithm. The capabilities of the proposed method are validated with IEEE 33-bus balanced and 123-bus unbalanced distribution systems.

Smart distribution systems, voltage control, deep reinforcement learning(DRL), quadratic programming(QP), dual-timescale

10.19595/j.cnki.1000-6753.tces.222273

TM732

國(guó)家自然科學(xué)基金資助項(xiàng)目（52207130）。

2022-12-12

2023-09-27

張 劍 1982年生，男，博士，講師，研究方向?yàn)殡娏ο到y(tǒng)建模、主動(dòng)配電網(wǎng)技術(shù)、電動(dòng)汽車(chē)有序充電等。E-mail：z_jj1219@sina.com（通信作者）

崔明建 1987年生，男，博士，教授，研究方向?yàn)轱L(fēng)力預(yù)測(cè)、機(jī)組組合、配電網(wǎng)物理信息系統(tǒng)等。E-mail：mingjian.cui@ ieee.org

（編輯 赫 蕾）