潮 鑄段秦尉錢 峰黃紅偉薛艷軍

(1.廣東電網(wǎng)電力調(diào)度控制中心，廣東 廣州 510080；2.北京清大科越股份有限公司，北京 100084)

隨著風(fēng)光等可再生能源發(fā)電不斷并入電力系統(tǒng)傳統(tǒng)發(fā)電、輸電、配電和用電等電網(wǎng)，尤其是大量并入低電壓等級電網(wǎng)，如配電網(wǎng)，使傳統(tǒng)配電網(wǎng)由單純的被動受電逐漸具有主動供電能力，且主動性隨著可再生能源發(fā)電的并入量越來越明顯，由此使配電網(wǎng)具有受電和供電的雙重性，引起了國內(nèi)外專家學(xué)者的高度重視[1-3]。

針對主動配電網(wǎng)中風(fēng)電、光電具有隨機(jī)性、波動性特點(diǎn)，使得主動配電網(wǎng)具有“源”或者“荷”狀態(tài)的不確定性，在實(shí)施電力系統(tǒng)調(diào)度過程中，增加了電力系統(tǒng)調(diào)度和控制的難度[4-5]。

對此問題，國內(nèi)外專家學(xué)者進(jìn)行了深入的研究，從研究思路上來說，主要可以分為兩類:第一類是集中式的電力系統(tǒng)調(diào)度控制方法，第二類是分布式的電力系統(tǒng)調(diào)度控制方法。

對于第一類的研究來說，主要思路是采用集中的方式建立“源”“網(wǎng)”“荷”聯(lián)合調(diào)度的優(yōu)化模型，如文獻(xiàn)[6-8]考慮到可再生能源的不確定對電網(wǎng)調(diào)度的影響，將需求響應(yīng)和電動汽車結(jié)合，能夠有效降低電網(wǎng)調(diào)度的風(fēng)險；文獻(xiàn)[9-11]綜合考慮了傳輸限制的風(fēng)電、燃?xì)鈾C(jī)組等不確定性的協(xié)同優(yōu)化調(diào)度模型；文獻(xiàn)[12-14]通過考慮風(fēng)力發(fā)電、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、光伏發(fā)電、微型燃?xì)廨啓C(jī)、儲能等不確定因素，建立了動態(tài)優(yōu)化的綜合調(diào)度模型。對于集中式的經(jīng)濟(jì)調(diào)度方法來說，其通常做法是在調(diào)度中心通過獲得的各個部分信息(如發(fā)電、負(fù)荷、網(wǎng)絡(luò)等狀態(tài))建立以經(jīng)濟(jì)成本最小為目標(biāo)的最優(yōu)模型，使用多種方法予以求解。然而，隨著可再生能源發(fā)電越來越多分散在電力系統(tǒng)各個部分(如主動配電網(wǎng)各個地域)，使傳統(tǒng)集中式調(diào)度方法存在通信網(wǎng)絡(luò)、大數(shù)據(jù)量并發(fā)、計(jì)算效率、局部故障容易引發(fā)全局故障等問題，使集中式調(diào)度方法具有一定的困難。

為了解決集中式的困難，分散式調(diào)度方法應(yīng)運(yùn)而生。對于第二類的研究來說，主要研究思路是采用分散或分布式方式建立“源”“網(wǎng)”“荷”的調(diào)度優(yōu)化模型，如文獻(xiàn)[15-17]提出了可再生電源以微電網(wǎng)為單元的分散協(xié)調(diào)調(diào)度方式；文獻(xiàn)[18-20]考慮到分布式優(yōu)化框架下參與主體為了獲得更多利益而遵循其私有設(shè)置的優(yōu)化算法，從而破壞全局最優(yōu)配置，在分解協(xié)調(diào)算法和純分布式算法基礎(chǔ)上，提出了基于區(qū)塊鏈共識機(jī)制的多區(qū)域最優(yōu)潮流分布式算法；文獻(xiàn)[21-23]采用一致性算法，將“源”“網(wǎng)”“荷”的不確定嵌入其中，提出了源網(wǎng)荷完全分布式的優(yōu)化調(diào)控策略。

對于分散式的經(jīng)濟(jì)調(diào)度方式而言，目前主要的做法是建立分散式的算法、優(yōu)化模型以保證在全局范圍內(nèi)的資源配置最優(yōu)，然而該類方法忽略了多個區(qū)域在分散協(xié)調(diào)過程中，可能因?yàn)榫植繀^(qū)域?yàn)榱双@取自身利益最大而協(xié)調(diào)虛假信息，從而無法實(shí)現(xiàn)全局最優(yōu)。本文以此為切入點(diǎn)，在強(qiáng)化學(xué)習(xí)方法的基礎(chǔ)上，提出了局部分散、全局集中的深度強(qiáng)化學(xué)習(xí)的經(jīng)濟(jì)調(diào)度方法。

1 主網(wǎng)配網(wǎng)協(xié)調(diào)優(yōu)化調(diào)度策略

根據(jù)前述，要實(shí)現(xiàn)主網(wǎng)、配網(wǎng)之間的分散協(xié)調(diào)以達(dá)到全網(wǎng)最優(yōu)，主網(wǎng)、配網(wǎng)內(nèi)部實(shí)現(xiàn)區(qū)域自治，二者之間實(shí)現(xiàn)協(xié)調(diào)。

1.1 主動配電網(wǎng)源荷潮流模型

由于實(shí)際的配電網(wǎng)呈現(xiàn)輻射狀網(wǎng)絡(luò)，因此對于如圖1 所示具有n+1 的節(jié)點(diǎn)的配電網(wǎng)來說，其潮流方程為:

圖1 輻射狀配電網(wǎng)結(jié)構(gòu)圖

式中:Pjk、Qjk分別表示配電網(wǎng)中支路為jk的有功潮流、無功潮流；rij、xij分別表示支路為ij的等值電阻和等值電抗；Pj和Qj分別表示節(jié)點(diǎn)j的注入有功功率和無功功率；Vi和Vj分別表示節(jié)點(diǎn)i和j的電壓幅值；Iij表示支路ij中流過的電流幅值。

為了解決配電網(wǎng)輻射狀潮流計(jì)算的收斂性問題，設(shè):

將式(2)代入式(1)中，對式(1)進(jìn)行二階錐變換:

在24 h 的日前經(jīng)濟(jì)調(diào)度過程中，在時刻t的潮流計(jì)算過程中節(jié)點(diǎn)j的注入功率可以表示為:

在日前調(diào)度至在線調(diào)度的滾動過程中，t時刻的節(jié)點(diǎn)j上的功率變化分別為:

1.2 成本最低的目標(biāo)函數(shù)

主電網(wǎng)、主動配電網(wǎng)以及分散的微電網(wǎng)之間相互協(xié)調(diào)的目的是使全網(wǎng)的成本最小，即:

式中:T表示經(jīng)濟(jì)調(diào)度的時段總數(shù)，Ns表示微電網(wǎng)總數(shù)。對于24 h 的日前調(diào)度，一般以15 min 為一時段；C1表示在日前調(diào)度時段內(nèi)的成本；C2表示在線調(diào)度時段內(nèi)的成本。

對于式(6)中的C1成本，可以表示為:

對于式(6)中的C2成本，可以表示為:

1.3 目標(biāo)函數(shù)的約束

要實(shí)現(xiàn)目標(biāo)函數(shù)的潮流計(jì)算，需要滿足多種計(jì)算約束條件。

首先，系統(tǒng)潮流需要滿足如下的約束:

其次，對于微小型燃?xì)鈾C(jī)的運(yùn)行需要滿足如下約束:

第三，對于無功補(bǔ)償器，需要滿足如下約束:

第四，主電網(wǎng)、配電網(wǎng)之間的協(xié)調(diào)約束:

第五，主動配電網(wǎng)與微電網(wǎng)中的可再生能源發(fā)電之間的協(xié)調(diào)約束:

2 配網(wǎng)與微網(wǎng)協(xié)調(diào)優(yōu)化調(diào)度策略

2.1 成本最低的目標(biāo)函數(shù)

微電網(wǎng)存在于配電網(wǎng)中，是由單獨(dú)或者小范圍的可再生能源發(fā)電及其負(fù)荷組合而成，由此可知微電網(wǎng)中由于可再生能源的波動性和間歇性，有時對外發(fā)電，有時需要購電，即微電網(wǎng)與配網(wǎng)之間要交互電能，由此構(gòu)建經(jīng)濟(jì)調(diào)度成本最小的目標(biāo)函數(shù)為:

式中:C3表示24 h 前的調(diào)度成本；C4表示在線調(diào)度成本。

對于式(14)中的24 h 前的調(diào)度成本可以表示為:

對于式(14)中的在線調(diào)度成本可以表示為:

2.2 目標(biāo)函數(shù)的約束

要實(shí)現(xiàn)式(14)的計(jì)算，需要滿足一系列的約束條件，下面分別介紹。

第一，微小型燃?xì)鈾C(jī)的有功出力約束:

第二，有功潮流的平衡約束:

3 深度分布式強(qiáng)化學(xué)習(xí)

3.1 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)(Reinforcement Learning，RL)源自人工智能領(lǐng)域中的一種控制方法，它的基本原理是設(shè)置優(yōu)化控制的規(guī)則，在該規(guī)則下引導(dǎo)智能體不斷探索并最終收斂到最優(yōu)值[21]。

設(shè)S表示狀態(tài)空間，A表示動作空間，R表示獎賞函數(shù)，P表示狀態(tài)轉(zhuǎn)移概率，γ表示折扣引子，那么可以建模一個五元素組合為:

在上述五元素中，制定一個策略:

那么策略π(s)表示在狀態(tài)集合S中的選擇一個狀態(tài)s進(jìn)行動作所產(chǎn)生的策略。這個策略的質(zhì)量由評價函數(shù)Vπ(s)來計(jì)算:

式(21)實(shí)際是表示在狀態(tài)s下執(zhí)行策略π 得到的一個累積獎賞的期望值。式(21)具有遞歸特性，可以展開表示為:

由式(22)可見，對于給定的一個式(19)，驅(qū)動式(21)尋找一個獲得最大獎賞值的策略，即最優(yōu)策略:

在式(23)的基礎(chǔ)上，Watkins 提出了無模型的Q型強(qiáng)化學(xué)習(xí)方法。該方法通過優(yōu)化可迭代計(jì)算的動作值函數(shù)Q(s，a)，來尋找一種策略，該策略能夠使得期望的折扣報酬累加值最大，即任意給定一個策略π，定義Q函數(shù)為:

模型式(24)的基本思路是在任意一種策略情況下，即未知轉(zhuǎn)移概率和所獲得報酬的情況下，來不斷試探并最終找到策略的最優(yōu)Q*值:

試探迭代公式為:

3.2 分布式強(qiáng)化學(xué)習(xí)

由上述的強(qiáng)化學(xué)習(xí)原理和過程可知，強(qiáng)化學(xué)習(xí)過程其實(shí)就是將式(19)中的各個元素劃分為多個離散的區(qū)間，在這些離散的區(qū)間內(nèi)通過不斷試探，尋找最優(yōu)的策略。

由此，可以進(jìn)一步提出分布式強(qiáng)化學(xué)習(xí)的思路，即將強(qiáng)化學(xué)習(xí)過程(如式(24)～式(26))看成多個智能體獨(dú)立動作和協(xié)調(diào)動作，每個智能體獨(dú)立完成一部分工作，然后經(jīng)過多次協(xié)調(diào)完成整體最優(yōu)動作。

從數(shù)學(xué)模型上講，分布式強(qiáng)化學(xué)習(xí)Q(λ)實(shí)際是一個多步回溯函數(shù)，在通過試探尋優(yōu)過程中，利用資格跡來更新其值函數(shù):

式中:k表示迭代過程標(biāo)記；a表示學(xué)習(xí)因子，通常取0.999；ek(s，a)表示在第k步的迭代過程中的資格跡；R(sk，sk+1，ak)表示第k次的迭代過程中，在動作ak的驅(qū)動下將狀態(tài)sk轉(zhuǎn)換到sk+1的獎勵。

式(27)的動作選擇面臨多種機(jī)制，如貪婪、探索、回退等，本文提出概率機(jī)制來確定動作:

式中:β表示迭代頻率大小，本文取0.999；表示第k次迭代過程中狀態(tài)s被動作a執(zhí)行的概率大小。

4 分散協(xié)調(diào)調(diào)度方法求解

4.1 強(qiáng)化學(xué)習(xí)建模

通常來說，對于微電網(wǎng)中的可再生能源和負(fù)荷具有對外售電、購電雙重不同場景行為，這是貫穿在主電網(wǎng)、配電網(wǎng)、微電網(wǎng)協(xié)調(diào)過程中，即目標(biāo)是:(1)有功功率平衡；(2)主電網(wǎng)、配電網(wǎng)、微電網(wǎng)三者的成本目標(biāo)函數(shù)最小。

為了實(shí)現(xiàn)這兩個目標(biāo)，在強(qiáng)化學(xué)習(xí)模型中需要設(shè)置局部獎懲函數(shù)、全局獎懲函數(shù)。

4.1.1 局部獎懲函數(shù)

對于主電網(wǎng)、配電網(wǎng)、微電網(wǎng)中各個局部的強(qiáng)化學(xué)習(xí)智能體的獎懲函數(shù)設(shè)置為:

式中:R1與電價有關(guān)；R2為發(fā)電成本；R3表示懲罰項(xiàng)。

式(29)中的R1，R2，R3分別為:

式中:u表示實(shí)時電價；R2表示發(fā)電成本，β1，β2分別由表示可再生能源發(fā)電、常規(guī)電源成本參數(shù)；R3表示強(qiáng)化學(xué)習(xí)過程中的懲罰項(xiàng)，λ1，λ2，λ3，λ4分別表示權(quán)值，設(shè)置為5，10，15，20；參數(shù)e1，e2，e3表示有功功率變化ΔP范圍取值。

由式(32)可見，當(dāng)有功功率偏差ΔP越小，對應(yīng)的懲罰項(xiàng)越小，而偏差越大，對應(yīng)的懲罰項(xiàng)就越大，這時就能夠驅(qū)動強(qiáng)化學(xué)習(xí)的智能體動作減小，以至于改變動作。

4.1.2 全局獎懲函數(shù)

所謂的全局獎懲函數(shù)就是指主電網(wǎng)、配電網(wǎng)、微電網(wǎng)之間進(jìn)行交互協(xié)調(diào)時的獎懲函數(shù)。

4.2 分布式最優(yōu)強(qiáng)化學(xué)習(xí)

根據(jù)分布式強(qiáng)化學(xué)習(xí)原理，設(shè)分布式強(qiáng)化學(xué)習(xí)式(28)中的動作空間A劃分為h個離散區(qū)間，狀態(tài)空間S劃分為g個離散空間，由此形成h×g階動作-狀態(tài)矩陣。

本文提出的分布式最優(yōu)強(qiáng)化學(xué)習(xí)就是對主電網(wǎng)、配電網(wǎng)、微電網(wǎng)各個獨(dú)立的個體進(jìn)行獎勵累加為全局獎勵，那么可以定義如下的強(qiáng)化學(xué)習(xí)模型:

為了在有功功率協(xié)調(diào)過程中保證電壓穩(wěn)定，即無功補(bǔ)償設(shè)備的投入量(式(10)和式(11))，在有功功率動作集合中選擇動作atP進(jìn)行強(qiáng)化學(xué)習(xí):

式(37)的最優(yōu)策略可以通過迭代獲得:

5 算例分析

采用如圖2 所示的某實(shí)際主電網(wǎng)、配電網(wǎng)、微電網(wǎng)對本文算法予以驗(yàn)證。圖2 所示系統(tǒng)中共包含33 個輻射狀配電網(wǎng)節(jié)點(diǎn)，其中包含4 個微小型燃?xì)鈾C(jī)MT、3 個微電網(wǎng)(MG1、MG2、MG3)、1 臺微型風(fēng)力發(fā)電機(jī)、4 個靜止無功發(fā)生器(Static Var Generator，SVG)，其他為負(fù)荷節(jié)點(diǎn)。

圖2 某實(shí)際電網(wǎng)

在3 個微電網(wǎng)MG1、MG2、MG3 中，MG1 包含了1 臺微小型燃?xì)鈾C(jī)和1 臺微型光伏發(fā)電機(jī)，MG2 包含了1 臺微小型燃?xì)鈾C(jī)，MG3 包含了1 臺微小型燃?xì)鈾C(jī)和1 臺微型風(fēng)力發(fā)電機(jī)。

配電網(wǎng)的有功負(fù)荷具有相似的波動曲線，某一周內(nèi)7 d 每天24 h 的負(fù)荷曲線如圖3 所示。

圖3 某周7 天的日負(fù)荷曲線

假設(shè)用于調(diào)度的微電網(wǎng)內(nèi)的風(fēng)力發(fā)電和光伏發(fā)電曲線每天24 h 具有相似曲線特性，如圖4 所示。

圖4 微電網(wǎng)中的光伏發(fā)電、風(fēng)力發(fā)電曲線

主電網(wǎng)、微電網(wǎng)不同時段的電價如表1 所示。

表1 主電網(wǎng)和微電網(wǎng)電價 單位:/元

為了驗(yàn)證本文算法的有效性，在MATLAB 仿真平臺編寫算法，使用MATPOWER 軟件包實(shí)現(xiàn)潮流計(jì)算過程。

為了與本文所提出的分散協(xié)調(diào)的調(diào)度結(jié)果比較，采用如下的多種調(diào)度策略:

策略1 傳統(tǒng)集中式優(yōu)化調(diào)度策略，即將主電網(wǎng)、配電網(wǎng)、微電網(wǎng)一起優(yōu)化調(diào)度。

策略2 分散協(xié)調(diào)的優(yōu)化調(diào)度策略，即將主電網(wǎng)、配電網(wǎng)、微電網(wǎng)中的傳統(tǒng)發(fā)電方式作為電源進(jìn)行分散協(xié)調(diào)。

策略3 本文策略，即分散協(xié)調(diào)的優(yōu)化調(diào)度策略，充分考慮傳統(tǒng)發(fā)電和可再生能源發(fā)電。

經(jīng)過分別測試，三種策略的結(jié)果如表2 所示。由表2 可見，策略1 與策略2 無論在主網(wǎng)、配網(wǎng)、微網(wǎng)的成本差別不大，主要原因是這兩種策略都沒有考慮可再生能源發(fā)電的參與，只是采用傳統(tǒng)的發(fā)電滿足負(fù)荷的運(yùn)行模式。策略3 是在可再生能源發(fā)電參與的情況下的結(jié)果，由于可再生能源發(fā)電的成本相對較低，消耗主網(wǎng)、配網(wǎng)和微網(wǎng)中的傳統(tǒng)電源較少，因而總成本較低。

表2 不同調(diào)度策略結(jié)果比較

表2 是從不同調(diào)度策略的情況下分析結(jié)果。通過進(jìn)一步分析三種不同策略運(yùn)行過程中發(fā)現(xiàn):對于第一種策略來說，配網(wǎng)中的負(fù)荷主要靠主電網(wǎng)電源來滿足。同理，對于第二類策略中雖然采用分布式的解決方式，但在調(diào)度過程中沒有考慮可再生能源，但使用了微小型燃?xì)鈾C(jī)，因而配電網(wǎng)中的負(fù)荷主要由主電網(wǎng)中的電源和微小型燃?xì)鈾C(jī)提供。對于第三種策略來說，由于設(shè)置強(qiáng)化學(xué)習(xí)方法中懲罰因子，即在舍棄風(fēng)電、光伏時懲罰因子較大，因而迫使調(diào)度過程中始終使用可再生能源發(fā)電，因而使總體成本較低。

6 結(jié)論

針對電力系統(tǒng)主電網(wǎng)、配電網(wǎng)和微電網(wǎng)中可再生能源發(fā)電日益增多問題，提出了分布式強(qiáng)化學(xué)習(xí)方法以實(shí)現(xiàn)主電網(wǎng)、配電網(wǎng)和微電網(wǎng)的分散協(xié)調(diào)，通過實(shí)際算例的仿真驗(yàn)證可得如下結(jié)論:

(1)充分調(diào)度主電網(wǎng)、配電網(wǎng)和微電網(wǎng)中的可再生能源發(fā)電，能夠降低系統(tǒng)成本，節(jié)能減排。

(2)與集中式調(diào)度方式相比，分布式調(diào)度策略更能夠最大化消納可再生能源，使各個部分成本都達(dá)到最低。

總之，通過分散式交易方式能夠加大交易市場的靈活性，符合資本運(yùn)作的實(shí)際。但是經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，分布式計(jì)算時間較長，這與交易次數(shù)有關(guān)，因此對于大型電力系統(tǒng)而言，計(jì)算耗時較大，這也是后續(xù)需要解決的關(guān)鍵問題。