吳雯美,陸江,譚敏,肖少華,韓傳家,郭樂(lè)欣,余濤

（1.興義供電局，貴州省興義市 562400；2.華南理工大學(xué)，廣東省廣州市 510640）

基于相關(guān)均衡強(qiáng)化學(xué)習(xí)協(xié)同算法的多區(qū)域無(wú)功優(yōu)化研究

吳雯美1,陸江1,譚敏2,肖少華2,韓傳家2,郭樂(lè)欣2,余濤2

（1.興義供電局，貴州省興義市 562400；2.華南理工大學(xué)，廣東省廣州市 510640）

摘要：為了適應(yīng)智能電網(wǎng)分布式發(fā)展趨勢(shì)，提出一種基于相關(guān)均衡強(qiáng)化學(xué)習(xí)（CEQ）的分區(qū)多目標(biāo)無(wú)功優(yōu)化算法，以解決數(shù)據(jù)海量、通信瓶頸、協(xié)調(diào)互動(dòng)等相關(guān)問(wèn)題。同時(shí)為響應(yīng)國(guó)家低碳環(huán)保戰(zhàn)略，將碳排放引入到電力系統(tǒng)無(wú)功優(yōu)化問(wèn)題中，將其作為無(wú)功優(yōu)化的目標(biāo)之一。本文采用CEQ算法合理配置電力系統(tǒng)中控制變量，通過(guò)區(qū)域間的相關(guān)均衡博弈進(jìn)行信息的溝通與共享實(shí)現(xiàn)分區(qū)多目標(biāo)無(wú)功優(yōu)化問(wèn)題的尋優(yōu)，有效解決了區(qū)域間信息共享機(jī)制受限和維數(shù)災(zāi)難問(wèn)題。IEEE標(biāo)準(zhǔn)9節(jié)點(diǎn)電力系統(tǒng)仿真算例表明，通過(guò)預(yù)學(xué)習(xí)與在線學(xué)習(xí)的結(jié)合該算法能有效快速的進(jìn)行多區(qū)域無(wú)功優(yōu)化問(wèn)題求解。

關(guān)鍵詞：多區(qū)域無(wú)功優(yōu)化；低碳電力；相關(guān)均衡；強(qiáng)化學(xué)習(xí)

0 引言

電力系統(tǒng)無(wú)功優(yōu)化，是在已知系統(tǒng)結(jié)構(gòu)參數(shù)、負(fù)荷以及滿足約束條件的前提下，通過(guò)對(duì)變壓器分接頭、無(wú)功補(bǔ)償設(shè)備的投入容量、發(fā)電機(jī)機(jī)端電壓等控制變量的優(yōu)化計(jì)算，使系統(tǒng)的某一個(gè)或多個(gè)性能指標(biāo)達(dá)到最優(yōu)時(shí)的運(yùn)行控制方案[1]。在數(shù)學(xué)上，無(wú)功優(yōu)化屬于非線性混合整數(shù)規(guī)劃問(wèn)題[2]。

隨著間歇性可再生能源的大量接入，電力系統(tǒng)正向著復(fù)雜化、非線性化的大系統(tǒng)發(fā)展，數(shù)據(jù)海量、通信瓶頸、協(xié)調(diào)互動(dòng)問(wèn)題也隨之產(chǎn)生[3]。由于地理位置分布廣泛而引起的高信息交換難度和成本問(wèn)題，使得信息不可能全部送到控制中心進(jìn)行集中決策[4]?，F(xiàn)有的無(wú)功優(yōu)化算法如傳統(tǒng)的無(wú)功優(yōu)化算法如線性規(guī)劃、非線性規(guī)劃方法，以及一些基于人工智能的現(xiàn)代無(wú)功優(yōu)化算法，如遺傳算法[5]、量子遺傳[6]、粒子群算法[7]、蜂群算法[8]等，都需要提前知道全網(wǎng)的全局信息再進(jìn)行集中優(yōu)化，難以應(yīng)對(duì)大數(shù)據(jù)、通信瓶頸帶來(lái)的“維數(shù)災(zāi)”以及協(xié)調(diào)互動(dòng)問(wèn)題，因此需要提出一種適用于新形勢(shì)下的無(wú)功優(yōu)化算法。

另外，隨著全球氣候變暖等現(xiàn)象越來(lái)越受關(guān)注，“低碳生活”理念逐步深入人心。我國(guó)碳排放很大一部分來(lái)自于消耗化石能源較多的電力行業(yè)，因而，低碳電力技術(shù)研究對(duì)于應(yīng)對(duì)全球氣候變暖有著重要的現(xiàn)實(shí)意義，如低碳電力系統(tǒng)規(guī)劃與運(yùn)行[9]、低碳電力調(diào)度[10]。因此，本文從低碳電力的角度出發(fā)，將電網(wǎng)側(cè)碳排放與無(wú)功優(yōu)化問(wèn)題相結(jié)合，在無(wú)功優(yōu)化模型的目標(biāo)函數(shù)中引入電網(wǎng)側(cè)碳排放。

綜上分析，針對(duì)智能電網(wǎng)中通信瓶頸帶來(lái)的信息不能全部共享到調(diào)控中心，給集中式無(wú)功優(yōu)化的信息收集造成限制，區(qū)域內(nèi)“自治”、區(qū)域間“協(xié)調(diào)”是解決該問(wèn)題的有效策略。因此本文建立分區(qū)協(xié)同無(wú)功優(yōu)化模型，提出相關(guān)均衡強(qiáng)化學(xué)習(xí)（correlated Q-learning，CEQ）算法，通過(guò)區(qū)域之間的狀態(tài)-動(dòng)作值函數(shù)矩陣信息交互和相關(guān)均衡合作博弈，實(shí)現(xiàn)多區(qū)域無(wú)功優(yōu)化。

1　電網(wǎng)側(cè)碳排放模型

目前對(duì)電力行業(yè)碳排放的統(tǒng)計(jì)主要集中在發(fā)電側(cè)，以宏觀的方式通過(guò)發(fā)電側(cè)化石能源的消耗轉(zhuǎn)換得來(lái)的，而電網(wǎng)側(cè)碳排放則是將碳排放與電力系統(tǒng)潮流計(jì)算相結(jié)合，類比潮流分析得到與潮流類似的電網(wǎng)側(cè)碳排放流分布。與潮流不同的是，電網(wǎng)側(cè)碳排放流是一種依附于電網(wǎng)潮流而存在的，用于表征電力系統(tǒng)網(wǎng)架中任一支路碳排放的虛擬網(wǎng)絡(luò)流，可以理解為是對(duì)支路潮流添加的碳排放標(biāo)簽[11]。電網(wǎng)側(cè)碳排放量應(yīng)滿足與發(fā)電側(cè)碳排放量總量相等的原則。

設(shè)一網(wǎng)絡(luò)N有n個(gè)節(jié)點(diǎn)，h個(gè)發(fā)電機(jī)節(jié)點(diǎn)，t條支路，連接節(jié)點(diǎn)i和節(jié)點(diǎn)j的支路為L(zhǎng)ij。

對(duì)于無(wú)損網(wǎng)絡(luò)，在潮流分布已知的情況下，Pij=Pji，那么發(fā)電機(jī)節(jié)點(diǎn)k對(duì)節(jié)點(diǎn)i的注入有功貢獻(xiàn)Pik可描述為：

式中：PGk為發(fā)電機(jī)節(jié)點(diǎn)k的輸出有功功率；αik表示發(fā)電機(jī)節(jié)點(diǎn)k對(duì)節(jié)點(diǎn)i的注入有功貢獻(xiàn)率，具體推導(dǎo)過(guò)程參見(jiàn)文獻(xiàn)[12]。

同理從節(jié)點(diǎn)i的總有功注入成分來(lái)看，發(fā)電機(jī)節(jié)點(diǎn)k對(duì)節(jié)點(diǎn)i的注入有功占節(jié)點(diǎn)i總注入有功的份額βik可描述為：

式中：Pi為節(jié)點(diǎn)i的總注入有功功率。

式中：h為發(fā)電機(jī)節(jié)點(diǎn)數(shù)。

2　多目標(biāo)無(wú)功優(yōu)化數(shù)學(xué)模型

電力系統(tǒng)無(wú)功優(yōu)化是通過(guò)合理配置系統(tǒng)的控制變量改變系統(tǒng)的潮流分布，使得網(wǎng)絡(luò)的安全性、經(jīng)濟(jì)性和環(huán)保性能達(dá)到綜合最優(yōu)，本文選取電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量作為無(wú)功優(yōu)化的目標(biāo)。多目標(biāo)無(wú)功優(yōu)化模型主要包括目標(biāo)函數(shù)和約束條件，其中約束條件主要有控制變量約束、狀態(tài)變量約束跟潮流約束。

2.1目標(biāo)函數(shù)

針對(duì)電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量構(gòu)成的多目標(biāo)，先對(duì)每子目標(biāo)進(jìn)行說(shuō)明。從環(huán)保角度考慮，要使得電網(wǎng)側(cè)的碳排放損耗最小，目標(biāo)函數(shù)為：

從經(jīng)濟(jì)性角度考慮，要使得電網(wǎng)的網(wǎng)損最小，目標(biāo)函數(shù)為：

L的有功損耗，V和V分別表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的電壓幅值，θ表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的電壓相角差，gij表示支路Lij的電導(dǎo)，NL為支路集合。

從安全性角度考慮，要使得系統(tǒng)節(jié)點(diǎn)的綜合電壓穩(wěn)定性最優(yōu)，目標(biāo)函數(shù)為：

本文電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量構(gòu)成的無(wú)功優(yōu)化的多目標(biāo)函數(shù)分量，多目標(biāo)函數(shù)表述為：

式中：λ1為電網(wǎng)側(cè)碳排放損耗的權(quán)重因子，λ2為網(wǎng)損的權(quán)重因子，λ3為電壓穩(wěn)定分量的權(quán)重因子，權(quán)重因子取值滿足λ1∈(0,1]、λ2∈(0,1]、λ3∈(0,1]，且λ1+λ2+λ3=λ。

2.2約束條件

無(wú)功優(yōu)化的約束條件有控制變量約束、狀態(tài)變量約束和潮流約束?？刂谱兞窟x取無(wú)功投入容量Qc、變壓器變比KT，控制變量約束應(yīng)該滿足：

式中：Nc為含可調(diào)無(wú)功投入容量的節(jié)點(diǎn)集合，Nk為可調(diào)節(jié)變比支路集合。

狀態(tài)變量有發(fā)電機(jī)的有功出力PG、無(wú)功出力QG和網(wǎng)絡(luò)節(jié)點(diǎn)電壓V，狀態(tài)變量應(yīng)該滿足：

式中：NG為發(fā)電機(jī)節(jié)點(diǎn)集合，NB為網(wǎng)絡(luò)節(jié)點(diǎn)集合。

潮流約束方程有有功功率平衡約束和無(wú)功功率平衡約束，應(yīng)滿足如下關(guān)系：

式中：PG、QG分別為發(fā)電機(jī)節(jié)點(diǎn)發(fā)出的有功功率與無(wú)功功率，PD、QD分別為負(fù)荷節(jié)點(diǎn)的有功功率與無(wú)功功率需求，gij、bij分別表示支路Lij的電導(dǎo)與電納，θij表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的電壓相角差。

3　基于CEQ的分區(qū)無(wú)功優(yōu)化

相關(guān)均衡的CEQ算法最先由Greewnald提出的[13]，相關(guān)均衡是聯(lián)合動(dòng)作空間上的一個(gè)概率分布，每個(gè)智能體根據(jù)其它智能體的條件概率最大化自身的累積獎(jiǎng)勵(lì)值[14]。

資格跡更新公式如下所示：

式中：ei,k(s,α)為第i個(gè)智能體在第k次迭代中對(duì)于聯(lián)合動(dòng)作α的資格跡，γ為折扣因子，0≤γ≤1，λ為衰減因子，0≤λ≤1，s為狀態(tài)。

智能體Q矩陣的更新如下：

式中：Ri為第i個(gè)智能體的立即獎(jiǎng)勵(lì)函數(shù)，α為學(xué)習(xí)因子，0≤α≤1，αg為聯(lián)合貪婪動(dòng)作策略。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)為：

式中：下標(biāo)-i表示除智能體i外的其它智能體集合，αi’表示智能體i除動(dòng)作αi外的任意一個(gè)動(dòng)作，π為動(dòng)作概率，N、S、A(s)分別表示智能體集合、狀態(tài)集合、狀態(tài)s的動(dòng)作集合。

電力系統(tǒng)無(wú)功優(yōu)化一般采用就地平衡策略，具有明顯的區(qū)域性，因此可以將電網(wǎng)進(jìn)行分區(qū)無(wú)功優(yōu)化。在基于CEQ的無(wú)功優(yōu)化算法中，每個(gè)控制變量即為一個(gè)智能體，每個(gè)智能體都可以觀測(cè)到其它智能體的Q值矩陣和當(dāng)前動(dòng)作值，然后各自分別求解自身的相關(guān)均衡，選擇動(dòng)作值。如圖1：

圖1　無(wú)功優(yōu)化分區(qū)框架圖Fig.1 Framework chart of regional reactive power optimization

進(jìn)行無(wú)功優(yōu)化時(shí)通過(guò)CEQ算法確定控制變量的取值，再進(jìn)行潮流計(jì)算，結(jié)合潮流計(jì)算結(jié)果計(jì)算獎(jiǎng)勵(lì)函數(shù)與狀態(tài)取值，進(jìn)而用CEQ算法進(jìn)行無(wú)功優(yōu)化求解新的動(dòng)作取值，即控制變量的取值，循環(huán)直至尋找的最優(yōu)的動(dòng)作值結(jié)束優(yōu)化過(guò)程，無(wú)功優(yōu)化流程如圖2所示：

綜上，基于CEQ的分區(qū)無(wú)功優(yōu)化算法流程圖如圖3所示。

圖2　無(wú)功優(yōu)化流程Fig.2 Reactive power optimization flowchart

4　算例及仿真分析

4.1仿真模型

本文采用IEEE9節(jié)點(diǎn)標(biāo)準(zhǔn)算例在Matlab7.10仿真平臺(tái)進(jìn)行的仿真測(cè)試，借助Matpower4.1進(jìn)行潮流計(jì)算。標(biāo)準(zhǔn)IEEE9節(jié)點(diǎn)電力系統(tǒng)有3臺(tái)發(fā)電機(jī)，3個(gè)負(fù)荷節(jié)點(diǎn)，9條支路。按照節(jié)點(diǎn)的分布及聯(lián)系將系統(tǒng)分為3個(gè)區(qū)域，如圖4所示：

如上圖按紅色虛線所示進(jìn)行分區(qū)。區(qū)域之間進(jìn)行信息通信，在基于CEQ的無(wú)功優(yōu)化過(guò)程中進(jìn)行信息交流與共享。選取節(jié)點(diǎn)5、7、9的無(wú)功補(bǔ)償容量作為控制變量。

圖3　算法流程圖Fig.3 Algorithm flowchart

圖4　IEEE9節(jié)點(diǎn)分區(qū)Fig.4 Node partition in IEEE 9-bus system

4.2仿真結(jié)果

Q學(xué)習(xí)是一個(gè)試錯(cuò)學(xué)習(xí)的過(guò)程，在學(xué)習(xí)初期的隨機(jī)性和盲目性比較大，不適合直接應(yīng)用于實(shí)際系統(tǒng)的在線優(yōu)化。因此需要先進(jìn)行預(yù)學(xué)習(xí)得到具有學(xué)習(xí)經(jīng)驗(yàn)的Q值矩陣，然后再進(jìn)行在線學(xué)習(xí)。

經(jīng)過(guò)大量的仿真分析，預(yù)學(xué)習(xí)過(guò)程的學(xué)習(xí)因子、折扣因子、資格跡衰減因子分別取值為0.94、0.10、0.50；在線學(xué)習(xí)過(guò)程的學(xué)習(xí)因子、折扣因子、資格跡衰減因子分別取值為0.40、0.10、0.30。

為響應(yīng)低碳電力的政策，本文將電網(wǎng)側(cè)碳排放損耗作為無(wú)功優(yōu)化的目標(biāo)之一，IEEE9節(jié)點(diǎn)機(jī)組的碳排放強(qiáng)度如表1所示：

圖5(a)給出了預(yù)學(xué)習(xí)中目標(biāo)函數(shù)的收斂曲線圖，圖5（b）給出了在線學(xué)習(xí)中目標(biāo)函數(shù)的收斂曲線圖：

從圖5（a）可以看出CEQ經(jīng)過(guò)一系列的試錯(cuò)后，目標(biāo)函數(shù)值收斂到了最小值，但是收斂時(shí)間較長(zhǎng)，不能滿足電網(wǎng)實(shí)時(shí)性需求。從圖5（b）可以看出經(jīng)過(guò)預(yù)學(xué)習(xí)后算法快速穩(wěn)定的收斂，收斂時(shí)間由12.43s提高到了0.13s。

經(jīng)CEQ算法仿真優(yōu)化后的IEEE9節(jié)點(diǎn)無(wú)功配置方案如表2所示。

無(wú)功優(yōu)化前后IEEE9節(jié)點(diǎn)系統(tǒng)的線損、電壓穩(wěn)定分量、碳排放量比較結(jié)果如表3所示。

由上表可以看出無(wú)功優(yōu)化后各項(xiàng)指標(biāo)都得到了提升，其中電壓質(zhì)量指標(biāo)改善最大，性能指

表1　IEEE 9節(jié)點(diǎn)機(jī)組碳排放強(qiáng)度Tab.1 Carbon emission intensity of IEEE 9-bus system

圖5　目標(biāo)函數(shù)收斂曲線Fig.5 Convergence curve of objective function

標(biāo)提高了33.99%；線損值降低了2.83%；碳排放量降低了3.67%；總目標(biāo)函數(shù)降低了9.26%。

為了驗(yàn)證算法的有效性，將Q學(xué)習(xí)算法與CEQ算法分別進(jìn)行100次仿真得到的各算法仿真結(jié)果對(duì)比統(tǒng)計(jì)表如表4所示。

從上表可以看出CEQ算法相比Q學(xué)習(xí)算法更快達(dá)到最優(yōu)解，CEQ算法平均收斂時(shí)間0.22s，Q學(xué)習(xí)算法平均收斂時(shí)間0.68s。但缺點(diǎn)是CEQ算法的穩(wěn)定性略差一點(diǎn)。CEQ算法收斂時(shí)間短且具有較好的穩(wěn)定性可應(yīng)用于多斷面擴(kuò)展進(jìn)行在線應(yīng)用。

CEQ算法通過(guò)預(yù)學(xué)習(xí)后算法能快速尋優(yōu)，為了進(jìn)一步測(cè)試算法的性能，現(xiàn)在改變負(fù)荷斷面進(jìn)行算法性能測(cè)試。將IEEE9節(jié)點(diǎn)系統(tǒng)負(fù)荷增加8%時(shí)Q學(xué)習(xí)算法和CEQ算法仿真目標(biāo)函數(shù)收斂曲線對(duì)比結(jié)果如圖6所示。

當(dāng)負(fù)荷出現(xiàn)微小波動(dòng)時(shí)，CEQ算法通過(guò)區(qū)域間的相關(guān)均衡博弈仍能夠快速收斂到最小值。因此算法可以進(jìn)行多斷面拓展，可以進(jìn)一步應(yīng)用到負(fù)荷動(dòng)態(tài)變化的無(wú)功優(yōu)化問(wèn)題中，具有一定的應(yīng)用前景。

5　結(jié)論

表2　無(wú)功補(bǔ)償容量配置方案Tab.2 Reactive power compensation capacity

表3　無(wú)功優(yōu)化前后結(jié)果對(duì)比Tab.3 Results comparison before and after reactive power optimization

表4　仿真結(jié)果對(duì)比分析Tab.4 Analysis of simulation results

本文提出了一種分區(qū)CEQ無(wú)功優(yōu)化協(xié)調(diào)算法，同時(shí)將電網(wǎng)側(cè)碳排放損耗引入到無(wú)功優(yōu)化的目標(biāo)函數(shù)當(dāng)中，有利于低碳環(huán)保。分區(qū)CEQ無(wú)功優(yōu)化算法可以在不知道全局信息數(shù)據(jù)的前提下，通過(guò)區(qū)域間的相關(guān)均衡合作博弈可以解決通信瓶頸問(wèn)題。算例結(jié)果表明該算法可以有效的尋找最優(yōu)解，且具有較快的收斂速度。因此，該算法可以很好的應(yīng)對(duì)智能電網(wǎng)分布式的發(fā)展趨勢(shì)，具有很好的應(yīng)用前景。

圖6　各算法收斂曲線Fig.6 Convergence curve of each algorithm

參考文獻(xiàn)

[1]許文超, 郭偉.電力系統(tǒng)無(wú)功優(yōu)化的模型及算法綜述[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào), 2003, 15(1):100-104.Xu Wenchao， Guo Wei.Summarize of reactive power optimization model and algorithm in electric system[J].Proceedings of the EPSA, 2003, 15(1): 100-104.

[2]王純子, 郭偉, 張斌.求解非線性混合整數(shù)規(guī)劃的算法設(shè)計(jì)與仿真[J].計(jì)算機(jī)科學(xué)與探索, 2013, 7(9):854-864.Wang Chunzi, Guo Wei, Zhang Bin.Algorithm design and simulation of solving nonlinear mixed integer programming problem[J].Journal of Frontiers of Computer Science and Technology, 2013, 7(9):854-864.

[3]吳雄, 王秀麗, 劉世民,等.微電網(wǎng)能量管理系統(tǒng)研究綜述[J].電力自動(dòng)化設(shè)備, 2014, 34(10):7-14.Wu Xiong, Wang Xiuli, Liu Shiming, et al.Summary of research on micro-grid energy management system[J].Electric power automation equipment, 2014, 34(10): 7-14.

[4]孫宏斌, 張伯明, 吳文傳,等.自律協(xié)同的智能電網(wǎng)能量管理系統(tǒng)家族概念、體系架構(gòu)和示例[J].電力系統(tǒng)自動(dòng)化, 2014, 38(9), 1-5.Sun Hongbin, Zhang Boming, Wu Wenchuan, et al.Autonomous-synergetic energy management system family for smart grids: concept, architecture and cases [J].Automation of Electric Power Systems.2014, 38(9), 1-5.

[5]徐加利, 管章玉.協(xié)作無(wú)線網(wǎng)絡(luò)中基于遺傳算法的聯(lián)合中繼選擇與認(rèn)知頻譜接入機(jī)制[J].新型工業(yè)化, 2014, 4(5): 41-47.Xu Jiali, Guan Zhangyu.Joint relay selection and cognitive spectrum access based on Genetic Algorithm in cooperative wireless networks [J].The Journal of New Industrialization, 2014, 4(5): 41-47.

[6]Saitoh A, Rahimi R, Nakahara M.A quantum genetic algorithm with quantum crossover and mutation operations [J].Quantum Information Processing, 2013, 13(3):737-755.

[7]Zhong-Yan L U, Deng J X, Wang Y H.Reactive Power Optimization Based on Particle Swarm Optimization Algorithm With Immunity[J].Power System Technology, 2008, 32(24): 55-59.

[8]任麗娜, 呂明月, 劉爽爽, 等.基于蜂群算法優(yōu)化的變槳距自抗擾控制器[J].新型工業(yè)化, 2014, 4(6): 43-48.Ren Lina, Lv Mingyue, Liu Shuangshuang, et al .Pitch control using active disturbance rejection controller based on colony optimization algorithm [J].The Journal of New Industrialization, 2014, 4(6): 43-48.

[9]婁素華, 盧斯煜, 吳耀武, 等.低碳電力系統(tǒng)規(guī)劃與運(yùn)行優(yōu)化研究綜述[J].電網(wǎng)技術(shù), 2013, 37(6): 1483-1490.Lou Suhua, Lu Siyu, Wu Yaowu, et al.An overview on low-carbon power system planning and operation optimization [J] .Power System Technology, 2013, 37(6): 1483-1490.

[10]陳啟鑫, 康重慶, 夏清,等.低碳電力調(diào)度方式及其決策模型[J].電力系統(tǒng)自動(dòng)化, 2010, 34(12): 18-23.Chen Qixin, Kang Chongqin, Xia Qing, et al.Mechanism and modelling approach to low-carbon power Dispatch [J].Automation of Electric Power Systems, 2010, 34(12): 18-23.

[11]李保衛(wèi), 胡澤春, 宋永華, 等.電力碳排放區(qū)域分?jǐn)偟脑瓌t與模型[J].電網(wǎng)技術(shù), 2012, 36(7): 52-53.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for regional allocation of carbon emission from electricity sector [J].Power System Technology, 36(7): 52-53.

[12]李保衛(wèi), 胡澤春, 宋永華,等.用戶側(cè)電力碳排放強(qiáng)度的評(píng)估原則與模型[J].電網(wǎng)技術(shù), 2012, 36(8):6-11.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for assessment on carbon emission intensity caused by electricity at consumer side [J].Power System Technology, 36(8): 6-11.

[13]Greenwald A R, Hall K.Correlated Q learning [J].Proceedings of the Twentieth International Conference on Machine Learning, 2002: 242-249.

[14]席磊， 張孝順， 程樂(lè)峰, 等.基于JADE多智能體動(dòng)態(tài)博弈的自動(dòng)發(fā)電控制仿真平臺(tái)研究 新型工業(yè)化, 2014, 4(11): 5-17.Xi Lei, Zhang Xiaoshun, Chen Lefeng, et al.Research on multi-agent simulation platform for AGC based on JADE[J].The Journal of New Industrialization, 2014, 4(11): 5-17.

Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm

WU Wen-mei1, LU Jiang1, TAN Min2, XIAO Shao-hua2, HAN Chuan-jia2, GUO Le-xin2, Yu Tao2
(1.Xingyi Power Supply Bureau, Xingyi Guizhou 562400, China; 2.South China University of Technology, Guangzhou Guangdong 510000, China)

Citation: WU Wen-mei, LU Jiang, TAN Min, et al.Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm [J].The Journal of New Industrialization, 2015, 5(6): 33?40.

Abstract:In order to meet the development trend of smart grid, the multi-regional reactive power optimization algorithm based on the correlated equilibrium Q-learning (CEQ) algorithm is proposed to solve the problems of tremendous data, communication bottleneck and interaction.Meanwhile, in response to the national strategy of low carbon environmental protection, CO2emission is considered as one of the control objectives in reactive power optimization.In this paper, CEQ algorithm is adopted to allocate the control variables rationally.Then the best multiregional reactive power optimization method is obtained through the information communication and sharing which is realized by correlated equilibrium game among areas, thus offering a solution to the limited information-sharing mechanisms and curse of dimensionality problem effectively.The simulation of the IEEE 9-bus system indicates that CEQ algorithm solves the multi-regional collaborative reactive power optimization quickly and rationally with the combination of pre-learning and online learning.

Key words:multi-regional reactive power optimization; low-carbon electricity; correlated equilibrium; reinforcement learning

作者簡(jiǎn)介：吳雯美(1971-)，女，本科，高級(jí)工程師，主要研究方向?yàn)殡娋W(wǎng)規(guī)劃；陸江(1973-)，男，?？疲こ處?，主要研究方向?yàn)殡娋W(wǎng)規(guī)劃；譚敏(1989-)，女，碩士，主要研究方向?yàn)殡娏ο到y(tǒng)優(yōu)化運(yùn)行；肖少華(1991-)，男，碩士，主要研究方向?yàn)榕潆娋W(wǎng)智能化與節(jié)能技術(shù)；韓傳家(1992-)，男，本科，主要研究方向?yàn)橹悄芘渚W(wǎng)與節(jié)能技術(shù)；郭樂(lè)欣(1990-)，男，碩士，主要研究方向?yàn)殡娏ο到y(tǒng)優(yōu)化運(yùn)行；余濤(1974-)，男，博士，教授，主要研究方向?yàn)閺?fù)雜電力系統(tǒng)的非線性控制理論和仿真。

*基金項(xiàng)目：中國(guó)南方電網(wǎng)科技項(xiàng)目資助（K-GZ2014-040）

本文引用格式：吳雯美,陸江,譚敏,等.基于相關(guān)均衡強(qiáng)化學(xué)習(xí)協(xié)同算法的多區(qū)域無(wú)功優(yōu)化研究[J].新型工業(yè)化，2015，5(6)：33-40 DOI：10.3969/j.issn.2095-6649.2015.06.06