謝黎龍， 李勇匯*， 肖金星， 徐冰雁， 葉影， 楊軍

(1.武漢大學電氣與自動化學院， 武漢 430072； 2.國網上海市電力公司， 上海 200122)

為了環(huán)境保護與社會可持續(xù)發(fā)展的需要，新能源在電力領域的應用也越來越多，由于分布式電源出力存在隨機性與不確定性進而難以有效利用，微網作為一種解決方式而被提出，研究合適的微網系統(tǒng)控制技術是微網發(fā)展的關鍵[1-2]。

目前已經有大量微電網控制技術的研究，文獻[3]采用恒壓恒頻控制策略，設計比例積分(proportional integral，PI)控制器對光儲孤立微電網中儲能系統(tǒng)恒壓恒頻控制,實現(xiàn)光伏與儲能的協(xié)調。文獻[4]采用模型預測控制對輸出功率進行控制，間接控制電壓，使電壓維持穩(wěn)定,但是間接控制增加了成本。文獻[5]提出利用魯棒模型預測方法解決多系統(tǒng)耦合的控制問題，在狀態(tài)空間矩陣中考慮耦合環(huán)節(jié)，并應用于火電水電的耦合系統(tǒng)調頻中。隨著人工智能飛速發(fā)展，控制技術也在不斷發(fā)展換代[6]。文獻[7]為了電網安全，提出了一種基于深度強化學習的電網切機控制策略。文獻[8]采用強化學習中R(λ)算法對包含多種分布式電源的孤島微電網進行頻率控制，實現(xiàn)了小水電與燃氣輪機的協(xié)調控制，但是由于要離散連續(xù)量可能會出現(xiàn)維數災難。文獻[9]針對多分布式電源采取下垂控制的孤立微網，采用經典Q學習算法對微電網分布式電源的下垂系數加以改進進而實現(xiàn)無差調頻，但是分布式電源下垂控制不能提供系統(tǒng)需要的阻尼與慣性。近年來對虛擬同步發(fā)電機的研究也逐漸增加。文獻[10]介紹了虛擬同步發(fā)電機(virtual synchronous generator,VSG)的基本原理、數學模型、控制算法與應用場景等方面。文獻[11]將線性自抗擾控制與重復控制相結合構成電壓外環(huán)，取代傳統(tǒng)的電壓電流環(huán)，提高了跟蹤精度但是設計較為復雜。文獻[12]設計了儲能系統(tǒng)的運行控制策略，實現(xiàn)對風光發(fā)電輸出功率的平抑，但是對系統(tǒng)頻率與電壓為有差調節(jié)。文獻[13]引入了比例-積分(PI)控制環(huán)節(jié)實現(xiàn)了頻率的無差調節(jié)，模仿轉子運動方程為頻率控制策略增加了一階慣性環(huán)節(jié)，提高了微電網的頻率穩(wěn)定性,但是所選PI控制器魯棒性能較差，負荷突變時頻率會出現(xiàn)較大波動。文獻[14]取額定角頻率為參考值，通過引入虛擬調速器與轉子運動方程相結合設計自動發(fā)電控制系統(tǒng)來實現(xiàn)頻率控制，但是沒有搭建直流側的微源模型，而以理想直流電壓源代替。上述文獻研究主要集中在儲能控制策略上，很少涉及儲能逆變器控制器的改進與內部結構的設計。面對高比例分布式電源接入的微電網，應進一步改進儲能逆變器的內部控制結構以提升儲能系統(tǒng)面向微電網復雜運行環(huán)境的支撐能力。

因此，現(xiàn)建立基于VSG控制的電池儲能為主電源的微網模型，基于深度強化學習技術中的深度確定策略梯度算法(deep deterministic policy gradient，DDPG)對VSG的虛擬調速器進行改進。該算法可以在沒有確切模型的情況下通過在線學習不斷訓練生成控制器，適用于當今新能源比例增加、復雜性不斷升高的電網。該算法將神經網絡與傳統(tǒng)強化學習結合，采用經驗回放機制與梯度反向傳播的方式更新神經網絡參數使其收斂[15-16]，可以很好地解決頻率與功率等連續(xù)量連續(xù)變化的問題，結合獎勵函數多次訓練生成調速器實現(xiàn)對虛擬同步發(fā)電機的改進。同時在MATLAB/Simulink中進行仿真，驗證負荷擾動與風電擾動時，所提出的改進虛擬同步發(fā)電機方法對頻率穩(wěn)定與電壓穩(wěn)定控制的有效性。

1 微網組成

DC為直流電；AC為交流電圖1 微網組成Fig.1 Microgrid composition

采用由電池儲能系統(tǒng)、風電系統(tǒng)和負荷組成的微網(圖1)，公共耦合點(point of common coupling，PCC)通過開關與外界電網連接。開關閉合時，微網可以與外界電網進行能量的交換，此時可以對儲能系統(tǒng)進行充電，當開關斷開時，微網處于孤島運行狀態(tài)，儲能系統(tǒng)作為主電源維持微網母線電壓與頻率的穩(wěn)定。

為了最大化地利用清潔能源，風電系統(tǒng)中風機發(fā)電采用最大功率點跟蹤控制(maximum power point tracking，MPPT)控制，并網逆變器采用恒功率控制，風電系統(tǒng)以傳統(tǒng)電流源的形式并入微網，不參與系統(tǒng)的調頻與調壓，可等效為消耗負功率的負荷[17]。

作為微網主電源的儲能系統(tǒng)采用VSG控制。儲能側功率交換電路采用的是雙向半橋式非隔離型 DC-DC 變換器[18]以實現(xiàn)能量的雙向流動。為使該變換電路具有良好的功率流動性能，采用電流內環(huán)電壓外環(huán)的雙閉環(huán)控制方法。

儲能技術中蓄電池技術比較成熟，鋰離子電池相較于鉛酸蓄電池具有能量密度高、體積較小的優(yōu)點。鋰電池壽命比鉛酸電池要長，有著更高的工作效率，故選擇鋰電池作為儲能系統(tǒng)的電源，采用蓄電池通用模型，等效電路為如圖2所示。

圖2 蓄電池通用模型等效電路Fig.2 Equivalent circuit of battery general model

蓄電池通用模型由內阻R與受控電壓源Ee串聯(lián)組成，UB為蓄電池的端電壓，IB為蓄電池的放電電流。Ee計算公式為

(1)

式(1)中：Ee0為內電勢；Cmax為蓄電池的最大容量；Qe為放電量；A、B、K均為擬合參數；exp(·)為以自然常數為底的指數函數。

電源的輸出功率PB計算公式為

PB=UBIB

(2)

電池放電時電流IB為正，電源輸出功率，充電時電流IB為負，電源吸收功率。

2 虛擬同步發(fā)電機控制結構

VSG控制可以提供對維持電網穩(wěn)定十分重要的阻尼特性和轉動慣性，目前VSG控制主要由電壓控制與電流控制兩種，由于需要給微網提供電壓支撐，故采用外特性相當于電壓源的電壓控制型虛擬同步發(fā)電機，建立VSG控制結構如圖3所示。

Vdc為直流側電壓；Lf、Cf分別為濾波電感、濾波電容；iL為濾波電感的電流；iC為濾波電容的電流；Rf為Lf的寄生電阻；ea、eb、ec為逆變器基波電動勢,幅值為E；uo、io為輸出端電壓電流；Pout、Qout分別為有功功率和無功功率瞬時測量值；Qset、Pset分別為給定的無功功率和有功功率；Qref、Pref分別為無功功率和有功功率計算得到的參考值； fg為測量得到的頻率；UPCC為測量的電壓幅值瞬時值； fN、UPCCref 分別為額定頻率與給定電壓參考值；Em為計算得到的調制信號幅值圖3 VSG控制結構Fig.3 VSG control structure

2.1 自動發(fā)電控制

2.1.1 虛擬調速器

為實現(xiàn)電池儲能系統(tǒng)為主電源的自動發(fā)電控制，需要在自動發(fā)電控制器中加入虛擬調速器，根據實際測得頻率與頻率參考值作差得到的頻率偏差，由此生成有功功率補償指令ΔPm。由于風電系統(tǒng)不參與調頻調壓，由電池儲能系統(tǒng)對微網進行支撐，則在下垂系數乘法器上增加控制器，實現(xiàn)微網系統(tǒng)的功率平衡，即

ΔPm=ΔPload-ΔPwind

(3)

式(3)中：ΔPload為負荷有功功率變化；ΔPwind為風電出力波動。

自動發(fā)電控制結構圖如圖4所示。

Km表示頻率-有功下垂系數，下垂系數乘法器模擬一次調頻，控制器完成二次調頻[18]，最后得到應該輸出的有功功率補償指令ΔPm。

2.1.2 轉子運動方程

選取額定角速度作為參考值，則轉子運動方程[19]為

(4)

式(4)中：J為轉子軸上共同的轉動慣量；Tm為機械轉矩；Te為電磁轉矩；Td為阻尼轉矩；D為阻尼系數；ωN為額定角頻率。

取VSG的極對數為1，由功率與轉矩關系[19]Tm≈Pmref/ωr，Te≈Pout/ωr,式(4)可變?yōu)?/p>

(5)

轉子運動方程模塊框圖如圖5所示。

圖4 虛擬調速器框圖Fig.4 Block diagram of virtual governor

s為拉普拉斯算子圖5 轉子運動方程框圖Fig.5 Block diagram of rotor motion equation

2.2 自動電壓控制

與自動發(fā)電控制類似，根據實際測得電壓與電壓參考值作差得到的電壓偏差，通過PI控制模塊生成無功功率補償指令ΔQ，進而得到無功功率參考值Qref。根據無功功率參考值Qref與無功功率實測值Qref計算得到信號Em，計算方法為

(6)

3 算法簡介

3.1 強化學習技術

強化學習技術作為機器學習方法的一種，通過與環(huán)境不斷的交互來獲取經驗，通過不斷的實驗進行學習試錯，由此強化學習可分為智能體與環(huán)境兩部分，它們的關系可如圖6所示。

圖6 強化學習基本框圖Fig.6 Basic block diagram of reinforcement learning

深度強化學習通常是基于馬爾可夫決策過程的(Markov decision process, MDP)，即智能體與環(huán)境在下一時刻的交互結果只與當前的環(huán)境狀態(tài)有關，而與之前的環(huán)境狀態(tài)無關。MDP過程包含s、a、r、π4個要素[12]。其中s表示環(huán)境狀態(tài)的集合,a表示智能體可以采取的動作的集合，r表示獎勵函數，π表示策略集合，由狀態(tài)生成對應的動作。

強化學習策略的求解算法主要為基于值函數算法與基于策略梯度算法與二者結合的Actor-critic算法。

3.2 深度確定策略梯度算法

對于連續(xù)動作空間的問題，深度確定策略梯度算法(deep determination strategy gradient algorithm, DDPG)可以獲得很好的決策效果。DDPG算法一共有4個網絡，分別是Actor當前網絡，Actor目標網絡，Critic當前網絡，Critic目標網絡。兩個Actor網絡的結構相同，2個Critic網絡的結構相同。在t時刻，Actor當前網絡參數為θ、Actor目標網絡參數為θ′、Critic當前網絡參數為ω、Critic目標網絡參數為ω′。

DDPG 4個網絡中, Actor當前網絡根據當前狀態(tài)st生成動作at；Actor目標網絡根據環(huán)境給出的后續(xù)狀態(tài)st+1生成t+1時刻動作at+1；Critic當前網絡計算狀態(tài)st和動作at對應的動作價值；Critic目標網絡根據后續(xù)狀態(tài)st+1與行為at+1生成用來計算目標價值中Q′(st+1,at+1|ω′)的部分。其中目標價值y由式(7)計算：

y=rt+γQ′(st+1,at+1,ω′)

(7)

式(7)中：rt為t時刻的回報值；γ為折扣因子且0<γ<1；Q′(st+1,at+1|ω′)為t+1時刻Critic目標網絡的輸出值。

使用均方差損失函數式(8)，通過神經網絡的梯度反向傳播來更新Critic當前網絡參數ω。

(8)

式(8)中：m為樣本數目；yj為j樣本的目標價值；Q(sj,aj,ω)為Critic當前網絡關于j樣本的輸出值。

通過神經網絡的梯度反向傳播來更新Actor當前網絡的所有參數θ:

(9)

式(9)中：πθ(·)為Actor當前網絡的輸出值。

通過式(10)更新Critic目標網絡和Actor目標網絡參數:

(10)

式(10)中:τ為更新系數，一般取值較小。

4 虛擬同步發(fā)電機的改進

對于圖4中控制器選擇，面對高比例分布式電源接入的復雜電網，傳統(tǒng)PI控制器存在著參數較難選擇，魯棒性不高的問題，逆變器的內部控制結構需要進一步進行改進,相較于傳統(tǒng)PI控制器，深度強化學習可以在沒有確切模型的情況下通過在線學習不斷訓練生成控制器，適用于當今新能源比例增加、復雜性不斷升高的電網，DDPG算法采用經驗回放機制與梯度反向傳播的方式更新神經網絡參數使其收斂，可以很好地解決頻率與功率等連續(xù)量連續(xù)變化的問題。采用深度強化學習設計的控制器代替圖4中虛線框的部分，對虛擬調速器加以改進，訓練生成的調速器通過頻率偏差比傳統(tǒng)控制器可以更好地得到有功功率補償。強化學習是基于馬爾可夫過程的，該過程由(s,a,r,π)四元組給出，設計控制器時需要確定狀態(tài)變量與動作變量，并設計獎勵函數。

4.1 狀態(tài)變量與動作變量

(11)

式(11)中：e=fg-fN。式(11)表示外界環(huán)境提供給智能體的環(huán)境信息。

由于儲能系統(tǒng)通過改變功率輸出對系統(tǒng)頻率進行調節(jié)，故動作變量為儲能系統(tǒng)輸出功率補償ΔPbat，即

a=ΔPbat

(12)

為了達到訓練效果，考慮到系統(tǒng)中負荷變化等情況，還需要增加頻率不確定量p，這樣可以保證智能體每次訓練的初始狀態(tài)都不相同，有著更好的適應性。

4.2 獎勵函數

智能體要通過獎勵函數才能計算得到動作的價值，進而判斷動作的好壞，獎勵函數的設計一般與控制目標有關，本文研究希望控制器控制下的頻率誤差盡量的小，為實現(xiàn)這一目標，本文將頻率誤差分段，每段采用不同的權重系數，故獎勵函數設計為

(13)

式(13)中：|e|為頻率誤差的絕對值；b1、b2、b3、b4、b5分別為頻率誤差分段點；λ1、λ2、λ3、λ4、λ5、λ6為權重系數,頻率偏差越低,智能體獲得的獎勵越多。|e|分段太多會使訓練難以收斂達不到訓練效果，分段太少會使訓練時間過長，本文中將頻率誤差分為5段。

在設計獎勵函數時，需要設計終止函數，終止函數的作用是智能體通過邊界條件判斷系統(tǒng)是否進入終止狀態(tài)，如果進入終止狀態(tài)，則不再繼續(xù)迭代，直接重新初始化系統(tǒng)頻率，開啟新一輪的狀態(tài)序列。如果進入非終止狀態(tài)，則繼續(xù)本輪迭代過程。為了防止電池過度充放電，保護電池，采用鋰電池SOC的上下限作為終止函數的邊界條件，當電池的SOC到達上下限時，儲能系統(tǒng)將不在參與系統(tǒng)的調頻。為了減少進入終止狀態(tài)的次數，配合獎勵函數將終止狀態(tài)的獎勵值設置很低。終止函數為

(14)

4.3 神經網絡的構成

4.4 算法流程

微網運行數據通過深度學習，將狀態(tài)信息，獎勵、動作信息以及終止狀態(tài)信息{s,a,r,s′,is_end}形成樣本單元存儲起來，放入經驗回放集合D中，然后從集合D采取m個樣本單元，通過式(5)～式(8)進行訓練，一共訓練T輪，每輪的訓練步長為Tm次，訓練框圖如圖7所示。

圖7 DDPG算法訓練流程Fig.7 DDPG algorithm training process

除了以上參數選取，為了表現(xiàn)對動作的長遠收益的重視程度，引入折扣系數γ，折扣系數越大，智能體就越會越重視以往經驗，能夠放棄當前利益而追求全局利益。但是，如果折扣因子選擇過大，也會影響訓練的收斂。學習過程中神經網絡的學習率α如果太小，那么訓練需要很長時間，而如果學習率α太大，那么訓練可能會達到次優(yōu)結果或不能收斂。

5 仿真

5.1 實驗設置

MPPT控制的風電系統(tǒng)額定功率為40 kW，仿真時設定輸出功率為30 kW，由于風電系統(tǒng)輸出具有隨機性，故加入隨機干擾模擬這一過程，風電功率隨機變化如圖9所示。

圖8 Critic網絡拓撲結構Fig.8 Critic network topology

ΔP為風電有功功率變化；T為時間圖9 風電功率變化Fig.9 Basic block diagram of reinforcement learning

風電與儲能共同承擔本地負荷，實現(xiàn)對計劃出力的跟蹤，根據國家住建部制定的相關標準[20]，儲能電池系統(tǒng)的額定功率選擇為風電系統(tǒng)額定功率的30%，即12 kW。電池為鋰離子電池，采用simulink中通用電池模型，鋰電池容量為60 A·h,額定工作電壓為200 V，初始荷電狀態(tài)為50%，最大荷電狀態(tài)為1，最小荷電狀態(tài)為10%，儲能系統(tǒng)參考輸出電壓為700 V。

訓練輪數T=3 000次，訓練步長Tm=100步，折扣系數γ=0.99，更新系數τ=0.001，學習率α=0.001，采樣數目m=64, 經驗回放集合D=1×106，標準偏差為σ=0.6，衰減率為φ=1×10-5，b1=0.008，b2=0.02，b3=0.05,b4=0.1。權重系數λ1=100,λ2=0,λ3=-30,λ4=-60,λ5=-100,λ6=-300，c1取10%，c2取1。頻率不確定量p在[-0.1,0.1]隨機變化。多次訓練到智能體可以穩(wěn)定收獲正值獎勵，則得到虛擬調速器。系統(tǒng)參數與訓練過程如表1所示。

表1 仿真參數Table 1 Simulation parameters

5.2 仿真結果

5.2.1 有功功率與頻率仿真分析

微網一開始處于并網狀態(tài)，除了風電功率擾動，有功負荷在0.3 s突增4 kW，0.5 s運行模式由并網變?yōu)楣聧u運行。圖10為該時間段的頻率曲線與功率變化曲線。

圖10 頻率與有功功率Fig.10 Frequency and active power

將下垂控制、使用PI控制器的傳統(tǒng)虛擬同步發(fā)電機控制以及采用深度強化學習控制器的改進虛擬同步發(fā)電機控制的頻率控制進行對比。由仿真結果可以看出，負荷突增時，改進的虛擬同步發(fā)電機控制頻率波動更小，對負荷有功功率的追蹤效果更好。外界電網對系統(tǒng)頻率的調節(jié)使頻率有所恢復，風電擾動對頻率影響較小。當0.5 s離網時，微網失去電網支撐，下垂控制與傳統(tǒng)虛擬同步發(fā)電機控制頻率都有所降低，改進虛擬同步發(fā)電機控制方法頻率更加平穩(wěn)，具有更好的控制效果。

微網進入孤島運行后，1 s時負荷降低8 kW，2 s時負荷增加7 kW。圖11為該時間段的頻率曲線與功率曲線。

孤島運行下，風電干擾的影響增大，下垂控制出現(xiàn)明顯頻率波動，在負荷階躍變化干擾與風電隨機擾動干擾情況下，改進的虛擬同步發(fā)電機控制頻率波動更小，控制性能更為優(yōu)越；同時由有功功率曲線看出所設計的控制器對有功負荷的跟蹤也較為良好。

整個過程中，儲能直流側輸出電壓、電池輸出功率與SOC曲線如圖12所示。

圖11 孤島運行下頻率與有功功率Fig.11 Frequency and active power in islanding operation

Voltage為儲能直流側輸出電壓圖12 儲能直流側輸出電壓、電池輸出功率與SOC曲線Fig.12 Energy storage DC side output voltage, battery output power and SOC curve

圖10～圖12可以看出，在所提出的控制方法下，電池儲能系統(tǒng)作為主電源對微網具有很好的支撐作用，儲能系統(tǒng)實現(xiàn)對風電出力的多吸少補，電池的荷電狀態(tài)因充放電而不斷改變。

5.2.2 無功功率與電壓仿真分析

與圖18為該時間段的負荷電壓曲線與無功功率曲線。無功負荷在0.3 s增加2 kVar,1 s降低4 kVar,2 s增加4 kVar。圖13為該時間段的負荷電壓曲線與無功功率變化曲線。

Voltage為儲能直流側輸出電壓圖13 負荷電壓與無功功率變化曲線Fig.13 Load voltage and reactive power curve

由圖13可以看出，下垂控制電壓為有差調節(jié)，傳統(tǒng)虛擬同步發(fā)電機電壓有所降低，而提出的改進虛擬同步發(fā)電機對電壓的穩(wěn)定控制效果更好，對無功負荷的跟蹤效果也較為良好。

6 結論

采用包含風電、儲能與負荷的微網系統(tǒng)。風電系統(tǒng)出力的隨機性與負荷的階躍變化對微網頻率電壓的穩(wěn)定造成巨大威脅，本文研究提出虛擬同步發(fā)電機技術與深度強化學習技術對電池儲能系統(tǒng)進行控制，進而維護微網的穩(wěn)定。

采用深度強化學習中DDPG算法設計虛擬調速器，通過仿真實驗驗證了微網并網、離網等場景下，所提出的改進虛擬同步發(fā)電機技術對有功功率與無功功率的實時調整作用，對系統(tǒng)電壓頻率的穩(wěn)定有著很好的控制效果。而對于具有多個主電源支撐的微網，可以繼續(xù)開展多主電源協(xié)調控制方面的研究。