韋乾龍，唐文虎，江昌旭，錢瞳，李維維，鄭杰輝

(1．華南理工大學 電力學院，廣東 廣州 510641；2．福州大學 電氣工程與自動化學院，福建 福州 350116)

隨著可再生能源滲透率逐步提高，配電網形態(tài)與結構均面臨諸多變化[1-3]。主動配電網的源荷形態(tài)結構比傳統(tǒng)配電網更復雜，管理協(xié)調更困難。同時，主動配電網與輸電網絡進行功率交換時[4-6]，主動配電網中量測裝置較少，可觀測水平極低，配電網調度員很難獲取配電網的詳細信息。因此，如何在配電網信息不完全的條件下，建立一個精度較高的配電網等值模型就顯得尤為重要。

國內外學者在主動配電網的靜態(tài)等值模型方面已經做了大量的研究工作。文獻[7]不考慮分布式電源的影響，直接使用ZIP負荷模型﹝恒定阻抗模型(Z)、恒定電流模型(I)與恒定功率模型(P)的并聯(lián)﹞，對配電網進行靜態(tài)等值。文獻[8-9]用等值發(fā)電機來表示主動配電網中的分布式發(fā)電，并且用PQ節(jié)點或PV節(jié)點連接在主動配電網中，該模型沒有考慮分布式發(fā)電的不確定性。文獻[10]用一個消耗負功率的負荷來代替分布式風電和光伏發(fā)電系統(tǒng)。但是這些模型都不能反映不同分布式發(fā)電各自的特征，并且忽略了可再生能源發(fā)電的不確定性。因此，許多學者開始考慮不同類型分布式發(fā)電的影響以及可再生能源的不確定性。文獻[11]利用小波神經網絡對不確定性進行預測，文獻[12]利用半不變量法對不確定性進行建模，但是無法對此類模型進行在線評估。文獻[13]建立了考慮可再生能源空間不確定性的主動配電網模型，并對模型參數(shù)進行辨識，解決了分布式電源地理分布不同導致的問題。

主動配電網等值模型的精度不僅取決于模型本身，也取決于參數(shù)辨識方法的精度。參數(shù)辨識可以看作非線性的最小二乘問題，優(yōu)化目標是使等值模型輸出值與在線監(jiān)測值的差值最小。該問題存在局部最優(yōu)，為了解決此類問題，文獻[14-16]采用最小二乘(least square，LS)算法建立了單邊界節(jié)點的等值模型，文獻[17]采用遺傳算法對參數(shù)進行辨識。但是以上算法存在魯棒性較差、收斂速度慢、對初始值較為敏感等缺點。由于主動配電網的新能源和負荷具有時變特征，導致等值模型的參數(shù)也是時變的，因此要求參數(shù)辨識方法能夠隨時更新，進行在線評估。強化學習算法具有較好的在線計算能力，常用于參數(shù)在線辨識。文獻[18]提出基于時序差分和協(xié)方差矩陣的強化學習(function optimization by reinforcement learning，F(xiàn)ORL)算法，結果證明該方法較好地解決了維數(shù)災難問題，但是FORL算法在參數(shù)時變的條件下求解最優(yōu)解的能力較弱。

本文考慮不同分布式發(fā)電帶來的不確定性影響，建立基于改進強化學習(improved function optimization by reinforcement learning，IFORL)算法的主動配電網等值模型。本文的研究工作主要有：

a)建立考慮源荷不確定性的主動配電網等值模型。

b)基于FORL算法，通過引入自適應學習速率，增加路徑搜索方向，提出IFORL算法，提高參數(shù)辨識精度。

c)提出一種基于權重衰減策略的樣本采樣方法。

1 主動配電網等值模型

圖1為主動配電網的等值模型，包括1個等值風電機組模塊、1個等值光伏發(fā)電模塊和1個等值ZIP負荷模塊，其中，(Pin+jQin)為輸電網注入配電網的總功率，(Pw+jQw)為配電網中所有風電機組的總功率，(Ppv+jQpv)為配電網中所有光伏發(fā)電的總功率，(Pl+Ploss)+j(Ql+Qloss)為配電網中所有負荷的消耗功率以及網絡損耗。

圖1 主動配電網的等值模型Fig.1 Equivalent model of active distribution network

根據(jù)電路原理，可以得到方程

(Pin+jQin)=-(Pw+jQw)-(Ppv+jQpv)+

(Pl+Ploss)+j(Ql+Qloss).

(1)

1.1 等值風電機組

風電機組的功率輸出取決于其功率曲線。風電機組的有功功率

(2)

式中：P(v)為風電機組出力的非線性部分；Pr為風電機組額定功率；v為等值風電機組的風速；vci為切入風速；vr為額定風速；vco為切出風速。

由式(2)可知，風電機組出力曲線分為3段。本文采用式(3)擬合風電機組曲線的非線性部分P(v)[13]：

Pw=w1arcsin(w2v+w3)+w4.

(3)

式中w1、w2、w3、w4為需要辨識的參數(shù)。本文假設主動配電網中所有的風電機組都以單位功率因數(shù)運行，因此這些風電機組的無功功率均為0。

1.2 等值光伏發(fā)電

對于光伏發(fā)電系統(tǒng)的建模，本文采取理想光伏發(fā)電系統(tǒng)模型，功率輸出由以下決定[19]：

Ump(G,T)=Ump,STC+KU(T-TSTC)+

Utln(G/GSTC)+βlg(G/GSTC),

(4)

Imp(G,T)=[Imp,STC+KI(T-TSTC)]G/GSTC,

(5)

Pmp(G,T)=Ump(G,T)Imp(G,T),

(6)

Ppv(G,T)=ηPmp(G,T).

(7)

式(4)—(7)中：Ump(G,T)、Imp(G,T)、Pmp(G,T)分別為光伏發(fā)電的電壓最大值、電流最大值、有功功率最大值；G為光照強度；T為環(huán)境溫度；Ump,STC、Imp,STC分別為標準測試條件下光伏發(fā)電的電壓最大值、電流最大值；GSTC、TSTC分別為標準測試條件下的光照強度和環(huán)境溫度，GSTC=1 000 W/m2，TSTC=25 ℃；KU、KI分別為電壓系數(shù)和電流系數(shù)；Ut為二極管電壓，Ut=kBT/qe，kB為Boltzmann常數(shù)，qe為電子電量；β為面板系數(shù)；η為逆變器轉換效率。KU、KI、Ump,STC、Imp,STC、β、η均為待辨識的參數(shù)。

假設光伏發(fā)電采取標準的功率因數(shù)特性cosφpv實施無功控制，無功功率Qpv由式(8)、(9)得到，待辨識的參數(shù)包括閾值有功功率Pth和斜率h：

cosφpv=h(Ppv-Pth)+1，

(8)

(9)

1.3 等值ZIP負荷

本文采用ZIP負荷模型來對配電網的所有負荷進行建模[20]：

(10)

式中：PL(U)、QL(U)分別為節(jié)點電壓U下，負荷的有功功率和無功功率；ap1、ap2、ap3、aq1、aq2、aq3為待辨識的參數(shù)。

2 參數(shù)辨識

2.1 IFORL算法基本原理

假設一個最小化的優(yōu)化問題含有N個控制變量X={x1,x2,…,xN}，IFORL算法采用N個代理，每個代理負責1個維度的搜索。根據(jù)馬爾科夫性質，將每個代理用1個五元組表示為{Sq,Aq,R,p,π}，其中：Sq={xq}為第q維狀態(tài)變量xq的狀態(tài)空間，xq∈[xmin,xmax]；Aq為第q個代理的行為空間；R為從環(huán)境中獲得的獎勵信號；p={p1,p2}分別為搜索路徑方向和選擇行為的概率；π為代理指導采取行為的策略。

2.2 行為選擇

IFORL算法對行為的選擇包含3個步驟：首先根據(jù)值函數(shù)的值對搜索路徑進行評估；然后從中選擇最佳路徑l；最后在路徑l上從g個不同的行為中選擇最佳的行為。

如果當前單元格狀態(tài)優(yōu)于左右2種搜索方向時，原FORL算法在當前狀態(tài)下只能選擇向左或者向右進行搜索，忽略了當前單元格的狀態(tài)。IFORL算法通過增加第3個搜索方向，即保持在當前單元格方向，對FORL的搜索方向進行改進[21]。

搜索路徑更新方程為

(11)

式中：Ll(xq)為狀態(tài)xq下的路徑值；λ1為計算路徑值時值函數(shù)的權重；將搜索路徑l上所有行為的值函數(shù)按照降序排列，Al,m為第m個值函數(shù)的值；A(xq)為狀態(tài)xq下值函數(shù)的值。

路徑方向的搜索概率

(12)

式中：Ll(i,j)為第i個代理的第j個行為的路徑值；τ為代理用于在探索和利用之間折衷的參數(shù)，其值越大，代表選擇所有路徑的概率越接近。

確定了搜索方向后，代理在g個行為中選擇行為h為最佳行為的概率

(13)

式中A(i,h)為第i個代理選擇h行為的值函數(shù)的值。

2.3 值函數(shù)的更新

為了提高Q-learning算法的收斂速度慢的問題，本文引入通信領域中的資格跡理論來反映過去多步狀態(tài)與行為對后續(xù)策略的影響，進而提升算法的收斂速度和自適應學習能力。

根據(jù)FORL算法，第i個代理的第j個行為的值函數(shù)Ak+1(i,j)更新公式如下[18]：

Ak+1(i,j)=Ak(i,j)+αδk(i)，

(14)

δk(i)=R+γ(maxAk(i,j)-Ak(i,j)).

(15)

式中：α為學習速率；δk(i)為值函數(shù)的增量；γ為折扣因子；k為迭代次數(shù)。

FORL算法采取恒定學習速率對值函數(shù)進行更新。在k+1次迭代時，如果δk(i)<δk+1(i)<0，說明代理i在行為j下無法得到較大的獎勵信號，則說明至少有1個代理采取了不利的行為，并且一定是當前代理導致。如果此時學習效率較大，導致值函數(shù)急劇減小，則會降低代理i在下一次選擇該行為的概率，導致代理無法尋找最優(yōu)解，所以此時需要降低學習速率。

IFORL算法通過引入資格跡中的衰減因子λ對恒定的學習速率進行改進，得到自適應的學習速率。假設在第k次迭代中，當值函數(shù)增量減小時，學習速率更新公式為：

(16)

式中αk為第k次迭代時的學習速率。因此，IFORL算法中第i個代理的第j個行為的值函數(shù)更新公式為

Ak+1(i,j)=Ak(i,j)+αk+1δk(i).

(17)

2.4 等值模型參數(shù)辨識

主動配電網中風電、光伏發(fā)電和負荷具有隨機性，為了追蹤其時變特征，本文采用IFORL算法對主動配電網參數(shù)進行辨識。在線辨識中，傳統(tǒng)的滑動時間窗口認為采樣值對模型參數(shù)的影響相同，為了使主動配電網等值模型參數(shù)能夠反映當前時間的參數(shù)，本文提出一種隨時間按照指數(shù)衰減的權重策略[22-23]，該策略可以確保距離當前時刻較近的樣本具有較大的權重，從而區(qū)分不同時刻采樣樣本對等值模型參數(shù)的影響。

第r個樣本的權重

ωr=λn-d.

(18)

式中：n為滑動時間窗口含有的樣本數(shù)；d為當前采樣點在時間窗口中的位置。

為了衡量跨境等值模型的精度，本文采取均方根誤差函數(shù)來表示目標函數(shù)Fy，即

(19)

式中：Xy為需要辨識的參數(shù)；yar、yer分別為實際系統(tǒng)和等值系統(tǒng)中第r個結果。

以風電為例，圖2為等值風電機組參數(shù)在線辨識流程，其中，Xbest為最優(yōu)參數(shù)，kmax為設定的閾值。

圖2 等值風電機組參數(shù)辨識流程Fig.2 Parameter identification process of equivalent wind turbine

該算法的具體步驟如下：

a)代理根據(jù)觀測風電機組的風速和所有風電機組的總功率進行采樣，然后進行權重更新。

b)計算目標函數(shù)，對初始環(huán)境狀態(tài)進行評估。

c)計算獎勵信號，判斷該選擇行為是否有利，更新最優(yōu)參數(shù)Xbest，并將獎勵信號發(fā)送給等值風電機組模型。

d)在獎勵信號的基礎上，更新值函數(shù)，用于形成指導策略。

e)代理根據(jù)策略，選擇最佳行為，進而得到最佳辨識參數(shù)，每當1個代理完成上述學習過程，令k=k+1，直至k>kmax。

2.5 模型精度驗證

等值模型精度驗證流程如圖3所示。具體步驟如下：

a)更新模型：根據(jù)測量裝置獲得t時刻的氣象信息(包括風速、光照強度、環(huán)境溫度)和電氣信息(包括配電網中所有風電機組總有功出力、所有光伏發(fā)電總有功出力、邊界電壓相量、輸電網注入配電網的總有功功率和無功功率)，利用IFORL算法分別對不同等值模塊進行參數(shù)辨識，得到更新的配電網等值模型。

b)抽樣：根據(jù)氣象裝置得到t+1時刻預測值，然后輸入到t時刻更新后的配電網等值模型，利用拉丁超立方抽樣，得到輸出功率樣本。

c)概率潮流：將上述樣本輸入到等值模型和實際系統(tǒng)分別進行潮流計算，得到等值模型和實際系統(tǒng)概率潮流解，通過比較等值模型與實際系統(tǒng)的結果，即可得到等值模型的精度。

圖3 等值模型精度驗證流程Fig.3 Accuracy verification process of equivalent model

3 案例分析

3.1 仿真系統(tǒng)

本文的仿真系統(tǒng)是一個基于IEEE 33節(jié)點配電網和IEEE 30節(jié)點輸電網的改進63節(jié)點系統(tǒng)[24]。IEEE 30節(jié)點輸電網如圖4所示。IEEE 33節(jié)點主動配電網通過一個降壓變壓器連接于IEEE

圖4 IEEE 30節(jié)點輸電網Fig.4 IEEE 30-bus transmission network

30節(jié)點輸電網中的節(jié)點20，如圖5所示。主動配電網的內部負荷設置為ZIP負荷。

測試所用的風速數(shù)據(jù)來源于國內某個風電場，光照和溫度數(shù)據(jù)來源于美國國家可再生能源實驗室網站。數(shù)據(jù)樣本的采樣間隔時間均為5 min，仿真時間為1 d(24 h)。假設IEEE 33節(jié)點主動配電網模型被圖1所示的等值模型所替代，同時假設注入配電網的總功率、分布式風電總出力、分布式光伏發(fā)電總出力以及節(jié)點31的電壓幅值已知。選取節(jié)點48為觀測節(jié)點。

為了驗證等值模型在環(huán)境發(fā)生改變情況下的精度，假設在8 h時可再生能源發(fā)電的出力發(fā)生突變。具體變化為安裝在節(jié)點38、40、42、44和46上的風電機組和光伏發(fā)電系統(tǒng)被迫退出運行。

為了評估1 d時間內等值模型在環(huán)境變化時的精度，本文提出2個度量指標——電壓指標和視在功率指標。

圖5 IEEE 33節(jié)點主動配電網Fig.5 IEEE 33-bus active distribution network

a)電壓指標

EV=|Ue-Ua|/|Ua|.

(20)

式中Ue、Ua分別為等值系統(tǒng)和實際系統(tǒng)邊界電壓幅值。

b)視在功率指標

ES=|UeI*e-UaI*a|/|UaI*a|.

(21)

式中I*e、I*a分別為等值系統(tǒng)和實際系統(tǒng)邊界節(jié)點注入電流相量的共軛。

3.2 仿真結果

3.2.1 不同算法得到的等值模型結果

本文將IFORL算法、FORL算法和LS算法得到的辨識參數(shù)用于計算概率潮流，以驗證不同算法在線辨識得到的等值模型的精度。LS算法的參數(shù)設置與文獻[15]相同。FORL算法的參數(shù)設置與文獻[18]相同。IFORL算法的參數(shù)設置為：α=0.5，λ=0.95，γ=0.9。3種算法下得到節(jié)點31的電壓指標和視在功率指標如圖6、圖7所示。

圖6 不同算法下等值模型的電壓指標Fig.6 Voltage indicators of equivalent model under different algorithms

圖7 不同算法下等值模型的視在功率指標Fig.7 Apparent power indicators of equivalent model under different algorithms

從圖6、圖7可以看出，在8 h時部分風電機組和光伏退出運行，環(huán)境狀態(tài)改變，在電壓指標方面，IFORL算法的誤差最小，精度有一定的提升。在視在功率指標方面：IFORL算法的誤差在(10-3，10-2)區(qū)間內波動，實現(xiàn)了在時變系統(tǒng)中的在線跟蹤優(yōu)化；FORL算法的跟蹤能力較弱，由于學習速率固定，無法保證代理每次選擇正確的行為，誤差在(10-2，10-1)區(qū)間內波動；LS算法很難在時變環(huán)境中優(yōu)化模型參數(shù)，誤差達到10%，證明LS算法用于在線辨識的效果較差。

某一時刻下，配電網中不同的新能源出力波動也會影響模型輸出。為了驗證此時等值模型的精度，本文采用拉丁超立方抽樣獲得500組樣本數(shù)據(jù)，并且在20 h時對等值系統(tǒng)中和實際系統(tǒng)分別進行潮流計算，獲得2個系統(tǒng)中的邊界節(jié)點電壓幅值和注入視在功率的概率密度曲線，分別如圖8、圖9所示。

圖8 實際系統(tǒng)和等值系統(tǒng)邊界節(jié)點電壓幅值的 概率密度曲線Fig.8 Probability density curves of boundary bus voltages of actual and equivalent systems

圖9 實際系統(tǒng)和等值系統(tǒng)邊界節(jié)點視在功率的 概率密度曲線Fig.9 Probability density curves of apparent power of boundary bus of actual and equivalent systems

從圖8、圖9可以看出，等值系統(tǒng)與實際系統(tǒng)的邊界節(jié)點電壓幅值和注入視在功率的概率密度曲線近乎重合，這證明等值模型可以完整代替IEEE 33節(jié)點的主動配電網，有效地簡化了配電網，只需要知道邊界節(jié)點的信息，就可以實現(xiàn)較高精度的配電網等值。

3.2.2 不同采樣權重策略下得到的等值模型結果

為了驗證本文提出的權重衰減策略獲得的樣本對在線辨識精度的提升效果，將其與平均權重策略進行對比。將實際的邊界電壓幅值和2種策略計算得到的邊界節(jié)點電壓幅值代入式(19)，計算得到等值模型誤差，如圖10所示。

圖10 不同策略下的等值模型誤差Fig.10 Errors of equivalent models under different strategies

從圖10可以看出：當采用權重衰減策略時，等值模型的誤差在(10-4，10-3)區(qū)間內波動；在平均權重策略下，等值模型的誤差在(10-3，10-2)區(qū)間內波動。這證明本文提出的權重衰減策略通過賦予當前樣本較大的權重，能夠使等值模型更準確地描述當前時刻的主動配電網。

4 結束語

本文建立了一種考慮源荷不確定性的主動配電網等值模型。該等值模型包括等值風電機組、等值光伏發(fā)電與等值ZIP負荷3個模塊，通過IFORL算法對每個模塊進行參數(shù)辨識，得到主動配電網等值模型。仿真結果表明，相比FORL算法和LS算法，引入自適應學習速率以及增加搜索方向的IFORL算法能更準確辨識環(huán)境狀態(tài)改變下的樣本，得到的等值模型的電壓幅值和視在功率誤差更小。等值模型的參數(shù)概率分布與實際系統(tǒng)近乎一致，表明等值模型可以有效地追蹤實際系統(tǒng)的變化。通過不同權重策略的對比測試結果表明，本文提出的權重衰減策略通過賦予距離當前時刻較近的樣本較大的權重，使等值模型的誤差更小。此外，主動配電網等值模型對規(guī)模較大的配電網進行了簡化，提升了潮流計算的效率，有利于短時間尺度和超短時間尺度下的系統(tǒng)調度和決策工作。