張磊光,陳海濤,楊 軍
(1.國(guó)網(wǎng)河南駐馬店供電公司,河南駐馬店 463000;2.武漢大學(xué)電氣與自動(dòng)化學(xué)院,湖北武漢 430010)
近年,全球開(kāi)始將建設(shè)綠色、低碳和清潔的能源互聯(lián)網(wǎng)作為目標(biāo)[1-2],而電轉(zhuǎn)氣(Power to Gas,P2G)技術(shù)則是能源互聯(lián)網(wǎng)中實(shí)現(xiàn)能量傳輸和分配的重要手段[3]。而相比于孤立運(yùn)行的微電網(wǎng)和天然氣網(wǎng)絡(luò),電-氣耦合系統(tǒng)的結(jié)構(gòu)更加復(fù)雜,由此給相關(guān)系統(tǒng)的運(yùn)行控制帶來(lái)了更大的挑戰(zhàn)[4-5]。
天然氣管網(wǎng)的結(jié)構(gòu)設(shè)計(jì)和控制模型是P2G 互聯(lián)系統(tǒng)的研究基礎(chǔ)[6-7]。文獻(xiàn)[8]對(duì)混氫天然氣系統(tǒng)進(jìn)行了建模,構(gòu)建出“互聯(lián)互通”的電-氣-氫綜合能源系統(tǒng)。文獻(xiàn)[9]提出采用狀態(tài)方程對(duì)管道流動(dòng)特性進(jìn)行建模分析的想法,在管道流動(dòng)基本方程的基礎(chǔ)上,推導(dǎo)出管道的狀態(tài)方程表達(dá)式。文獻(xiàn)[10]應(yīng)用隨機(jī)Petri 網(wǎng)方法設(shè)計(jì)了1 種網(wǎng)絡(luò)模型,對(duì)電-氣耦合能源系統(tǒng)開(kāi)展了供能可靠性評(píng)估,大大提高了建模與控制過(guò)程的計(jì)算效率。然而,隨著P2G 互聯(lián)系統(tǒng)的發(fā)展,天然氣管網(wǎng)側(cè)的運(yùn)行狀況越發(fā)復(fù)雜,天然氣管網(wǎng)和微電網(wǎng)的負(fù)荷擾動(dòng)均會(huì)影響到耦合系統(tǒng)的頻率和壓力平衡[11]。因此,文獻(xiàn)[8-10]中的傳統(tǒng)控制方法難以對(duì)系統(tǒng)中的各單元實(shí)現(xiàn)協(xié)調(diào)控制,從而實(shí)現(xiàn)電-氣耦合系統(tǒng)在多種工況下的穩(wěn)定運(yùn)行。
當(dāng)微電網(wǎng)處于孤島模式時(shí),上級(jí)電網(wǎng)不會(huì)再提供電力支持。因此,需要分布式電源或儲(chǔ)能為微電網(wǎng)繼續(xù)提供功率支持[12-13]。而在電-氣耦合系統(tǒng)中,微型燃?xì)廨啓C(jī)(Micro Gas Turbine,MT),P2G 設(shè)備及柔性負(fù)荷能夠?yàn)槲㈦娋W(wǎng)提供電源支撐。因此,完成系統(tǒng)控制的關(guān)鍵在于控制器的設(shè)計(jì),其控制效果影響了微電網(wǎng)系統(tǒng)的頻率穩(wěn)定性與天然氣管網(wǎng)的氣壓穩(wěn)定性[14]。文獻(xiàn)[15]提出了1 種支持電網(wǎng)穩(wěn)定的電力與天然氣系統(tǒng)耦合控制方案,該方案能夠協(xié)調(diào)P2G 系統(tǒng)中的各組件,實(shí)現(xiàn)功率平衡。文獻(xiàn)[16]提出了1 種電-熱-氣集成微電網(wǎng)的風(fēng)電非線性調(diào)控模型,該模型能夠滿足電、熱、氣負(fù)荷的需求以及電-氣耦合系統(tǒng)的安全約束。文獻(xiàn)[17]提出了1 種用于燃料電池和電解槽的儲(chǔ)氫系統(tǒng)頻率控制方法,該方法允許初級(jí)頻率響應(yīng)和慣性仿真,電-氣耦合設(shè)施能夠有效地支持自主電氣系統(tǒng)中的功率調(diào)節(jié)。在文獻(xiàn)[18]中,作者為保證電-氣能源互聯(lián)系統(tǒng)運(yùn)行的運(yùn)行可靠性,提出了1 種電-氣能源互聯(lián)微電網(wǎng)運(yùn)行多代理控制方法,提高了微電網(wǎng)側(cè)的穩(wěn)定性。然而,文獻(xiàn)[15-18]中的研究?jī)H考慮了含天然氣系統(tǒng)微電網(wǎng)的頻率控制問(wèn)題,顯然無(wú)法解決微電網(wǎng)頻率與天然氣管網(wǎng)氣壓的協(xié)同控制問(wèn)題;同時(shí),微電網(wǎng)中的可再生能源與天然氣網(wǎng)絡(luò)中也存在著巨大的隨機(jī)性問(wèn)題;其所提出的傳統(tǒng)的控制方法難以應(yīng)對(duì)這種復(fù)雜的工程控制任務(wù)。
因此,本文提出了面向電-氣互聯(lián)系統(tǒng)的頻率-氣壓協(xié)同控制策略。建立了天然氣網(wǎng)絡(luò)模型、電轉(zhuǎn)氣系統(tǒng)耦合模型及柔性負(fù)荷的頻率控制模型,并由此建立了包括MT,P2G、柔性負(fù)荷站、WT 和負(fù)載的孤島微電網(wǎng)控制系統(tǒng);選擇了具有在線學(xué)習(xí)能力的柔性動(dòng)作評(píng)價(jià)(Soft Actor Critic,SAC)算法作為控制算法,由此實(shí)現(xiàn)了微電網(wǎng)頻率和天然氣網(wǎng)絡(luò)氣壓的協(xié)調(diào)控制:根據(jù)微網(wǎng)頻率和天然氣網(wǎng)絡(luò)氣壓2 個(gè)控制目標(biāo),設(shè)計(jì)了智能控制器的結(jié)構(gòu),完成狀態(tài)空間與動(dòng)作空間的定義,設(shè)計(jì)出相應(yīng)的全局和局部獎(jiǎng)勵(lì)函數(shù),使得控制器能夠在控制過(guò)程中協(xié)調(diào)考慮2 個(gè)控制目標(biāo),實(shí)現(xiàn)系統(tǒng)的整體穩(wěn)定性最大化。
電-氣耦合模型如圖1 所示,包括柔性負(fù)荷、分布式電源、微型燃?xì)廨啞⑵胀ㄘ?fù)荷以及天然氣網(wǎng)絡(luò)模型。
圖1 P2G互聯(lián)終端綜合能源系統(tǒng)模型Fig.1 Model of P2G interconnected terminal integrated energy system
天然氣管道流量模型如圖2 所示,其中O,L分別為管道截面積、長(zhǎng)度,x為距離?;谫|(zhì)量守恒定律與牛頓第二運(yùn)動(dòng)定律,并根據(jù)有限元近似的思想,將動(dòng)態(tài)天然氣流用常微分方程形式描述[19-20]。
圖2 天然氣管道中的天然氣流量Fig.2 Natural gas flow in natural gas pipeline
式中:pin,pout分別為天然氣管道入口、出口處的氣壓;Min,Mout分別為管道入口、出口流量;c為管道的聲速;D,f分別為管道直徑、摩擦系數(shù)。
進(jìn)而,可將調(diào)壓閥的動(dòng)態(tài)特性簡(jiǎn)化為:
式中:b為調(diào)壓閥變比;Kb為調(diào)壓閥的比例控制系數(shù);pout_ref為調(diào)壓閥出口處氣壓參考值。
微型燃?xì)廨啓C(jī)是電-氣耦合系統(tǒng)的關(guān)鍵組成,其控制框圖如圖3 所示。其中,ΔuMT為輸入到微型燃?xì)廨喌恼{(diào)控信號(hào),F(xiàn)0為反饋信號(hào),ΔXMT為燃料系統(tǒng)的狀態(tài)量,Tf和Tt為時(shí)間常數(shù),±δmt為MT 的功率增量爬坡邊界,±μmt為功率增量邊界,s′為拉普拉斯變換中的復(fù)變量,ΔPMT為燃?xì)廨啓C(jī)輸出功率增量。
圖3 微型燃?xì)廨啓C(jī)功率調(diào)節(jié)框圖Fig.3 Power control block diagram of micro gas turbine
本節(jié)針對(duì)孤島電-氣耦合系統(tǒng),在考慮P2G 設(shè)備耦合作用的情況下,分析電網(wǎng)負(fù)荷擾動(dòng),搭建孤島微電網(wǎng)的負(fù)荷頻率控制模型。
由于P2G 可視為可控負(fù)荷,其具體的頻率控制響應(yīng)模型如圖4 所示。其中,ΔuP2G為P2G 設(shè)備收到的控制信號(hào),Tele為電解槽時(shí)間常數(shù),±δP2G為功率增量爬坡約束,±μP2G為功率增量約束,ΔPP2G為P2G 設(shè)備的功率增量。
圖4 P2G設(shè)備頻率控制模型Fig.4 Frequency control model of P2G equipment
微電網(wǎng)中的可控負(fù)荷同樣也是1 種具有代表性的靈活儲(chǔ)能單元,主要包含冰箱、熱泵、空調(diào)等器件。這類單元的輸出功率主要受負(fù)荷計(jì)算中心控制[21]。由此,本文設(shè)計(jì)了可控負(fù)荷頻率控制模型如圖5 所示??刂浦行臅?huì)接收到控制器輸出的控制信號(hào),并基于此得到可控負(fù)荷群內(nèi)各單體設(shè)備的開(kāi)關(guān)狀態(tài),從而得到輸出功率的實(shí)時(shí)邊界,并輸出可控負(fù)荷的功率增量。
圖5 可控負(fù)荷頻率控制模型Fig.5 Frequency control model of controllable load
圖5 中,Δucl為柔性負(fù)荷(Controllable Load,CL)的調(diào)節(jié)指令,Tcl為CL 的時(shí)間常數(shù),ΔPcl為柔性負(fù)荷的功率增量。假設(shè)CL 單體單元的上限數(shù)量是N,且當(dāng)時(shí)刻t時(shí),有Np個(gè)能夠輸出正功率的CL 單元,并有Nd個(gè)能夠輸出負(fù)功率的CL 單元,Np與Nd的數(shù)值受各用戶行為控制,即具有用戶隨機(jī)性。并設(shè)定所有CL 單體的性能與參數(shù)保持一致,并設(shè)置每一個(gè)CL 單體的輸出功率上限為,下限為進(jìn)而,根據(jù)CL 單體的功率約束計(jì)算出CL 集群的輸出功率的邊界為:
式中:i為柔性負(fù)荷的編號(hào),代表第i臺(tái)負(fù)荷設(shè)備。
系統(tǒng)控制器會(huì)根據(jù)實(shí)時(shí)運(yùn)行狀態(tài)向負(fù)荷計(jì)算中心發(fā)送調(diào)節(jié)指令,計(jì)算中心依據(jù)信號(hào)及實(shí)時(shí)輸出功率邊界計(jì)算出正向放電的CL 數(shù)量為np,處于用電狀態(tài)的CL 數(shù)量為nd,從而得到實(shí)時(shí)CL 集群的輸出功率增量ΔPcl為:
綜上所述,若ΔPcl等于0 代表CL 集群與外界沒(méi)有發(fā)生凈功率交換;若ΔPcl大于0 代表此時(shí)有更多的CL 單體處于對(duì)外輸出功率的狀態(tài),因此CL 集群將對(duì)外提供正向輸出功率;若ΔPcl小于0 則代表CL集群對(duì)外界輸出負(fù)功率。
基于所建立的各調(diào)控機(jī)組模型,本節(jié)建立微電網(wǎng)負(fù)荷頻率控制模型如圖6 所示。
圖6 微電網(wǎng)頻率控制模型Fig.6 Frequency control model of microgrid
其中,LFC 控制器可以向各機(jī)組發(fā)出調(diào)控信號(hào),系統(tǒng)內(nèi)包含1 臺(tái)微型燃?xì)廨啓C(jī)、2 組柔性負(fù)荷及1 組P2G 設(shè)備;ΔPL和ΔPw分別為負(fù)荷、風(fēng)電擾動(dòng),Δf為頻率偏差,Δucl1和Δucl2分別為1 號(hào)、2 號(hào)柔性負(fù)荷的調(diào)節(jié)指令,ΔPcl1和ΔPcl2分別為1 號(hào)、2 號(hào)柔性負(fù)荷的功率增量,D和Ht為微電網(wǎng)系統(tǒng)的慣性常數(shù)。
由于風(fēng)電機(jī)組極大的不確定性,因此將其視為隨機(jī)負(fù)荷,并采用微型燃?xì)廨啓C(jī)作為主調(diào)頻機(jī)組,將柔性負(fù)荷作為輔助調(diào)頻單元,以保證微電網(wǎng)系統(tǒng)調(diào)節(jié)的靈活性[22]。
SAC 算法的基礎(chǔ)是強(qiáng)化學(xué)習(xí)技術(shù),通過(guò)智能體和環(huán)境不斷交互獲取經(jīng)驗(yàn)由此完成預(yù)學(xué)習(xí)[23-25]。其原理圖如圖7 所示。
圖7 強(qiáng)化學(xué)習(xí)原理圖Fig.7 Principle diagram of reinforcement learning
與最大化獎(jiǎng)勵(lì)回報(bào)為目標(biāo)的傳統(tǒng)強(qiáng)化學(xué)習(xí)算法相比,SAC 算法不僅需要把獎(jiǎng)勵(lì)回報(bào)最大化,還需要將動(dòng)作的熵值最大化。即:
式中:π*為最優(yōu)策略;E為數(shù)學(xué)期望;st,at分別為智能體在t時(shí)刻的狀態(tài)與采取的動(dòng)作;ρπ為策略π下軌跡(st,at)的分布;R(st,at)為智能體在st采取at獲得的回報(bào)值;w為溫度系數(shù);H(·)為計(jì)算策略π的熵值。
熵值最大化可以防止智能體過(guò)快收斂到局部最優(yōu)解,增加智能體的探索率,防止遺落任何1 個(gè)有用的動(dòng)作,也因此具有更好的魯棒性。SAC 算法包含3 個(gè)神經(jīng)網(wǎng)絡(luò)參數(shù),分別為策略網(wǎng)絡(luò)參數(shù)?、價(jià)值網(wǎng)絡(luò)參數(shù)θ、目標(biāo)價(jià)值網(wǎng)絡(luò)參數(shù)θ′。更新參數(shù)?需要最小化如下目標(biāo):
式中:Jπ(?)為網(wǎng)絡(luò)參數(shù)?的最小化目標(biāo)函數(shù);D為用來(lái)存放樣本的經(jīng)驗(yàn)回放池;Qθ(at|st)為價(jià)值網(wǎng)絡(luò)的輸出值;π?(at|st)為策略網(wǎng)絡(luò)在狀態(tài)st輸出動(dòng)作at的概率。
進(jìn)而,動(dòng)作at通過(guò)重參數(shù)化方法獲得:
實(shí)際中動(dòng)作at需要限制在一定范圍內(nèi),故采用tanh 函數(shù)將動(dòng)作限制在(-1,1)之間,重參數(shù)化后得到的優(yōu)化目標(biāo)為:
通過(guò)(11)式對(duì)網(wǎng)絡(luò)參數(shù)?進(jìn)行更新。
而價(jià)值網(wǎng)絡(luò)參數(shù)θ通過(guò)最小化貝爾曼誤差進(jìn)行更新。
式中:JQ(θ)和y為網(wǎng)絡(luò)參數(shù)θ的更新函數(shù);st+1,at+1分別為智能體在t+1 時(shí)刻的狀態(tài)與采取的動(dòng)作;r(st,at)為智能體在狀態(tài)st輸出動(dòng)作at后獲得的獎(jiǎng)勵(lì);Qθ′at|st)為目標(biāo)價(jià)值網(wǎng)絡(luò)的輸出值。
參數(shù)θ′通過(guò)式(14)進(jìn)行更新。
式中:τ為更新系數(shù)。
對(duì)于w,由于獎(jiǎng)勵(lì)不斷變化,所以采用固定的溫度系數(shù)會(huì)使整個(gè)訓(xùn)練不穩(wěn)定。溫度系數(shù)的損失函數(shù)為:
式中:J(w)為溫度系數(shù)的損失函數(shù);πt為智能體在t時(shí)刻的策略。
將控制器的狀態(tài)集設(shè)置為電網(wǎng)側(cè)的頻率波動(dòng)值ΔF(t)、天然氣管網(wǎng)的氣壓波動(dòng)ΔP(t)以及CL 集群的隨機(jī)功率邊界,故狀態(tài)空間S可定義如下:
SAC 控制器的動(dòng)作空間可設(shè)置為對(duì)MT,CL 集群、P2G 設(shè)備所發(fā)出的輸出功率調(diào)節(jié)指令。因此,可將智能體的聯(lián)合動(dòng)作集A定義為:
進(jìn)而,可設(shè)計(jì)出智能體的獎(jiǎng)勵(lì)函數(shù):
式中:R為系統(tǒng)中的全局獎(jiǎng)勵(lì)函數(shù);Rf為電網(wǎng)側(cè)的頻率控制獎(jiǎng)勵(lì);Rp為天然氣網(wǎng)側(cè)的氣壓控制獎(jiǎng)勵(lì);a1,a2,a3,a4為電網(wǎng)側(cè)頻率控制獎(jiǎng)勵(lì)的參數(shù);b1,b2,b3,b4為天然氣網(wǎng)側(cè)氣壓控制獎(jiǎng)勵(lì)的參數(shù)。
為完成智能體的預(yù)學(xué)習(xí)階段的目標(biāo),本文設(shè)置了不同幅值、不同類型函數(shù)所疊加而成的擾動(dòng)函數(shù)、天然氣管網(wǎng)節(jié)點(diǎn)氣壓函數(shù)及柔性負(fù)荷輸出功率邊界函數(shù),同時(shí)將Q 學(xué)習(xí)算法的訓(xùn)練過(guò)程作為對(duì)照組。SAC 算法與Q 學(xué)習(xí)算法的具體收斂效果如圖8所示。由圖8 可知,SAC 智能控制器的收斂特性處于較高水平,相比于Q 學(xué)習(xí)算法,能夠更順利地進(jìn)行電-氣耦合系統(tǒng)在不同場(chǎng)景下的穩(wěn)定控制。
圖8 預(yù)訓(xùn)練過(guò)程Fig.8 Pre-training process
本節(jié)設(shè)置了由風(fēng)電擾動(dòng)與負(fù)荷階躍擾動(dòng)組合形成的復(fù)雜擾動(dòng)如圖9 所示。其中,ΔP為擾動(dòng)功率量,并將其輸入到電-氣耦合系統(tǒng)中以驗(yàn)證所提出的控制策略的運(yùn)行效果。在SAC 控制器、Fuzzy控制器及PID 控制器的作用下,微電網(wǎng)側(cè)的頻率控制效果如圖10 所示。
圖9 微電網(wǎng)系統(tǒng)受到的強(qiáng)隨機(jī)擾動(dòng)Fig.9 Strong random disturbances experienced by the microgrid system
圖10 微電網(wǎng)的負(fù)載頻率波動(dòng)情況Fig.10 Frequency fluctuation of microgrid under disturbance
由圖10 可知,在圖9 所示的組合擾動(dòng)下,基于SAC 算法的負(fù)載頻率控制器具有最好的控制效果:頻率波動(dòng)幅度小,頻率最大波動(dòng)值在0.03 Hz 范圍內(nèi),大部分時(shí)間的頻率波動(dòng)接近于0。而在傳統(tǒng)PID 與Fuzzy 控制方法下,頻率波動(dòng)的最大值達(dá)到0.116 8 Hz與0.082 39 Hz,控制效果遠(yuǎn)低于SAC 控制器。
天然氣管網(wǎng)的負(fù)荷流量波動(dòng)會(huì)導(dǎo)致管道與負(fù)荷交接位置的氣壓偏差,引起管道進(jìn)出口的氣壓差變化。當(dāng)設(shè)備檢測(cè)到天然氣節(jié)點(diǎn)氣壓波動(dòng)時(shí),MT和P2G 設(shè)備會(huì)參與氣壓控制。在這種情況下,相關(guān)設(shè)備運(yùn)行在電定氣模式,因此無(wú)法對(duì)微電網(wǎng)的負(fù)載頻率進(jìn)行控制,即對(duì)于電網(wǎng)側(cè)而言,MT 與P2G 將被視作擾動(dòng)源,與風(fēng)電擾動(dòng)和負(fù)荷擾動(dòng)疊加形成組合擾動(dòng)??杉僭O(shè):當(dāng)t=0 s 時(shí)天然氣管網(wǎng)正常穩(wěn)定運(yùn)行;當(dāng)t=20 s 時(shí),系統(tǒng)中管道的天然氣流量從20 g/s下降到10 g/s,經(jīng)過(guò)單位轉(zhuǎn)換為從0.027 88 m3/s 降低到0.013 39 m3/s,如圖11 所示。
圖11 天然氣管道流量變化Fig.11 Variation of natural gas pipeline flow
MT 和P2G 設(shè)備在SAC 控制器管控下的輸出功率變化如圖12 所示。
圖12 MT和P2G設(shè)備的功率輸出增量變化Fig.12 Power output increment variation of MT and P2G equipment
在PID,F(xiàn)uzzy 和SAC 控制器管控下的天然氣網(wǎng)絡(luò)氣壓波動(dòng)如圖13 所示。不同控制器會(huì)對(duì)系統(tǒng)進(jìn)行協(xié)調(diào)控制,其具體的頻率控制效果如表1所示。
表1 場(chǎng)景2下系統(tǒng)的頻率控制效果Table 1 Frequency control effect of the system in case 2
圖13 天然氣網(wǎng)絡(luò)壓力變化Fig.13 Variation of natural gas network pressure
由圖13 與表1 可見(jiàn)知,若系統(tǒng)不采取控制手段,天然氣管網(wǎng)的氣壓出現(xiàn)明顯上升,將影響系統(tǒng)正常安全穩(wěn)定運(yùn)行。PID 控制器能夠?qū)鈮翰▌?dòng)進(jìn)行控制,但是其控制速度較慢;而Fuzzy 控制器雖然能夠快速響應(yīng),但是其控制明顯過(guò)度,在時(shí)間達(dá)到400 s 時(shí)出現(xiàn)氣壓低于標(biāo)準(zhǔn)值的情況,從而導(dǎo)致當(dāng)時(shí)間達(dá)到700 s 時(shí),天然氣管網(wǎng)的氣壓出現(xiàn)回彈上升。而SAC 控制器依然能夠保持極高水平的控制效果,頻率偏差極小,最大偏差值可控制在0.03 Hz范圍內(nèi),大部分時(shí)間下的頻率偏差接近于0;同時(shí)可保證氣壓偏差快速恢復(fù)到0。因此,SAC 控制器可以協(xié)調(diào)電網(wǎng)側(cè)的頻率恢復(fù)和天然氣網(wǎng)側(cè)的氣壓調(diào)節(jié),相比于傳統(tǒng)控制方法,具有更為優(yōu)越的動(dòng)態(tài)控制特性。
本文提出了1 種基于SAC 算法的含柔性負(fù)荷的電-氣互聯(lián)系統(tǒng)的頻率與氣壓協(xié)調(diào)控制策略,可保證電-氣耦合系統(tǒng)在受到電力負(fù)荷擾動(dòng)與天然氣負(fù)荷擾動(dòng)時(shí)的系統(tǒng)穩(wěn)定。具體結(jié)論如下:
1)在模型上,計(jì)及微電網(wǎng)與天然氣網(wǎng)絡(luò)之間的交互特性,構(gòu)建了以MT 和P2G 設(shè)備為耦合裝置的電-氣耦合系統(tǒng)。
2)所設(shè)計(jì)的SAC 控制器與傳統(tǒng)控制器相比,具有在線學(xué)習(xí)和經(jīng)驗(yàn)回放能力,能夠更好地應(yīng)對(duì)電網(wǎng)側(cè)的隨機(jī)擾動(dòng),控制效果優(yōu)于傳統(tǒng)控制器。
3)當(dāng)天然氣管網(wǎng)的節(jié)點(diǎn)氣壓發(fā)生變化時(shí),SAC控制器能夠確保微電網(wǎng)的最大頻率偏差控制在0.03 Hz 以內(nèi),并迅速使節(jié)點(diǎn)氣壓偏差恢復(fù)至0附近。