范晶晶

摘要：針對(duì)直流輸電系統(tǒng)中換相失敗問(wèn)題，在控制系統(tǒng)中引入強(qiáng)化學(xué)習(xí)算法，在故障發(fā)生時(shí)通過(guò)實(shí)時(shí)采集逆變側(cè)電氣量，動(dòng)態(tài)調(diào)整整流側(cè)的電流參考值，通過(guò)與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，從而抑制連續(xù)換相失敗問(wèn)題，在故障消失后系統(tǒng)能盡快恢復(fù)穩(wěn)定運(yùn)行。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)采用基于強(qiáng)化學(xué)習(xí)的換相失敗抑制策略比沒(méi)有采用該策略的故障恢復(fù)效果要好。

關(guān)鍵詞：強(qiáng)化學(xué)習(xí);動(dòng)態(tài)調(diào)整;換相失敗

中圖分類(lèi)號(hào)： TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：1009-3044（2020）36-0150-03

Abstract： Aiming at the problem of commutation failure in the DC transmission system， a reinforcement learning algorithm is introduced into the control system. When a fault occurs， the inverter side electrical quantity is collected in real time， and the current reference value of the rectifier side is dynamically adjusted. Suppressing the increase of DC line current facilitates the extinguishment of the arc on the inverter side， thereby suppressing the problem of continuous commutation failure， and the system can resume stable operation as soon as possible after the fault disappears. The experimental results show that the system adopts the commutation failure suppression strategy based on reinforcement learning better than the failure recovery effect without adopting this strategy.

Key words： reinforcement learning; dynamic adjustment; commutation failure

1 引言

隨著我國(guó)社會(huì)經(jīng)濟(jì)的飛速發(fā)展，直流輸電以大容量、低損耗的獨(dú)特優(yōu)勢(shì)，逐步參與到大電網(wǎng)的建設(shè)上來(lái)[1]。于是，建設(shè)特高壓、遠(yuǎn)距離的交直流混聯(lián)輸電系統(tǒng)成為必然趨勢(shì)。然而，直流系統(tǒng)的運(yùn)行過(guò)程中會(huì)出現(xiàn)一系列的故障，其中直流系統(tǒng)的換相失敗問(wèn)題最為嚴(yán)重[2]。

LCC-HVDC換流器具有兩種方式實(shí)現(xiàn)對(duì)換流站換流閥的觸發(fā)，分別為分相觸發(fā)和等間隔觸發(fā)[3]，換流站在運(yùn)行過(guò)程中，如果觸發(fā)脈沖丟失故障發(fā)生，逆變器便會(huì)發(fā)生換相失敗問(wèn)題，歸根結(jié)底，逆變器換相失敗發(fā)生的根本原因是其換流閥關(guān)斷角小于換相失敗發(fā)生時(shí)的臨界關(guān)斷角，在換相失敗發(fā)生時(shí)，換流閥關(guān)斷角接近于0。

針對(duì)換相失敗問(wèn)題，相關(guān)文獻(xiàn)提出通過(guò)投入無(wú)功補(bǔ)償裝置維持受端交流電壓穩(wěn)定，當(dāng)受端交流系統(tǒng)發(fā)生故障后，交流電壓迅速跌落，無(wú)功補(bǔ)償不足，可采用靜止無(wú)功補(bǔ)償裝置的投入，抬高跌落的交流電壓 [4]。另外，有文獻(xiàn)提出可通過(guò)調(diào)整直流線路平波電抗器的數(shù)值來(lái)抑制換相失敗，在換相過(guò)程無(wú)法正常完成，直流系統(tǒng)的電容器會(huì)釋放電流，導(dǎo)致直流線路直流電流的迅速增大，如果此時(shí)增大直流線路平波電抗器的數(shù)值，可以有效抑制直流電流的增大。在直流系統(tǒng)的控制方面，相關(guān)文獻(xiàn)[5]提出通過(guò)控制系統(tǒng)增發(fā)觸發(fā)脈沖來(lái)緩解換相失敗帶來(lái)的危害，但當(dāng)受端交流系統(tǒng)為弱交流系統(tǒng)時(shí)，逆變站換流閥很有可能出現(xiàn)連續(xù)換相失敗問(wèn)題，此時(shí)再進(jìn)行觸發(fā)脈沖的調(diào)整，將會(huì)進(jìn)一步增加系統(tǒng)擾動(dòng)。也有文獻(xiàn)提出將觸發(fā)超前角[β]和關(guān)斷角[γ]的整定值提高，增大觸發(fā)超前角將有利于預(yù)防換相失敗的發(fā)生，然而增大觸發(fā)超前角將造成換流站吸收的無(wú)功功率增加，導(dǎo)致有功功率的傳輸效率降低，影響了整個(gè)直流系統(tǒng)運(yùn)行的經(jīng)濟(jì)型[6]。

本文通過(guò)引入強(qiáng)化學(xué)習(xí)整流側(cè)參考電流動(dòng)態(tài)調(diào)整模塊，在故障發(fā)生時(shí)，通過(guò)實(shí)時(shí)采集逆變側(cè)電氣量，動(dòng)態(tài)調(diào)整整流側(cè)的電流參考值，同時(shí)與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，抑制連續(xù)換相失敗問(wèn)題，從而在故障消失后系統(tǒng)能盡快恢復(fù)穩(wěn)定運(yùn)行。

2 相關(guān)理論

2.1 強(qiáng)化學(xué)習(xí)

在強(qiáng)化學(xué)習(xí)中[7，8]，一個(gè)智能體（Agent）在不同時(shí)間步與環(huán)境交互盡可能得到累積最大獎(jiǎng)賞。強(qiáng)化學(xué)習(xí)問(wèn)題可以以一個(gè)五元組的形式[]建模成一個(gè)馬爾可夫決策過(guò)程（Markov Decision Process，MDP）。其中，[S]表示狀態(tài)空間，[A]表示動(dòng)作空間，[P：S×A×S→0，1]表示概率轉(zhuǎn)移函數(shù)，[R：S×R→r∈R]獎(jiǎng)賞函數(shù)，[γ∈（0，1）]是折扣因子。Agent的目標(biāo)是通過(guò)學(xué)習(xí)到一個(gè)最優(yōu)策略從而最大化累積折扣獎(jiǎng)賞的期望值，通常用累積折扣獎(jiǎng)賞來(lái)定義[t]時(shí)刻的狀態(tài)回報(bào)，即：

尋找出最優(yōu)策略是強(qiáng)化學(xué)習(xí)的關(guān)鍵，并在該策略基礎(chǔ)上進(jìn)行決策。在強(qiáng)化學(xué)習(xí)中，策略為[π]，[π（s，a）]是指在狀態(tài)[s]下選擇動(dòng)作[a]的概率。如果策略[π]是一個(gè)確定的策略，在任意狀態(tài)[s∈S]，[π（s）]表示在狀態(tài)[s]下所選擇的動(dòng)作[a]。

強(qiáng)化學(xué)習(xí)中用來(lái)評(píng)估策略[π]的好壞的是值函數(shù)，由狀態(tài)值函數(shù)[Vπ]、動(dòng)作值函數(shù)[Qπ]組成，[Vπ（s）]表示在狀態(tài)[s]下，根據(jù)策略[π]得到的期望回報(bào)，[Qπ（s）]表示在狀態(tài)[s]下，選擇動(dòng)作[a]并根據(jù)策略[π]得到的期望回報(bào)。通常用[Qπ（s）]來(lái)評(píng)估策略[π]的好壞。

公式（2）為Bellman方程。

強(qiáng)化學(xué)習(xí)中[π*]表示最優(yōu)策略，該策略能最大化獎(jiǎng)賞函數(shù)，對(duì)應(yīng)的[Q*（s，a）]可以表示為：

公式（3）為最優(yōu)Bellman方程。

2.2 換相失敗機(jī)理

正常情況下兩個(gè)橋臂可以正常換相，但當(dāng)發(fā)生故障后，其中一個(gè)橋臂的換流閥未能及時(shí)換相成功卻又收到了反向電壓的作用，這種情形被定義為換相失敗。對(duì)于逆變側(cè)受端交流系統(tǒng)發(fā)生故障而導(dǎo)致的直流系統(tǒng)換相失敗問(wèn)題，有文獻(xiàn)指出：逆變側(cè)受端交流系統(tǒng)故障導(dǎo)致?lián)Q相支撐電壓跌落，使得換相電壓作用逆變器的時(shí)間面積變小，而引起逆變器的關(guān)斷角小于換相失敗發(fā)生時(shí)的臨界關(guān)斷角，這是直流系統(tǒng)逆變器發(fā)生換相失敗的根本原因[9]。

相關(guān)文獻(xiàn)研究表明[10]，逆變系統(tǒng)關(guān)斷角[γ]與換流變壓器變比k、逆變側(cè)直流電流Id、逆變系統(tǒng)等效換相電抗Xc、逆變側(cè)交流母線電壓有效值UL、觸發(fā)超前角β的相互關(guān)系為：

直流輸電系統(tǒng)運(yùn)行中逆變側(cè)交流系統(tǒng)故障情況下，直流電流會(huì)發(fā)生不平穩(wěn)變化，然而根據(jù)換相過(guò)程分析，逆變器換相過(guò)程中直流電流的變化不應(yīng)被忽略。為此，本文計(jì)及考慮逆變側(cè)交流系統(tǒng)故障時(shí)，直流輸電系統(tǒng)逆變側(cè)直流電流變化。

以逆變器運(yùn)行關(guān)斷角[γ]大小定義逆變器換相過(guò)程，當(dāng)換相結(jié)束即

從上式可以看出，逆變系統(tǒng)換相成功與否與逆變器觸發(fā)延遲角[α]、換相電壓幅值及換相起止時(shí)刻的直流電流大小有關(guān)。

據(jù)此分析，逆變側(cè)交流系統(tǒng)故障造成流過(guò)逆變器的直流電流增大、交流系統(tǒng)母線電壓下降時(shí)，其直流電流控制則可貫穿整個(gè)換相過(guò)程始終，在逆變系統(tǒng)故障運(yùn)行時(shí)可增強(qiáng)LCC-HVDC逆變站控制系統(tǒng)對(duì)其換相過(guò)程的控制。因此，可通過(guò)直流電流控制，充分降低逆變器發(fā)生換相失敗的概率。

2.3 強(qiáng)化學(xué)習(xí)算法在直流控制系統(tǒng)中的應(yīng)用

低壓限流環(huán)節(jié)在LCC-HVDC的作用異常重要，具有左右交流系統(tǒng)故障時(shí)直流電壓、電流沖擊大小及故障后直流功率恢復(fù)速度等，其曲線設(shè)定與具體系統(tǒng)的特性關(guān)系密切，因此，為了不致改變VDCOL對(duì)原系統(tǒng)運(yùn)行特性的影響作用，直流電流整定值[Ido_rec]取VDCOL與直流電流預(yù)測(cè)控制整定值[Id_PREV]之間的較小值，實(shí)施方案以對(duì)CIGRE HVDC輸電系統(tǒng)控制系統(tǒng)的改進(jìn)為例，如下圖所示。

直流電流預(yù)測(cè)值[Id_PREV]表達(dá)式如下所示：

其中CF表示為直流控制系統(tǒng)通過(guò)關(guān)斷角來(lái)判斷逆變器是否可能發(fā)生換相失?。ㄊ菫?，否為0）。[Id_NOR]是為發(fā)生換相失敗時(shí)系統(tǒng)正常運(yùn)行狀態(tài)下的整流側(cè)直流電流參考值。

[Id_PREVC]是換相失敗發(fā)生后通過(guò)強(qiáng)化學(xué)習(xí)動(dòng)態(tài)跟蹤系統(tǒng)而得到的整流側(cè)直流電流參考值。強(qiáng)化學(xué)習(xí)模塊包括采集測(cè)量模塊、強(qiáng)化學(xué)習(xí)數(shù)據(jù)處理模塊、參考電流輸出模塊。采集測(cè)量模塊主要用來(lái)采集逆變側(cè)的狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)主要包括逆變側(cè)交流系統(tǒng)母線電壓有效值以及直流系統(tǒng)逆變側(cè)直流電流值。強(qiáng)化學(xué)習(xí)數(shù)據(jù)處理模塊與所述采集測(cè)量模塊相連，以獲取所述數(shù)據(jù)采集模塊的狀態(tài)數(shù)據(jù)。其中，數(shù)據(jù)處理模塊包括數(shù)據(jù)存儲(chǔ)庫(kù)和Q-學(xué)習(xí)算法模型，Q-學(xué)習(xí)算法模型利用獲取的狀態(tài)數(shù)據(jù)對(duì)逆變側(cè)直流電流的狀態(tài)數(shù)據(jù)進(jìn)行預(yù)測(cè)，選擇最佳的動(dòng)作，即動(dòng)態(tài)調(diào)整整流側(cè)的參考值。例如在逆變側(cè)電流變大時(shí)，通過(guò)降低整流側(cè)直流電流參考值來(lái)動(dòng)態(tài)調(diào)整直流線路上的電流，從而起到抑制逆變側(cè)直流電流升高作用，利于逆變器熄弧，在故障發(fā)生期間可抑制連續(xù)換相失敗問(wèn)題，減小故障對(duì)系統(tǒng)造成的危害。其中，動(dòng)態(tài)整流側(cè)參考值[Id_PREVC]為動(dòng)作Action提供選擇區(qū)間，根據(jù)低壓限流的歷史數(shù)據(jù)，區(qū)間下限選取得比低壓限流值中的電流參考值要小一些，本文中的[Id_PREVC]的選擇區(qū)間為[0.5，1.0]。由于整流側(cè)電流參考值[Id_PREVC]的動(dòng)態(tài)跟蹤作用，會(huì)有效抑制直流電流在故障時(shí)的增大，同時(shí)動(dòng)態(tài)得到一個(gè)關(guān)斷角實(shí)測(cè)值。直流系統(tǒng)換相失敗發(fā)生判斷的標(biāo)準(zhǔn)便是關(guān)斷角小于臨界關(guān)斷角的值，這個(gè)值接近于0，正常運(yùn)行狀態(tài)下的關(guān)斷角約為18°，當(dāng)系統(tǒng)關(guān)斷角實(shí)測(cè)值在故障期間離目標(biāo)值18°的誤差綜合最小，那便是最優(yōu)的動(dòng)作情況，這種最優(yōu)動(dòng)作情況即是整流側(cè)直流電流參考值[Id_PREVC]的數(shù)據(jù)選擇過(guò)程。實(shí)測(cè)值關(guān)斷角[γ]和目標(biāo)值關(guān)斷角[γobj]之間的誤差為：[E=γ-γobj]，那么設(shè)模型中的獎(jiǎng)賞為一個(gè)負(fù)值的變量。

如公式7所示：

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

為了驗(yàn)證強(qiáng)化學(xué)習(xí)算法模塊在抑制直流系統(tǒng)故障發(fā)生換相失敗的有效性，以下實(shí)驗(yàn)的直流系統(tǒng)選自PSCAD仿真軟件中自有算例CIGRE標(biāo)準(zhǔn)直流輸電系統(tǒng)，系統(tǒng)模型及數(shù)據(jù)如下所示，圖及表中所有值的單位為[Ω]、H或mF。

強(qiáng)化學(xué)習(xí)的狀態(tài)數(shù)據(jù)來(lái)自沒(méi)有加入強(qiáng)化學(xué)習(xí)換相失敗預(yù)測(cè)模塊前的歷史仿真數(shù)據(jù)。仿真數(shù)據(jù)包括單相故障時(shí)的數(shù)據(jù)以及三相故障時(shí)的數(shù)據(jù)，如表2和表3所示，數(shù)據(jù)集中包括逆變側(cè)直流電流值[Id_inv]、逆變側(cè)交流電壓有效值[VAC_inv]。強(qiáng)化學(xué)習(xí)算法程序基于matlab編程環(huán)境，模型中的學(xué)習(xí)速率為0.4，折扣率因子為0.99。仿真過(guò)程是基于matlab和PSCAD的聯(lián)合仿真，在測(cè)試算法時(shí)建立了PSCAD和MATLAB之間的接口模塊，采集到的實(shí)時(shí)狀態(tài)數(shù)據(jù)經(jīng)過(guò)算法處理，返回系統(tǒng)最佳動(dòng)作值，從而有效抑制故障發(fā)生后的連續(xù)換相失敗。

3.2 實(shí)驗(yàn)結(jié)果分析

本文仿真測(cè)試分別以受端交流系統(tǒng)三相短路和單相接地故障為典型。不同類(lèi)型故障設(shè)置于逆變側(cè)交流系統(tǒng)母線處，故障持續(xù)時(shí)間均為0.05s，仿真測(cè)試中所的Lf為故障電抗。

（1）逆變側(cè)交流母線單相故障

下圖為逆變側(cè)交流系統(tǒng)母線單相接地故障開(kāi)始時(shí)刻6.000s、故障電抗0.55H情況下，未加入強(qiáng)化學(xué)習(xí)算法與加入所提算法下逆變系統(tǒng)逆變側(cè)電氣量的對(duì)比圖，[VAC_inv]受端電力系統(tǒng)的交流母線電壓有效值、[Id_inv]為L(zhǎng)CC-HVDC逆變側(cè)直流電流、[Δαinv_PREV]為系統(tǒng)面對(duì)故障自適應(yīng)調(diào)節(jié)的觸發(fā)延遲角提前值，以及[Id_PREV]為強(qiáng)化學(xué)習(xí)算法輸出的整流側(cè)直流電流動(dòng)態(tài)參考值。

從圖3可以看出，相對(duì)于未引入算法的系統(tǒng)控制效果，引入強(qiáng)化學(xué)習(xí)算法可以及時(shí)抑制受端交流系統(tǒng)故障情況下LCC-HVDC直流電流的短時(shí)上升、逆變側(cè)交流母線電壓的進(jìn)一步下降，從而更為有效地降低逆變器換相失敗發(fā)生的概率，而且從仿真曲線可以看出引入強(qiáng)化學(xué)習(xí)模塊后對(duì)并網(wǎng)系統(tǒng)故障后直流輸電系統(tǒng)恢復(fù)的快速性和有效性上也有一定提高。

（2）逆變側(cè)交流母線三相故障

圖4為未引入強(qiáng)化學(xué)習(xí)算法與引入算法兩種情形下逆變器發(fā)生換相失?。ü收蠒r(shí)刻6.000s，故障電抗1.14H）時(shí)相應(yīng)的[VAC_inv]、[Id_inv]、[Δαinv_PREV]及[Id_PREV]波形。由圖中波形可以看出，引入算法后在逆變側(cè)交流系統(tǒng)三相故障情況下，對(duì)逆變器換相失敗的抑制和故障后直流系統(tǒng)的快速恢復(fù)均有效果。

4 結(jié)束語(yǔ)

本文針對(duì)直流輸電系統(tǒng)中換相失敗問(wèn)題，引入強(qiáng)化學(xué)習(xí)算法模塊，在故障發(fā)生時(shí)通過(guò)實(shí)時(shí)采集逆變側(cè)電氣量，動(dòng)態(tài)調(diào)整整流側(cè)的電流參考值，通過(guò)與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，抑制連續(xù)換相失敗問(wèn)題。實(shí)驗(yàn)結(jié)果表明，引入強(qiáng)化學(xué)習(xí)算法后，直流輸電控制系統(tǒng)在抑制換相失敗方面有較好的效果。

參考文獻(xiàn)：

[1] 韓民曉，文俊，徐永海.高壓直流輸電原理與運(yùn)行[M].2版.北京：機(jī)械工業(yè)出版社，2013.

[2] 張文峰. 交直流混聯(lián)受端電網(wǎng)故障特性變異分析[M]. 北京： 中國(guó)電力出版社， 2015

[3] 黃玉東.高壓直流輸電換相失敗的研究[D].北京：華北電力大學(xué)，2006.

[4] 陳樹(shù)勇，李新年，余軍，等.基于正余弦分量檢測(cè)的高壓直流換相失敗預(yù)防方法[J].中國(guó)電機(jī)工程學(xué)報(bào)，2005，25（14）：1-6.

[5] 王智冬.交流系統(tǒng)故障對(duì)特高壓直流輸電換相失敗的影響[J].電力自動(dòng)化設(shè)備，2009，29（5）：25-29，38.

[6] Tamai S，Naitoh H，Ishiguro F，et al.Fast and predictive HVDC extinction angle control[J].IEEE Transactions on Power Systems，1997，12（3）：1268-1275.

[7] Sutton R S，A G.Reinforcement learning：an introduction[J].IEEE Transactions on Neural Networks，1998，9（5）：1054.

[8] 劉全，翟建偉，章宗長(zhǎng)，等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（1）：1-27.

[9] 王鋼，李志鏗，黃敏，等.HVDC輸電系統(tǒng)換相失敗的故障合閘角影響機(jī)理[J].電力系統(tǒng)自動(dòng)化，2010，34（4）：49-54，102.

[10] Sun Y Z，Peng L，Ma F，et al.Design a fuzzy controller to minimize the effect of HVDC commutation failure on power system[J].IEEE Transactions on Power Systems，2008，23（1）：100-107.

【通聯(lián)編輯：梁書(shū)】