孫潤稼, 劉玉田

(電網(wǎng)智能化調(diào)度與控制教育部重點(diǎn)實(shí)驗(yàn)室(山東大學(xué)), 山東省濟(jì)南市 250061)

0 引言

大停電后,機(jī)組恢復(fù)是整個(gè)電力系統(tǒng)恢復(fù)的基礎(chǔ)和保障,機(jī)組的快速恢復(fù)能夠加快系統(tǒng)恢復(fù)進(jìn)程,縮短負(fù)荷停電時(shí)間[1]。機(jī)組恢復(fù)過程中,調(diào)度員通過選取所需投入的輸電線路建立從黑啟動(dòng)電源向重要非黑啟動(dòng)機(jī)組的供電路徑,實(shí)現(xiàn)機(jī)組的逐臺(tái)恢復(fù)[2]。合理的機(jī)組恢復(fù)策略對于調(diào)度員具有很大的指導(dǎo)作用,能夠有效提高恢復(fù)效率。在系統(tǒng)恢復(fù)初期,由于停電區(qū)域和停電原因等的不確定性,電力系統(tǒng)的初始網(wǎng)架形態(tài)難以預(yù)測[3]?；謴?fù)過程中,受環(huán)境因素和人為因素等的影響,輸電線路的恢復(fù)時(shí)間和可用性也可能與預(yù)想不符[4]。因此,機(jī)組恢復(fù)策略需要根據(jù)電力系統(tǒng)恢復(fù)情況,考慮恢復(fù)過程中的不確定性,實(shí)時(shí)決策所需采取的恢復(fù)措施。

國內(nèi)外許多學(xué)者采用不同的思路,對于機(jī)組恢復(fù)優(yōu)化決策問題進(jìn)行了大量研究。在早期,將基于知識(shí)庫的專家系統(tǒng)用于電力系統(tǒng)恢復(fù)中[5],但對于大規(guī)模電力系統(tǒng)難以建立一個(gè)完美的知識(shí)庫。作為專家系統(tǒng)的擴(kuò)展,在電力系統(tǒng)恢復(fù)中引入了決策支持系統(tǒng)[6],該方法可以對備選恢復(fù)方案進(jìn)行排序,但難以獲得足夠多的備選方案。為了獲得最優(yōu)的機(jī)組恢復(fù)方案,一些優(yōu)化算法被引入機(jī)組恢復(fù)中。文獻(xiàn)[7]以一段時(shí)間內(nèi)機(jī)組發(fā)電能力最大化為目標(biāo),采用回溯算法進(jìn)行求解。文獻(xiàn)[8]采用同樣的目標(biāo)函數(shù),并將機(jī)組恢復(fù)問題轉(zhuǎn)化為混合整數(shù)線性規(guī)劃問題進(jìn)行求解。文獻(xiàn)[9]應(yīng)用網(wǎng)絡(luò)流理論建立停電路徑混合整數(shù)線性優(yōu)化模型求解最優(yōu)恢復(fù)路徑。為了同時(shí)考慮機(jī)組恢復(fù)的多個(gè)方面,各種多目標(biāo)優(yōu)化方法也在機(jī)組恢復(fù)中有所應(yīng)用。文獻(xiàn)[10]提出一種針對電力系統(tǒng)恢復(fù)的加權(quán)優(yōu)化權(quán)重決定方法。文獻(xiàn)[11]提出兼顧功率支持和恢復(fù)安全裕度的擴(kuò)展黑啟動(dòng)方案多目標(biāo)優(yōu)化方法。文獻(xiàn)[12]采用非支配排序遺傳算法優(yōu)化網(wǎng)架重構(gòu)問題,同時(shí)考慮了機(jī)組啟動(dòng)、系統(tǒng)分區(qū)與網(wǎng)架恢復(fù)。以上研究均為離線優(yōu)化方法,即根據(jù)預(yù)設(shè)的停電場景和預(yù)想恢復(fù)過程制定整體恢復(fù)方案。實(shí)際的恢復(fù)過程中,當(dāng)停電后系統(tǒng)的狀態(tài)與預(yù)設(shè)場景不一致或恢復(fù)過程與預(yù)想過程不相符時(shí),事前制定的方案雖然可以給調(diào)度運(yùn)行人員一定的指導(dǎo),但可能無法直接用于實(shí)際恢復(fù)過程,影響機(jī)組恢復(fù)進(jìn)程。

本文采用深度學(xué)習(xí)和蒙特卡洛樹搜索(Monte Carlo tree search,MCTS),提出一種機(jī)組恢復(fù)在線決策方法,以應(yīng)對大停電后電力系統(tǒng)初始狀態(tài)和恢復(fù)過程中線路恢復(fù)狀況的不確定性。提出一種訓(xùn)練集生成方法,引入稀疏自動(dòng)編碼器(sparse autoencoder,SAE)對訓(xùn)練集進(jìn)行深度學(xué)習(xí),建立估值網(wǎng)絡(luò);考慮機(jī)組恢復(fù)問題的特點(diǎn),將改進(jìn)的上限置信區(qū)間(upper confidence bound apply to tree,UCT)算法和支路修剪技術(shù)應(yīng)用于MCTS,利用估值網(wǎng)絡(luò)進(jìn)行機(jī)組恢復(fù)的MCTS;結(jié)合多次并行MCTS的搜索結(jié)果,以加權(quán)機(jī)組發(fā)電能力作為決策函數(shù)決定下一步機(jī)組恢復(fù)措施。

1 問題描述

1.1 在線決策策略

完整的機(jī)組恢復(fù)方案包含待啟動(dòng)機(jī)組的恢復(fù)順序以及相應(yīng)的恢復(fù)路徑。在實(shí)際恢復(fù)中,通過黑啟動(dòng)電源逐漸充電各條輸電線路,構(gòu)建從黑啟動(dòng)電源向待恢復(fù)機(jī)組的恢復(fù)路徑以啟動(dòng)待恢復(fù)機(jī)組。當(dāng)待啟動(dòng)機(jī)組已有輸電通道向其傳送啟動(dòng)功率時(shí),其將開始啟動(dòng)。機(jī)組恢復(fù)在線決策的目的是利用當(dāng)前時(shí)刻的信息,根據(jù)系統(tǒng)狀態(tài),實(shí)時(shí)決策下一步將要投入的線路,構(gòu)建向待啟動(dòng)機(jī)組的恢復(fù)路徑。為實(shí)現(xiàn)機(jī)組恢復(fù)的在線決策,采用一種“更新—搜索—實(shí)施”的滾動(dòng)優(yōu)化策略。首先,根據(jù)通信系統(tǒng)最新數(shù)據(jù),對網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行修改,判斷當(dāng)前時(shí)刻的機(jī)組恢復(fù)狀態(tài);其次,根據(jù)系統(tǒng)狀態(tài),搜索下一步將要投入的恢復(fù)線路,這也是本文的研究重點(diǎn);最后,調(diào)度員根據(jù)搜索結(jié)果,完成對于線路投入的具體操作。

實(shí)際應(yīng)用中,為節(jié)省時(shí)間,在前一條線路恢復(fù)的同時(shí),對機(jī)組恢復(fù)狀態(tài)進(jìn)行更新,并搜索下一步將要恢復(fù)的線路。需要注意的是,大停電后,機(jī)組恢復(fù)在線決策需要可靠的通信保障,正確的數(shù)據(jù)是有效決策的關(guān)鍵。通信技術(shù)及電池技術(shù)的發(fā)展為通信系統(tǒng)的可靠工作提供了保證,本文假設(shè)停電后通信系統(tǒng)依然能夠?yàn)闄C(jī)組恢復(fù)在線決策提供實(shí)時(shí)數(shù)據(jù)。

1.2 機(jī)組恢復(fù)模型

1)決策指標(biāo)

為加快系統(tǒng)恢復(fù)進(jìn)程、縮短負(fù)荷停電時(shí)間,在恢復(fù)機(jī)組時(shí),應(yīng)優(yōu)先選擇啟動(dòng)時(shí)間短、爬坡速度快和容量大的機(jī)組。一定時(shí)間內(nèi)機(jī)組的發(fā)電能力綜合了這幾方面的因素,因此,其常用于機(jī)組恢復(fù)優(yōu)化的評(píng)價(jià)[13],將其選為決策指標(biāo),如下式所示。

(1)

式中:Etotal為所有待恢復(fù)機(jī)組在恢復(fù)時(shí)間T內(nèi)的最大發(fā)電能力;nG為待恢復(fù)機(jī)組數(shù)目;Pi(t)為待恢復(fù)機(jī)組i的出力函數(shù)。

2)約束條件

機(jī)組恢復(fù)過程中,所投入的線路主要包含空載線路和末端連有非黑啟動(dòng)機(jī)組的線路兩類。對于第1類線路,需要進(jìn)行過電壓校驗(yàn),并采取措施,通過投入相應(yīng)的無功調(diào)節(jié)裝置或負(fù)荷來消除線路過電壓;對于第2類線路,除了需要進(jìn)行過電壓校驗(yàn)外,還需要對感應(yīng)電動(dòng)機(jī)投入運(yùn)行給系統(tǒng)電壓和頻率帶來的影響進(jìn)行校驗(yàn)。另外,還需要保證線路潮流不越限。決策過程中所需校驗(yàn)的約束如式(2)所示。

(2)

2 估值網(wǎng)絡(luò)

估值網(wǎng)絡(luò)是訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò),主要用于MCTS中的模擬部分,其目的是根據(jù)機(jī)組恢復(fù)狀態(tài),快速估算決策指標(biāo)的最優(yōu)值。由于電力系統(tǒng)恢復(fù)狀態(tài)在實(shí)際電力系統(tǒng)中極不常見,很難在實(shí)際中找到足夠的樣本用于訓(xùn)練估值網(wǎng)絡(luò)。因此,提出一種訓(xùn)練集的自動(dòng)生成方法,用于生成盡可能覆蓋機(jī)組恢復(fù)過程中各個(gè)狀態(tài)的訓(xùn)練集，并對所生成的訓(xùn)練集采用SAE[14]進(jìn)行機(jī)器學(xué)習(xí),形成估值網(wǎng)絡(luò)。該部分工作是機(jī)組恢復(fù)在線決策前的離線準(zhǔn)備工作,對時(shí)間要求不高。

2.1 訓(xùn)練集的自動(dòng)生成

在機(jī)組恢復(fù)中的某一時(shí)刻,機(jī)組狀態(tài)和線路狀態(tài)可以有效地反映當(dāng)前網(wǎng)絡(luò)的拓?fù)錉顩r。另外,機(jī)組的停機(jī)時(shí)間也直接影響恢復(fù)決策,通常機(jī)組的啟動(dòng)時(shí)間受停機(jī)時(shí)間影響較大,若機(jī)組停機(jī)時(shí)間過長,鍋爐溫度降低,則機(jī)組需要進(jìn)行冷啟動(dòng)。因此,機(jī)組的停機(jī)時(shí)間也是反映機(jī)組恢復(fù)狀態(tài)的重要屬性。采用機(jī)組狀態(tài)、線路狀態(tài)、機(jī)組停機(jī)時(shí)間代表機(jī)組恢復(fù)過程中某一時(shí)刻的恢復(fù)狀態(tài),任一恢復(fù)狀態(tài)代表訓(xùn)練集的一個(gè)樣本,整合所有樣本形成訓(xùn)練集。具體的訓(xùn)練集生成方法見附錄A。

所提訓(xùn)練集生成方法僅產(chǎn)生了包含多個(gè)樣本的訓(xùn)練集,但每一樣本并無標(biāo)簽。采用粒子群優(yōu)化(PSO)算法[15]根據(jù)每一樣本的機(jī)組恢復(fù)狀態(tài),以1.2節(jié)中所提決策指標(biāo)為優(yōu)化目標(biāo),求得后續(xù)最優(yōu)機(jī)組恢復(fù)方案,并計(jì)算相應(yīng)的決策指標(biāo)值作為樣本標(biāo)簽。

2.2 估值網(wǎng)絡(luò)訓(xùn)練

深度網(wǎng)絡(luò)和深度學(xué)習(xí)的概念被正式提出之后,迅速成為研究的熱點(diǎn)。本文利用所得含標(biāo)簽的訓(xùn)練集,進(jìn)行深度學(xué)習(xí),形成估值網(wǎng)絡(luò)。典型的深度學(xué)習(xí)模型有:卷積神經(jīng)網(wǎng)絡(luò)(CNN)[16]、深度置信網(wǎng)絡(luò)(DBN)[17]和SAE[14]等。其中,CNN適合對于輸入?yún)?shù)較多的樣本進(jìn)行處理,而DBN中包含的受限玻爾茲曼機(jī)主要用于處理二進(jìn)制數(shù)據(jù)。機(jī)組恢復(fù)樣本的輸入?yún)?shù)包括機(jī)組啟停狀態(tài)、線路狀態(tài)及機(jī)組停機(jī)時(shí)間,數(shù)量較少,且機(jī)組停機(jī)時(shí)間為連續(xù)實(shí)數(shù)。因此,CNN和DBN并不適用,本文選取SAE對訓(xùn)練集進(jìn)行訓(xùn)練,構(gòu)建估值網(wǎng)絡(luò)。

SAE是一種深度神經(jīng)網(wǎng)絡(luò),其首先通過無標(biāo)簽數(shù)據(jù)自學(xué)習(xí)的方式對神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練,以提取樣本數(shù)據(jù)的特征,對神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化;然后,采用帶標(biāo)簽的數(shù)據(jù)對已經(jīng)初始化的神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)。區(qū)別于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò),SAE通過自學(xué)習(xí)對神經(jīng)網(wǎng)絡(luò)初始化,使網(wǎng)絡(luò)參數(shù)具有較好的初值,有效防止有監(jiān)督學(xué)習(xí)過程中陷入局部最優(yōu),減小擬合誤差。建立一個(gè)含有3個(gè)隱含層的SAE訓(xùn)練所得樣本,輸入為機(jī)組啟停狀態(tài)、線路狀態(tài)和機(jī)組停機(jī)時(shí)間,輸出為機(jī)組總發(fā)電能力最優(yōu)值。

3 基于MCTS的機(jī)組恢復(fù)在線決策

某一確定狀態(tài)下,機(jī)組恢復(fù)在線決策問題的備選投入線路是確定的,即與已恢復(fù)網(wǎng)架直接相連的線路。MCTS算法十分適用于機(jī)組恢復(fù)在線決策問題。一方面,其可以在任意時(shí)刻停止,并提供決策方案。在機(jī)組恢復(fù)過程中,線路的恢復(fù)時(shí)間可能與預(yù)期不符,選用能夠隨時(shí)終止并提供方案的算法是有必要的。另一方面,MCTS不但保留了最優(yōu)值,而且對各備選方案按收益值進(jìn)行排序,提供了備用措施。采用該算法,在機(jī)組恢復(fù)過程中某條線路恢復(fù)失敗時(shí),可以迅速投入備用線路。因此,選取MCTS算法用于搜索機(jī)組恢復(fù)下一步將要投入的輸電線路。MCTS是一種人工智能問題中做出最優(yōu)決策的算法[18]，其迭代過程主要分為選擇、擴(kuò)展、模擬、回溯4個(gè)步驟，并包含Tree Policy和Default Policy兩種政策,前者用于選擇,而后者用于模擬。

3.1 MCTS在機(jī)組恢復(fù)中的應(yīng)用

1)改進(jìn)的UCT算法

在MCTS算法中,由于模擬所得結(jié)果具有一定的隨機(jī)性,指標(biāo)值最高的措施不一定最優(yōu),需要Tree Policy平衡選擇過程中的探測和利用。探測是指猜想那些有較低估值且采樣較少的節(jié)點(diǎn)可能會(huì)得到更高的收益而優(yōu)先選擇它們;而利用是指繼續(xù)利用當(dāng)前統(tǒng)計(jì)的結(jié)果選擇收益最大的節(jié)點(diǎn)。為有效地選擇和擴(kuò)展,研究者提出了多種Tree Policy方法,其中最受關(guān)注的是UCT算法[19],UCT指標(biāo)的基本公式如式(3)所示。

(3)

式(3)等號(hào)右邊第1項(xiàng)為模擬所得決策指標(biāo)的平均值,而對于機(jī)組恢復(fù)問題來說,往往平均值不能有效反映實(shí)際情況。雖然平均值越大,當(dāng)由于不確定性導(dǎo)致恢復(fù)進(jìn)程與預(yù)期不符時(shí),最終的結(jié)果越穩(wěn)定，但在進(jìn)行MCTS時(shí),模擬中一些較差的結(jié)果往往沒有價(jià)值,因?yàn)榻Y(jié)果較差的機(jī)組恢復(fù)方案在實(shí)際的恢復(fù)過程中被采用的概率極低,而且其對于UCT值有較大影響。為了避免劣質(zhì)模擬結(jié)果的影響,一方面,提出了一種基于估值網(wǎng)絡(luò)的模擬方法用于提升模擬效率,見本節(jié)3);另一方面,提出一種改進(jìn)UCT指標(biāo)用于選擇,如式(4)所示。

(4)

式(4)等號(hào)右邊第1項(xiàng)表示節(jié)點(diǎn)c的收益值,第2項(xiàng)與節(jié)點(diǎn)c被搜索次數(shù)相關(guān)。搜索中,通過不斷選取MUCT指標(biāo)最大值的節(jié)點(diǎn)進(jìn)行搜索或擴(kuò)展。在搜索中的任意時(shí)刻,各節(jié)點(diǎn)的MUCT指標(biāo)相差不大。由式(4)不難看出,備選線路被搜索次數(shù)越多,選取該線路后進(jìn)行機(jī)組恢復(fù)模擬的平均決策指標(biāo)越大,即備選線路被搜索次數(shù)越多,其后續(xù)可能的恢復(fù)進(jìn)程的平均恢復(fù)效果越好。因此,備選線路在整個(gè)搜索過程中的搜索次數(shù)可以有效反映最終的搜索結(jié)果。

2)支路修剪技術(shù)

支路修剪技術(shù)是指通過領(lǐng)域知識(shí)去除一些明顯劣質(zhì)的節(jié)點(diǎn),使搜索更加兼顧一些合理的選擇[20]。在MCTS的擴(kuò)展環(huán)節(jié),利用節(jié)點(diǎn)修剪技術(shù)來減少子節(jié)點(diǎn)的數(shù)目,可以增加算法搜索深度和廣度,提升搜索效率。機(jī)組恢復(fù)時(shí),為了避免不必要的線路投入,往往輸電路徑僅用于連接黑啟動(dòng)電源和待啟動(dòng)機(jī)組?；谝陨蠙C(jī)組恢復(fù)問題的特點(diǎn),支路修剪技術(shù)沿最新節(jié)點(diǎn)反向搜索,尋找各層中具有相同父節(jié)點(diǎn)的各個(gè)節(jié)點(diǎn),并在最新的擴(kuò)展中避免這些狀態(tài)的出現(xiàn),直到有新的機(jī)組接入為止。采用所提支路修剪技術(shù),可以有效避免所形成樹中與實(shí)際機(jī)組恢復(fù)狀況不符的狀態(tài)的出現(xiàn)。以新英格蘭10機(jī)39節(jié)點(diǎn)為例對支路修剪技術(shù)進(jìn)行詳細(xì)說明,見附錄B。

3)基于估值網(wǎng)絡(luò)的模擬

模擬環(huán)節(jié)對于MCTS來說極為重要,合理高效的Default Policy有利于指引正確的搜索方向。對于機(jī)組恢復(fù)問題,模擬的合理性是指在仿真過程中不額外恢復(fù)線路,即所有線路都必須作為機(jī)組恢復(fù)的送電路徑,在模擬過程中通過設(shè)置一定的規(guī)則來保證其合理性;模擬的高效性是指仿真所得結(jié)果盡可能排除劣質(zhì)結(jié)果,因?yàn)榱淤|(zhì)結(jié)果會(huì)使搜索方向偏離。本文采用2.2節(jié)中建立的估值網(wǎng)絡(luò)進(jìn)行機(jī)組恢復(fù)模擬,以提高模擬效率,其流程見附錄C。

區(qū)別于傳統(tǒng)的等概率隨機(jī)模擬方法,在所提基于估值網(wǎng)絡(luò)的模擬過程中,不斷采用估值網(wǎng)絡(luò)根據(jù)系統(tǒng)狀態(tài)對于后續(xù)的最優(yōu)決策指標(biāo)值進(jìn)行快速估算,并提高具有較高決策指標(biāo)值對應(yīng)的備選線路被選中的概率,指引模擬過程。

3.2 算法實(shí)現(xiàn)

為取得更好的計(jì)算效果,充分利用計(jì)算資源,采用并行計(jì)算的方式,同時(shí)運(yùn)行多個(gè)MCTS算法,其單次執(zhí)行的流程如圖1所示。

電力系統(tǒng)中,機(jī)組恢復(fù)往往期望投入的線路越少越好,一方面,可以減少系統(tǒng)需要平衡的無功功率,另一方面也可以減少路徑恢復(fù)時(shí)間,使機(jī)組能夠盡早投入。所需恢復(fù)線路少的機(jī)組恢復(fù)方案應(yīng)具有較大權(quán)重,因此,選取模擬中線路投入數(shù)目的倒數(shù)作為模擬結(jié)果的權(quán)重,對各MCTS中備選方案所有模擬結(jié)果進(jìn)行加權(quán)匯總。基于所提決策指標(biāo),提出加權(quán)機(jī)組發(fā)電能力作為選取下一步恢復(fù)線路的決策依據(jù)。

(5)

4 算例分析

編制了基于深度學(xué)習(xí)和MCTS的機(jī)組恢復(fù)在線決策程序,對新英格蘭10機(jī)39節(jié)點(diǎn)系統(tǒng)和山東西部電網(wǎng)實(shí)際系統(tǒng)進(jìn)行了仿真計(jì)算,部分結(jié)果如下。

4.1 新英格蘭10機(jī)39節(jié)點(diǎn)系統(tǒng)

新英格蘭10機(jī)39節(jié)點(diǎn)系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 新英格蘭10機(jī)39節(jié)點(diǎn)系統(tǒng)Fig.2 New England 10-unit 39-bus power system

假設(shè)系統(tǒng)恢復(fù)過程中各線路恢復(fù)時(shí)間與預(yù)計(jì)恢復(fù)時(shí)間相同,采用所提算法逐步進(jìn)行線路投入決策,形成圖2所示的機(jī)組恢復(fù)方案。圖中,紅色數(shù)字為線路恢復(fù)順序。在恢復(fù)初期,假設(shè)只有33號(hào)機(jī)組并網(wǎng),典型的水輪機(jī)單位負(fù)荷頻率偏差為-5 Hz[3],計(jì)算可得該情況下最大可投入負(fù)荷為65 MW,而所有待啟動(dòng)機(jī)組輔機(jī)功率均不超過65 MW,因此,可以保證輔機(jī)投入不會(huì)引起頻率越限。在初始階段,首先構(gòu)建與初始系統(tǒng)距離較近的35和36號(hào)機(jī)組的恢復(fù)路徑。在接下來的線路選擇時(shí),備選線路包括16-17和15-16,由于相對于31和32號(hào)機(jī)組,37和38號(hào)機(jī)組的熱啟動(dòng)時(shí)間更短,為盡量保證遇到不確定情況時(shí)有更多機(jī)組能夠進(jìn)行熱啟動(dòng),所提算法優(yōu)先選擇恢復(fù)線路16-17,構(gòu)建37和38號(hào)機(jī)組的恢復(fù)路徑。進(jìn)行最后兩步恢復(fù)決策時(shí),由于30號(hào)機(jī)組需要等待一段時(shí)間冷啟動(dòng),無論選擇哪條路徑,方案的決策指標(biāo)值是相同的,但根據(jù)所提加權(quán)機(jī)組發(fā)電能力,選取2-25和2-30作為恢復(fù)路徑,可以減少所需恢復(fù)的輸電線路。將利用新英格蘭10機(jī)39節(jié)點(diǎn)算例進(jìn)一步探討所提機(jī)組恢復(fù)在線決策方法的可行性和有效性,并與傳統(tǒng)的離線制定恢復(fù)方案的方法進(jìn)行比較。

1)可行性分析

基于自生成訓(xùn)練集的估值網(wǎng)和針對機(jī)組恢復(fù)問題的改進(jìn)MCTS算法是實(shí)現(xiàn)機(jī)組恢復(fù)在線決策的關(guān)鍵,將分別就以上兩部分分析所提機(jī)組恢復(fù)在線決策方法的可行性。

①基于自生成訓(xùn)練集的估值網(wǎng)絡(luò)。設(shè)置Lnum為100,Dnum為50,自生成訓(xùn)練集中包含的樣本數(shù)為127萬個(gè),生成大約需要耗時(shí)14 d。另外,SAE的訓(xùn)練時(shí)間為分鐘級(jí)。以上兩部分均為機(jī)組在線恢復(fù)前的離線準(zhǔn)備工作,對時(shí)間的要求不高,可以滿足該時(shí)間要求。在SAE訓(xùn)練前,將樣本中的機(jī)組停機(jī)時(shí)間及標(biāo)簽數(shù)據(jù)歸一化;然后,采用無標(biāo)簽的樣本數(shù)據(jù)進(jìn)行逐層自學(xué)習(xí),三層自動(dòng)編碼器解碼后所得數(shù)據(jù)與輸入數(shù)據(jù)之差平均值分別為4.790 1,0.085 7和0.009 9;最后,采用反向傳播(BP)算法對整個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào),所得結(jié)果與原始數(shù)據(jù)的平均差值為0.000 2左右。可以看出,采用自動(dòng)編碼器進(jìn)行三層自學(xué)習(xí)后,能夠有效提取樣本特征,并為后續(xù)有監(jiān)督學(xué)習(xí)提供較優(yōu)的初值。估值網(wǎng)絡(luò)訓(xùn)練后采用測試集進(jìn)行測試,所得結(jié)果的平均誤差為3.5%左右,而估值網(wǎng)絡(luò)在MCTS模擬階段僅起到引導(dǎo)作用,因此,所得估值網(wǎng)絡(luò)的精度可以滿足MCTS模擬階段要求。

②MCTS。假設(shè)圖2中第1步恢復(fù)決策已經(jīng)制定,將MCTS計(jì)算時(shí)間設(shè)為160 s(線路16-19的恢復(fù)時(shí)間為180 s),進(jìn)行下一步搜索。該狀態(tài)下,共有四條備選線路,假設(shè)線路16-24已被選擇投入,在該狀態(tài)下,采用估值網(wǎng)絡(luò)分別估算線路19-24,16-21,16-17和15-16投入后，系統(tǒng)后續(xù)恢復(fù)的機(jī)組最大發(fā)電能力,并將其轉(zhuǎn)換為概率作為選擇四條線路進(jìn)行投入的依據(jù),以此類推,直到所有機(jī)組均與黑啟動(dòng)電源連接為止。在160 s的時(shí)間內(nèi)大約能夠進(jìn)行4 000次搜索模擬,本文中采用了并行計(jì)算的方式,在一臺(tái)擁有四核CPU的計(jì)算機(jī)上160 s可以進(jìn)行大約16 000次搜索模擬,搜索次數(shù)足夠多,結(jié)果足以作為決策依據(jù)。

2)有效性分析

為了證明SAE對于機(jī)組恢復(fù)樣本訓(xùn)練的高效性,將其訓(xùn)練結(jié)果與DBN和傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(ANN)進(jìn)行對比,三種神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)均設(shè)為[64,50,30,20,1]。訓(xùn)練結(jié)果見附錄D圖D1?？梢钥闯?，SAE的測試誤差始終小于ANN,ANN的測試誤差始終小于DBN。DBN采用受限玻爾茲曼機(jī)進(jìn)行無監(jiān)督學(xué)習(xí),而受限玻爾茲曼機(jī)采用二進(jìn)制數(shù)據(jù)訓(xùn)練,因此,采用DBN的無監(jiān)督訓(xùn)練后,所得初值較差,極易引導(dǎo)訓(xùn)練陷入局部最優(yōu)。而SAE采用自動(dòng)編碼的方式逐層進(jìn)行無監(jiān)督學(xué)習(xí),為深度神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)提供較優(yōu)的初值,其擬合效果更好。

MCTS算法的魯棒性將對決策結(jié)果產(chǎn)生直接影響。在線路和機(jī)組特性不變的情況下,MCTS搜索所得決策結(jié)果應(yīng)該相同。隨機(jī)選取兩個(gè)不同狀態(tài),采用MCTS進(jìn)行多次搜索,所得結(jié)果見附錄D表D1。由該表可以看出,在相同狀態(tài)下所進(jìn)行的多次搜索中,不同備選方案在每次搜索中搜索次數(shù)占比接近。備選線路被搜索次數(shù)可以反映最終的搜索結(jié)果。由于本文針對機(jī)組恢復(fù)采取改進(jìn)UCT算法、支路修剪和估值網(wǎng)絡(luò)等技術(shù)提升了MCTS的搜索效率,其每次搜索結(jié)果十分相近,魯棒性較好。

3)對比離線方法

機(jī)組恢復(fù)方案通常以離線計(jì)算的方式采用數(shù)學(xué)規(guī)劃方法[8]或啟發(fā)式優(yōu)化算法[13]對目標(biāo)函數(shù)進(jìn)行優(yōu)化獲得。在圖2所示的初始狀態(tài)下,選取式(1)所提機(jī)組發(fā)電能力為優(yōu)化目標(biāo),采用PSO算法離線優(yōu)化獲得機(jī)組恢復(fù)方案。采用相同數(shù)學(xué)模型,將離線方法所得結(jié)果與所提方法所得結(jié)果進(jìn)行比較。所提在線恢復(fù)方法通過如下方式獲得最終恢復(fù)方案:首先,根據(jù)線路的投入順序確定機(jī)組的啟動(dòng)順序和機(jī)組恢復(fù)路徑；其次,根據(jù)線路恢復(fù)時(shí)間計(jì)算機(jī)組啟動(dòng)時(shí)間。二者所得骨干網(wǎng)架相同,但機(jī)組恢復(fù)順序不同。兩種方法的機(jī)組啟動(dòng)時(shí)間及指標(biāo)值見表1。

表1 方案對比Table 1 Comparison between different schemes

由表1可以看出,雖然在線決策方法所得方案的指標(biāo)值——機(jī)組發(fā)電能力比離線恢復(fù)方案略差,但其能夠有效兼顧各種情況。在該方案中,各臺(tái)機(jī)組的恢復(fù)時(shí)間與熱啟動(dòng)時(shí)間相差較大,而離線制定的恢復(fù)方案中,37號(hào)機(jī)組啟動(dòng)時(shí)間與其熱啟動(dòng)時(shí)間僅相差1 min。若某條線路恢復(fù)時(shí)間比預(yù)計(jì)的恢復(fù)時(shí)間略有延誤,將導(dǎo)致其不得不進(jìn)行冷啟動(dòng),延誤機(jī)組恢復(fù)。離線恢復(fù)方法僅考慮指標(biāo)最優(yōu),而所提在線決策方法同時(shí)考慮后續(xù)恢復(fù)的多種可能情況,因此,面對線路恢復(fù)時(shí)間與預(yù)計(jì)不同的情況時(shí),在線決策方法所得方案的魯棒性更好。

為了證明所提機(jī)組恢復(fù)在線決策方法能夠有效應(yīng)對機(jī)組恢復(fù)過程中的不確定性,分別假設(shè)三條線路無法恢復(fù)和三條線路恢復(fù)失敗,采用所提機(jī)組恢復(fù)在線決策方法制定恢復(fù)方案,所得結(jié)果如表2所示。

表2 不確定性應(yīng)對Table 2 Response for uncertain situations

不難看出,所提方法可有效應(yīng)對突發(fā)情況,并將機(jī)組最大發(fā)電能力維持在一個(gè)可靠水平。然而,離線制定的恢復(fù)方案無法應(yīng)對各種不確定情況。機(jī)組恢復(fù)在線決策方法能夠時(shí)刻根據(jù)系統(tǒng)恢復(fù)狀態(tài),快速做出反應(yīng),決定下一步將要投入的線路。對于無法恢復(fù)的線路,算法可以有效地將其避開。例如,當(dāng)線路13-14無法恢復(fù)時(shí),將其不列為備選線路,所提方法將選擇線路4-14投入。對于恢復(fù)失敗的線路,算法能夠根據(jù)上一步的搜索排序,立刻采取備用措施。例如,當(dāng)線路16-24恢復(fù)失敗時(shí),線路21-16將立即投入。

4.2 山東西部電網(wǎng)

為進(jìn)一步說明所提算法在線實(shí)現(xiàn)的可行性,選取菏澤電廠投入后的MCTS過程詳細(xì)展開分析。將MCTS的搜索時(shí)間設(shè)置為9 min(前一條線路的恢復(fù)時(shí)間為10 min),該步最終選擇“泰天線”作為下一步的恢復(fù)線路。圖3所示為整個(gè)搜索過程,橫坐標(biāo)代表時(shí)間,縱坐標(biāo)代表備選線路在整個(gè)搜索過程中被搜索次數(shù)所占比例。

圖3 MCTS算法搜索過程Fig.3 Search process of MCTS algorithm

上文已經(jīng)提到,搜索次數(shù)可以有效反映最終的搜索結(jié)果。由圖3可以看出,隨著搜索的進(jìn)行,各條線路被逐漸區(qū)分開,而最終所選線路“泰天線”從第1.5 min開始被搜索次數(shù)所占比例便高于其余線路,并且差距越來越大。因此,所提方法在短時(shí)間內(nèi)可以進(jìn)行有效決策并選取下一步將要恢復(fù)的線路。若采用計(jì)算速度更快的計(jì)算機(jī),并輔以并行計(jì)算技術(shù),一定時(shí)間內(nèi)算法的搜索次數(shù)將進(jìn)一步增加,各線路被搜索次數(shù)之間的差別更加明顯,所提方法的穩(wěn)定性將得到進(jìn)一步提升。

5 結(jié)語

本文提出一種在線應(yīng)用的機(jī)組恢復(fù)決策方法,用于實(shí)時(shí)指導(dǎo)大停電后系統(tǒng)的前期恢復(fù)。所提方法通過對后續(xù)恢復(fù)的多種可能情況的搜索模擬,提升了其所產(chǎn)生決策方案在面對不確定性狀況時(shí)的魯棒性。針對機(jī)組恢復(fù)問題所提出的改進(jìn)UCT算法、支路修剪技術(shù)和基于深度學(xué)習(xí)的估值網(wǎng)絡(luò)提升了MCTS的搜索效率,并結(jié)合并行計(jì)算技術(shù),進(jìn)一步保證了該方法在線實(shí)現(xiàn)的可行性。仿真結(jié)果表明,所提機(jī)組恢復(fù)在線決策方法能夠根據(jù)電力系統(tǒng)實(shí)時(shí)狀態(tài),在線決策下一步將要投入的輸電線路,逐步完成機(jī)組的恢復(fù)。

后續(xù)工作將會(huì)研究如何考慮風(fēng)電場參與機(jī)組恢復(fù),進(jìn)一步發(fā)揮在線決策方法針對不確定性狀況的優(yōu)勢。

附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。