俞 虹，唐誠(chéng)旋，蔣群群，陳玨伊，張 秀

（1.中國(guó)南方電網(wǎng)有限責(zé)任公司貴陽(yáng)供電局，貴州貴陽(yáng) 550002；2.中國(guó)南方電網(wǎng)有限責(zé)任公司貴陽(yáng)金陽(yáng)供電局，貴州貴陽(yáng) 550081；3.中國(guó)南方電網(wǎng)有限責(zé)任公司貴陽(yáng)開(kāi)陽(yáng)供電局，貴州開(kāi)陽(yáng) 550300）

電力系統(tǒng)斷電后快速恢復(fù)至關(guān)重要，合理的電力應(yīng)急電源調(diào)度是災(zāi)后電力系統(tǒng)快速恢復(fù)的重要環(huán)節(jié)[1-2]。目前常應(yīng)用的電力系統(tǒng)應(yīng)急物資調(diào)度算法主要有基于節(jié)點(diǎn)綜合權(quán)值的電力應(yīng)急物資調(diào)度算法[3]和基于改進(jìn)飛蛾撲火算法求解多需求點(diǎn)的應(yīng)急物資調(diào)度算法[4]。然而傳統(tǒng)調(diào)度算法常因動(dòng)態(tài)電力信息的影響而存在調(diào)度時(shí)間不精準(zhǔn)的問(wèn)題。針對(duì)這一問(wèn)題，該研究提出并設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的電力系統(tǒng)應(yīng)急物資調(diào)度算法。在特定策略下，通過(guò)與外部環(huán)境的交互作用，完成電力系統(tǒng)應(yīng)急物資調(diào)度。

1 強(qiáng)化學(xué)習(xí)調(diào)度模型

在電力系統(tǒng)應(yīng)急物資調(diào)度應(yīng)用中，采用強(qiáng)化學(xué)習(xí)算法，需要解決行為選擇和行為價(jià)值函數(shù)存儲(chǔ)與推廣問(wèn)題。為了保證強(qiáng)化學(xué)習(xí)在實(shí)際調(diào)度中更加具有針對(duì)性，需確定基本調(diào)度要素：電力系統(tǒng)狀態(tài)集合、行為集合、報(bào)酬函數(shù)、平均性能指標(biāo)和行為值函數(shù)。

電力系統(tǒng)狀態(tài)集合s：主要是指電力系統(tǒng)中緊急情況下的運(yùn)行信息，如緊急工況的位置、調(diào)度時(shí)間、系統(tǒng)狀態(tài)選擇等，系統(tǒng)以每離散時(shí)刻的狀態(tài)信息為決策依據(jù)[5]。

行為集合a：包括電網(wǎng)應(yīng)急物資調(diào)度行為序列，用于實(shí)現(xiàn)電力系統(tǒng)緊急調(diào)集物資調(diào)度[6]。

報(bào)酬函數(shù)r()s,a：對(duì)于電力系統(tǒng)中緊急供電問(wèn)題，需通過(guò)該函數(shù)配合強(qiáng)化學(xué)習(xí)框架，保證計(jì)算所得報(bào)酬為負(fù)值，能夠有效保證電力系統(tǒng)應(yīng)急物資調(diào)度費(fèi)用最小[7-9]。每觀測(cè)到一個(gè)系統(tǒng)狀態(tài)，就根據(jù)這個(gè)狀態(tài)計(jì)算一個(gè)報(bào)酬函數(shù)。

平均性能指標(biāo)ρπ：平均性能指標(biāo)中的質(zhì)量指數(shù)是指策略計(jì)劃下各階段無(wú)限時(shí)間內(nèi)平均回復(fù)數(shù)：

對(duì)于系統(tǒng)緊急補(bǔ)給問(wèn)題，其意義在于系統(tǒng)在無(wú)限時(shí)間內(nèi)，最大化了系統(tǒng)報(bào)酬函數(shù)r()s,a，該函數(shù)用負(fù)值表示，即電力系統(tǒng)應(yīng)急電源的運(yùn)行費(fèi)用最低[10]。

行為值函數(shù)R(s,a)：該函數(shù)在學(xué)習(xí)中所用的行為值函數(shù)為Rπ()s,a，其在狀態(tài)s選擇a學(xué)習(xí)行為，并保持為π 的平均調(diào)整值，其計(jì)算公式為：

在強(qiáng)化學(xué)習(xí)算法中，不需要具體模型，而是通過(guò)迭代方法求得R(s,a)[11-12]。根據(jù)迭代規(guī)則，行為值函數(shù)在每一時(shí)刻都要迭代，迭代過(guò)程如式（3）所示：

依據(jù)該公式，可確定行為值函數(shù)所能滿(mǎn)足的具體條件：

依據(jù)式（4）迭代處理平均性能指標(biāo)，得到迭代公式如式（5）所示：

式（5）中，α、β為學(xué)習(xí)率。

2 電力系統(tǒng)應(yīng)急物資調(diào)度算法

在強(qiáng)化學(xué)習(xí)調(diào)度算法模型支持下，電網(wǎng)大面積停電后，對(duì)應(yīng)急物資進(jìn)行調(diào)度是電網(wǎng)恢復(fù)的重要任務(wù)之一。科學(xué)合理的調(diào)度方案能保證電力系統(tǒng)迅速恢復(fù)負(fù)荷，減少因故障造成的損失。

應(yīng)急物資在應(yīng)急恢復(fù)初期往往供應(yīng)不足，為此，從物料和時(shí)間角度出發(fā)，建立以物料滿(mǎn)足度和時(shí)間滿(mǎn)足度為目標(biāo)函數(shù)的多目標(biāo)優(yōu)化調(diào)度模型。材料滿(mǎn)足度是指緊急情況下獲得材料數(shù)量與需要量之比[13-15]，以此為基礎(chǔ)，構(gòu)建電力系統(tǒng)應(yīng)急物資調(diào)度模型，如圖1所示。同時(shí)，算法假定如下：

圖1 電力系統(tǒng)應(yīng)急物資調(diào)度模型

1）這些信息是可靠的，即已知各節(jié)點(diǎn)的材料供應(yīng)和材料需求。

2）將調(diào)度節(jié)點(diǎn)劃分為3 個(gè)層次：供給點(diǎn)、調(diào)度點(diǎn)和應(yīng)急點(diǎn)。其中，調(diào)度點(diǎn)起到轉(zhuǎn)運(yùn)的作用，可實(shí)現(xiàn)對(duì)供給點(diǎn)與應(yīng)急點(diǎn)之間物資供應(yīng)情況的查詢(xún)。

3）假定供應(yīng)地點(diǎn)的物資供應(yīng)不能完全滿(mǎn)足緊急情況的需要[16]。

電力系統(tǒng)應(yīng)急物資調(diào)度模型目標(biāo)函數(shù)需從物資滿(mǎn)意度和時(shí)間滿(mǎn)意度兩個(gè)角度展開(kāi)分析。

物資滿(mǎn)意度Z1為：

式（6）中，I表示電力系統(tǒng)應(yīng)急供應(yīng)點(diǎn)數(shù)量；L表示應(yīng)急供應(yīng)中轉(zhuǎn)點(diǎn)數(shù)量；J表示應(yīng)急點(diǎn)數(shù)量。時(shí)間滿(mǎn)意度Z2為：

式中，fj(?)的函數(shù)表達(dá)式為：

式（7）、（8）中，ωj表示應(yīng)急點(diǎn)j處的重要性權(quán)值；Nj表示應(yīng)急點(diǎn)j處所需物資量；fj(?)表示應(yīng)急點(diǎn)j處時(shí)間滿(mǎn)意度函數(shù)；tij表示從應(yīng)急點(diǎn)i到應(yīng)急點(diǎn)j所耗費(fèi)時(shí)間；xij表示從應(yīng)急點(diǎn)i到應(yīng)急點(diǎn)j全部供應(yīng)物資量；ai表示供應(yīng)點(diǎn)i儲(chǔ)存物資量；θj表示應(yīng)急點(diǎn)j對(duì)運(yùn)輸時(shí)間緊急程度，θj越小，表示應(yīng)急點(diǎn)j對(duì)物資需求越緊急；Lj、Uj分別表示應(yīng)急點(diǎn)j對(duì)物資運(yùn)輸時(shí)間滿(mǎn)意度的下限及上限值，為已知量。

為了提高物料輸送速度，必須從以下兩個(gè)方面進(jìn)行決策：第一，選擇合適物料存放地點(diǎn)；第二，在每一個(gè)物料存放地點(diǎn)對(duì)物料數(shù)量進(jìn)行分配，在處理多個(gè)物料的分配時(shí)，必須考慮到物料數(shù)量的多樣性。每個(gè)倉(cāng)庫(kù)在獲得物料滿(mǎn)足度和時(shí)間滿(mǎn)足度后，都必須按照最優(yōu)路徑進(jìn)行物料分配。物聯(lián)網(wǎng)技術(shù)將在這一過(guò)程中發(fā)揮其作用，極大地提高物料調(diào)配效率。設(shè)定材料分配計(jì)劃，通過(guò)分配中心將通信系統(tǒng)中的分配指令發(fā)給各設(shè)備管理中心。該中心涉及到的管理內(nèi)容包含要部署的物料類(lèi)型、數(shù)量和目的地。管理中心要保證每一個(gè)物料倉(cāng)庫(kù)都能接收到指令，智能倉(cāng)儲(chǔ)系統(tǒng)能自動(dòng)找到相應(yīng)物料在倉(cāng)庫(kù)中的位置，迅速地取出需要的物料，安排好運(yùn)輸車(chē)輛。

將跟蹤設(shè)備安裝到所有運(yùn)輸車(chē)上，部署中心可以實(shí)時(shí)獲取運(yùn)輸車(chē)位置信息。如此，既保證了材料安全性，又能采取一定措施加速材料運(yùn)輸，如聯(lián)系運(yùn)輸部門(mén)聯(lián)動(dòng)、安排材料運(yùn)輸綠色通道等；或者根據(jù)交通管理部門(mén)提供的交通信息，選擇一條更順暢的路線(xiàn)。運(yùn)輸車(chē)到達(dá)指定地點(diǎn)后，將任務(wù)完成信息發(fā)送到調(diào)度中心。任務(wù)完成后，由調(diào)度中心確認(rèn)部署結(jié)束，物資調(diào)度流程如圖2 所示。

圖2 物資調(diào)度流程

在調(diào)度過(guò)程中，物聯(lián)網(wǎng)技術(shù)應(yīng)用主要體現(xiàn)在兩個(gè)環(huán)節(jié)上。該系統(tǒng)首先利用RFID 技術(shù)，在物料倉(cāng)庫(kù)出庫(kù)過(guò)程中，快速查找物料位置信息；與此同時(shí)，各種自動(dòng)化機(jī)器人在智能倉(cāng)儲(chǔ)系統(tǒng)中能精確到達(dá)物料位置并裝載車(chē)輛，與傳統(tǒng)人工查找、人工運(yùn)送物料方式相比，物聯(lián)網(wǎng)在節(jié)省人力的同時(shí)大大提高了效率。而且在物資運(yùn)輸過(guò)程中，調(diào)度中心通過(guò)對(duì)運(yùn)輸車(chē)安裝無(wú)線(xiàn)傳輸網(wǎng)和跟蹤設(shè)備，實(shí)時(shí)獲取運(yùn)輸車(chē)準(zhǔn)確位置，從而向社會(huì)傳遞信息。通過(guò)部門(mén)間聯(lián)動(dòng)，可以加速材料運(yùn)輸，確保運(yùn)輸過(guò)程中材料安全。除上述兩點(diǎn)外，物聯(lián)網(wǎng)通信系統(tǒng)還能為整個(gè)部署過(guò)程提供通信服務(wù)，保證信息實(shí)時(shí)、準(zhǔn)確，并能為整個(gè)應(yīng)急過(guò)程提供通信保障。

3 仿真分析

為驗(yàn)證基于強(qiáng)化學(xué)習(xí)的電力系統(tǒng)應(yīng)急物資調(diào)度算法的實(shí)際應(yīng)用性能，設(shè)計(jì)如下仿真實(shí)驗(yàn)。

由于地理位置特殊，廣東省經(jīng)常發(fā)生臺(tái)風(fēng)災(zāi)害。臺(tái)風(fēng)"彩虹"橫掃湛江并向珠江三角洲傳播，對(duì)廣東省電力系統(tǒng)造成嚴(yán)重影響。假定電網(wǎng)節(jié)點(diǎn)與地理上的應(yīng)急點(diǎn)重合。以粵西地區(qū)某地方電網(wǎng)為例，對(duì)SF6 型系統(tǒng)電力應(yīng)急的補(bǔ)給調(diào)度任務(wù)展開(kāi)研究。圖3 為電力應(yīng)急電源的拓?fù)浣Y(jié)構(gòu)和部分參數(shù)。

圖3 電力應(yīng)急物資調(diào)度拓?fù)浼安糠謪?shù)

假設(shè)在0～10 之間的整數(shù)表示節(jié)點(diǎn)之間的傳輸時(shí)間，其值越大，表明節(jié)點(diǎn)之間的距離越遠(yuǎn)，所需的時(shí)間越多。節(jié)點(diǎn)間物資調(diào)度的子網(wǎng)時(shí)間值如表1 所示。

表1 電力應(yīng)急物資調(diào)度期望時(shí)間（min）

在此基礎(chǔ)上，分別使用傳統(tǒng)的基于節(jié)點(diǎn)綜合權(quán)值的電力系統(tǒng)應(yīng)急物資調(diào)度算法、基于改進(jìn)飛蛾撲火算法的電力應(yīng)急物資調(diào)度算法和基于強(qiáng)化學(xué)習(xí)的電力系統(tǒng)應(yīng)急物資調(diào)度算法對(duì)物資展開(kāi)調(diào)度，以調(diào)度時(shí)間為測(cè)試指標(biāo)，對(duì)比不同算法的應(yīng)用性能，結(jié)果分別如表2～4 所示。

表2 節(jié)點(diǎn)綜合權(quán)值算法調(diào)度時(shí)間（min）

表3 改進(jìn)飛蛾撲火算法調(diào)度時(shí)間（min）

通過(guò)上述結(jié)果可知，兩種傳統(tǒng)的調(diào)度算法的調(diào)度時(shí)間與期望時(shí)間均有所出入，而基于強(qiáng)化學(xué)習(xí)調(diào)度算法的調(diào)度時(shí)間與期望時(shí)間一致，說(shuō)明了該方法的有效性。

4 結(jié)束語(yǔ)

該研究建立了電力應(yīng)急物資調(diào)度模型，通過(guò)該模型將物資調(diào)度問(wèn)題轉(zhuǎn)化為目標(biāo)優(yōu)化問(wèn)題，確定滿(mǎn)足物資需求與時(shí)間需求的關(guān)系函數(shù)，從而設(shè)計(jì)出滿(mǎn)足應(yīng)急物資需求的調(diào)度算法。然而因?qū)嶒?yàn)環(huán)境有限，還存在許多不能深入研究的問(wèn)題。在接下來(lái)的研究中，將考慮進(jìn)一步優(yōu)化材料分配制度，如分配路徑的阻塞和解除阻塞等意外情況的處理等問(wèn)題，進(jìn)一步提高物資分配效率。

表4 強(qiáng)化學(xué)習(xí)算法調(diào)度時(shí)間（min）