宋濤， 李丹， 路寧

(1. 國家電網有限公司特高壓建設分公司，北京 100052; 2. 北京道亨軟件股份有限公司，北京 100012)

0 引 言

輸電線路具有輸電距離遠、覆蓋范圍大、走廊環(huán)境復雜等特征。其中，輸電線路的最優(yōu)路徑規(guī)劃問題是輸電線路設計的關鍵問題，其路徑規(guī)劃的合理性直接影響到輸電線路的建設成本和可靠性問題。例如，文獻[1]對800 kV特高壓線路工程造價的影響因素進行分析，指出桿塔價格、線路長度、地質條件、地形地貌等是影響輸電線路工程造價的主要因素。文獻[2]指出在不同的地形下，人力運距對輸電線路造價的影響各不相同。文獻[3]分析了在不同地形地貌條件下，輸電線路的雷電防御性能，并指出在某些特定的地形地貌下輸電線路更容易被雷電擊中。文獻[4]分析了山地地形對±1100 kV輸電線路雷電屏蔽性能的影響，研究的結果對不同地形條件下的輸電線路防雷設計具有一定的參考價值。

在輸電線路路徑規(guī)劃問題中，需要考慮的因素較多，例如，設計人員不僅要考慮輸電走廊的地形地貌、還要考慮到自然氣候、環(huán)境保護以及政策法規(guī)等因素。以往的輸電線路路徑規(guī)劃主要靠查閱紙質地圖以及工程人員的實際勘測情況，再對基于地形地貌的柵格劃分來實現路徑規(guī)劃工作。由于輸電線路的地形地貌較為復雜，而紙質地圖多存在不精確、信息滯后的特征，使得傳統的輸電線路路徑規(guī)劃方法具有工作強度大，準確率低等缺陷[5]。

近年來，三維數字化設計技術的發(fā)展彌補了上述方法的缺陷[6]。輸電線路的三維數字化設計是指使用衛(wèi)星，無人機，GPS等設備，并借助全數字化攝像手段，生成線路走廊的數字模型以及具有立體效果的三維景觀圖，使得輸電線路勘測的精度和分辨率大大提升[7～10]。例如，文獻[11]使用無人機對山火條件下的架空輸電線路閃絡及監(jiān)測技術進行研究，文獻[12]使用無人機和激光雷達技術對輸電線路走廊清理技術進行研究，文獻[13]使用GPS設備，并基于S變換的行波法對高壓輸電線路進行故障定位。使用三維數字化設計可以讓輸電線路設計人員直觀地了解當前的地形地貌，顯著降低了設計人員的設計難度和工作量[14]。

然而，輸電線路的三維數字化設計技術的發(fā)展也給路徑規(guī)劃帶來了新問題：由于三維數字化對地形劃分的精度大大提升，造成了地形劃分的柵格矩陣維度呈指數級增加[15]，此時，傳統的基于柵格劃分的路徑規(guī)劃方法已無法適用于柵格矩陣規(guī)模急劇增大的環(huán)境。例如，文獻[16]使用蟻群算法對輸電線路進行路徑規(guī)劃，文獻[17]研究了基于遺傳算法的特高壓架空輸電線最優(yōu)路徑規(guī)劃方法，文獻[18]研究了基于貝葉斯網絡與蟻群算法的輸電線路路徑規(guī)劃算法。上述的方法在柵格矩陣規(guī)模較低(柵格矩陣維度<100)的條件下，具有良好的收斂性和精確性，但若使用在柵格矩陣規(guī)模較大(柵格矩陣維度100～10000)的條件下，上述方法會由于過高的柵格矩陣維度從而引發(fā)維度災難的問題，導致算法收斂速度過慢甚至不收斂[19-20]。因此，有必要對傳統的路徑規(guī)劃方法進行改進，以適應地形柵格矩陣的維度大規(guī)模提升的需求。

基于上述分析，研究了一種適用于三維數字化輸電線路的分層強化學習路徑規(guī)劃方法，建立了輸電線路的三維數字化云平臺，在此基礎上，使用不同比例尺對地形數據進行重采樣，將原始的地形柵格單元重構為兩層，其中第一層為大比例尺的粗粒度地形柵格圖，第二層是在第一層圖像的基礎上，進一步使用小比例尺進行第一層圖像的細粒度柵格圖，如圖1所示。兩層柵格圖像建立完畢后，使用基于MAXQ算法的分層強化學習進行路徑規(guī)劃，從而解決了細粒度柵格單元帶來的維度災難問題，同時又保持了精確性的優(yōu)勢。最后，使用實際算例驗證了有效性和可行性。

圖1 雙層柵格矩陣結構圖

1 基于云計算的輸電線路三維勘測系統

研究的分層強化學習路徑規(guī)劃方法是為解決輸電線路的三維數字化地形劃分導致的維度災難問題，因此，本節(jié)先對輸電線路的三維勘測系統進行簡要介紹。輸電線路的三維勘測系統是指采用計算機圖形技術、地理信息勘測技術以及三維仿真技術生成高精度的輸電線路走廊的數字化平臺。建立的云計算的輸電線路三維設計的數據云平臺如圖2所示，具體結構分為六層：(1)物理層，通過高清SAR影像、傾斜攝影技術、無人激光雷達等物理設備進行數據的采集；(2)數據傳輸層，使用4G、5G或WIFI等傳輸方式將采集數據傳送至云平臺；(3)云計算平臺的底層，是將傳統的數據通過操作系統存儲進服務器中；(4)數據清洗層，將數據緩存中的數據進行清洗和分類，將其劃分成時間數據和空間數據，傳輸至不同的數據庫中；(5)功能服務層，是將數據進一步地發(fā)挖掘與分析，從而滿足工程人員的需求；(6)用戶層，提供數據的可視化，以及建立用戶與數據交互的界面。

圖2 輸電線路三維設計的云平臺系統

勘測數據送入云計算平臺后，可以使用計算機圖像技術將其可視化成三維的地形地貌圖，進而輔助工程人員進行路徑規(guī)劃、桿塔設計等工作，如圖3所示。

圖3 基于云平臺的輸電線路三維設計圖

2 輸電線路路徑規(guī)劃評價指標分析與規(guī)劃步驟

2.1 輸電線路路徑規(guī)劃評價指標分析

在建立輸電線路三維數據云計算平臺的基礎上，可以根據《100 kV～750 kV架空輸電線路設計規(guī)范》進行輸電線路的路徑規(guī)劃工作。輸電線路長度路徑規(guī)劃的基本原則是：在盡量縮短輸電線路路線走廊長度的前提下，還必須考慮地形地貌的條件，例如高度、坡度、覆冰、地震烈度、公路鐵路、土地利用等，從而兼顧到架設成本最優(yōu)性、架設方案的安全可靠性、對環(huán)境的友好性等因素。除此之外，架設輸電線路的路徑需避開某些特殊區(qū)域，例如不良地質帶、災害點、礦區(qū)、軍事設施、重要設施、城鎮(zhèn)及規(guī)劃區(qū)、重冰區(qū)、原始森林、自然保護區(qū)域風景名勝區(qū)等。圖4為影響輸電線路規(guī)劃的成本因子結構圖?？梢园l(fā)現，影響輸電線路路徑規(guī)劃的評價指標分為地質條件和避障條件兩大類，并且這兩大類的路徑規(guī)劃原則各不相同：在地質條件評價指標中，需兼顧距離最短和成本最低的要求，而在避障條件指標中，需完全繞開上述區(qū)域。

圖4 影響輸電線路路徑規(guī)劃的成本因子結構圖

2.2 輸電線路路徑規(guī)劃步驟

輸電線路路徑規(guī)劃一般是先將輸電線路走廊地形柵格化，再對每塊柵格進行成本因子計算，最終簡化成柵格矩陣，記作：

(1)

式中M為柵格矩陣；矩陣M中每個元素下標i，j表示每塊地域；矩陣中的元素mij表示該地域的架設成本權重，其值可以根據圖4所列舉的成本因子，并結合南方電網公司《110 kV～500 kV輸電線路典型造價》(2011版本)標準計算出。由式(1)可畫出輸電線路走廊的柵格矩陣如圖5所示，其中顏色越深表示成本權重越高。特別注意的是，對于某些必須避開的特殊區(qū)域，可設置其成本權重為一極大值(具體數值需根據不同的工程情況進行設定)，如圖5中黑色方塊所示，從而使得設計的算法可以使輸電線路避開上述區(qū)域。

對圖5所示柵格矩陣基于最優(yōu)成本進行路徑搜索，搜索動作分為8個方向，如圖6所示。傳統的搜索方法一般包含手動搜索法、遺傳算法或粒子群優(yōu)化算法等。

圖5 輸電線路柵格矩陣顏色圖

圖6 輸電線路規(guī)劃的動作設計

3 基于分層強化學習的輸電線路路徑規(guī)劃方法

在輸電線路的路徑規(guī)劃任務中需要同時考慮地址條件和避障條件，當規(guī)劃的柵格矩陣維度成規(guī)模增長時，會使得路徑規(guī)劃算法參數的狀態(tài)空間成指數級擴張，若使用傳統算法，例如遺傳算法或粒子群優(yōu)化算法時，會由于搜索維度過高從而導致維度災難問題。近年來，學者們對如何解決維度災難問題進行了廣泛地研究，其中，分層強化學習是解決上述問題的有效方法，其以指數形式降低大規(guī)模柵格矩陣下的計算量，適合于解決三維云平臺中的輸電線路路徑規(guī)劃問題[21]。

采用分層強化學習中的MAXQ 算法進行大規(guī)模輸電線路的路徑規(guī)劃[22]，其主要思路是先基于馬爾可夫過程建立學習總任務M，再將總任務M分解成多個半馬爾可夫過程子任務，記為{m0,m1, … ,mn}，同時，將總策略π分解為多個子策略，記為{π0,π1, … ,πn}，其中，子策略πi對應子任務mi。根據分層強化學習的定義，若能保證每個子策略πi都是子任務mi的最優(yōu)策略，那么總策略π也為最優(yōu)策略，從而得到路徑最優(yōu)解。

3.1 MAXQ算法

在MAXQ算法中，每個子任務可以由三元組<πi,Ti,Ri>組成：策略πi用于從子任務mi中選擇當前時刻t時的動作at，Ti是子任務結束的終止步驟；獎勵值Ri為子任務學習過程中當前時刻的代價函數。當子任務學習結束后，總體的期望代價函數Vπ(i,s′)為：

(2)

MAXQ算法的動作值函數為：

(3)

令：

(4)

可將式(3)簡化成：

Qπ(i,s,a)=Vπ(a,s)+Cπ(i,s,a)

(5)

并且每個子任務在總任務中的價值函數投影為：

Vπ(0,s)=Vπ(at,s)+Cπ(at-1,s,an)+…+

Cπ(a1,s,a2)+Cπ(0,s,a1)

(6)

其中：

Vπ(at,s)=P(s′|s,at)R(s′|s,at)

(7)

(8)

3.2 基于MAXQ算法的最優(yōu)路徑規(guī)劃

基于MAXQ算法的最優(yōu)路徑規(guī)劃方法如圖7所示，首先建立輸電線路走廊的總柵格圖，作為路徑規(guī)劃的總任務，再將總柵格圖劃分成各個小區(qū)域，作為子任務。對每個子任務進行最優(yōu)策略求解，從而確定最優(yōu)動作。

具體步驟為：

步驟1：初始化算法參數，并令t=0；

步驟2：輸入總區(qū)域柵格圖作為當前的觀測s，并在總柵格圖中確認路徑規(guī)劃的起點和終點；

圖7 基于MAXQ算法的輸電線路最優(yōu)路徑規(guī)劃

步驟3：使用10 km比例尺將總柵格圖劃分成各個子區(qū)域柵格圖，并根據第2節(jié)計算每塊子區(qū)域柵格圖的粗略造價函數，如圖8(a)所示，為設計方便起見，在實際工程中，再將圖8(a)投影至二維平面用做算法的輸入數據，如圖8(b)所示。

圖8 10 km比例尺下的造價函數二維和三維平面圖

步驟4：將總柵格圖中的每塊子區(qū)域進行500 m比例尺的精細劃分，從而實現更精確的造價函數計算，如圖9(a)所示，為設計方便起見，在實際工程中，再將圖9(a)投影至二維平面用做算法的輸入數據，如圖9(b)所示。

圖9 500 m比例尺下的造價函數二維和三維平面圖

步驟5：將圖8的柵格矩陣作為總任務，在圖8下計算價值函數Vπ并執(zhí)行子任務；

步驟7：完成子任務后返回總任務，直到滿足終止條件為止。

4 實驗結果

在實際工程中進行文中算法有效性地驗證。工程為承德百萬千瓦風電基地二期輸電線路項目，承德地區(qū)風能資源豐富，適宜建設大中型風電場。根據冀北電網規(guī)劃，擬建由龍源(棋新風電場220 kV升壓站)至T接點(御道口變電站-木蘭變電站線路斷點)一回220 kV線路。棋新風電場安裝單機容量為2 MW的風電機組150臺，風電機組采用一機一變單元接線方式，通過17回集電線路接入到新建220 kV升壓站內3臺主變的35 kV母線，升壓至220 kV后利用原木御線木蘭側220 kV線路送出，棋新升壓站至木御線破口點的線路長度約140 km，擬采用2×JL/G1A-400 型號導線，木御線破口點至木蘭220 kV升壓站的線路長度約290 km，木御線導線型號為2×JL/G1A-400。本工程的建設可以減少化石能源消耗，對于開發(fā)利用可再生資源，貫徹國家能源發(fā)展戰(zhàn)略，推動承德地區(qū)經濟和社會發(fā)展，實現我國能源的可持續(xù)發(fā)展具有重要意義。

工程中使用數字化三維勘測系統，并在此基礎上分別采用文中方法和傳統的粒子群優(yōu)化算法進行棋新風電場至木御線破口點之間的輸電線路路徑規(guī)劃，圖10為輸電線路路徑規(guī)劃的比較結果。其中一條線路為使用傳統的粒子群優(yōu)化算法的輸電線路規(guī)劃路徑，另一條線路為使用文中方法的輸電線路規(guī)劃路徑。可以看出，兩種方法的路徑長度相差不大，然而相較于粒子群方法，文中方法跨越的不合理區(qū)域更少，這是因為粒子群優(yōu)化算法使用的比例尺為10 km，地形柵格矩陣矩陣為10×30，而文中方法所使用的比例尺為1 km，柵格矩陣為100×3 000，對地形具有更為精細地劃分和鑒別。必須說明的是，如果傳統的例子群算法也使用1 km的比例尺，會因為無法收斂而一直陷于計算中，從而無法輸出最優(yōu)的結果。

圖10 采用文中方法和粒子群方法的比較結果

表1分別為采用粒子群優(yōu)化算法、使用的MAXQ算法以及人工規(guī)劃方法的具體指標比較，可以看出，采用的分層強化學習方法可以在更高精度的地形劃分條件下收斂，不會出現發(fā)散的問題。同時，更高精度的地形劃分使得文中方法的不合理跨越區(qū)域更少，從而降低了路徑規(guī)劃的成本。

表1 采用粒子群優(yōu)化算法、MAXQ算法以及人工規(guī)劃方法的具體指標比較結果

5 結束語

為解決地形劃分精度提高而帶來的維度災難問題，研究了一種基于分層強化學習的數字化輸電線路路徑規(guī)劃方法，建立輸電線路的三維數字化云平臺，使用不同比例尺對地形數據進行重采樣為兩側柵格矩陣，第一層為粗粒度的柵格矩陣，第二層的細粒度柵格矩陣為第一層粗粒度柵格矩陣的進一步劃分。再使用基于MAXQ的分層強化學習分別對兩層柵格矩陣進行路徑規(guī)劃，將粗粒度的柵格矩陣路徑規(guī)劃設為分層強化學習算法的總任務，將細粒度的柵格矩陣路徑規(guī)劃設為分層強化學習算法的子任務，從而解決了細粒度柵格單元帶來的維度災難問題，同時又保持了精確性的優(yōu)勢。實際算例表明，在地形劃分精度提高的情況下，傳統的路徑規(guī)劃算法會由于維度災難導致不收斂，而研究的分層強化學習算法可以克服上述維度災難問題仍能保持收斂，并使得不合理的跨越區(qū)域更少，從而降低了路徑規(guī)劃成本。