宋濤, 李丹, 路寧
(1. 國家電網(wǎng)有限公司特高壓建設(shè)分公司,北京 100052; 2. 北京道亨軟件股份有限公司,北京 100012)
輸電線路具有輸電距離遠(yuǎn)、覆蓋范圍大、走廊環(huán)境復(fù)雜等特征。其中,輸電線路的最優(yōu)路徑規(guī)劃問題是輸電線路設(shè)計的關(guān)鍵問題,其路徑規(guī)劃的合理性直接影響到輸電線路的建設(shè)成本和可靠性問題。例如,文獻(xiàn)[1]對800 kV特高壓線路工程造價的影響因素進(jìn)行分析,指出桿塔價格、線路長度、地質(zhì)條件、地形地貌等是影響輸電線路工程造價的主要因素。文獻(xiàn)[2]指出在不同的地形下,人力運距對輸電線路造價的影響各不相同。文獻(xiàn)[3]分析了在不同地形地貌條件下,輸電線路的雷電防御性能,并指出在某些特定的地形地貌下輸電線路更容易被雷電擊中。文獻(xiàn)[4]分析了山地地形對±1100 kV輸電線路雷電屏蔽性能的影響,研究的結(jié)果對不同地形條件下的輸電線路防雷設(shè)計具有一定的參考價值。
在輸電線路路徑規(guī)劃問題中,需要考慮的因素較多,例如,設(shè)計人員不僅要考慮輸電走廊的地形地貌、還要考慮到自然氣候、環(huán)境保護(hù)以及政策法規(guī)等因素。以往的輸電線路路徑規(guī)劃主要靠查閱紙質(zhì)地圖以及工程人員的實際勘測情況,再對基于地形地貌的柵格劃分來實現(xiàn)路徑規(guī)劃工作。由于輸電線路的地形地貌較為復(fù)雜,而紙質(zhì)地圖多存在不精確、信息滯后的特征,使得傳統(tǒng)的輸電線路路徑規(guī)劃方法具有工作強度大,準(zhǔn)確率低等缺陷[5]。
近年來,三維數(shù)字化設(shè)計技術(shù)的發(fā)展彌補了上述方法的缺陷[6]。輸電線路的三維數(shù)字化設(shè)計是指使用衛(wèi)星,無人機,GPS等設(shè)備,并借助全數(shù)字化攝像手段,生成線路走廊的數(shù)字模型以及具有立體效果的三維景觀圖,使得輸電線路勘測的精度和分辨率大大提升[7~10]。例如,文獻(xiàn)[11]使用無人機對山火條件下的架空輸電線路閃絡(luò)及監(jiān)測技術(shù)進(jìn)行研究,文獻(xiàn)[12]使用無人機和激光雷達(dá)技術(shù)對輸電線路走廊清理技術(shù)進(jìn)行研究,文獻(xiàn)[13]使用GPS設(shè)備,并基于S變換的行波法對高壓輸電線路進(jìn)行故障定位。使用三維數(shù)字化設(shè)計可以讓輸電線路設(shè)計人員直觀地了解當(dāng)前的地形地貌,顯著降低了設(shè)計人員的設(shè)計難度和工作量[14]。
然而,輸電線路的三維數(shù)字化設(shè)計技術(shù)的發(fā)展也給路徑規(guī)劃帶來了新問題:由于三維數(shù)字化對地形劃分的精度大大提升,造成了地形劃分的柵格矩陣維度呈指數(shù)級增加[15],此時,傳統(tǒng)的基于柵格劃分的路徑規(guī)劃方法已無法適用于柵格矩陣規(guī)模急劇增大的環(huán)境。例如,文獻(xiàn)[16]使用蟻群算法對輸電線路進(jìn)行路徑規(guī)劃,文獻(xiàn)[17]研究了基于遺傳算法的特高壓架空輸電線最優(yōu)路徑規(guī)劃方法,文獻(xiàn)[18]研究了基于貝葉斯網(wǎng)絡(luò)與蟻群算法的輸電線路路徑規(guī)劃算法。上述的方法在柵格矩陣規(guī)模較低(柵格矩陣維度<100)的條件下,具有良好的收斂性和精確性,但若使用在柵格矩陣規(guī)模較大(柵格矩陣維度100~10000)的條件下,上述方法會由于過高的柵格矩陣維度從而引發(fā)維度災(zāi)難的問題,導(dǎo)致算法收斂速度過慢甚至不收斂[19-20]。因此,有必要對傳統(tǒng)的路徑規(guī)劃方法進(jìn)行改進(jìn),以適應(yīng)地形柵格矩陣的維度大規(guī)模提升的需求。
基于上述分析,研究了一種適用于三維數(shù)字化輸電線路的分層強化學(xué)習(xí)路徑規(guī)劃方法,建立了輸電線路的三維數(shù)字化云平臺,在此基礎(chǔ)上,使用不同比例尺對地形數(shù)據(jù)進(jìn)行重采樣,將原始的地形柵格單元重構(gòu)為兩層,其中第一層為大比例尺的粗粒度地形柵格圖,第二層是在第一層圖像的基礎(chǔ)上,進(jìn)一步使用小比例尺進(jìn)行第一層圖像的細(xì)粒度柵格圖,如圖1所示。兩層?xùn)鸥駡D像建立完畢后,使用基于MAXQ算法的分層強化學(xué)習(xí)進(jìn)行路徑規(guī)劃,從而解決了細(xì)粒度柵格單元帶來的維度災(zāi)難問題,同時又保持了精確性的優(yōu)勢。最后,使用實際算例驗證了有效性和可行性。
圖1 雙層?xùn)鸥窬仃嚱Y(jié)構(gòu)圖
研究的分層強化學(xué)習(xí)路徑規(guī)劃方法是為解決輸電線路的三維數(shù)字化地形劃分導(dǎo)致的維度災(zāi)難問題,因此,本節(jié)先對輸電線路的三維勘測系統(tǒng)進(jìn)行簡要介紹。輸電線路的三維勘測系統(tǒng)是指采用計算機圖形技術(shù)、地理信息勘測技術(shù)以及三維仿真技術(shù)生成高精度的輸電線路走廊的數(shù)字化平臺。建立的云計算的輸電線路三維設(shè)計的數(shù)據(jù)云平臺如圖2所示,具體結(jié)構(gòu)分為六層:(1)物理層,通過高清SAR影像、傾斜攝影技術(shù)、無人激光雷達(dá)等物理設(shè)備進(jìn)行數(shù)據(jù)的采集;(2)數(shù)據(jù)傳輸層,使用4G、5G或WIFI等傳輸方式將采集數(shù)據(jù)傳送至云平臺;(3)云計算平臺的底層,是將傳統(tǒng)的數(shù)據(jù)通過操作系統(tǒng)存儲進(jìn)服務(wù)器中;(4)數(shù)據(jù)清洗層,將數(shù)據(jù)緩存中的數(shù)據(jù)進(jìn)行清洗和分類,將其劃分成時間數(shù)據(jù)和空間數(shù)據(jù),傳輸至不同的數(shù)據(jù)庫中;(5)功能服務(wù)層,是將數(shù)據(jù)進(jìn)一步地發(fā)挖掘與分析,從而滿足工程人員的需求;(6)用戶層,提供數(shù)據(jù)的可視化,以及建立用戶與數(shù)據(jù)交互的界面。
圖2 輸電線路三維設(shè)計的云平臺系統(tǒng)
勘測數(shù)據(jù)送入云計算平臺后,可以使用計算機圖像技術(shù)將其可視化成三維的地形地貌圖,進(jìn)而輔助工程人員進(jìn)行路徑規(guī)劃、桿塔設(shè)計等工作,如圖3所示。
圖3 基于云平臺的輸電線路三維設(shè)計圖
在建立輸電線路三維數(shù)據(jù)云計算平臺的基礎(chǔ)上,可以根據(jù)《100 kV~750 kV架空輸電線路設(shè)計規(guī)范》進(jìn)行輸電線路的路徑規(guī)劃工作。輸電線路長度路徑規(guī)劃的基本原則是:在盡量縮短輸電線路路線走廊長度的前提下,還必須考慮地形地貌的條件,例如高度、坡度、覆冰、地震烈度、公路鐵路、土地利用等,從而兼顧到架設(shè)成本最優(yōu)性、架設(shè)方案的安全可靠性、對環(huán)境的友好性等因素。除此之外,架設(shè)輸電線路的路徑需避開某些特殊區(qū)域,例如不良地質(zhì)帶、災(zāi)害點、礦區(qū)、軍事設(shè)施、重要設(shè)施、城鎮(zhèn)及規(guī)劃區(qū)、重冰區(qū)、原始森林、自然保護(hù)區(qū)域風(fēng)景名勝區(qū)等。圖4為影響輸電線路規(guī)劃的成本因子結(jié)構(gòu)圖??梢园l(fā)現(xiàn),影響輸電線路路徑規(guī)劃的評價指標(biāo)分為地質(zhì)條件和避障條件兩大類,并且這兩大類的路徑規(guī)劃原則各不相同:在地質(zhì)條件評價指標(biāo)中,需兼顧距離最短和成本最低的要求,而在避障條件指標(biāo)中,需完全繞開上述區(qū)域。
圖4 影響輸電線路路徑規(guī)劃的成本因子結(jié)構(gòu)圖
輸電線路路徑規(guī)劃一般是先將輸電線路走廊地形柵格化,再對每塊柵格進(jìn)行成本因子計算,最終簡化成柵格矩陣,記作:
(1)
式中M為柵格矩陣;矩陣M中每個元素下標(biāo)i,j表示每塊地域;矩陣中的元素mij表示該地域的架設(shè)成本權(quán)重,其值可以根據(jù)圖4所列舉的成本因子,并結(jié)合南方電網(wǎng)公司《110 kV~500 kV輸電線路典型造價》(2011版本)標(biāo)準(zhǔn)計算出。由式(1)可畫出輸電線路走廊的柵格矩陣如圖5所示,其中顏色越深表示成本權(quán)重越高。特別注意的是,對于某些必須避開的特殊區(qū)域,可設(shè)置其成本權(quán)重為一極大值(具體數(shù)值需根據(jù)不同的工程情況進(jìn)行設(shè)定),如圖5中黑色方塊所示,從而使得設(shè)計的算法可以使輸電線路避開上述區(qū)域。
對圖5所示柵格矩陣基于最優(yōu)成本進(jìn)行路徑搜索,搜索動作分為8個方向,如圖6所示。傳統(tǒng)的搜索方法一般包含手動搜索法、遺傳算法或粒子群優(yōu)化算法等。
圖5 輸電線路柵格矩陣顏色圖
圖6 輸電線路規(guī)劃的動作設(shè)計
在輸電線路的路徑規(guī)劃任務(wù)中需要同時考慮地址條件和避障條件,當(dāng)規(guī)劃的柵格矩陣維度成規(guī)模增長時,會使得路徑規(guī)劃算法參數(shù)的狀態(tài)空間成指數(shù)級擴張,若使用傳統(tǒng)算法,例如遺傳算法或粒子群優(yōu)化算法時,會由于搜索維度過高從而導(dǎo)致維度災(zāi)難問題。近年來,學(xué)者們對如何解決維度災(zāi)難問題進(jìn)行了廣泛地研究,其中,分層強化學(xué)習(xí)是解決上述問題的有效方法,其以指數(shù)形式降低大規(guī)模柵格矩陣下的計算量,適合于解決三維云平臺中的輸電線路路徑規(guī)劃問題[21]。
采用分層強化學(xué)習(xí)中的MAXQ 算法進(jìn)行大規(guī)模輸電線路的路徑規(guī)劃[22],其主要思路是先基于馬爾可夫過程建立學(xué)習(xí)總?cè)蝿?wù)M,再將總?cè)蝿?wù)M分解成多個半馬爾可夫過程子任務(wù),記為{m0,m1, … ,mn},同時,將總策略π分解為多個子策略,記為{π0,π1, … ,πn},其中,子策略πi對應(yīng)子任務(wù)mi。根據(jù)分層強化學(xué)習(xí)的定義,若能保證每個子策略πi都是子任務(wù)mi的最優(yōu)策略,那么總策略π也為最優(yōu)策略,從而得到路徑最優(yōu)解。
在MAXQ算法中,每個子任務(wù)可以由三元組<πi,Ti,Ri>組成:策略πi用于從子任務(wù)mi中選擇當(dāng)前時刻t時的動作at,Ti是子任務(wù)結(jié)束的終止步驟;獎勵值Ri為子任務(wù)學(xué)習(xí)過程中當(dāng)前時刻的代價函數(shù)。當(dāng)子任務(wù)學(xué)習(xí)結(jié)束后,總體的期望代價函數(shù)Vπ(i,s′)為:
(2)
MAXQ算法的動作值函數(shù)為:
(3)
令:
(4)
可將式(3)簡化成:
Qπ(i,s,a)=Vπ(a,s)+Cπ(i,s,a)
(5)
并且每個子任務(wù)在總?cè)蝿?wù)中的價值函數(shù)投影為:
Vπ(0,s)=Vπ(at,s)+Cπ(at-1,s,an)+…+
Cπ(a1,s,a2)+Cπ(0,s,a1)
(6)
其中:
Vπ(at,s)=P(s′|s,at)R(s′|s,at)
(7)
(8)
基于MAXQ算法的最優(yōu)路徑規(guī)劃方法如圖7所示,首先建立輸電線路走廊的總柵格圖,作為路徑規(guī)劃的總?cè)蝿?wù),再將總柵格圖劃分成各個小區(qū)域,作為子任務(wù)。對每個子任務(wù)進(jìn)行最優(yōu)策略求解,從而確定最優(yōu)動作。
具體步驟為:
步驟1:初始化算法參數(shù),并令t=0;
步驟2:輸入總區(qū)域柵格圖作為當(dāng)前的觀測s,并在總柵格圖中確認(rèn)路徑規(guī)劃的起點和終點;
圖7 基于MAXQ算法的輸電線路最優(yōu)路徑規(guī)劃
步驟3:使用10 km比例尺將總柵格圖劃分成各個子區(qū)域柵格圖,并根據(jù)第2節(jié)計算每塊子區(qū)域柵格圖的粗略造價函數(shù),如圖8(a)所示,為設(shè)計方便起見,在實際工程中,再將圖8(a)投影至二維平面用做算法的輸入數(shù)據(jù),如圖8(b)所示。
圖8 10 km比例尺下的造價函數(shù)二維和三維平面圖
步驟4:將總柵格圖中的每塊子區(qū)域進(jìn)行500 m比例尺的精細(xì)劃分,從而實現(xiàn)更精確的造價函數(shù)計算,如圖9(a)所示,為設(shè)計方便起見,在實際工程中,再將圖9(a)投影至二維平面用做算法的輸入數(shù)據(jù),如圖9(b)所示。
圖9 500 m比例尺下的造價函數(shù)二維和三維平面圖
步驟5:將圖8的柵格矩陣作為總?cè)蝿?wù),在圖8下計算價值函數(shù)Vπ并執(zhí)行子任務(wù);
步驟7:完成子任務(wù)后返回總?cè)蝿?wù),直到滿足終止條件為止。
在實際工程中進(jìn)行文中算法有效性地驗證。工程為承德百萬千瓦風(fēng)電基地二期輸電線路項目,承德地區(qū)風(fēng)能資源豐富,適宜建設(shè)大中型風(fēng)電場。根據(jù)冀北電網(wǎng)規(guī)劃,擬建由龍源(棋新風(fēng)電場220 kV升壓站)至T接點(御道口變電站-木蘭變電站線路斷點)一回220 kV線路。棋新風(fēng)電場安裝單機容量為2 MW的風(fēng)電機組150臺,風(fēng)電機組采用一機一變單元接線方式,通過17回集電線路接入到新建220 kV升壓站內(nèi)3臺主變的35 kV母線,升壓至220 kV后利用原木御線木蘭側(cè)220 kV線路送出,棋新升壓站至木御線破口點的線路長度約140 km,擬采用2×JL/G1A-400 型號導(dǎo)線,木御線破口點至木蘭220 kV升壓站的線路長度約290 km,木御線導(dǎo)線型號為2×JL/G1A-400。本工程的建設(shè)可以減少化石能源消耗,對于開發(fā)利用可再生資源,貫徹國家能源發(fā)展戰(zhàn)略,推動承德地區(qū)經(jīng)濟和社會發(fā)展,實現(xiàn)我國能源的可持續(xù)發(fā)展具有重要意義。
工程中使用數(shù)字化三維勘測系統(tǒng),并在此基礎(chǔ)上分別采用文中方法和傳統(tǒng)的粒子群優(yōu)化算法進(jìn)行棋新風(fēng)電場至木御線破口點之間的輸電線路路徑規(guī)劃,圖10為輸電線路路徑規(guī)劃的比較結(jié)果。其中一條線路為使用傳統(tǒng)的粒子群優(yōu)化算法的輸電線路規(guī)劃路徑,另一條線路為使用文中方法的輸電線路規(guī)劃路徑。可以看出,兩種方法的路徑長度相差不大,然而相較于粒子群方法,文中方法跨越的不合理區(qū)域更少,這是因為粒子群優(yōu)化算法使用的比例尺為10 km,地形柵格矩陣矩陣為10×30,而文中方法所使用的比例尺為1 km,柵格矩陣為100×3 000,對地形具有更為精細(xì)地劃分和鑒別。必須說明的是,如果傳統(tǒng)的例子群算法也使用1 km的比例尺,會因為無法收斂而一直陷于計算中,從而無法輸出最優(yōu)的結(jié)果。
圖10 采用文中方法和粒子群方法的比較結(jié)果
表1分別為采用粒子群優(yōu)化算法、使用的MAXQ算法以及人工規(guī)劃方法的具體指標(biāo)比較,可以看出,采用的分層強化學(xué)習(xí)方法可以在更高精度的地形劃分條件下收斂,不會出現(xiàn)發(fā)散的問題。同時,更高精度的地形劃分使得文中方法的不合理跨越區(qū)域更少,從而降低了路徑規(guī)劃的成本。
表1 采用粒子群優(yōu)化算法、MAXQ算法以及人工規(guī)劃方法的具體指標(biāo)比較結(jié)果
為解決地形劃分精度提高而帶來的維度災(zāi)難問題,研究了一種基于分層強化學(xué)習(xí)的數(shù)字化輸電線路路徑規(guī)劃方法,建立輸電線路的三維數(shù)字化云平臺,使用不同比例尺對地形數(shù)據(jù)進(jìn)行重采樣為兩側(cè)柵格矩陣,第一層為粗粒度的柵格矩陣,第二層的細(xì)粒度柵格矩陣為第一層粗粒度柵格矩陣的進(jìn)一步劃分。再使用基于MAXQ的分層強化學(xué)習(xí)分別對兩層?xùn)鸥窬仃囘M(jìn)行路徑規(guī)劃,將粗粒度的柵格矩陣路徑規(guī)劃設(shè)為分層強化學(xué)習(xí)算法的總?cè)蝿?wù),將細(xì)粒度的柵格矩陣路徑規(guī)劃設(shè)為分層強化學(xué)習(xí)算法的子任務(wù),從而解決了細(xì)粒度柵格單元帶來的維度災(zāi)難問題,同時又保持了精確性的優(yōu)勢。實際算例表明,在地形劃分精度提高的情況下,傳統(tǒng)的路徑規(guī)劃算法會由于維度災(zāi)難導(dǎo)致不收斂,而研究的分層強化學(xué)習(xí)算法可以克服上述維度災(zāi)難問題仍能保持收斂,并使得不合理的跨越區(qū)域更少,從而降低了路徑規(guī)劃成本。