崔運(yùn)進(jìn),江 帆,黃建德,閻 峻,趙 鋒

1(華東桐柏抽水蓄能發(fā)電有限責(zé)任公司,杭州 310003)

2(國(guó)網(wǎng)新源控股有限公司,北京 100761)

截至2020年,我國(guó)抽水蓄能電站裝機(jī)規(guī)模將達(dá)4000 萬千瓦[1].隨著抽水蓄能電站規(guī)模的日益增大以及新技術(shù)、新方法的逐步應(yīng)用和成熟,為抽水蓄能電站進(jìn)一步實(shí)現(xiàn)智能化、自動(dòng)化提供了需求背景和技術(shù)基礎(chǔ).目前國(guó)內(nèi)主要發(fā)電集團(tuán)、設(shè)備制造商、科研所等相關(guān)單位均進(jìn)行了深入積極研究,并陸續(xù)建成實(shí)現(xiàn)了數(shù)據(jù)收集、控制調(diào)度、生產(chǎn)管理等較完備的自動(dòng)化體系[2].然而由于終端設(shè)備的算力存在不足,導(dǎo)致抽水蓄能電站的物聯(lián)網(wǎng)體系智能化程度不高.云計(jì)算技術(shù)在一定程度上能夠緩解終端設(shè)備計(jì)算資源不夠的問題[3],但是由于物理距離的限制,云計(jì)算技術(shù)會(huì)導(dǎo)致較高的任務(wù)處理時(shí)延.為此,邊緣計(jì)算模式應(yīng)運(yùn)而生,邊緣計(jì)算可以滿足相關(guān)應(yīng)用場(chǎng)景的低時(shí)延需求[4].邊緣計(jì)算的主要特點(diǎn)是將移動(dòng)計(jì)算、網(wǎng)絡(luò)控制和存儲(chǔ)遷移到網(wǎng)絡(luò)邊緣,以便在資源有限的移動(dòng)設(shè)備上實(shí)現(xiàn)計(jì)算密集型和延遲關(guān)鍵性應(yīng)用.與云計(jì)算相比,邊緣計(jì)算可以實(shí)現(xiàn)更低延遲、移動(dòng)設(shè)備的能耗節(jié)省、上下文感知計(jì)算以及移動(dòng)應(yīng)用隱私和安全的增強(qiáng)[5].

邊緣計(jì)算技術(shù)包含計(jì)算卸載、資源管理、移動(dòng)性管理以及安全與隱私保護(hù)4 個(gè)方面,其中計(jì)算卸載是將移動(dòng)終端的計(jì)算任務(wù)卸載到邊緣服務(wù)器上,它是邊緣計(jì)算的關(guān)鍵環(huán)節(jié)[6].并且,計(jì)算卸載是邊緣服務(wù)器進(jìn)行數(shù)據(jù)處理的有效方式,通過計(jì)算卸載策略實(shí)現(xiàn)數(shù)據(jù)分流,有效利用邊緣服務(wù)器和本地計(jì)算資源,增加數(shù)據(jù)處理效率,減少任務(wù)處理時(shí)延.邊緣計(jì)算技術(shù)通過計(jì)算卸載算法對(duì)復(fù)雜的計(jì)算任務(wù)進(jìn)行分配,被分配后的數(shù)據(jù)利用邊緣附近計(jì)算資源而不是利用本地資源,大大減少了中心云的數(shù)據(jù)處理壓力[7].

本文利用邊緣計(jì)算的概念,將邊緣計(jì)算的理念應(yīng)用到抽水蓄能電站系統(tǒng)里,提出一種基于邊緣計(jì)算的卸載算法.首先,針對(duì)終端設(shè)備不同的任務(wù)屬性信息進(jìn)行優(yōu)先級(jí)預(yù)處理,在邊緣控制器端基于深度Q 網(wǎng)絡(luò)制定任務(wù)卸載決策,然后將終端設(shè)備的計(jì)算任務(wù)遷移到邊緣服務(wù)器處進(jìn)行處理,以獲得更低的任務(wù)處理時(shí)延,并保證任務(wù)卸載決策的長(zhǎng)期有效性,從而大幅提高抽水蓄能電站中數(shù)據(jù)處理相關(guān)工作的有效性與抽水蓄能電站物聯(lián)網(wǎng)管理體系的智能化程度.

1 國(guó)內(nèi)外研究現(xiàn)狀

目前國(guó)內(nèi)外大量研究者對(duì)邊緣計(jì)算和深度Q 網(wǎng)絡(luò)進(jìn)行了深入研究.文獻(xiàn)[8]中作者提出了一種動(dòng)態(tài)的端邊協(xié)同任務(wù)調(diào)度算法,聯(lián)合優(yōu)化卸載過程中的執(zhí)行時(shí)延和傳輸能耗,動(dòng)態(tài)調(diào)整終端任務(wù)調(diào)度策略.文獻(xiàn)[9]中,作者通過數(shù)值優(yōu)化算法,提供了任務(wù)卸載過程中的最優(yōu)解.文獻(xiàn)[10]針對(duì)計(jì)算任務(wù)無差別向邊緣服務(wù)器卸載的情況,基于一維搜索算法提出最優(yōu)卸載決策.但是對(duì)于動(dòng)態(tài)變化的物聯(lián)網(wǎng)環(huán)境來說,文獻(xiàn)[9,10]的卸載決策不能保證長(zhǎng)期有效性.在文獻(xiàn)[11]中提出了一種基于DQN的多用戶單小區(qū)計(jì)算卸載與資源分配算法,聯(lián)合優(yōu)化任務(wù)執(zhí)行時(shí)延與能耗的加權(quán)和,實(shí)現(xiàn)了任務(wù)總成本的下降.

隨著抽水蓄能電站規(guī)模的不斷擴(kuò)大以及物聯(lián)網(wǎng)技術(shù)的不斷應(yīng)用,抽水蓄能電站正在進(jìn)一步地向智能化的體系轉(zhuǎn)變.文獻(xiàn)[12]對(duì)泛在電力物聯(lián)網(wǎng)下的抽水蓄能電站智慧管理模式進(jìn)行了思考,其中泛在物聯(lián)網(wǎng)提出了全息感知、泛在連接、開放共享、融合創(chuàng)新的技術(shù)路線,對(duì)目前抽水蓄能電站的智能化發(fā)展進(jìn)一步提供了思路.文獻(xiàn)[13]提出一種多能耦合協(xié)同的新一代抽水蓄能電站,極大地增強(qiáng)了傳統(tǒng)抽水蓄能電站的綜合效益性能.文獻(xiàn)[14]研究了關(guān)于抽水蓄能電站自動(dòng)化系統(tǒng)智能化發(fā)展,分析了自動(dòng)化系統(tǒng)框架的結(jié)構(gòu),實(shí)現(xiàn)將抽水蓄能電站各并聯(lián)電力機(jī)組加以高度集成化、互動(dòng)化控制,使其在智能電網(wǎng)中發(fā)揮更為顯著的應(yīng)用效用.文獻(xiàn)[15]中基于國(guó)網(wǎng)新源控股有限公司正在建設(shè)的物聯(lián)網(wǎng)架構(gòu),對(duì)智慧管控平臺(tái)進(jìn)一步提出了設(shè)想,該平臺(tái)建設(shè)并完善了信息采集、數(shù)據(jù)處理、智能分析等功能,形成了共享、互聯(lián)的智能管控系統(tǒng).文獻(xiàn)[16]針對(duì)能源管理,信息管理和安全性等多個(gè)不同領(lǐng)域的電網(wǎng)架構(gòu)進(jìn)行了分析,同時(shí)對(duì)邊云協(xié)同技術(shù)的應(yīng)用進(jìn)行了全面調(diào)研,論證了相應(yīng)技術(shù)在這些領(lǐng)域的效性與可靠性,為智能電網(wǎng)的發(fā)展指明了方向.文獻(xiàn)[17]將集成信息系統(tǒng)引入抽水蓄能電站的生產(chǎn)管理中做出了嘗試,并提出相應(yīng)的技術(shù)方案,有效解決抽水蓄能電站的生產(chǎn)管理任務(wù).文獻(xiàn)[18]介紹了小型光伏抽水蓄能系統(tǒng)的設(shè)計(jì)和頻率控制,提出了系統(tǒng)的雙重用途和智能控制方法.其中儲(chǔ)罐設(shè)計(jì)計(jì)算是針對(duì)傳統(tǒng)用水進(jìn)行的,進(jìn)行計(jì)算是為了預(yù)測(cè)每個(gè)設(shè)計(jì)情況下的發(fā)電量,進(jìn)而在不同運(yùn)行條件下,采用非線性PID 控制器和神經(jīng)網(wǎng)絡(luò)進(jìn)行頻率控制.

2 系統(tǒng)模型

本文所提出的系統(tǒng)模型應(yīng)用于抽水蓄能電站生產(chǎn)活動(dòng)中,該系統(tǒng)包含電站物聯(lián)網(wǎng)終端設(shè)備及邊緣設(shè)備.在智能電網(wǎng)的應(yīng)用場(chǎng)景中,電網(wǎng)對(duì)抽水蓄能機(jī)組的安全等級(jí)、響應(yīng)方式及速度等提出了新的要求,電站物聯(lián)網(wǎng)終端設(shè)備會(huì)產(chǎn)生各種各樣的計(jì)算密集型任務(wù).如果按照傳統(tǒng)的方式將計(jì)算任務(wù)上傳至云服務(wù)器,會(huì)產(chǎn)生較大的處理時(shí)延,影響電站的正常運(yùn)轉(zhuǎn).為優(yōu)化處理程序,減小任務(wù)執(zhí)行時(shí)延,本文將計(jì)算任務(wù)卸載至邊緣服務(wù)器進(jìn)行處理.如圖1所示,該系統(tǒng)包含3 個(gè)層面:終端層,邊緣層和控制層.其中,終端層包含大量進(jìn)行數(shù)據(jù)采集任務(wù)的傳感器以及對(duì)數(shù)據(jù)進(jìn)行匯總的終端設(shè)備,邊緣層為一組高計(jì)算性能的邊緣服務(wù)器.在該系統(tǒng)架構(gòu)中,終端設(shè)備將收集的數(shù)據(jù)匯總并形成對(duì)應(yīng)的計(jì)算任務(wù)后,由于受限與自身較弱的計(jì)算能力,終端設(shè)備會(huì)將最大容忍時(shí)延、計(jì)算復(fù)雜度、數(shù)據(jù)量大小等任務(wù)屬性信息上傳至邊緣控制器,之后由邊緣控制器制定相應(yīng)的卸載算法決定哪些終端設(shè)備的計(jì)算任務(wù)可以卸載至邊緣服務(wù)器.

2.1 終端任務(wù)模型

本文假設(shè)抽水蓄能電站廠區(qū)的終端設(shè)備集合表示為K={1,2,···,k,···,K},邊緣層的邊緣服務(wù)器集合表示為E={1,2,···,e,···,E},第k個(gè)終端設(shè)備在第i個(gè)時(shí)隙產(chǎn)生的計(jì)算任務(wù)表示為Ci,k=(Vi,k,Di,k,Γi,k,Pi,k,e),其中Vi,k表示任務(wù)的計(jì)算復(fù)雜度,單位為比特/輪(bit/cycle),Di,k表示計(jì)算任務(wù)的數(shù)據(jù)量大小,單位為比特(bit),Γi,k表示計(jì)算任務(wù)的最大可容忍時(shí)延,其單位為毫秒(ms),Pi,k為邊緣控制器給該任務(wù)制定的卸載決策,其中Pi,k,e=0表示本地執(zhí)行,Pi,k=1表示計(jì)算任務(wù)被卸載至邊緣服務(wù)器e執(zhí)行.同時(shí)我們?cè)O(shè)定廠區(qū)的終端設(shè)備本地計(jì)算能力為fkl,單位為轉(zhuǎn)/秒(cycle/s).邊緣服務(wù)器的功率設(shè)為pe,計(jì)算資源表示為F={fe,k|e∈E,k∈K},且滿足約束其中fe,k＞0表示終端設(shè)備k卸載到邊緣服務(wù)器e后被分配的計(jì)算能力,單位為轉(zhuǎn)/秒(cycle/s).最后本文假設(shè)無論是在本地或者卸載執(zhí)行,計(jì)算任務(wù)的相關(guān)屬性信息保持不變,一旦任務(wù)執(zhí)行時(shí)延超過最大容忍時(shí)延,則將該次任務(wù)標(biāo)記為執(zhí)行失敗.

2.2 本地計(jì)算模型

如果廠區(qū)的終端設(shè)備k選擇本地執(zhí)行任務(wù)Ci,k,則計(jì)算任務(wù)的本地執(zhí)行時(shí)延可表示為:

在本地計(jì)算中,任務(wù)的執(zhí)行速率可以表示為:

同時(shí)由文獻(xiàn)[19]可知,若終端設(shè)備的能耗系數(shù)為α,則終端設(shè)備k執(zhí)行任務(wù)的能耗可以表示為:

2.3 卸載計(jì)算模型

若終端設(shè)備k采用卸載方式執(zhí)行計(jì)算任務(wù),則該過程可分為3 段:任務(wù)上傳、任務(wù)執(zhí)行、執(zhí)行結(jié)果下載.

首先在任務(wù)上傳過程中,本文將當(dāng)前終端設(shè)備上傳帶寬設(shè)定為Bk,信道傳輸噪聲設(shè)定為N0,無線信道增益設(shè)定為gk,終端設(shè)備發(fā)射功率為pk,則上傳速率可表示為:

上傳時(shí)延表示為:

在任務(wù)執(zhí)行過程中,計(jì)算任務(wù)的執(zhí)行時(shí)延我們可以表示為:

本文將任務(wù)結(jié)果下載過程的執(zhí)行時(shí)延忽略不計(jì),因此終端設(shè)備k在任務(wù)卸載過程中的執(zhí)行時(shí)延可以表示為:

能耗表示為:

3 基于邊緣計(jì)算的任務(wù)分發(fā)卸載方案

3.1 任務(wù)優(yōu)先級(jí)劃分

由于計(jì)算任務(wù)屬性的不同,其所需的計(jì)算資源也不一樣,本文基于層次分析法(Analytic Hierarrchy Process,AHP)[20]對(duì)計(jì)算任務(wù)進(jìn)行預(yù)處理,給計(jì)算復(fù)雜度更高、最大容忍時(shí)延更小的計(jì)算任務(wù)賦予更高的權(quán)重,從而為邊緣控制器制定卸載決策更合理的依據(jù).

本文將計(jì)算任務(wù)復(fù)雜度Vi,k、最大容忍時(shí)延Γi,k、數(shù)據(jù)量大小Di,k作為計(jì)算任務(wù)權(quán)重系數(shù)的3 個(gè)考量因素,其重要程度依次下降.首先,可以得到評(píng)價(jià)因素判斷矩陣A=(aij)3×3,如式(1)所示:

然后根據(jù)方根法可以求得矩陣對(duì)應(yīng)的權(quán)重向量元素.如式(10)所示:

根據(jù)式(10),可以得到廠區(qū)所有終端設(shè)備計(jì)算任務(wù)的權(quán)重矢量矩陣:

接著如式(9)構(gòu)造出目標(biāo)層與準(zhǔn)則層之間的判斷矩陣B1,B2,B3=(aij)k×k,并求出判斷矩陣B的權(quán)重向量,如式(12)所示:

最后,根據(jù)式(13)可得到廠區(qū)所有終端設(shè)備計(jì)算任務(wù)的權(quán)重向量:

3.2 問題建立

在3.1 節(jié)中,本文選取了計(jì)算最大容忍時(shí)延、任務(wù)復(fù)雜度、數(shù)據(jù)量大小3 個(gè)因素對(duì)終端的計(jì)算任務(wù)進(jìn)行了預(yù)處理,其重要性依次下降,得到了對(duì)應(yīng)的計(jì)算權(quán)重.因此考慮以邊緣服務(wù)器計(jì)算資源及能耗為約束、以時(shí)延為優(yōu)化目標(biāo)建模時(shí),具體問題可以如下表示:

其中,約束2 (C2)、約束4 (C4)分別表示邊緣服務(wù)器分配的計(jì)算資源以及任務(wù)執(zhí)行總能耗不可超過限定值.

3.3 基于深度強(qiáng)化學(xué)習(xí)的卸載決策制定

式(13)是一個(gè)典型的混合整數(shù)非線性規(guī)劃問題,多項(xiàng)式時(shí)間內(nèi)無法用常規(guī)的數(shù)值優(yōu)化方法求出[21].對(duì)于需要?jiǎng)討B(tài)監(jiān)測(cè)的抽水蓄能電站而言,本文考慮采用深度強(qiáng)化學(xué)習(xí)對(duì)問題進(jìn)行求解,將邊緣控制器作為智能體,協(xié)調(diào)廠區(qū)內(nèi)的所有邊緣服務(wù)器.在本節(jié)中,我們首先對(duì)強(qiáng)化學(xué)習(xí)三要素進(jìn)行建模.

(1)狀態(tài)

在本文中,考慮到邊緣服務(wù)器剩余計(jì)算資源隨著終端計(jì)算任務(wù)卸載決策的變化而變化,將邊緣服務(wù)器在每個(gè)時(shí)隙開始時(shí)具有的剩余計(jì)算資源設(shè)定為當(dāng)前狀態(tài),表示如式(15):

其中,S(t)表示第t個(gè)時(shí)隙的狀態(tài)空間,se(t)表示邊緣服務(wù)器e在第t個(gè)時(shí)隙開始時(shí)剩余的計(jì)算資源.

(2)動(dòng)作

本文訓(xùn)練算法采用Double DQN,其核心迭代算法使用的是Q 學(xué)習(xí)算法[22].由式(13)可知,本文主要優(yōu)化的變量分別為邊緣控制器的卸載決策以及邊緣服務(wù)器的計(jì)算資源分配決策,因此將動(dòng)作向量定義為;

其中,P表示邊緣控制器制定的卸載決策向量,fk表示邊緣服務(wù)器分配給第k個(gè)終端設(shè)備的計(jì)算資源,pk表示第k個(gè)終端的發(fā)射功率.

(3)獎(jiǎng)勵(lì)

邊緣控制器可以通過獎(jiǎng)勵(lì)值的期望來對(duì)未來動(dòng)作進(jìn)行規(guī)劃,其目標(biāo)是最大化當(dāng)前獎(jiǎng)勵(lì)值.結(jié)合本文應(yīng)用場(chǎng)景,我們計(jì)算任務(wù)的本地執(zhí)行速率與上傳速率的加權(quán)和作為獎(jiǎng)勵(lì)函數(shù),定義如下:

接下來可以得到該問題的長(zhǎng)期累積獎(jiǎng)勵(lì),表示為:

在本文中,動(dòng)作、狀態(tài)值、獎(jiǎng)勵(lì)值存放于回訪記憶單元中,通過Q 學(xué)習(xí)算法經(jīng)歷多個(gè)迭代過程來反復(fù)訓(xùn)練Q 值網(wǎng)絡(luò),最后得到最佳卸載決策,可以表示為:

本文算法流程描述如算法1 所示.

算法1.任務(wù)卸載算法輸入:終端設(shè)備計(jì)算任務(wù)的計(jì)算復(fù)雜度V、數(shù)據(jù)總量D 及最大容忍時(shí)延,終端設(shè)備的上傳功率p.根據(jù)式(9)～式(13)得到每個(gè)計(jì)算任務(wù)的優(yōu)先級(jí)W,即計(jì)算任務(wù)的計(jì)算資源分配權(quán)重.輸出:終端設(shè)備計(jì)算任務(wù)的卸載決策P.Γ 1.初始化經(jīng)驗(yàn)池存儲(chǔ)空間容量并且用隨機(jī)權(quán)重 初始化動(dòng)作-價(jià)值函數(shù).2.for each episode:S(t)θ Qπ(s,a)3.初始化狀態(tài).4.for each iteration:ε a=maxQ(s,a;θ)5.以的概率選擇隨機(jī)動(dòng)作,否則選擇潛在回報(bào)最大的動(dòng)作.;6.執(zhí)行動(dòng)作a,得到獎(jiǎng)勵(lì)值R與S'.7.將放入經(jīng)驗(yàn)池中,并從經(jīng)驗(yàn)池中選取最小批次數(shù)量的經(jīng)驗(yàn)對(duì)Double DQN 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以更新權(quán)值.θ θ 8.每隔L 步,將評(píng)估網(wǎng)絡(luò)的權(quán)值 復(fù)制給目標(biāo)網(wǎng)絡(luò).9.如果是終止?fàn)顟B(tài),結(jié)束本輪迭代過程10.end for 11.end for

4 實(shí)驗(yàn)分析

本節(jié)通過Python 編程語言對(duì)本文算法進(jìn)行仿真以評(píng)估算法性能.本文考慮抽水蓄能電站中有單小區(qū)多邊緣服務(wù)器場(chǎng)景.基站覆蓋范圍內(nèi)部署一個(gè)邊緣服務(wù)器,且覆蓋范圍內(nèi)抽水蓄能電站廠區(qū)的終端設(shè)備均勻分布,其中邊緣控制器能夠調(diào)度所有基站及邊緣服務(wù)器資源.假定每個(gè)基站覆蓋范圍為1000 m,每個(gè)終端設(shè)備計(jì)算能力為1 GHz,邊緣服務(wù)器最大計(jì)算資源為5 GHz.終端設(shè)備計(jì)算功率為3 W,發(fā)射功率為0.3 W,攜帶的計(jì)算任務(wù)數(shù)據(jù)大小(以兆比特為單位)服從[0,2]的均勻分布,計(jì)算任務(wù)復(fù)雜度(以兆輪為單位)服從[900,1100]的均勻分布.下面將本文算法分別與全部本地計(jì)算、全部卸載計(jì)算、Q 學(xué)習(xí)算法進(jìn)行比較.

圖2為平均總延遲與抽水蓄能電站廠區(qū)的終端設(shè)備待處理的計(jì)算任務(wù)數(shù)據(jù)大小的關(guān)系.任務(wù)的總延遲隨著輸入數(shù)據(jù)大小的增加而增加.在數(shù)據(jù)量最大時(shí),本文算法相比較于Q 學(xué)習(xí)算法延遲減少了300 ms.分析可知,一方面我們引入了邊緣計(jì)算,提高了系統(tǒng)的計(jì)算容量,能夠優(yōu)化任務(wù)執(zhí)行效率.另一方面,基于DQN 算法,可以根據(jù)環(huán)境變化自適應(yīng)制定卸載決策,最大化利用系統(tǒng)資源,并保證卸載決策的長(zhǎng)期有效性,對(duì)抽水蓄能電站的物聯(lián)網(wǎng)體系智能化建設(shè)有著較大的幫助.

圖2 總延遲和任務(wù)數(shù)據(jù)大小的關(guān)系

在圖3中,本文以任務(wù)復(fù)雜度作為變量,對(duì)Q 學(xué)習(xí)算法和本文算法進(jìn)行了比較.從圖3可以看出,隨著任務(wù)計(jì)算復(fù)雜度的上升,卸載決策的制定變得更加艱難,任務(wù)執(zhí)行失敗概率都隨之增加.但是本文算法的任務(wù)執(zhí)行失敗概率低于Q 學(xué)習(xí)算法,同時(shí)本文算法執(zhí)行失敗率的上升趨勢(shì)也明顯低于Q 學(xué)習(xí)算法,這是因?yàn)楸疚乃惴▽?duì)抽水蓄能電站廠區(qū)終端設(shè)備所有的計(jì) 算任務(wù)做了自適應(yīng)優(yōu)先級(jí)預(yù)處理,給優(yōu)先級(jí)更高的計(jì)算任務(wù)分配了更多的計(jì)算資源,使計(jì)算任務(wù)執(zhí)行成功概率更高,提高卸載決策正確率,有效減小了廠區(qū)終端設(shè)備計(jì)算任務(wù)執(zhí)行時(shí)延,從而能夠使得抽水蓄能電站能夠在邊緣側(cè)完成一系列控制調(diào)度、自動(dòng)化監(jiān)測(cè)等時(shí)延敏感型應(yīng)用的部署.

圖3 3 種情況下總延遲不滿足要求發(fā)生的概率

5 結(jié)論與展望

面向抽水蓄能電站中終端設(shè)備最大容忍時(shí)延及最大能耗約束的情況,本文提出了一種基于邊緣計(jì)算的任務(wù)卸載算法.通過引入邊緣計(jì)算,在完成終端自身攜帶計(jì)算任務(wù)的優(yōu)先級(jí)處理后,邊緣控制器通過DQN 算法制定卸載決策,以最小化終端設(shè)備的任務(wù)執(zhí)行時(shí)延.通過對(duì)該算法的大量仿真分析及數(shù)值驗(yàn)證,本文所提出的任務(wù)卸載算法在不同的情景下都優(yōu)于傳統(tǒng)的方案.今后的研究將會(huì)考慮對(duì)DQN的訓(xùn)練算法進(jìn)行相應(yīng)改進(jìn),同時(shí)抽水蓄能電站中復(fù)雜的無線電干擾等環(huán)境因素也會(huì)加以綜合考慮.