劉 剛 （上海理工大學(xué) 管理學(xué)院，上海200093）

0 引言

2016年初，國(guó)家發(fā)改委、能源局和工信部發(fā)布了《關(guān)于推進(jìn)“互聯(lián)網(wǎng)+”智慧能源發(fā)展的指導(dǎo)意見》，表示我國(guó)現(xiàn)在即將開始建設(shè)能源物聯(lián)網(wǎng)，泛在電力物聯(lián)網(wǎng)作為能源物聯(lián)網(wǎng)的一部分，是泛在物聯(lián)在電力行業(yè)的具體表現(xiàn)形式。隨著信息技術(shù)的高速發(fā)展，智能網(wǎng)絡(luò)終端（如智能音箱、智能家居、其他電力終端等設(shè)備）開始進(jìn)入人們的生活，以泛在電力物聯(lián)網(wǎng)為節(jié)點(diǎn)的互聯(lián)設(shè)備的出現(xiàn)，使得泛在終端設(shè)備承載數(shù)據(jù)急劇增加。泛在電力物聯(lián)網(wǎng)絡(luò)設(shè)備可以滿足智能化感知、個(gè)性化服務(wù)、信息化運(yùn)維等應(yīng)用場(chǎng)景，當(dāng)前的泛在電力物聯(lián)網(wǎng)既有電力的互聯(lián)互通，也有信息的互聯(lián)互通，因此可以通過(guò)“大云物移智鏈”技術(shù)，實(shí)現(xiàn)對(duì)泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度。

國(guó)內(nèi)外的學(xué)者對(duì)泛在物聯(lián)網(wǎng)開展了深入的研究，文獻(xiàn)[1]主要是在泛在物聯(lián)網(wǎng)體系架構(gòu)的背景下研究了物聯(lián)網(wǎng)的基礎(chǔ)框架與構(gòu)成，而對(duì)于泛在電力物聯(lián)網(wǎng)絡(luò)協(xié)同調(diào)度應(yīng)用方面的研究不足。例如，文獻(xiàn)[2-3]探討了泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)采集計(jì)算感知能力以及能源協(xié)同發(fā)展體系架構(gòu)，但沒有考慮到數(shù)據(jù)間的協(xié)同應(yīng)用問(wèn)題。文獻(xiàn)[4-5]從電力負(fù)荷角度考慮了電力資源調(diào)度問(wèn)題，但僅考慮到電網(wǎng)資源間的調(diào)度，沒有研究電力資源上下游資源配置問(wèn)題。

與傳統(tǒng)電力網(wǎng)絡(luò)調(diào)度不同，泛在電力物聯(lián)網(wǎng)將電力資源調(diào)度擴(kuò)展至整個(gè)電力網(wǎng)上下游，使得整個(gè)電力網(wǎng)絡(luò)終端以及發(fā)電機(jī)構(gòu)，經(jīng)由信息技術(shù)處理有力地銜接起來(lái)，從而打造出萬(wàn)物互聯(lián)的電力物聯(lián)網(wǎng)的應(yīng)用場(chǎng)景，通過(guò)電力網(wǎng)上下游的信息互聯(lián)，實(shí)現(xiàn)信息化電力網(wǎng)資源的高效實(shí)時(shí)調(diào)度。目前，泛在電力網(wǎng)協(xié)同調(diào)度智能終端的研究已經(jīng)出現(xiàn)，如中國(guó)移動(dòng)與國(guó)網(wǎng)黑龍江電力公司合作推行智能5G終端多變?nèi)诤险{(diào)度的解決方案，實(shí)現(xiàn)電力資源上云實(shí)時(shí)監(jiān)控狀態(tài)，打造出“平臺(tái)+AI+生態(tài)”一體化的智能協(xié)同調(diào)度技術(shù)路線可以滿足不同產(chǎn)業(yè)間的資源配置需求，從而突破電力網(wǎng)絡(luò)資源配給滯后的問(wèn)題。文獻(xiàn)探討了泛在電力物聯(lián)網(wǎng)的生態(tài)發(fā)展路徑，助推了電力產(chǎn)業(yè)信息技術(shù)加速升級(jí)。以往的研究中沒有從互聯(lián)互通背景的上下游電力物聯(lián)網(wǎng)的調(diào)度與應(yīng)用方面進(jìn)行研究，因此，基于上述分析，本文提出面向泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度方法，并引入改進(jìn)的強(qiáng)化學(xué)習(xí)Q-learning算法作為調(diào)度求解方法。

1 面向泛在物聯(lián)網(wǎng)協(xié)同調(diào)度模型

1.1 面向泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度模型。進(jìn)入萬(wàn)物互聯(lián)時(shí)代，為了合理并及時(shí)地滿足產(chǎn)品用電需求，需要強(qiáng)大的業(yè)務(wù)計(jì)算能力以保證承載設(shè)備的正常用電調(diào)度請(qǐng)求。本文構(gòu)建了上游電力供方和下游設(shè)備需方二者間的泛在電力物聯(lián)供網(wǎng)需求雙側(cè)技術(shù)規(guī)劃路線圖（如圖1所示），通過(guò)電網(wǎng)協(xié)同調(diào)度平臺(tái)描述了設(shè)備互聯(lián)過(guò)程中的實(shí)際路徑演化。

設(shè)上游供方可提供的電力資源為m，通過(guò)風(fēng)力、火力、水力等不同類型的發(fā)電設(shè)備提供能源并接入整個(gè)電力資源需求的互聯(lián)網(wǎng)絡(luò)；設(shè)下游需求方為n，由需要電力資源的海量物聯(lián)網(wǎng)設(shè)備組成，具體主要有大型工廠、個(gè)人居民、城市公用設(shè)施等。其中m,n=｛1,2,3,…,p｝為自然數(shù)組合。

在對(duì)上下游物聯(lián)網(wǎng)設(shè)備進(jìn)行調(diào)度過(guò)程中，為了保證調(diào)度業(yè)務(wù)操作的合規(guī)性對(duì)任務(wù)調(diào)度執(zhí)行進(jìn)行如下條件約束：（1）在進(jìn)行任意一次的上下游業(yè)務(wù)調(diào)度不受外界因素干擾，上游提供的方案可以為下游需求完成調(diào)度；（2）在完成一次任務(wù)調(diào)度過(guò)程中，能源供給受單次服務(wù)條件影響，一次僅能匹配一個(gè)服務(wù)窗口，并且上游m提供的能源mp與下游n所需的電力np相對(duì)應(yīng)；（3）對(duì)于mp供方調(diào)度順序不作限制；（4）依據(jù)時(shí)間次序依次調(diào)度。綜上得到泛在電力物聯(lián)網(wǎng)任務(wù)調(diào)度數(shù)學(xué)規(guī)劃模型：

圖1 智能電網(wǎng)協(xié)同調(diào)度平臺(tái)

式中：公式（1）是調(diào)度函數(shù)，Z表示泛在電力物聯(lián)網(wǎng)的最小化最大調(diào)度時(shí)間耗時(shí)。公式（2）是調(diào)度設(shè)定的條件約束，xmn表示任務(wù)調(diào)度下游用電資源n對(duì)上游發(fā)電企業(yè)m進(jìn)行資源完工所耗用的加工時(shí)間，tmn表示其資源配置所用時(shí)間，β∈∞且ymhn表示上游發(fā)電網(wǎng)絡(luò)對(duì)下游用戶需求的任務(wù)調(diào)度先后關(guān)系；公式（3）表示任務(wù)調(diào)度的限定約束，以協(xié)同上下游之間的調(diào)度問(wèn)題為目的，wmbn表示上游發(fā)電網(wǎng)絡(luò)m與上游發(fā)電網(wǎng)絡(luò)b在下游電力需求端口n的先后調(diào)度順序；公式（4）用于表示完成一次電力資源調(diào)度所需要的時(shí)間約束；公式（5）表示ymhn與wmbn的取值關(guān)系，其中ymhn=1表示上游發(fā)電網(wǎng)h先于發(fā)電網(wǎng)n對(duì)下游用戶m提供資源分配，以進(jìn)行調(diào)度，wmbn=1表示上游發(fā)電網(wǎng)b先于發(fā)電網(wǎng)n對(duì)下游用戶m進(jìn)行資源調(diào)度分配，反之，則ymhn,wmbn=0。公式（6）表示數(shù)值h,b對(duì)電力資源的需求等候序列編號(hào)，其取值范圍是從1到p的自然數(shù)。

1.2 基于Q-learning算法的泛在電力網(wǎng)調(diào)度目標(biāo)函數(shù)。泛在電力物聯(lián)網(wǎng)的上下游供需資源配置，進(jìn)行事先設(shè)定若干個(gè)調(diào)度執(zhí)行流程以及與之對(duì)應(yīng)的5個(gè)運(yùn)行情況如表1所示。其中約束1表示調(diào)度電力資源需求延后的情景；約束2表示對(duì)資源調(diào)度時(shí)間損耗最小的需求情景；約束3表示當(dāng)前電力資源調(diào)度情景；約束4表示電力資源調(diào)度中時(shí)間損耗最大的情景；約束5表示當(dāng)前無(wú)調(diào)度需求情景。

考慮到電力資源調(diào)度過(guò)程中可能遇到當(dāng)前無(wú)可調(diào)度的執(zhí)行狀態(tài)以及滿足調(diào)度需求的可執(zhí)行等候情景。對(duì)于兩種不同的調(diào)度執(zhí)行動(dòng)作有不同的策略方案，但是Q-learning算法并沒有上述兩種情景的直接應(yīng)對(duì)解決思路，因此本文根據(jù)表1列出的5種調(diào)度流程執(zhí)行標(biāo)準(zhǔn)來(lái)進(jìn)行智能匹配可能出現(xiàn)的資源配給。根據(jù)電力資源上游發(fā)電網(wǎng)絡(luò)對(duì)下游電力需求用戶的雙邊資源匹配協(xié)同，給出如下兩種獎(jiǎng)懲舉措：

（1）電力資源均衡下的資源調(diào)度流程執(zhí)行的效率越高，得到的獎(jiǎng)勵(lì)因素越高

表1 調(diào)度流程執(zhí)行標(biāo)準(zhǔn)

其中：DC代指工序調(diào)度執(zhí)行一個(gè)周期的完工效率：TFT表示完成一個(gè)調(diào)度周期總用時(shí)間；ET表示單次調(diào)度完工所用的時(shí)間?？梢缘玫絋FT與ET呈負(fù)相關(guān)變化趨勢(shì)，在TFT總用時(shí)不變的狀態(tài)下，單次ET用時(shí)越短，意味著此次調(diào)度執(zhí)行效率越高。

泛在電力物聯(lián)網(wǎng)電力資源協(xié)同調(diào)度過(guò)程中，上游電力供應(yīng)商有不同的發(fā)電操作形式，在某一發(fā)電網(wǎng)絡(luò)出現(xiàn)故障時(shí)，可能存在著電力供給任務(wù)先后延遲的現(xiàn)象，因此合理地預(yù)估這種情況的發(fā)生，對(duì)于控制調(diào)度完工時(shí)間把握很是必要。此外，在調(diào)度配給時(shí)，有效完成一次資源調(diào)度所花費(fèi)的時(shí)間是不少于實(shí)際固定資源調(diào)度時(shí)間的消耗。消耗的時(shí)間與固定需求時(shí)間匹配值越高，表示此次調(diào)度方案執(zhí)行的可行性越高。

（2）電力資源均衡下的資源調(diào)度流程執(zhí)行時(shí)間成本越大，懲罰越大

研究了均衡任務(wù)調(diào)度下的執(zhí)行效率值，對(duì)評(píng)判單次任務(wù)調(diào)度的信用值提供了參考。但同時(shí)在方案實(shí)際應(yīng)用中，又存在著一些其他成本缺失，因此構(gòu)建一個(gè)與獎(jiǎng)勵(lì)措施對(duì)應(yīng)的懲罰機(jī)制尤為必要。在調(diào)度初始狀態(tài)下來(lái)自下游用戶端需求不確定性因素的漸增，保證現(xiàn)有上游電力資源的正常供給是需要實(shí)現(xiàn)的舉措，從而確保整個(gè)調(diào)度環(huán)節(jié)的正常運(yùn)轉(zhuǎn)，本文構(gòu)建了公式（8）所示的獎(jiǎng)懲機(jī)制函數(shù)：

其中：SCT表示當(dāng)前調(diào)度狀態(tài)剩余操作時(shí)間，用TFT-SCT表示當(dāng)前任務(wù)調(diào)度時(shí)間；CP表示此次任務(wù)調(diào)度的完工狀態(tài)，對(duì)實(shí)際任務(wù)調(diào)度完工執(zhí)行情況用當(dāng)前任務(wù)調(diào)度時(shí)間與當(dāng)前調(diào)度操作時(shí)間的比值來(lái)表示，1.0×10-6×CP2表示任務(wù)調(diào)度的一個(gè)獎(jiǎng)懲函數(shù)因子。由此可知在接近任務(wù)調(diào)度的末端環(huán)節(jié)，引發(fā)懲罰機(jī)制的幾率相對(duì)任務(wù)調(diào)度開始階段會(huì)高出很多，因此執(zhí)行合理的任務(wù)調(diào)度是不容忽視的重要節(jié)點(diǎn)。

2 算例應(yīng)用

2.1 算例參數(shù)。以某一地區(qū)發(fā)電網(wǎng)上游3種形式發(fā)電機(jī)組組成的電力資源站點(diǎn)為下游用戶組提供匹配需求。具體的數(shù)據(jù)參數(shù)如下，上游有x=15個(gè)電力資源站點(diǎn)可提供資源調(diào)度；y=10個(gè)下游需求電力資源的用戶組，構(gòu)成x*y=15×10的矩陣。電力資源供需調(diào)度數(shù)據(jù)集如表2所示：

表2 電力資源供需調(diào)度數(shù)據(jù)集

其中（xi, yj）表示第i行、第j列的數(shù)據(jù)調(diào)度需求，以具體數(shù)值（x1,y3）=（6,7 2）為例，其代表的意思是第1個(gè)電力資源站點(diǎn)為第3個(gè)下游需求電力資源的用戶組提供資源，資源完工所耗用的加工時(shí)間為6個(gè)時(shí)間單位成本，資源配置所用時(shí)間為72個(gè)時(shí)間單位成本；數(shù)據(jù)集（x9,y7）=（5,3 5）代表著第9個(gè)電力資源站點(diǎn)為第7個(gè)下游需求電力資源的用戶組提供資源，資源完工所耗用的加工時(shí)間為5個(gè)時(shí)間單位成本，資源配置所用時(shí)間為35個(gè)時(shí)間單位成本。

2.2 算例求解。由于數(shù)據(jù)集調(diào)度的求解流程過(guò)于復(fù)雜，通過(guò)Python軟件編程進(jìn)行求解。通過(guò)不斷地迭代更新逐步逼近理想值，在經(jīng)歷5 000次迭代可以達(dá)到較優(yōu)結(jié)果（如圖2所示）；在cost time=860s開始，從2 400代開始迭代進(jìn)程至結(jié)束第5 000代時(shí)始終保持不變，從而獲得最優(yōu)解。從圖3所示迭代變化歷程來(lái)看，從第800代開始迭代持續(xù)到達(dá)第2 000代時(shí)cost time=1 400s始終保持不變，從而獲得最優(yōu)解。

2.3 算例對(duì)比分析。為了保證所提的Q-learning算法對(duì)論文求解調(diào)度的廣泛適用性，本文通過(guò)引入其他算法進(jìn)行直觀對(duì)比驗(yàn)證。這里使用鯨魚算法進(jìn)行同樣迭代5 000次，在相同的數(shù)據(jù)集（表2）進(jìn)行結(jié)果論證，其結(jié)果對(duì)比如表3所示。

圖2 電力調(diào)度Reward獎(jiǎng)懲迭代趨勢(shì)圖

圖3 電力調(diào)度時(shí)間cost-time曲線迭代變化

表3 不同算法結(jié)果對(duì)比驗(yàn)證

如上所述，通過(guò)數(shù)據(jù)集表2進(jìn)行算法結(jié)果驗(yàn)證，可以得到如表3所示的分析結(jié)果，對(duì)比改進(jìn)的Q-learning算法求解而言，傳統(tǒng)Q-learning算法用時(shí)為920、鯨魚優(yōu)化算法用時(shí)為914，據(jù)此可以基本確定本文所提的改進(jìn)的Q-learning算法模型更為理想，滿足帕累托最優(yōu)求解理論，對(duì)泛在電力物聯(lián)網(wǎng)下的電力資源上下游資源配置是合理有效的。

3 結(jié)束語(yǔ)

本文探討了產(chǎn)業(yè)中的電力資源物聯(lián)網(wǎng)的上下游資源調(diào)度與應(yīng)用問(wèn)題，通過(guò)構(gòu)建泛在電力物聯(lián)網(wǎng)的調(diào)度模型，并使用改進(jìn)的Q-learning算法進(jìn)行求解，解決了泛在電力物聯(lián)網(wǎng)資源的分工不均、電網(wǎng)資源的信息傳輸滯后等問(wèn)題。