賈澤晗,于子淇,石 珵,廖海君,周振宇,孫 健,白暉峰,張 頡

(1.華北電力大學(xué)新能源電力系統(tǒng)國家重點實驗室,北京 102206;2.北京智芯微電子科技有限公司,北京 100192;3.國網(wǎng)四川省電力公司電力科學(xué)研究院,四川 成都 610041)

0 引言

智慧園區(qū)通過物聯(lián)網(wǎng)、大數(shù)據(jù)等新一代信息技術(shù)手段實現(xiàn)園區(qū)產(chǎn)業(yè)發(fā)展智能化。能源系統(tǒng)是智慧園區(qū)的重要基礎(chǔ)設(shè)施,其低碳運行是實現(xiàn)“3060”雙碳目標(biāo)、構(gòu)建新型電力系統(tǒng)的重要環(huán)節(jié)[1]。數(shù)字孿生通過部署大量物聯(lián)終端采集海量實時信息,為實現(xiàn)智慧能源管理提供數(shù)據(jù)支撐和精確指導(dǎo)[2]。然而,基于數(shù)字孿生的能源管理模型構(gòu)建需頻繁的數(shù)據(jù)交互,使園區(qū)面臨隱私和安全威脅。

聯(lián)邦學(xué)習(xí)是保障能源管理模型構(gòu)建中數(shù)據(jù)交互安全性和隱私性的有效方法,其通過解耦模型訓(xùn)練與原始數(shù)據(jù)上傳解決隱私泄露問題,保障數(shù)字孿生能源管理模型構(gòu)建的安全性[3],其核心機理為允許終端利用本地數(shù)據(jù)分布式地訓(xùn)練能量管理本地模型,并將訓(xùn)練好的本地模型上傳至中心控制器進行聯(lián)邦聚合訓(xùn)練,從而獲得能量管理全局模型。文獻[4-5]提出將聯(lián)邦學(xué)習(xí)與數(shù)字孿生相結(jié)合,解決了模型訓(xùn)練與隱私保護之間的沖突。文獻[6]采用統(tǒng)一的認(rèn)證機制對源數(shù)據(jù)進行安全管理,對于擴展智慧園區(qū)的安全應(yīng)用場景具有重要意義?；诼?lián)邦學(xué)習(xí)的能源管理模型構(gòu)建需要調(diào)度合適的終端接入基站進行能源管理本地模型訓(xùn)練,以提高能源管理全局模型的精度。然而,終端接入調(diào)度還需解決如下技術(shù)挑戰(zhàn)。

首先,異質(zhì)物聯(lián)終端具有差異化計算能力,需要優(yōu)化接入調(diào)度來提高長期能源管理全局模型訓(xùn)練精度。其次,智慧園區(qū)電磁干擾、噪聲,會導(dǎo)致模型參數(shù)傳輸錯誤,惡化能源管理模型的精度。最后,不同業(yè)務(wù)終端具有差異化的接入需求,需要建立長期的接入優(yōu)先級約束,以滿足重要終端的接入需求。

數(shù)字孿生通過提供能量、計算資源、信道特性等狀態(tài)信息估計,能夠輔助進行接入調(diào)度優(yōu)化[7]。文獻[8-9]提出了基于數(shù)字孿生的邊緣網(wǎng)絡(luò),并利用數(shù)字孿生輔助強化學(xué)習(xí)完成終端接入調(diào)度。然而,上述文獻忽略了電磁干擾、噪聲對模型參數(shù)傳輸?shù)挠绊?。文獻[10]分析了電磁干擾、噪聲等因素對全局模型精度的影響,并通過優(yōu)化功率控制、資源塊分配和終端接入調(diào)度降低全局模型損失函數(shù),但忽略了長期接入優(yōu)先級約束。

因此,針對上述問題,本文基于聯(lián)邦學(xué)習(xí)的智慧園區(qū)數(shù)字孿生框架,構(gòu)建園區(qū)高精度能源管理模型,并提出了一種基于數(shù)字孿生和深度Q 網(wǎng)絡(luò)(Deep Q Network,DQN)的終端接入調(diào)度算法。優(yōu)化目標(biāo)是在長期接入優(yōu)先級的約束下,通過優(yōu)化終端接入調(diào)度最小化能源管理模型損失函數(shù)。結(jié)合李雅普諾夫優(yōu)化與DQN 算法求解上述優(yōu)化問題,并利用數(shù)字孿生完成關(guān)鍵狀態(tài)信息估計,提高學(xué)習(xí)性能。最后通過仿真分析驗證所提算法的有效性。

1 系統(tǒng)模型構(gòu)建

基于聯(lián)邦學(xué)習(xí)的智慧園區(qū)數(shù)字孿生架構(gòu)如圖1所示,目的是通過數(shù)字孿生輔助聯(lián)邦學(xué)習(xí)構(gòu)建一個智慧園區(qū)的能源管理模型。其中,基于聯(lián)邦學(xué)習(xí),物聯(lián)終端訓(xùn)練能源管理本地模型,并將訓(xùn)練后的模型參數(shù)經(jīng)由園區(qū)基站上傳至邊緣服務(wù)器。邊緣服務(wù)器聚合收集到的終端能量管理本地模型,以獲得能源管理全局模型。數(shù)字孿生通過與物聯(lián)終端實時交互,以構(gòu)建智慧園區(qū)的數(shù)字化表示。同時,數(shù)字孿生為智慧園區(qū)能源管理模型構(gòu)建提供實時狀態(tài)估計,輔助接入調(diào)度決策,提高能源管理模型精度。

圖1 基于聯(lián)邦學(xué)習(xí)的智慧園區(qū)數(shù)字孿生架構(gòu)

具體來說,該架構(gòu)主要包含3層,即終端層、邊緣層和數(shù)字孿生層。在終端層,每個電力物聯(lián)終端執(zhí)行能源管理本地模型訓(xùn)練過程,并將模型參數(shù)和終端接入優(yōu)先級、能量、計算資源等信息上傳到邊緣層。邊緣層由基站、邊緣服務(wù)器和能源管理中心組成,邊緣服務(wù)器根據(jù)收集的本地模型參數(shù)進行邊緣聚合,以構(gòu)建能源管理全局模型,為智慧園區(qū)能源管理、分布式能源出力預(yù)測、柔性負(fù)荷調(diào)控和儲能調(diào)控等業(yè)務(wù)提供支撐。數(shù)字孿生層在邊緣服務(wù)器上構(gòu)建,通過與終端實時交互,即收集終端上傳的接入優(yōu)先級、能量、計算資源等信息,保持與物理網(wǎng)絡(luò)同步[11]。同時,數(shù)字孿生可以為邊緣服務(wù)器提供智慧園區(qū)狀態(tài)信息估計,指導(dǎo)能源管理模型構(gòu)建與終端接入調(diào)度優(yōu)化。數(shù)字孿生輔助聯(lián)邦學(xué)習(xí)的智慧園區(qū)能源管理模型構(gòu)建主要包含能源管理全局模型下發(fā)、能源管理本地模型訓(xùn)練、模型參數(shù)上傳和邊緣聚合等過程。

1.1 能源管理全局模型下發(fā)及本地模型訓(xùn)練

考慮智慧園區(qū)中有I個終端,集合表示為U={u1,u2,…,u I}。將總時間周期劃分為χ次迭代,集合定義為T={1,2,…,χ}。假設(shè)信道狀態(tài)信息在一次迭代過程中保持不變,而在不同迭代間發(fā)生變化[12]?？紤]到智慧園區(qū)終端數(shù)量龐大,受傳輸資源的限制,邊緣服務(wù)器無法同時調(diào)度所有終端進行模型參數(shù)上傳,需要優(yōu)化接入調(diào)度決策,選擇合適的終端參與能源管理本地模型訓(xùn)練,以提高能源管理全局模型的精度。假設(shè)基站在每次迭代可以調(diào)度N?I個終端進行模型上傳。定義第t次迭代可用終端集合為S(t)∈U。定義終端接入調(diào)度指示變量為x i(t)∈{0,1},x i(t)=1表示終端u i計劃在第t次迭代進行模型參數(shù)上傳,否則x i(t)=0。分別定義終端u i在第t次迭代訓(xùn)練的本地模型與全局模型,分別為v i(t)和v g(t)。被調(diào)度終端u i下載第t-1次迭代的能源管理全局模型作為本地模型M i,并將M i的參數(shù)設(shè)為全局模型參數(shù),即v i(t-1)=v g(t-1)。

定義D i為終端u i用于訓(xùn)練本地模型M i的數(shù)據(jù)集?？紤]到終端間數(shù)據(jù)的異構(gòu)性,本文采用上采樣或下采樣等方法首先對各終端數(shù)據(jù)集進行均衡化處理,保障終端信息模型的一致性。定義ζj和?j為數(shù)據(jù)集D i中單樣本的輸入和目標(biāo)輸出。單樣本損失函數(shù)l(v i(t-1),ζj,?j)用于表示實際輸出與目標(biāo)輸出之間的偏差。因此,u i在數(shù)據(jù)集D i上的損失函數(shù)可以計算為

式中:d i為數(shù)據(jù)集D i中的樣本數(shù)量。損失函數(shù)可以反映本地模型的精度,并指導(dǎo)參數(shù)v i(t)的更新,即

式中:μ為學(xué)習(xí)速率。

1.2 模型參數(shù)上傳及數(shù)據(jù)包錯誤率模型

在第t次迭代,當(dāng)x i(t)=1時,u i將本地模型參數(shù)v i(t)和接入優(yōu)先級、能量、計算資源等狀態(tài)信息上傳至邊緣服務(wù)器。一方面,u i上傳本地模型參數(shù)用于構(gòu)建能源管理全局模型;另一方面,u i上傳狀態(tài)信息用于保證數(shù)字孿生與物理網(wǎng)絡(luò)同步。然而,智慧園區(qū)環(huán)境中強電磁干擾和噪聲會導(dǎo)致模型參數(shù)傳輸錯誤[13]。因此,邊緣服務(wù)器采用循環(huán)冗余校驗檢測接收到模型參數(shù)的數(shù)據(jù)包是否發(fā)生錯誤。包錯誤率表示為

式中:k為與編碼增益有關(guān)的常數(shù);δ和I i(t)分別為噪聲功率和電磁干擾功率;H i(t)為信道增益;P i(t)為傳輸功率。定義二進制指示變量a i(t)∈{0,1},a i(t)=1表示終端u i在傳輸中沒有發(fā)生包錯誤,否則a i(t)=0。a i(t)計算為

1.3 邊緣聚合

當(dāng)所有調(diào)度終端完成模型參數(shù)上傳后,邊緣服務(wù)器執(zhí)行邊緣聚合過程,獲得能源管理全局模型。能源管理全局模型聚合公式為

采用全局損失函數(shù)[14]來量化能源管理全局模型的精度,能源管理全局模型的損失函數(shù)表示為

2 問題建模與轉(zhuǎn)化

2.1 接入優(yōu)先級約束

根據(jù)業(yè)務(wù)重要性和服務(wù)質(zhì)量要求,終端具有不同的接入優(yōu)先級。在聯(lián)邦學(xué)習(xí)過程中,接入優(yōu)先級高的終端需完成足夠次數(shù)的本地訓(xùn)練和參數(shù)傳輸,以確保能源管理模型充分掌握其運行特征。長期接入優(yōu)先級約束定義為

式中:e i為選擇u i進行本地訓(xùn)練和參數(shù)傳輸次數(shù)的最小概率。

2.2 能源管理模型損失函數(shù)最小化問題建模

本文旨在利用聯(lián)邦學(xué)習(xí)技術(shù),在數(shù)字孿生的輔助下,通過優(yōu)化電力物聯(lián)終端接入調(diào)度策略,構(gòu)建智慧園區(qū)能源管理模型。優(yōu)化目標(biāo)為在接入優(yōu)先級的長期約束下,最小化智慧園區(qū)能源管理模型損失函數(shù)。定義x=(x i(t)∶u i∈S(t),t∈T)為終端接入調(diào)度向量,優(yōu)化問題建模為

式中:C1和C2為基站最多可以同時調(diào)度N個終端上傳模型參數(shù);C3為長期接入優(yōu)先級約束。

基于文獻[10]中的推導(dǎo)可知,對于給定的傳輸功率,能源管理模型的損失函數(shù)取決于數(shù)據(jù)包錯誤率和終端接入調(diào)度決策,因此優(yōu)化式(8)可等價轉(zhuǎn)化為

2.3 問題轉(zhuǎn)化

由于短期的終端調(diào)度決策與長期優(yōu)化目標(biāo)和約束相耦合,轉(zhuǎn)化后式(9)難以直接求解?；诶钛牌罩Z夫優(yōu)化中虛擬隊列[15]的概念可以實現(xiàn)長期約束和短期終端調(diào)度優(yōu)化的解耦。長期接入優(yōu)先級約束C3可以轉(zhuǎn)化為隊列穩(wěn)定性約束,定義接入優(yōu)先級赤字虛擬隊列為K i(t),其更新計算為

K i(t)表征了終端u i在第t個時隙實際接入性能與規(guī)定約束之間的偏差。如果K i(t)是平均速率穩(wěn)定的,那么C3自動滿足。式(9)可以轉(zhuǎn)化為

定義向量A(t)=[K i(t)],李雅普諾夫函數(shù)可表示為

李雅普諾夫漂移定義為李雅普諾夫函數(shù)在連續(xù)2次迭代的條件期望變化[16],表示為

為實現(xiàn)智慧園區(qū)能源管理模型損失函數(shù)在隊列穩(wěn)定性約束下的最小化,定義漂移加懲罰為

式中:V為平衡優(yōu)化式(11)與隊列穩(wěn)定性的權(quán)重參數(shù)。因此,式(11)可以轉(zhuǎn)化為在C1~C2約束下,最小化ΔVL[A(t)]的上界問題,表示為

式中:C為常數(shù),不影響李雅普諾夫優(yōu)化。因此,式(11)轉(zhuǎn)化為

可以看出,通過最小化李雅普諾夫漂移加懲罰的上界,可以在滿足隊列穩(wěn)定性的同時最小化懲罰,即在滿足終端長期接入優(yōu)先級約束的前提下,最小化智慧園區(qū)能源管理模型損失函數(shù)。

3 基于數(shù)字孿生和DQN的終端接入調(diào)度優(yōu)化

3.1 MDP建模

本文提出基于數(shù)字孿生和DQN 的終端接入調(diào)度算法來求解轉(zhuǎn)優(yōu)化后的式(16)。首先,接入調(diào)度問題可以建模為馬爾科夫決策過程(Markov Decision Process,MDP)模型,其關(guān)鍵元素包括狀態(tài)空間、動作空間與成本函數(shù)[17]。

1)狀態(tài)空間。狀態(tài)可以通過數(shù)字孿生估計獲得。定義K(t)={K1(t),…,K i(t),…,K I(t)}、H′(t)={H′1(t),…,H′i(t),…,H′I(t)}、I′(t)={I′1(t),…,I′i(t),…,I′I(t)}。其中H′i(t)和I′i(t)分別表示由數(shù)字孿生估計的信道增益和電磁干擾估計值。狀態(tài)空間定義為G(t)={K(t),H′(t),I′(t)}。

2)動作空間。動作空間定義為終端接入調(diào)度指示變量x i(t)的集合,即A(t)={x1(t),…,x i(t),…,x I(t)}。

3)成本函數(shù)。成本函數(shù)定義為θ(t)。

3.2 DQN 算法

DQN 在Q-learning 的基礎(chǔ)上發(fā)展而來,是將深度學(xué)習(xí)與強化學(xué)習(xí)結(jié)合起來,從而實現(xiàn)從感知到動作的端對端學(xué)習(xí)的一種新的算法。Q-learning適用于狀態(tài)和動作空間是離散且維數(shù)不高的優(yōu)化問題求解,其估計了在狀態(tài)s下選擇動作a的價值,即Q值[18],計算為

式中:η、R、γ和s′分別為學(xué)習(xí)速率、回報值、折扣因子和下一狀態(tài)。在每次迭代,Q-learning 基于估計的Q值,利用ε-貪婪算法完成動作選擇。

Q-learning使用Q 表儲存每個狀態(tài)、動作對的Q值。然而,當(dāng)狀態(tài)和動作空間是高維連續(xù)時,需要大量的存儲資源來存儲每個狀態(tài)、動作對的所有Q值,導(dǎo)致Q-learning 實用性差和效率低。因此,針對維度詛咒問題,考慮到深度神經(jīng)網(wǎng)絡(luò)自動提取復(fù)雜特征的強大能力,本文利用DQN 將Q表的更新問題轉(zhuǎn)換成一個函數(shù)擬合問題,其概念是利用深度神經(jīng)網(wǎng)絡(luò)將狀態(tài)和動作之間的映射關(guān)系近似到Q值,而不是直接計算和存儲它們。具體來說,DQN 通過更新深度神經(jīng)網(wǎng)絡(luò)參數(shù)v(t),使Q函數(shù)逼近最優(yōu)Q值,即

式中:ρ為策略,即狀態(tài)和動作之間的映射。

3.3 基于數(shù)字孿生和DQN 的終端接入調(diào)度算法

本文采用數(shù)字孿生和DQN 求解智慧園區(qū)能源管理模型構(gòu)建的電力物聯(lián)終端接入調(diào)度問題。其中,數(shù)字孿生用于為DQN 調(diào)度決策提供精準(zhǔn)狀態(tài)估計。DQN 可以利用深度神經(jīng)網(wǎng)絡(luò)從歷史數(shù)據(jù)中提取特征,并基于估計的Q值學(xué)習(xí)最優(yōu)策略。如圖2所示,本文所提基于數(shù)字孿生和DQN 的終端接入調(diào)度算法主要包含接入調(diào)度決策、模型下載、本地訓(xùn)練、本地模型參數(shù)上傳和邊緣聚合。

圖2 基于數(shù)字孿生和DQN的終端接入調(diào)度算法框架

首先,初始化虛擬隊列積壓和接入調(diào)度指示變量為0。在每次迭代初,邊緣服務(wù)器基于數(shù)字孿生提供的狀態(tài)信息,估計動作Q值Q[G(t),v(t)],并選擇終端進行參數(shù)傳輸,獲得接入調(diào)度策略π(t)。

其次,被選擇終端u i∈π(t)下載能源管理全局模型v g(t-1),利用本地數(shù)據(jù)集執(zhí)行本地訓(xùn)練,并將訓(xùn)練后的模型參數(shù)傳輸?shù)交?。在此基礎(chǔ)上,根據(jù)公式(10)更新K i(t+1)。

隨后,基于收集到的模型參數(shù),邊緣服務(wù)器執(zhí)行邊緣聚合過程,獲得能源管理全局模型v g(t)。根據(jù)公式(16)計算成本θ(t),并將數(shù)字孿生轉(zhuǎn)移至下一狀態(tài)G(t+1),即

最后,邊緣服務(wù)器計算DQN 損失函數(shù)為

基于梯度下降法[19],DQN 網(wǎng)絡(luò)參數(shù)v(t)更新為

式中:η為DQN 學(xué)習(xí) 速率。

本文提出基于數(shù)字孿生和DQN 的終端接入調(diào)度算法的算法表如下所示,包含初始化、決策和學(xué)習(xí)3個階段。

算法表 基于數(shù)字孿生和DQN 的終端接入調(diào)度算法

1)輸入:I,χ,N,V,{K i(t)};

2)輸出:x;

3)階段一:初始化

4)設(shè)置K i(t)=0,x i(t)=0,θ(t)=0,?u i∈U,?t∈T;

5)循環(huán)while≤χ。

6)階段二:決策

7)邊緣服務(wù)器基于數(shù)字孿生提供的狀態(tài)信息,估計動作Q值Q(G(t),v(t)),并選擇終端進行參數(shù)傳輸,獲得接入調(diào)度策略π(t);

8)foru i∈π(t);

9)終端u i下載能源管理全局模型v g(t-1),利用本地數(shù)據(jù)集執(zhí)行本地訓(xùn)練,并將訓(xùn)練后的模型參數(shù)傳輸?shù)交?

10)根據(jù)公式(10)更新K i(t+1);

11)end for

12)邊緣服務(wù)器執(zhí)行邊緣聚合過程,獲得能源管理全局模型v g(t);

13)根據(jù)公式(16)計算成本θ(t),并將數(shù)字孿生轉(zhuǎn)移至下一狀態(tài)G(t+1)。

14)階段三:學(xué)習(xí)

15)邊緣服務(wù)器根據(jù)公式(20)計算DQN 損失函數(shù)?;

16)邊緣服務(wù)器根據(jù)公式(21)更新DQN 網(wǎng)絡(luò)參數(shù)v(t);

17)t=t+1;

18)end while

本文所提基于數(shù)字孿生和DQN 的終端接入調(diào)度算法能夠?qū)崿F(xiàn)終端接入優(yōu)先級感知。由公式(10)可以看出,當(dāng)終端u i被選擇進行本地訓(xùn)練和參數(shù)傳輸?shù)拇螖?shù)與規(guī)定約束偏離嚴(yán)重時,K i(t)逐漸增加,導(dǎo)致成本函數(shù)θ(t)增加,迫使基站調(diào)整接入調(diào)度策略,從而實現(xiàn)接入優(yōu)先級感知,滿足終端接入需求。

4 仿真分析

本文以智慧園區(qū)電動汽車儲能能量調(diào)控為場景,園區(qū)光伏總裝機容量為600 k W,園區(qū)內(nèi)包含100個電力物聯(lián)終端,用于采集電流、電壓等信息,并參與能源管理模型訓(xùn)練。基于文獻[20]中提供的園區(qū)負(fù)荷以及分布式光伏出力數(shù)據(jù),訓(xùn)練分布式能源管理模型。本文通過仿真分析驗證所提基于數(shù)字孿生和DQN 的終端接入調(diào)度算法的性能,對比算法為基于上置信界的終端接入調(diào)度算法,其在長期接入優(yōu)先級約束下,通過優(yōu)化終端接入調(diào)度以最小化迭代時延,但是未考慮包錯誤對能源管理模型訓(xùn)練的影響[21]。

仿真參數(shù)設(shè)置如表1所示。能源管理模型損失函數(shù)隨迭代次數(shù)的變化情況見圖3。當(dāng)χ=300時,相較于對比算法,所提算法的損失函數(shù)降低了41.89%。這是因為所提算法利用循環(huán)冗余校驗緩解了包錯誤對損失函數(shù)最小化的不利影響。除此之外,相較于對比算法,基于數(shù)字孿生輔助的DQN 更適合解決較大狀態(tài)空間優(yōu)化問題。

表1 仿真參數(shù)

圖3 能源管理模型損失函數(shù)隨迭代次數(shù)的變化情況

接入優(yōu)先級赤字對比見圖4。接入優(yōu)先級赤字即虛擬隊列K i(t)的隊列積壓,其表征了終端實際接入性能與規(guī)定要求之間的偏差。與對比算法相比,所提算法降低了56.74%的接入優(yōu)先級赤字波動。雖然對比算法也具有接入優(yōu)先級感知,但是所提算法在數(shù)字孿生的輔助下性能更優(yōu)。這是由于數(shù)字孿生為DQN 提供了對關(guān)鍵狀態(tài)信息的準(zhǔn)確預(yù)測,從而提高了學(xué)習(xí)性能。

圖4 不同算法接入優(yōu)先級赤字對比

能源管理模型損失函數(shù)與接入優(yōu)先級赤字隨權(quán)重V的變化情況見圖5。由仿真結(jié)果可以看出,隨著V的增大,所提算法越來越關(guān)注損失函數(shù)最小化而忽略接入優(yōu)先級性能,因此損失函數(shù)逐漸降低,接入優(yōu)先級赤字逐漸上升。此仿真結(jié)果為實際應(yīng)用中V參數(shù)值的設(shè)置提供了參考,通過合理設(shè)置V參數(shù)值可以實現(xiàn)損失函數(shù)與接入優(yōu)先級赤字的有效折中。

圖5 能源管理模型損失函數(shù)與接入優(yōu)先級赤字隨V 的變化情況

能源管理模型損失函數(shù)與接入優(yōu)先級赤字隨N的變化情況見圖6。其中,柱狀圖表示能源管理模型損失函數(shù)變化情況,折線圖表示接入優(yōu)先級赤字變化情況。仿真結(jié)果表明,隨著可調(diào)度終端數(shù)量N的增加,所提算法和對比算法的能源管理模型損失函數(shù)與接入優(yōu)先級赤字均減小。一方面,基站能夠調(diào)度更多的終端參與能源管理本地模型訓(xùn)練和參數(shù)上傳,降低了能源管理模型損失函數(shù);另一方面,N增加使每個終端被調(diào)度的幾率增加,終端的長期接入優(yōu)先級約束得以保障。由仿真結(jié)果可以看出,所提算法性能始終優(yōu)于對比算法。當(dāng)N=24時,相較于對比算法,所提算法降低能源管理模型損失函數(shù)17.62%,降低接入優(yōu)先級赤字49.63%。這是由于所提算法利用循環(huán)冗余校驗緩解了包錯誤對損失函數(shù)最小化的不利影響,同時利用數(shù)字孿生為DQN 提供了準(zhǔn)確的狀態(tài)信息預(yù)測。

圖6 能源管理模型損失函數(shù)與接入優(yōu)先級赤字隨N 的變化情況

能源管理模型應(yīng)用于園區(qū)電動汽車儲能能量調(diào)控時的性能對比見圖7。圖中余電量表示園區(qū)光伏出力與負(fù)荷之間的不平衡量?？紤]將訓(xùn)練后的能源管理模型應(yīng)用于電動汽車充放電調(diào)度,其中負(fù)值表示電動汽車放電量、正值表示電動汽車充電量。由仿真結(jié)果可以看出,相比于對比算法,基于所提算法訓(xùn)練的能源管理模型性能更優(yōu),其調(diào)控電量與余電量吻合度更高、調(diào)控誤差更低,平均調(diào)控性能提高了46.06%,驗證了所提算法的有效性。

圖7 能量調(diào)控性能對比

5 結(jié)論

本文提出了一種基于聯(lián)邦學(xué)習(xí)的智慧園區(qū)數(shù)字孿生框架,以構(gòu)建園區(qū)能源管理模型。在此基礎(chǔ)上,提出了一種基于數(shù)字孿生和DQN 的終端接入調(diào)度算法,通過優(yōu)化電力物聯(lián)終端接入調(diào)度策略,實現(xiàn)了能源管理模型損失函數(shù)的最小化。仿真結(jié)果表明,與基于上置信界的接入調(diào)度算法相比,所提算法能夠降低智慧園區(qū)能源管理模型損失函數(shù)41.89%,降低終端接入優(yōu)先級赤字波動56.74%,減小平均調(diào)控誤差46.06%。該研究為智慧園區(qū)低碳運行、新型電力系統(tǒng)建設(shè)和智慧城市建設(shè)提供理論支撐。本文的主要研究總結(jié)如下。

1)高精度能源管理模型。本文基于數(shù)字孿生實現(xiàn)智慧園區(qū)狀態(tài)信息估計,利用DQN 算法完成電力物聯(lián)終端精準(zhǔn)調(diào)度,實現(xiàn)能源管理模型長期損失函數(shù)最小化。同時,本文采用循環(huán)冗余校驗檢測錯誤模型參數(shù),進一步提高能源管理模型的精度。

2)接入優(yōu)先級感知。本文將長期接入優(yōu)先級約束轉(zhuǎn)化為隊列穩(wěn)定性約束,通過最小化接入優(yōu)先級虛擬隊列赤字,實現(xiàn)接入優(yōu)先級感知。

然而,本文只考慮了通過物聯(lián)終端接入調(diào)度實現(xiàn)智慧園區(qū)數(shù)字孿生的構(gòu)建,未考慮網(wǎng)絡(luò)中通信、計算、緩存等資源的優(yōu)化對數(shù)字孿生精度的影響;網(wǎng)絡(luò)環(huán)境中的干擾、信道狀態(tài)等信息的新鮮度對數(shù)字孿生的優(yōu)化同樣重要。因此在未來研究中,將進一步考慮多維資源的聯(lián)合優(yōu)化以及信息新鮮度對能源管理模型的影響。