姚楠， 劉子全， 秦劍華， 王真， 朱雪瓊

(國網(wǎng)江蘇省電力有限公司電力科學研究院， 南京 210000)

電力物聯(lián)網(wǎng)是物聯(lián)網(wǎng)技術在智能電網(wǎng)中的推廣應用新產物，其有效整合利用通信和電力系統(tǒng)基礎設施資源[1]。一方面，智能電網(wǎng)通信系統(tǒng)要求低延遲和可靠性[2]；另一方面，輸電線路在線實時監(jiān)測要求數(shù)據(jù)傳輸?shù)牡湍芎暮蛯崟r性[3]。云計算可滿足大量數(shù)據(jù)處理與計算，但由于傳輸延時無法滿足低延時和實時性的要求。移動邊緣計算(mobile edge computing，MEC)克服了云計算的缺點，能夠提供低能耗、低時延計算能力，滿足智能電網(wǎng)新興應用服務的需求[4]。

用戶設備通過無線基站將所需計算任務傳輸至云端和MEC服務器，計算結果傳輸至用戶設備，實現(xiàn)次任務卸載操作。在具有大量卸載任務時，優(yōu)化卸載決策和資源分配來降低能耗或時延成本是實現(xiàn)高效任務卸載的關鍵[5]。胡海洋等[6]針對不合理的任務卸載造成用戶設備高能耗及卸載任務高延時問題，提出了實時任務卸載算法，以任務截止時間為限制條件，最小化用戶設備能耗和延時。張鵬等[7]為了兼顧卸載任務時延和能耗完成系統(tǒng)的聯(lián)合卸載決策，提出了基于深度強化學習的多智能體調度策略，實現(xiàn)了自適應地調整上傳邊緣側或進行本地計算的策略選擇。張海波等[8]針對超密集組網(wǎng)的移動邊緣計算卸載任務，采用坐標下降法和貪婪算法，提出了考慮總能耗的卸載決策和資源分配優(yōu)化方法，得到用戶設備最優(yōu)發(fā)送功率。

在用戶設備計算資源量日趨增加的情況下，需要云端和邊緣計算服務器協(xié)同完成計算任務，提高相對低時延、低能耗服務。由于云端和邊緣計算網(wǎng)絡傳輸和計算任務的特點，需要優(yōu)化配置卸載任務滿足用戶設備需求。盧海峰等[9]提出了利用深度強化學習算法優(yōu)化任務卸載策略，通過對比任務卸載策略的能耗、延遲及平均執(zhí)行時間等指標，得到基于長短期記憶網(wǎng)絡和事后經(jīng)驗回放算法具有較好的效果。吳學文等[10]提出了一種基于博弈論的任務卸載決策和資源分配方案，構建云邊協(xié)同系統(tǒng)中的效用最大化問題，使緊急用戶具有更高的效用和更低的時延。張鳳荔等[11]提出了基于Rainbow深度Q網(wǎng)絡(deep Q-learning network, DQN)算法邊云協(xié)同串行任務卸載算法，實現(xiàn)了邊云協(xié)同的任務動態(tài)分配處理和任務分配卸載策略最優(yōu)化。

以上相關學者對優(yōu)化卸載任務以降低能耗或時延成本進行相關研究，為進一步深入研究奠定了基礎。但有關云邊協(xié)同的研究方面，基于深度強化學習的資源配置和卸載策略優(yōu)化的相關研究報道較少。為了解決傳統(tǒng)卸載模型僅涉及用戶設備和邊緣計算資源，而在云端資源利用上存在局限性的問題，通過有效利用計算任務時延、能耗及計算資源配置，提出了基于深度強化學習算法的計算任務卸載策略和資源配置優(yōu)化算法，建立了邊云協(xié)同的時延、能耗及能效模型，研究了用戶設備數(shù)量、任務量、任務優(yōu)先級等對時延、能耗及能效的影響。為更有效的實現(xiàn)云邊協(xié)同卸載策略和資源配置優(yōu)化提供了科學依據(jù)。

1 系統(tǒng)架構及模型

1.1 系統(tǒng)架構

任務卸載和資源配置系統(tǒng)模型包括多個用戶設備、1個無線基站(base station, BS)配置1臺MEC服務器、1臺云端服務器，如圖1所示。用戶設備包括手機、電腦及查詢設備等具有有限處理能力的終端設備；MEC服務器用于低延時數(shù)據(jù)處理以及為用戶設備和云端服務器提供資源分配和任務卸載工作；云端服務器包含性能強大的物理服務器，具有超強計算能力，但相對于MEC服務器網(wǎng)絡延時較長。

圖1 系統(tǒng)架構

1.2 系統(tǒng)模型

系統(tǒng)模型包括用戶設備及任務、卸載策略、資源分配等。用戶設備集合U可表示為

U={1,2,…,i,…,N}，i∈U

(1)

每個用戶i的參數(shù)元組表示為{i,Wi,Ci,Di,Ti}，其中Wi表示用戶設備計算任務，Ci表示以CPU周期數(shù)為單位的計算負載，Di表示以比特為單位的用戶設備傳輸至計算服務器的數(shù)據(jù)量，Ti表示計算任務要求最大時延。

任務完成實施方式為用戶設備、MEC服務器及云端服務器，任務卸載策略集合G可表示為

i∈U,j∈S}

(2)

S={l, m, c}

(3)

資源分配包括上行鏈路分配和計算資源分配，上行鏈路分配P可表示為

P={pi|0

(4)

式(4)中：pi為用戶設備i的上行發(fā)射功率，dBm；pmax為用戶設備最大上行發(fā)射功率，dBm。

由于云端計算資源強大，不會限制計算任務量，因此僅考慮MEC計算資源分配，可表示為

(5)

2 能效函數(shù)模型

2.1 時延與能耗模型

時延是計算任務完成質量的一項重要評價指標，時延指的是計算任務發(fā)出請求開始到任務全部完成所需時間，對于時延要求苛刻的計算任務，需要保證計算任務時延滿足應用要求。針對用戶設備、MEC服務器及云端服務器建立了時延模型，用于卸載策略和資源配置優(yōu)化建模分析。

能耗是評價計算任務能量消耗的指標，同樣是計算任務完成質量的一個重要指標。能耗主要由CPU的執(zhí)行任務和閑置的能耗、無線傳輸時的能耗組成，建立了用戶設備、MEC服務器及云端服務器系統(tǒng)能耗模型，用于卸載策略和資源配置優(yōu)化建模分析。

2.1.1 用戶設備執(zhí)行

(6)

(7)

式(7)中：κ為芯片結構的能量系數(shù)。

2.1.2 MEC服務器執(zhí)行

(8)

將非正交多址作為上行鏈路中的多址接入方案，以滿足5G的連接要求[14]。則上行傳輸數(shù)據(jù)速率表示為[12]

(9)

Ii=∑pkhk

(10)

式中：B為基站信道帶寬，MHz；pi為用戶設備i的上行鏈路傳輸功率，dBm；hi為用戶設備i與基站的信道增益；Ii為信道內其他用戶設備對用戶設備i的干擾；σ為噪聲功率，dBm；pk為其他用戶設備的上行鏈路傳輸功率，dBm；hk為其他用戶設備與基站的信道增益。

(11)

2.1.3 云端服務器執(zhí)行

用戶設備i將計算任務卸載到云端服務器，需同時考慮數(shù)據(jù)從基站發(fā)送至云端服務器的上行鏈路傳輸時間、輸出結果從云端服務器返回至基站的下行傳輸時間及云端服務器執(zhí)行計算時間。時延可表示為

(12)

云端服務器能耗模型與MEC服務器的能耗模型相同，均來自于上行鏈路能耗。

2.2 資源分配模型

當用戶設備i將其計算任務卸載到MEC服務器時，計算資源分配問題可表示為

(13)

優(yōu)先級系數(shù)λi可表示為[15]

(14)

式(14)中：qi為用戶設備i的緊急程度；qth為用戶設備緊急程度閾值。

盡管云端服務器總是有足夠的計算資源，但應考慮降低計算資源成本，也需要優(yōu)化資源分配。云計算資源分配問題可表示為

(15)

式(15)中：cc為云服務器上的單位計算資源成本。

2.3 能效函數(shù)模型

采用時延、能耗及資源分配模型，以線性加權的方式來規(guī)劃目標函數(shù)，即能效函數(shù)。能效函數(shù)可表示為

(16)

式(16)中：ti、Ei、fi分別為計算時延、能耗、資源分配；μt、μe、μf分別為時延、能耗、資源分配權重。

由式(16)可知，能效函數(shù)是時延、能耗及資源配置歸一化加權得到的無量綱函數(shù)，同樣計算環(huán)境和邊界條件下，能效函數(shù)值越小，表明卸載策略和資源配置越優(yōu)越。

3 基于DQN的優(yōu)化算法

3.1 DQN算法

深度Q網(wǎng)絡作為深度強化學習的一種改進網(wǎng)絡，其核心思想是通過環(huán)境狀態(tài)和輸出動作互動，然后獲取獎勵，利用神經(jīng)網(wǎng)絡訓練輸出作為值函數(shù)近似結果，采用經(jīng)驗回放來儲存上一步經(jīng)歷的數(shù)據(jù)，更新參數(shù)時選取其中的一部分數(shù)據(jù)使用，DQN算法如圖2所示。采用的DQN更新Loss函數(shù)方式為

圖2 DQN算法

(17)

在更新Loss函數(shù)后將更新結果存入經(jīng)驗池的過程，所采用的方法為優(yōu)先經(jīng)驗值回放，根據(jù)Loss函數(shù)決定該項采樣的權值，權值可表示為

(18)

式(18)中：ω為采用權值；γ為權值的折扣因子；w為優(yōu)先經(jīng)驗回放的優(yōu)先級因子。

DQN獎勵函數(shù)可表示為

(19)

3.2 優(yōu)化算法

結合能效函數(shù)模型，建立基于DQN算法的卸載策略和資源分配優(yōu)化模型。當MEC服務器通過基站接收到某個用戶設備發(fā)送的任務卸載請求后，首先獲取當前系統(tǒng)狀態(tài)，通過計算用戶設備優(yōu)先級獲得權重向量，可以根據(jù)當前系統(tǒng)狀態(tài)得到最優(yōu)的卸載策略和資源配置。綜上，基于DQN算法的卸載策略和資源分配優(yōu)化模型計算步驟如下(其中Δθ為網(wǎng)絡參數(shù)變化量)。

輸入：狀態(tài)、計算資源及任務集合；

輸出：動作決策值(任務卸載和資源分配策略)；

初始化卸載決策及動作空間；

for each iteration

初始化狀態(tài)Sτ，預處理MEC服務器對任務資源分配的變量φτ=φ(Sτ)；

for each step：

執(zhí)行動作Aτ；

計算得到獎勵Rτ和下一步狀態(tài)Sτ+1；

設置Sτ+1=Sτ，φτ+1=φ(Sτ+1)

存放(φτ,Aτ,Rτ,φτ+1)至經(jīng)驗池；

從經(jīng)驗池中以優(yōu)先經(jīng)驗回放策略采取數(shù)據(jù)并轉換為向量(φτ,Aτ,Rτ,φτ+1)；

更新網(wǎng)絡參數(shù)θ=θ+Δθ；

若為結束狀態(tài)，則結束本輪迭代；

end for

end for

4 結果與分析

對所提出的電力互聯(lián)網(wǎng)任務卸載和資源配置場景，建立基于DQN算法的任務卸載和資源分配優(yōu)化模型。云邊系統(tǒng)包括1臺云服務器、1臺MEC服務器、1個基站和N個用戶。N從[5,50]中隨機選取，用戶隨機分布在距基站半徑為0～200 m的覆蓋范圍內。計算環(huán)境和其他參數(shù)設置參照文獻[8-9,13,15-16]，如表1所示。通過Python仿真平臺對所建立優(yōu)化模型做出性能評估，結果由i7-10210U CPU@1.6 GHz 2.11 GHz 運行內存為16 G的筆記本計算，5次運行的結果取平均值。

表1 仿真參數(shù)

4.1 用戶設備及MEC服務器的影響

用戶設備數(shù)量對時延、能耗、能效的影響如圖3所示?？梢钥闯?，時延、能耗、能效隨著用戶設備數(shù)量的增加均不同程度的有所增加。其中，時延增加相對較大，當用戶設備數(shù)量為45時，時延超過100 ms。而能耗隨著用戶設備數(shù)量增加的較為緩慢，但用戶設備數(shù)量超過35時，能耗增加開始加快。由能效函數(shù)[式(16)]可知，能效函數(shù)是綜合時延、能耗及資源配置歸一化加權得到的無量綱函數(shù)，同樣計算環(huán)境和邊界條件下，能效函數(shù)值越小，表明卸載策略和資源配置越優(yōu)越；能效函數(shù)值隨著用戶設備數(shù)量的增加逐漸增大，主要是由于時延及能耗隨用戶設備數(shù)量的增大引起的。

圖3 用戶設備數(shù)量的影響

MEC服務器資源配置對時延、能耗、能效的影響如圖4所示?？梢钥闯觯瑫r延、能耗、能效隨著MEC服務器資源配置的增加均不同程度的有所降低；MEC服務器資源配置較少時，時延、能耗、能效降低較大，但MEC服務器資源配置大于30 GHz后，時延、能耗、能效趨于平穩(wěn)。因此，為了節(jié)省成本，MEC服務器資源配置為30 GHz較為合理。

圖4 MEC資源的影響

4.2 任務量的影響

為了研究任務量對時延、能耗及能效的影響，仿真計算時加大了任務量，使得任務量能夠顯著影響時延、能耗及能效。任務量對時延、能耗、能效的影響如圖5所示?？梢钥闯?，時延、能耗、能效隨著計算任務量的增加均有所增加，計算任務量小于3 GHz時，時延、能耗、能效增加較大，但計算任務量大于3 GHz后，時延、能耗、能效增加放緩。這主要是因為計算任務量大于3 GHz后，卸載策略和資源配置充分利用了云端服務器強大的計算能力，使得時延、能耗、能效增加放緩。

圖5 任務量的影響

4.3 任務優(yōu)先級的影響

不同優(yōu)先級對時延、能耗、能效的影響如圖6所示?？梢钥闯觯煌嬎闳蝿盏膬?yōu)先級對時延、能耗、能效具有顯著的影響，高級計算任務優(yōu)先進行處理，并分配的計算資源較多。圖6(a)為不同優(yōu)先級，任務量對時延的影響?？梢钥闯觯S著任務量的增加，不同任務優(yōu)先級的時延均逐漸增加，這是主要是由任務量增加導致的。相同計算任務量下，高級別的時延明顯低于低級別的時延，表明優(yōu)先級高的計算任務分配更多的計算資源，降低了計算時延，表明所提算法具有較好的優(yōu)先級處理能力。

不同任務優(yōu)先級下，任務量對能耗的影響如圖6(b)所示?？梢钥闯?，隨著任務量的增加，不同任務優(yōu)先級的能耗均逐漸增加，主要是因為任務量增加了計算資源消耗，進而增加了計算能耗。相同計算任務量下，優(yōu)先級越高的計算能耗越大，這是由于對于相同的計算任務量，為了優(yōu)先完成計算任務，單位時間分配的計算資源較多，因此能耗也相對較大。

圖6 優(yōu)先級的影響

不同任務優(yōu)先級下，任務量對能效的影響如圖6(c)所示?？梢钥闯觯煌蝿諆?yōu)先級下，能效隨著任務量的增加而增大，主要是由于時延、能耗及資源分配隨著任務量變化引起的。相同任務量工況下，隨著任務優(yōu)先級的提高，能效呈下降的趨勢，這一現(xiàn)象表明本文提出的優(yōu)化算法和建立的模型能夠針對不同任務優(yōu)先級實現(xiàn)卸載策略和資源配置的優(yōu)化。

4.4 不同模型對比

為了驗證本文模型的優(yōu)越性，將建立的優(yōu)化模型M4與其他3種模型(M1、M2、M3)進行了對比，對比模型資源配置及采用的優(yōu)化算法如表2所示。

表2 對比模型

不同模型在處理不同用戶設備數(shù)量時，時延、能耗及能效的對比結果如圖7所示。可以看出，M4在時延、能耗及能效方面均優(yōu)于其他模型。由于M1無云端服務器、M2未采用資源優(yōu)化配置算法，隨著用戶設備數(shù)量的增加，M1和M2的時延、能耗及能效均明顯較高，從而導致能效也明顯較高。M3采用博弈算法對卸載策略和資源配置進行優(yōu)化，得到時延及能耗顯著降低。而基于DQN算法建立的卸載策略和資源配置優(yōu)化模型計算得到的時延、能耗及能效均低于基于博弈算法的結果，表明針對不同用戶設備數(shù)量，所建立模型能夠更有效地實現(xiàn)云邊協(xié)同卸載策略和資源配置優(yōu)化。

圖7 用戶數(shù)量的影響

不同模型在處理不同任務量時，時延、能耗及能效的對比結果如圖8所示?？梢钥闯?，在不同的計算任務量時，M4在時延、能耗及能效方面均優(yōu)于其他3個模型。由于M1無云端服務器，隨著計算任務量的增加，其時延及能耗明顯較高，導致能效也較高。M2未采用資源優(yōu)化配置算法，計算資源未得到充分利用，使得時延及能耗高于M3和M4。M3和M4利用卸載策略和資源配置優(yōu)化算法，得到的時延及能耗均相對較低，所提出基于DQN算法建立的卸載策略和資源配置優(yōu)化模型計算得到的時延、能耗及能效均低于基于博弈算法的結果，表明針對不同計算任務量，所建立模型能夠更有效的實現(xiàn)云邊協(xié)同卸載策略和資源配置優(yōu)化。

圖8 任務量的影響

5 結論

(1)綜合考慮時延、能耗及資源分配，創(chuàng)新性的建立了基于DQN算法的卸載策略和資源分配優(yōu)化模型。

(2)通過分析MEC服務器資源配置對時延、能耗、能效的影響，得到MEC服務器資源配置為30 GHz時，即可滿足計算要求又可以節(jié)省成本。

(3)研究了不同計算任務的優(yōu)先級對時延、能耗、能效的影響，高級計算任務優(yōu)先處理策略和計算資源優(yōu)化分配，使得時延、能耗均較低，表明本文建立的模型具有較好的優(yōu)先級處理能力。

(4)M4在時延、能耗及能效方面均優(yōu)于其他3個模型。表明針對不同用戶設備數(shù)量和計算任務量場景，所建立模型能夠更有效地實現(xiàn)云邊協(xié)同卸載策略和資源配置優(yōu)化。