嚴翰致，許小龍,+，代 飛，齊連永，竇萬春，李 彤

(1.南京信息工程大學 計算機與軟件學院，江蘇 南京 210044；2.西南林業(yè)大學 大數(shù)據(jù)與智能工程學院，云南 昆明 650224；3.曲阜師范大學 信息科學與工程學院，山東 日照 276825；4.南京大學 計算機軟件新技術國家重點實驗室，江蘇 南京 210023；5.云南農(nóng)業(yè)大學 大數(shù)據(jù)學院，云南 昆明 650201)

0 引言

邊緣計算利用分布在網(wǎng)絡邊緣的計算資源為用戶提供服務環(huán)境和云數(shù)據(jù)中心[1]。將邊緣計算引入車聯(lián)網(wǎng)協(xié)同云計算處理服務請求(即邊云協(xié)同的車聯(lián)網(wǎng)邊緣計算)，改變了以往通過云數(shù)據(jù)中心向車載用戶反饋結果的方式，而以邊緣設備作為服務處理節(jié)點，充分利用邊緣側資源，顯著緩解了大規(guī)模數(shù)據(jù)傳輸導致的網(wǎng)絡負擔[2-4]。然而邊緣服務器資源有限，隨著車輛終端數(shù)的增多，車聯(lián)網(wǎng)服務與應用更加廣泛，邊緣服務器部署問題變得更加復雜[5]?，F(xiàn)有邊緣服務器部署策略主要用于改善5G、無線城域網(wǎng)等場景下的服務性能，相關技術很難直接用于車聯(lián)網(wǎng)服務部署。并且由于交通流量分布不同以及車載用戶請求具有分散性，不同路段的路邊單元需要處理的數(shù)據(jù)量存在明顯差異[6-7]。因此，車聯(lián)網(wǎng)環(huán)境下科學合理的邊緣服務器數(shù)量與位置部署是支持車聯(lián)網(wǎng)服務部署的關鍵，而邊緣服務器間的負載均衡問題則是邊緣服務器部署的關鍵。

基于強化學習的邊緣服務器部署策略將強化學習機制應用于劃分路邊單元的歸屬與決策邊緣服務器位置，以實現(xiàn)邊緣服務器之間的負載均衡，同時兼顧車聯(lián)網(wǎng)服務請求響應時延與能耗，滿足車載用戶對車聯(lián)網(wǎng)服務“低延時、高帶寬、高可靠”的性能需求[8]。

1 相關工作

目前，邊緣計算技術的核心在于解決邊緣服務器部署、計算卸載、服務遷移、群智協(xié)同4個關鍵問題，其中科學合理的邊緣服務器部署是其他技術研究與部署應用的前提。XIAO等[9]設計了一種基于資源需求預測的預測映射優(yōu)化啟發(fā)式算法，并構建了跨區(qū)域資源優(yōu)化模型，能夠有效應對不同區(qū)域服務請求量差異的問題；CHEN等[10]提出一種采用免疫優(yōu)化算法的邊緣服務器部署策略，并通過仿真實驗驗證了該策略在減少訪問延遲與優(yōu)化負載平衡方面的有效性和可行性；CAO等[11]進行了異構邊緣服務器部署策略研究，提出一種由離線階段和在線階段組成的方法，離線階段采用整數(shù)線性規(guī)劃技術生成異構邊緣服務器的最佳部署策略，在線階段則采用一種基于移動感知游戲理論的算法來應對用戶移動的動態(tài)特征。

另一方面，將車聯(lián)網(wǎng)與強化學習技術結合來提高車聯(lián)網(wǎng)服務質(zhì)量，進而改善車載用戶的出行體驗，也是車聯(lián)網(wǎng)領域具有前景的研究方向之一。由于傳統(tǒng)的車聯(lián)網(wǎng)缺乏感知環(huán)境和學習最佳策略的能力，針對其在面對動態(tài)環(huán)境時無法選擇最佳的路由策略，WANG等[12]提出一種基于強化學習，適用于車聯(lián)網(wǎng)軟件定義的認知網(wǎng)絡，與幾種典型協(xié)議相比，該協(xié)議具有有效性，而且性能更加優(yōu)良;JIANG等[13]將單代理強化學習中的Markov決策過程擴展到多代理系統(tǒng)，提出一種基于分布式多代理強化學習的邊緣緩存算法來解決邊緣緩存優(yōu)化問題，該方法能有效減輕車聯(lián)網(wǎng)中的冗余流量和內(nèi)容訪問延遲；WU等[14]提出一種動態(tài)無線接入網(wǎng)切片框架，用以動態(tài)分配無線電頻譜和計算資源，并為切片分配計算工作量，其將無線接入網(wǎng)切片問題分解為資源分配子問題和工作負載分配子問題，用雙層約束的強化學習算法解決這兩個子問題，即在外層用強化學習算法決定資源分配，在內(nèi)層用優(yōu)化子程序分配工作量。

綜上所述，目前采用強化學習對車聯(lián)網(wǎng)環(huán)境下的邊緣服務器進行部署的工作較少，而且致力于車聯(lián)網(wǎng)環(huán)境下邊緣服務器部署策略的設計缺乏對負載、時延、能耗等的綜合考量。因此，需要兼顧邊緣服務器之間的負載均衡、車聯(lián)網(wǎng)服務請求響應時延與能耗，設計科學合理的邊緣服務器部署策略支持車聯(lián)網(wǎng)服務器部署，進而改善用戶的出行體驗。

2 模型建立與問題定義

2.1 邊云協(xié)同的5G車聯(lián)網(wǎng)邊緣計算系統(tǒng)架構

邊云協(xié)同的5G車聯(lián)網(wǎng)邊緣計算系統(tǒng)架構如圖1所示。車載終端是環(huán)境感知、車輛行為決策和車輛控制的主體，為了向車載終端提供道路、行人和其他車輛的信息，路邊單元被分布在道路邊緣收集數(shù)據(jù)，路邊單元用集合U={u1,u2,…,uZ}表示。ui是一個三元組，有緯度、經(jīng)度和數(shù)據(jù)量3個參數(shù)，表示為ui(lati,loti,di),ui∈U，其中di表示路邊單元ui收集的數(shù)據(jù)，所有路邊單元收集的數(shù)據(jù)一一對應，表示為D={d1,d2,…,dZ}。因為依靠各種高分辨率傳感器(如激光雷達傳感器和視覺傳感器)的車輛會產(chǎn)生大量數(shù)據(jù)，所以邊緣服務器被安排在交通密集區(qū)域，以協(xié)助存儲數(shù)據(jù)和處理車聯(lián)網(wǎng)服務請求，邊緣服務器用集合S={s1,s2,…,sN}表示。在此架構中，假定邊緣服務器的服務范圍相同，用Re表示服務范圍的半徑;le表示邊緣服務器的工作負載，lem則是邊緣服務器的負載上限;sj可被表示為一個四元組sj(latj,lotj,Re,le),sj∈S，其有緯度、經(jīng)度、服務范圍半徑和負載4個參數(shù)。與路邊單元相比，邊緣服務器的覆蓋區(qū)域更廣，具有更強的存儲和計算能力。邊云協(xié)同模式下功能最強大的服務器為云數(shù)據(jù)中心s0，除去服務器的基本計算和存儲能力，云數(shù)據(jù)中心還負責管理邊緣服務器并為其分配虛擬資源。

在該架構中，計算節(jié)點由路邊單元、邊緣服務器和云數(shù)據(jù)中心組成，表示為C={U,S,s0}。兩個節(jié)點ci,cj之間的距離可根據(jù)經(jīng)緯度，用大圓距離公式表示為dist(ci,cj)。

2.2 負載均衡分析

服務器過載會降低用戶的服務體驗質(zhì)量，因此應合理分配每個邊緣服務器的工作負載，盡可能使負載均衡。假設部署的邊緣服務器數(shù)量為N，則劃分至邊緣服務器si(1≤i≤N)服務范圍內(nèi)的路邊單元可表示為集合PSi={ui1,ui2,…,uiG}(1≤G

(1)

式中σj為路邊單元uj收集后卸載到云數(shù)據(jù)中心的計算任務的數(shù)據(jù)量，每個邊緣服務器的工作負載應小于負載上限lem。

邊緣服務器的合理工作負載預期為τ，

(2)

負載均衡模型旨在最小化邊緣服務器之間的負載差距，以實現(xiàn)基于數(shù)據(jù)量的初步負載均衡，未考慮特定的任務調(diào)度策略。為了量化負載均衡的程度，采用離散系數(shù)定義負載均衡指標，離散系數(shù)

(3)

當CV=0時，達到理想的負載均衡，然而考慮實際應用中的其他限制因素，CV無法等于零，即邊緣服務器之間難以達到理想的負載均衡。因此在實際應用中，當CV取得最小值時，負載分配策略最佳。

2.3 時延與能耗分析

邊緣云協(xié)作系統(tǒng)在邊緣服務器或云數(shù)據(jù)中心處理服務請求，為了減少服務請求的響應時延，僅將一些對時間不敏感的計算任務卸載到云數(shù)據(jù)中心執(zhí)行。服務請求的響應耗時由傳輸時延、傳播時延和任務執(zhí)行時延3部分組成，而且執(zhí)行傳輸、傳播和任務都會產(chǎn)生能耗，每個階段的能耗則取決于其相應的時延和單位時間能量損耗。

(4)

式中γi和γj分別為路邊單元和目標邊緣服務器兩個節(jié)點的信道帶寬。

數(shù)據(jù)傳輸階段的總能耗

(5)

式中φtm為傳輸過程中的單位時間能量損耗。

傳播時延由信號傳輸引起，僅與傳輸距離和傳輸速率有關。該時延包括任務卸載階段的傳播時延和結果反饋階段的傳播時延兩部分。因為大多數(shù)車聯(lián)網(wǎng)服務請求的處理速度非?？?，所以服務處理期間的車輛移動距離可以忽略不計，而且車輛位置可近似由路邊單元的位置表示。傳播時延

(6)

式中：dist為兩個節(jié)點之間的距離；ρ為服務請求車輛與目標服務器之間的距離(ρ的值與dist近似)；μ為兩個節(jié)點之間的信號傳輸速率。

信號傳播階段的總能耗

(7)

式中φpg為傳播過程中的單位時間能量損耗。

服務器的任務執(zhí)行能力由其擁有的計算資源決定，這里采用計算單元的數(shù)量δ衡量計算資源，每個計算單元的計算能力記為θ，則任務執(zhí)行時延

(8)

式中dsi為服務器需要處理的數(shù)據(jù)量。

任務執(zhí)行階段的總能耗

(9)

式中φec為任務執(zhí)行過程中的單位時間能量損耗。

路邊單元收集數(shù)據(jù)的處理耗時是傳輸時延、傳播時延和任務執(zhí)行時延的總和，因此處理完所有服務請求所需的總時長

(10)

整個數(shù)據(jù)處理過程中的能耗是傳輸、傳播和任務執(zhí)行3個階段所產(chǎn)生能耗的總和，因此處理問完所有服務請求的總能耗

ECtotal=ECtm+ECpg+ECec。

(11)

2.4 問題定義

本文旨在解決以邊緣服務器間負載均衡為核心目標，兼顧車聯(lián)網(wǎng)服務請求的響應時延和能耗的多目標優(yōu)化問題，找到用于車聯(lián)網(wǎng)環(huán)境下邊緣服務器部署的高效策略。根據(jù)以上模型，該問題可形式化表述為：

minCV,minTtotal,minECtotal。

(12)

s.t.

ωq≤le,?q∈[1,N]；

(13)

(14)

式中Fc為云數(shù)據(jù)中心工作負載與總工作負載的最大比率。為了能夠充分利用邊緣服務器，減輕云數(shù)據(jù)中心的負擔，減少網(wǎng)絡擁塞，云數(shù)據(jù)中心的工作負載率應小于或等于Fc。

3 基于強化學習的邊緣服務器部署策略

3.1 SRL概覽

基于強化學習的邊緣服務器部署策略(deployment Strategy of edge servers based on Reinforcement Learning, SRL)流程如圖2所示。首先用粗聚類算法Canopy獲取初始聚類中心，然后根據(jù)Canopy結果的聚類數(shù)進行模糊C均值聚類，由于模糊C均值聚類的結果易受噪音影響，在進行聚類前需濾除噪聲簇。因為模糊C均值聚類算法最終輸出的隸屬度矩陣只保留最高隸屬度，所以在聚類過程中引入路邊單元相對于邊緣服務器的歸屬程度，通過輸出路邊單元的歸屬優(yōu)先級矩陣指明其在各個簇的優(yōu)先級，以便優(yōu)化選擇路邊單元的歸屬。最后根據(jù)累計獎勵值采用強化學習方法確定邊緣服務器位置，獲取最終的邊緣服務器部署策略。

路邊單元劃分方法中采用模糊C均值聚類算法獲取聚類中心即為最小化目標函數(shù)的過程，目標函數(shù)本質(zhì)上是各路邊單元與各邊緣服務器距離的平方和。經(jīng)過反復迭代運算，目標函數(shù)收斂則完成聚類。通過循環(huán)計算累計獎勵并比較各輪獎勵值的大小，確定最優(yōu)服務器的位置，在達到循環(huán)終止條件或最大循環(huán)輪數(shù)時停止循環(huán)。

3.2 基于模糊C均值聚類的路邊單元劃分

路邊單元被放置在智能交通系統(tǒng)中，其位置信息可被用于劃分聚類。聚類算法常用于劃分聚類，通過對噪聲健壯的聚類操作可以獲得路邊單元的簇數(shù)和質(zhì)心，從而初步估計邊緣服務器的數(shù)量和位置?；谫|(zhì)心的聚類算法通常會生成相似大小的簇，而且該算法傾向于將點與最近的質(zhì)心關聯(lián)，簇生成規(guī)模相似性和質(zhì)心關聯(lián)性使基于質(zhì)心的聚類算法在設施選址問題上具有良好的性能。K-means，K-median，K-medoids為3種具有代表性的基于質(zhì)心的聚類算法，這些聚類算法將數(shù)據(jù)點硬性劃分至各個確定的簇，而本文采用的模糊C均值聚類的聚類結果比K-means等硬聚類更加靈活。因為不考慮服務器負載等影響因素，僅以一個分類標準，即路邊單元位置信息劃分聚類，將導致大多數(shù)路邊單元被直接劃分至確定的簇，所以引入路邊單元相對于邊緣服務器的歸屬程度，根據(jù)歸屬程度確定路邊單元歸屬的優(yōu)先級，以便后續(xù)進一步對路邊單元的歸屬情況進行優(yōu)化。

算法1基于模糊C均值聚類的路邊單元劃分。

輸入：路邊單元集合U、隸屬度因子m。

輸出：Pm，Ccur。

1：Cnum=K

2：for i=0 to K-1 do

3：if point_numi

4：Cnum=Cnum-1

5：end for

6：while true do

7：for j=0 to Cnum-1 do

8：根據(jù)式(17)和式(18)計算聚類中心

9：end for

10：for i=0 to M do

11：根據(jù)式(16)更新隸屬度矩陣

12：end for

13：根據(jù)式(15)計算目標函數(shù)值

14：end while

15：end if

16：根據(jù)隸屬度矩陣冒泡排序計算Pm

17：for i=0 to M do

18：for j=0 to Cnum-1 do

19：if Pm[i][j]=1 then

20：ui歸入Ccur[j]

21：end if

22：end for

23：end for

24：return Pm，Ccur

模糊C均值聚類的主要參數(shù)有固定簇數(shù)、各簇質(zhì)心、每個路邊單元最接近的質(zhì)心對應的簇。為確定模糊C均值聚類算法所需的固定簇數(shù)，采用Canopy獲得初始聚類中心集合C{c1,c1,…,cK}，簇數(shù)為K。Canopy可以獲取簇的數(shù)量以及準確性較低的聚簇中心，是一種粗略的聚類算法，由于其結果易受噪音影響，在進行模糊C均值聚類之前需濾除噪聲簇。

模糊C均值聚類通過最小化目標函數(shù)得到聚類中心，如算法1所示。目標函數(shù)為

(15)

(16)

聚類中心的位置計算如下：

(17)

(18)

當輸出的隸屬度矩陣趨向穩(wěn)定，即目標函數(shù)收斂時停止迭代，得到最終解。終止條件為

(19)

式中：t為迭代步數(shù)；ε為誤差閾值，當連續(xù)兩次迭代結果的誤差不超過該閾值時，認為達到最優(yōu)，該過程最終收斂于Fm的局部極小值點或鞍點。

根據(jù)最后輸出的隸屬度矩陣，排列每個路邊單元相對于各聚類中心的隸屬度，給出當前的聚類劃分結果Ccur，并輸出路邊單元的歸屬優(yōu)先級矩陣Pm，Pm[i][j]表示路邊單元ui在sj上的優(yōu)先級，優(yōu)先級最高為1，最低為N-1。

3.3 基于強化學習的邊緣服務器位置的確定

通過算法1獲得的初始路邊單元劃分結果和邊緣服務器位置僅以路邊單元位置信息作為分類標準，而設施選址問題，包括邊緣服務器部署問題，不只受位置信息單一因素制約，該類選址問題通常被認為是NP難的多目標優(yōu)化問題，針對該類問題，目前已經(jīng)提出幾種多目標優(yōu)化算法，如粒子群優(yōu)化算法和遺傳算法。粒子群優(yōu)化算法在求解連續(xù)性問題中具有優(yōu)勢，遺傳算法則在解決設施選址類離散性問題上性能優(yōu)越。遺傳算法中，由于優(yōu)秀個體對種群影響大，降低了種群多樣性，算法很難收斂至全局最優(yōu)。若種群多樣性過大，則遺傳算法的收斂速度將像隨機算法一樣明顯降低。而強化學習方法能夠根據(jù)智能體與環(huán)境交互獲得的反饋，通過持續(xù)迭代更新進行特征學習，更易找到合適的策略。因此，本文采用強化學習方法劃分路邊單元并確定邊緣服務器的位置。

算法2基于強化學習確定邊緣服務器位置。

輸入：Pm，Ccur，路邊單元集合U。

1：初始化累計獎勵Reward

2：for i=0 to Z-1 do

3：for j=0 to G-1 do

4：for each st∈ST do

5：for h=0 to H-1 do

6：根據(jù)式(21)計算該步獎勵

7：end for

8：根據(jù)式(22)計算累計獎勵

9：end for

10：Radi=max (V,V′) #計算該輪最大累計獎勵

11：end for

12：if Radi>Reward then

13：Reward=Radi

14：end if

15：更新環(huán)境狀態(tài)(修改RSU歸屬、服務器負載)

16：根據(jù)新的質(zhì)心位置更新聚類中心

17：if|Reward′-Reward|<ε then

18：停止該層循環(huán)

19：end if

20：end for

算法2的環(huán)境狀態(tài)由路邊單元的劃分情況決定，選定的狀態(tài)包括路邊單元的歸屬情況Rs、各邊緣服務器的負載情況Es、當前時延Ts與當前能耗Ps，當前狀態(tài)可以表示為

st={Rs,Es,Ts,Ps}。

(20)

各狀態(tài)的執(zhí)行動作為move，即改變當前路邊單元的歸屬。根據(jù)算法1輸出的路邊單元歸屬優(yōu)先級矩陣的歸屬優(yōu)先級選擇動作，目標是獲取最大的累計獎勵值，累計獎勵通過狀態(tài)轉(zhuǎn)變產(chǎn)生的單步獎勵計算。單步獎勵為一次動作執(zhí)行期間，CV，Ttotal，ECtotal3個指標的變化率按比例求和后的負值，即

(21)

式中：r(St,move)為在狀態(tài)St執(zhí)行動作move的獎勵值；ΔCV是動作執(zhí)行后的負載均衡指標變化量；ΔTtotal為動作執(zhí)行后的總時延變化量；ΔECtotal為動作執(zhí)行后的總能耗變化量；z為常數(shù)，表示負載均衡指標的權重，其使負載均衡優(yōu)化更加有效。

累計獎勵

(22)

式中ST表示狀態(tài)集合，該式計算從初始狀態(tài)至最終狀態(tài)整個過程的累計獎勵。

基于強化學習的邊緣服務器位置確定過程如圖3所示?？梢姡谀：鼵均值聚類的路邊單元劃分給出了初步的路邊單元劃分、邊緣服務器位置和路邊單元歸屬優(yōu)先級矩陣。根據(jù)優(yōu)先級矩陣為每個路邊單元選擇所歸屬的邊緣服務器，將每次選擇作為一個動作，計算執(zhí)行每個動作的單步獎勵，然后對所有單步獎勵求和，獲得一次路邊單元歸屬整體更新的累計獎勵。經(jīng)過多輪更新獲取最大累計獎勵，用該次歸屬結果更新邊緣服務器的位置，用更新后的邊緣服務器位置替換模糊C均值聚類的結果。循環(huán)以上步驟，直至最大累計獎勵不再變化，輸出最終的路邊單元歸屬和邊緣服務器部署位置的優(yōu)化結果。

4 實驗分析

本章通過實驗驗證本文提出的邊緣服務器部署策略的有效性。首先從邊緣服務器負載均衡、車聯(lián)網(wǎng)服務處理請求響應時延和能耗3個層面詳細介紹實驗配置，并與Random Selection[15]、K-medoids[16]及邊緣服務器量化和放置協(xié)作方法(Collaborative method for Quantification and Placement of edge servers, CQP)[17]3種策略進行對比分析。

4.1 實驗配置

實驗采用南京市路邊單元數(shù)據(jù)集，主要數(shù)據(jù)包括分布在南京市各個路段436個已激活的路邊單元位置信息，以及這些路邊單元不同時段收集的車聯(lián)網(wǎng)服務請求數(shù)據(jù)。為了對比驗證部署策略的性能，獲取如下3種邊緣服務器部署策略：

(1)Random Selection[15]該策略隨機選擇彼此距離盡可能遠的K個點作為聚簇中心，獲得未經(jīng)優(yōu)化的邊緣服務器位置。

(2)K-medoids[16]該策略可以從具有噪聲的真實數(shù)據(jù)點中找到每個聚類的中心。該策略的執(zhí)行前提是確定的聚類數(shù)，當聚類數(shù)給定時，例如采用Canopy算法的處理結果作為初始的聚類劃分，K-medoids在設施選址問題中具有良好的性能。

(3)CQP[17]該策略結合聚類算法與遺傳算法，采用基于參考點的非支配排序遺傳算法優(yōu)化K-medoids算法的聚類結果。

4.2 實驗對比分析

SRL策略獲取的邊緣服務器部署位置如圖4所示，圖中半徑較大的圓實心點為邊緣服務器的部署位置。下面分別從負載均衡指數(shù)、時延、能耗3方面詳細對比分析Random Selection，K-medoids，CQP，SRL 4種策略的性能。

4.2.1 負載均衡指數(shù)對比分析

本節(jié)對Random Selection，K-medoids，CQP，SRL 4種邊緣服務器部署策略進行負載均衡效果評估，對比監(jiān)測日3種邊緣服務器部署策略的負載均衡指數(shù)。邊緣服務器的負載均衡指數(shù)與其自身負載、服務器平均負載有關，該指數(shù)越低，各服務器的負載越趨于平均負載，負載均衡程度越高。

圖5所示為4種策略在28日的負載均衡指數(shù)?？芍谶吘壏掌鞑渴饠?shù)量相同的情況下，SRL策略的負載均衡指數(shù)為0.7～0.8，均顯著低于其他策略，其在負載均衡的優(yōu)化目標上有較大優(yōu)勢；CQP策略基于K-medoids策略的結果，采用遺傳算法進行進一步多目標綜合優(yōu)化，其負載均衡指數(shù)為1.1～1.2，優(yōu)于K-medoids和Random Selection策略；K-medoids和Random Selection策略的負載均衡指數(shù)均為1.4～1.5，其中Random Selection策略因聚類中心的選擇存在隨機性，其服務器部署策略的負載均衡效果不穩(wěn)定，相比K-medoids策略存在部分時段更優(yōu)或更差的情況。因此，SRL策略能有效優(yōu)化車聯(lián)網(wǎng)環(huán)境下邊緣服務器間的負載均衡。

4.2.2 服務請求響應時延對比分析

本節(jié)對Random Selection，K-medoids，CQP，SRL 4種邊緣服務器部署策略的服務請求響應時延進行評估，對比監(jiān)測日3種邊緣服務器部署策略的日平均服務請求響應時延。由上述分析可知，服務請求響應時延由傳輸時延、傳播時延和任務執(zhí)行時延3部分組成，服務請求得到處理的時間間隔越短，車載用戶的出行體驗越佳。由于假設采用相同規(guī)格的邊緣服務器和硬件配置，實驗主要考慮傳輸和傳播時延。

圖6所示為4種策略監(jiān)測28日的每日平均服務請求響應時延。可知，在邊緣服務器部署數(shù)量相同的情況下，Random Selection策略由于聚類中心的選擇具有隨機性，其服務器部署策略的時延優(yōu)化效益較低；基于K-medoids的CQP策略采用遺傳算法對K-medoids策略的結果進行進一步多目標優(yōu)化，因此時延優(yōu)化程度較高。在4種方法中，SRL策略的日服務請求響應平均時延在28日比Random Selection平均時延降低0.66%，比K-medoids平均時延降低0.32%，因為本文重點優(yōu)化邊緣服務器間的負載均衡，負載均衡優(yōu)化所占權重較高，所以SRL策略對服務請求的響應時延優(yōu)化效果略遜于CQP策略。

圖6中各策略的每日平均服務請求響應時延均高于3.2 ms，因此將3.2 ms作為低時延處理標準，3.2 ms內(nèi)處理完成的服務請求視為低時延處理。圖7所示為4種策略監(jiān)測28日的每日服務請求低時延處理率?？芍?，在邊緣服務器部署數(shù)量相同的情況下，Random Selection策略由于聚類中心選擇具有隨機性，其在某些監(jiān)測日有較高的低時延處理率，但也存在19日僅90.3%較低低延時處理率的情況，而且對比圖6的每日平均時延可推斷出該策略存在部分服務請求高時延的問題?；贙-medoids的CQP策略采用遺傳算法對K-medoids策略的結果進行進一步多目標優(yōu)化，相比K-medoids策略有更高的服務請求低時延處理率。在4種方法中，SRL策略的服務請求低時延處理率在多數(shù)檢測日最高。根據(jù)圖6和圖7的結果，CQP策略對服務請求響應時延的優(yōu)化更加明顯，SRL策略能夠保證更多服務請求在低時延內(nèi)處理，因此SRL策略在降低車聯(lián)網(wǎng)服務請求的響應時延方面具有有效性。

4.2.3 服務請求響應能耗對比分析

本節(jié)對Random Selection，K-medoids，CQP，SRL 4種邊緣服務器部署策略的服務請求處理能耗進行評估，對比一定天數(shù)內(nèi)3種邊緣服務器部署策略的日總服務請求處理能耗。由上述分析可知，服務請求的處理過程包括傳輸、傳播和任務執(zhí)行，每個階段的能耗則取決于其相應的時延和單位時間能量損耗，由于假設采用相同規(guī)格的邊緣服務器和硬件配置，實驗主要考慮傳輸和傳播產(chǎn)生的能耗。

圖8所示為4種策略下28日的每日平均請求處理能耗，由于處理能耗由響應時延與每秒能耗決定，對比圖6中4種策略的平均時延發(fā)現(xiàn)兩圖折線走勢相同。在邊緣服務器部署數(shù)量相同的情況下，聚類中心選擇的隨機性使Random Selection的能耗優(yōu)化效益較低；基于K-medoids的CQP策略，采用遺傳算法對K-medoids策略的結果進行進一步多目標優(yōu)化，因此能耗優(yōu)化程度較高。4種策略中，相比Random Selection和K-medoids策略，SRL策略的日服務請求處理能耗在28日整體較優(yōu)，因為本文重點優(yōu)化邊緣服務器間的負載均衡，負載均衡優(yōu)化所占權重更高，所以SRL策略的服務請求處理能耗優(yōu)化效果略遜于CQP策略。根據(jù)圖示對比結果，SRL策略在降低車聯(lián)網(wǎng)服務請求處理能耗方面具有有效性，CQP策略對能耗的優(yōu)化更加明顯。

5 結束語

針對車聯(lián)網(wǎng)邊緣計算面臨的邊緣服務器部署問題，在車聯(lián)網(wǎng)環(huán)境下非定量邊緣服務器部署策略研究中，本文設計了邊云協(xié)同的5G車聯(lián)網(wǎng)邊緣計算系統(tǒng)架構，同時將邊緣服務器部署問題形式化為多目標優(yōu)化問題，通過模糊C均值聚類算法和強化學習方法對負載均衡、服務請求響應時延和能耗3個目標進行優(yōu)化。最后與Random Selection，K-medoids，CQP 3個方法對比表明，本文所提SRL策略在重點優(yōu)化邊緣服務器間負載均衡的同時，能有效降低服務請求的響應時延和能耗。

為了簡化模型，本文假設邊緣服務器的計算能力相同。實際上，智能交通系統(tǒng)中部署的邊緣服務器的規(guī)格可以不同，而且可隨城市建設邊緣服務器布局的需要變更適應性。例如，在交通繁忙區(qū)域采用具有更強計算能力的邊緣服務器，在車流稀少的地區(qū)采用計算能力一般的邊緣服務器來降低能耗。未來將設計新型的邊緣服務器量化和部署策略，以適應不同地區(qū)車流量以及城市建設導致的車流量變化。