葉佩文，賈向東，楊小蓉，牛春雨

（1.西北師范大學(xué)計算機(jī)科學(xué)與工程學(xué)院，蘭州 730070；2.南京郵電大學(xué)江蘇省無線通信重點(diǎn)實(shí)驗(yàn)室，南京 214215）

0 概述

目前，車輛消費(fèi)升級、道路容量日趨飽和等客觀因素加劇了城市的交通困境。在5G 商用落地同時展望6G 愿景的背景下，構(gòu)筑“車-人-路-云”泛在連接的車聯(lián)網(wǎng)（Internet of Vehicles，IoV）成為必然趨勢［1-2］。與此同時，在城市中部署智能交通系統(tǒng)（Intelligent Transportation System，ITS）緩解交通壓力也已成為主流選擇。而車聯(lián)網(wǎng)作為ITS 的核心部分，更需要在網(wǎng)絡(luò)架構(gòu)和使能技術(shù)上不斷演進(jìn)［3］。

在網(wǎng)絡(luò)架構(gòu)方面，得益于云計算技術(shù)的迅猛發(fā)展，車聯(lián)網(wǎng)的大量計算任務(wù)可以有效地遷移到分布式云端服務(wù)器上進(jìn)行數(shù)據(jù)處理、統(tǒng)一調(diào)度和計算資源分配。然而，單一的車輛云架構(gòu)不可避免地要求數(shù)據(jù)進(jìn)行長距離、高時延傳輸，這無法滿足需要敏捷響應(yīng)的V2V 安全類信息通信要求。通過分析車輛行為與預(yù)測模型可以發(fā)現(xiàn)車輛群體存在局部性特征［4-5］，即計算任務(wù)的卸載范圍通常局限于相鄰行駛車輛或車與周邊路旁單元之間，而將移動邊緣計算（Mobile Edge Computing，MEC）作為一種新的范式引入車聯(lián)網(wǎng)，能夠?qū)⒂嬎隳芰ο鲁林辆W(wǎng)絡(luò)邊緣，從而減少服務(wù)時延［6］。

在使能技術(shù)上，車聯(lián)網(wǎng)邊緣計算卸載可利用凸優(yōu)化、圖論以及博弈均衡等方法。但近年來人工智能特別是深度強(qiáng)化學(xué)習(xí)［7-8］在計算機(jī)視覺、自然語言處理、語音識別等領(lǐng)域獲得巨大成功，這吸引了國內(nèi)外學(xué)者重新思考車聯(lián)網(wǎng)邊緣計算卸載方案的設(shè)計思路。

現(xiàn)有車聯(lián)網(wǎng)邊緣卸載策略存在場景同質(zhì)化嚴(yán)重的問題，且在性能上仍有較大的提升空間。本文針對更泛在的城市街道場景，結(jié)合強(qiáng)化學(xué)習(xí)和隨機(jī)幾何理論，提出一種邊云協(xié)同的車輛邊緣卸載方案。結(jié)合隨機(jī)幾何理論和人工智能方法優(yōu)化車聯(lián)網(wǎng)邊云卸載過程，將每個源車輛單元（Source Vehicle Unit，SVU）作為智能體來進(jìn)行學(xué)習(xí)決策，并把由此產(chǎn)生的復(fù)雜訓(xùn)練過程轉(zhuǎn)換到云端訓(xùn)練神經(jīng)網(wǎng)絡(luò)中，使SVU 僅依靠局部決策即能把握全局特征。此外，還將資源隊列模型作為神經(jīng)網(wǎng)絡(luò)輸入前件，以降低維災(zāi)風(fēng)險。

1 相關(guān)工作

文獻(xiàn)［9］針對車輛邊緣計算（Vehicular Edge Computing，VEC）網(wǎng)絡(luò)提出了移動感知的任務(wù)卸載方法，以達(dá)到執(zhí)行成本最小化的目的。文獻(xiàn)［10］提出一種聯(lián)合云計算、移動邊緣計算和本地計算的多平臺智能卸載方案，根據(jù)任務(wù)屬性，利用強(qiáng)化學(xué)習(xí)算法選擇卸載平臺，旨在最小化時延并節(jié)省系統(tǒng)總成本，但網(wǎng)絡(luò)模型中的控制面和數(shù)據(jù)面深度耦合，使得任務(wù)處理缺乏靈活性。文獻(xiàn)［11］提出了基于軟件定義［12］的車載網(wǎng)絡(luò)框架，其核心思想是將控制面和數(shù)據(jù)面分離，使運(yùn)營商能夠更靈活地控制和更快速地部署網(wǎng)絡(luò)，但是車輛業(yè)務(wù)復(fù)雜和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)多變的因素導(dǎo)致這一框架對車輛特征的抽象還不夠成熟，相應(yīng)的車載網(wǎng)絡(luò)虛擬化技術(shù)仍需要深入研究。文獻(xiàn)［13］針對類似高速路口擁塞場景，利用車聯(lián)網(wǎng)異構(gòu)資源性能互補(bǔ)特性，即計算資源開銷來供給通信資源需求，提出了基于霧計算［14］的車聯(lián)網(wǎng)邊緣資源融合機(jī)制，從而彌補(bǔ)車聯(lián)網(wǎng)資源時空分布不均的不足，但霧化機(jī)制［15］涉及大量基礎(chǔ)設(shè)施的改造和升級，因此，該機(jī)制在構(gòu)建部署階段仍面臨諸多挑戰(zhàn)。

文獻(xiàn)［16］針對車聯(lián)網(wǎng)超可靠低延時通信（Ultra-Reliable Low-Latency Communication，URLLC）過程，將有異構(gòu)性需求的車輛節(jié)點(diǎn)作為多智能體，利用強(qiáng)化學(xué)習(xí)進(jìn)行數(shù)據(jù)卸載決策。文獻(xiàn)［17］以相鄰的車輛節(jié)點(diǎn)作為移動邊緣服務(wù)器，以路邊設(shè)施作為固定邊緣服務(wù)器，利用半馬爾科夫過程對時變信道進(jìn)行建模，使移動用戶根據(jù)Q 學(xué)習(xí)算法確定卸載對象，同時針對增加訓(xùn)練過程動作狀態(tài)空間可能引起維災(zāi)的問題，提出利用深度神經(jīng)網(wǎng)絡(luò)來逼近Q 函數(shù)的深度強(qiáng)化學(xué)習(xí)算法，旨在使系統(tǒng)總效用最大。文獻(xiàn)［18］基于值迭代和策略迭代兩種思路提出動作-評價學(xué)習(xí)（Actor-Critic learning，AC）算法。得益于Actor 執(zhí)行動作然后Critic 進(jìn)行評估的優(yōu)勢，該算法在高維度空間仍具有良好的收斂屬性，但存在評價策略偏差較大的問題，導(dǎo)致求解所得只是局部最優(yōu)解。文獻(xiàn)［19］將無線信道狀態(tài)、緩存狀態(tài)以及計算能力均納入系統(tǒng)狀態(tài)作為環(huán)境進(jìn)行交互，由于通信、緩存、計算（Communication，Caching，Computing，3C）資源在應(yīng)用場景具有耦合互補(bǔ)的特性，因此綜合權(quán)衡3C 資源效用為任務(wù)調(diào)度卸載提供了一個廣闊的思路。文獻(xiàn)［20］在此基礎(chǔ)上進(jìn)一步考慮了時間尺度對協(xié)調(diào)優(yōu)化的影響，提出大時間尺度采用粒子群優(yōu)化理論而小時間尺度采用深度Q 學(xué)習(xí)算法調(diào)優(yōu)的細(xì)化方案。

然而，現(xiàn)有車聯(lián)網(wǎng)邊緣計算方法普遍存在以下不足：1）多數(shù)方法僅在單一的高速公路場景進(jìn)行建模，而此類場景通常假定車輛服從空間泊松過程（Spatial Poisson Process，SPP），這明顯限制了適用范圍，且簡化了車聯(lián)網(wǎng)實(shí)際通信的真實(shí)時空分布；2）云計算平臺大多采用集中式部署方案，計算任務(wù)從本地遷移到云端存在重構(gòu)開銷，且隊列形式的任務(wù)傳輸易導(dǎo)致額外排隊時延和無序爭用，而目前缺乏邊緣計算節(jié)點(diǎn)協(xié)同云平臺的相關(guān)研究；3）在利用人工智能手段方面，現(xiàn)有研究的獎勵機(jī)制設(shè)計單一，從而導(dǎo)致訓(xùn)練模型的泛化性較差。

本文結(jié)合強(qiáng)化學(xué)習(xí)和隨機(jī)幾何理論，提出一種邊云協(xié)同的車輛邊緣卸載方案，主要包括以下工作：

1）針對場景趨同、系統(tǒng)建模局限的問題，將城市街道建模為經(jīng)典Manhattan模型［21］，并利用隨機(jī)CoX過程［22］對移動車輛進(jìn)行細(xì)粒度建模，相應(yīng)考慮視距（Line of Sight，LoS）和非視距（Non-Line of Sight，NLoS）兩種情況的信道狀態(tài)。進(jìn)一步地，考慮到級聯(lián)對象包含目標(biāo)車輛單元（Target Vehicle Unit，TVU）和路邊單元（Rode Side Unit，RSU），對于SVU 而言在時空上具備離散性和流動性，通過隨機(jī)幾何理論分析級聯(lián)對象接收信干比（Signal to Interference Ratio，SIR）覆蓋概率，從而劃分出卸載節(jié)點(diǎn)的優(yōu)先級，從根本上消除轉(zhuǎn)化成組合優(yōu)化問題的必要性，降低計算復(fù)雜度。

2）依據(jù)邊云協(xié)同的思想，將SVU 作為智能體進(jìn)行決策，并將決策記錄作為經(jīng)驗(yàn)上傳到云端，云端通過經(jīng)驗(yàn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每隔一段時間將訓(xùn)練更完備的神經(jīng)網(wǎng)絡(luò)反饋到邊緣節(jié)點(diǎn)上。由此，只專注局部決策的SVU 能夠捕捉到云端存儲的全局特征而無需承擔(dān)復(fù)雜的訓(xùn)練過程。

3）由于強(qiáng)化學(xué)習(xí)的本質(zhì)是環(huán)境交互和基于獎勵，因此設(shè)計更貼近實(shí)際的多角色博弈獎勵機(jī)制。同時，為使從全局觀察縮小到局部觀察具有實(shí)質(zhì)性作用，將節(jié)點(diǎn)資源隊列分析作為輸入的預(yù)先工作，從而減少計算任務(wù)的排隊時間，并在一定程度上降低維災(zāi)風(fēng)險。

2 系統(tǒng)模型

本文研究的系統(tǒng)模型如圖1 所示，其中小區(qū)的網(wǎng)絡(luò)架構(gòu)由基站（Base Station，BS）和RSU 共同組成。基站通過核心網(wǎng)絡(luò)連接云端服務(wù)器，具有計算能力的RSU作為固定邊緣服務(wù)器（Fixed Edge Server，F(xiàn)ES），中央云服務(wù)器可以通過回程鏈路連接FES 支持遠(yuǎn)程調(diào)度。將具有計算能力的TVU作為移動邊緣服務(wù)器（Mobile Edge Server，VES），并從更廣義的角度定義邊緣節(jié)點(diǎn)性質(zhì)，包括TVU 和RSU 兩種類型。

圖1 車聯(lián)網(wǎng)邊云協(xié)同卸載系統(tǒng)模型Fig.1 System model of collaborative edge and cloud offloading for IoV

假設(shè)本地計算容量已飽和，上述場景下的卸載途徑可分為以下3 種情況：1）在LoS 范圍內(nèi)，SVU 將計算任務(wù)卸載給相鄰滿足條件的TVU，由于車輛到BS 上行鏈路的利用相對不充分，且BS 端對干擾更具可控性，因此為提高頻譜利用率，SVU 可以復(fù)用V2B 上行鏈路進(jìn)行計算任務(wù)卸載；2）在NLoS 范圍內(nèi)，SVU 同樣可以復(fù)用V2B 上行鏈路進(jìn)行計算任務(wù)卸載；3）在基礎(chǔ)設(shè)施完備（即已部署RSU）的車輛稀疏路況場景中，SVU 可以將計算任務(wù)卸載到滿足條件的RSU 端。

本文將車聯(lián)網(wǎng)的空間分布建模為泊松線性Cox 點(diǎn)過程（Poisson Line Cox Point Process，PLCPP），對象包含車輛節(jié)點(diǎn)和路邊節(jié)點(diǎn)。具體過程如下：將車輛節(jié)點(diǎn)空間分布建模為密度為μV的獨(dú)立PLCPP，用ΦV表示；考慮到RSU 沿道路布放，將RSU 空間分布建模為線密度為μR的獨(dú)立泊松線過程（Poisson Line Process，PLP），用ΦR表示。假設(shè)車輛節(jié)點(diǎn)中TVU 占比為β，遵循PLCPP，則TVU 服從密度為μTVU=μVβ的PLCPP，SVU服從密度為μSVU=μV(1-β)的PLCPP。

2.1 通信模型

不失一般性，本文假設(shè)SVU 使用最近距離級聯(lián)卸載準(zhǔn)則［23］，并遵循廣義邊緣節(jié)點(diǎn)性質(zhì)。定義計算任務(wù)集合T={T1，T2，…，TJ}，SVU 集合用K表示，TVU 集合用N表示，RVU 集合用?表示。考慮計算任務(wù)卸載到邊緣節(jié)點(diǎn)存在視距（LoS）和非視距（NLoS）兩種情況，在周期t內(nèi)，SVU 卸載計算任務(wù)Tj(j∈J)到邊緣節(jié)點(diǎn)的路徑損耗可表示為：

因此，LoS 范圍內(nèi)卸載到第k個TVU 的頻譜效率可表示為：

引理1假設(shè)SVU 的卸載許可半徑為LS，與SVU級聯(lián)的TVU接收的SIR覆蓋概率可表示為式（4），其中，。證明見文獻(xiàn)［23］。

結(jié)合式（2）～式（4）可知，從第k個SVU 卸載到第n個TVU 的數(shù)據(jù)速率為：

類似地，對于SVU 處于車輛稀疏且RSU 設(shè)施完善的區(qū)域，SVU 可以卸載計算任務(wù)到滿足條件的RSU，與第k個SVU 級聯(lián)的第r個TVU 接收的SIR 為：

其中，I(k)TVU是來自TVU 的干擾，I(k)r′是來自其他TVU的干擾。

因此，卸載到第r個RSU 的頻譜效率可表示為：

引理2假設(shè)SVU 的卸載許可半徑為LS，與SVU 級聯(lián)的RSU 接收SIR 覆蓋概率可表示為：

結(jié)合式（7）和式（8）可知，從第k個SVU 卸載到第r個RSU 的數(shù)據(jù)速率為：

2.2 計算模型

在計算卸載過程中，可定義SVU 的卸載任務(wù)Tj?(Hj，Qj，)，其中，Hj表示計算任務(wù)數(shù)據(jù)大小，Qj表示完成任務(wù)所需計算資源量，表示最大等待時間。

對于將計算任務(wù)卸載到TVU 的場景，SVU 卸載計算任務(wù)Hj到TVU 的時間開銷包括通信時間和計算時間兩部分。

卸載到TVU 的通信時間取決于計算任務(wù)數(shù)據(jù)大小Hj和提供服務(wù)TVU 的數(shù)據(jù)速率，結(jié)合式（9），通信時間可以表示為：

對于卸載到TVU 的計算任務(wù)，依照隊列形式保存到TVU 緩存中，并更新資源隊列狀態(tài)，實(shí)行任務(wù)遷移，保證排隊延時遠(yuǎn)小于任務(wù)計算時間。因此，計算時間僅依賴于任務(wù)所需計算資源Qj和TVU 的計算能力fTVUj（即單位時間內(nèi)CPU 周期數(shù)），可表示為：

結(jié)合式（10）和式（11）可知，TVU 的總執(zhí)行時間為：

類似地，將計算任務(wù)卸載到RSU 場景的執(zhí)行時間同樣包括通信時間和計算時間兩部分。

卸載到RSU 的通信時間可表示為：

卸載到RSU 的計算時間可表示為：

結(jié)合式（13）和式（14）可知，RSU 的總執(zhí)行時間為：

2.3 資源隊列分析模型

SVU 在卸載計算任務(wù)時需要考慮卸載節(jié)點(diǎn)計算隊列大小。不失一般性，假設(shè)隊列節(jié)點(diǎn)初始資源量為qinitial，平均計算任務(wù)到達(dá)率E[Tj]=λ，在許可半徑LS內(nèi)滿足資源量的TVU 和RSU 概率分別可表示為：

其中，Zi(λ，LS)表示Zipf 分布。

假設(shè)所考慮的車聯(lián)網(wǎng)中SVU在周期t內(nèi)生成任務(wù)的概率為pj，SVU級聯(lián)卸載節(jié)點(diǎn)可提供的資源量表示為Θ=P(D2)(1-pj)μTVUμSVUE[L]，其中，P(D2)表示平面周長，E[L]表示道路平均長度。因此，TVU所需保證的隊列長度為ΘTVU=Θ(1-PTVUq)，SVU所需保證的隊列長度為ΘSVU=。相應(yīng)地，對于周期t內(nèi)生成任務(wù)Tj，卸載節(jié)點(diǎn)資源隊列長度。

3 問題描述

本節(jié)分別從執(zhí)行時延、能耗約束和費(fèi)用開銷維度分析車聯(lián)網(wǎng)任務(wù)卸載問題，并量化統(tǒng)一成系統(tǒng)效用評價卸載性能，將3 個維度評價性能的累加作為獎勵機(jī)制來反饋訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

1）執(zhí)行時延。定義F 為指示符，用于區(qū)分TVU 和RSU，則計算任務(wù)Tj執(zhí)行時延可表示為：

3）費(fèi)用開銷?？紤]實(shí)際網(wǎng)絡(luò)架構(gòu)包括車聯(lián)網(wǎng)運(yùn)營商（Vehicle Network Operator，VNO）、基礎(chǔ)設(shè)施供應(yīng)商（Infrastructure Provider，InP）和業(yè)務(wù)供應(yīng)商（Service Provider，SP）三類角色。假設(shè)VNO 需向InP 支付的頻譜租賃費(fèi)用為ε，VNO 需向SP 支付計算費(fèi)用φ，則計算任務(wù)Tj的費(fèi)用開銷包含通信開銷和計算開銷兩部分，可以表示為：

綜上所述，基于多角色博弈的獎勵機(jī)制，卸載任務(wù)的系統(tǒng)效用可由執(zhí)行時延、能耗約束和費(fèi)用開銷三者的子效用累計和來表示，即：

其中，ω=[ω1，ω2，ω3]表示子效用系數(shù)，在訓(xùn)練過程中通過調(diào)整該參數(shù)來確定子效用的傾向性，例如在稀疏場景下更關(guān)注費(fèi)用開銷，而在密集場景下更關(guān)注執(zhí)行時延。

4 多智能體強(qiáng)化學(xué)習(xí)邊云卸載機(jī)制

車聯(lián)網(wǎng)是典型的高速移動實(shí)時傳輸場景，在其中進(jìn)行單一云端集中式優(yōu)化存在參數(shù)冗余、更新滯后和耗費(fèi)通信開銷等問題。分布式邊云協(xié)同機(jī)制利用云端將訓(xùn)練更完備的神經(jīng)網(wǎng)絡(luò)反饋到邊緣節(jié)點(diǎn)，使得邊緣節(jié)點(diǎn)僅需要相鄰節(jié)點(diǎn)信息來更新參數(shù)執(zhí)行操作。本節(jié)首先介紹狀態(tài)空間、動作空間及系統(tǒng)效用，然后描述多智能體強(qiáng)化學(xué)習(xí)流程及改進(jìn)方案。

1）狀態(tài)空間。用S表示狀態(tài)集合，在時刻t的狀態(tài)可表示為，該狀態(tài)表征了計算任務(wù)Tj的時延、能耗和開銷狀態(tài)。

2）動作空間。定義動作集為A，計算任務(wù)采取的動作αj∈A，αj=1 代表計算任務(wù)Tj卸載到TVU 上執(zhí)行，αj=0 代表計算任務(wù)Tj卸載到RSU 上執(zhí)行，否則在該周期內(nèi)不采取任何動作。

3）系統(tǒng)效用。累計任務(wù)時延、能耗約束、費(fèi)用開銷三者的子效用作為獎勵函數(shù)評價動作空間與狀態(tài)空間的映射關(guān)系，結(jié)合式（21），在時刻t系統(tǒng)立即效用可表示為：

進(jìn)一步地，由于當(dāng)前的動作僅受前一時刻狀態(tài)影響，當(dāng)前狀態(tài)通過執(zhí)行某一動作轉(zhuǎn)換到下一狀態(tài)，因此可利用馬爾科夫決策過程來表述。假設(shè)狀態(tài)空間到動作空間的映射為Φ，即Φ()=aj，則系統(tǒng)狀態(tài)轉(zhuǎn)移概率可表示為：

狀態(tài)值函數(shù)Vπ(s) 和狀態(tài)動作函數(shù)Qπ(s，α) 可以表示為：

其中，π表示SVU 當(dāng)前采取的策略，γ表示折扣因子。根據(jù)式（25）和貝爾曼公式的定義，進(jìn)一步可得到式（26）：

基于值迭代或策略迭代的傳統(tǒng)方法需要智能體獲得全局信息，不適用于信息特征變化頻繁的車聯(lián)網(wǎng)場景。由于Q 學(xué)習(xí)在與環(huán)境交互的過程中通過局部信息不斷地試錯來找到最優(yōu)行為，因此SVU 可以通過Q 學(xué)習(xí)最大化長期效用獲得最佳的控制決策。但結(jié)合式（22）和式（26）可知此方法存在以下兩點(diǎn)不足：1）狀態(tài)空間的大小會隨著訓(xùn)練的輪數(shù)大幅增加，影響收斂性；2）出現(xiàn)梯度消失或梯度爆炸現(xiàn)象，導(dǎo)致模型退化。本文對此做以下改進(jìn)：

1）采用經(jīng)驗(yàn)重放策略。

將智能體在環(huán)境探索過程中獲得的經(jīng)驗(yàn)數(shù)據(jù)存放在經(jīng)驗(yàn)池中，在后續(xù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的過程中隨機(jī)采樣更新網(wǎng)絡(luò)參數(shù)。經(jīng)驗(yàn)池表示為Μ(j)={m(j-M+1)，m(j-M)，…，m(j)}，存放的經(jīng)驗(yàn)數(shù)據(jù)元組表示為m(j)=。SVU隨機(jī)采樣?M(j)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而非直接利用連續(xù)樣本進(jìn)行訓(xùn)練。更新規(guī)則可表示為：

2）采用邊云協(xié)同思想及線性Q 函數(shù)分解理論。

由式（22）可知，系統(tǒng)效用由任務(wù)時延、能耗約束和費(fèi)用開銷累加形成，需要訓(xùn)練大量的參數(shù)，不可避免地需要更多的計算資源和存儲資源，并且會增加訓(xùn)練時間。因此，本文利用邊云協(xié)同思想，將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程放置到云端，利用經(jīng)驗(yàn)回放池的數(shù)據(jù)進(jìn)行訓(xùn)練。此外，采用線性Q 函數(shù)分解理論對式（22）做進(jìn)一步改進(jìn)。設(shè)智能體指示符K={1，2，3}分別對應(yīng)3 個效用分量，式（22）可表示為：

進(jìn)一步地，式（25）可以表示為：

因此，式（27）所示的更新規(guī)則改進(jìn)為：

5 仿真結(jié)果與分析

5.1 仿真設(shè)置

利用MATLAB 仿真平臺對所提邊云協(xié)同卸載方案進(jìn)行仿真評估。仿真遵循Manhattan 模型描述的參數(shù)設(shè)置并按照MEC 白皮書［6］相關(guān)規(guī)定構(gòu)建系統(tǒng)模型，使用SNIA 云服務(wù)器記錄所有數(shù)據(jù)集，并提供云端的計算服務(wù)支持邊緣節(jié)點(diǎn)參數(shù)更新。具體仿真參數(shù)見表1。

表1 仿真參數(shù)Table 1 Parameters of simulation

5.2 結(jié)果分析

為驗(yàn)證所提方案的收斂性并比較不同學(xué)習(xí)率對其收斂性的影響，將時延作為參照結(jié)果。由圖2 可以看出：當(dāng)學(xué)習(xí)率為0.01 時，收斂到一個局部最優(yōu)解時延較大；縮小學(xué)習(xí)率至0.005 可以得到較大的性能提升，但收斂速度變緩；學(xué)習(xí)率為0.001 時，在收斂結(jié)果上仍有較大提升?？紤]到更小的學(xué)習(xí)率會導(dǎo)致長時間無法收斂，本文采用0.001 的學(xué)習(xí)率作為后續(xù)實(shí)驗(yàn)參數(shù)。

圖2 不同學(xué)習(xí)率下訓(xùn)練周期與時延的關(guān)系Fig.2 The relationship of training period and time delay under different learning rates

不同方案的累計能耗隨訓(xùn)練周期的變化趨勢如圖3 所示，其中累計能耗的大小代表了計算任務(wù)遷移量。可以看出：對照組沒有利用云端技術(shù)，邊緣節(jié)點(diǎn)累計能耗在短時間內(nèi)快速上升，隨著任務(wù)量逐步均衡遷移而達(dá)到穩(wěn)定狀態(tài)，因?yàn)槁愤厗卧挠嬎隳芰?qiáng)于車輛節(jié)點(diǎn)，所以僅V2I 卸載方案略優(yōu)于僅V2V 卸載方案；本文方案利用邊云協(xié)同優(yōu)勢，在訓(xùn)練過程中參數(shù)更新及時，局部參數(shù)的快速迭代能擬合得到全局最優(yōu)解，因此在較短的時間內(nèi)就達(dá)到了系統(tǒng)功耗均衡。

圖3 不同方案訓(xùn)練周期與能耗的關(guān)系Fig.3 The relationship of training period and energy consumption under different schemes

不同方案系統(tǒng)效用隨計算任務(wù)到達(dá)率及頻譜分配因子的變化趨勢如圖4 所示。可以看出：一方面，系統(tǒng)效用隨計算任務(wù)到達(dá)率先增后減，在計算任務(wù)到達(dá)率為0.6 時達(dá)到最佳狀態(tài)，此時資源隊列較優(yōu)，使得執(zhí)行子效用對系統(tǒng)效用傾向性較大，通過調(diào)整子效用系數(shù)來應(yīng)對不同場景需求，本文對于執(zhí)行時間有強(qiáng)約束，故將子效用系數(shù)設(shè)置為ω=［0.6，0.2，0.2］；另一方面，計算任務(wù)生成率越高也能提升系統(tǒng)效用，任務(wù)數(shù)據(jù)傳輸不易丟包。相較于僅V2V 卸載和僅V2I 卸載方案，本文方案具有明顯優(yōu)勢。在對照組實(shí)驗(yàn)中，當(dāng)計算任務(wù)達(dá)到率僅為0.5 時資源隊列就達(dá)到飽和狀態(tài)，計算任務(wù)已處于排隊狀態(tài)。

圖4 不同方案計算任務(wù)到達(dá)率與系統(tǒng)效用的關(guān)系Fig.4 The relationship of system utility and computation tasks arrival rate under different schemes

不同頻譜分配因子m下系統(tǒng)效用與計算任務(wù)到達(dá)率的關(guān)系如圖5 所示。可以看出，盡管本文方案計算任務(wù)到達(dá)率為0.6 時系統(tǒng)效用已達(dá)到最大值，但隨著到達(dá)率的增加仍保持接近最佳值，體現(xiàn)了本文方案的有效性。

圖5 不同頻譜分配因子下計算任務(wù)到達(dá)率與系統(tǒng)效用的關(guān)系Fig.5 The relationship of computation tasks arrival rate and system utility under different spectrum allocation factors

不同訓(xùn)練周期和子效用系數(shù)設(shè)置下時延與能耗的關(guān)系如圖6 所示。可以看出：一方面，隨著訓(xùn)練周期增加，即訓(xùn)練的迭代次數(shù)的增加能反饋給智能體更完備的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使得計算任務(wù)的卸載能耗有所下降，但值得注意的是，云端訓(xùn)練的開銷能否得到有效供給是一個開放性問題，在本文中訓(xùn)練周期為4 000 時達(dá)到了收斂狀態(tài)；另一方面，隨著子效用系數(shù)ω2的增大，系統(tǒng)的能耗也逐漸增大。費(fèi)用開銷子效用系數(shù)ω3對于能耗的影響較大，ω3值增大導(dǎo)致能耗快速增長。

圖6 不同訓(xùn)練周期和子效用系數(shù)設(shè)置下時延與能耗的關(guān)系Fig.6 The relationship of delay and energy consumption under different settings of training period and sub-utility coefficient

6 結(jié)束語

本文提出一種基于多智能體強(qiáng)化學(xué)習(xí)的車聯(lián)網(wǎng)任務(wù)卸載方案。采用隨機(jī)幾何理論對資源隊列進(jìn)行控制，從而降低任務(wù)排隊時延，同時分離云端訓(xùn)練神經(jīng)網(wǎng)絡(luò)和節(jié)點(diǎn)決策神經(jīng)網(wǎng)絡(luò)，使云端能夠更精準(zhǔn)地提取環(huán)境特征，節(jié)點(diǎn)端則定時根據(jù)云端反饋的優(yōu)化參數(shù)進(jìn)行在線決策。仿真結(jié)果表明，與單一固定邊緣的計算策略相比，該方案能夠有效減小時延和能耗并且降低計算復(fù)雜度。下一步將結(jié)合節(jié)點(diǎn)緩存技術(shù)設(shè)計更高效的車聯(lián)網(wǎng)計算任務(wù)卸載方案。