劉雷，陳晨，馮杰，裴慶祺，何辭，竇志斌

（1.西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710071；2.中國電子科技集團(tuán)公司第54 研究所，河北 石家莊 050081）

1 引言

作為交通強(qiáng)國的重要抓手，車聯(lián)網(wǎng)在國家發(fā)展戰(zhàn)略中起著舉足輕重的作用[1-3]。隨著車聯(lián)網(wǎng)的飛速發(fā)展，車輛變得愈發(fā)普及和智能化。由此，催生了一大批車載應(yīng)用，涵蓋信息服務(wù)、行駛安全和交通效率各個(gè)方面[4-6]。這些應(yīng)用服務(wù)在給人們生活帶來便利的同時(shí)，將會(huì)造成數(shù)據(jù)的幾何增長，增加了網(wǎng)絡(luò)的負(fù)荷，對(duì)網(wǎng)絡(luò)帶寬提出了更高的需求。車載邊緣計(jì)算通過把移動(dòng)邊緣計(jì)算應(yīng)用在車聯(lián)網(wǎng)，可以實(shí)現(xiàn)計(jì)算和存儲(chǔ)能力的下沉，能夠極大緩解網(wǎng)絡(luò)的帶寬壓力，有效降低任務(wù)的響應(yīng)時(shí)延[7-8]。

在復(fù)雜的車載網(wǎng)絡(luò)環(huán)境下，為了保障大量用戶多樣化的服務(wù)需求，亟須設(shè)計(jì)有效的車載邊緣計(jì)算機(jī)制[9]。利用計(jì)算卸載技術(shù)，用戶可以把任務(wù)卸載給具有豐富資源的邊緣節(jié)點(diǎn)計(jì)算，有助于響應(yīng)時(shí)延的減少。然而，現(xiàn)有的車載計(jì)算卸載工作，在用戶端往往集中在本地處理，未能充分發(fā)掘鄰居車輛的資源，而在邊緣端大多側(cè)重于計(jì)算資源的管理，忽視了其與服務(wù)緩存之間的關(guān)系。特別地，邊緣端服務(wù)器為了計(jì)算用戶卸載的任務(wù)，需要具備一定的計(jì)算資源，也需要提前緩存相應(yīng)的服務(wù)應(yīng)用。換言之，計(jì)算卸載和服務(wù)緩存彼此關(guān)聯(lián)，相互耦合?？紤]到路邊設(shè)施存儲(chǔ)資源的限制，如何通過服務(wù)緩存的決策保障計(jì)算卸載的質(zhì)量是要解決的重要問題。鑒于車聯(lián)網(wǎng)的動(dòng)態(tài)、隨機(jī)和時(shí)變特性，需要引入更加智能的算法實(shí)現(xiàn)網(wǎng)絡(luò)通信、計(jì)算和緩存資源的有效管理，以應(yīng)對(duì)傳統(tǒng)數(shù)學(xué)方法的不足[10]。

針對(duì)以上問題，本文首先設(shè)計(jì)了縱向和橫向協(xié)同的智能車載邊緣計(jì)算網(wǎng)絡(luò)架構(gòu)，然后通過分析網(wǎng)絡(luò)通信、計(jì)算和服務(wù)緩存資源之間相互作用的機(jī)理，提出了通信、計(jì)算和服務(wù)緩存資源的聯(lián)合優(yōu)化模型，進(jìn)而利用異步分布式強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了任務(wù)的靈活卸載和資源的智能管理。

2 相關(guān)工作

區(qū)別于一般的移動(dòng)網(wǎng)絡(luò)[11]，車聯(lián)網(wǎng)的典型特點(diǎn)在于車輛的快速移動(dòng)。車輛的移動(dòng)會(huì)導(dǎo)致網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)變化，決定車間的連通特性，從而影響任務(wù)的正常卸載。為此，車載邊緣計(jì)算需要和車輛的移動(dòng)性密切結(jié)合。文獻(xiàn)[12]考慮網(wǎng)絡(luò)負(fù)荷和任務(wù)卸載，研究了多服務(wù)器多用戶場景下的資源管理。每輛車通過移動(dòng)可以將任務(wù)選擇性地卸載給期望的邊緣服務(wù)器。文獻(xiàn)[13]呈現(xiàn)了一個(gè)移動(dòng)模型用于設(shè)計(jì)鏈路穩(wěn)定性指標(biāo)?；谠撝笜?biāo)可以發(fā)現(xiàn)任務(wù)車輛周邊可用的服務(wù)車輛，從中可以挑選滿足任務(wù)車輛偏好和服務(wù)需求的車輛作為最優(yōu)的服務(wù)提供者。不同于傳統(tǒng)計(jì)算卸載工作主要考慮通信和計(jì)算資源的調(diào)度，文獻(xiàn)[14]設(shè)計(jì)的基于車輛移動(dòng)的卸載機(jī)制同時(shí)也考慮了任務(wù)卸載時(shí)間的決策。特別地，任務(wù)車輛與服務(wù)器之間的數(shù)據(jù)傳輸速率隨兩者之間的距離動(dòng)態(tài)變化，由此影響了任務(wù)的卸載時(shí)間。

在車載環(huán)境下，路邊單元廣泛部署于路測，通常作為主要的邊緣服務(wù)器節(jié)點(diǎn)參與用戶任務(wù)的處理。文獻(xiàn)[15]考慮車輛的移動(dòng)及其與關(guān)聯(lián)的邊緣服務(wù)器的連接時(shí)間，研究了負(fù)載卸載和任務(wù)調(diào)度問題。文獻(xiàn)[16]提出的雙端優(yōu)化問題旨在同時(shí)保障用戶端和服務(wù)器端的利益。以上工作主要側(cè)重于單服務(wù)器場景，文獻(xiàn)[17-18]則聚焦于多服務(wù)場景。文獻(xiàn)[17]提出了具有高可靠性、低時(shí)延的車–設(shè)施通信架構(gòu)，優(yōu)化了車和基站的耦合及無線資源的管理。文獻(xiàn)[18]的任務(wù)卸載機(jī)制則同時(shí)優(yōu)化了服務(wù)器和傳輸模式的選擇。

鑒于車聯(lián)網(wǎng)的復(fù)雜特性，人工智能算法以其巨大的優(yōu)勢也被用于車載邊緣計(jì)算，以實(shí)現(xiàn)資源的智能管理。文獻(xiàn)[19]利用Q–學(xué)習(xí)算法實(shí)現(xiàn)閑置車輛資源和服務(wù)器資源的管理，以加強(qiáng)用戶的服務(wù)質(zhì)量。文獻(xiàn)[20-21]均通過深度Q–學(xué)習(xí)聯(lián)合優(yōu)化了網(wǎng)絡(luò)的通信、計(jì)算和緩存資源，旨在提升系統(tǒng)的整體收益。文獻(xiàn)[22]則利用深度確定性策略梯度算法實(shí)現(xiàn)任務(wù)的調(diào)度和資源的管理，最大程度保障移動(dòng)運(yùn)營商的收益。

以上工作主要集中在車載計(jì)算卸載方面，忽視了車輛資源的發(fā)掘和服務(wù)緩存對(duì)計(jì)算卸載的影響。相比于文獻(xiàn)[12-18]，文獻(xiàn)[19-22]雖然采用智能方法實(shí)現(xiàn)任務(wù)的調(diào)度，但依然存在一定的局限性。為此，本文提出了計(jì)算卸載和服務(wù)緩存智能聯(lián)合優(yōu)化算法。

3 系統(tǒng)模型

本文構(gòu)建了一個(gè)邊緣智能驅(qū)動(dòng)的車載網(wǎng)絡(luò)架構(gòu)，如圖1 所示。該架構(gòu)包括三層，即用戶層、邊緣層和云層，特點(diǎn)介紹如下。

縱向協(xié)作。用戶層位于網(wǎng)絡(luò)的最底端，主要由車輛組成。部署于道路一側(cè)的路邊單元配置相應(yīng)的邊緣服務(wù)器，作為邊緣層的關(guān)鍵節(jié)點(diǎn)。特別地，在邊緣層引入智能模塊，協(xié)助實(shí)現(xiàn)資源的有效管理和任務(wù)的靈活決策。云層位于網(wǎng)絡(luò)的最上端，具有豐富的計(jì)算和存儲(chǔ)資源。在用戶和邊緣服務(wù)器資源受限的情況下，云層可提供必要的資源支持。

橫向協(xié)作。當(dāng)車輛有任務(wù)處理時(shí)，可以選擇本地執(zhí)行并通過鄰居車輛計(jì)算任務(wù)，還可利用車–設(shè)施通信方式交由路邊單元協(xié)助處理。路邊單元的資源往往在空時(shí)維度分布不均：輕負(fù)載的服務(wù)器資源會(huì)呈現(xiàn)閑置狀態(tài)造成浪費(fèi)，過負(fù)載的服務(wù)器則對(duì)應(yīng)接不暇的任務(wù)捉襟見肘。為此路邊單元之間可以加強(qiáng)橫向協(xié)作，通過任務(wù)遷移的策略，最大化網(wǎng)絡(luò)資源的利用率。

移動(dòng)感知。由于高速的移動(dòng)性，車輛可能頻繁地在不同的路邊單元之間切換。所以，需要能夠基于對(duì)車輛移動(dòng)行為的分析對(duì)車輛的軌跡準(zhǔn)確定位，以便路邊單元將計(jì)算結(jié)果順利反饋給車輛。

假設(shè)M個(gè)路邊單元均勻分布于道路一側(cè)，組成集合M。每個(gè)路邊單元配備一個(gè)計(jì)算能力為Fj、存儲(chǔ)資源為Sj的服務(wù)器。N個(gè)車輛自由移動(dòng)在道路上，組成集合N 。每個(gè)車輛i攜帶一個(gè)任務(wù)，該任務(wù)可以表征為{di,ci}，其中，di表示輸入數(shù)據(jù)的大小，ci表示該任務(wù)的計(jì)算量。路邊單元通過有線方式互聯(lián)。用戶與路邊通過無線通信方式進(jìn)行交互。車輛本地的卸載決策用xi0表示，其中，xi0=1表示車輛在用戶側(cè)處理任務(wù)；車輛邊緣的卸載決策用xij表示，其中，xij=1表示車輛將任務(wù)卸載給路邊單元j處理。特別地，當(dāng)車輛執(zhí)行邊緣卸載處理時(shí)，優(yōu)先鄰近關(guān)聯(lián)的路邊單元。如果當(dāng)前關(guān)聯(lián)的路邊單元負(fù)荷較重，則可以由該服務(wù)器將任務(wù)遷移至周邊的路邊單元。這樣有利于負(fù)載均衡，提升資源的利用率，從而加強(qiáng)用戶的服務(wù)體驗(yàn)。對(duì)于每個(gè)路邊單元，為了實(shí)現(xiàn)任務(wù)的處理，需要安裝相應(yīng)的服務(wù)應(yīng)用。換言之，當(dāng)其存儲(chǔ)了相應(yīng)的服務(wù)應(yīng)用，即緩存決策wij=1時(shí)，路邊單元j能夠處理車輛i卸載的任務(wù)；否則它需要從云端下載該應(yīng)用，從而帶來了額外的時(shí)延開銷。

3.1 移動(dòng)模型

定義δab為相鄰車輛a 和b 的連通時(shí)間，R為車輛的通信范圍。令va(t)和vb(t)分別為兩車在t時(shí)刻的速度，(xa(t),(ya(t))和(xb(t),(yb(t))分別為兩車在t時(shí)刻的坐標(biāo)。那么，兩車的連通時(shí)間可以表示[23]為

其中，當(dāng)φ=?1、?=1時(shí)，后車a 和前車b 同向行駛，且前車速度小于后車；當(dāng)φ=1、?=1時(shí)，后車a 和前車b 同向行駛，且前車速度大于后車；當(dāng)φ=?1、?=?1 時(shí)，車輛a 和車輛b 位于不同車道且相向行駛；當(dāng)φ=1，?=?1 時(shí)，車輛a 和車輛b位于相同車道，且反向行駛。

3.2 通信模型

車–車通信模型。車–車通信采用基于分布式協(xié)調(diào)功能（DCF,distributed coordination function）的IEEE 802.11p 協(xié)議。車輛利用CSMA/CA 機(jī)制競爭信道。令E[sn]表示成功傳輸一個(gè)數(shù)據(jù)所需要的平均時(shí)隙數(shù)目，E[sl]表示每個(gè)時(shí)隙的平均長度。那么，在車輛i和相鄰車輛k之間成功傳輸一個(gè)數(shù)據(jù)所需的平均時(shí)延[24]為

車?設(shè)施通信模型。任務(wù)車輛在執(zhí)行邊緣卸載時(shí)，通過車?設(shè)施通信方式將任務(wù)上傳給路邊單元，其中通信采用LTE-V2X 協(xié)議。定義hi和Bi分別為車輛與路邊單元之間的信道增益和信道帶寬。令ρi表示用戶的傳輸功率，σ2表示傳輸?shù)脑肼暋Ｄ敲?，根?jù)香農(nóng)定理可得，數(shù)據(jù)的上傳速率為

3.3 緩存模型

路邊單元執(zhí)行車輛卸載任務(wù)的前提在于其預(yù)先安裝了所需要的服務(wù)應(yīng)用?？紤]到存儲(chǔ)空間的有限性，路邊單元不可能緩存所有需要的服務(wù)應(yīng)用。定義路邊單元j的存儲(chǔ)大小為Cj，任務(wù)車輛i服務(wù)應(yīng)用的大小為，則有式(4)成立。

3.4 計(jì)算模型

任務(wù)車輛可以通過用戶層計(jì)算和邊緣層卸載2 種方式處理任務(wù)。下面，對(duì)兩者的時(shí)延性能分別進(jìn)行分析。

3.4.1 用戶層計(jì)算

為了充分利用車輛資源，任務(wù)車輛除了可以在本地處理任務(wù)外，還可以借助其通信范圍內(nèi)的鄰居車輛實(shí)現(xiàn)任務(wù)的計(jì)算。定義fi為任務(wù)車輛i自身的計(jì)算能力。那么，車輛i通過本地計(jì)算方式處理自己任務(wù)所需要的時(shí)間可表示為

定義Ni為車輛i通信范圍內(nèi)的車輛集合。當(dāng)任務(wù)車輛利用其鄰居車輛k∈Ni計(jì)算任務(wù)時(shí)，時(shí)延包括任務(wù)在兩車之間的傳輸時(shí)延、任務(wù)在鄰居車輛的計(jì)算時(shí)延和結(jié)果的反饋時(shí)延。這里，本文忽略結(jié)果的反饋時(shí)延。對(duì)于傳輸時(shí)延而言，根據(jù)式(2)可求得平均傳輸時(shí)延tik；對(duì)于計(jì)算時(shí)延來說，通過式(5)可以求得平均計(jì)算時(shí)延。

綜上可得，完成任務(wù)車輛任務(wù)計(jì)算所需要的最小時(shí)延為

約束條件為

其中，約束條件是為了保障選定的鄰居車輛能夠在兩車有效通信時(shí)間δik內(nèi)完成任務(wù)的處理和反饋。

3.4.2 邊緣層卸載

當(dāng)任務(wù)車輛執(zhí)行邊緣卸載時(shí)，一般包括以下階段：任務(wù)上傳、任務(wù)執(zhí)行和結(jié)果反饋。本文忽略結(jié)果反饋的時(shí)延假設(shè)任務(wù)車輛i選擇卸載的路邊單位為j，分別對(duì)不同階段的時(shí)延進(jìn)行分析。

任務(wù)上傳階段。車輛i首先把任務(wù)上傳給當(dāng)前關(guān)聯(lián)的路邊單元si，該過程的傳輸時(shí)延取決于任務(wù)的大小和數(shù)據(jù)的傳輸速率。由式(3)可得

任務(wù)執(zhí)行階段。根據(jù)所選定卸載服務(wù)器的位置，任務(wù)執(zhí)行分為以下2 種情況。

情況1路邊單元si和j相同。該情況下，任務(wù)在當(dāng)前路邊單元計(jì)算。如果路邊單元存儲(chǔ)了計(jì)算該任務(wù)所需的服務(wù)應(yīng)用，則可以直接計(jì)算任務(wù)，所需時(shí)延取決于任務(wù)的算力需求和路邊單元分配的計(jì)算資源；否則，還要考慮從云端下載相應(yīng)服務(wù)應(yīng)用的額外時(shí)延。綜上，完成任務(wù)計(jì)算所需要的時(shí)間為

其中，fij表示路邊單元給車輛分配的算力。

情況2路邊單元si和j不同。該情況下，需要考慮任務(wù)在兩者之間的遷移時(shí)延。路邊單元之間通過有線鏈路連接。假設(shè)si和j之間存在個(gè)鏈路，而每個(gè)鏈路的平均傳輸時(shí)延為tone-link，那么，任務(wù)在2個(gè)路邊單元之間的遷移時(shí)間為。結(jié)合式(8)，可得完成任務(wù)處理所需要的時(shí)間為

結(jié)果反饋階段。一旦選定的路邊單元完成任務(wù)的處理，就需要將結(jié)果反饋給車輛。由于移動(dòng)性，需要考慮車輛此時(shí)是否可能駛出了起初關(guān)聯(lián)的路邊單元。因此，可將任務(wù)在上傳和執(zhí)行階段的時(shí)間Tij與車輛在起初關(guān)聯(lián)服務(wù)器傳輸范圍內(nèi)的時(shí)間做比較。其中，取決于用戶駛出服務(wù)器通信范圍的時(shí)間和移動(dòng)速度的比值。如果，可將結(jié)果首先傳輸給該路邊單元，然后反饋給車輛；否則，需要對(duì)車輛的移動(dòng)定位，判斷當(dāng)前位于哪個(gè)路邊單元，以便將結(jié)果傳輸給該服務(wù)器，進(jìn)而反饋給車輛。

3.5 計(jì)算卸載和服務(wù)緩存聯(lián)合優(yōu)化模型

本文旨在動(dòng)態(tài)、隨機(jī)和時(shí)變的車載環(huán)境下，面對(duì)有限網(wǎng)絡(luò)資源和不同用戶需求之間的矛盾，通過計(jì)算卸載和服務(wù)緩存資源聯(lián)合優(yōu)化，在保障用戶服務(wù)需求的前提下，最小化系統(tǒng)整體的處理時(shí)延。鑒于此，設(shè)計(jì)目標(biāo)函數(shù)如下

其中，x={xij}，w={wij}，f={fij}。根據(jù)式(6)～式(9)，可分別得到和Tij。這里，假設(shè)車輛分配的帶寬資源一樣。限制性條件C1 表示每個(gè)任務(wù)有用戶層處理和邊緣層卸載2 種處理方式；C2 表示每個(gè)任務(wù)僅在一個(gè)地方執(zhí)行；C3 表示服務(wù)器的計(jì)算資源限制；C4 表示服務(wù)器的緩存資源限制，其中，? i表示執(zhí)行任務(wù)所需要的服務(wù)應(yīng)用的大小；C5 表示車輛卸載給路邊單位的任務(wù)應(yīng)該在其離開關(guān)聯(lián)的服務(wù)器傳輸范圍之前完成，其中，δ i表示用戶和其關(guān)聯(lián)的服務(wù)器的連接時(shí)間，取決于用戶駛出服務(wù)器通信范圍的時(shí)間和移動(dòng)速度的比值。

4 基于異步分布式強(qiáng)化學(xué)習(xí)的問題求解

鑒于車載網(wǎng)絡(luò)的動(dòng)態(tài)性、隨機(jī)性和時(shí)變性，人工智能算法相比于傳統(tǒng)數(shù)學(xué)方法更適合資源的管理和任務(wù)的調(diào)度。相比較而言，Q–學(xué)習(xí)需要維護(hù)Q表格，不適應(yīng)于具有較多狀態(tài)的網(wǎng)絡(luò)。深度確定性策略梯度算法需要利用經(jīng)驗(yàn)回放機(jī)制消除訓(xùn)練數(shù)據(jù)間的相關(guān)性。對(duì)于經(jīng)驗(yàn)回放機(jī)制來說，代理在與環(huán)境的每次交互都需耗費(fèi)較多的資源，而所采用的離策略學(xué)習(xí)方法只能基于舊策略生成的數(shù)據(jù)進(jìn)行更新。所以，考慮利用異步優(yōu)勢的actor-critic 算法減少算法執(zhí)行所需的開銷，同時(shí)基于實(shí)時(shí)的網(wǎng)絡(luò)環(huán)境提供最優(yōu)的卸載決策和資源管理。

利用異步優(yōu)勢的actor-critic 算法對(duì)系統(tǒng)環(huán)境建模，需要確定其狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)，具體如下。

狀態(tài)空間。狀態(tài)空間S由車載網(wǎng)絡(luò)的計(jì)算資源和緩存資源組成，S={F1,F2,…,FM,S1,S2,…,SM}。其中，F(xiàn)i和Si分別表示路邊單元i的計(jì)算能力和存儲(chǔ)能力。

動(dòng)作空間。動(dòng)作空間由車輛的卸載決策、路邊單元的緩存和計(jì)算資源管理組成，A=(xi,wi,fi)。其中，xi、wi和fi分別代表車輛i的卸載決策、路邊單元存儲(chǔ)和計(jì)算資源管理的集合，xi={xi0,xi1,…,xiM}，wi={wi1,wi2,…,wiM}，fi={f i1,fi2,…,fiM}。

異步優(yōu)勢的actor-critic 算法中的公共神經(jīng)網(wǎng)絡(luò)包括多個(gè)線程，每個(gè)線程具有和公共神經(jīng)網(wǎng)絡(luò)一樣的2 個(gè)模塊：策略（actor）網(wǎng)絡(luò)和評(píng)價(jià)（critic）網(wǎng)絡(luò)。actor 網(wǎng)絡(luò)用于優(yōu)化參數(shù)為θ策略π(at|st;θ)；critic 網(wǎng)絡(luò)嘗試估計(jì)參數(shù)為θ v的價(jià)值函數(shù)V(s t;θ)。在時(shí)刻t，actor 網(wǎng)絡(luò)基于當(dāng)前狀態(tài)st執(zhí)行動(dòng)作at，得到獎(jiǎng)賞rt并進(jìn)入下一個(gè)狀態(tài)st+1。

利用優(yōu)勢函數(shù)A(at,st)表示動(dòng)作價(jià)值函數(shù)Q(at,st)和狀態(tài)價(jià)值函數(shù)V(st)的差值，如式(16)所示。

其中，a表示動(dòng)量，Δθ表示損失函數(shù)的累計(jì)梯度。

RMSProp 算法可以通過式(23)進(jìn)行梯度下降的更新。

其中，η表示學(xué)習(xí)速率，ε表示一個(gè)正數(shù)。

單個(gè)線程獨(dú)立地與環(huán)境交互并獲取經(jīng)驗(yàn)，彼此之間互不干擾。經(jīng)過一定的交互之后，每個(gè)線程獨(dú)立地使用累計(jì)的梯度更新公共神經(jīng)網(wǎng)絡(luò)模型參數(shù)，如圖2 所示。進(jìn)而，公共神經(jīng)網(wǎng)絡(luò)會(huì)分發(fā)自己的參數(shù)更新每個(gè)線程的神經(jīng)網(wǎng)絡(luò)參數(shù)，指導(dǎo)線程與環(huán)境的交互。本文算法詳細(xì)描述如下。

圖2 本文算法網(wǎng)絡(luò)模型

算法1基于異步分布式強(qiáng)化學(xué)習(xí)的計(jì)算卸載和服務(wù)緩存聯(lián)合優(yōu)化機(jī)制

輸入車輛的任務(wù)屬性和需求

輸出車輛的卸載決策，路邊單元計(jì)算和緩存資源管理決策

初始化定義?和? v為全局網(wǎng)絡(luò)中actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)的參數(shù)；定義為局部網(wǎng)絡(luò)中actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)的參數(shù)；設(shè)置全局計(jì)數(shù)器T=0，設(shè)置局部步進(jìn)計(jì)數(shù)器t=1，設(shè)置Tmax、tg、γ、ε、tmax、學(xué)習(xí)的速率η和代理的數(shù)目W

迭代：

5 仿真分析

本節(jié)利用Python 對(duì)車載邊緣計(jì)算卸載算法進(jìn)行仿真驗(yàn)證，通過比較各算法隨車輛數(shù)目、路邊單元計(jì)算能力和存儲(chǔ)能力的變化在時(shí)延和獎(jiǎng)賞方面展現(xiàn)的性能，來評(píng)估不同算法的優(yōu)劣。其中，實(shí)現(xiàn)的算法除了本文算法之外，還包括基于隨機(jī)卸載策略random processing 和完全卸載策略的offloading processing。在車載環(huán)境下，設(shè)置一個(gè)云中心和3 個(gè)路邊單元。仿真參數(shù)如表1 所示。車輛的計(jì)算能力分布于[100,500]Mcycle/s，邊緣服務(wù)器計(jì)算能力分布于[2,6]Gcycle/s，邊緣服務(wù)器緩存能力分布于[200,1 000]MB，車輛計(jì)算能力分布于[100,500]Mcycle/s，每個(gè)任務(wù)的計(jì)算強(qiáng)度為297.62 cycle/bit。

表1 仿真參數(shù)

圖3 顯示了車輛數(shù)目對(duì)不同算法時(shí)延的影響。此時(shí)，設(shè)置每個(gè)路邊單元的計(jì)算能力為 2 GHz，存儲(chǔ)大小為300 MB。從圖3 中可以發(fā)現(xiàn)，系統(tǒng)任務(wù)處理的時(shí)延隨著車輛數(shù)目的增多而增加。這一方面是因?yàn)樘幚砣蝿?wù)的增多，另外一方面是因?yàn)橛邢抻?jì)算資源的競爭。在所有的算法中，random processing的時(shí)延最大。相對(duì)于offloading processing 和本文算法，當(dāng)采用random processing 時(shí)，車輛會(huì)承擔(dān)較多任務(wù)的計(jì)算。由于車輛自身計(jì)算資源的限制，單獨(dú)處理任務(wù)會(huì)造成較大的時(shí)延。offloading processing取得了比random processing 更好的性能。這主要?dú)w因于邊緣服務(wù)器具有豐富的計(jì)算資源。邊緣服務(wù)器參與任務(wù)的計(jì)算，會(huì)加快任務(wù)的處理，降低任務(wù)的處理時(shí)延。本文算法相對(duì)于以上2 種算法，完成任務(wù)處理所需的時(shí)延最小，這是因?yàn)楸疚乃惴紤]了縱向的端、邊和云的協(xié)作。為此，所有可用的資源均可以通過協(xié)同用于處理任務(wù)，提升了資源的利用效率，促進(jìn)了時(shí)延的減少。特別地，在端側(cè)，任務(wù)的處理不僅考慮了本地資源，也充分發(fā)掘了任務(wù)車輛一跳的鄰居車輛資源。本文算法的目標(biāo)在于最小化任務(wù)的處理時(shí)延，而所在用的深度強(qiáng)化學(xué)習(xí)策略能夠適應(yīng)車載網(wǎng)絡(luò)的動(dòng)態(tài)、隨機(jī)和時(shí)變特性獲取相應(yīng)的最優(yōu)解。

圖3 車輛數(shù)目對(duì)不同算法時(shí)延的影響

圖4 顯示了邊緣服務(wù)器的計(jì)算能力對(duì)不同算法時(shí)延的影響。隨著邊緣服務(wù)器的計(jì)算能力的增加，不同算法處理任務(wù)的時(shí)延隨之減少。這是因?yàn)槿蝿?wù)的計(jì)算與邊緣服務(wù)器的資源呈正相關(guān)的關(guān)系。對(duì)于random processing 而言，任務(wù)可以在端側(cè)處理，也可以由邊緣服務(wù)器計(jì)算。由于未能充分發(fā)掘邊緣服務(wù)器的計(jì)算資源，random processing 所帶來的時(shí)延最大。對(duì)于offloading processing 而言，任務(wù)全部交由邊緣服務(wù)器處理。雖然可以充分發(fā)揮邊緣服務(wù)器的計(jì)算資源，但是，未能考慮計(jì)算資源和服務(wù)緩存資源的相互關(guān)系。邊緣服務(wù)器因?yàn)榫彺尜Y源不足將從云端下載任務(wù)計(jì)算所需的服務(wù)應(yīng)用，帶來額外的時(shí)延。對(duì)于本文算法而言，它聯(lián)合考慮了計(jì)算卸載和服務(wù)緩存，通過本地處理和邊緣處理的合理調(diào)度，促使了計(jì)算資源和緩存資源的充分利用，進(jìn)一步減少了任務(wù)的處理時(shí)延。此外，深度強(qiáng)化學(xué)習(xí)算法有利于在動(dòng)態(tài)的網(wǎng)絡(luò)環(huán)境當(dāng)中做出最優(yōu)的卸載決策，有效地處理好計(jì)算資源和服務(wù)緩存資源之間的關(guān)系，進(jìn)而保障任務(wù)的快速處理。

圖4 邊緣服務(wù)器的計(jì)算能力對(duì)不同算法時(shí)延的影響

圖5 描述了邊緣服務(wù)器的緩存能力對(duì)不同算法時(shí)延的影響。從圖5 中可以發(fā)現(xiàn)，隨著邊緣服務(wù)器緩存能力的增加，不同算法處理任務(wù)的時(shí)延隨之減少。這主要是因?yàn)檫吘壏?wù)器為了執(zhí)行任務(wù)，需要安裝相應(yīng)的服務(wù)應(yīng)用，否則就需要從云端下載，從而帶來了額外的開銷。當(dāng)邊緣服務(wù)器的緩存能力增加時(shí)，可以緩存更多任務(wù)處理所需要的服務(wù)應(yīng)用。這樣方便任務(wù)卸載給邊緣服務(wù)器之后直接計(jì)算，從而降低了時(shí)延。

圖5 邊緣服務(wù)器的緩存能力對(duì)不同算法時(shí)延的影響

圖6 描述了本文算法在不同學(xué)習(xí)速率場景下的收斂情況。其中，實(shí)線表示當(dāng)actor 和critic 網(wǎng)絡(luò)的學(xué)習(xí)速率分別為1×10?5和1×10?4時(shí)episode數(shù)目對(duì)獎(jiǎng)勵(lì)的影響。虛線表示當(dāng)actor 和critic 網(wǎng)絡(luò)的學(xué)習(xí)速率分別為1×10?4和1×10?3時(shí)episode數(shù)目對(duì)獎(jiǎng)勵(lì)的影響。從兩者的比較可以發(fā)現(xiàn)，隨著episode 的增加，獎(jiǎng)賞將會(huì)趨于穩(wěn)定。

圖6 本文算法在不同學(xué)習(xí)速率場景下的收斂情況

6 結(jié)束語

面對(duì)車聯(lián)網(wǎng)中有限的網(wǎng)絡(luò)資源，為了保障大量用戶多樣化的服務(wù)需求，本文提出了智能驅(qū)動(dòng)的車載邊緣計(jì)算架構(gòu)。該架構(gòu)實(shí)現(xiàn)了縱向端-邊-云資源的協(xié)作和橫向端側(cè)、邊側(cè)資源的協(xié)同，有利于實(shí)現(xiàn)資源的最大化利用?；谠摷軜?gòu)，探究了計(jì)算卸載和服務(wù)緩存相互作用的機(jī)理，進(jìn)而提出了兩者的聯(lián)合優(yōu)化模型。考慮到復(fù)雜的車載環(huán)境，利用異步優(yōu)勢的actor-critic 算法，給出了最優(yōu)的任務(wù)卸載的策略和資源管理方案。實(shí)驗(yàn)結(jié)果表明，相對(duì)于對(duì)比算法，本文算法在任務(wù)處理時(shí)延方面取得了良好的性能提升。