劉文帥/LIU Wenshuai，李斌/LI Bin，2

（1. 南京信息工程大學，中國南京 210044；2. 網(wǎng)絡與交換技術國家重點實驗室（北京郵電大學），中國北京 100876）

當前無線通信技術面臨能耗高、覆蓋低、無線信道不可控等問題，嚴重影響了通信服務質量。作為未來6G 的一項空口技術，智能超表面（RIS）得到了廣泛關注[1-2]。RIS由一組無源反射元件構成，可通過編程來實時調控各個反射單元，進而控制入射信道的幅值和相位，在功耗和部署成本上具有優(yōu)勢[3]。RIS輔助通信的關鍵是使用超表面來改變無線傳播環(huán)境，從而減輕多徑衰落和視距阻塞的負面影響。

車載通信是智能交通系統(tǒng)不可或缺的組成部分，它允許汽車與周圍環(huán)境以及遠程實體保持聯(lián)系，并為車輛提供隨時隨地的連接服務[4]。由于傳播環(huán)境復雜，車輛與路邊單元（RSU）之間建立的傳播鏈路質量很容易惡化[5-6]。在障礙物遮擋的RSU服務暗區(qū)，利用RIS技術為行駛的車輛能夠提供間接的視距傳輸鏈路，將有望為高能效車載通信提供重要的手段支撐。為了提高車載通信的連通性，文獻[7]提出了一種面向高頻段的RIS輔助架構，并綜合考慮RIS的規(guī)模和運行模式，研究了RIS的最優(yōu)部署問題。文獻[8]提出了一種異構車聯(lián)網(wǎng)，并使用聯(lián)邦Q 學習最小化網(wǎng)絡開銷。文獻[9]研究了毫米波車聯(lián)網(wǎng)上行鏈路速率最大化問題，借助RIS技術提高上行鏈路性能。文獻[10]研究了離散相移約束下的上行鏈路速率加權和最大化問題，并分別為單用戶和多用戶場景提供解決方案。文獻[11]提出了一個多RIS輔助的多車多天線通信系統(tǒng)，通過交替迭代算法優(yōu)化發(fā)射機的波束成形矢量和每個RIS 的相移，使車載通信服務質量達到最高。文獻[12]研究了RIS輔助車聯(lián)網(wǎng)的頻譜共享問題，即多個車到車鏈路可以復用已被車到基礎設施鏈路占用的頻譜，使用中斷概率作為評估車載通信可靠性的性能指標。

由于網(wǎng)絡環(huán)境高度動態(tài)變化，使用RIS輔助車聯(lián)網(wǎng)仍面臨著諸多挑戰(zhàn)[13-14]。（1）RIS 與車輛之間距離的變化會影響實時信道狀態(tài)，同時車輛在區(qū)域內的滯留時間不同，這些均使得RSU 在優(yōu)化通信質量的同時，還需要考慮車輛的移動性；（2）在獲取相同服務資源的情況下，滯留時間較長的車輛的服務質量會有所下降，因此為盡可能保障服務的公平性，該網(wǎng)絡場景下的通信資源需要進行合理分配。未來的狀態(tài)信息通常難以預知，RSU需要與車輛不斷交換各種狀態(tài)信息，根據(jù)即時狀態(tài)信息進行在線決策?；谏疃葟娀瘜W習（DRL）的方法可以根據(jù)當前的環(huán)境狀態(tài)進行決策，對環(huán)境的先驗信息要求較低。文獻[14]考慮到物聯(lián)網(wǎng)設備能量與計算能力雙重受限問題，提出了一種RIS輔助的無線供能移動邊緣網(wǎng)絡方案，利用雙深度Q網(wǎng)絡方法聯(lián)合優(yōu)化無線傳能時隙分配、RIS相移和卸載決策，從而提升能量轉移效率和通信效率。考慮到實際的RIS相移，文獻[15]研究了聯(lián)合車輛調度和RIS無源波束成形優(yōu)化問題，通過深度強化學習和塊坐標下降法使暗區(qū)車輛的最小可實現(xiàn)比特率達到最大。然而，這些工作對于車載邊緣計算（VEC）中RIS輔助通信的研究尚不深入。

隨著5G時代人工智能的不斷發(fā)展，各種時延敏感性、計算密集型的交通應用和服務不斷涌現(xiàn)[16]，這給資源有限的設備帶來極大挑戰(zhàn)。車輛自身的計算處理能力往往不強，難以實現(xiàn)實時高效的數(shù)據(jù)處理。VEC作為一種新范式將車聯(lián)網(wǎng)與移動邊緣計算兩者融合，從而解決車輛自身計算能力受限問題[17-18]。相較于傳統(tǒng)移動邊緣計算，VEC能為智能交通系統(tǒng)提供更方便的服務，更適用于路邊智能基礎設施與移動性較強的車輛終端，旨在為海量的交通應用提供隨時隨地的連接。在這種場景下，更多的系統(tǒng)參數(shù)使傳輸方案的設計變得更難，部署RIS能否帶來性能增益還有待研究。基于以上考慮，本文提出了一種基于近端策略優(yōu)化（PPO）的計算卸載在線優(yōu)化算法。

1 系統(tǒng)模型

1.1 計算模型

1.2 通信模型

圖1 RIS輔助車載邊緣計算系統(tǒng)模型

由式（6）可知，當RSU的接收信號信噪比最大時，即：

依據(jù)香農公式，時隙n內車輛k的平均卸載速率為：

車輛k通過RSU覆蓋暗區(qū)的平均卸載速率可以表示為：

為簡化問題，本文對任一車輛經過暗區(qū)所需的時隙數(shù)進行上取整操作。

1.3 問題描述

本文面向系統(tǒng)中車輛的服務公平性，通過聯(lián)合設計時段分配因子、任務卸載比例、RIS相移使所有車輛的最小卸載速率達到最高，因此優(yōu)化問題可表述為：

2 基于PPO的時段劃分與卸載算法

問題（10）是一個多變量高度耦合且存在整型變量NPhard的問題，求解該問題具有很大挑戰(zhàn)性。系統(tǒng)中多數(shù)狀態(tài)信息需要在每個時隙內完成即時交換，而現(xiàn)有的凸優(yōu)化理論設計復雜度高，難以保證決策的實時性。本節(jié)提出基于PPO的深度強化學習算法以用于尋求時段劃分因子，在給定時段劃分決策下，基于凸優(yōu)化方法處理傳輸功率與卸載比例。

2.1 RIS相移優(yōu)化

根據(jù)公式（7）和公式（8），可得出RIS最優(yōu)相移Ψ為：

2.2 傳輸功率與卸載比例優(yōu)化

上述問題是關于ρ和p的凸優(yōu)化問題，可以借助凸優(yōu)化軟件（例如CVX）進行求解。

2.3 基于PPO的時段劃分策略

給定Ψ、ρ和p時，式（10）可描述為：

該問題是一個整數(shù)優(yōu)化問題，尋找時段劃分策略α的最優(yōu)解較為困難。本章節(jié)提出基于PPO的時段分配在線優(yōu)化方案，首先介紹DRL 中馬爾科夫決策過程（MDP）的基本要素，然后闡述基于PPO的時段劃分方法。

2.3.1 MDP基本要素定義

在本文場景中，RSU 不需要任何關于環(huán)境的先驗信息，環(huán)境狀態(tài)轉移概率未知，且狀態(tài)信息需要即時獲取，可建模為無模型、無轉移概率的MDP。具體而言，在某個時間步t，環(huán)境處于狀態(tài)s(t)，代理執(zhí)行動作a(t)，環(huán)境轉移到可行的后繼狀態(tài)s(t+ 1)，代理接收獎勵r(t)，隨后t增加1。代理通過觀察s(t+ 1)與r(t+ 1)來調整自身策略，不斷訓練使得累積獎勵達到最大。將一個時隙作為一個時間步，下面對狀態(tài)空間、動作空間和獎勵函數(shù)進行分別定義。

（1） 狀態(tài)空間定義：

（2） 動作空間定義：

其中，α[n]=[α1[n],…,αK[n]]T，表示時間步t對應時隙n的時段劃分因子向量。為便于處理，設置子時隙數(shù)U為較大的整數(shù)值，同時可近似地將αk[n]作為連續(xù)變量處理。

（3） 獎勵函數(shù)定義：

2.3.2 基于PPO的時段劃分算法

考慮新動作策略和舊動作策略之間的關系，PPO方法設置了一種新的目標函數(shù)，將動作值穩(wěn)定在近端范圍內，使新動作策略的更新可以參照舊動作策略。該方法不僅具有動態(tài)決策的優(yōu)勢，還可以快速確定模型的正確優(yōu)化方向。動作網(wǎng)絡根據(jù)狀態(tài)輸出動作，與環(huán)境交互；評價網(wǎng)絡根據(jù)狀態(tài)計算狀態(tài)價值，估計動作的優(yōu)劣。

設新、舊動作網(wǎng)絡的參數(shù)分別為θ和θold，評價網(wǎng)絡的參數(shù)為ξ，定義每個時間步t的優(yōu)勢函數(shù)為：

其中，?是用于控制截斷范圍的限制參數(shù)，其值較小，決定新舊策略之間的差異。目標函數(shù)（18）使用剪切概率比，可降低訓練難度，被認為是一種優(yōu)秀的方法。在訓練過程中，PPO 算法將狀態(tài)s(t)輸入新動作網(wǎng)絡，并輸出相應動作a(t)后，從環(huán)境中得到獎勵r(t)與下一狀態(tài)s(t+ 1)，此時向回放記憶單元中存入一個完整的經驗(s(t),a(t),r(t),s(t+ 1))，隨后將s(t+ 1)輸入到新動作網(wǎng)絡，直到經驗池滿。RSU 通過與環(huán)境交互不斷地更新動作網(wǎng)絡θ與評價網(wǎng)絡ξ，優(yōu)化自身策略逐漸使獎勵值與目標函數(shù)達到最大?？偟膩碚f，基于PPO的任務卸載算法如下：

算法1. 基于PPO的任務卸載算法輸入：最大回合數(shù)Ep，每回合最大時間步Smax，學習率lr，限制參數(shù)?，GAE參數(shù)λ，評價網(wǎng)絡參數(shù)ξ輸出：動作網(wǎng)絡參數(shù)θ 1.初始化動作網(wǎng)絡參數(shù)θ，評價網(wǎng)絡參數(shù)ω

2.FOR episode←1 TO Εp DO 3.初始化：(xk[1],yk[1])、Lk、ck、RSU高度HS、RIS高度HS 4.FOR t ←1 TO Smax DO 5.從環(huán)境中獲取狀態(tài)s(t)6.使用πθ根據(jù)狀態(tài)選擇動作s(t)7.根據(jù)a(t)，求解ρ、p、Ψ 8.計算下一狀態(tài)s(t + 1)9.根據(jù)公式（16）計算獎勵r(t)10.存儲經驗(s[t],a[t],r[t],s[t + 1])11.END FOR 12.FOR t ←1 TO Γ DO 13.計算A^(t)14.END FOR 15.更新動作網(wǎng)絡θ，更新評價網(wǎng)絡ξ，更新θold ←θ 16.清理經驗數(shù)據(jù)17.END FOR

3 仿真結果與分析

本節(jié)在Python 3.6和Pytorch環(huán)境下對所提算法進行仿真驗證。假設RSU 暗區(qū)半徑為200 m，車輛出發(fā)于x軸負半軸一側邊界，沿x軸正方向行駛，車輛y坐標隨機生成該邊界上的合理值。RIS 部署于(0,200,70)m，RSU 的位置為(0,500,20)m，服務周期T= 20 s，U= 200，時隙數(shù)N= 40，任務數(shù)據(jù)量Lk∈[106,8 × 106]bits，單位比特平均計算次數(shù)ck∈[300,500]cycles/bit，噪聲功率σ2=-110 dBm，K1=K2= 10 dB，信道增益γ0=-30 dB。PPO 訓練參數(shù)如表1所示。

表1 近端策略優(yōu)化算法參數(shù)

圖2 對比了PPO 與AC（Actor-Critic）方法在同等學習率與隨機數(shù)序列下的獎勵值收斂曲線。由圖2 可知，當回合數(shù)增加到500 時，PPO 方法呈現(xiàn)收斂。與之對比的AC 方法雖初期獎勵值略高，但收斂到的獎勵值與PPO 有較大差異。這表明PPO 是一種能夠快速適應動態(tài)環(huán)境的DRL算法。

圖2 訓練收斂曲線

當系統(tǒng)中車輛數(shù)K=10時，圖3對比了PPO、AC與隨機分配3種算法下車輛最小速率隨RIS元素數(shù)變化的情況。可以看出，隨著RIS 元素數(shù)增加，3 種算法的最小速率均提升顯著。其中，本文所提的基于PPO的卸載算法目標值最大，AC 算法與之相比有一定差距，且隨著RIS 元素數(shù)變化，這種差距漸進增加。隨機分配方法性能有較大跳躍，并不是一種適合于實際場景的算法。

圖3 RIS元素數(shù)對目標值的影響

圖4給出了系統(tǒng)中車輛數(shù)對不同方案所得傳輸速率最小值的影響。在RIS元素N=40時，通過所提PPO 算法與優(yōu)勢行動者-評論家（A2C）算法、隨機分配策略的性能比較可以看出，所提PPO 算法與A2C 算法兩者的性能差距較小。因而，對于A2C 這種改進的AC 方法，PPO 算法也能保持一定的優(yōu)勢。相比于隨機分配算法，所提PPO 算法與A2C 算法分別獲得了61.9%與48.8%的性能提升。

圖4 車輛數(shù)量對最小速率的影響

圖5給出了RIS元素數(shù)量對任務卸載情況的影響。在車輛數(shù)K=10 的情況下，隨著RIS 元素數(shù)量的增加，任務卸載比例呈現(xiàn)上升趨勢，這說明RIS元素數(shù)量的增加能夠對通信質量產生積極作用，使得系統(tǒng)能夠傳輸更多任務。由圖5可知，所提PPO 算法的任務卸載比例最高，這說明PPO 對車載終端的服務效果最佳，有助于減小車載終端自身的計算負載。相比于均等分配，本文所提PPO算法的卸載比例提升了46.8%，A2C算法的卸載比例提升了33.2%。

圖5 智能超表面元素數(shù)量對任務卸載比例的影響

4 結束語

本文提出了一種RIS 輔助VEC 的部分任務卸載方案，為車輛無法與RSU 直接通信提供了計算服務，首先分析了車輛移動性，將時延容忍約束下的最小速率最大化問題建模為馬爾科夫決策過程，其次結合深度強化學習與凸優(yōu)化方法，設計了基于PPO 的時段分配與任務卸載算法。仿真結果驗證了所提方案在計算卸載方面的可行性與優(yōu)越性，驗證了RIS 作為中繼在改善無線通信環(huán)境方面具有顯著作用。