王平，楊志偉，李賀舉

（1.同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201804；2.上海自主智能無人系統(tǒng)科學(xué)中心，上海 201210）

0 引言

作為物聯(lián)網(wǎng)中一個有潛力的研究分支，車聯(lián)網(wǎng)可有效改善道路安全問題和駕駛者的駕乘環(huán)境，有望成為智能交通系統(tǒng)中重要的數(shù)據(jù)傳輸與控制平臺。同時，隨著下一代無線網(wǎng)絡(luò)的蓬勃發(fā)展，以機(jī)器學(xué)習(xí)為核心的應(yīng)用方案在分析車聯(lián)網(wǎng)邊緣數(shù)據(jù)方面發(fā)揮著重要的作用，可進(jìn)行自主化的推理、建模以及決策[1]。然而，由于無線資源限制、時延約束及數(shù)據(jù)隱私安全方面的挑戰(zhàn)，強(qiáng)迫車聯(lián)網(wǎng)移動終端將其收集的本地隱私數(shù)據(jù)上傳到中心節(jié)點(diǎn)（如云服務(wù)器進(jìn)行集中模型訓(xùn)練）是不切實(shí)際的。為此，聯(lián)邦邊緣學(xué)習(xí)（FEEL,federated edge learning）通過允許分布式終端設(shè)備在數(shù)據(jù)本地化的前提下共享本地模型協(xié)同訓(xùn)練，避免敏感數(shù)據(jù)通過無線信道傳輸，從而有效地保證了車聯(lián)網(wǎng)終端隱私和數(shù)據(jù)安全[2]。此外，中心節(jié)點(diǎn)從云服務(wù)器下沉到網(wǎng)絡(luò)邊緣，使移動終端只需與基站（BS,base station）端通信，由此顯著降低通信成本，克服由網(wǎng)絡(luò)擁塞導(dǎo)致的過度傳播時延問題[3]。然而，由于采樣對象或采樣終端規(guī)格存在差異，移動終端數(shù)據(jù)往往是非獨(dú)立同分布（non-IID,not identically and independently distributed）的，即各終端的本地數(shù)據(jù)往往不服從同一分布，表現(xiàn)出較大的差異性[4]。當(dāng)數(shù)據(jù)是獨(dú)立同分布（IID,identically and independently distributed），即局部分布相同時，局部損失函數(shù)在大量樣本上收斂于相同的期望損失，而non-IID 數(shù)據(jù)則會影響全局模型的預(yù)測準(zhǔn)確率，阻礙全局模型收斂，從而使聯(lián)邦學(xué)習(xí)任務(wù)不能取得預(yù)期效果。

同時，由于移動終端通過無線信道連接到基站，基站端接收到的模型參數(shù)不可避免地受到信道衰落和加性噪聲的影響[5]。由于終端間的無線環(huán)境不同，其與基站端的通信鏈路也存在較大的異構(gòu)性。因此，在模型更新過程中設(shè)計有效的上行通信系統(tǒng)是FEEL 訓(xùn)練的關(guān)鍵問題。針對上行通信設(shè)計，目前已有研究主要利用正交信道來實(shí)現(xiàn)本地模型的并發(fā)上傳[3,6]，以盡可能地避免終端干擾，然而，當(dāng)邊緣終端數(shù)量較多時，此種通信方式通信效率低下，且所需帶寬資源較多。針對此問題，有工作設(shè)計了基于空中計算（Aircomp,over-the-air computation）的FEEL 無線聚合方案，以提升頻譜效率。然而，絕大多數(shù)工作側(cè)重于IID 設(shè)定下的空中計算分析與設(shè)計，其并未統(tǒng)籌考慮通信及non-IID 數(shù)據(jù)分布對空中聯(lián)邦學(xué)習(xí)性能的影響。同時，由于無線環(huán)境的不可調(diào)控性，如何設(shè)計高效的空中聚合方案，并統(tǒng)籌規(guī)劃無線資源分配方案，從而在有限資源約束下最大化聯(lián)邦性能收益，仍然是一個亟待解決的問題。

近年來，智能反射面（RIS,reconfigurable intelligent surface）作為一種極具前景的通信新范例，引起了無線通信領(lǐng)域的普遍關(guān)注，其可為5G 和6G系統(tǒng)提供智能且可重構(gòu)的無線信道傳輸環(huán)境。具體來說，智能反射面是一個二維平面，其由大量無源反射元件構(gòu)成，并且每個元件都能對入射信號獨(dú)立產(chǎn)生一個可控的振幅和（或）相位，這從根本上解決了無線信道衰落損傷和干擾問題?；诖耍墨I(xiàn)[7-8]將RIS 引入基于空中計算的FEEL 框架中，并以理論和實(shí)驗(yàn)證明RIS 在緩解空中聚合誤差方面的有效性，然而，其工作依賴于IID 數(shù)據(jù)分布的假設(shè)。

為此，本文提出了一種non-IID 數(shù)據(jù)分布下智能反射面賦能的空中聯(lián)邦邊緣學(xué)習(xí)可靠通信方案。具體來說，本文利用智能反射面的信道可重構(gòu)性來提高接收信號功率，并利用空中計算實(shí)現(xiàn)聯(lián)邦邊緣學(xué)習(xí)模型的快速聚合。本文的主要貢獻(xiàn)如下。

1) 本文設(shè)計了智能反射面賦能的空中計算模型聚合方案。通過分析由non-IID 數(shù)據(jù)分布和無線信道衰落聯(lián)合造成的模型聚合誤差，本文推導(dǎo)出non-IID 環(huán)境下聯(lián)邦邊緣學(xué)習(xí)的訓(xùn)練損失上界。

2) 通過分析收斂損失上界，本文進(jìn)一步構(gòu)造關(guān)于收發(fā)端波束成形方案和RIS 相移矩陣的“通信-學(xué)習(xí)”優(yōu)化問題，并引入一種低復(fù)雜度的凸近似策略，將非凸無線資源優(yōu)化問題解耦，直到算法收斂。

1 相關(guān)工作

隨著5G 技術(shù)的發(fā)展，移動邊緣計算（MEC,mobile edge computing）[9-10]正在成為未來網(wǎng)絡(luò)的一項(xiàng)關(guān)鍵技術(shù)，以在邊緣網(wǎng)絡(luò)下實(shí)現(xiàn)超低功耗和超低延遲應(yīng)用。聯(lián)邦邊緣學(xué)習(xí)通過結(jié)合聯(lián)邦學(xué)習(xí)和MEC，可有效增強(qiáng)邊緣數(shù)據(jù)隱私和安全保障，以提供完備的邊緣智能服務(wù)[11-12]。

然而，由于無線信道衰落和資源的有限性，通信效率成為在有低時延、隱私和安全保障需求的無線網(wǎng)絡(luò)中大規(guī)模部署聯(lián)邦學(xué)習(xí)的關(guān)鍵性能指標(biāo)[3,6,13-14]。為此，文獻(xiàn)[6]聚焦正交多址接入技術(shù)，分析了無線數(shù)據(jù)包傳輸誤差對模型參數(shù)更新過程的影響，并通過優(yōu)化用戶選擇和上行鏈路資源塊分配方案，最小化訓(xùn)練損失。然而，基于正交多址接入的聚合方式擁有極低的頻譜利用效率，其所需通信資源隨著網(wǎng)絡(luò)規(guī)模的增加而線性增長。針對這一問題，文獻(xiàn)[13-14]研究了基于Aircomp的非正交多址接入聚合方案，其利用多址信道的波形疊加特性，將終端在寬帶信道上同時傳輸?shù)奶荻雀逻M(jìn)行模擬空中聚合，以此降低聯(lián)邦學(xué)習(xí)通信開銷，提升頻譜資源利用效率。

然而，就現(xiàn)有的工作來說，基于Aircomp 的聯(lián)邦學(xué)習(xí)聚合方案依然面臨著一些亟待系統(tǒng)性研究的挑戰(zhàn)，如弱信道補(bǔ)償問題。具體來說，實(shí)現(xiàn)空中更新聚合需要從不同移動終端接收到的模型參數(shù)具有相同的振幅，因此，空中計算網(wǎng)絡(luò)需要通過功率控制補(bǔ)償不同終端的信道衰落，以滿足空中計算所需的信道一致性，因此其性能會受限于邊緣終端的弱信道，這在一定程度上損失了空中計算網(wǎng)絡(luò)的通信性能增益。針對此問題，有必要刻畫空中計算網(wǎng)絡(luò)通信誤差對聯(lián)邦學(xué)習(xí)性能的影響，以此實(shí)現(xiàn)最優(yōu)的“通信-學(xué)習(xí)”折中。文獻(xiàn)[15-16]分別使用數(shù)據(jù)比例和所選終端數(shù)量來近似學(xué)習(xí)性能，并通過調(diào)整通信錯誤容忍度約束來實(shí)現(xiàn)“通信-學(xué)習(xí)”的統(tǒng)一規(guī)劃。然而，上述工作可能不能完全描述聯(lián)邦學(xué)習(xí)的訓(xùn)練性能，從而導(dǎo)致系統(tǒng)性能的損失。為解決這一問題，文獻(xiàn)[17]開發(fā)了統(tǒng)一的聯(lián)邦學(xué)習(xí)分析框架，來定量地描述模型聚合誤差對空中計算FEEL 收斂性的影響，然而，其工作側(cè)重于IID 數(shù)據(jù)分布下的學(xué)習(xí)設(shè)計，這一定程度上與聯(lián)邦學(xué)習(xí)的non-IID 特性相違背。為此，文獻(xiàn)[18]通過引入non-IID 數(shù)據(jù)分布引發(fā)的訓(xùn)練誤差，設(shè)計了一種基于Aircomp的無線聚合方案，然而，其未考慮到FEEL“通信-學(xué)習(xí)”的聯(lián)合設(shè)計問題。

綜上，如何在non-IID 數(shù)據(jù)分布設(shè)定下，聯(lián)合量化信道衰落及數(shù)據(jù)異構(gòu)對聯(lián)邦學(xué)習(xí)性能的影響，以此設(shè)計合理的無線資源分配方案，從而在有限的資源約束下最大化聯(lián)邦性能收益，仍然是現(xiàn)階段聯(lián)邦學(xué)習(xí)亟待解決的重要問題。

2 問題描述

2.1 聯(lián)邦學(xué)習(xí)模型

如圖1 所示，本文考慮由一個J根天線的基站和K個單天線邊緣終端組成的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)，其中部署了智能反射面輔助通信。邊緣終端k∈{1,2,…,K}存有本地數(shù)據(jù)集Dk，其由已標(biāo)記的Dk對數(shù)據(jù)樣本特征和關(guān)聯(lián)標(biāo)簽z={x,y} 組成。假設(shè)終端在基站的協(xié)調(diào)下合作訓(xùn)練一個全局模型參數(shù)向量w∈RD。定義損失函數(shù)f(w,z)，其量化模型w在訓(xùn)練樣本z={x,y} 上的預(yù)測偏差。那么，從形式上來說，邊緣終端k的局部學(xué)習(xí)目標(biāo)是最小化本地數(shù)據(jù)集Dk上的經(jīng)驗(yàn)損失函數(shù)，即

圖1 系統(tǒng)模型

由此，聯(lián)邦學(xué)習(xí)的全局優(yōu)化目標(biāo)可表示為

具體來說，聯(lián)邦邊緣學(xué)習(xí)框架可分為如下步驟。

1) 基站端將當(dāng)前的全局模型（由最新的權(quán)重向量wt描述）廣播給邊緣終端。

2) 每個邊緣終端將wt賦值給本地模型，即=wt，并使用其本地數(shù)據(jù)集在接收到的全局模型基礎(chǔ)上來更新本地模型。為了降低non-IID 分布對學(xué)習(xí)性能的影響，首先利用FedProx算法[19]限制局部模型相對于全局模型的偏離程度，此時，終端k的局部學(xué)習(xí)目標(biāo)可改寫為

假定終端使用小批量隨機(jī)梯度下降（SGD）本地訓(xùn)練E次迭代生成，其中單次更新過程總結(jié)為

2.2 RIS 賦能的空中計算模型

假設(shè)一個塊衰落信道模型，其中信道系數(shù)在整個訓(xùn)練過程中保持不變。值得說明的是，本文的設(shè)計可容易擴(kuò)展到非塊衰落信道時的情況，僅需要在每次迭代開始之前適當(dāng)?shù)剡M(jìn)行信道估計和參數(shù)求解。RIS 由L個被動反射元件組成，記為L? {1,2,…,L}，其與控制器關(guān)聯(lián)，并且，控制器通過調(diào)節(jié)RIS 元件的反射系數(shù)來控制信號反射。在RIS 控制器和BS 之間部署了單獨(dú)的控制鏈路，以獲取反射系數(shù)設(shè)計所需的信息[18]。定義終端k-BS、終端k-RIS 和RIS-BS 的信道系數(shù)分別為∈CJ、∈CL和G∈CJ×L。并且，對于每個信道，假設(shè)信道狀態(tài)信息（CSI）在BS 和RIS 上都能完美估計。假設(shè)FEEL 模型聚合過程中，RIS 相移保持不變。Θ=diag {θ} ∈CL×L表示 RIS 相移矩陣，其中，=1。

如上所述，終端k-BS 路徑有效信道系數(shù)可表示為

本文擬采用空中計算技術(shù)實(shí)現(xiàn)FEEL 模型的快速聚合。具體來說，邊緣終端使用相同的無線電資源并發(fā)地傳輸其本地模型更新。接著，BS 利用信道的信號疊加特性，從接收到的信號中恢復(fù)聚合模型。與傳統(tǒng)的正交多路訪問協(xié)議（終端使用正交信道傳輸）相比，空中計算的帶寬需求或通信時延不隨終端數(shù)量的增加而增加，極大地緩解了FEEL 中的通信壓力。

在第t輪模型聚合中，將梯度傳輸時間劃分為D時隙。定義時隙d∈{1,…,D}中終端k的發(fā)射信號為{[d]}，則BS 端處對應(yīng)的接收信號 {yt[d]}，其為直線信道與終端-RIS-BS 級聯(lián)信道信號的疊加，即

其中，n[d]∈CJ表示加性白高斯噪聲（AWGN）向量，其分量服從分布 CN（0,）。

2.3 基于空中計算的模型聚合

將式(10)代入式(8)，BS 端在時隙d上的接收信號為

3 收斂分析及問題建模

接下來，著重闡述RIS 賦能的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)收斂理論，并具體分析無線信道及RIS 對空中聯(lián)邦學(xué)習(xí)全局模型收斂上限的影響。

3.1 基礎(chǔ)假設(shè)

首先，對用于收斂性分析的假設(shè)和定義進(jìn)行說明。

上述假設(shè)在聯(lián)邦學(xué)習(xí)收斂性分析中被廣泛地采用，參考文獻(xiàn)[16,20-21]。

3.2 收斂分析

在上述假設(shè)的基礎(chǔ)上，本節(jié)給出RIS 賦能的空中聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)收斂性定理。

證明過程見附錄1。

上述收斂上界依賴于聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)通信環(huán)境的配置，即智能反射面相位設(shè)計和收發(fā)端波束成形設(shè)計。直觀地說，由通信引入的誤差會累積起來，并反映在新的全局模型中，從而影響FEEL 的收斂性。若上述通信配置設(shè)計得當(dāng)，收斂速度可以在很大程度上得到保證。由定理1 還可以看出，收斂上界與超參數(shù)有一定的單調(diào)關(guān)系。例如，邊界隨著E的增大而增大，這與文獻(xiàn)[22]的結(jié)果一致。并且non-IID 數(shù)據(jù)分布的影響體現(xiàn)在Γ引入的誤差項(xiàng)上。當(dāng)Γ減小時，收斂上界單調(diào)減??；當(dāng)Γ趨于零時，可得到IID 數(shù)據(jù)分布的收斂上界。

3.3 問題建模

參照定理1，空中計算通信系統(tǒng)會在收斂上界中引入一個誤差項(xiàng)，其揭示了智能反射面相位偏移設(shè)計和收發(fā)端波束成形對收斂速度和學(xué)習(xí)性能的影響。越大，學(xué)習(xí)性能越差。由此，可以建立一個關(guān)于收發(fā)端波束成形方案和RIS 配置矩陣的“通信-學(xué)習(xí)”優(yōu)化問題，表示為

4 聯(lián)合優(yōu)化

上述問題仍然是非凸的。為此，本文采用拉格朗日對偶算法將其近似。定義拉格朗日對偶向量ξ=[ξ1,ξ2,…,ξK]T≥0，則上述對偶問題表示為

由此，f(i+1)和θ(i+1)可通過求解以下的優(yōu)化問題得到

等式成立。ξ可通過求解以下優(yōu)化問題得到

當(dāng)式(29)用凸優(yōu)化求解器求解時，若采用內(nèi)點(diǎn)法，其最壞情況復(fù)雜度上界為O(K3)。假設(shè)最大迭代次數(shù)為Imax，則 SCA 策略復(fù)雜度上界為O(ImaxK3)。

5 實(shí)驗(yàn)設(shè)計與分析

接下來，通過仿真實(shí)驗(yàn)評估所提方法的性能，并與幾種基準(zhǔn)方案作比較。

5.1 實(shí)驗(yàn)設(shè)定

如圖2 所示，本文考慮三維笛卡兒坐標(biāo)系下的仿真設(shè)定。其中，BS 和RIS 分別放置在(-50,0,10)和(0,0,10)處。邊緣終端隨機(jī)分布在2 個半徑為10 m的圓形區(qū)域，即區(qū)域 I ∝ {（x,y,0）:-20≤x≤0,-10≤y≤10}以及區(qū)域Ⅱ ∝{（x,y,0）:100≤x≤120,-10≤y≤10}。簡單起見，假設(shè)終端中有一半隨機(jī)分布在區(qū)域I，另一半隨機(jī)分布在區(qū)域Ⅱ。

圖2 仿真設(shè)定

與文獻(xiàn)[18]類似，本文相關(guān)信道系數(shù)定義為大尺度衰落和小尺度衰落之積。具體來說，小尺度衰落服從標(biāo)準(zhǔn)高斯分布，并且終端到基站端的路徑損耗模型表示為

其中，GBS和GD分別表示基站端和終端的天線增益；fc表示載波頻率；PL 表示路徑損耗因子；表示終端到基站端的距離。終端-RIS-BS 的路徑損耗模型建模為

其中，GRIS表示RIS 端的天線增益；dx和dy分別表示RIS 單元的水平和垂直大小；dRB及dDR分別表示RIS 到基站端的距離以及終端到RIS 端的距離。如無特別說明，仿真參數(shù)如表1 所示。

表1 仿真參數(shù)

在FEMNIST 數(shù)據(jù)集[24]上執(zhí)行圖像分類任務(wù)，以驗(yàn)證所提方法性能。具體來說，首先構(gòu)建一個4 層的卷積神經(jīng)網(wǎng)絡(luò)（CNN），其中包括2 個5×5 卷積層以及2 個全連接層。為了展現(xiàn)所提方案（OPT）的性能，本文設(shè)置了如下的基準(zhǔn)方案進(jìn)行了性能比較。

1)DGP：無RIS 輔助通信，即θ=0。通過微分幾何規(guī)劃[25]，設(shè)計接收機(jī)波束成形矢量f，以最小化通信均方誤差。

2) RDGP：采用隨機(jī)RIS 相移，并通過微分幾何規(guī)劃，設(shè)計接收機(jī)波束成形矢量f，以最小化通信均方誤差。

3)SDR：針對問題P，RIS相移θ以及接收機(jī)波束成形矢量f通過半正定松弛算法[26]迭代優(yōu)化。

此外，將無噪聲傳輸方案（S-FedAvg）作為性能上界，用于比較。

5.2 性能分析

圖3 展示了non-IID 設(shè)定下的聯(lián)邦學(xué)習(xí)測試精度比較。從圖3 可以看到，本文方案取得了比其他基準(zhǔn)方案更優(yōu)異的收斂性能。并且，值得一提的是，相較于無RIS 輔助的DGP 設(shè)計，除了本文方案，其余3 種方案都實(shí)現(xiàn)了顯著的性能提升，這證明了在non-IID 設(shè)定下，RIS 同樣可以提高空中FEEL系統(tǒng)準(zhǔn)確性。

圖3 non-IID 設(shè)定下的聯(lián)邦學(xué)習(xí)測試精度比較

圖4 展示了IID 設(shè)定下（即Γ=0）的聯(lián)邦學(xué)習(xí)測試精度比較。從圖4 可以看出，相較于non-IID設(shè)定，SDR、OPT 以及S-FedAvg 皆實(shí)現(xiàn)了一定程度的性能提升，原因在于，當(dāng)Γ=0時，定理1 所示的收斂上界中消除了關(guān)于non-IID 數(shù)據(jù)分布的誤差項(xiàng)，提升了學(xué)習(xí)性能。

圖4 IID 設(shè)定下的聯(lián)邦學(xué)習(xí)測試精度比較

圖5 展示了non-IID 設(shè)定下不同反射單元數(shù)量對測試精度的影響。顯然，SDR 和OPT 都可以在較多的反射單元數(shù)量下實(shí)現(xiàn)相當(dāng)大的性能提升，這是因?yàn)榉瓷鋯卧獢?shù)量的增加會提高調(diào)配智能反射面適配信道的自由度，即通過設(shè)計智能反射面的相移產(chǎn)生更窄波束形成，以增加通信鏈路的可靠性，降低基站端的聚合誤差。然而，所提方案與其他方案之間的性能差距仍然存在。

圖5 non-IID 設(shè)定下不同反射單元數(shù)量對測試精度的影響

如圖6 所示，進(jìn)一步假設(shè)每個RIS 相移只能取有限個離散值，即

圖6 non-IID 設(shè)定下不同離散比特對測試精度的影響

圖7 non-IID 設(shè)定下不完美CSI 對測試精度的影響

6 在車聯(lián)網(wǎng)中的應(yīng)用探討

在特大城市如北京、上海，車輛或其他移動終端容易受高層建筑遮擋而造成信號傳播盲區(qū)，將RIS 安裝在視野更開闊的建筑物表面，可以中繼移動終端的信號給基站，利用智能反射面的信道可重構(gòu)性來提高接收信號功率，并利用空中計算實(shí)現(xiàn)模型的快速聚合增強(qiáng)無線資源的收益，如圖8 所示。

圖8 智能反射面賦能的聯(lián)邦邊緣學(xué)習(xí)在車聯(lián)網(wǎng)中的應(yīng)用

7 結(jié)束語

針對non-IID 設(shè)定下的聯(lián)邦邊緣學(xué)習(xí)框架，本文提出一種智能反射面賦能的空中計算聚合模型。通過量化由non-IID 數(shù)據(jù)分布和無線信道衰落共同引起的模型聚合誤差，首先推導(dǎo)出non-IID 環(huán)境下空中聯(lián)邦邊緣學(xué)習(xí)的訓(xùn)練損失上界，并以此為基礎(chǔ)，建立通信資源約束下以收發(fā)端波束成形和RIS 相移為變量的損失上界最小化問題；同時，引入一種低復(fù)雜度的凸逼近策略，高效求解最優(yōu)通算參數(shù)，以減弱甚至消除通信誤差對聯(lián)邦學(xué)習(xí)收斂性能的影響。最后，通過仿真實(shí)驗(yàn)驗(yàn)證了所提方案的有效性。

未來，將考慮更多通用的場景，例如非凸損失函數(shù)下的“通信-學(xué)習(xí)”聯(lián)合建模和折中優(yōu)化，以及引入模型量化技術(shù)進(jìn)一步降低傳輸開銷等，從而為深層次理解聯(lián)邦邊緣學(xué)習(xí)融合無線通信新范式提供新的理論支撐。另外，還可探討將RIS 用于V2V（vehicle to vehicle）場景，有助于消除移動終端之間信號干擾，增強(qiáng)每個移動終端的接收信號質(zhì)量。

附錄1 RIS 賦能的空中聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)收斂性證明

首先，定義時間軸刻度為SGD 更新輪次，如式(33)所示

接下來，引入在定理1 的證明過程中一些必要的引理，其具體證明過程參考文獻(xiàn)[20]。其中，引理1 是根據(jù)損失函數(shù)的光滑性和凸性推導(dǎo)出來的；引理2 源于SGD 方差有界性，而引理3 由損失函數(shù)的有界梯度導(dǎo)出。

當(dāng)t+1∈IE時，邊緣終端通過空中計算網(wǎng)絡(luò)將其模型傳輸?shù)紹S 端并解碼，則有