楊仕成 陳保羅 陳鐵明 黃 亮③

(*浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310023)

(**浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 杭州 310023)

0 引言

移動(dòng)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,推動(dòng)了越來(lái)越多的時(shí)延敏感型和資源密集型應(yīng)用和服務(wù)出現(xiàn)。然而,這些移動(dòng)應(yīng)用對(duì)無(wú)線設(shè)備的計(jì)算和存儲(chǔ)資源需求大幅增加。移動(dòng)邊緣計(jì)算技術(shù)(mobile edge computing,MEC)為無(wú)線設(shè)備提供額外的計(jì)算資源,為該問(wèn)題提供了一種很好的解決方案[1]。新興的移動(dòng)邊緣計(jì)算技術(shù)是云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)在物聯(lián)網(wǎng)終端應(yīng)用的重要基礎(chǔ),推進(jìn)“萬(wàn)物互聯(lián)”到“萬(wàn)物智聯(lián)”。自《“十四五”國(guó)家信息化規(guī)劃》提出加快第5 代(5G)網(wǎng)絡(luò)規(guī)模化部署、前瞻性的布局第6 代(6G)網(wǎng)絡(luò)技術(shù)儲(chǔ)備以來(lái),國(guó)家進(jìn)一步大力推進(jìn)5G 基建、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等領(lǐng)域“新基建”計(jì)劃。當(dāng)前,電信運(yùn)營(yíng)商、網(wǎng)絡(luò)設(shè)備供應(yīng)商和云服務(wù)商等巨頭企業(yè)都在布局迎接移動(dòng)邊緣計(jì)算帶來(lái)的新機(jī)遇和挑戰(zhàn)。因此,移動(dòng)邊緣計(jì)算也成為學(xué)術(shù)界近年來(lái)的研究熱點(diǎn)。

1 相關(guān)研究

移動(dòng)邊緣計(jì)算技術(shù)通過(guò)將計(jì)算服務(wù)器配置在靠近物聯(lián)網(wǎng)終端的網(wǎng)絡(luò)邊緣[2],可有效縮短計(jì)算任務(wù)傳輸時(shí)延并提升物聯(lián)網(wǎng)終端的計(jì)算能力,深化物聯(lián)網(wǎng)連接和計(jì)算的融合。簡(jiǎn)單而言,在移動(dòng)邊緣計(jì)算框架下,可使終端設(shè)備按需將計(jì)算任務(wù)卸載上傳至邊緣服務(wù)器,由邊緣服務(wù)器完成計(jì)算任務(wù)并返回計(jì)算結(jié)果,以降低計(jì)算時(shí)延和設(shè)備能耗,提升終端設(shè)備的數(shù)據(jù)處理能力。如圖1 所示,移動(dòng)邊緣計(jì)算在物聯(lián)網(wǎng)、端到端組網(wǎng)、無(wú)人機(jī)組網(wǎng)、車聯(lián)網(wǎng)等領(lǐng)域有著廣泛的應(yīng)用場(chǎng)景[3]。

圖1 移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)中計(jì)算卸載應(yīng)用場(chǎng)景[3]

以計(jì)算卸載作為移動(dòng)邊緣計(jì)算的關(guān)鍵技術(shù)也引起了人們的廣泛研究[4-5]。計(jì)算卸載問(wèn)題是一個(gè)混合整數(shù)規(guī)劃問(wèn)題,并且一般是一個(gè)非確定多項(xiàng)式難題(non-deterministic polynomial hard,NP-hard),難以實(shí)時(shí)生成決策。一種可行的方案是利用分支定界法(branch-and-bound algorithm,BBA)[6]或動(dòng)態(tài)規(guī)劃法(dynamic programming,DP)[7]進(jìn)行求解,然而,這些方法存在“維數(shù)災(zāi)難”(curse of dimensionality)問(wèn)題,計(jì)算復(fù)雜度較高。另一種方案是將整型的0/1決策做連續(xù)線性松弛[8]或者用二次約束來(lái)近似整數(shù)約束并做半正定松弛[9],以比迭代搜索算法低的復(fù)雜度求得近似解方案,但這種方法犧牲了求解質(zhì)量,通常得到的計(jì)算卸載決策都不是最優(yōu)決策。此外,考慮到移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)的復(fù)雜性與動(dòng)態(tài)性,通?？刹捎没隈R爾可夫決策過(guò)程[10-11]或李雅普諾夫優(yōu)化方法[12]設(shè)計(jì)動(dòng)態(tài)計(jì)算卸載策略,并優(yōu)化相關(guān)系統(tǒng)資源分配,最小化能耗、計(jì)算時(shí)延和網(wǎng)絡(luò)效用。然而,上述解決方案都依賴于專家知識(shí)和精確的數(shù)學(xué)模型。因此,如何設(shè)計(jì)一種低復(fù)雜度的算法且能適用于時(shí)變環(huán)境的移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)仍是一個(gè)挑戰(zhàn)。

深度學(xué)習(xí)利用深度神經(jīng)網(wǎng)絡(luò)[13]從數(shù)據(jù)樣本學(xué)習(xí),最終生成狀態(tài)空間到動(dòng)作空間的最優(yōu)映射,擅長(zhǎng)處理大狀態(tài)空間[14]和動(dòng)作空間[15],被廣泛應(yīng)用于無(wú)線通信網(wǎng)絡(luò)領(lǐng)域。近年來(lái),將深度學(xué)習(xí)應(yīng)用于移動(dòng)邊緣計(jì)算卸載的研究逐漸增多。監(jiān)督學(xué)習(xí)將計(jì)算卸載問(wèn)題建模為多標(biāo)簽分類問(wèn)題,通過(guò)離線訓(xùn)練和線上部署深度神經(jīng)網(wǎng)絡(luò),提升卸載決策的響應(yīng)速度。監(jiān)督學(xué)習(xí)算法需要預(yù)生成大量的訓(xùn)練數(shù)據(jù),常用遍歷搜索[16]或者傳統(tǒng)分析優(yōu)化方法[17]獲得特定網(wǎng)絡(luò)場(chǎng)景的最優(yōu)決策。然而,當(dāng)網(wǎng)絡(luò)場(chǎng)景改變時(shí),需要重新生成訓(xùn)練數(shù)據(jù)并訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),該方法不適用于動(dòng)態(tài)的網(wǎng)絡(luò)場(chǎng)景。深度強(qiáng)化學(xué)習(xí)可通過(guò)搜索計(jì)算卸載動(dòng)作空間并自主學(xué)習(xí)實(shí)現(xiàn)最優(yōu)決策。當(dāng)前,基于深度Q 學(xué)習(xí)的計(jì)算卸載研究[18-21]較為廣泛,其將狀態(tài)/動(dòng)作空間離散化并通過(guò)在線學(xué)習(xí)最優(yōu)化計(jì)算卸載決策及系統(tǒng)資源優(yōu)化。隨著大型神經(jīng)網(wǎng)絡(luò)模型的興起,模型對(duì)系統(tǒng)內(nèi)存的需求也在逐步增高,分布式架構(gòu)[22]通過(guò)并行的數(shù)據(jù)處理來(lái)減少系統(tǒng)內(nèi)存開(kāi)銷,這一方法也引起了研究人員的廣泛關(guān)注。聯(lián)邦學(xué)習(xí)利用其分布式網(wǎng)絡(luò)架構(gòu)聯(lián)合多個(gè)邊緣服務(wù)器端進(jìn)行數(shù)據(jù)訓(xùn)練,在提升模型泛化性的同時(shí),最大限度地減少用戶隱私泄露,進(jìn)一步提高了計(jì)算卸載的安全性與有效性[23]。其局限性是這些方法大多數(shù)是基于靜態(tài)交互的移動(dòng)邊緣計(jì)算環(huán)境,一旦移動(dòng)邊緣計(jì)算場(chǎng)景發(fā)生變化,在收斂到新的場(chǎng)景時(shí),難以收集到足夠的訓(xùn)練樣本。針對(duì)計(jì)算任務(wù)場(chǎng)景動(dòng)態(tài)變化以及上述深度學(xué)習(xí)方法網(wǎng)絡(luò)參數(shù)可移植差等問(wèn)題,基于元學(xué)習(xí)[24]的計(jì)算卸載方法可以有效克服這一問(wèn)題,面對(duì)一個(gè)新的計(jì)算任務(wù)場(chǎng)景,基于元學(xué)習(xí)的計(jì)算卸載方法通過(guò)找到一個(gè)全局模型,使模型執(zhí)行一個(gè)或幾個(gè)梯度下降步驟來(lái)快速收斂于該場(chǎng)景[25]。然而,現(xiàn)有算法考慮的是集中式移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)模型,存在隱私泄露的風(fēng)險(xiǎn),因此,如何設(shè)計(jì)一種算法能在保護(hù)用戶隱私的前提下,適用于時(shí)變環(huán)境的移動(dòng)邊緣計(jì)算仍是一個(gè)挑戰(zhàn)。

為解決上述問(wèn)題,本文提出一種基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載(federated meta-learning based offloading,FEMO)框架。一方面聯(lián)邦學(xué)習(xí)可以有效解決移動(dòng)邊緣計(jì)算的數(shù)據(jù)隱私和數(shù)據(jù)孤島問(wèn)題,并且基于聯(lián)邦學(xué)習(xí)的計(jì)算卸載還能有效降低通信帶寬需求,減輕了遠(yuǎn)程云服務(wù)器的存儲(chǔ)和計(jì)算負(fù)載,并降低模型更新相應(yīng)延時(shí)[26]。另一方面,為了滿足不同移動(dòng)端的服務(wù)質(zhì)量(quality of service,QoS)需求,本算法融合了模型無(wú)關(guān)元學(xué)習(xí)(model-agnostic meta-learning,MAML)思想,在動(dòng)態(tài)變化的邊緣計(jì)算網(wǎng)絡(luò)中,仍能取得較高的卸載效率。具體來(lái)說(shuō),本文的貢獻(xiàn)點(diǎn)如下。

(1)將整個(gè)移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)的系統(tǒng)效用模型化為所有無(wú)線設(shè)備的任務(wù)完成時(shí)延的加權(quán)和,為了使系統(tǒng)效用最小化,本文提出了一個(gè)針對(duì)移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)的聯(lián)合計(jì)算卸載與計(jì)算資源分配問(wèn)題。該問(wèn)題聯(lián)合優(yōu)化了每個(gè)邊緣服務(wù)上的無(wú)線設(shè)備的卸載決策和每個(gè)設(shè)備上計(jì)算資源分配。

(2)提出一種基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載框架,通過(guò)聯(lián)合多個(gè)邊緣服務(wù)器上的數(shù)據(jù)共同訓(xùn)練學(xué)習(xí),得到一個(gè)泛化能力更強(qiáng)的神經(jīng)網(wǎng)絡(luò)模型。并且進(jìn)一步考慮到邊緣服務(wù)器上個(gè)性化計(jì)算卸載應(yīng)用,為隱私保護(hù)的個(gè)性化計(jì)算卸載提供一種新的思路。

(3)數(shù)值結(jié)果進(jìn)一步驗(yàn)證了所提算法的有效性,針對(duì)一個(gè)新的計(jì)算任務(wù)場(chǎng)景,基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載框架僅需少量的微調(diào)訓(xùn)練步數(shù)(少于10步),就能達(dá)到0.995 以上的性能。

2 系統(tǒng)模型和問(wèn)題建模

如圖2 所示,本文考慮一個(gè)移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)包含K臺(tái)邊緣服務(wù)器和一個(gè)云端服務(wù)器,其中每個(gè)邊緣服務(wù)器都含有N臺(tái)有計(jì)算任務(wù)的無(wú)線設(shè)備(wireless device,WD)。N臺(tái)無(wú)線設(shè)備用集合N={1,2,…,N} 表示,K臺(tái)邊緣服務(wù)器用集合K={1,2,…,K} 表示,每個(gè)無(wú)線設(shè)備決定將每個(gè)任務(wù)卸載到對(duì)應(yīng)的邊緣服務(wù)器或者本地處理,即為二進(jìn)制卸載策略。

圖2 基于聯(lián)邦學(xué)習(xí)的隱私保護(hù)計(jì)算卸載算法應(yīng)用框架

每個(gè)邊緣服務(wù)器的用戶數(shù)據(jù)僅保存在該服務(wù)器。本文主要研究了邊緣計(jì)算系統(tǒng)的計(jì)算資源配置優(yōu)化問(wèn)題,并通過(guò)用戶的權(quán)重優(yōu)先級(jí)系數(shù)來(lái)構(gòu)造動(dòng)態(tài)的計(jì)算任務(wù)場(chǎng)景。本文考慮了由于無(wú)線設(shè)備與服務(wù)器之間的通信而導(dǎo)致的延遲優(yōu)化問(wèn)題。

設(shè)置一個(gè)元組(αn,βn,γn) 來(lái)表示W(wǎng)Dn的計(jì)算任務(wù),其中n∈N,αn、βn、γn分別表示上行傳輸數(shù)據(jù)大小、服務(wù)器返回?cái)?shù)據(jù)大小、完成該計(jì)算任務(wù)所需要的中央處理器(central processing unit,CPU)周期數(shù)。當(dāng)WDn的任務(wù)分配給邊緣服務(wù)器時(shí),將WDn與邊緣服務(wù)器之間的上行和下行鏈路傳輸速率量化為

其中,Bn表示上行和下行傳輸鏈路的帶寬,ω0表示白噪聲功率,Pn表示W(wǎng)Dn將其計(jì)算任務(wù)卸載到邊緣服務(wù)器的發(fā)射功率以及邊緣服務(wù)器將計(jì)算結(jié)果回傳的發(fā)射功率,hn(t) 表示對(duì)應(yīng)的信道增益并假設(shè)該值在傳輸過(guò)程中保持不變。那么WDn的總通信時(shí)延可以推導(dǎo)為上行和下行傳輸時(shí)延之和,并假設(shè)上行和下行傳輸速率相等,則通信時(shí)延為

對(duì)于計(jì)算時(shí)延,用fk表示邊緣服務(wù)器每秒能執(zhí)行的CPU 周期數(shù)(cycle/s),其中k∈K,并在本文中假設(shè)各邊緣服務(wù)器計(jì)算資源相同;用f0表示無(wú)線設(shè)備每秒能執(zhí)行的CPU 周期數(shù),且f0遠(yuǎn)小于fk,這是由于邊緣服務(wù)器上的計(jì)算資源更豐富。當(dāng)2 個(gè)或多個(gè)任務(wù)被卸載到同一臺(tái)邊緣服務(wù)器時(shí),邊緣服務(wù)器的計(jì)算資源被所有任務(wù)共享,計(jì)算資源的分配策略表示為ft={fn(t) |n∈Nt},其中fn(t) 表示邊緣服務(wù)器分配給WDn的計(jì)算資源,Nt={n∈N|an(t)=1} 是指在時(shí)間幀t,計(jì)算任務(wù)被卸載到邊緣服務(wù)器的所有無(wú)線設(shè)備集合。則WDn在邊緣服務(wù)器上處理計(jì)算任務(wù)的延遲表示為

相應(yīng)地,WDn在本地計(jì)算任務(wù)的計(jì)算延遲可表示為

相應(yīng)地,WDn在邊緣服務(wù)器執(zhí)行計(jì)算任務(wù)所需要的時(shí)延可表示為

綜上所述,WDn完成其計(jì)算任務(wù)所需的計(jì)算任務(wù)總傳輸?shù)挠?jì)算時(shí)延Tn可表示為

本文的研究目標(biāo)是最小化邊緣計(jì)算系統(tǒng)的加權(quán)時(shí)延和,問(wèn)題建模如下:

上述問(wèn)題為混合整數(shù)規(guī)劃問(wèn)題,難以直接求解。本文將上述問(wèn)題進(jìn)行了分層處理,其中底層問(wèn)題利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)來(lái)生成最優(yōu)的卸載決策,一旦得到最優(yōu)的卸載決策,將其代入到頂層問(wèn)題中求解最優(yōu)的計(jì)算資源分配,最終使得整個(gè)邊緣計(jì)算系統(tǒng)的加權(quán)時(shí)延和最小。

將無(wú)線信道增益ht與最優(yōu)卸載決策之間的映射關(guān)系用π表示:

顯然,上述優(yōu)化問(wèn)題是一個(gè)凸優(yōu)化問(wèn)題,本文采用了KKT(Karush-Kuhn-Tucker)方法來(lái)求解該問(wèn)題,其拉格朗日函數(shù)L 可表示為

其中,ν為拉格朗日系數(shù)。通過(guò)對(duì)該拉格朗日函數(shù)中的計(jì)算資源fn(t) 和拉格朗日系數(shù)ν求偏導(dǎo),令其導(dǎo)數(shù)為零,解方程組即可得到約束條件下函數(shù)的最優(yōu)解。對(duì)該函數(shù)進(jìn)行求導(dǎo),可得如下表達(dá)式:

當(dāng)該導(dǎo)函數(shù)取到0 時(shí),可通過(guò)式(17)來(lái)計(jì)算最優(yōu)的資源分配結(jié)果。

由于γnwn(t) 為大于0 的實(shí)數(shù),所以ν*大于0,因此,最優(yōu)的資源分配方案滿足式(18)。

將式(17)代入到式(18)中,可獲得拉格朗日因子的最優(yōu)值:

最后,將式(19)代入式(17),則邊緣服務(wù)器的計(jì)算資源分配問(wèn)題可獲得如式(20)所示的最優(yōu)解。

3 基于聯(lián)邦元學(xué)習(xí)的算法設(shè)計(jì)

以本文研究的邊緣計(jì)算系統(tǒng)為例,考慮到用戶的隱私安全問(wèn)題以及動(dòng)態(tài)變化的計(jì)算任務(wù)場(chǎng)景,為了使得每個(gè)WDn獲得更高質(zhì)量的個(gè)性化模型,本節(jié)提出了一種基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載算法。具體來(lái)說(shuō),根據(jù)各個(gè)邊緣服務(wù)器本地?cái)?shù)據(jù)共同訓(xùn)練一個(gè)全局模型,在個(gè)性化微調(diào)測(cè)試中,模型僅需少量訓(xùn)練樣本就能快速適應(yīng)該場(chǎng)景。

3.1 訓(xùn)練全局模型

基于聯(lián)邦元學(xué)習(xí)的隱私保護(hù)計(jì)算卸載算法體系結(jié)構(gòu)如圖2 所示,每個(gè)邊緣服務(wù)器都含有等量計(jì)算任務(wù)場(chǎng)景{|i∈K,k∈K},其中I={1,2,…,L},且每個(gè)場(chǎng)景中都含有M={1,2,…,M} 個(gè)數(shù)據(jù)樣本,每個(gè)數(shù)據(jù)樣本又由信道增益集合和最優(yōu)卸載決策集合組合而成。整體的訓(xùn)練流程包含5 個(gè)步驟。

(1)邊緣服務(wù)器Bk,k∈{1,2,…,K},從云端上下載云端網(wǎng)絡(luò)模型參數(shù),復(fù)制并更新邊緣端網(wǎng)絡(luò)模型,即模型參數(shù)θk=θ。

(2)對(duì)于每個(gè)邊緣服務(wù)器Bk并行訓(xùn)練各自本地的模型參數(shù)θk。首先,各邊緣服務(wù)器從本地任務(wù)場(chǎng)景{|i∈K,k∈K} 中隨機(jī)抽取一個(gè)計(jì)算任務(wù)場(chǎng)景來(lái)迭代訓(xùn)練各自的神經(jīng)網(wǎng)絡(luò);以單個(gè)邊緣服務(wù)器為例,針對(duì)單一的計(jì)算任務(wù)場(chǎng)景,從該場(chǎng)景中不重復(fù)的隨機(jī)抽取一批數(shù)據(jù)樣本Mb,其中=;并將該樣本表示為Mb?M,其中hm表示時(shí)變無(wú)線信道增益,am表示卸載策略。隨后,通過(guò)最小化均方誤差來(lái)計(jì)算與預(yù)測(cè)值與真實(shí)標(biāo)簽之間的損失值,其計(jì)算公式如式(21)所示,在得到相應(yīng)的誤差損失后,同樣采用式(22)更新網(wǎng)絡(luò)參數(shù)θk。

(3)當(dāng)邊緣服務(wù)器上的神經(jīng)網(wǎng)絡(luò)參數(shù)更新后,基于更新后的網(wǎng)絡(luò)參數(shù),各邊緣服務(wù)器在各自的場(chǎng)景中重新抽取一批樣本,具體可表示為={(hm,am)|m∈M{Mb}},并計(jì)算該樣本下的損失。

其中,λ2是超參數(shù)。

重復(fù)上述操作,直至全局網(wǎng)絡(luò)模型收斂?；诟鬟吘壏?wù)器共同訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型具有更強(qiáng)的泛化性,面對(duì)新的計(jì)算任務(wù)場(chǎng)景,能憑借少量的訓(xùn)練數(shù)據(jù)做到快速適應(yīng)。FEMO 的算法偽代碼如算法1 所示。

3.2 個(gè)性化場(chǎng)景下執(zhí)行微調(diào)訓(xùn)練

在使用基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載策略算法時(shí),每個(gè)邊緣服務(wù)器不止于簡(jiǎn)單復(fù)制運(yùn)行云端共享模型,可以進(jìn)一步個(gè)性化微調(diào)網(wǎng)絡(luò)模型。如圖3 所示,首先邊緣服務(wù)器Bk從云端下載共享模型,并創(chuàng)建本地模型令θk=θ,?k∈K。根據(jù)新的計(jì)算任務(wù)場(chǎng)景,利用該場(chǎng)景下的數(shù)據(jù)樣本進(jìn)行微調(diào)訓(xùn)練,使得本地模型能夠快速適應(yīng)該場(chǎng)景,滿足不同邊緣服務(wù)器的個(gè)性化需求。其中,對(duì)于本地模型參數(shù)的更新,仍然采用梯度下降更新方式,具體如式(24)所示。

圖3 新場(chǎng)景下執(zhí)行微調(diào)訓(xùn)練示意圖

最后,可以基于微調(diào)過(guò)的本地模型生成卸載決策,并進(jìn)一步利用式(20)得到相應(yīng)的計(jì)算資源分配,最終得到相應(yīng)的Q值。需要說(shuō)明的是,為了將FEMO 算法部署在邊緣計(jì)算網(wǎng)絡(luò),當(dāng)全局模型訓(xùn)練時(shí)的損失不再變化則認(rèn)為該模型收斂。而一旦模型收斂后,其參數(shù)被固定不再變化。一方面,本文更看重部署后的長(zhǎng)遠(yuǎn)效益,當(dāng)模型收斂無(wú)需動(dòng)態(tài)維護(hù)該模型,大大節(jié)省了計(jì)算資源;另一方面FEMO 是一種分布式算法,通過(guò)客戶端與云端之間模型參數(shù)的交互進(jìn)行訓(xùn)練,通過(guò)在云端聚合各客戶端的模型參數(shù)來(lái)進(jìn)一步提升模型的性能。另外,在客戶端與云端之間只涉及到模型參數(shù)的交互,而不含原始數(shù)據(jù)的信息,降低了通信成本,也保護(hù)了各客戶端數(shù)據(jù)的隱私泄露。

4 算法仿真設(shè)置

4.1 算法參數(shù)設(shè)置

不失一般性,本文考慮了一個(gè)N=10 個(gè)無(wú)線設(shè)備和K=5 個(gè)邊緣服務(wù)器所組成的邊緣計(jì)算系統(tǒng),且每臺(tái)無(wú)線設(shè)備的可選權(quán)重系數(shù)被設(shè)置為W={1.0,1.5},本實(shí)驗(yàn)的數(shù)據(jù)集包含了210種不同計(jì)算任務(wù)場(chǎng)景。其中,80%的場(chǎng)景將被作為訓(xùn)練集用于訓(xùn)練全局網(wǎng)絡(luò)模型,每個(gè)邊緣服務(wù)器上含有等量的計(jì)算任務(wù)場(chǎng)景,其中L=164。而余下20%的場(chǎng)景將用來(lái)測(cè)試FEMO 算法的性能。本文的信道增益可利用與空間相關(guān)的路徑衰落模型生成,其具體的表達(dá)式為H[dB]=103.8 +20.9 log10d[km][27]。

一旦得到無(wú)線信道增益ht以及相應(yīng)的計(jì)算任務(wù)權(quán)重wt后,可以通過(guò)枚舉法求解最優(yōu)卸載決策。αn=0.5 MB,βn=0.28 ×αn分別表示上行、下行數(shù)據(jù)大小;γn=330 cycles/byte ×αn[28]為完成該計(jì)算任務(wù)需要的CPU 周期數(shù)。本節(jié)以Gzip 應(yīng)用為計(jì)算任務(wù)類型,并設(shè)置每臺(tái)無(wú)線設(shè)備的處理速率為f0=2.84 ×109cycle/s、邊緣服務(wù)器的處理速率為fe=100×109cycle/s,上下行的傳輸信道帶寬設(shè)置為Bn=10 MHz。

本節(jié)使用的網(wǎng)絡(luò)結(jié)構(gòu)均為全連接神經(jīng)網(wǎng)絡(luò),且神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由1 個(gè)輸入層、2 個(gè)隱藏層和1 個(gè)輸出層組成,并且神經(jīng)元參數(shù)分別為N、120、80、N,每層的非線性函數(shù)為ReLU。其他參數(shù)為:λ1=0.010,λ2=0.001,λ3=0.010,|Mb|=10。為了驗(yàn)證本文提出算法的有效性及其性能,本節(jié)的實(shí)驗(yàn)軟件平臺(tái)為基于CPU 的PyTorch 深度學(xué)習(xí)框架,編程語(yǔ)言為Python。

4.2 算法性能評(píng)價(jià)指標(biāo)

為了更直觀地展現(xiàn)本文所提出FEMO 算法的收斂性能,將神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出對(duì)應(yīng)的系統(tǒng)加權(quán)時(shí)延和作了歸一化,如式(25)所示。

Q*(h,w,a*) 是由枚舉法獲得的真實(shí)最優(yōu)卸載決策對(duì)應(yīng)的系統(tǒng)加權(quán)時(shí)延和,而Q(h,w,a) 為FEMO算法獲得的預(yù)測(cè)卸載方案對(duì)應(yīng)的系統(tǒng)加權(quán)時(shí)延和。在預(yù)測(cè)值遠(yuǎn)離最優(yōu)值時(shí),分母大于分子,整體的比值小于1;而當(dāng)其越接近于真實(shí)值,Q^ 越接近于1。

5 算法結(jié)果分析

5.1 算法收斂性分析

如圖4 所示,本文研究了不同學(xué)習(xí)率下FEMO算法,在改變學(xué)習(xí)率λ1參數(shù)時(shí),其他訓(xùn)練率參數(shù)保持不變。如圖4(a)所示,學(xué)習(xí)率越大,模型的收斂速度越快,因此,將學(xué)習(xí)率λ1設(shè)置為0.010 0。又如圖4(b)所示,學(xué)習(xí)率λ2設(shè)置范圍在0.010 0到0.000 1之間,而學(xué)習(xí)率過(guò)大時(shí),模型會(huì)陷入局部最優(yōu),所以當(dāng)λ2設(shè)置為0.001 0 時(shí),模型的收斂效果更好。為了選擇一個(gè)合適的學(xué)習(xí)率參數(shù),如圖4(c)所示,將λ3設(shè)置為0.010 0。

圖4 不同學(xué)習(xí)率對(duì)算法收斂性能的影響

5.2 算法有效性分析

如圖5 所示,從測(cè)試集中隨機(jī)抽取了一個(gè)新的計(jì)算任務(wù)場(chǎng)景來(lái)測(cè)試FEMO 算法在新場(chǎng)景中的表現(xiàn)。在評(píng)估之前,已經(jīng)利用所有邊緣端下的計(jì)算任務(wù)場(chǎng)景下來(lái)訓(xùn)練云端模型和單一模型數(shù)據(jù)集下訓(xùn)練得到的本地模型,實(shí)驗(yàn)展示了基于聯(lián)邦元學(xué)習(xí)的計(jì)算卸載算法在邊緣服務(wù)器的測(cè)試性能。

圖5 FEMO 算法在新場(chǎng)景下的測(cè)試表現(xiàn)

實(shí)驗(yàn)中基于聯(lián)邦元學(xué)習(xí)算法和對(duì)比算法都采用相同的神經(jīng)網(wǎng)絡(luò)模型,即神經(jīng)網(wǎng)絡(luò)模型只學(xué)習(xí)了0-1 計(jì)算卸載動(dòng)作,但對(duì)比算法僅使用單一邊緣服務(wù)器上的訓(xùn)練數(shù)據(jù)。以下實(shí)驗(yàn)結(jié)果均為對(duì)應(yīng)測(cè)試場(chǎng)景下100 個(gè)數(shù)據(jù)樣本的均值。訓(xùn)練收斂后,2 種算法都獲得了不錯(cuò)的初始化性能,分別達(dá)到理想卸載方案的0.978 和0.972。在相同的個(gè)性化微調(diào)測(cè)試中,針對(duì)一個(gè)新移動(dòng)邊緣計(jì)算應(yīng)用場(chǎng)景,FEMO 算法僅需少量的微調(diào)訓(xùn)練步數(shù)(少于10 步),就能達(dá)到0.995以上的性能,而單一邊緣服務(wù)器的數(shù)據(jù)集下訓(xùn)練的模型需要更多的迭代步數(shù)(200 步)才能收斂。因此,FEMO 算法在保護(hù)各邊緣服務(wù)器數(shù)據(jù)隱私的前提下,當(dāng)遇到一個(gè)新的任務(wù)場(chǎng)景時(shí),僅需少量的訓(xùn)練樣本就能快速適應(yīng)該場(chǎng)景。

為了進(jìn)一步研究在小樣本下FEMO 算法的有效性,針對(duì)一個(gè)全新的場(chǎng)景,本文將FEMO 算法與其他2 種具有代表性的基準(zhǔn)方法進(jìn)行了比較。

(1)邊緣端學(xué)習(xí)。通過(guò)利用單一邊緣服務(wù)器上的數(shù)據(jù)集訓(xùn)練本地模型,與聯(lián)邦學(xué)習(xí)的過(guò)程類似,邊緣端學(xué)習(xí)也是根據(jù)不同的計(jì)算任務(wù)場(chǎng)景創(chuàng)建相應(yīng)的與本地模型網(wǎng)絡(luò)結(jié)構(gòu)相同的事件模型,通過(guò)匯總不同計(jì)算任務(wù)場(chǎng)景下的損失值來(lái)更新整個(gè)本地模型。

(2)隨機(jī)初始化學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)在針對(duì)新的場(chǎng)景前并沒(méi)有訓(xùn)練過(guò),其網(wǎng)絡(luò)參數(shù)是隨機(jī)初始化的,在PyTorch 框架中全連接層的參數(shù)初始化滿足均方分布。其網(wǎng)絡(luò)結(jié)構(gòu)和其他2 種算法使用的模型結(jié)構(gòu)完全一致。

在實(shí)驗(yàn)過(guò)程中把3 種算法的學(xué)習(xí)率以及批處理大小等實(shí)驗(yàn)參數(shù)保持一致。如圖6 所示,由于訓(xùn)練數(shù)據(jù)的匱乏,基準(zhǔn)方法的性能是有限的。特別地,對(duì)于基于FEMO 算法得到的初始化參數(shù)在僅有1 個(gè)訓(xùn)練樣本下能通過(guò)微調(diào)達(dá)到0.984,而基于單一邊緣服務(wù)器數(shù)據(jù)集訓(xùn)練的本地模型雖然最終能獲得近似FEMO 的性能,但由圖4 可知,需要更多的迭代步數(shù)。使用隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)模型,一開(kāi)始的初始化參數(shù)就遠(yuǎn)小于其他2 種方法的初始化參數(shù),則需要更多的樣本數(shù)量以及更多的微調(diào)步數(shù)才能達(dá)到相似的性能。這表明FEMO 算法可以快速?gòu)臍v史的場(chǎng)景中學(xué)到先驗(yàn)知識(shí),并迅速將其轉(zhuǎn)移至新的計(jì)算任務(wù)場(chǎng)景。

圖6 幾種少量樣本下基準(zhǔn)方法的加權(quán)時(shí)延和歸一化值

為了進(jìn)一步評(píng)估所提算法的有效性與優(yōu)越性,本文將所提算法與以下其他計(jì)算卸載算法進(jìn)行比較。

(1)DSLO[29]:基于監(jiān)督學(xué)習(xí)的計(jì)算卸載算法,通過(guò)標(biāo)簽樣本訓(xùn)練的神經(jīng)網(wǎng)絡(luò),預(yù)測(cè)卸載決策。

(2)DROO[30]:基于強(qiáng)化學(xué)習(xí)的計(jì)算卸載算法,并利用經(jīng)驗(yàn)回放技術(shù)指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。該算法通過(guò)將預(yù)測(cè)的卸載決策量化成多個(gè)二進(jìn)制決策,將決策代入目標(biāo)函數(shù)計(jì)算系統(tǒng)加權(quán)時(shí)延和,從中找出使時(shí)延取最小值的分流決策。

(3)基于線性規(guī)劃松弛的計(jì)算卸載[31](linear relaxation,LR):所有的二進(jìn)制卸載策略松弛到0～1之間的一個(gè)實(shí)數(shù),用∈[0,1] 表示。然后該松弛約束的優(yōu)化問(wèn)題(P1)相對(duì)于原卸載策略 可以用凸優(yōu)化工具箱解決。一旦a^n給出,則可通過(guò)下式計(jì)算出相應(yīng)的二進(jìn)制卸載策略:

為避免偶然性,在整個(gè)實(shí)驗(yàn)過(guò)程中,均保證了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與超參數(shù)設(shè)置保持一致。從測(cè)試集中隨機(jī)選取了10 個(gè)場(chǎng)景下測(cè)試的均值作為實(shí)際的測(cè)試效果。如圖7 所示,LR 算法產(chǎn)生的加權(quán)時(shí)延和歸一化值始終保持為0.972,不會(huì)隨著訓(xùn)練樣本數(shù)增多而改變。FEMO 算法在20 個(gè)微調(diào)步數(shù)內(nèi),其產(chǎn)生的加權(quán)時(shí)延和歸一化值能超過(guò)0.990,可以快速適應(yīng)新的計(jì)算任務(wù)場(chǎng)景。DSLO 算法隨著訓(xùn)練樣本數(shù)量的增加,在120 個(gè)微調(diào)步數(shù)內(nèi),其產(chǎn)生的加權(quán)時(shí)延和歸一化值能超過(guò)0.990,但是顯然在200 個(gè)微調(diào)步數(shù)內(nèi)還沒(méi)有收斂到最優(yōu)。因此,相較于FEMO 算法,DSLO 算法需要更多的訓(xùn)練樣本數(shù)以及更多的微調(diào)步數(shù)。值得一提的是,DROO 算法由于缺乏標(biāo)簽數(shù)據(jù),相較于DSLO 算法和FEMO 算法需要更多的微調(diào)步數(shù)才能適應(yīng)新的計(jì)算任務(wù)場(chǎng)景,在200 個(gè)微調(diào)步數(shù)內(nèi),其產(chǎn)生的加權(quán)時(shí)延和歸一化值為0.968。

總的來(lái)說(shuō),FEMO 算法通過(guò)學(xué)習(xí)歷史場(chǎng)景中的先驗(yàn)知識(shí),并且在少量訓(xùn)練樣本的情況下可以達(dá)到比其他計(jì)算卸載算法更好的模型初始化參數(shù)。該算法可以迅速適應(yīng)新的計(jì)算任務(wù)場(chǎng)景。

5.3 FEMO 泛化性能分析

如表1 所示,本文對(duì)比了在不同計(jì)算卸載算法下加權(quán)時(shí)延和歸一化值。本小節(jié)將本文提出的FEMO 算法與隨機(jī)卸載算法和線性松弛卸載算法進(jìn)行了比較。由于FEMO 算法是利用多個(gè)計(jì)算任務(wù)場(chǎng)景中的先驗(yàn)知識(shí)來(lái)得到一個(gè)較好的神經(jīng)網(wǎng)絡(luò)初始化參數(shù),因此,在個(gè)性化微調(diào)測(cè)試中,針對(duì)一個(gè)新的計(jì)算任務(wù)場(chǎng)景,在不做微調(diào)測(cè)試的情況下,其加權(quán)時(shí)延和歸一化值為0.976 7,并優(yōu)于其他2 種對(duì)比算法的卸載決策,最終在10 步微調(diào)測(cè)試內(nèi)收斂于該場(chǎng)景。

表1 不同計(jì)算卸載算法性能對(duì)比

本實(shí)驗(yàn)一共生成了1024 個(gè)訓(xùn)練任務(wù)場(chǎng)景,其中80%的計(jì)算任務(wù)場(chǎng)景作為訓(xùn)練集。如圖8 所示,本文利用不同數(shù)量的計(jì)算任務(wù)場(chǎng)景訓(xùn)練云端模型,在邊緣服務(wù)器數(shù)量K不變的情況下,將L分別設(shè)置原訓(xùn)練集的40%、60%、80%、100%。其中,每個(gè)邊緣服務(wù)器在僅有原訓(xùn)練集40%的計(jì)算任務(wù)且每個(gè)場(chǎng)景只有10 個(gè)訓(xùn)練樣本的前提下,針對(duì)新的計(jì)算任務(wù)場(chǎng)景,FEMO 算法通過(guò)10 次迭代訓(xùn)練后,加權(quán)時(shí)延和歸一化值能超過(guò)0.985。然而,更多的計(jì)算任務(wù)場(chǎng)景意味著更多的先驗(yàn)知識(shí),使得神經(jīng)網(wǎng)絡(luò)模型有著更高的初始化參數(shù)。

圖8 不同規(guī)模的訓(xùn)練數(shù)據(jù)對(duì)算法性能的影響

6 結(jié)論

本文面向5G 環(huán)境下的萬(wàn)物智聯(lián)應(yīng)用場(chǎng)景,闡述了移動(dòng)邊緣計(jì)算卸載是融合計(jì)算和通信的關(guān)鍵技術(shù)。針對(duì)5G 實(shí)際應(yīng)用場(chǎng)景要求計(jì)算卸載決策實(shí)時(shí)性和邊緣數(shù)據(jù)隱私保護(hù)安全性等挑戰(zhàn),本文融合聯(lián)邦學(xué)習(xí)和元學(xué)習(xí),實(shí)現(xiàn)了一種兼顧性能優(yōu)化與隱私保護(hù)的邊緣計(jì)算卸載通用框架。測(cè)試實(shí)驗(yàn)表明,FEMO 算法僅需少量的微調(diào)訓(xùn)練步數(shù)就能達(dá)到0.995以上的性能,可為未來(lái)5G 移動(dòng)邊緣計(jì)算應(yīng)用提供關(guān)鍵技術(shù)支撐。