張 飛，陳小前，于 帥，季明江，劉 勇，曹 璐

（1.軍事科學(xué)院 國防科技創(chuàng)新研究院，北京 100071；2.中山大學(xué) 計算機學(xué)院，廣東 廣州 510006）

0 引言

隨著人類在航空航天、深海探測以及無人駕駛等科技領(lǐng)域的快速進步，人類的活動范圍不斷向更加偏遠的地區(qū)延伸（如外太空、沙漠腹地及深海等）［1］。地面移動通信網(wǎng)絡(luò)很難覆蓋沙漠、深海以及外太空等偏遠地區(qū)，已無法適應(yīng)新型移動設(shè)備泛在連接（Ubiquitous Connectivity）的需求。衛(wèi)星具有廣域覆蓋的特點，是偏遠地區(qū)各類信息技術(shù)應(yīng)用的重要支撐。隨著移動終端技術(shù)的發(fā)展，各類新興應(yīng)用不斷涌現(xiàn)，如移動物聯(lián)網(wǎng)、虛擬現(xiàn)實、智能物流、目標識別與跟蹤等。但是受能源、尺寸等因素限制，移動終端通常以無線接入的方式將采集的數(shù)據(jù)傳輸?shù)胶蠖嗽朴嬎闫脚_進行處理。這同時也帶來了巨大的延遲開銷，無法適應(yīng)一些延遲敏感型應(yīng)用，例如，虛擬現(xiàn)實為了與現(xiàn)實場景深度融合，從玩家移動頭部到看到新的、正確的場景視圖的延遲應(yīng)小于15 ms［2］。邊緣計算可以將計算資源部署在移動終端附近來減少數(shù)據(jù)傳輸并降低計算時延。

本文利用低軌衛(wèi)星廣域覆蓋、軌道低、數(shù)據(jù)傳輸延遲小等特點，提出了一種基于空天地海一體化網(wǎng) 絡(luò)（Space-Air-Ground-Aqua Integrated Networks）［3-5］的天基邊緣計算框架。該架構(gòu)包含接入層和處理層2 個層面：在接入層，地面/海面終端（如移動用戶、互聯(lián)網(wǎng)設(shè)備等）通過低軌衛(wèi)星（Low Earth Orbit，LEO）星座接入空天地海一體化網(wǎng)絡(luò)，并通過計算卸載（Computation Offloading）的方式，將其計算任務(wù)卸載到處理層（即星上邊緣計算平臺）；在處理層，星上邊緣計算平臺與空中計算平臺、地面云計算中心協(xié)作處理接收到的計算任務(wù)（即星地協(xié)同［6］）。隨后，本文提出一種基于深度模仿學(xué)習(xí)（Deep Imitation Learning，DIL）的智能計算卸載模型，通過星地以及星間的計算卸載，以達到提升星上邊緣計算平臺的任務(wù)處理速度的目的。最后，針對天基網(wǎng)絡(luò)中衛(wèi)星星座的動態(tài)拓撲環(huán)境，為所提出的智能計算卸載模型設(shè)計一種分布式聯(lián)邦學(xué)習(xí)的模型訓(xùn)練機制，以降低星地通信開銷和保障星上數(shù)據(jù)隱私。

基于空天地海一體化網(wǎng)絡(luò)的天基邊緣計算以其獨特的全球覆蓋信息服務(wù)能力，已成為下一代移動通信網(wǎng)絡(luò)（6G）和國家重大基礎(chǔ)設(shè)施建設(shè)方向。本文提出的天基邊緣計算架構(gòu)、智能計算卸載模型及其分布式模型訓(xùn)練機制，可實現(xiàn)地面終端的泛在連接與在軌數(shù)據(jù)實時采集、處理及存儲功能，可支持如天基物聯(lián)網(wǎng)、目標檢測與跟蹤、氣象觀測、自動駕駛等各類軍民應(yīng)用。

1 研究現(xiàn)狀

天基邊緣計算也被稱為在軌邊緣計算（Orbital Edge Computing，OEC）［7-8］，指通過將計算、存儲以及傳感器等硬件設(shè)備部署在空天地海一體化網(wǎng)絡(luò)中的通信衛(wèi)星上，以實現(xiàn)數(shù)據(jù)的在軌采集、接收、處理和分發(fā)。由于其全球覆蓋的優(yōu)勢，在近年來得到了學(xué)術(shù)界和產(chǎn)業(yè)界的極大關(guān)注，被認為是下一代移動通信網(wǎng)絡(luò)（6G）的關(guān)鍵技術(shù)之一。目前，由于對天基邊緣計算的研究尚處在初級階段，相關(guān)的研究成果多集中在其體系架構(gòu)上。例如，文獻［7］提出了OEC 的概念，OEC 支持在每個配備了攝像機的低軌衛(wèi)星上進行邊緣計算，以便在下行鏈路中斷時可以在軌處理感測數(shù)據(jù)。同時，為了解決邊緣處理延遲問題，OEC 系統(tǒng)將衛(wèi)星星座組織成計算管道。這些管道基于地理位置并行數(shù)據(jù)采集和數(shù)據(jù)處理，無需交叉連接協(xié)調(diào)。文獻［9］研究了空天地海一體化中與多接入邊緣計算網(wǎng)絡(luò)的融合架構(gòu)，并探討了其在降低時延、緩存與網(wǎng)絡(luò)開銷等方面的優(yōu)勢。由于數(shù)據(jù)在軌存儲被認為是一種有前途的安全存儲模式，文獻［10］將低軌衛(wèi)星視為安全的數(shù)據(jù)存儲介質(zhì)，并研究從低軌衛(wèi)星數(shù)據(jù)存儲系統(tǒng)（也稱為低軌衛(wèi)星數(shù)據(jù)中心）獲取數(shù)據(jù)。在該框架下，一個基本的挑戰(zhàn)是在保持系統(tǒng)穩(wěn)定性的同時處理從空間到地面的節(jié)能下載。因此，作者提出了一種在線調(diào)度框架，目標是在最小化能耗的同時最大化數(shù)據(jù)量下載（低軌衛(wèi)星到地面終端）。在低軌衛(wèi)星的部署方式方面，文獻［11］提出一種超密集近地軌道網(wǎng)絡(luò)（Ultra-Dense LEO），以實現(xiàn)和地面網(wǎng)絡(luò)的高效數(shù)據(jù)卸載。其目標是在同時優(yōu)化每個低軌衛(wèi)星回程容量的前提下，使總速率和接入用戶數(shù)最大化。

2 天基邊緣計算架構(gòu)

天基邊緣計算就是以衛(wèi)星為核心實現(xiàn)空天地海多域平臺高效互聯(lián)，并在星上構(gòu)建邊緣計算平臺，賦予整個網(wǎng)絡(luò)數(shù)據(jù)在軌收集、處理與緩存的能力。天基邊緣計算架構(gòu)主要由地面/海面終端、空天網(wǎng)絡(luò)、星上邊緣計算平臺以及云計算中心部分構(gòu)成，如圖1 所示。

圖1 基于空天地海一體化網(wǎng)絡(luò)的天基邊緣計算架構(gòu)Fig.1 Space edge computing architecture for space-airground-aqua integrated networks

1）地面/海面終端：具有數(shù)據(jù)采集和弱處理能力的各類移動終端設(shè)備，包括移動終端、探測器和物聯(lián)網(wǎng)設(shè)備等。地面/海面終端通過無線網(wǎng)絡(luò)將其采集到的數(shù)據(jù)卸載到處理能力更強的外部處理平臺（如圖1 所示的天基網(wǎng)絡(luò)或空基網(wǎng)絡(luò)中的邊緣計算平臺）執(zhí)行。

2）空天網(wǎng)絡(luò)：由以衛(wèi)星為核心高效互聯(lián)的各類天、空平臺（High and Low Altitude Platforms）［3］組成。天基網(wǎng)絡(luò)由若干衛(wèi)星通過星間鏈路構(gòu)建。由于低軌衛(wèi)星軌道低，星地傳輸延遲小，可作為地面/海面終端的主要接入點。當需要更大數(shù)據(jù)采集和更強計算能力時，可由低軌衛(wèi)星轉(zhuǎn)發(fā)數(shù)據(jù)至高軌衛(wèi)星或地面云計算中心進行處理。在臨時和局部需要較強計算和通信能力支撐時，通過部署空基平臺作為天基平臺的中轉(zhuǎn)和補充。

3）星上邊緣計算平臺：利用虛擬化和邊緣計算技術(shù)，在每顆衛(wèi)星上部署邊緣計算平臺。各星上邊緣計算平臺間可實現(xiàn)計算資源共享，同時可接收來自地面/海面終端和空中平臺卸載來的計算任務(wù)。星上邊緣計算平臺將處理后的結(jié)果可快速返回給地面/海面終端。

4）云計算中心：天基和空基邊緣計算平臺的重要支撐，當移動應(yīng)用需要的算力較大時，各平臺將數(shù)據(jù)傳至云中心進行處理。云計算中心同時也是數(shù)據(jù)匯聚池，所有邊緣計算平臺需要存儲的數(shù)據(jù)都發(fā)回云計算中心進行存儲，進而可利用大數(shù)據(jù)技術(shù)深度挖掘數(shù)據(jù)價值。

3 天基邊緣計算智能卸載模型

本章首先對天基邊緣計算系統(tǒng)進行建模，歸納了最小化程序執(zhí)行時延的優(yōu)化目標，以及構(gòu)建了基于深度模仿學(xué)習(xí)的智能計算卸載決策模型。

3.1 天基邊緣系統(tǒng)建模

假定當前天基邊緣計算系統(tǒng)中的天基網(wǎng)絡(luò)包含N個具有邊緣計算能力的衛(wèi)星（即邊緣節(jié)點），其集合為N={1，2，…，N}。針對天基邊緣計算系統(tǒng)中待執(zhí)行的應(yīng)用程序，本文考慮細粒度（Fine-Grained）的程序切分方案［12］，即一個應(yīng)用程序O可被切分為若干個可獨立執(zhí)行的子程序。令O={S，D}，其中，S為子程序的集合，D為子程序間所需傳遞的數(shù)據(jù)的集合（即子程序的輸入輸出）。

3.2 計算任務(wù)卸載決策優(yōu)化目標

基于所構(gòu)建的網(wǎng)絡(luò)模型，可對計算任務(wù)卸載及優(yōu)化目標進行建模。具體而言，假設(shè)應(yīng)用程序O可拆分成|S|個可獨立執(zhí)行的子程序，則該應(yīng)用程序的計算卸載 決策可由AO={a1，a2，…，as，…，a|S|}表示，其中，as為第s個子程序的卸載決策。as必然為以下3 種決策之一：

1）as=0，表示低軌衛(wèi)星n將其應(yīng)用程序O的子程序s通過星地無線鏈路卸載到云計算中心執(zhí)行（即地面執(zhí)行），其時延為Tc；

2）as=k，(k=n)，表示子程序s在任務(wù)發(fā)起的低軌衛(wèi)星n上運行（即在軌本地執(zhí)行），其時延為Tl，k，n∈N={1，2，…，N}；

3）as=k，(k≠n)，表示將子程序s卸載到除任務(wù)發(fā)起衛(wèi)星n以外的其他低軌衛(wèi)星上運行（即在軌遠端執(zhí)行），其時延為Ts，k，n∈N={1，2，…，N}。

計算任務(wù)卸載的程序運行時延的優(yōu)化問題可以建模成如下數(shù)學(xué)規(guī)劃問題：

注意到，該優(yōu)化問題為整數(shù)規(guī)劃問題，其最優(yōu)化算法的復(fù)雜度隨子程序的個數(shù)|S|及低軌衛(wèi)星個數(shù)N呈指數(shù)倍增長，因此，無法在多項式時間內(nèi)得到最優(yōu)解。為此，本文采用一種基于深度模仿學(xué)習(xí)的智能計算卸載決策模型，通過星地、星間的計算卸載，達到提升程序運行速度的目的。

3.3 基于深度模仿學(xué)習(xí)的智能計算卸載決策模型

為了得到式（1）中細粒度的、實時的計算卸載決策，本文采用一種基于深度模仿學(xué)習(xí)的智能計算卸載決策模型，如圖2 所示。基于行為克?。˙ehavioral Cloning）［13］、模仿學(xué)習(xí)（Imitation Learning），通過監(jiān)督式學(xué)習(xí)的方式，以及離線的模仿范例（本文中為最優(yōu)的計算卸載決策范例），做出實時、在線的處理決策。該模型的運行包含如下3 個階段：

圖2 基于深度模仿學(xué)習(xí)的智能計算卸載決策模型Fig.2 DIL based intelligent computation offloading model

1）離線范例生成，通過整數(shù)規(guī)劃傳統(tǒng)的解法得到處理決策的最優(yōu)解作為范例；

2）離線模型訓(xùn)練，使用深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）來提取和訓(xùn)練上一階段生成的范例數(shù)據(jù)，以此訓(xùn)練決策模型；

3）在線決策生成，DNN 的離線模型訓(xùn)練階段一旦完成，就可以在線地進行實時的計算卸載決策。通過該輸出評估該深度模擬學(xué)習(xí)模型的決策 精度和程序執(zhí)行時延。

4 智能計算卸載模型的分布式在軌訓(xùn)練

在星上邊緣計算平臺的智能服務(wù)處理中，許多業(yè)務(wù)往往涉及數(shù)據(jù)驅(qū)動的智能AI 任務(wù)［14］。其特點是需要協(xié)同利用地面/海面的海量數(shù)據(jù)進行匯聚式分析處理，生成相應(yīng)的機器學(xué)習(xí)模型。傳統(tǒng)的集中式聯(lián)邦學(xué)習(xí)模型如圖3（a）所示。通常將這些數(shù)據(jù)聚集到一個云端服務(wù)器上進行統(tǒng)一處理和訓(xùn)練，這種中心化的模型訓(xùn)練方式會帶來隱私泄露的風險，危害數(shù)據(jù)安全。同時，依賴于云端的集中式訓(xùn)練方式也需要星上邊緣計算的各個低軌衛(wèi)星把自身數(shù)據(jù)傳輸?shù)降孛嬖朴嬎阒行摹Ｓ捎谛堑刂g無線鏈路的長時延及不穩(wěn)定性，其帶來的傳輸開銷非常巨大，對網(wǎng)絡(luò)帶寬造成很大壓力。為此，本文為上述智能計算卸載模型設(shè)計了一種基于分布式聯(lián)邦學(xué)習(xí)的在軌模型訓(xùn)練機制，如圖3（b）所示。

圖3 計算卸載決策模型的在軌訓(xùn)練Fig.3 On-orbit training for the computation offloading model

具體而言，每顆低軌衛(wèi)星首先根據(jù)自身的決策范例獨立訓(xùn)練本地的決策模型。隨后，低軌衛(wèi)星按順序?qū)⒂?xùn)練好的本地模型傳遞到下一顆臨近的衛(wèi)星。如圖3（b）所示，低軌衛(wèi)星1 將其本地模型發(fā)送到低軌衛(wèi)星2；隨后，低軌衛(wèi)星2 將其收到的模型與本地模型聚合生成新的聚合模型并傳遞到低軌衛(wèi)星3；低軌衛(wèi)星3 繼續(xù)將收到的模型與其本地模型聚合。由于低軌衛(wèi)星3 已收到全網(wǎng)的訓(xùn)練模型信息，因此，生成的聚合模型為全局模型；最后，低軌衛(wèi)星3 將生成的全局模型發(fā)送給其他低軌衛(wèi)星（可通過廣播的方式）。該模型訓(xùn)練方式避免眾多低軌衛(wèi)星與地面云計算中心進行通信，大大減少星地間的通信開銷，且能保障星上數(shù)據(jù)隱私。因此，非常適合在天基邊緣計算網(wǎng)絡(luò)環(huán)境訓(xùn)練多種隱私敏感且數(shù)據(jù)量較大的人工智能模型。

5 仿真試驗及結(jié)果分析

5.1 仿真結(jié)果

本文使用Matlab 仿真軟件對提出的在軌智能技術(shù)進行仿真分析及性能評估。仿真環(huán)境見表1，即如圖2 所示的DNN 參數(shù)。同時，為了評估該技術(shù)（即智能決策）的性能，本文提出3 種計算卸載參照方案，分別為：

表1 仿真參數(shù)設(shè)置Tab.1 Simulation parameters

1）云處理，即所有子任務(wù)卸載到地面云計算中心進行處理；

2）星上處理，即所有子任務(wù)在衛(wèi)星端處理；

3）貪婪決策，即每個子程序采用貪婪算法搶占網(wǎng)絡(luò)資源，最大化自己的短期收益，從而得到計算卸載決策。

對于計算任務(wù)模型，我們考慮一個包含6 個子任務(wù)的計算任務(wù)（即|D|=6），每個子任務(wù)的數(shù)據(jù)輸入/輸出數(shù)據(jù)量大小在［100，500］kB 上服從均勻分布，處理其每字節(jié)所消耗的算力（與算法計算復(fù)雜度相關(guān)）在［0，12 000］CPU（Cycles Per Byte）上服從均勻分布［15］，星地鏈路的傳播時延開銷為30 ms。

5.2 結(jié)果分析

不同計算卸載決策方案的性能比較如圖4 所示。其中，圖4（a）比較了不同卸載決策方案的卸載決策準確率（相比于通過窮舉法得到的最優(yōu)決策），圖4（b）比較了不同卸載決策方案的程序執(zhí)行時延。從圖4（a）中可見，相比于其他決策方案，本文提出的智能決策模型的決策準確率最高，達到了60.24%。

注意到，更高的決策準確率帶來程序執(zhí)行時延大幅降低。為此，圖4（b）給出了不同決策方案的程序執(zhí)行時延。從圖中可見，本文提出的智能卸載決策模型相比于云處理、星上處理、貪婪決策分別降低了54.96%、42.08%、23.80% 的程序執(zhí)行時延。這是因為智能卸載通過不斷地學(xué)習(xí)最優(yōu)決策范例，從而不斷提升自身的決策準確率，以此降低了程序執(zhí)行時延。

圖4 計算卸載決策方案的性能分析Fig.4 Performance of different computation offloading schemes

本文提出的分布式聯(lián)邦學(xué)習(xí)過程中不同衛(wèi)星的數(shù)量對全局模型準確率的影響如圖5 所示。令每個衛(wèi)星當前數(shù)據(jù)樣本（即最優(yōu)決策范例）個數(shù)為1 000。注意到，單星條件下的全局模型為本地模型，其模型決策準確率較低為42.85%。而在多星條件下，通過不斷的本地模型傳遞與聚合，全局模型的準確率不斷攀升，在四星協(xié)作分布式模型訓(xùn)練的過程中，準確率達到了57.24%。這是因為參與模型訓(xùn)練的衛(wèi)星越多，提供的數(shù)據(jù)樣本越豐富，因此，全局模型的決策準確率得到了提升。

圖5 不同衛(wèi)星數(shù)量下的全局模型準確率Fig.5 Offloading accuracy of the global model under different numbers of satellites

6 結(jié)束語

本文研究了基于天基邊緣計算的在軌智能技術(shù)，提出以天基為核心的空天地海一體化邊緣計算架構(gòu)，對基于深度模仿學(xué)習(xí)的智能計算卸載進行了建模。該模型可針對多種任務(wù)狀態(tài)及網(wǎng)絡(luò)狀態(tài)做出實時的、細粒度的計算卸載決策，并降低空間應(yīng)用程序的程序執(zhí)行時延。為提升上述模型的決策準確率并降低星地通信開銷，提出了該模型的在軌分布式聯(lián)邦學(xué)習(xí)訓(xùn)練方案。后續(xù)將繼續(xù)基于星上邊緣計算平臺開展星上分布式聯(lián)邦學(xué)習(xí)技術(shù)研究。