張飛，陳小前，曹璐，覃江毅，湯敏，郭鵬宇，冉德超

天基邊緣計(jì)算系統(tǒng)設(shè)計(jì)及關(guān)鍵技術(shù)

張飛，陳小前，曹璐，覃江毅，湯敏，郭鵬宇，冉德超

（軍事科學(xué)院 國(guó)防科技創(chuàng)新研究院，北京 100071）

衛(wèi)星具有覆蓋范圍廣、抗災(zāi)害性強(qiáng)等特點(diǎn)，隨著衛(wèi)星研制與發(fā)射成本的不斷降低，推動(dòng)衛(wèi)星與地面移動(dòng)通信網(wǎng)絡(luò)、物聯(lián)網(wǎng)（IoT）、云計(jì)算中心深度融合，構(gòu)建天地一體化網(wǎng)絡(luò)和應(yīng)用架構(gòu)，已成為航天發(fā)展的重要方向。隨著地面多用戶、大數(shù)據(jù)量的接入，亟須開(kāi)展衛(wèi)星在軌數(shù)據(jù)處理技術(shù)相關(guān)研究，提升衛(wèi)星的在軌服務(wù)能力和質(zhì)量。本文提出了對(duì)衛(wèi)星計(jì)算資源進(jìn)行整合，構(gòu)建天基邊緣計(jì)算系統(tǒng)，并提出了天基邊緣計(jì)算的3種資源管理策略和4種平臺(tái)部署協(xié)同模式。此外，對(duì)天基邊緣計(jì)算的優(yōu)勢(shì)和還需解決的關(guān)鍵技術(shù)進(jìn)行了分析，并搭建了天基邊緣計(jì)算原型系統(tǒng)，對(duì)不同計(jì)算卸載策略性能進(jìn)行了分析。

天基邊緣計(jì)算；云-邊-端架構(gòu)；計(jì)算卸載；云計(jì)算；邊緣協(xié)同

0　引言

目前，全球地面移動(dòng)通信服務(wù)只能覆蓋約20%的陸地面積和6%的地球表面積［1］。衛(wèi)星具有全球覆蓋、部署靈活、無(wú)國(guó)界、抗自然災(zāi)害能力強(qiáng)等優(yōu)點(diǎn)，是地面基礎(chǔ)設(shè)施的重要支撐和補(bǔ)充。將5G通信網(wǎng)與天基通信網(wǎng)絡(luò)融合，已成為6G通信技術(shù)發(fā)展的必然趨勢(shì)［2］。在天地一體化網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)下，越來(lái)越多的地面應(yīng)用將向衛(wèi)星延伸，這是航天發(fā)展的機(jī)遇也是挑戰(zhàn)。例如，在物聯(lián)網(wǎng)場(chǎng)景下，對(duì)戈壁、沙漠、海洋、極地等地面基礎(chǔ)設(shè)施很難覆蓋的區(qū)域，衛(wèi)星幾乎成了最有效的收集地面?zhèn)鞲衅鲾?shù)據(jù)的手段。但隨著物聯(lián)網(wǎng)（Internet of Things，IoT）技術(shù)的發(fā)展，衛(wèi)星必然面臨多用戶接入、海量數(shù)據(jù)接收、快速處理轉(zhuǎn)發(fā)等一系列挑戰(zhàn)。

為應(yīng)對(duì)上述挑戰(zhàn)，必須提升衛(wèi)星的在軌數(shù)據(jù)處理能力。當(dāng)前，衛(wèi)星對(duì)獲取的數(shù)據(jù)主要有2種處理方式：

1）地面處理，如圖1（a）所示。衛(wèi)星獲得數(shù)據(jù)后將數(shù)據(jù)轉(zhuǎn)發(fā)至地面數(shù)據(jù)處理中心進(jìn)行處理。如果處理后的數(shù)據(jù)還需分發(fā)給無(wú)地面通信網(wǎng)絡(luò)覆蓋的用戶時(shí)，還需再次通過(guò)衛(wèi)星轉(zhuǎn)發(fā)給用戶。這種數(shù)據(jù)處理方式首先會(huì)導(dǎo)致巨大的網(wǎng)絡(luò)帶寬開(kāi)銷，尤其是對(duì)異常寶貴的星地帶寬資源，同時(shí)由于衛(wèi)星消耗大量的能源用于數(shù)據(jù)傳輸，也會(huì)對(duì)衛(wèi)星其他業(yè)務(wù)造成影響。其次，這種方式會(huì)導(dǎo)致數(shù)據(jù)多次轉(zhuǎn)發(fā)，極大地增加了對(duì)用戶的響應(yīng)時(shí)延。如圖1（a）中，單次數(shù)據(jù)采集需要5次轉(zhuǎn)發(fā)才能達(dá)到用戶。如果衛(wèi)星是在非地球同步軌道上且數(shù)據(jù)傳輸量較大時(shí)，時(shí)延中還需加入衛(wèi)星重訪周期和地面站可見(jiàn)性帶來(lái)的時(shí)延。因此，這種數(shù)據(jù)處理方式很難滿足未來(lái)天地一體化網(wǎng)絡(luò)的發(fā)展需求。

2）在軌處理，如圖1（b）所示。衛(wèi)星獲得數(shù)據(jù)后直接在軌進(jìn)行處理后分發(fā)給用戶。這種方式極大地降低對(duì)網(wǎng)絡(luò)帶寬資源的消耗，增加對(duì)用戶的響應(yīng)時(shí)延。但隨著航天技術(shù)的發(fā)展，這種數(shù)據(jù)處理方式也面臨著諸多挑戰(zhàn)。受太空環(huán)境、衛(wèi)星能源等多方面因素的限制，衛(wèi)星數(shù)據(jù)處理單元的硬件性能很難達(dá)到地面數(shù)據(jù)處理中心的水平。這就需要從體系架構(gòu)、軟件、算法等方面入手，充分提升硬件資源的利用率，從而提升衛(wèi)星在軌數(shù)據(jù)處理能力。此外，隨著衛(wèi)星研制和發(fā)射成本的不斷降低，為提升衛(wèi)星的時(shí)間和空間覆蓋率，衛(wèi)星多以星座形式進(jìn)行部署，如“星鏈”計(jì)劃、美太空七層架構(gòu)、鴻雁星座、虹云星座等。傳統(tǒng)的在軌數(shù)據(jù)處理方式很難實(shí)現(xiàn)多星協(xié)同和硬件資源共享。

邊緣計(jì)算技術(shù)將計(jì)算資源前移到靠近數(shù)據(jù)地方，從而降低數(shù)據(jù)處理時(shí)延。同時(shí)，利用虛擬化技術(shù)對(duì)硬件資源進(jìn)行抽象，非常有利于多平臺(tái)間的資源共享。將邊緣計(jì)算技術(shù)應(yīng)用于衛(wèi)星在軌數(shù)據(jù)處理，對(duì)促進(jìn)衛(wèi)星向星座化、網(wǎng)絡(luò)化、智能化方向發(fā)展具有重要意義。在前期相關(guān)研究工作［3］的基礎(chǔ)上，對(duì)天基邊緣計(jì)算的系統(tǒng)組成進(jìn)行了研究，將天基邊緣計(jì)算平臺(tái)分為資源層、虛擬化層、平臺(tái)層、插件層、應(yīng)用層等，并與前端設(shè)備、地面云計(jì)算中心構(gòu)成了云-邊-端的計(jì)算架構(gòu)。在此基礎(chǔ)上，針對(duì)天基邊緣計(jì)算平臺(tái)系統(tǒng)管理需求，設(shè)計(jì)了集中式、逐級(jí)式、分布式3種管理策略。在邊緣計(jì)算平臺(tái)部署方面，提出了單邊緣計(jì)算、邊緣協(xié)同、邊云協(xié)同、全協(xié)同 4種部署和協(xié)同模式。同時(shí)，對(duì)天基邊緣計(jì)算的研究現(xiàn)狀、優(yōu)勢(shì)、關(guān)鍵技術(shù)等方面進(jìn)行了詳細(xì)分析。

1　研究現(xiàn)狀

隨著衛(wèi)星數(shù)量的不斷增多和衛(wèi)星應(yīng)用領(lǐng)域的不斷拓展，提升衛(wèi)星在軌數(shù)據(jù)處理能力已成為當(dāng)前學(xué)術(shù)界和工業(yè)界研究的重要方向。在體系架構(gòu)設(shè)計(jì)方面，YAN等［4］提出了一種5G衛(wèi)星邊緣計(jì)算框架，以降低5G網(wǎng)絡(luò)的延遲和覆蓋范圍。天基邊緣計(jì)算平臺(tái)中的計(jì)算資源主要包括中央處理器（Central Processing Unit， CPU）、圖形處理器（Graphics Processing Unit， GPU）和現(xiàn)場(chǎng)可編程邏輯門陣列（Field Programmable Gate Array， FPGA）。軟件框架分為系統(tǒng)服務(wù)、基礎(chǔ)服務(wù)、用戶服務(wù)3層。WEI等［5］提出了一種衛(wèi)星物聯(lián)網(wǎng)邊緣智能計(jì)算架構(gòu)，該架構(gòu)由衛(wèi)星云計(jì)算節(jié)點(diǎn)、衛(wèi)星邊緣計(jì)算節(jié)點(diǎn)和地面數(shù)據(jù)中心組成。衛(wèi)星云計(jì)算節(jié)點(diǎn)部署在計(jì)算和存儲(chǔ)能力較強(qiáng)的衛(wèi)星中，作為衛(wèi)星邊緣計(jì)算節(jié)點(diǎn)的匯聚點(diǎn)。在前期工作中［3］，基于低軌衛(wèi)星星座提出了天基邊緣計(jì)算體系架構(gòu)，面向天基邊緣智能對(duì)計(jì)算卸載過(guò)程進(jìn)行了建模，提出了在軌聯(lián)邦學(xué)習(xí)訓(xùn)練方法。唐琴琴等［6］提出了基于邊緣計(jì)算的星地協(xié)同網(wǎng)絡(luò)體系架構(gòu)，將架構(gòu)分為資源層、網(wǎng)絡(luò)層、平臺(tái)層、應(yīng)用層，同時(shí)提出天基邊緣計(jì)算平臺(tái)可以與地面邊緣計(jì)算平臺(tái)進(jìn)行資源共享。歐盟SaT5G項(xiàng)目［2］于2019年演示了利用5G多鏈路衛(wèi)星和地面網(wǎng)絡(luò)進(jìn)行基于移動(dòng)邊緣計(jì)算的無(wú)線分層視頻流傳輸，利用移動(dòng)邊緣計(jì)算平臺(tái)實(shí)現(xiàn)內(nèi)容分發(fā)網(wǎng)絡(luò)（Content Delivery Network， CDN）與高效邊緣內(nèi)容分發(fā)的整合。DENBY等［7］提出在微納遙感衛(wèi)星星座上部署邊緣計(jì)算平臺(tái)，并將邊緣計(jì)算平臺(tái)組織成計(jì)算流水線并行進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)處理。

在提升在軌數(shù)據(jù)處理能力方面，安建峰等［8］基于星載異構(gòu)計(jì)算多核平臺(tái)提出能源優(yōu)化的實(shí)時(shí)任務(wù)調(diào)度算法。算法包含負(fù)載分配和任務(wù)調(diào)度，采用時(shí)間片劃分的思想對(duì)任務(wù)進(jìn)行調(diào)度。WANG等［9］采用博弈論對(duì)天基邊緣計(jì)算中計(jì)算卸載過(guò)程進(jìn)行建模，從而選擇最佳的卸載策略同時(shí)獲得較優(yōu)的計(jì)算響應(yīng)時(shí)間和能源消耗。KIM等［10］對(duì)天基邊緣計(jì)算進(jìn)行了建模，并對(duì)不同軌道、不同卸載速率下天基邊緣計(jì)算的傳播延遲和上/下行排隊(duì)延遲進(jìn)行了分析。WANG等［11］結(jié)合軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）技術(shù)為低軌衛(wèi)星星間鏈路提出了一種3層網(wǎng)絡(luò)架構(gòu)，并提出了高級(jí)-means算法和廣度優(yōu)先的搜索算法來(lái)解決衛(wèi)星間資源拆分和調(diào)度問(wèn)題。ZHANG等［12］也提出了天基邊緣計(jì)算的概念，并為網(wǎng)絡(luò)資源虛擬化、合作式計(jì)算卸載、任務(wù)調(diào)度等設(shè)計(jì)了相應(yīng)的解決方案。盧華等［13］對(duì)天基邊緣計(jì)算下服務(wù)部署機(jī)制進(jìn)行了研究，將該問(wèn)題描述為馬爾科夫決策過(guò)程，并提出了基于強(qiáng)化學(xué)習(xí)的深度Q網(wǎng)絡(luò)部署機(jī)制。鐘磊等［14］針對(duì)低軌星座通信網(wǎng)絡(luò)時(shí)變性的特點(diǎn)，為天基邊緣計(jì)算平臺(tái)設(shè)計(jì)了平臺(tái)管理層，使得邊緣計(jì)算節(jié)點(diǎn)具備自主工作能力。

2　天基邊緣計(jì)算的優(yōu)勢(shì)

與傳統(tǒng)的在軌數(shù)據(jù)處理相比，天基邊緣計(jì)算主要具有以下優(yōu)點(diǎn)：

1）降低數(shù)據(jù)處理時(shí)延。天基邊緣計(jì)算將計(jì)算資源前移到靠近數(shù)據(jù)一側(cè)。地面?zhèn)鞲衅鞑杉臄?shù)據(jù)只需傳輸一跳就能進(jìn)行處理。衛(wèi)星有效載荷獲得的數(shù)據(jù)在本地就可以進(jìn)行處理。處理后的結(jié)果再次通過(guò)一跳傳輸就可直達(dá)用戶，從而降低數(shù)據(jù)處理的響應(yīng)時(shí)延。

2）降低網(wǎng)絡(luò)數(shù)據(jù)傳輸量。由于數(shù)據(jù)采集、處理、分發(fā)都在距離數(shù)據(jù)最近的地方進(jìn)行，極大地降低了數(shù)據(jù)與后端數(shù)據(jù)中心間的頻繁交互和轉(zhuǎn)發(fā)。即使經(jīng)邊緣計(jì)算平臺(tái)處理后的數(shù)據(jù)需要回傳至后端數(shù)據(jù)中心，經(jīng)過(guò)處理后的數(shù)據(jù)與采集的源數(shù)據(jù)相比，在數(shù)據(jù)量上通常也會(huì)有較大的壓縮。

3）降低地面設(shè)施的能耗。地面?zhèn)鞲衅鹘K端可將采集的數(shù)據(jù)直接發(fā)送給衛(wèi)星進(jìn)行處理，因此可降低傳感器因數(shù)據(jù)處理帶來(lái)的能源消耗，從而延長(zhǎng)傳感器的待機(jī)時(shí)間。這對(duì)在偏遠(yuǎn)山區(qū)、叢林、海洋等能源緊缺的地方工作的傳感器更為重要。此外，衛(wèi)星以清潔的太陽(yáng)能作為主要能源，天基邊緣計(jì)算平臺(tái)可為地面數(shù)據(jù)處理中心分?jǐn)偛糠钟?jì)算任務(wù)，從而降低地面數(shù)據(jù)處理中心的能源消耗和減少環(huán)境污染。

4）高效整合異構(gòu)資源。天基邊緣計(jì)算采用虛擬化技術(shù)對(duì)衛(wèi)星的硬件資源進(jìn)行抽象，為上層應(yīng)用提供統(tǒng)一的平臺(tái)服務(wù)，可實(shí)現(xiàn)各類衛(wèi)星異構(gòu)計(jì)算資源的整合與共享。由于地面云計(jì)算中心也采用類似的硬件抽象方式，因此邊緣平臺(tái)間、邊緣平臺(tái)與地面云計(jì)算中心間可實(shí)現(xiàn)統(tǒng)一管理和高效協(xié)同。

5）應(yīng)用快速開(kāi)發(fā)與部署。天基邊緣計(jì)算平臺(tái)采用通用的軟件平臺(tái)，因此，開(kāi)發(fā)人員無(wú)需“量身定制”式地為每個(gè)衛(wèi)星開(kāi)發(fā)應(yīng)用程序，可以實(shí)現(xiàn)“一次開(kāi)發(fā)，多星運(yùn)行”。如果星間或星地間有數(shù)據(jù)傳輸鏈路，還可實(shí)現(xiàn)應(yīng)用程序的快速遷移與在線更新。同時(shí)，由于采用通用的開(kāi)發(fā)框架，可在應(yīng)用部署前在地面進(jìn)行充分測(cè)試和驗(yàn)證，從而降低因應(yīng)用升級(jí)給衛(wèi)星帶來(lái)的安全風(fēng)險(xiǎn)。

6）安全性。天基邊緣計(jì)算平臺(tái)以容器或虛擬機(jī)的方式對(duì)各應(yīng)用程序進(jìn)行隔離，可有效避免因單程序問(wèn)題導(dǎo)致整個(gè)計(jì)算平臺(tái)失效問(wèn)題。另外，通過(guò)統(tǒng)一的權(quán)限控制，可為不同容器或虛擬機(jī)設(shè)置不同的資源使用權(quán)限，從而保障整個(gè)計(jì)算平臺(tái)和整星的安全性。

3　系統(tǒng)組成

天基邊緣計(jì)算是對(duì)衛(wèi)星上可利用的計(jì)算資源進(jìn)行整合和管理，并通過(guò)星間鏈路和星地鏈路與其他計(jì)算平臺(tái)實(shí)現(xiàn)資源共享。資源整合后，每顆衛(wèi)星將包含一個(gè)天基邊緣計(jì)算平臺(tái)。按照功能分類，可將天基邊緣計(jì)算平臺(tái)可分為5個(gè)層次：資源層、虛擬化層、平臺(tái)層、插件層、應(yīng)用層，如圖2所示。

資源層是衛(wèi)星上與計(jì)算相關(guān)的硬件資源。在執(zhí)行計(jì)算任務(wù)和多平臺(tái)協(xié)同時(shí)，還需網(wǎng)絡(luò)和存儲(chǔ)的支持，因此資源層不僅包括計(jì)算資源，同時(shí)也包括網(wǎng)絡(luò)和存儲(chǔ)資源，這些資源通常呈現(xiàn)出異構(gòu)性。

虛擬化層是對(duì)衛(wèi)星的異構(gòu)硬件資源進(jìn)行抽象，為上層提供統(tǒng)一的資源調(diào)用接口。虛擬化后的硬件資源通常以虛擬機(jī)（Virtual Machine，VM）或容器（Container）的形式進(jìn)行呈現(xiàn)。與虛擬機(jī)相比，容器具有輕量化的特點(diǎn)。由于衛(wèi)星上硬件資源相對(duì)有限，為減小虛擬化對(duì)硬件資源的占用，天基邊緣計(jì)算平臺(tái)應(yīng)優(yōu)先選擇容器的方式進(jìn)行資源虛擬化。同時(shí)，虛擬化后的硬件資源理論上可以根據(jù)用戶需求進(jìn)行任意拆分，具有很強(qiáng)的靈活性。

平臺(tái)層是邊緣計(jì)算平臺(tái)的核心，其主要包括設(shè)備管理、任務(wù)管理、協(xié)同管理、服務(wù)管理、鏡像管理、資源管理等。這些管理服務(wù)可采用通用的邊緣計(jì)算框架，如Kubeedge、OpenEdge、Azure IoT Edge等。根據(jù)衛(wèi)星與地面運(yùn)行環(huán)境的差異，可對(duì)邊緣計(jì)算框架進(jìn)行適當(dāng)裁剪，以提高框架的運(yùn)行效率。例如，衛(wèi)星上運(yùn)行的應(yīng)用相對(duì)單一，因此可將邊緣計(jì)算框架應(yīng)對(duì)傳統(tǒng)互聯(lián)網(wǎng)安全威脅的組件關(guān)閉或去除。設(shè)備管理組件主要與前端設(shè)備進(jìn)行交互，如獲取設(shè)備采集的數(shù)據(jù)和對(duì)設(shè)備進(jìn)行管控。這些設(shè)備包括衛(wèi)星搭載的有效載荷、地面的物聯(lián)網(wǎng)傳感器、用戶終端等。協(xié)同管理組件實(shí)現(xiàn)邊緣平臺(tái)間、邊緣平臺(tái)與云計(jì)算中心間的高效協(xié)同。其中，邊緣計(jì)算中計(jì)算任務(wù)卸載策略和算法就是由協(xié)同管理組件實(shí)現(xiàn)。網(wǎng)絡(luò)管理組件實(shí)現(xiàn)天基邊緣平臺(tái)不同應(yīng)用對(duì)底層網(wǎng)絡(luò)資源的共享，以及平臺(tái)與前端設(shè)備、地面云計(jì)算中心、其他邊緣計(jì)算平臺(tái)間的網(wǎng)絡(luò)連接管理。其他組件相對(duì)簡(jiǎn)單，就不一一贅述。

插件層是對(duì)平臺(tái)層功能的補(bǔ)充和應(yīng)用層的支撐，因此可將插件分為2類：平臺(tái)插件是平臺(tái)層運(yùn)行所需的通用或定制插件；應(yīng)用插件是應(yīng)用程序運(yùn)行所需的插件。

應(yīng)用層為可在軌運(yùn)行的各類應(yīng)用程序，如態(tài)勢(shì)感知、目標(biāo)識(shí)別等。應(yīng)用以鏡像的形式進(jìn)行部署，因此衛(wèi)星發(fā)射前可將可能用到的應(yīng)用鏡像提前存儲(chǔ)在衛(wèi)星上，從而降低鏡像傳輸帶來(lái)的帶寬開(kāi)銷。同時(shí)，應(yīng)用也可以通過(guò)星地鏈路或星間鏈路對(duì)鏡像進(jìn)行增加或更新。

4　系統(tǒng)管理

在云、邊、端三級(jí)架構(gòu)中，每級(jí)都可以根據(jù)需求進(jìn)行擴(kuò)展。因此，合理的系統(tǒng)管理策略是保證系統(tǒng)高效運(yùn)行的前提。根據(jù)隸屬方式不同，可將不同的系統(tǒng)管理方式分為3類：集中式、逐級(jí)式、分布式。

集中式即地面云計(jì)算中心管理所有前端設(shè)備和天基邊緣計(jì)算平臺(tái)。這種方式主要適用于云、邊、端間具有穩(wěn)定的網(wǎng)絡(luò)鏈路或各部分設(shè)備變化性較小的場(chǎng)景。

逐級(jí)式即地面云計(jì)算中心管理天基邊緣計(jì)算平臺(tái)，天基邊緣計(jì)算平臺(tái)管理前端設(shè)備。逐級(jí)式實(shí)際是由2個(gè)集中式組成的。這樣既可以降低長(zhǎng)距離網(wǎng)絡(luò)傳輸設(shè)備狀態(tài)數(shù)據(jù)帶來(lái)的網(wǎng)絡(luò)開(kāi)銷，同時(shí)有利于統(tǒng)籌各級(jí)資源，達(dá)到整體性能最優(yōu)的目的。

分布式即各個(gè)設(shè)備管理自己的資源，只在需要資源共享時(shí)，資源請(qǐng)求者向其他設(shè)備申請(qǐng)獲取資源使用情況信息。這種方式抗毀性最強(qiáng)，但很難獲得較優(yōu)的數(shù)據(jù)處理性能，且對(duì)各部分硬件性能都有一定要求。

5　部署模式

前端設(shè)備、天基邊緣計(jì)算平臺(tái)、云計(jì)算中心互相協(xié)同，形成了云-邊-端的計(jì)算架構(gòu)。前端設(shè)備的部署方式相對(duì)比較固定。天基邊緣計(jì)算平臺(tái)和云計(jì)算中心可根據(jù)不同需求，采用以下4種部署方式之一進(jìn)行部署：

1）單邊緣計(jì)算模式。僅在單顆衛(wèi)星上部署邊緣計(jì)算平臺(tái)，與其他邊緣計(jì)算平臺(tái)和云計(jì)算中心無(wú)數(shù)據(jù)處理協(xié)同，如圖3（a）所示。該模式較為簡(jiǎn)單，適用于衛(wèi)星數(shù)據(jù)較少或無(wú)星間鏈路，且地面無(wú)云計(jì)算中心的情況。該模式可用于提升在軌數(shù)據(jù)處理平臺(tái)的兼容性，有利于加快應(yīng)用程序的開(kāi)發(fā)與部署效率。

2）邊緣協(xié)同模式。在多顆具有星間通信鏈路的衛(wèi)星上部署邊緣計(jì)算平臺(tái)，平臺(tái)間可實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源共享，如圖3（b）所示。當(dāng)需要實(shí)現(xiàn)衛(wèi)星集群無(wú)地面依托的在軌自主管理和數(shù)據(jù)處理時(shí)，可采用此模式。與單邊緣計(jì)算模式相比，該模式可實(shí)現(xiàn)衛(wèi)星集群內(nèi)資源共享，為更高級(jí)資源應(yīng)用提供了可能性，如分布式數(shù)據(jù)存儲(chǔ)、聯(lián)邦學(xué)習(xí)等。

3）邊云協(xié)同模式。在單顆衛(wèi)星上部署邊緣計(jì)算平臺(tái)，同時(shí)該平臺(tái)可與地面云計(jì)算中心實(shí)現(xiàn)計(jì)算任務(wù)協(xié)同，如圖3（c）所示。與天基邊緣計(jì)算平臺(tái)相比，云計(jì)算中心的硬件資源能力可以認(rèn)為無(wú)窮大。因此，可根據(jù)用戶對(duì)計(jì)算任務(wù)的響應(yīng)時(shí)延要求和衛(wèi)星能源情況，合理分配在邊緣計(jì)算平臺(tái)和地面云計(jì)算中心中的計(jì)算任務(wù)量。該模式也是當(dāng)前較為常見(jiàn)的部署方式。

4）全協(xié)同模式。在多顆具有星間通信鏈路的衛(wèi)星上部署邊緣計(jì)算平臺(tái)，同時(shí)每個(gè)邊緣計(jì)算平臺(tái)又可與地面云計(jì)算中心實(shí)現(xiàn)計(jì)算任務(wù)協(xié)同，如圖3（d）所示。該模式實(shí)現(xiàn)難度較大，對(duì)平臺(tái)間的協(xié)同策略和算法要求較高，同時(shí)也是抗毀性最強(qiáng)、資源利用率最高的模式。

6　天基邊緣計(jì)算關(guān)鍵技術(shù)

隨著邊緣計(jì)算、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展，實(shí)現(xiàn)天基邊緣計(jì)算已切實(shí)可行，但目前大多還處于試驗(yàn)驗(yàn)證階段。由于太空與地面環(huán)境存在較大差異，天基邊緣計(jì)算還缺乏比較成熟的解決方案，還有許多亟待解決的關(guān)鍵技術(shù)。在此，對(duì)部分還需解決或完善的問(wèn)題進(jìn)行了簡(jiǎn)單的闡述。

6.1　異構(gòu)計(jì)算資源虛擬化技術(shù)

資源虛擬化就是對(duì)硬件設(shè)備能力進(jìn)行抽象和管理，具有兼容性和靈活性的特點(diǎn)。兼容性主要體現(xiàn)在可以隱藏底層硬件差異性，向上層應(yīng)用提供統(tǒng)一的能力抽象。靈活性主要體現(xiàn)在抽象后的資源可以根據(jù)用戶需求大小實(shí)現(xiàn)按需分配。對(duì)衛(wèi)星計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源進(jìn)行虛擬化，是天基邊緣計(jì)算的重要環(huán)節(jié)。衛(wèi)星與地面數(shù)據(jù)中心不同，由于前端設(shè)備的多樣性，衛(wèi)星通常會(huì)搭載多種計(jì)算設(shè)備以適應(yīng)不同的計(jì)算任務(wù)。例如，使用FPGA處理控制相關(guān)任務(wù)，使用GPU處理圖像相關(guān)任務(wù)。因此衛(wèi)星上與計(jì)算相關(guān)的資源呈現(xiàn)出較強(qiáng)的異構(gòu)性。如果擴(kuò)展到星座或集群衛(wèi)星，資源異構(gòu)性的問(wèn)題更加復(fù)雜。

如何實(shí)現(xiàn)異構(gòu)計(jì)算資源虛擬化是天基邊緣計(jì)算面臨的首要挑戰(zhàn)。隨著云計(jì)算技術(shù)的發(fā)展，對(duì)通用型計(jì)算資源（如CPU、GPU）的虛擬化技術(shù)已相對(duì)成熟，但對(duì)專用型計(jì)算資源（如數(shù)字信號(hào)處理（Digital Signal Processing， DSP）、FPGA）的虛擬化技術(shù)的研究還相對(duì)較少。此外，星上的計(jì)算能力相對(duì)較弱，因此計(jì)算資源相當(dāng)寶貴。虛擬化技術(shù)會(huì)給計(jì)算資源帶來(lái)額外的資源開(kāi)銷，因此如何降低虛擬化的資源開(kāi)銷也是亟須解決的問(wèn)題。

6.2　計(jì)算任務(wù)卸載策略

在云-邊-端計(jì)算架構(gòu)中，前端設(shè)備的計(jì)算能力最弱，天基邊緣計(jì)算平臺(tái)次之，地面云計(jì)算中心最強(qiáng)。計(jì)算能力弱的系統(tǒng)可以卸載計(jì)算任務(wù)到同級(jí)或計(jì)算能力較強(qiáng)的系統(tǒng)，從而提升數(shù)據(jù)處理速度。根據(jù)卸載任務(wù)的程度不同，卸載策略分為：1）本地處理即在本地完成計(jì)算任務(wù)，不向其他系統(tǒng)卸載；2）部分卸載即卸載部分?jǐn)?shù)據(jù)到其他系統(tǒng)共同完成計(jì)算任務(wù)； 3）全部卸載即將全部數(shù)據(jù)卸載到其他系統(tǒng)進(jìn)行處理。

不同情況下對(duì)計(jì)算卸載策略的目標(biāo)也各異，例如，有些計(jì)算任務(wù)進(jìn)行卸載是為獲得最快的處理速度，有些計(jì)算任務(wù)進(jìn)行卸載是為了降低能源消耗。因此，針對(duì)不同計(jì)算任務(wù)的性能目標(biāo)，如何選擇合適的卸載策略是重要的研究問(wèn)題之一。計(jì)算任務(wù)的卸載性能會(huì)受多種因素影響，如網(wǎng)絡(luò)帶寬、目標(biāo)平臺(tái)可用的計(jì)算資源、計(jì)算任務(wù)的數(shù)據(jù)量等。因此，亟須對(duì)計(jì)算卸載過(guò)程和不同因素對(duì)卸載任務(wù)的影響進(jìn)行數(shù)學(xué)建模并定量分析。這對(duì)計(jì)算卸載策略和算法設(shè)計(jì)具有重要意義。

6.3　非穩(wěn)定網(wǎng)絡(luò)環(huán)境下彈性計(jì)算技術(shù)

除地球靜止軌道衛(wèi)星外，其他衛(wèi)星都會(huì)圍繞地球運(yùn)動(dòng)。因此天基邊緣計(jì)算平臺(tái)與前端設(shè)備和地面云計(jì)算中心間、天基邊緣計(jì)算平臺(tái)間的相對(duì)位置都會(huì)發(fā)生變化，都是采用無(wú)線方式進(jìn)行通信，因此網(wǎng)絡(luò)連接和帶寬會(huì)隨著位置變化而變化。這會(huì)給天基邊緣計(jì)算帶來(lái)2個(gè)挑戰(zhàn)。一方面，計(jì)算卸載策略必須具有動(dòng)態(tài)調(diào)整能力。由于網(wǎng)絡(luò)帶寬的變化，可能導(dǎo)致已經(jīng)確定的計(jì)算卸載策略無(wú)法獲得最優(yōu)性能。如何在動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下使動(dòng)態(tài)卸載策略獲得全局最優(yōu)性能是天基邊緣計(jì)算面臨的巨大挑戰(zhàn)。另一方面，各系統(tǒng)間也會(huì)因相對(duì)位置太遠(yuǎn)而出現(xiàn)網(wǎng)絡(luò)連接斷開(kāi)的現(xiàn)象。計(jì)算卸載過(guò)程中必須保證被卸載的應(yīng)用程序不會(huì)因網(wǎng)絡(luò)斷開(kāi)而出現(xiàn)丟失數(shù)據(jù)或程序崩潰的現(xiàn)象。這就要求卸載任務(wù)發(fā)起的系統(tǒng)必須具備較強(qiáng)的容錯(cuò)機(jī)制。

6.4　多源異構(gòu)數(shù)據(jù)關(guān)聯(lián)技術(shù)

與地面物聯(lián)網(wǎng)場(chǎng)景不同，衛(wèi)星具有廣域覆蓋的特點(diǎn)，因此前端設(shè)備部署位置分布范圍廣、種類多樣。在天基邊緣計(jì)算平臺(tái)對(duì)前端設(shè)備的數(shù)據(jù)進(jìn)行處理和分析時(shí)，需將不同位置、不同時(shí)間采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)整理?？梢圆捎玫年P(guān)聯(lián)方式包括：1）時(shí)間維度關(guān)聯(lián)即以時(shí)間為基準(zhǔn)，對(duì)不同前端設(shè)備在相同時(shí)間采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)；2）空間維度關(guān)聯(lián)即以空間為基準(zhǔn)，對(duì)不同前端設(shè)備在相同位置采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)；3）任務(wù)維度關(guān)聯(lián)即以任務(wù)為基準(zhǔn)，對(duì)不同前端設(shè)備在同一任務(wù)下采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)。3種關(guān)聯(lián)方式還可組合使用，如在任務(wù)維度關(guān)聯(lián)下使用時(shí)間維度關(guān)聯(lián)或空間維度關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)即是對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，會(huì)帶來(lái)一定的計(jì)算開(kāi)銷。同時(shí)，關(guān)聯(lián)過(guò)程會(huì)產(chǎn)生額外的輔助數(shù)據(jù)，也會(huì)帶來(lái)一定的存儲(chǔ)開(kāi)銷。如何對(duì)數(shù)據(jù)進(jìn)行高效存儲(chǔ)，并降低數(shù)據(jù)預(yù)處理的額外開(kāi)銷，也是亟須解決的重要問(wèn)題之一。

6.5　分布式數(shù)據(jù)緩存技術(shù)

天基邊緣計(jì)算平臺(tái)不僅將計(jì)算平臺(tái)移動(dòng)到了靠近前端設(shè)備的位置，而且還為前端設(shè)備和地面云計(jì)算中心提供了數(shù)據(jù)緩存服務(wù)。這種緩存模式與CDN不同。內(nèi)容分發(fā)網(wǎng)絡(luò)中數(shù)據(jù)都是來(lái)源于后端數(shù)據(jù)中心，邊緣平臺(tái)只是緩存的后端數(shù)據(jù)的部分副本。而天基邊緣計(jì)算中，邊緣計(jì)算平臺(tái)中的數(shù)據(jù)不僅可能來(lái)源于地面云計(jì)算中心，也來(lái)源于前端設(shè)備。邊緣計(jì)算平臺(tái)中的數(shù)據(jù)不是地面云計(jì)算中心數(shù)據(jù)的子集。再擴(kuò)展到多顆衛(wèi)星，就存在如下情況：1）用戶需要訪問(wèn)的數(shù)據(jù)可能存儲(chǔ)在邊緣計(jì)算平臺(tái)中，也可能存儲(chǔ)在地面云計(jì)算中心中；2）某個(gè)邊緣計(jì)算平臺(tái)需要訪問(wèn)的數(shù)據(jù)在另一個(gè)邊緣計(jì)算平臺(tái)或地面云計(jì)算中心中；3）地面云計(jì)算中心需要訪問(wèn)的數(shù)據(jù)不在本地，而在邊緣計(jì)算平臺(tái)中。也即，數(shù)據(jù)在整個(gè)系統(tǒng)中呈現(xiàn)出分布式的特點(diǎn)。如何合理存儲(chǔ)數(shù)據(jù)來(lái)降低跨平臺(tái)間的數(shù)據(jù)訪問(wèn)頻率，對(duì)云-邊-端計(jì)算系統(tǒng)整體性能具有重要意義。

7　原型系統(tǒng)及測(cè)試

利用4臺(tái)樹(shù)莓派3，1臺(tái)英偉達(dá)Jetson TX2和 1臺(tái)因特爾NUC迷你電腦搭建了天基邊緣計(jì)算原型系統(tǒng)，如圖4所示。每臺(tái)計(jì)算設(shè)備代表一顆衛(wèi)星上的計(jì)算平臺(tái)。采用不同的計(jì)算設(shè)備旨在模擬不同衛(wèi)星計(jì)算資源的異構(gòu)性。使用衛(wèi)星仿真工具（Satellite Tool Kit， STK）產(chǎn)生衛(wèi)星的運(yùn)行狀態(tài)數(shù)據(jù)，以此來(lái)模擬衛(wèi)星間網(wǎng)絡(luò)通信拓?fù)浼熬W(wǎng)絡(luò)帶寬。

在應(yīng)用程序部署方面，采用TensorFlow Lite實(shí)現(xiàn)了經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)模型AlexNet［15］。深度神經(jīng)網(wǎng)絡(luò)模型在部署前已訓(xùn)練好。實(shí)驗(yàn)中的深度神經(jīng)網(wǎng)絡(luò)協(xié)同推理任務(wù)是對(duì)來(lái)自ImageNet數(shù)據(jù)集的圖片進(jìn)行圖像分類。圖像分類任務(wù)從一臺(tái)樹(shù)莓派（代表主衛(wèi)星）輸入，平臺(tái)可根據(jù)模擬的衛(wèi)星間網(wǎng)絡(luò)狀態(tài)，自適應(yīng)地分配計(jì)算任務(wù)至其他節(jié)點(diǎn)（代表從衛(wèi)星），即平臺(tái)中的TX2、NUC以及其他樹(shù)莓派，進(jìn)行協(xié)同處理，以此降低能源開(kāi)銷。

采用以下幾種計(jì)算負(fù)載分配方式測(cè)試平臺(tái)性能：1）本地執(zhí)行，所有計(jì)算負(fù)載在接收輸入圖片的終端設(shè)備本地執(zhí)行；2）基于貪心算法的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且輸入負(fù)載按貪心算法切分，即根據(jù)可用衛(wèi)星中各衛(wèi)星的計(jì)算能力分配負(fù)載，計(jì)算能力越強(qiáng)的衛(wèi)星分配的負(fù)載越多，該方法不考慮各終端設(shè)備之間的網(wǎng)絡(luò)帶寬資源；3）基于公平性的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且輸入負(fù)載等比例切分，即根據(jù)可用衛(wèi)星集群中衛(wèi)星總數(shù)等分負(fù)載；4）基于自適應(yīng)負(fù)載分配的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且負(fù)載的切分考慮當(dāng)前時(shí)刻衛(wèi)星集群中每顆衛(wèi)星的可用計(jì)算資源以及星間帶寬等網(wǎng)絡(luò)狀態(tài)信息。

原型系統(tǒng)在不同負(fù)載分配方案下，AlexNet模型協(xié)同推理圖像分類任務(wù)中的時(shí)延性能和能耗性能仿真結(jié)果如圖5、圖6所示。實(shí)驗(yàn)中設(shè)定用戶的任務(wù)處理時(shí)延要求為不超過(guò)100 ms。

從圖5中可知：本地執(zhí)行的時(shí)延最長(zhǎng)；基于貪心算法的多星協(xié)同方案為滿足用戶的時(shí)延要求，將絕大部分計(jì)算任務(wù)分配給其他節(jié)點(diǎn)進(jìn)行處理，從而獲得了最短的計(jì)算時(shí)延；基于公平性和自適應(yīng)負(fù)載分配的協(xié)同方案均能通過(guò)將計(jì)算任務(wù)卸載到其他平臺(tái)來(lái)滿足用戶的時(shí)延要求。

從圖6中可知：在滿足用戶時(shí)延要求的情況下，基于自適應(yīng)負(fù)載分配的協(xié)同方案能源開(kāi)銷最?。换谪澬乃惴ê凸叫缘膮f(xié)同方案只考慮滿足用戶的時(shí)延要求，反而造成能源開(kāi)銷大于本地執(zhí)行的方案。綜上所述，天基邊緣計(jì)算可通過(guò)多計(jì)算平臺(tái)協(xié)同來(lái)滿足用戶的時(shí)延要求；同時(shí)，卸載策略應(yīng)考慮其他平臺(tái)的計(jì)算能力及平臺(tái)間的網(wǎng)絡(luò)帶寬情況，否則協(xié)同反而會(huì)降低平臺(tái)的整體性能。

8　結(jié)束語(yǔ)

本文結(jié)合當(dāng)前航天發(fā)展趨勢(shì)及在軌數(shù)據(jù)處理需求，對(duì)天基邊緣計(jì)算技術(shù)進(jìn)行了深入研究。將天基邊緣計(jì)算平臺(tái)系統(tǒng)劃分為資源層、虛擬化層、平臺(tái)層、插件層、應(yīng)用層等5個(gè)層次，并提出了集中式、逐級(jí)式、分布式3種系統(tǒng)管理策略和單邊緣計(jì)算、邊緣協(xié)同、邊云協(xié)同、全協(xié)同4種平臺(tái)部署和協(xié)同模式。此外，對(duì)天基邊緣計(jì)算的研究現(xiàn)狀、優(yōu)勢(shì)、關(guān)鍵技術(shù)進(jìn)行了分析總結(jié)，并搭建了天基邊緣計(jì)算原型系統(tǒng)，對(duì)不同計(jì)算卸載策略的性能進(jìn)行了分析。

［1］ 王胡成，徐暉，孫韶輝.融合衛(wèi)星通信的5G網(wǎng)絡(luò)技術(shù)研究［J］.無(wú)線電通信技術(shù)，2021，47（5）：535-542.

［2］ LIOLIS K， GEURTZ A， SPERBER R，et al. Use cases and scenarios of 5G integrated satellite-terrestrial networks for enhanced mobile broadband： the SaT5G approach［J］. International Journal of Satellite Communications and Networking， 2019， 37（2）： 91-112.

［3］ 張飛，陳小前，于帥，等.基于天基邊緣計(jì)算的在軌智能技術(shù)［J］.上海航天（中英文），2021，38（4）：19-24.

［4］ YAN L， CAO S Z， GONG Y S， et al. SatEC： a 5G satellite edge computing framework based on microservice architecture［J］. Sensors， 2019， 19 （4）： 831.

［5］ WEI J Y， HAN J R， CAO S Z. Satellite IoT edge intelligent computing： a research on architecture［J］. Electronics， 2019， 8（11）： 1247.

［6］ 唐琴琴，劉旭，張亞生，等.邊緣計(jì)算在星地協(xié)同網(wǎng)絡(luò)中的應(yīng)用探討［J］.電信科，2019，35（增刊2）：227-233.

［7］ DENBY B， LUCIA B. Orbital edge computing： nanosatellite constellations as a new class of computer system［C］// Proceedings of the Twenty-Fifth International Conference on Architectural Support for Programming Languages and Operating Systems. New York， USA： ACM Press， 2020： 939-954.

［8］ 安建峰，游紅俊，趙偉勛，等.星載異構(gòu)計(jì)算環(huán)境下的能耗優(yōu)化任務(wù)調(diào)度［J］.上海航天（中英文），2021，38（4）：38-44.

［9］ WANG Y X， YANG J， GUO X Y， et al. A game-theoretic approach to computation offloading in satellite edge computing［J］. IEEE Access， 2019， 8： 12510-12520.

［10］ KIM T，CHOI J P. Performance analysis of satellite server mobile edge computing architecture［C］// 2020 IEEE 92nd Vehicular Technology Conference （VTC2020-Fall）. Washington D.C.， USA： IEEE Press， 2020： 1-6.

［11］ WANG F， JIANG D D， QI S， et al. A dynamic resource scheduling scheme in edge computing satellite networks［J］. Mobile Networks and Applications，2021， 26 （2）： 597-608.

［12］ ZHANG Z J， ZHANG W Y， TSENG F H. Satellite mobile edge computing： improving QoS of high-speed satellite-terrestrial networks using edge computing techniques［J］. IEEE Network， 2019， 33（1）： 70-76.

［13］ 盧華，段雪飛，李斌.邊緣計(jì)算使能星地協(xié)同網(wǎng)絡(luò)下的服務(wù)部署機(jī)制［J］.中興通訊技術(shù)，2021，27（3）：62-66.

［14］ 鐘磊.低軌星座通信網(wǎng)絡(luò)邊緣計(jì)算架構(gòu)研究［D］.成都：電子科技大學(xué)，2020.

［15］ IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size［EB/OL］. （2016-02-24）［2021-11-11］. https：//arxiv.org/abs/1602.07360.

Design and Key Technologies for Space-Based Edge Computing System

ZHANGFei， CHENXiaoqian， CAOLu， QIN Jiangyi， TANG Min， GUOPengyu， RANDechao

（National Innovation Institute of Defense Technology， Academy of Military Sciences， Beijing 100071， China）

Satellites are characterized by wide coverage， strong disaster resistance， etc. With the continuous cost decrease in the development and launch of satellites， it has become an important direction for space development to further integrate satellites with ground mobile communication network， Internet of Things （IoT）， and cloud computing to build an integrated space-ground network and application architecture. With the access of multi-users and a large amount of data on the ground， it is urgent to carry out research on in-orbit data processing technologies to improve the capability and quality of satellite in-orbit service. In this paper， a space-based edge computing architecture is designed by utilizing satellite computation resources. Three resource management schemes and four platform coordination models are proposed. The advantages and key technologies for the space-based edge computing are analyzed. At last， a prototype system for the space-based edge computing platform is built to analyze the performances of different computation uploading schemes.

space-based edge computing； cloud-edge-terminal architecture； computation offloading； cloud computing； edge computing coordination

2021?11?11；

2021?12?30

國(guó)防科技基礎(chǔ)加強(qiáng)計(jì)劃（2021?JCJQ?JJ?0834）；國(guó)家自然科學(xué)基金（61901504）

張飛（1988—），男，博士，助理研究員，主要研究方向?yàn)檫吘売?jì)算、空天地一體化網(wǎng)絡(luò)、衛(wèi)星應(yīng)用、機(jī)器學(xué)習(xí)等。

曹璐（1986—），男，博士，研究員，主要研究方向?yàn)橛詈娇茖W(xué)與技術(shù)、航天器設(shè)計(jì)。

TP 399； V 11

A

10.19328/j.cnki.2096?8655.2022.04.013