王厚天，陳清霞，劉乃金

(中國空間技術(shù)研究院 錢學森空間技術(shù)實驗室, 北京 100094)

0 引言

航天器發(fā)展和航天任務(wù)概念的格局正處于巨大的范式轉(zhuǎn)變之中，這源于技術(shù)方面的新穎進步以及小型航天器任務(wù)的成功。一方面，以低軌通信衛(wèi)星星座(low earth orbit,LEO)為代表的巨型星座是當前世界航天產(chǎn)業(yè)發(fā)展的一大熱點，對空間網(wǎng)絡(luò)體系構(gòu)建帶來巨大變革[1]。2020年4月，國家發(fā)改委首次將衛(wèi)星互聯(lián)網(wǎng)明確寫入“新基建”范疇[2]，與5G[3]、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等共同列入網(wǎng)絡(luò)基礎(chǔ)設(shè)施，標志著衛(wèi)星互聯(lián)網(wǎng)建設(shè)已上升為國家戰(zhàn)略工程。2020年5月，美國聯(lián)邦通信委員會(federal communications commission,FCC)新一輪準入申報截止日申請的非靜止軌道星座衛(wèi)星總數(shù)達到81195顆，其中新型星座普遍支持星間鏈路，提供數(shù)據(jù)傳輸?shù)蜁r延服務(wù)。

另一方面，新型技術(shù)如人工智能、5G/6G、區(qū)塊鏈等產(chǎn)業(yè)的快速興起與發(fā)展正在引起新的技術(shù)變革，為未來空間信息系統(tǒng)的發(fā)展提供了技術(shù)牽引。人類生產(chǎn)力的發(fā)展已經(jīng)進入算力時期，計算能力成為這個時期最強大的新型生產(chǎn)力[4]。未來大量碎片化、分散化的算力、存儲等IT資源分布在空間信息網(wǎng)絡(luò)中，需要網(wǎng)絡(luò)進行整合拉通后作為基礎(chǔ)設(shè)施，為業(yè)務(wù)提供便捷的按需使用。另外，隨著計算資源的泛在化，AI隨著算力全網(wǎng)滲透，極大促進了信息技術(shù)與人工智能在應(yīng)用、平臺、技術(shù)層面的結(jié)合。

目前空間信息網(wǎng)絡(luò)多種應(yīng)用的計算資源需求通常依賴于遠程共享數(shù)據(jù)中心，導(dǎo)致回傳高成本和應(yīng)用無法實時響應(yīng)。比如現(xiàn)有的衛(wèi)星“彎管”架構(gòu)，當數(shù)據(jù)量隨星座大小和傳感器數(shù)量不斷增長時，彎管模式無法擴展[5]。因為具有高數(shù)據(jù)速率攝像機的衛(wèi)星星座受到了集中式地面處理的限制，地面站的位置和軌道參數(shù)限制了鏈路的可用性，從而阻礙了有效的數(shù)據(jù)速率可擴展性。間歇性下行鏈路會增加數(shù)據(jù)收集和處理之間的延遲，這需要使用在軌數(shù)據(jù)緩沖區(qū)。隨著巨型星座的興起和計算技術(shù)的發(fā)展，計算將成為空間信息網(wǎng)絡(luò)的一項重要資源，空間會形成新的計算生態(tài)。未來雷達、高光譜相機等載荷會產(chǎn)生海量空間數(shù)據(jù)，如果這些數(shù)據(jù)要實時和近實時高效處理的話，需要嵌入復(fù)雜的算法，而這些算法復(fù)雜度需要高性能算力來支持。空間分散計算為實現(xiàn)該目的提供了一種解決思路。

文章首先分析了國內(nèi)外關(guān)于分散計算在項目和框架方面的研究現(xiàn)狀。在此基礎(chǔ)上，闡述了空間分散計算的體系結(jié)構(gòu)，并給出了原型系統(tǒng)的構(gòu)建方法和試驗驗證結(jié)果。

1 國內(nèi)外發(fā)展現(xiàn)狀

1.1 空間信息網(wǎng)絡(luò)

1) 黑杰克

2018年，DARPA提出了“黑杰克”項目，目標在于實現(xiàn)星座的自主管理，任務(wù)的自主執(zhí)行，并且將在4個方面提升美軍的戰(zhàn)斗力和戰(zhàn)略威懾能力，包括智能偵察、導(dǎo)航定位和授時、導(dǎo)彈防御和軍事通信[6]。DARPA認為管理跨多個衛(wèi)星任務(wù)的技術(shù)和概念包括：即使在地面站控制鏈路不可用的情況下，衛(wèi)星也可以在多個地面站或多個遠程(戰(zhàn)術(shù))用戶的多軌道平面中自主運行；跨多個衛(wèi)星的在軌數(shù)據(jù)云以及動態(tài)分布式數(shù)據(jù)存儲和處理功能的自主管理；如果一些衛(wèi)星發(fā)生故障或任務(wù)發(fā)生變化，星座能夠自主重新配置；計算機隨機模擬方法外的自主系統(tǒng)性能與魯棒性驗證，如基于分析技術(shù)或組合技術(shù)。黑杰克項目的衛(wèi)星概念圖如圖1所示。

圖1 黑杰克項目衛(wèi)星概念圖Fig.1 The satellite structure of Blackjack project

2) 在軌邊緣計算

卡內(nèi)基梅隆大學的有關(guān)學者于2020年提出了一種軌道邊緣計算OEC架構(gòu)[5]。OEC支持在每個配備了攝像機的納米衛(wèi)星上進行邊緣計算，以便在下行鏈路不可用時可以在本地處理感知數(shù)據(jù)。為了解決邊緣處理延遲問題，OEC系統(tǒng)將衛(wèi)星星座組織成計算管道。這些管道基于地理位置并行數(shù)據(jù)采集和數(shù)據(jù)處理，無需交叉連接協(xié)調(diào)。OEC衛(wèi)星針對物理環(huán)境的約束進行顯式建模。這項服務(wù)使用軌道參數(shù)、物理模型和地面站位置來觸發(fā)數(shù)據(jù)收集、預(yù)測能源可用性和預(yù)備通信。同時證明了OEC架構(gòu)可以比傳統(tǒng)彎管架構(gòu)減少24倍以上的地面基礎(chǔ)設(shè)施，其運行模式圖如圖2所示。

圖2 OEC運行模式圖Fig.2 The operation mode of OEC

Loft Orbital公司于2021年5月5日宣布，它贏得了美國太空部隊的一份小型企業(yè)創(chuàng)新研究(SBIR)合同，以支持開發(fā)可以分析太空數(shù)據(jù)的邊緣計算機處理器，該處理器將作為Loft Orbital航天器的“大腦”[7]。該公司希望在其衛(wèi)星上提供邊緣計算作為其服務(wù)的一部分。與必須將數(shù)據(jù)傳輸?shù)降孛娣?wù)器相比，星載計算機允許衛(wèi)星處理它們收集的數(shù)據(jù)并執(zhí)行自主決策和任務(wù)。Loft Orbital的邊緣計算技術(shù)類似于美國DARPA正在為其黑杰克星座開發(fā)的用于自主衛(wèi)星操作的“Pit Boss”。

1.2 地面信息網(wǎng)絡(luò)

對地面系統(tǒng)而言，DARPA于2016年7月發(fā)布DCOMP項目，該項目旨在研究利用普遍存在且物理分散的計算平臺將應(yīng)用程序和網(wǎng)絡(luò)性能提升數(shù)個量級[8]。DCOMP的目標首先定位于空間戰(zhàn)場之上，用來讓作戰(zhàn)人員在通信不穩(wěn)定，無法連接遠程數(shù)據(jù)中心的情況下，利用鄰近節(jié)點資源進行收集、傳輸和處理信息。

同時，近幾年圍繞邊緣計算也涌現(xiàn)出了一系列的框架構(gòu)型。如表1所列，對國外幾種典型的邊緣計算框架進行了梳理。

表1 國外典型邊緣計算框架Tab.1 The typical edge computing framework abroad

對國內(nèi)而言，中國科學院于2014年提出了云海計算系統(tǒng)[12]。在云海計算系統(tǒng)中，“云”是指數(shù)據(jù)中心，“?！笔侵附K端側(cè)。項目的設(shè)計可以從3個層次上進行描述：整體系統(tǒng)架構(gòu)層次，數(shù)據(jù)中心服務(wù)器和存儲系統(tǒng)層次以及處理器芯片層次。云海計算模型的提出是為了將云計算功能遷移到海側(cè)，它更側(cè)重于“?！眰?cè)的設(shè)備和“云”側(cè)的數(shù)據(jù)。

縱觀國內(nèi)外的研究現(xiàn)狀可以得出：

1)針對地面信息網(wǎng)絡(luò)涌現(xiàn)出了網(wǎng)絡(luò)和計算融合的多種技術(shù)手段，但對移動性和安全支持有限，且尚處于研究階段，并未形成統(tǒng)一標準；

2)針對空間信息網(wǎng)絡(luò)，在軌邊緣計算已受到國外相關(guān)研究機構(gòu)的關(guān)注，但尚處于萌芽階段。

本文從模擬驗證的角度，提出一種空間分散計算模擬驗證系統(tǒng)，旨在為空間信息網(wǎng)絡(luò)領(lǐng)域中的新型分布式應(yīng)用以及為關(guān)鍵技術(shù)提供地面驗證的基礎(chǔ)。

2 模擬驗證系統(tǒng)構(gòu)建

本文作者于2019年提出一種空間分散計算體系結(jié)構(gòu)[13]。該體系結(jié)構(gòu)分為3個層次：第1層次為可重構(gòu)智能單節(jié)點實體，也即利用本地節(jié)點的網(wǎng)絡(luò)、計算和存儲資源，借助虛擬機和容器等不同顆粒度的虛擬化手段，探測感知基礎(chǔ)環(huán)境，并實現(xiàn)功能快速重構(gòu)；第2層次為可重構(gòu)靈活網(wǎng)絡(luò)組網(wǎng)，也即綜合態(tài)勢感知，實現(xiàn)快速靈活組網(wǎng)，保障系統(tǒng)的頑存性，同時對網(wǎng)絡(luò)、計算和存儲資源進行管理；第3層次為可定制自適應(yīng)彈性策略，也即根據(jù)不同業(yè)務(wù)場景，按需制定彈性策略。

以此體系結(jié)構(gòu)為設(shè)計指導(dǎo)，本節(jié)闡述模擬驗證系統(tǒng)的構(gòu)建方法，該模擬驗證系統(tǒng)的構(gòu)建框架如圖3所示。

圖3 空間分散計算模擬驗證系統(tǒng)構(gòu)建框架Fig.3 The construction framework of space dispersed computing simulation verification system

空間分散計算模擬驗證系統(tǒng)包含了云和邊兩個層次，“云”主要指代遠端指控中心，“邊”主要指代衛(wèi)星以及地面終端等邊緣計算設(shè)備。

2.1 云環(huán)境構(gòu)建

空間分散計算模擬驗證系統(tǒng)基于OpenStack開源框架實現(xiàn)，并且包含了其中的Nova組件(負責計算服務(wù))、KeyStone組件(負責認證服務(wù))、Glance組件(負責鏡像服務(wù))、Neutron組件(負責網(wǎng)絡(luò)服務(wù))以及Cinder組件(負責塊存儲服務(wù))。在OpenStack云環(huán)境中，應(yīng)用部署在動態(tài)虛擬機上，需要根據(jù)動態(tài)云資源需求部署、管理和停止。其次，云中的虛擬機基于Intel處理器架構(gòu)。所有在云環(huán)境中部署服務(wù)所需的Docker映像都必須在部署請求之前推送到Docker Hub映像存儲庫。云環(huán)境中的虛擬機基于一個輕量級的CoreOS操作系統(tǒng)，默認情況下運行一個Docker環(huán)境來進行服務(wù)部署。當虛擬機運行時，它將被Docker容器填充，直到達到所定義的最大容器數(shù)量。如果沒有其他容器的空閑空間，則創(chuàng)建一個新的虛擬機。

2.2 云-邊中間件

云-邊中間件可以部署在云中，也可以部署在邊控制節(jié)點，充當云和邊環(huán)境之間的中間件。中間件處理云環(huán)境中的資源配置、任務(wù)請求放置和任務(wù)執(zhí)行。在云環(huán)境中處理的任務(wù)請求很可能是時延不敏感的作業(yè)，這些作業(yè)是從底層區(qū)域請求的。這些任務(wù)通常是資源密集型的，例如大數(shù)據(jù)分析或圖像處理，因此需要在云環(huán)境中利用充足的資源執(zhí)行。

2.3 邊環(huán)境構(gòu)建

邊環(huán)境中有一個運行在分散設(shè)備上的軟件組件，具體包含邊控制節(jié)點、普通邊節(jié)點以及節(jié)點的附屬載荷，例如傳感器和執(zhí)行器。這些邊節(jié)點的職責包括監(jiān)視連接的設(shè)備、監(jiān)視專有資源、執(zhí)行接收到的任務(wù)請求以及將服務(wù)數(shù)據(jù)傳播到上層拓撲層。每個邊節(jié)點都具有特定的組件。其組件結(jié)構(gòu)如圖4所示。

圖4 邊環(huán)境組件結(jié)構(gòu)Fig.4 The structure of edge environment component

執(zhí)行控制組件從共享存儲中提取服務(wù)映像，并將該服務(wù)部署到計算單元中，以便從設(shè)備中讀取、處理和傳播數(shù)據(jù)。此外，通信和完整的數(shù)據(jù)處理是在計算單元中完成的。因此，計算單元是邊節(jié)點的實際任務(wù)處理部分。服務(wù)的部署是根據(jù)由邊控制節(jié)點的推理組件計算的資源配置計劃完成的。已部署服務(wù)的執(zhí)行和相應(yīng)資源由監(jiān)視器監(jiān)視。收集到的監(jiān)視信息存儲在本地數(shù)據(jù)庫中，以便進一步處理。

邊控制節(jié)點中的核心組件是調(diào)度管理模塊，包括共享存儲、任務(wù)協(xié)調(diào)組件，看門狗和調(diào)度分析。共享存儲包含具體任務(wù)應(yīng)用的映像和下屬協(xié)同節(jié)點的參數(shù)信息?？撮T狗監(jiān)視各協(xié)同計算節(jié)點指標，并相應(yīng)地觸發(fā)事件，如過載(CPU>80%)。調(diào)度分析是處理分散計算節(jié)點的資源配置和任務(wù)放置的關(guān)鍵組件。任務(wù)協(xié)調(diào)組件的作用是將任務(wù)請求和服務(wù)數(shù)據(jù)傳播到更高的級別。

2.4 空間特性模擬

空間分散計算模擬驗證平臺基于低軌衛(wèi)星網(wǎng)絡(luò)開展設(shè)計與分析，其星間鏈路包含兩類：同一軌道面內(nèi)衛(wèi)星間的星間鏈路和不同軌道面衛(wèi)星間的星間鏈路。在不同軌道平面的衛(wèi)星之間，受衛(wèi)星運動方向、天線指向及天線跟蹤能力等因素的限制，不同軌道面的衛(wèi)星間鏈路存在周期性鏈路通斷的問題。

常見的衛(wèi)星移動性數(shù)據(jù)獲取方法有：1)一次性導(dǎo)出所有的節(jié)點移動性數(shù)據(jù)；2)在仿真過程中按時間讀取當前節(jié)點數(shù)據(jù)。方法一：可以不依賴于仿真軟件與軌跡模擬軟件的協(xié)同，但軌跡數(shù)據(jù)的讀取時間較長。方法二：需要仿真軟件與軌跡模擬軟件同步，但不依賴于固定的場景。在使用過程中要根據(jù)模擬場景對于效率與靈活性的需求進行取舍。

本平臺采用方法一，即由STK一次性推導(dǎo)出所有節(jié)點的移動性數(shù)據(jù)。包括軌道數(shù)據(jù)和鏈路數(shù)據(jù)，可以通過利用STK與Matlab聯(lián)合調(diào)試的方法得到。在得到移動性數(shù)據(jù)后，該模擬驗證平臺的節(jié)點之間通過Ad hoc組網(wǎng)形式模擬無線鏈路之間的時延和通斷，節(jié)點之間的路由方式通過修改Linux轉(zhuǎn)發(fā)內(nèi)核來實現(xiàn)。

2.5 試驗驗證

空間分散計算模擬驗證系統(tǒng)采取容器虛擬化封裝技術(shù)，支持多種任務(wù)類型，可快速部署、遷移以及執(zhí)行任務(wù)。該模擬驗證系統(tǒng)目前能夠?qū)崿F(xiàn)虛擬化計算單元在云和邊之間的動態(tài)調(diào)配以及智能遙感圖像的分散化處理，為后續(xù)空間分散計算研究領(lǐng)域關(guān)鍵技術(shù)的驗證提供前期支撐保障，平臺的運行界面如圖5所示。

圖5 空間分散計算模擬驗證系統(tǒng)平臺運行界面Fig.5 The operation interface of space dispersed computing simulation verification system platform

1)虛擬化計算單元的動態(tài)部署與遷移

空間分散計算模擬驗證系統(tǒng)所參考的體系結(jié)構(gòu)中，衛(wèi)星節(jié)點是重要的計算單元，多顆衛(wèi)星間構(gòu)成臨時任務(wù)計算網(wǎng)對終端提供計算服務(wù)。由于衛(wèi)星的高速運動，存在衛(wèi)星加入算網(wǎng)、衛(wèi)星退出算網(wǎng)等情況。虛擬化計算單元是任務(wù)的執(zhí)行單元，而虛擬化計算單元在網(wǎng)絡(luò)拓撲結(jié)構(gòu)動態(tài)變化的情況下能夠在不同計算節(jié)點上進行靈活的遷移，這是空間分散計算系統(tǒng)需具備的一項重要能力，圍繞虛擬化計算單元動態(tài)部署與遷移的具體驗證結(jié)果如圖6所示。

圖6 虛擬化計算單元的動態(tài)部署與遷移Fig.6 Dynamic deployment and migration of virtualized computing units

由圖6可以看出，初始時刻虛擬化計算單元的部署數(shù)量為40個。t1時刻，當2號衛(wèi)星加入算網(wǎng)后，其余的計算節(jié)點會將一部分計算任務(wù)分配給2號衛(wèi)星。t2時刻，當5號衛(wèi)星退出算網(wǎng)后，5號衛(wèi)星當前執(zhí)行的計算任務(wù)會全部遷移至其它衛(wèi)星上，從而實現(xiàn)了虛擬化計算單元在不同計算節(jié)點之間的靈活遷移與調(diào)配。

2)在軌協(xié)同計算實現(xiàn)艦船目標檢測

在實現(xiàn)虛擬化計算單元動態(tài)部署與遷移的基礎(chǔ)上，本驗證場景將艦船目標檢測算法封裝在虛擬化計算單元中，利用5顆衛(wèi)星組成臨時任務(wù)計算網(wǎng)對艦船目標進行檢測。由于星間激光通信已是未來的發(fā)展趨勢[14]，本場景假設(shè)星間通過激光進行鏈路建立。具體測試結(jié)果如圖7所示，左上是原始圖，右上是切分后的各個子圖，右下是各子圖的識別結(jié)果，左下是結(jié)果匯聚圖。

圖7 測試結(jié)果Fig.7 The test result

其中識別到的艦船用綠框顯示，每個綠框?qū)?yīng)一個識別目標。同時，針對國外典型海港區(qū)域圖像，本節(jié)對單星做目標檢測所需的時間和多星協(xié)同進行檢測所需的時間進行了比較，比較結(jié)果如圖8所示。經(jīng)統(tǒng)計可得，單星做目標檢測所需的時間大約為多星協(xié)同檢測所需時間的4.5倍。

圖8 目標檢測所需時間比較Fig.8 The execution time comparison of target detection task

3 結(jié)論

下一代科學任務(wù)中，航天器需提供先進的處理能力，以支持計算密集型任務(wù)，計算將成為下一代空間信息網(wǎng)絡(luò)的一項重要能力。本文首先從空間信息網(wǎng)絡(luò)和地面信息網(wǎng)絡(luò)兩個維度對國內(nèi)外典型的邊緣計算項目和框架進行了系統(tǒng)闡述，同時從云環(huán)境構(gòu)建、云-邊中間件、邊環(huán)境構(gòu)建以及空間特性模擬4個方面闡述了空間分散計算模擬驗證系統(tǒng)的實現(xiàn)思路，并驗證了模擬系統(tǒng)在虛擬化計算單元的動態(tài)部署與遷移以及多星協(xié)同進行艦船目標檢測等方面的能力。驗證結(jié)果表明，本文所提出的空間分散計算模擬驗證系統(tǒng)能夠?qū)崿F(xiàn)虛擬化計算單元在不同計算節(jié)點間靈活的動態(tài)部署和遷移，同時相比單星目標檢測，多星協(xié)同能夠顯著提升檢測的效率。

同時，空間分散計算的部署實施需要以底層通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施作為支撐，理清網(wǎng)絡(luò)和分散計算之間的邊界，也即理清組網(wǎng)本身對分散計算的要求以及分散計算對組網(wǎng)的要求，這是下一步工作的重點。