麻雨欣，曾 發(fā)，張耀磊，代 京，張 翔，梁 君

(1.航天材料及工藝研究所，北京 100076；2.中國運載火箭技術研究院，北京 100076)

0 引言

我國運載火箭、導彈傳統(tǒng)上各分系統(tǒng)各自獨立，由有關分系統(tǒng)的地面設備組成廣義的地面系統(tǒng)，主要由供配電設備、供配氣設備、電氣測控設備、動力測控設備、發(fā)射控制設備、信息采集設備、信息傳輸設備、計算機、應用軟件等組成，完成其測試、發(fā)射過程中的供配電、供配氣、信號激勵、狀態(tài)控制、參數(shù)測量等測試、發(fā)射控制功能[1-2]，因其核心功能為測試、發(fā)射控制，狹義的地面系統(tǒng)常常被稱為測發(fā)控系統(tǒng)，兩個概念常?；ビ?。由于地面系統(tǒng)直接由各分系統(tǒng)的地面設備組成，因此并不存在獨立完整的地面系統(tǒng)設計環(huán)節(jié)，又由于各分系統(tǒng)獨立設計，各自為政，因此地面系統(tǒng)的各分系統(tǒng)測發(fā)控功能重復、系統(tǒng)復雜，很多設備被設計為專用設備、非標設備，存在資源浪費、兼容性差、數(shù)據(jù)分散、信息傳遞困難、測試效率低下、自動化程度低、設備重復配套等問題，且每個飛行器型號都有各自專用的地面系統(tǒng)，不能通用，使得其一直冠有“專家系統(tǒng)”的名聲，只有專家才能操作[1、3-4]，目前我國航天飛行器地面系統(tǒng)體積龐大、環(huán)節(jié)復雜，測發(fā)控周期長達20～30天[5]，并缺乏快速入場、搭建、撤場和便攜機動能力。地面系統(tǒng)的上述不足，使得航天飛行器的發(fā)射準備工作多、現(xiàn)場保障人員多、測試效率極低下[4]、發(fā)射周期極漫長，難以滿足高密度、高適應、低成本發(fā)射，已成為我國航天事業(yè)發(fā)展的一大制約因素。因此，航天飛行器地面系統(tǒng)需要轉向通用化、標準化、簡易化、便捷化、集成化、一體化、可配置化[1、3-4、6-13]，成為業(yè)內眾多專家的共識，特別是新一代航天飛行器在這方面提出了更高要求[1]。由于地面系統(tǒng)絕大多數(shù)設備是各種類型的廣義計算機設備或以計算機為核心，因此航天飛行器地面系統(tǒng)設計及應用的核心趨勢是實現(xiàn)其計算機的通用化、簡易化、便捷化、一體化、可配置化。近年來，隨著計算機技術發(fā)展，相關的虛擬化技術、云計算技術在靈活配置硬件、提升資源利用、優(yōu)化數(shù)據(jù)存算能力、實現(xiàn)數(shù)據(jù)持續(xù)保護等方面取得良好應用效果，有航天業(yè)內人員將相關技術應用到航天飛行器地面系統(tǒng)進行研究，以期實現(xiàn)地面系統(tǒng)的一體化、易恢復、易擴容、可配置化[14-17]。由于地面系統(tǒng)通用化、標準化、集成化、一體化設計會觸動航天飛行器研制體系中總體和各分系統(tǒng)主體的傳統(tǒng)分工、責任和利益格局，因此其實施和應用相對緩慢，需要先以單個飛行器型號為試點，再逐步推進發(fā)展。

在航天領域，可重復使用飛行器特指一類既能像火箭一樣將有效載荷送入空間軌道，又能在任務完成后自行安全返回地面，并能重復使用的飛行器。相比傳統(tǒng)航天飛行器，可重復使用飛行器分系統(tǒng)眾多、在軌飛行時間長、任務隨時變更、多次重復使用，地面系統(tǒng)更為龐大復雜，包括測發(fā)控、總控網(wǎng)、電源及配電、測控通信、動力測控、加泄及供氣、發(fā)射支持、自主保障、運動機構等分系統(tǒng)的地面設備，測試、發(fā)射、控制流程多，且需多次轉場、長時間測控，隨時變更程序，數(shù)據(jù)計算、存儲任務重，計算機集群規(guī)模越來越大，后期系統(tǒng)升級需求強烈，并由此帶來高安全性、高可用性[18]、易擴容性的要求，并隨飛行器短隔間、高頻次重復使用，地面測試、發(fā)射控制周期要求1周內，部署、使用便捷化機動性要求極高。

1 各分系統(tǒng)獨立設計方案

某型可重復使用飛行器地面系統(tǒng)現(xiàn)行設計沿用運載火箭地面系統(tǒng)的設計思路，采用各分系統(tǒng)獨立設計方案，各分系統(tǒng)各自采用專業(yè)設備、接口設備、獨立物理計算機、交換機一起構建其地面系統(tǒng)，用到眾多服務器、工作站、工控機、普通臺式機、交換機等，使得在地面試驗、測試、發(fā)射、飛行遙測遙控時，地面系統(tǒng)部署極其復雜、成本高昂、更改麻煩，每次入場、搭建、撤場、轉場占用大量時間，拖累研制進度，低水平重復勞動使設計人員疲憊不堪，試驗數(shù)據(jù)管理、測試結果分析自動化程度低，安全性、擴容性要求更無法滿足，后期運維非常復雜，不同重復使用飛行器型號間地面系統(tǒng)通用化程度低，造成研制成本居高不下，其現(xiàn)行設計的總體架構如圖1所示。

圖1 地面系統(tǒng)各分系統(tǒng)獨立設計總體架構

從圖1可知，可重復使用飛行器地面系統(tǒng)總體架構為分前、后端的多網(wǎng)絡、多子系統(tǒng)協(xié)同工作的分布式系統(tǒng)，前端設備主要是儀器設備、交換機、顯控終端，后端設備則主要是服務器、工作站、工控機、交換機、顯控終端，承擔各自分系統(tǒng)數(shù)據(jù)計算、存儲、交換、顯示、操控功能，前、后端設備通過總控網(wǎng)光纖交換機互聯(lián)，網(wǎng)絡采用冗余環(huán)網(wǎng)架構，各分系統(tǒng)各自設計，各分系統(tǒng)各自部署多種形式的計算機，重要計算機采用雙機冗余工作，地面系統(tǒng)服務器、工作站、工控機、普通臺式機、交換機、顯示器眾多，網(wǎng)絡連接復雜，系統(tǒng)更改困難，難以滿足可重復使用飛行器要求。

2 超融合設計

2.1 需求分析

根據(jù)上文分析，可重復使用飛行器地面系統(tǒng)龐大復雜，終端用戶眾多、應用復雜多變、多地切換部署、長時運行維護，體現(xiàn)到其計算機系統(tǒng)需求，就是要具備強大的數(shù)據(jù)計算、存儲、吞吐、傳輸能力，支持高并發(fā)讀寫訪問，能夠快速、便捷、便宜地部署、變更和運維，采用通用化、標準化的硬件實現(xiàn)資源靈活配置，并具備高安全性、高可用性、易擴容性。

2.2 總體方案

針對可重復使用飛行器地面系統(tǒng)要求和傳統(tǒng)方案痛點，跳出各分系統(tǒng)各自設計的傳統(tǒng)思維，將其地面系統(tǒng)作為一個整體進行超融合設計，采用超融合架構[18-19]，將各分系統(tǒng)所有服務器、工作站、工控機、顯控臺式機、交換機等物理機提取出來抽象化，用云技術、虛擬化技術融合成一個整體，用軟件定義計算、存儲、網(wǎng)絡，形成服務器虛擬化、存儲虛擬化、網(wǎng)絡虛擬化，根據(jù)各自任務需要，實現(xiàn)計算機計算、存儲、網(wǎng)絡資源的靈活分配和動態(tài)調整，以承擔數(shù)據(jù)計算、存儲、交換工作，以虛擬服務器、工作站、工控機、云桌面的形式供各分系統(tǒng)使用，對各分系統(tǒng)而言，使用體驗跟采用物理機一樣，可繼續(xù)沿用傳統(tǒng)思路設計各自方案，但對整個地面系統(tǒng)而言，硬件上只有2臺超融合一體機和各分系統(tǒng)顯示、操作用的云桌面瘦終端，其他IT設施全部取消，且超融合一體機內部采用多個多核CPU、多內存、多緩存、多網(wǎng)卡、多電源，物理上具備冗余功能，可大大減少用戶終端和網(wǎng)線等，其總體架構見圖2，各分系統(tǒng)依舊采用前、后端設備，前端設備包括各分系統(tǒng)儀器設備和前端超融合一體機，后端設備包括后端超融合一體機和總體、各分系統(tǒng)用戶終端，前端儀器設備通過網(wǎng)線與前端超融合一體機相連，后端總體、各分系統(tǒng)用戶終端通過網(wǎng)線與后端超融合一體機相連，前、后端超融合一體機通過光纖相連，網(wǎng)絡采用冗余架構，在超融合一體機上可靈活更改網(wǎng)絡拓撲，前、后端超融合一體機用光纖連接，數(shù)據(jù)高速傳輸，可構成一個統(tǒng)一的虛擬云平臺，跨越前、后端，給整個地面系統(tǒng)提供數(shù)據(jù)的計算、存儲和交換服務。

圖2 地面系統(tǒng)超融合總體架構

2.3 超融合一體機

超融合一體機以軟件定義計算機系統(tǒng)架構，通過服務器虛擬化、存儲虛擬化、網(wǎng)絡虛擬化，實現(xiàn)在一套物理硬件上，靈活創(chuàng)建、配置、刪除不同分系統(tǒng)及其用戶所需的服務器、數(shù)據(jù)存儲、網(wǎng)絡，在管理平臺軟件平面上即可靈活構建不同的總控網(wǎng)拓撲結構，實現(xiàn)所畫即所得，后臺自動備份和即時掛載，各分系統(tǒng)用戶仍感覺跟傳統(tǒng)方案一樣，擁有相同的服務器、工作站、工控機、顯控終端、交換機，相同的操作系統(tǒng)和應用程序，無需更改自己現(xiàn)有設計方案。

超融合一體機由通用x86服務器、磁盤、網(wǎng)卡組成，采用服務器虛擬化、存儲虛擬化、網(wǎng)絡虛擬化技術，分別稱為vSV、vSAN、vNET，內部總體架構見圖3。

圖3 超融合一體機內部架構

服務器虛擬化，采用服務器虛擬化組件，將通用x86服務器硬件資源虛擬化，對最終用戶呈現(xiàn)標準的虛擬服務器，每臺VM(虛擬機)由虛擬化層提供高效、獨立的計算機系統(tǒng)，具有處理器、內存、網(wǎng)絡設備、存儲設備和BIOS，操作系統(tǒng)和應用程序在虛擬機上的運行與在物理機上的運行沒有區(qū)別，各分系統(tǒng)用戶感覺跟物理機一樣，實現(xiàn)一機多用，快速靈活創(chuàng)建、配置、刪除服務器，減少物理服務器數(shù)量。服務器虛擬化架構見圖4。VMM(虛擬機監(jiān)視器)是一種運行在物理服務器和操作系統(tǒng)之間的中間軟件層，允許多個操作系統(tǒng)和應用程序共享一套硬件資源，可看作虛擬環(huán)境中的“元”操作系統(tǒng)，協(xié)調訪問服務器上的所有硬件資源和VM。物理服務器啟動并執(zhí)行VMM時，會給每臺虛擬機分配適量的CPU、內存、網(wǎng)絡和磁盤，并加載所有VM的Guest OS(虛擬機操作系統(tǒng))。VMM直接運行在裸機上，使用和管理底層的硬件資源，Guest OS對硬件資源的訪問都通過VMM完成，作為底層硬件的直接操作者，VMM擁有硬件的驅動程序。VMM基于Linux內核虛擬化，直接管理、調用硬件資源，無需底層操作系統(tǒng)，其相當于一個很薄的操作系統(tǒng)。VMM對物理資源的虛擬包括CPU虛擬化、內存虛擬化和I/O設備虛擬化，各自基本工作機理如下：Guest OS與VMM構成VM的兩級CPU調度框架，Guest OS負責線程或進程在vCPU(虛擬機CPU)上的調度，VMM負責vCPU在pCPU(物理CPU)上的調度，把各個VM中的vCPU按照一定的策略和機制分配物理資源；Guest OS與VMM構成VM的兩級內存映射，Guest OS負責VA(虛擬地址)到PA(物理地址)的映射，VMM負責PA到MA(總線上的機器地址)的映射，實現(xiàn)虛擬地址到機器地址的轉換；VMM通過截獲Guest OS對I/O設備的訪問請求，再通過軟件模擬真實的硬件來復用有限的外設資源。為確保地面系統(tǒng)的高可用性，VM采用熱遷移技術，當VM所在的物理服務器出現(xiàn)故障或硬件資源緊張時，可將整個VM運行狀態(tài)完整保存下來，快速恢復到運行良好的其他物理服務器上，并同步改變VM數(shù)據(jù)文件的存儲位置，整個過程平滑切換。

圖4 服務器虛擬化架構

存儲虛擬化，基于分布式文件系統(tǒng)GlusterFS，進行深度優(yōu)化改進，通過軟件定義存儲，利用磁盤陣列構建物理存儲資源，基于底層VMM之上，通過主機管理、磁盤管理、緩存、存儲網(wǎng)絡、冗余副本等技術，統(tǒng)一管理前、后端超融合一體機上的所有硬盤，將其虛擬化為存儲資源池，劃分為一個個粒度可設置的數(shù)據(jù)塊，通過向vSV提供訪問接口，使VM可進行數(shù)據(jù)的讀寫，并利用SSD(固態(tài)存儲器)緩存文件數(shù)據(jù)塊，加速讀寫，虛擬化存儲可靈活增減存儲資源給各分系統(tǒng)用戶，并利用數(shù)據(jù)遷移、影子副本、快照技術實現(xiàn)數(shù)據(jù)自動備份和即時掛載，提高可重復使用飛行器地面系統(tǒng)的可用性，并可實現(xiàn)在線擴容。vSAN基于vSV集群獲取集群內主機信息，構建vSAN時，首先建立vSV集群，并至少需要2臺物理主機。vSAN默認將SSD當緩存使用，以加快讀寫速度。各分系統(tǒng)用戶在各自的VM上設置系統(tǒng)盤、數(shù)據(jù)盤等，實際數(shù)據(jù)以數(shù)據(jù)塊形式存儲到資源池中，并分散在不同的物理磁盤上，同一份數(shù)據(jù)在不同的物理磁盤上存儲3個副本，確保數(shù)據(jù)持久安全性，滿足高可用性。存儲虛擬化工作原理見圖5。

圖5 存儲虛擬化工作原理

網(wǎng)絡虛擬化，通過軟件定義網(wǎng)絡(SDN)，采用Overlay(物理網(wǎng)絡之上的邏輯網(wǎng)絡)實現(xiàn)地面系統(tǒng)網(wǎng)絡設備的控制層和數(shù)據(jù)層分離、以及不同分系統(tǒng)用戶間隔離，實現(xiàn)對網(wǎng)絡流量的靈活化、集中化、細粒度控制，獲得對網(wǎng)絡的可編程性、自動化和控制能力，建立可高度靈活配置的彈性網(wǎng)絡，再通過網(wǎng)絡功能虛擬化(NFV)，將傳統(tǒng)網(wǎng)元設備的網(wǎng)絡功能提取出來虛擬化，運行在x86服務器上，按需分配和靈活調度各類網(wǎng)絡功能資源，實現(xiàn)分布式虛擬交換機vSwitch、虛擬路由器vRouter、虛擬負載均衡vAD，在管理平臺上直接用拖拉連線，即可靈活構建不同的總控網(wǎng)拓撲結構，實現(xiàn)所畫即所得。vSwitch將分布于多臺物理主機的網(wǎng)卡替換掉交換機，并在邏輯上組成一個大的集中式交換機，減少傳統(tǒng)設計中每臺交換機需單獨分別配置過程，并為地面系統(tǒng)網(wǎng)絡連接提供集中控制點，使虛擬環(huán)境中的網(wǎng)絡配置不再以主機為單位，簡化虛擬機網(wǎng)絡連接的部署、管理和監(jiān)控。vRouter提供虛擬路由功能，并提供VLAN子網(wǎng)口、ACL策略、DHCP地址池、DNS代理，并自帶HA功能，出現(xiàn)故障可自動遷移到正常主機上，實現(xiàn)故障恢復。vAD提供負載均衡功能。vAF是一道虛擬防火墻。vSSL是融合IPsec/SSL的VPN，提供數(shù)據(jù)網(wǎng)絡傳輸安全。相比現(xiàn)行設計，采用網(wǎng)絡虛擬化后，地面系統(tǒng)的總控網(wǎng)，其特征已不再明顯，只集中于超融合一體機，且主要為軟件，不再作為一個單獨的分系統(tǒng)。網(wǎng)絡虛擬化工作原理見圖6。

圖6 網(wǎng)絡虛擬化工作原理

可重復使用飛行器地面系統(tǒng)可在超融合一體機上，通過設置VM靈活按需配置多臺不同計算、存儲資源的計算機，采用畫圖方式靈活構建不同的總控網(wǎng)拓撲結構，使得地面系統(tǒng)使用非常便捷、簡易、可軟件配置，而且一套IT硬件可用于不同型號的可重復使用飛行器應用，只需重新在軟件上快速、簡易配置，使得地面系統(tǒng)實現(xiàn)通用化、標準化。超融合一體機組成單元為通用x86服務器，每套組成單元可通過網(wǎng)絡聚合，實現(xiàn)模塊化橫向擴展，只需增加x86服務器，就可實現(xiàn)地面系統(tǒng)擴容。在超融合一體機上部署超融合云平臺軟件，配置、管理vSV、vSAN、vNET，并集中部署各分系統(tǒng)應用軟件，通過賬戶設置和授權，供各分系統(tǒng)用戶使用。

2.4 云桌面瘦終端

依賴于超融合一體機的服務器虛擬化、存儲虛擬化，再利用桌面虛擬化技術和ARM架構的云終端，形成地面系統(tǒng)桌面云，各分系統(tǒng)用戶端顯控采用云桌面瘦終端，實現(xiàn)用戶端硬件瘦身。各分系統(tǒng)應用軟件集中部署到超融合一體機上，桌面云通過賬戶設置和授權，各分系統(tǒng)用戶在瘦終端上經(jīng)總控網(wǎng)隨意訪問，各應用軟件無論是C/S或B/S架構、Java或Net開發(fā)環(huán)境，均可在桌面云上運行。超融合一體機自適應接入瘦終端的數(shù)量和顯示需求，采用RAP遠程虛擬交付協(xié)議，通過高效流壓縮、動態(tài)圖過濾、多媒體重定向、智能緩存優(yōu)化等優(yōu)化算法，提高數(shù)據(jù)傳輸效率，將各分系統(tǒng)應用軟件顯控位圖發(fā)送到各自瘦終端，實現(xiàn)對各自業(yè)務的顯示和操控。云桌面的顯控方式，硬件上只要采用瘦終端、顯示器和鼠標，瘦終端通過網(wǎng)線連接到超融合一體機上，其中瘦終端采用ARM架構，運行效率高、功率小，使用穩(wěn)定，尺寸規(guī)格小，提高各分系統(tǒng)顯控的簡易性、輕便性、快速性、靈活性。對各分系統(tǒng)用戶而言，其應用軟件開發(fā)和用戶操作沒有任何變化，可實現(xiàn)用戶層面上的無縫轉移，沒有改變現(xiàn)行分工、責任，不存在抵制情緒。

3 超融合應用與測試

3.1 設備配置

前端超融合一體機承擔的數(shù)據(jù)計算、存儲較少，采用低配置，主要利用其虛擬化網(wǎng)絡實現(xiàn)數(shù)據(jù)交換，后端超融合一體機承擔大量的數(shù)據(jù)計算、存儲、交換，采用高配置，CPU、內存、緩存、網(wǎng)口都較多，硬件配置分別見表1、表2。云桌面瘦終端選用深信服公司aDesk-AIR-200H型貨架產品，硬件配置見表3。

表1 前端超融合一體機配置

表2 后端超融合一體機配置

表3 云桌面瘦終端硬件配置

3.2 應用對比

可重復使用飛行器地面系統(tǒng)采用各分系統(tǒng)獨立設計和超融合設計的硬件配套見表4，其中超融合設計配套2臺超融合一體機，相當于2*2臺x86服務器+2*2塊網(wǎng)卡，相比各分系統(tǒng)獨立設計減少硬件24臺套，對比表4數(shù)據(jù)可算得，采用超融合設計后，相比各分系統(tǒng)獨立設計，其IT設施減少32%，整體成本節(jié)省40%，搭建、拆卸、搬運時間縮短52%，運維、擴容復雜度降低60%，明顯提升設計、部署、運維簡易度，降低成本。

表4 地面系統(tǒng)各分系統(tǒng)獨立設計與超融合設計硬件配套對比

3.3 性能測試

針對可重復使用飛行器地面系統(tǒng)數(shù)據(jù)服務、長時間使用要求其高可用性這兩個重要指標作為考核測試項。

數(shù)據(jù)服務主要測試在不同虛擬主機數(shù)時的服務響應時間、吞吐量。將虛擬主機數(shù)分別設置為10臺、15臺、20臺、25臺、30臺，每臺虛擬主機平均并發(fā)線程數(shù)為40，處理文件大小為5～200 kB不等，寫數(shù)據(jù)、讀數(shù)據(jù)、刪數(shù)據(jù)操作比例分別為10%、85%、5%，持續(xù)運行10 min。表5為服務響應時間和吞吐量。測試結果表明，持續(xù)增加并發(fā)數(shù)量時，服務響應時間逐漸增強，但都在300 ms以下，吞吐量隨并發(fā)數(shù)增加有所增加，但不明顯，基本維持在4 800 op/s。

表5 不同虛擬主機數(shù)服務性能

高可用性主要測試在不同數(shù)據(jù)量和不同虛擬主機數(shù)的數(shù)據(jù)恢復時間、服務延遲率。將數(shù)據(jù)保護塊設備大小設為32 kB，虛擬機恢復數(shù)據(jù)量分別設為10 MB、20 MB、50 MB，恢復模式分別采用增量恢復、全量恢復[20]，增量恢復模式基本思路：設數(shù)據(jù)保護初始時刻為tc，指定目標恢復時間點為th，當前時刻t，先查找出th時刻到t時刻發(fā)生改變的扇區(qū)，再查找這些扇區(qū)從tc到th分支上所有寫操作記錄，最后在相同扇區(qū)號的多個寫操作記錄中，取時間最接近th的那個記錄；全量恢復模式基本思路：設數(shù)據(jù)保護初始時刻為tc，指定目標恢復時間點為th，找出從tc到th分支上所有寫操作記錄，最后在相同源地址的多個寫操作記錄中，取時間最接近th的那個記錄。表6為單臺虛擬機2種恢復模式的數(shù)據(jù)恢復時間；表7為多臺虛擬機并發(fā)恢復性能；表8為多臺虛擬機平均恢復時間和恢復延遲率。測試結果表明地面系統(tǒng)數(shù)據(jù)可用性達到99.9%以上，服務延遲率低于44%。

表6 單臺虛擬主機不同恢復模式性能對比

表7 多臺虛擬主機不同恢復模式性能對比

表8 多臺虛擬主機平均恢復性能及服務延遲率

4 結束語

針對可重復使用飛行器地面系統(tǒng)通用化、簡易化、便捷化、可配置化、高可用性的要求，進行超融合設計和應用，通過服務器虛擬化、存儲虛擬化、網(wǎng)絡虛擬化、顯控桌面化，設計集成化、一體化超融合一體機，簡化地面系統(tǒng)配置，實現(xiàn)其可軟件配置，具有如下特點：

1) 相比傳統(tǒng)設計，IT設施減少32%，整體成本節(jié)省40%，整體部署時間縮短52%，運維復雜度降低60%，明顯提升部署、使用簡易度，降低成本；

2) 實現(xiàn)軟件定義硬件、地面系統(tǒng)靈活配置、硬件標準化，應用通用化，適用不同型號的可重復使用飛行器地面測試、發(fā)射控制應用；

3) 可用性高達99.9%以上，服務延遲率低于44%，且無需停機就可在線擴容，適應需長期在軌型可重復使用飛行器長期測控應用。