馬宗瑞，岳 瑋，姚京紅，張晨光

（1.北京宇航系統(tǒng)工程研究所，北京，100076；2.中國運載火箭技術(shù)研究院，北京，100076）

0 引言

地面測發(fā)控系統(tǒng)按照空間布局分為前端測控設(shè)備和后端地面測發(fā)控系統(tǒng)。前端測控設(shè)備主要負責(zé)將箭上設(shè)備的模擬量和狀態(tài)量等數(shù)據(jù)發(fā)送至后端進行數(shù)據(jù)判讀和處理，同時還需響應(yīng)后端地面測發(fā)控系統(tǒng)發(fā)送的控制指令，并通過有線/無線信道傳輸至箭上電子設(shè)備從而實現(xiàn)對箭上設(shè)備的控制。后端地面測發(fā)控系統(tǒng)負責(zé)接收并處理前端測控設(shè)備發(fā)來的數(shù)據(jù)，將數(shù)據(jù)和狀態(tài)通過測發(fā)控軟件顯示在測試人員面前。后端地面測發(fā)控系統(tǒng)主要設(shè)備包括網(wǎng)絡(luò)交換機、計算服務(wù)器、工作站及測發(fā)控軟件。在運載火箭的測試和發(fā)射過程中，測試人員通過操作后端地面測發(fā)控系統(tǒng)中的測控軟件發(fā)出控制指令，指令從測控軟件經(jīng)工作站發(fā)出，通過網(wǎng)絡(luò)交換機傳輸至前端測控設(shè)備，實現(xiàn)對箭上電氣類產(chǎn)品控制和狀態(tài)監(jiān)測工作。

目前現(xiàn)役運載火箭后端地面測發(fā)控系統(tǒng)有如下特點：

a）設(shè)備物理分布不集中，各自獨立維護，重復(fù)性勞動多，效率低；

b）重復(fù)設(shè)計建設(shè)工作多，成本高，未形成統(tǒng)一規(guī)范標(biāo)準(zhǔn)；

c）資源未實現(xiàn)共享，使用率低；

d）不能根據(jù)實際需要和業(yè)務(wù)變化動態(tài)調(diào)整資源和快速擴展，系統(tǒng)靈活性和可擴展性差；

e）系統(tǒng)單點多，容災(zāi)能力較差。目前主要通過冷備份關(guān)鍵單機實現(xiàn)故障隔離，在測試過程中如果設(shè)備出現(xiàn)異常，需要測試人員手動替換備份設(shè)備，并進行狀態(tài)切換，部分切換會導(dǎo)致測試狀態(tài)無法保持甚至中斷火箭測試流程。

1 研究現(xiàn)狀

運載火箭地面測發(fā)控系統(tǒng)起步于長征系列火箭地面電氣系統(tǒng)，傳統(tǒng)運載火箭地面測發(fā)控系統(tǒng)歷經(jīng)了從“近控”向“遠控”的改變，并引入了總體網(wǎng)系統(tǒng)［1］。隨著中國運載火箭技術(shù)領(lǐng)域產(chǎn)品自主可控要求的逐步提升，進口的交換設(shè)備和計算設(shè)備已經(jīng)不能滿足國產(chǎn)化要求，總體網(wǎng)系統(tǒng)逐漸開展國產(chǎn)化替代工作［2］。隨著虛擬化技術(shù)的成熟并在民用市場的大規(guī)模普及，運載火箭地面測發(fā)控系統(tǒng)也將數(shù)據(jù)判讀分析業(yè)務(wù)遷移至虛擬化平臺中［3］，但仍未解決目前整個地面測發(fā)控系統(tǒng)不同專業(yè)的“煙囪式”重復(fù)建設(shè)問題。

2 面向運載火箭測發(fā)控的測控云設(shè)計

將后端地面測發(fā)控系統(tǒng)進行遷移改造，完成向“測控云”的轉(zhuǎn)變，增強整個系統(tǒng)可管理性，提升計算資源利用率。改造內(nèi)容主要涉及虛擬化云計算設(shè)計、虛擬化存儲設(shè)計及虛擬桌面設(shè)計［4-6］。

2.1 虛擬化云計算設(shè)計

虛擬化云平臺的主要功能是在運載火箭測試發(fā)射過程中提供業(yè)務(wù)軟件運行所需要的平臺系統(tǒng)，通過CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/O虛擬化實現(xiàn)在單一物理計算設(shè)備上運行多個虛擬系統(tǒng)。把應(yīng)用程序?qū)Φ讓酉到y(tǒng)和硬件的依賴抽象出來，從而解除應(yīng)用、操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性和兼容性與上層應(yīng)用透明。不同虛擬系統(tǒng)之間相互隔離、互不影響，可以獨立運行于不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。虛擬化云平臺既包含硬件設(shè)備，也包含應(yīng)用軟件。硬件設(shè)備主要包括服務(wù)器、存儲交換和磁盤陣列設(shè)備。應(yīng)用軟件主要包括虛擬化云系統(tǒng)、虛擬機操作系統(tǒng)。虛擬化云平臺架構(gòu)設(shè)計如圖1所示。

圖1 虛擬化云平臺架構(gòu)設(shè)計Fig.1 Virtualization platform architecture

虛擬化環(huán)境上的業(yè)務(wù)軟件按照業(yè)務(wù)特點共分為四大類：響應(yīng)及流轉(zhuǎn)類軟件，處理及存儲類軟件，監(jiān)測及判讀類軟件和大數(shù)據(jù)應(yīng)用類軟件。業(yè)務(wù)軟件特點如下：

a）響應(yīng)及流轉(zhuǎn)類軟件：發(fā)出或響應(yīng)指令信息、將未處理的業(yè)務(wù)數(shù)據(jù)從不同的數(shù)據(jù)源匯聚打包后轉(zhuǎn)發(fā)至處理及存儲類軟件和大數(shù)據(jù)應(yīng)用類軟件并將處理后的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)給監(jiān)測及判讀軟件，是測控云業(yè)務(wù)軟件的交互中樞。該類軟件只負責(zé)匯聚和轉(zhuǎn)發(fā)業(yè)務(wù)數(shù)據(jù)，對數(shù)據(jù)進行分析的工作較少，故其占用CPU及內(nèi)存等計算資源適中，但占用較多的通信帶寬。由于該類軟件是數(shù)據(jù)傳輸?shù)闹袠?，并且與發(fā)射流程大量耦合，故其如果發(fā)生故障將直接影響火箭的測試，所以需要采取一定的熱備措施。

b）處理及存儲類軟件：接收數(shù)據(jù)源和響應(yīng)及流轉(zhuǎn)類軟件發(fā)送的指令信息和業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)進行解碼、分析和重組后經(jīng)響應(yīng)及流轉(zhuǎn)類軟件轉(zhuǎn)發(fā)給監(jiān)測及判讀軟件，并將部分數(shù)據(jù)存儲在本地。該類軟件需要對大量的源碼數(shù)據(jù)進行解析，并按照規(guī)定的協(xié)議進行處理，同時源碼數(shù)據(jù)和處理后的數(shù)據(jù)都需要存儲在磁盤中，故其占用較多的CPU、內(nèi)存及磁盤容量等計算資源。處理及存儲類軟件雖然參與火箭測試流程，但若其出現(xiàn)故障并不會直接導(dǎo)致流程中止，故只對處理及存儲類軟件采取冷備措施。

c）監(jiān)測及判讀類軟件：從響應(yīng)及流轉(zhuǎn)類軟件獲取需要實時監(jiān)測及測試后判讀的數(shù)據(jù)供判讀人員直接使用。該類軟件只負責(zé)將測試數(shù)據(jù)進行顯示，不承擔(dān)數(shù)據(jù)分析或者流轉(zhuǎn)的工作，所以其占用較少的CPU、內(nèi)存、磁盤以及網(wǎng)絡(luò)資源。由于監(jiān)測及判讀類軟件均為服務(wù)器-客戶端（Client-Server）架構(gòu)，并且不會直接導(dǎo)致火箭測試流程發(fā)生中止，故只對監(jiān)測及判讀類軟件的服務(wù)端和部分客戶端進行冷備。

d）大數(shù)據(jù)應(yīng)用類軟件：從響應(yīng)及流轉(zhuǎn)類軟件實時獲取測試數(shù)據(jù)，并異步開展數(shù)據(jù)包絡(luò)分析和深度挖掘。該類軟件承擔(dān)大量的數(shù)據(jù)分析工作，占用較多的CPU、內(nèi)存以及磁盤等計算資源。若該軟件出現(xiàn)故障，不會直接導(dǎo)致流程中止，故只對大數(shù)據(jù)應(yīng)用類軟件采取冷備措施。

綜合考慮上述資源分配和熱備冗余要求，形成以下虛擬化資源分配原則，如表1所示。其中響應(yīng)及流轉(zhuǎn)類軟件需要在不同物理機進行熱備，處理及存儲類軟件、監(jiān)測及判讀類軟件以及大數(shù)據(jù)應(yīng)用類軟件需要在不同物理機進行冷備。

表1 虛擬化資源分配原則Tab.1 Virtualization resource allocation principles

2.2 虛擬化存儲設(shè)計

針對虛擬化系統(tǒng)的存儲設(shè)計，重點關(guān)注設(shè)計存儲數(shù)據(jù)的高安全性和持續(xù)可用性，通過多種技術(shù)手段保證共享存儲中留存的虛擬機數(shù)據(jù)無丟失、無差錯。測控業(yè)務(wù)對數(shù)據(jù)的存儲速率、系統(tǒng)冗余性都有較高要求。采用集中式存儲，可以為虛擬化平臺提供低時延的存儲服務(wù)，并且對于使用者維護門檻低，更適用于發(fā)射場環(huán)境。

2.3 虛擬桌面設(shè)計

虛擬化存儲環(huán)境中涉及到服務(wù)器主機總線適配器（Host Bus Adapter）卡、存儲交換機和磁盤陣列三大部分，其核心應(yīng)用是虛擬機通過存儲局域網(wǎng)絡(luò)訪問存儲設(shè)備，實現(xiàn)數(shù)據(jù)共享讀寫。虛擬化存儲架構(gòu)邏輯如圖2所示。

圖2 虛擬化共享存儲網(wǎng)絡(luò)邏輯架構(gòu)Fig.2 Virtualization storage area network logical architecture

磁盤陣列設(shè)計采用雙活雙控、多鏈路、磁盤容錯的冗余設(shè)計。虛擬化服務(wù)器可通過8條等價路徑與磁盤陣列主（或備）控制器之間實現(xiàn)高速I/O 訪問，任意線路、控制器甚至整機的故障均不會造成虛擬機數(shù)據(jù)讀寫的失敗。磁盤陣列內(nèi)的硬盤系統(tǒng)配置RAID5加全局獨立熱備盤容錯模式，最大可支持2塊硬盤故障情況下的虛擬機數(shù)據(jù)可用，并可保證在少量硬盤故障情況下磁盤系統(tǒng)的自愈能力。

在此存儲網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，系統(tǒng)可以在單發(fā)HBA模塊故障、存儲交換故障、磁盤陣列硬盤故障、磁盤陣列控制器故障、磁盤陣列機箱故障模式下確保存儲業(yè)務(wù)可靠運行。

桌面虛擬化依賴于服務(wù)器虛擬化，在數(shù)據(jù)中心的服務(wù)器上進行服務(wù)器虛擬化，生成大量獨立的桌面操作系統(tǒng)（虛擬機或者虛擬服務(wù)器），同時根據(jù)專有的高性能桌面?zhèn)鬏攨f(xié)議發(fā)送給終端設(shè)備。用戶可通過簡易的終端設(shè)備實現(xiàn)對虛擬化系統(tǒng)中虛擬機和虛擬服務(wù)器的控制和訪問。

針對后端地面測發(fā)控系統(tǒng)，重點關(guān)注設(shè)計瘦客戶機的持續(xù)連接能力和設(shè)備快速替換能力，通過多種技術(shù)手段保證虛擬桌面操作的連接性以及快速重連。

虛擬桌面的連接涉及到虛擬桌面連接服務(wù)器和瘦客戶機兩大部分，其中的關(guān)鍵環(huán)節(jié)是虛擬桌面連接服務(wù)器和虛擬化管理平臺的冗余對接，保證瘦客戶機按需連接至指定的虛擬桌面（虛擬機）。具體設(shè)計如圖3所示。

圖3 虛擬桌面架構(gòu)Fig.3 Virtual desktop architecture

虛擬桌面連接服務(wù)器的冗余設(shè)計：連接服務(wù)器以虛擬機的形式部署在虛擬化服務(wù)器集群中，可同時受到集群虛擬機高可用（High Available，HA）功能、虛擬機快照功能的雙重保護。連接服務(wù)器與虛擬化管理軟件的同步數(shù)據(jù)是通過其虛擬管理地址（Virtual Internet Protocol，VIP）實現(xiàn)的，任何一臺虛擬化管理軟件及其所在服務(wù)器發(fā)生故障時，連接服務(wù)器仍然可以保持與虛擬管理地址的聯(lián)通，保持對虛擬桌面運行環(huán)境的有效管理。

a）連接服務(wù)器以虛擬機形式部署，受到集群HA和快照功能的雙重保護；

b）連接服務(wù)器與虛擬化管理軟件的VIP 地址連接，單點故障時可保持連接。

瘦終端的冗余設(shè)計：瘦客戶機是輕量化的終端設(shè)備，僅通過運行虛擬桌面連接程序（調(diào)用虛擬桌面連接協(xié)議）訪問虛擬桌面連接服務(wù)器，并利用連接服務(wù)器的重定向功能連接指定的虛擬機。其關(guān)鍵的冗余設(shè)計主要涉及主/備雙網(wǎng)卡接入網(wǎng)絡(luò)，從而始終能夠保持與連接服務(wù)器以及服務(wù)器虛擬化平臺的連接。瘦客戶機配置主/備雙網(wǎng)卡，可保持與連接服務(wù)器和虛擬化平臺的連接。

3 運載火箭后端地面測發(fā)控系統(tǒng)關(guān)鍵技術(shù)研究

針對影響火箭測試發(fā)射的后端地面測發(fā)控系統(tǒng)故障模式，將影響火箭發(fā)射流程正常進行的主要故障模式確定為虛擬化云平臺軟硬件故障及測控業(yè)務(wù)軟件故障，并針對此兩類模式進行冗余設(shè)計實現(xiàn)對測控云的優(yōu)化改進。

3.1 虛擬化云平臺冗余設(shè)計

a）服務(wù)器在整機、部件兩個方面提供冗余設(shè)計。借助服務(wù)器集群技術(shù)實現(xiàn)針對整機的冗余，通過設(shè)置主/備雙管理節(jié)點工作模式實現(xiàn)高可靠性設(shè)計，由數(shù)據(jù)庫的底層同步機制實現(xiàn)虛擬化管理數(shù)據(jù)的一致性操作。借助虛擬化平臺軟件的主/備配置模式實現(xiàn)部件級的故障倒換，實現(xiàn)針對網(wǎng)卡、HBA卡的冗余。

b）存儲在設(shè)備、線路兩方面提供冗余設(shè)計。采用兩臺存儲交換機、雙臺磁盤陣列（陣列控制器采用冗余設(shè)計、硬盤資源采用RAID-6 冗余容錯設(shè)計）構(gòu)建SAN 存儲環(huán)境。以存儲交換機為中心構(gòu)建疊加的雙星型鏈路拓撲，配合存儲多路徑技術(shù)實現(xiàn)服務(wù)器至磁盤陣列的多條等價存儲路徑冗余。采用雙活雙控技術(shù)可以將控制器和陣列背板機箱由單控狀態(tài)變?yōu)槿哂酂醾錉顟B(tài)，當(dāng)一個控制器發(fā)生故障時另一個控制器可以實時接管狀態(tài)繼續(xù)工作。采用獨立磁盤冗余陣列（Redundant Array of Independent Disks，RAID）模式可以實現(xiàn)存儲性能和數(shù)據(jù)安全的兼顧的方案，并且可以接受RAID 成員組中至多2 塊硬盤故障不影響數(shù)據(jù)的完整性和實時可用性。

c）采用虛擬機高可用技術(shù)和容錯（Fault Tolerance，F(xiàn)T）技術(shù)以提高虛擬化云系統(tǒng)中虛擬機的可靠性。安裝了操作系統(tǒng)的虛擬機是測控軟件運行的重要載體，當(dāng)虛擬機或其操作系統(tǒng)發(fā)生故障時，測控軟件也會受到相應(yīng)的影響。

虛擬機高可用技術(shù)是虛擬化云系統(tǒng)通過定時心跳監(jiān)測包檢測運行在云系統(tǒng)上層的虛擬機的工作狀態(tài)，當(dāng)心跳監(jiān)測出現(xiàn)異常后，虛擬化云系統(tǒng)會自動將故障虛擬機遷移到另一個正常的物理服務(wù)器上重啟，遷移所需的時間為分鐘級。

容錯技術(shù)是指兩個虛擬機之間實時高可用，不同于HA，容錯的目的是保證業(yè)務(wù)的連續(xù)性，為所配置容錯的虛擬機建立一個“影子”備份虛擬機，兩個虛擬機之間內(nèi)存是實時同步的，即保持鏡像狀態(tài)，當(dāng)主機接管主機的業(yè)務(wù)及功能，其切換所需時間為秒級。容錯占用較大的網(wǎng)絡(luò)和計算資源，但是其切換時間更短，虛擬機高可用占用的資源少，但是遷移所需的時間較長，故會造成較長時間的業(yè)務(wù)中斷，將運行測控軟件的虛擬機按照重要度進行分類，重要或者實時性要求高的虛擬機可配置容錯，以后期數(shù)據(jù)處理和實時性要求低的虛擬機配置高可用，實現(xiàn)所有虛擬機均具備無人干預(yù)的自恢復(fù)能力。

3.2 測發(fā)流程冗余設(shè)計

運載火箭測發(fā)流程主要依托于測發(fā)控軟件實現(xiàn)。測發(fā)控軟件主要用于測試人員在后端對運載火箭前端或者箭上設(shè)備實現(xiàn)加斷電或數(shù)據(jù)采集控制。測發(fā)控軟件分為服務(wù)端與客戶端，服務(wù)端和客戶端是共同提供測發(fā)控業(yè)務(wù)服務(wù)的。服務(wù)端主要負責(zé)處理前端發(fā)送來的數(shù)據(jù)，并響應(yīng)客戶端發(fā)送的指令同時將狀態(tài)發(fā)送給客戶端進行顯示?？蛻舳酥饕峁┛蓪崿F(xiàn)人機交互的界面，將界面的響應(yīng)發(fā)送給服務(wù)端進行處理，同時接收服務(wù)端發(fā)來的狀態(tài)及數(shù)據(jù)，將其顯示在界面上。測發(fā)控軟件服務(wù)端和客戶端均包含主從模式，且默認客戶端均連接主服務(wù)端。軟件模塊信息流見圖4。

圖4 測發(fā)控軟件模塊信息流Fig.4 Test launch and control system software information flow

當(dāng)主服務(wù)端異常時客戶端主動切斷與主服務(wù)端的連接，并連接副服務(wù)端繼續(xù)工作。傳統(tǒng)的測發(fā)控軟件雖然也設(shè)置了主從模式，但是主從的切換需要手動實現(xiàn)，這依賴于測試人員現(xiàn)場狀態(tài)的判斷和操作。面向后端測發(fā)控系統(tǒng)無人值守等需求，采用以心跳數(shù)據(jù)包為判斷基準(zhǔn)的測發(fā)控軟件自動主從切換設(shè)計。測發(fā)控軟件主服務(wù)端與從服務(wù)端每固定周期發(fā)送心跳數(shù)據(jù)包。當(dāng)超過指定時間未收到對方發(fā)送的心跳數(shù)據(jù)包，則認為對端出現(xiàn)異?；蛞呀?jīng)關(guān)閉，此時從服務(wù)端自動切換為主機狀態(tài)。目前主要面向于服務(wù)端程序失去響應(yīng)或異常關(guān)閉、服務(wù)端所在虛擬機網(wǎng)絡(luò)中斷或失去響應(yīng)、服務(wù)端所在物理節(jié)點異常宕機或網(wǎng)絡(luò)中斷等故障模式。采用這種設(shè)計以后，測發(fā)控軟件根據(jù)自身或者運行環(huán)境的狀態(tài)可以自行對狀態(tài)進行判斷，并執(zhí)行無人干預(yù)的主從切換動作，實現(xiàn)測發(fā)流程的冗余。

4 運載火箭后端地面測發(fā)控系統(tǒng)關(guān)鍵技術(shù)驗證

針對虛擬化云平臺和測發(fā)流程冗余改進設(shè)計試驗驗證技術(shù)的有效性和準(zhǔn)確性，在集群交換機上通過千兆網(wǎng)口和萬兆網(wǎng)口連接4臺國產(chǎn)品牌計算服務(wù)器，在每臺服務(wù)器上安裝國產(chǎn)虛擬化系統(tǒng)，其中服務(wù)器A和服務(wù)器B安裝虛擬化管理軟件。虛擬化管理信息通過服務(wù)器的千兆網(wǎng)絡(luò)流轉(zhuǎn)，測發(fā)控業(yè)務(wù)數(shù)據(jù)通過服務(wù)器的萬兆網(wǎng)絡(luò)實現(xiàn)交互。配置雙活存儲系統(tǒng)，將服務(wù)器與國產(chǎn)品牌的磁盤陣列通過存儲交換設(shè)備交叉互聯(lián)。將國產(chǎn)品牌的瘦客戶機與集群交換機通過網(wǎng)線鏈接，在虛擬化系統(tǒng)中部署云桌面軟件。其中在服務(wù)器A上配置虛擬機A和虛擬機B，在服務(wù)器B上配置虛擬機C和虛擬機D，每個虛擬機均安裝國產(chǎn)Linux操作系統(tǒng)，虛擬機A、C分別部署軟件主服務(wù)端和從服務(wù)端軟件，虛擬機B、D分別部署主客戶端和從客戶端軟件，最終完成全國產(chǎn)品牌國產(chǎn)技術(shù)的虛擬化驗證系統(tǒng)的搭建。

4.1 虛擬化云平臺冗余驗證試驗

4.1.1 試驗過程及結(jié)果

a）服務(wù)器集群冗余測試。斷開集群內(nèi)單臺物理服務(wù)器（即服務(wù)器A）供電模擬服務(wù)器異常掉電故障，檢查云平臺軟件運行是否異常，檢查其他服務(wù)器工作狀態(tài)，試驗結(jié)果如表2所示。

表2 服務(wù)器集群冗余測試結(jié)果Tab.2 The test result of server cluster redundancy

b）存儲雙活雙控冗余測試。通過向虛擬機操作系統(tǒng)內(nèi)傳輸大文件增加磁盤讀寫性能負載，在此過程中執(zhí)行下述操作：1）斷開磁盤陣列A 供電模擬磁盤陣列A 異常宕機，檢查使用共享存儲的虛擬機操作系統(tǒng)是否工作正常，記錄虛擬機磁盤讀寫交互延遲時間；2）斷開存儲交換機A 供電模擬存儲交換機A 異常宕機，檢查使用共享存儲的虛擬機操作系統(tǒng)是否工作正常，記錄虛擬機磁盤讀寫交互延遲時間；3）抽出磁盤陣列B 上的一塊硬盤模擬磁盤陣列硬盤出現(xiàn)故障，檢查使用共享存儲的虛擬機操作系統(tǒng)是否工作正常，記錄虛擬機磁盤讀寫交互延遲時間。試驗結(jié)果如表3所示。

表3 存儲冗余測試結(jié)果Tab.3 The test result of storage redundancy

虛擬機高可用測試及容錯測試。將云平臺服務(wù)器A中的虛擬機A配置成容錯模式，“影子”虛擬機設(shè)置在服務(wù)器B上，將虛擬機B配置成高可用模式，將虛擬機B的遷移節(jié)點配置為服務(wù)器B。將兩臺虛擬機正常啟動后，斷開服務(wù)器A的供電，記錄虛擬機A和B發(fā)生的現(xiàn)象，通過向虛擬機A和虛擬機B發(fā)出命令監(jiān)測操作系統(tǒng)服務(wù)和網(wǎng)絡(luò)中斷的時間。

經(jīng)試驗，當(dāng)斷開服務(wù)器A供電后，運行于服務(wù)器B中虛擬機A的“影子”虛擬機切換為當(dāng)班狀態(tài)，直接接管虛擬機A 的實時狀態(tài)，切換時間為3 s。同時虛擬機B從服務(wù)器A按照高可用策略自動遷移至服務(wù)器B后重新啟動，期間全程無人干預(yù)，遷移時間總計約5 min（不同操作系統(tǒng)遷移時間存在差異）。

4.1.2 小 結(jié)

采用虛擬化云、服務(wù)器集群、存儲雙活雙控及虛擬機高可用和容錯技術(shù)對原有的“煙囪式”建設(shè)的地面測發(fā)控系統(tǒng)進行整合優(yōu)化，并重點針對系統(tǒng)的容錯能力和自愈能力進行了改進。采用虛擬化云技術(shù)將現(xiàn)有的計算資源進行融合并重新劃分，地面測發(fā)控系統(tǒng)計算資源得到更合理的分配。

通過試驗驗證，采用服務(wù)器集群和虛擬機高可用技術(shù)后，整個測發(fā)控系統(tǒng)的容錯能力顯著提高，當(dāng)其中一臺承載云平臺的服務(wù)器出現(xiàn)宕機等異?，F(xiàn)象時，云平臺不會因為一臺設(shè)備故障而發(fā)生崩潰，并且運行在故障服務(wù)器上的重要虛擬機業(yè)務(wù)可通過容錯技術(shù)得到快速遷移，業(yè)務(wù)受影響時間小于5 s，其他虛擬機業(yè)務(wù)可通過高可用技術(shù)提高自身自愈能力，減少人為干預(yù)和切換需要的時間。

采用存儲雙控雙活技術(shù)，在模塊級和整機級不同維度下均消除了地面測發(fā)控系統(tǒng)數(shù)據(jù)存儲的單點故障，最大程度地確保地面測發(fā)控數(shù)據(jù)的完整性，保證存儲設(shè)備一度故障下，測發(fā)控數(shù)據(jù)不會因故障發(fā)生丟失錯誤的情況。

4.2 測發(fā)流程冗余驗證試驗

4.2.1 試驗過程及結(jié)果

在虛擬化云平臺故障自恢復(fù)驗證試驗環(huán)境的基礎(chǔ)上，還原系統(tǒng)狀態(tài)。

通過在虛擬機操作系統(tǒng)中輸入相應(yīng)指令可操作系統(tǒng)強制崩潰，操作系統(tǒng)網(wǎng)絡(luò)將失效，分別對虛擬機A～D執(zhí)行該操作，可分別模擬操作系統(tǒng)發(fā)生故障導(dǎo)致測控軟件受影響的情況，分別觀察測控軟件主服務(wù)端、備服務(wù)端、主客戶端、備客戶端的現(xiàn)象，觀察測控軟件是否能夠繼續(xù)工作，驗證測發(fā)流程冗余設(shè)計是否正確有效。試驗結(jié)果如表4所示。

表4 測發(fā)流程冗余測試結(jié)果Tab.4 The test result of test launch and control flow path redundancy

4.2.2 小 結(jié)

對現(xiàn)有的測控軟件的主從切換策略進行優(yōu)化，引入心跳監(jiān)測實現(xiàn)了測發(fā)流程的冗余。在虛擬機A～D分別部署了主服務(wù)端、從服務(wù)端、主客戶端和從客戶端測控軟件，通過輸入指令使得虛擬機強制崩潰，來等效模擬測控軟件受系統(tǒng)故障影響的情況，測試結(jié)果表明，無論哪個虛擬機及虛擬機上運行的軟件發(fā)生異常，測控軟件的運行均未受到影響，其中當(dāng)運行主客戶端的虛擬機發(fā)生異常時，主客戶端隨操作系統(tǒng)崩潰而無法使用，需要切換至備份客戶端即虛擬機D繼續(xù)工作，但測控業(yè)務(wù)服務(wù)不會發(fā)生中斷。

5 結(jié)束語

為解決液體運載火箭后端地面測發(fā)控系統(tǒng)容錯能力有限，自愈能力差的問題，同時消除現(xiàn)有各系統(tǒng)獨立“煙囪式”建設(shè)的現(xiàn)象，應(yīng)用虛擬化云的解決方案替換掉原系統(tǒng)獨立計算獨立存儲的方案，同時采用服務(wù)器集群、存儲雙控雙活、虛擬機高可用和容錯及測發(fā)流程冗余等技術(shù)對現(xiàn)液體運載火箭后端地面測發(fā)控系統(tǒng)進行優(yōu)化升級。以某型液體運載火箭后端地面測發(fā)控設(shè)備優(yōu)化升級結(jié)果為例。在實施此優(yōu)化前，后端地面測發(fā)控每個電氣系統(tǒng)平均配置3臺計算存儲用服務(wù)器、1臺冷備份服務(wù)器，3臺高性能工作站、1臺冷備份工作站，5臺瀏覽判讀計算機，總計約12臺服務(wù)器、12臺工作站、15 臺計算機，總計約40 臺計算設(shè)備，并且均未實現(xiàn)全國產(chǎn)化要求。在實施虛擬化改造后，服務(wù)器從原來的12臺優(yōu)化至6臺，27臺工作站和計算機減配為15臺瘦客戶機，整體設(shè)備規(guī)模減半，不再需要額外配套冷備份產(chǎn)品，并且滿足了國產(chǎn)化需求。優(yōu)化后的液體運載火箭后端地面測發(fā)控系統(tǒng)的虛擬化平臺計算容錯能力、存儲冗余能力和業(yè)務(wù)軟件的健壯性均有較大幅度提高，系統(tǒng)單點故障得到消除，能夠滿足現(xiàn)今液體運載火箭對地面測發(fā)控系統(tǒng)的要求。