王建軍，向永清2，何正文

(1.北京空間飛行器總體設計部，北京 100094; 2.北京三七數(shù)據(jù)技術有限公司，北京 100085)

0 引言

航天器試驗是指為驗證和檢驗航天器功能、性能、品質和可靠性所進行的各類試驗；為保證航天器任務圓滿成功，航天器研制一直在不斷完善和實施精細化管理，圍繞著信息尤其是試驗信息進行科學嚴密的評價和決策[1]。

大數(shù)據(jù)技術是當前信息領域的發(fā)展新趨勢，大數(shù)據(jù)是支撐國家安全和國防建設的戰(zhàn)略資源[2]?！吨袊圃?025》、《促進大數(shù)據(jù)發(fā)展行動綱要》、《國家信息化發(fā)展戰(zhàn)略綱要》等均提出實施國家大數(shù)據(jù)戰(zhàn)略，要求突破工業(yè)大數(shù)據(jù)處理等核心技術，并把航天裝備列為重點領域突破發(fā)展[3-4]；《2016中國的航天》白皮書也提出要加快推進航天工業(yè)化與信息化的深度融合。

航天器研制應當抓住工業(yè)化與信息化深度融合發(fā)展這一重大歷史機遇，分析航天器試驗數(shù)據(jù)特征，運用當前先進的大數(shù)據(jù)技術，建立科學的用于航天器試驗的大數(shù)據(jù)系統(tǒng)(以下簡稱“航天器試驗大數(shù)據(jù)系統(tǒng)”)，實現(xiàn)航天器試驗數(shù)據(jù)采集、存儲、處理、分析和應用的數(shù)字化和統(tǒng)一管理，提升航天器研制水平。

1 航天器試驗數(shù)據(jù)特征分析

航天器試驗數(shù)據(jù)是指在航天器試驗設計、準備、實施、撤收、總結等各階段所產(chǎn)生的數(shù)據(jù)資源。航天器試驗數(shù)據(jù)具有大數(shù)據(jù)的4V特征，即variety(數(shù)據(jù)類型多樣)、volume(數(shù)據(jù)量巨大)、velocity(速度要快)、value(價值巨大)[5]，主要表現(xiàn)在：

1)類型。從試驗類型上來分，包括電性能測試、環(huán)境模擬試驗、飛行試驗等一系列試驗，其中電性能測試包括常規(guī)綜合測試和各種環(huán)境模擬試驗下的測試，環(huán)境模擬試驗包括力學環(huán)境試驗、真空熱環(huán)境試驗、電磁環(huán)境試驗等；從數(shù)據(jù)接口上來分，包括CAN、1553B、RS-422、以太網(wǎng)、VXI、GPIB、無線鏈路等；從數(shù)據(jù)編碼格式上來分，包括PSK、BPSK、DPSK、QPSK等；從數(shù)據(jù)類型上來分，包括試驗方案、大綱、細則、總結等文本，試驗監(jiān)視、測量等數(shù)值，試驗圖像、視頻、音頻等記錄，還有三維模型、試驗用例、試驗統(tǒng)計分析和報表、試驗規(guī)章制度、試驗日志等數(shù)據(jù)，涵蓋了結構化、半結構化和非結構化數(shù)據(jù)；

2)規(guī)模。航天器自身功能越來越強大使其產(chǎn)生的數(shù)據(jù)量加大，包括遙測數(shù)據(jù)、遙控數(shù)據(jù)、載荷數(shù)據(jù)、總線數(shù)據(jù)、信號波形和頻譜數(shù)據(jù)等；試驗的精細化使試驗儀器設備產(chǎn)生的數(shù)據(jù)量加大，包括示波器、頻譜儀、供配電、測控、載荷等測試設備產(chǎn)生的激勵和采集的數(shù)據(jù)，采集到的數(shù)據(jù)經(jīng)過解析處理后產(chǎn)生大量數(shù)據(jù)；航天器要經(jīng)歷大量試驗使數(shù)據(jù)量加大，包括溫度、濕度、潔凈度、真空度、熱環(huán)境、力學和噪聲等環(huán)境模擬和監(jiān)測數(shù)據(jù)、環(huán)境模擬分析數(shù)據(jù)、試驗現(xiàn)場視頻監(jiān)視數(shù)據(jù)等；航天器試驗歷時周期長(1-3年)，系統(tǒng)通電時間長(正樣飛行產(chǎn)品系統(tǒng)級電性能測試正式通電時間約2000 h)；每年同時在試驗航天器可以達到十余顆甚至數(shù)十顆；

3)速度。每顆航天器自身高速產(chǎn)生遙測數(shù)據(jù)(量級103bps，射頻調制)、載荷數(shù)據(jù)(量級109bps，射頻調制)、總線數(shù)據(jù)(量級103bps)、臍帶數(shù)據(jù)(量級103bps)，試驗用各類傳感器高速產(chǎn)生數(shù)據(jù)流，試驗用儀器設備同樣高速產(chǎn)生數(shù)據(jù)；而試驗數(shù)據(jù)實時采集、分析、應用要求不斷提高；

4)價值。航天器數(shù)據(jù)中不僅包含著試驗設備和受試產(chǎn)品狀態(tài)信息，還包含著航天器功能、性能、品質和可靠性信息，還可以通過大數(shù)據(jù)技術進一步挖掘，摸清航天器試驗過程中所體現(xiàn)的特點，為設計改進、試驗技術的改進和領導決策等提供支持，具有極高的應用價值[6]。

除此之外，航天器試驗數(shù)據(jù)還具有更強的多源性、專業(yè)性、時序性、關聯(lián)性、噪聲性和更高的采集、分析和處理準確性要求等特征。

2 系統(tǒng)實現(xiàn)

2.1 部署位置

由于航天器試驗具有試驗意義重、系統(tǒng)和過程復雜、采用技術新、多學科交叉、規(guī)模和費用大、環(huán)境和可靠性高等特點，航天器試驗大數(shù)據(jù)系統(tǒng)的部署應充分繼承現(xiàn)有成熟試驗系統(tǒng)技術并與其有機結合，不影響試驗任務的順利開展，在此前提下逐步完善替換原有系統(tǒng)功能。航天器試驗大數(shù)據(jù)系統(tǒng)在整個航天器試驗系統(tǒng)中的部署位置如圖1所示，大數(shù)據(jù)系統(tǒng)直接接入綜合試驗網(wǎng)絡，讀取原有試驗系統(tǒng)采集到的數(shù)據(jù)，充分利用大數(shù)據(jù)技術實現(xiàn)試驗數(shù)據(jù)存儲、分析和應用。

圖1 系統(tǒng)部署位置

2.2 系統(tǒng)架構

航天器試驗大數(shù)據(jù)系統(tǒng)架構如圖2所示，按照數(shù)據(jù)流向自底向上分別是數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)處理層、數(shù)據(jù)分析層、數(shù)據(jù)訪問層和數(shù)據(jù)應用層，此外數(shù)據(jù)管理平臺貫穿全部層級。

1)數(shù)據(jù)采集層負責將航天器試驗過程產(chǎn)生的各類結構化、半結構化和非結構化數(shù)據(jù)通過離線ETL和實時采集等方式進行歸集匯總；

2)數(shù)據(jù)存儲層根據(jù)航天器試驗數(shù)據(jù)的不同特點，將數(shù)據(jù)采集層采集到的數(shù)據(jù)分別存儲到文檔數(shù)據(jù)庫、關系數(shù)據(jù)庫、圖數(shù)據(jù)庫等數(shù)據(jù)庫中；

3)數(shù)據(jù)處理層和數(shù)據(jù)分析層負責航天器試驗數(shù)據(jù)的處理和分析，數(shù)據(jù)處理可采用批處理、實時處理及交互式查詢等方法，數(shù)據(jù)分析可采用傳統(tǒng)統(tǒng)計分析、深度學習及數(shù)據(jù)挖掘等方法；

4)數(shù)據(jù)訪問層是航天器試驗數(shù)據(jù)與應用之間的橋梁，可提供命令行、Restful API、RPC、Web Service、SQL等接口，根據(jù)應用層的應用需求通過不同接口從數(shù)據(jù)分析層獲取所需數(shù)據(jù)；

5)數(shù)據(jù)應用層是航天器試驗數(shù)據(jù)各種應用的集合，包括實時監(jiān)控類應用、統(tǒng)計分析類應用、交互式查詢類應用及日志分析類應用等；

6)數(shù)據(jù)管理平臺是整個航天器試驗大數(shù)據(jù)系統(tǒng)升級擴展、平穩(wěn)運行、安全運維的基礎，具有對各類技術組件的透明訪問能力，完成數(shù)據(jù)設計、獲取、應用、銷毀等試驗數(shù)據(jù)的全生命周期管理，并把標準、質量規(guī)則和安全策略固化在平臺上，實現(xiàn)事前管理、事中控制、事后稽核與審計的全方位數(shù)據(jù)質量管理和安全管理。

圖2 系統(tǒng)架構

2.3 主要技術實現(xiàn)

2.3.1 數(shù)據(jù)采集層

航天器試驗數(shù)據(jù)的采集分為歷史數(shù)據(jù)的離線批量采集和實時數(shù)據(jù)的流式采集。

1)歷史數(shù)據(jù)的離線批量采集采用Hadoop平臺作為計算和存儲引擎，使用Sqoop工具通過ETL的方式進行數(shù)據(jù)的采集，并實現(xiàn)HDFS與MySQL、PostgreSQL、MongoDB等傳統(tǒng)數(shù)據(jù)庫之間的數(shù)據(jù)交換；

2)實時數(shù)據(jù)的實時采集采用Flume與Kafka結合的方式，使用Flume作為數(shù)據(jù)的生產(chǎn)者，使用Kafka作為數(shù)據(jù)的消費者，這樣可得到較高的吞吐量和可靠性。

2.3.2 數(shù)據(jù)存儲層

航天器試驗數(shù)據(jù)的存儲選用多種數(shù)據(jù)庫結合的方式：選用MongoDB作為文檔數(shù)據(jù)的存儲工具，選用HDFS作為大規(guī)模離線數(shù)據(jù)的存儲工具，選用面向網(wǎng)絡的數(shù)據(jù)庫Neo4j存儲試驗故障診斷相關的專家知識和決策樹信息，選用PostgreSQL和MySQL作為一些結構化數(shù)據(jù)的存儲工具(如測試數(shù)據(jù)記錄、某些設備的關鍵參數(shù)等)。

2.3.3 數(shù)據(jù)處理層

航天器試驗數(shù)據(jù)的處理分為批處理、實時處理和交互式查詢。

1)批處理選用Hadoop平臺結合數(shù)據(jù)倉儲工具Hive，Hive是傳統(tǒng)數(shù)據(jù)倉儲的一種分布式替代，很適合傳統(tǒng)ETL中數(shù)據(jù)的清洗、過濾、轉化及直接匯總等場景；

2)實時處理(如遙測數(shù)據(jù)流的處理)選用Spark Streaming工具。Spark Streaming是一個基于Core Spark API的可擴展、高吞吐量、并具有容錯能力的用于處理實時數(shù)據(jù)流的組件，可接受Flume、Kafka、HDFS、Kinesis或TCP等各種數(shù)據(jù)源傳遞來的數(shù)據(jù)，對接收到的數(shù)據(jù)可使用一些用高階函數(shù)進行封裝的復雜算法做進一步處理，最后處理好的數(shù)據(jù)可寫入到文件系統(tǒng)和數(shù)據(jù)庫中，或直接用于實時展示，此外還可在數(shù)據(jù)流上應用一些機器學習或圖計算等算法[7]；

3)交互式查詢選用Presto工具。Presto是一個運行在服務器集群上的分布式系統(tǒng)，如圖3所示[8]采用Master-Slaver架構，主要由一個Coordinator和多個Worker組成(Discovery Sever通常內嵌于Coordinator中)。Coordinator負責解析并分析Presto CLI提交的SQL語句，生成執(zhí)行計劃分發(fā)給Worker執(zhí)行；Worker負責實際執(zhí)行查詢任務，啟動后向Discovery Sever注冊；Coordinator從Discovery Sever獲得可以正常工作的Worker節(jié)點；當讀取Hive數(shù)據(jù)時，需配置一個Hive Metastore服務為Presto提供Hive元信息；Worker與HDFS交互讀取數(shù)據(jù)。

圖3 Presto架構

2.3.4 數(shù)據(jù)分析層

航天器試驗數(shù)據(jù)的數(shù)據(jù)分析主要包括統(tǒng)計分析、機器學習和數(shù)據(jù)挖掘。

1)數(shù)據(jù)統(tǒng)計分析選用開源分布式分析引擎Kylin，它提供Hadoop、Spark之上的SQL查詢接口及多維分析(OLAP)能力以支持超大規(guī)模數(shù)據(jù)，其架構如圖4所示，由REST Sever、JDBC/ODBC接口、Query引擎、Routing、Metadata、Cube構建引擎等組成[9]；

2)MLlib是Spark對常用機器學習算法的實現(xiàn)庫，同時包括相關的測試和數(shù)據(jù)生成器，其主要功能包括特征提取、統(tǒng)計、分類、回歸、聚類、協(xié)同過濾與推薦及降維等；

3)Graphx是Spark中用于圖形和圖形并行計算的新組件，基于Spark平臺提供對圖計算和圖挖掘簡潔易用而豐富的接口，可用于試驗數(shù)據(jù)知識圖譜的構建、試驗數(shù)據(jù)診斷、數(shù)據(jù)源分析等。

圖4 Kylin架構

3 典型應用與展望

3.1 數(shù)據(jù)管理

航天器試驗大數(shù)據(jù)系統(tǒng)核心模塊接入現(xiàn)有綜合試驗網(wǎng)絡，通過網(wǎng)絡獲取原試驗系統(tǒng)中來自于傳感器采集、射頻設備接收以及環(huán)境模擬和監(jiān)測系統(tǒng)和試驗設備自產(chǎn)生的各類航天器試驗數(shù)據(jù)，利用大數(shù)據(jù)技術提供的數(shù)據(jù)存儲、交換、倉儲、處理、分析與可視化工具完成試驗數(shù)據(jù)的采集、清洗、篩選、解析、歸一、融合、存儲、分析和展現(xiàn)以及數(shù)據(jù)移動和備份等，實現(xiàn)多學科綜合過程中復雜數(shù)據(jù)傳遞和轉換，最大限度避免試驗數(shù)據(jù)和精度損失，提供純凈、可用的數(shù)據(jù)，消除內部信息孤島[10]。

3.2 試驗實時監(jiān)測

通過對航天器試驗數(shù)據(jù)的采集、清洗、分析、處理和可視化，實現(xiàn)試驗運行狀態(tài)的實時監(jiān)視，并按照規(guī)則進行數(shù)據(jù)實時判讀，及時發(fā)現(xiàn)問題并報警。

1)試驗運行狀態(tài)實時監(jiān)視。商用的大數(shù)據(jù)應用軟件提供了雷達圖、儀表盤、氣泡圖等大量優(yōu)秀的可視化工具，通過這些可視化工具對試驗運行狀態(tài)數(shù)據(jù)實時監(jiān)視、統(tǒng)計分析和顯示；根據(jù)試驗參數(shù)設置對試驗設備響應和航天器響應進行判斷，以確認試驗運行狀態(tài)是否正常；

2)數(shù)據(jù)實時判讀。所有采集的數(shù)據(jù)經(jīng)過解析處理后，同一數(shù)據(jù)縱向比，同類數(shù)據(jù)橫向比，關聯(lián)數(shù)據(jù)聯(lián)合比，發(fā)現(xiàn)異常狀態(tài)實時報警。同一數(shù)據(jù)縱向比是指對同一個參數(shù)(如用于監(jiān)視設備內部電源狀態(tài)的電源電壓)在航天器研制各階段的實際數(shù)據(jù)進行比對，判斷數(shù)據(jù)是否一致；同類數(shù)據(jù)橫向比是指對表征同一特征的同類參數(shù)(如粘貼在設備機殼內表面和外表面的溫度測點)進行比對，判斷數(shù)據(jù)是否合理；關聯(lián)數(shù)據(jù)聯(lián)合比是指對一些有關聯(lián)的數(shù)據(jù)聯(lián)合判斷，確定數(shù)據(jù)是否正確，比如蓄電池電壓與充放電時間、當前負載、太陽電池陣供電電源聯(lián)合判讀；

3)試驗數(shù)據(jù)網(wǎng)偵測。航天器和各試驗設備數(shù)據(jù)均通過網(wǎng)絡接口與試驗數(shù)據(jù)網(wǎng)連接，通過對試驗數(shù)據(jù)網(wǎng)通信狀態(tài)的偵測，對于航天器和試驗設備通信反應異常的判斷其工作狀態(tài)異常。

3.3 健康評估和故障預測

對航天器試驗數(shù)據(jù)進行分析、建模和管理，評估航天器健康狀態(tài)，提前預測故障避免問題發(fā)生。

1)成功包絡線建立和分析。通過對以往成功的各航天器歷史試驗數(shù)據(jù)進行分析，建立數(shù)據(jù)成功包絡線，判斷當前試驗數(shù)據(jù)是否落入成功包絡線內，對于超出包絡線的數(shù)據(jù)即認為存在異常，進一步開展分析判斷；

2)長期走勢分析和趨勢預測?？梢詫崿F(xiàn)試驗參數(shù)的長期走勢分析，根據(jù)長期走勢對發(fā)展趨勢進行預測，如頻率準確度是反映應答機的重要指標，通過分析發(fā)現(xiàn)其在各試驗中的長期走勢為一條逐漸下降曲線，那么有理由推測其性能下降并預測其后續(xù)趨勢為進一步下降，于是根據(jù)故障樹分析并結合其他試驗數(shù)據(jù)逐步排查確定其內部晶體參數(shù)發(fā)生漂移，給出更換晶體的解決建議，并建議對后續(xù)晶體加強篩選和通電老練試驗從而加速晶體應力釋放；

3)健康評估和故障預測。航天器在試驗過程中健康評估和故障預測是極其復雜的，需要對各種手段獲取的監(jiān)測數(shù)據(jù)、歷史數(shù)據(jù)等進行綜合分析，利用各種預測診斷算法挖掘這些數(shù)據(jù)所反映的設備健康狀態(tài)極其變化趨勢，并推測出可能發(fā)生的故障模式，評估方法有多項式曲線擬合、ARMA模型、新陳代謝模型、層次分析法、模糊評判法、人工神經(jīng)網(wǎng)絡法、基于貝葉斯網(wǎng)絡的方法、灰色理論、專家系統(tǒng)等方法，無論采用何種方法都需要豐富的專家知識和經(jīng)驗，需要一個長期的分析和論證過程[11]。大數(shù)據(jù)提供了一種全新的思維方式，采用數(shù)據(jù)驅動方法不再依賴于預設模型的精準性，而是收集大量的數(shù)據(jù)，從海量時間序列數(shù)據(jù)中尋找規(guī)律，然后用一些相對簡單的模型去契合數(shù)據(jù)，消除信息的不確定性，實現(xiàn)航天器健康評估和故障預測[12]。另外，通過對試驗過程中設備運行數(shù)據(jù)進行分析，可以對試驗設備進行故障預測和健康評估，從而實現(xiàn)適時維修。

3.4 試驗有效性評價

航天器試驗有效性評價是一項復雜的綜合性工作，有關評價指標的定義涉及很多因素，包括試驗與故障的關系分析、試驗技術有效性分析、模型與試驗有效性指數(shù)計算、航天器在軌早期故障預示等內容[13]。航天器試驗大數(shù)據(jù)系統(tǒng)可以很好的將歷史航天器和在試驗航天器試驗數(shù)據(jù)(含航天器和儀器設備狀態(tài)、試驗方法、條件、工況、結果等)、故障數(shù)據(jù)、試驗標準規(guī)范、試驗文件(大綱、細則和總結等)、試驗模型等有關數(shù)據(jù)進行綜合處理，給出試驗有效性評價，同時避免過試驗和欠試驗。

通過對航天器試驗數(shù)據(jù)的深入分析給出試驗結論和建議。如通過航天器力學環(huán)境試驗和真空熱環(huán)境試驗獲得了大量的數(shù)據(jù)，對這些數(shù)據(jù)進行分析可以給出航天器抗力學和熱設計是否合理的結論，并給出有關設計改進建議，完成航天器對力學和熱環(huán)境適應性的評價。

3.5 可靠性評估與壽命預測

航天器可靠性評估與壽命預測是一項復雜的系統(tǒng)工程，無論是采用何種評估、預測模型和方法，都需要分析航天器故障模式、收集各層級產(chǎn)品多種來源的數(shù)據(jù)，試驗數(shù)據(jù)更是重要的支撐。通過將航天器試驗數(shù)據(jù)與其他所需數(shù)據(jù)結合，完成航天器可靠性評估和壽命預測。如為評估某航天器太陽翼帆板驅動機構可靠性，航天器試驗大數(shù)據(jù)系統(tǒng)收集相似產(chǎn)品歷史試驗及在軌應用情況，在軌工況分析和故障模式分析數(shù)據(jù)，所開展加速壽命試驗的考核標準、試驗狀態(tài)、試驗環(huán)境條件、試驗溫度、轉動次數(shù)、試驗前后物理特性檢驗等數(shù)據(jù)，基于指數(shù)分布模型進行可靠性評估，針對主要失效模式進行壽命預測。

3.6 發(fā)現(xiàn)知識

航天器試驗數(shù)據(jù)記錄著航天器所有有關試驗數(shù)據(jù)，透射著深邃的規(guī)律和知識。利用統(tǒng)計分析和人工智能，通過對歷史航天器和在試驗航天器海量異構多源試驗數(shù)據(jù)以及試驗中故障案例的匯總、分析和比較，對整個試驗過程進行剖析和精細建模，開展關聯(lián)度分析、時間序列分析、分類分析、聚類分析、概念分類、偏差檢測、趨勢預測、信息摘要提取等處理，從航天器試驗數(shù)據(jù)中挖掘專業(yè)、工程和管理等維度的隱性知識，形成航天器試驗標準規(guī)范、典型流程和模板、過程向導、重用庫等，用于后續(xù)航天器設計、制造和試驗，基于知識進行航天器系統(tǒng)研發(fā)設計和系統(tǒng)工程管理，從前端避免問題的發(fā)生，達到發(fā)現(xiàn)新知識、提升新能力的目的。

3.7 虛擬試驗

航天器虛擬試驗是一種基于數(shù)字模型的航天器試驗數(shù)據(jù)產(chǎn)生、獲取、分析和評價的系統(tǒng)工程過程，以建模仿真、虛擬現(xiàn)實和知識工程方法為基礎。大數(shù)據(jù)提供了一個標準的數(shù)據(jù)采集、存儲、分析、應用和展示平臺，有力支撐虛擬試驗體系的構建，解決虛擬試驗海量數(shù)據(jù)、計算復雜度、實時性、開放性、資源分散、數(shù)據(jù)異構、數(shù)據(jù)可視化的問題，并可采用各類中間件構建“虛實結合”的數(shù)據(jù)融合機制，實現(xiàn)數(shù)字化設計、虛擬試驗驗證、實物試驗的統(tǒng)一集成。通過虛擬試驗，提前發(fā)現(xiàn)并糾正航天器設計和試驗設計的薄弱環(huán)節(jié)，提高真實試驗的成功率和有效性[14]。如對于安裝了太陽翼和大型在軌可展開天線的航天器，采用數(shù)字化模型將機、電、熱等專業(yè)知識進行綜合，按照設計數(shù)據(jù)開展虛擬的入軌展開試驗，對入軌后溫度、展開軌跡、展開過程干涉情況、阻力矩、動力學特性、電纜運動情況進行分析，實現(xiàn)可視化顯示，并給出試驗結論和建議。

4 總結

本文分析了航天器試驗數(shù)據(jù)的典型特征，設計了用于航天器試驗的大數(shù)據(jù)系統(tǒng)，闡述了航天器試驗大數(shù)據(jù)系統(tǒng)的典型應用與展望。大數(shù)據(jù)技術的引入提高了航天器試驗數(shù)據(jù)的采集、存儲、處理、分析和應用水平。航天器試驗的信息化建設任重道遠，需根據(jù)航天器系統(tǒng)工程特點，密切關注且積極引入當今世界先進的信息化技術和管理思想，并做好本地化工作，實現(xiàn)航天器試驗全業(yè)務、全過程、全要素的數(shù)字化、模型化、可視化、網(wǎng)絡化、智能化，從而提高航天器研制水平。