萊諾斯科技(北京)有限公司 張 力
通過(guò)近年來(lái)國(guó)家持續(xù)投入,航天人的不斷努力,中國(guó)航天事業(yè)取得了長(zhǎng)足進(jìn)步。而在新的時(shí)代,航天也面臨著一些新的轉(zhuǎn)變,首先是由科研向應(yīng)用轉(zhuǎn)變,其次,由單產(chǎn)向批量轉(zhuǎn)變。這些轉(zhuǎn)變意味著航天任務(wù)將附加更多的職能,產(chǎn)品研制的壓力持續(xù)增加,如何通過(guò)信息科技手段來(lái)解決這些問(wèn)題,也成為航天界迫切需要解決的課題。而如何管好、利用好航天器的工程數(shù)據(jù),則是這些問(wèn)題中的重中之重。萊諾斯科技公司依托多年的航天行業(yè)經(jīng)驗(yàn),自主研發(fā)了大數(shù)據(jù)平臺(tái),并成功地應(yīng)用于航天領(lǐng)域,為中國(guó)航天事業(yè)的高速發(fā)展提供助力。
現(xiàn)在航天設(shè)備的研制一方面面臨著批量化的挑戰(zhàn),另一方面,面臨著企業(yè)化運(yùn)營(yíng)的壓力,這意味著航天企業(yè)需要花更少的時(shí)間,更少的資源去完成更多的航天器的研制任務(wù),為了達(dá)到這個(gè)目標(biāo),航天企業(yè)面臨著管理精細(xì)化及生產(chǎn)現(xiàn)代化的變革。同樣,現(xiàn)在的航天設(shè)備由原有的試驗(yàn)性質(zhì)向商用轉(zhuǎn)變,其搭載的有效載荷應(yīng)用也越來(lái)越多,功能越來(lái)越強(qiáng),這些都意味著海量的數(shù)據(jù)將在企業(yè)日常生產(chǎn)與運(yùn)營(yíng)過(guò)程中產(chǎn)生和應(yīng)用,這些使航天企業(yè)對(duì)海量數(shù)據(jù)管理提出了需求:
隨著航天企業(yè)的管理越來(lái)越精細(xì),對(duì)質(zhì)量控制越來(lái)越嚴(yán)格,對(duì)外協(xié)作越來(lái)越密切,使得航天企業(yè)內(nèi)部系統(tǒng)自身產(chǎn)生的信息如:文檔、報(bào)表、圖像、測(cè)試數(shù)據(jù)、在軌數(shù)據(jù)等增長(zhǎng)的越來(lái)越快。據(jù)統(tǒng)計(jì),一個(gè)單機(jī)產(chǎn)品結(jié)束時(shí),往往能產(chǎn)生上GB(109)的文檔及上TB(1012)的測(cè)試數(shù)據(jù)。而在軌數(shù)據(jù)將隨著航天設(shè)備的運(yùn)行更為龐大,這些數(shù)據(jù)日常就分散在各個(gè)研發(fā)人員和技術(shù)負(fù)責(zé)人電腦的硬盤里。一方面,平時(shí)查找非常不方便,設(shè)計(jì)人員大量的時(shí)間浪費(fèi)在資料收集上;另一方面,一旦相關(guān)人員出現(xiàn)變動(dòng)或設(shè)備出現(xiàn)故障,這些數(shù)據(jù)就會(huì)丟失,給企業(yè)帶來(lái)?yè)p失。因此,如何能把這些數(shù)據(jù)集中存儲(chǔ)、統(tǒng)一管理起來(lái),一直是航天企業(yè)數(shù)據(jù)管理迫切需要解決的問(wèn)題。
很久以前,航天系統(tǒng)就有過(guò)建設(shè)仿真、比對(duì)分析、故障診斷及專家系統(tǒng)的想法,也嘗試過(guò)建設(shè)過(guò)一些類似的系統(tǒng),但這些信息系統(tǒng)的應(yīng)用一直沒有大規(guī)模推廣,且應(yīng)用并不是很理想。從技術(shù)上講,大部分瓶頸在于這些系統(tǒng)沒有足夠的計(jì)算能力,處理海量數(shù)據(jù)困難,因此,要把這些龐大的工程數(shù)據(jù)利用起來(lái),為分析仿真系統(tǒng)提供高性能并行計(jì)算是必要的基礎(chǔ)能力。
航天設(shè)備在研制過(guò)程中,產(chǎn)生的工程數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜多樣及關(guān)聯(lián)性強(qiáng)的特點(diǎn),如何在這些數(shù)據(jù)之間建立連接,為用戶提供一個(gè)便捷的數(shù)據(jù)瀏覽界面是航天數(shù)據(jù)管理成敗的關(guān)鍵。利用對(duì)全部歷史數(shù)據(jù)的自由追溯查詢能力,質(zhì)量過(guò)程控制的力度可大幅度提升,同型號(hào)自初樣起各單件數(shù)據(jù)、不同型號(hào)不同階段間所有數(shù)據(jù)內(nèi)容均可橫縱比對(duì),成為追溯數(shù)據(jù)以提升型號(hào)質(zhì)量的利器。
在當(dāng)前情況下,一方面,由于計(jì)算能力不足,很難對(duì)大數(shù)據(jù)量及復(fù)雜的算法進(jìn)行處理分析,另一方面,各設(shè)計(jì)師每一次分析過(guò)程都是一次思考的過(guò)程,而這個(gè)思考過(guò)程沒有任何記錄,一旦下一名設(shè)計(jì)師遇到同樣的問(wèn)題,還需要從頭進(jìn)行嘗試,極大地浪費(fèi)了設(shè)計(jì)師的精力,因此,迫切需要建設(shè)一個(gè)高效統(tǒng)一的數(shù)據(jù)分析平臺(tái),以提升企業(yè)的知識(shí)積累,加速企業(yè)的知識(shí)傳播。
航天設(shè)備的數(shù)據(jù)非常重要,如何讓這些數(shù)據(jù)安全也是航天數(shù)據(jù)管理的一個(gè)難題,一方面,大量數(shù)據(jù)如何安全的存儲(chǔ),如何實(shí)現(xiàn)遠(yuǎn)程的備份與容災(zāi),以保證其物理安全,另一方面,如何控制數(shù)據(jù)的密級(jí),防止數(shù)據(jù)泄密,以保證數(shù)據(jù)傳播安全,是工程數(shù)據(jù)管理的難題之一。
從技術(shù)架構(gòu)上來(lái)看,萊諾斯科技的大數(shù)據(jù)平臺(tái)由三大部分組成,即一個(gè)綜合,兩個(gè)基礎(chǔ)。兩個(gè)基礎(chǔ)是數(shù)據(jù)存儲(chǔ)中心和并行計(jì)算平臺(tái),一個(gè)綜合是工程數(shù)據(jù)管理平臺(tái)。數(shù)據(jù)存儲(chǔ)中心主要解決海量數(shù)據(jù)的存儲(chǔ)的問(wèn)題;并行計(jì)算主要解決大數(shù)據(jù)量的復(fù)雜計(jì)算問(wèn)題;工程數(shù)據(jù)管理平臺(tái)主要解決數(shù)據(jù)的轉(zhuǎn)移、瀏覽、查詢、分析等數(shù)據(jù)管理及可視化的問(wèn)題。如圖1所示,數(shù)據(jù)存儲(chǔ)中心與并行計(jì)算平臺(tái)是工程數(shù)據(jù)管理平臺(tái)的基礎(chǔ),只有具備這兩個(gè)基礎(chǔ)能力,工程數(shù)據(jù)管理平臺(tái)才能為客戶提供多樣的數(shù)據(jù)管理方式,提供高性能的分析手段。
圖1 大數(shù)據(jù)平臺(tái)架構(gòu)圖
整個(gè)平臺(tái)由數(shù)據(jù)存儲(chǔ)設(shè)備及功能性設(shè)備組成,功能設(shè)備主要完成數(shù)據(jù)管理的相關(guān)職能如監(jiān)控設(shè)備、查詢?cè)O(shè)備及分析設(shè)備,存儲(chǔ)設(shè)備用于線性擴(kuò)展系統(tǒng)的存儲(chǔ)容量,見圖2。
圖2 大數(shù)據(jù)平臺(tái)功能設(shè)備
(1)基礎(chǔ)能力
對(duì)于傳統(tǒng)的存儲(chǔ)技術(shù),SAN(SAN網(wǎng)絡(luò)存儲(chǔ)是一種高速網(wǎng)絡(luò)或子網(wǎng)絡(luò),SAN存儲(chǔ)系統(tǒng)提供在計(jì)算機(jī)與存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)傳輸。)架構(gòu)因擴(kuò)展性有限、跨平臺(tái)數(shù)據(jù)共享困難、管理復(fù)雜等問(wèn)題,不能很好的滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)需求。傳統(tǒng)NAS(NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的機(jī)制。)架構(gòu)和設(shè)備由于協(xié)議開銷大、帶寬小、延遲高、可擴(kuò)展性差等原因,不利于海量數(shù)據(jù)的并發(fā)訪問(wèn)。因此,萊諾斯科技的大數(shù)據(jù)平臺(tái)采用并行數(shù)據(jù)存儲(chǔ)系統(tǒng),這些并行存儲(chǔ)系統(tǒng)具有高性能、高擴(kuò)展性,高可用性等特點(diǎn),使得建立一個(gè)集中統(tǒng)一存儲(chǔ)的數(shù)據(jù)中心具備可能。
(2)實(shí)時(shí)數(shù)據(jù)查詢、分析、診斷
對(duì)于傳統(tǒng)的航天設(shè)備地面試驗(yàn),一般情況,每一個(gè)測(cè)試終端均是一臺(tái)單獨(dú)的計(jì)算機(jī),對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行顯示與分析,這樣,由于內(nèi)存及CPU的限制,能處理的數(shù)據(jù)量相當(dāng)有限,遠(yuǎn)遠(yuǎn)不能滿足設(shè)計(jì)人員的需要;而且實(shí)時(shí)數(shù)據(jù)查詢也會(huì)被限制在一個(gè)很短的時(shí)間范圍內(nèi),要做大數(shù)據(jù)量的查詢、分析診斷的話,終端機(jī)器與服務(wù)器的資源會(huì)明顯不足。萊諾斯科技的大數(shù)據(jù)平臺(tái)提供并行計(jì)算平臺(tái),能高效地對(duì)大數(shù)據(jù)量的試驗(yàn)數(shù)據(jù)進(jìn)行處理。同時(shí),每一次的分析過(guò)程也可以統(tǒng)一存儲(chǔ)在數(shù)據(jù)平臺(tái)中。
(3)歷史數(shù)據(jù)的追溯
萊諾斯科技的大數(shù)據(jù)平臺(tái)是一個(gè)統(tǒng)一的數(shù)據(jù)中心,通過(guò)型號(hào)、設(shè)備、任務(wù)等將研制過(guò)程當(dāng)中的工程數(shù)據(jù)組織到了一起。用戶可以對(duì)歷史任務(wù)的工程數(shù)據(jù)進(jìn)行查詢?yōu)g覽回放,甚至,對(duì)于歷史的分析過(guò)程都可以進(jìn)行回放,以避免不同設(shè)計(jì)人員針對(duì)相同問(wèn)題進(jìn)行重復(fù)分析,節(jié)約系統(tǒng)資源與設(shè)計(jì)人員的精力。
(4)故障診斷、系統(tǒng)仿真與健康預(yù)測(cè)
航天器的故障診斷、系統(tǒng)仿真與健康預(yù)測(cè)是一個(gè)復(fù)雜的過(guò)程,牽涉到大量的試驗(yàn)數(shù)據(jù)、在軌數(shù)據(jù)與復(fù)雜的計(jì)算模型,通過(guò)萊諾斯科技的大數(shù)據(jù)平臺(tái),為實(shí)現(xiàn)這些工作提供了基礎(chǔ)能力。
大數(shù)據(jù)平臺(tái)的主要任務(wù)是將航天器在空間和地面的測(cè)試數(shù)據(jù)進(jìn)行統(tǒng)一管理,同時(shí)也可將航天器的在軌數(shù)據(jù)進(jìn)行集中管理和監(jiān)控。數(shù)據(jù)中心由數(shù)據(jù)中心機(jī)房及監(jiān)控室構(gòu)成:機(jī)房安裝存儲(chǔ)服務(wù)器、數(shù)據(jù)分析服務(wù)器、配套網(wǎng)絡(luò)路由交換設(shè)備、空調(diào)防火防靜電環(huán)境;監(jiān)控室提供監(jiān)控工作站及投影大屏。數(shù)據(jù)中心機(jī)房配備50TB的初始容量的存儲(chǔ)服務(wù)機(jī)柜、配套的數(shù)據(jù)服務(wù)器,并預(yù)留足夠未來(lái)擴(kuò)充數(shù)據(jù)管理能力的機(jī)柜空間。數(shù)據(jù)中心的基礎(chǔ)環(huán)境構(gòu)成見圖3。
圖3 數(shù)據(jù)中心的基礎(chǔ)環(huán)境構(gòu)成圖
圖4 大數(shù)據(jù)平臺(tái)
所有航天器的測(cè)試數(shù)據(jù)將統(tǒng)一存儲(chǔ)在大數(shù)據(jù)平臺(tái)中,通過(guò)數(shù)據(jù)查詢?cè)O(shè)備與統(tǒng)計(jì)分析設(shè)備對(duì)數(shù)據(jù)進(jìn)行查詢統(tǒng)計(jì)。用戶通過(guò)客戶端,可以選擇任意航天設(shè)備,任意任務(wù),對(duì)數(shù)據(jù)進(jìn)行展示,同時(shí)也可以選擇多個(gè)設(shè)備的多個(gè)任務(wù)的數(shù)據(jù)進(jìn)行比對(duì)分析,見圖4、圖5。
圖5 數(shù)據(jù)展示
除了對(duì)數(shù)據(jù)進(jìn)行分析,也可以對(duì)任務(wù)的過(guò)程信息進(jìn)行統(tǒng)計(jì),如圖6就是一個(gè)各階段任務(wù)分布的統(tǒng)計(jì)。
圖6 任務(wù)分布統(tǒng)計(jì)圖
航天行業(yè)是一個(gè)技術(shù)密集型企業(yè),在生產(chǎn)過(guò)程當(dāng)中形成了大量的過(guò)程數(shù)據(jù),這些數(shù)據(jù)的規(guī)模是海量的,以前很難處理,現(xiàn)在借助大數(shù)據(jù)的存儲(chǔ)、分析、挖掘及并行計(jì)算技術(shù),我們完全可以做到很多前人無(wú)法做到的事情。
萊諾斯科技(北京)有限公司是一家從事分布式工業(yè)自動(dòng)化測(cè)試和智能監(jiān)控技術(shù)研發(fā)與應(yīng)用、依托中國(guó)航空航天事業(yè)迅速發(fā)展起來(lái)的高新技術(shù)企業(yè)。公司在西安建有自己的研發(fā)中心,研發(fā)的分布式自動(dòng)化測(cè)試和智能監(jiān)控系統(tǒng)已涵蓋了衛(wèi)星、船舶、軍工、大學(xué)、科研院所等各種測(cè)試領(lǐng)域。