趙振杰,閆月暉,秦緒國,陳世東
(北京航天長征飛行器研究所,北京 100076)
試驗(yàn)貫穿航天產(chǎn)品設(shè)計(jì)與生產(chǎn)的整個(gè)過程,在航天產(chǎn)品研制的各個(gè)階段尤其是工程研制階段總體與分系統(tǒng)均需要開展大量的科學(xué)試驗(yàn)以驗(yàn)證產(chǎn)品設(shè)計(jì)的合理性、可靠性及兼容性[1]。試驗(yàn)為產(chǎn)品設(shè)計(jì)、改進(jìn)及制造過程的故障診斷提供了重要的數(shù)據(jù)支撐,是產(chǎn)品研發(fā)過程中不可或缺的重要環(huán)節(jié)。
近年來,航天領(lǐng)域產(chǎn)品更新?lián)Q代的周期愈來愈短,系統(tǒng)和技術(shù)的復(fù)雜性致使產(chǎn)品研制過程中對(duì)應(yīng)的工程試驗(yàn)也越來越多,傳統(tǒng)依靠人工對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行管理的方式缺乏統(tǒng)一的試驗(yàn)管理機(jī)制,導(dǎo)致企業(yè)不同試驗(yàn)成員間,尤其是不同部門間的試驗(yàn)數(shù)據(jù)不能共享,同時(shí)試驗(yàn)數(shù)據(jù)的完整性、安全性也難以保證,從數(shù)據(jù)中獲取規(guī)律,實(shí)現(xiàn)試驗(yàn)知識(shí)和經(jīng)驗(yàn)的積累,更是難上加難。
隨著信息處理和分析技術(shù)的飛速發(fā)展,大數(shù)據(jù)時(shí)代已經(jīng)到來[2]?;诖髷?shù)據(jù)技術(shù)強(qiáng)大的數(shù)據(jù)處理能力可從海量試驗(yàn)數(shù)據(jù)中挖掘出有價(jià)值的信息,通過分析這些信息,找到試驗(yàn)測(cè)試中隱藏的數(shù)據(jù)規(guī)律,指導(dǎo)工程人員開展產(chǎn)品的優(yōu)化設(shè)計(jì)。因此,本文通過開發(fā)基于大數(shù)據(jù)的航天試驗(yàn)數(shù)據(jù)管理系統(tǒng),實(shí)現(xiàn)航天產(chǎn)品海量試驗(yàn)數(shù)據(jù)的規(guī)范管理與高效應(yīng)用。
航天產(chǎn)品在研制過程中積累了豐富的試驗(yàn)數(shù)據(jù),但試驗(yàn)數(shù)據(jù)管理方式陳舊、低效,往往通過人工整理形成數(shù)據(jù)包絡(luò)分析,缺乏體系化的挖掘?qū)Ρ?、評(píng)估仿真等手段,不利于航天產(chǎn)品試驗(yàn)數(shù)據(jù)資源的共享,具體表現(xiàn):
1)缺乏統(tǒng)一的數(shù)據(jù)管理平臺(tái)。大量的試驗(yàn)數(shù)據(jù)、仿真數(shù)據(jù)以不同的方式在個(gè)人電腦或部門級(jí)試驗(yàn)數(shù)據(jù)管理平臺(tái)中進(jìn)行分散管理,缺乏統(tǒng)一的保存管理機(jī)制,難以實(shí)時(shí)查詢和共享,且數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系無法保存,難以快速實(shí)現(xiàn)跨型號(hào)數(shù)據(jù)縱向比對(duì)。
2)缺少規(guī)范化的數(shù)據(jù)管理手段。試驗(yàn)數(shù)據(jù)所用的各種采集設(shè)備、測(cè)試儀器、測(cè)試系統(tǒng)和處理軟件來自不同廠家,型號(hào)及版本不同,所生成的試驗(yàn)數(shù)據(jù)格式不一致,缺乏描述性信息,嚴(yán)重影響了試驗(yàn)數(shù)據(jù)的使用效率。
3)對(duì)大數(shù)據(jù)處理與應(yīng)用經(jīng)驗(yàn)不足。航天產(chǎn)品飛行試驗(yàn)數(shù)據(jù)單次可達(dá)幾十G,無論是個(gè)人電腦還是試驗(yàn)系統(tǒng)管理與分析處理都比較困難,因此,試驗(yàn)大數(shù)據(jù)管理與應(yīng)用是亟待解決的重要難題。
為實(shí)現(xiàn)航天產(chǎn)品從“任務(wù)型”研制到“任務(wù)與能力型結(jié)合”研制的跨越,需要對(duì)現(xiàn)有的試驗(yàn)數(shù)據(jù)管理能力進(jìn)行提升,具體需求:
1)滿足海量試驗(yàn)數(shù)據(jù)管理的需求。航天產(chǎn)品研制是一項(xiàng)多學(xué)科、多專業(yè)的復(fù)雜系統(tǒng)工程,產(chǎn)品研制過程中涉及結(jié)構(gòu)、強(qiáng)度、材料和控制等多專業(yè)大量的實(shí)物/半實(shí)物仿真試驗(yàn),形成的試驗(yàn)數(shù)據(jù)量從1MB到100G不等,對(duì)數(shù)據(jù)的管理、集成、分析和評(píng)估必須更加迅速、高效和自動(dòng)化。
2)滿足試驗(yàn)數(shù)據(jù)集成化的需求。通過本系統(tǒng)建設(shè)需解決分散的試驗(yàn)數(shù)據(jù)進(jìn)行收集和匯總,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、有序管理,保證了試驗(yàn)信息的完備性,并防止由于人為原因?qū)е略囼?yàn)數(shù)據(jù)丟失或損壞。
3)提高試驗(yàn)數(shù)據(jù)后處理效率。由于不同專業(yè)的試驗(yàn)數(shù)據(jù)格式不統(tǒng)一、試驗(yàn)人員采用的試驗(yàn)數(shù)據(jù)處理軟件(或算法)種類繁多,在試驗(yàn)數(shù)據(jù)后期處理過程中,需要技術(shù)人員耗費(fèi)大量的人力進(jìn)行處理,提供試驗(yàn)數(shù)據(jù)后處理統(tǒng)一集成平臺(tái),為數(shù)據(jù)處理提供便利。
4)滿足試驗(yàn)數(shù)據(jù)再利用的需求。建立基于大數(shù)據(jù)的試驗(yàn)數(shù)據(jù)管理系統(tǒng)可以實(shí)現(xiàn)對(duì)歷史試驗(yàn)數(shù)據(jù)重新整理,歸納并綜合分析,為后續(xù)產(chǎn)品設(shè)計(jì)優(yōu)化積累數(shù)據(jù)基礎(chǔ)。
系統(tǒng)采用基于B/S的三層體系架構(gòu),三層架構(gòu)分別為數(shù)據(jù)庫層、服務(wù)器層和客戶端層。
數(shù)據(jù)庫層采用國際流行的Oralce關(guān)系數(shù)據(jù)庫及Clickhouse大數(shù)據(jù)庫,Clickhouse數(shù)據(jù)庫具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)和查詢能力,適用于海量數(shù)據(jù)管理,具有良好的穩(wěn)定性和擴(kuò)充性。
服務(wù)器層由多個(gè)模塊組成,系統(tǒng)支持大量用戶并發(fā)訪問,系統(tǒng)業(yè)務(wù)邏輯和業(yè)務(wù)流程都在服務(wù)器端進(jìn)行處理,當(dāng)服務(wù)器超負(fù)荷時(shí),能通過服務(wù)的集群和負(fù)載均衡技術(shù)來解決多用戶并發(fā)訪問的問題,確保系統(tǒng)正常運(yùn)行。
客戶端提供與用戶交互的可視化工具和操作界面,方便用戶快捷地完成試驗(yàn)配置、試驗(yàn)數(shù)據(jù)查詢、數(shù)據(jù)分析繪圖等工作。系統(tǒng)技術(shù)架構(gòu)如圖1所示。
系統(tǒng)功能設(shè)計(jì)遵循符合Java EE規(guī)范的多層、MVC、分布式架構(gòu)模式,采用組件化、動(dòng)態(tài)化的軟件技術(shù),利用一致的可共享的數(shù)據(jù)模型,以提高系統(tǒng)的靈活性、可擴(kuò)展性、安全性及并發(fā)處理能力;同時(shí),通過導(dǎo)入/導(dǎo)出、標(biāo)準(zhǔn)接口等方式,實(shí)現(xiàn)與其他信息系統(tǒng)的集成。
航天產(chǎn)品試驗(yàn)數(shù)據(jù)管理系統(tǒng)采用組件技術(shù)將界面控制、業(yè)務(wù)邏輯和數(shù)據(jù)映射分離,實(shí)現(xiàn)系統(tǒng)內(nèi)部的松耦合,以靈活、快速地響應(yīng)業(yè)務(wù)變化對(duì)系統(tǒng)的需求。系統(tǒng)層次結(jié)構(gòu)總體上劃分為客戶層、統(tǒng)一接入層、界面控制層、應(yīng)用邏輯層、公共服務(wù)層、數(shù)據(jù)資源層和基礎(chǔ)架構(gòu)平臺(tái),通過各層次系統(tǒng)組件間服務(wù)的承載關(guān)系,實(shí)現(xiàn)系統(tǒng)功能,具體如圖2所示。
圖2 系統(tǒng)功能架構(gòu)
航天試驗(yàn)數(shù)據(jù)管理系統(tǒng)包括工作臺(tái)面、試驗(yàn)數(shù)據(jù)管控、試驗(yàn)流程管理等7個(gè)功能模塊。
工作臺(tái)面為用戶提供任務(wù)、流程、數(shù)據(jù)可視化及系統(tǒng)管理界面,可依據(jù)用戶業(yè)務(wù)需求開展個(gè)性化定制工作,極大地提高工作便捷性和工作效率。
試驗(yàn)數(shù)據(jù)管控包括數(shù)據(jù)總覽、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢和數(shù)據(jù)授權(quán)四方面內(nèi)容。其中數(shù)據(jù)總覽支持以BOM形式按專業(yè)、型號(hào)、數(shù)據(jù)來源等節(jié)點(diǎn)查看試驗(yàn)數(shù)據(jù),支持BOM結(jié)構(gòu)按專業(yè)進(jìn)行自定義功能。數(shù)據(jù)導(dǎo)入支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的批量上傳,采用基于MongoDB的大數(shù)據(jù)技術(shù)實(shí)現(xiàn)大文件的解析入庫。數(shù)據(jù)查詢提供固定查詢、自定義查詢等多種查詢方式,查詢結(jié)果在系統(tǒng)中以圖形化的方式進(jìn)行顯示。數(shù)據(jù)授權(quán)實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)先授權(quán)后查看的原則,可對(duì)單個(gè)試驗(yàn)數(shù)據(jù)進(jìn)行獨(dú)立授權(quán),有效杜絕低密級(jí)人員查看高密級(jí)試驗(yàn)數(shù)據(jù)的違規(guī)問題產(chǎn)生。
流程管理包括流程定義、流程執(zhí)行、流程模板和流程監(jiān)控四方面的功能,流程定義提供面向?qū)ο?、交互式圖形的流程定義模式;流程執(zhí)行在流程驅(qū)動(dòng)的基礎(chǔ)上,實(shí)現(xiàn)流程的發(fā)起、終止、退回等功能;流程模板可將定義后的流程發(fā)布或制作為模板,實(shí)現(xiàn)流程的復(fù)用;流程監(jiān)控提供流程執(zhí)行狀態(tài)、進(jìn)度監(jiān)控和統(tǒng)計(jì)報(bào)表功能,可使流程發(fā)起人員及審批人員及時(shí)獲得流程的最新狀態(tài)。
試驗(yàn)數(shù)據(jù)分析實(shí)現(xiàn)用戶對(duì)入庫存儲(chǔ)數(shù)據(jù)的后處理需求,包括數(shù)據(jù)處理算法庫、自研數(shù)據(jù)處理算法擴(kuò)展和數(shù)據(jù)分析處理工具集成功能。其中數(shù)據(jù)處理算法庫包含常用的預(yù)處理算法及公式編輯器,如偏置、均方根、插值和擬合等,滿足用戶對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行分析處理的基本功能;自研數(shù)據(jù)處理算法擴(kuò)展提供對(duì)用戶自研算法及第三方軟件算法包的支持,可能將用戶自開發(fā)或第三方算法按照系統(tǒng)的規(guī)則編譯為.dll或.class接入到系統(tǒng)中,完成專業(yè)特定需求的分析處理;數(shù)據(jù)分析處理工具集成可實(shí)現(xiàn)與Origin、Matlab、Tecplot等軟件的集成,實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)直接在專用分析軟件中打開并進(jìn)行分析,并通過數(shù)據(jù)回傳的方式將數(shù)據(jù)分析結(jié)果回傳至系統(tǒng),實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)管理系統(tǒng)與分析軟件的閉環(huán)操作。
試驗(yàn)報(bào)告管理包括報(bào)告模板自定義、試驗(yàn)報(bào)報(bào)告自動(dòng)生成功能,報(bào)告模板自定義支持用戶靈活定義報(bào)告內(nèi)容和格式,建立報(bào)告與系統(tǒng)數(shù)據(jù)的映射關(guān)系;試驗(yàn)報(bào)告自動(dòng)生成功能實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)、圖片、分析曲線的自動(dòng)填寫,自動(dòng)化生成試驗(yàn)報(bào)告。
系統(tǒng)提供一套滿足航天產(chǎn)品數(shù)據(jù)安全管理機(jī)制以保障試驗(yàn)數(shù)據(jù)的存儲(chǔ)與保密安全,通過配置管理、模型管理、組織管理、權(quán)限管理、日志管理和三員管理等功能實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)多層次、全方位安全管控。
系統(tǒng)工具集包括數(shù)據(jù)建模工具、數(shù)據(jù)字典、備份與恢復(fù)、數(shù)據(jù)顯示控件及集成接口功能,無需代碼開發(fā)可實(shí)現(xiàn)系統(tǒng)工具的自定義配置功能。通過定義標(biāo)準(zhǔn)的(JSON格式)、通用的數(shù)據(jù)集成接口,可實(shí)現(xiàn)與多學(xué)科優(yōu)化設(shè)計(jì)系統(tǒng)、仿真系統(tǒng)等快速集成,實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)與第三方系統(tǒng)的數(shù)據(jù)交互,避免信息孤島現(xiàn)象的產(chǎn)生。
航天某單位產(chǎn)品研制涉及空氣動(dòng)力、結(jié)構(gòu)、強(qiáng)度、控制等多個(gè)專業(yè),在整個(gè)產(chǎn)品研制周期內(nèi)往往會(huì)產(chǎn)生大量的試驗(yàn)數(shù)據(jù),具有試驗(yàn)數(shù)據(jù)種類多、試驗(yàn)數(shù)量大的特點(diǎn)。通過本系統(tǒng)在產(chǎn)品研制中的全面應(yīng)用,將試驗(yàn)業(yè)務(wù)和型號(hào)研制各環(huán)節(jié)有機(jī)結(jié)合,打通產(chǎn)品研制業(yè)務(wù)的信息孤島,實(shí)現(xiàn)對(duì)試驗(yàn)業(yè)務(wù)各階段各環(huán)節(jié)的工作進(jìn)行全面數(shù)字化專業(yè)協(xié)同,以科學(xué)高效的管理方式提高工作效率,提供全面的數(shù)據(jù)比對(duì),達(dá)到改進(jìn)產(chǎn)品設(shè)計(jì),提高產(chǎn)品質(zhì)量的目標(biāo),最終提高企業(yè)核心競(jìng)爭力。
本文通過對(duì)航天某單位試驗(yàn)數(shù)據(jù)管理現(xiàn)狀及管理需求進(jìn)行分析,開展了基于大數(shù)據(jù)技術(shù)的試驗(yàn)數(shù)據(jù)管理系統(tǒng)建設(shè),實(shí)現(xiàn)了海量試驗(yàn)數(shù)據(jù)的快速批量導(dǎo)入、試驗(yàn)數(shù)據(jù)分析、試驗(yàn)報(bào)告自動(dòng)生成及與第三方系統(tǒng)集成等功能,為產(chǎn)品試驗(yàn)完成后進(jìn)行試驗(yàn)數(shù)據(jù)的長期存儲(chǔ)、數(shù)據(jù)判讀、數(shù)據(jù)共享、故障分析和技術(shù)改進(jìn)等提供重要參考依據(jù)。