趙瑞國(guó),馬 杰,何志勇,李 君
(西安航天動(dòng)力研究所,陜西西安710100)
隨著計(jì)算機(jī)軟硬件技術(shù)的迅猛發(fā)展,數(shù)據(jù)庫(kù)技術(shù)在各行各業(yè)得到了越來(lái)越廣泛的應(yīng)用。應(yīng)用數(shù)據(jù)庫(kù)技術(shù)針對(duì)液體火箭發(fā)動(dòng)機(jī)熱試車(chē)中獲取的高速采集數(shù)據(jù)進(jìn)行存儲(chǔ)和管理對(duì)于數(shù)據(jù)的高效存儲(chǔ)、快速提取及多樣化的后處理具有重要意義。
為了解發(fā)動(dòng)機(jī)及其零部件的動(dòng)態(tài)響應(yīng)特性,需在試驗(yàn)中以高采樣速率(通常為25600 kHz)采集大量的振動(dòng)、壓力脈動(dòng)、位移及轉(zhuǎn)速等數(shù)據(jù),這些數(shù)據(jù)具有數(shù)據(jù)量大、格式復(fù)雜、后處理分析算法多樣等特性。這些數(shù)據(jù)及其分析結(jié)果,以往存貯在磁帶和不同的計(jì)算機(jī)里,由于數(shù)據(jù)格式多樣、分析方法不同等原因,造成對(duì)數(shù)據(jù)的檢索、調(diào)用與后處理都十分困難。鑒于上述原因,需要一個(gè)統(tǒng)一的、規(guī)范的、安全的、便捷的液體火箭發(fā)動(dòng)機(jī)數(shù)據(jù)管理平臺(tái)來(lái)解決以上問(wèn)題。
為此研制開(kāi)發(fā)了基于SQLSever數(shù)據(jù)庫(kù)平臺(tái)的發(fā)動(dòng)機(jī)試車(chē)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)較好的解決了上述問(wèn)題。在數(shù)據(jù)庫(kù)研制過(guò)程中針對(duì)數(shù)據(jù)庫(kù)架構(gòu)及數(shù)據(jù)存儲(chǔ)方式等關(guān)鍵技術(shù)進(jìn)行了深入的研究。
發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)具有數(shù)據(jù)量大、格式復(fù)雜、后處理分析算法多樣等特性。因而液體火箭發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)與常用的商用、管理、文獻(xiàn)檢索數(shù)據(jù)庫(kù)及主要針對(duì)CADCAM設(shè)計(jì)的工程數(shù)據(jù)庫(kù)均有一定的差異,主要表現(xiàn)在:
1)液體火箭發(fā)動(dòng)機(jī)的技術(shù)術(shù)語(yǔ)定義復(fù)雜;
2) 發(fā)動(dòng)機(jī)本身作為實(shí)體對(duì)象具有多型號(hào)、同一型號(hào)具有多批次的特點(diǎn);
3)試驗(yàn)種類多,試驗(yàn)次數(shù)多;
4)數(shù)據(jù)來(lái)源于多種采集設(shè)備,數(shù)據(jù)類型多;
5)數(shù)據(jù)之間的關(guān)系復(fù)雜;
6)數(shù)據(jù)量極大;
7)需采用的分析手段多樣。
使用和管理上存在較多的差異如表1所示。
數(shù)據(jù)庫(kù)主要致力于建立試驗(yàn)數(shù)據(jù)的核心存儲(chǔ)模型和系統(tǒng),具體目標(biāo)包括:
1)提供所有數(shù)據(jù)資源的存儲(chǔ)模型,統(tǒng)一的存儲(chǔ)資源;
2)滿足用戶對(duì)數(shù)據(jù)的高速存取需求;
3)提供對(duì)數(shù)據(jù)的完整的安全備份能力;
4)提供對(duì)數(shù)據(jù)的生命周期管理能力;
5)提供對(duì)數(shù)據(jù)處理的擴(kuò)展開(kāi)發(fā)能力。
1.3.1 組織結(jié)構(gòu)
與本數(shù)據(jù)庫(kù)相關(guān)的用戶包括發(fā)動(dòng)機(jī)設(shè)計(jì)室和相關(guān)研究室專業(yè)組,組織結(jié)構(gòu)如圖1所示。
圖1 數(shù)據(jù)庫(kù)用戶結(jié)構(gòu)組織圖Fig.1 Structural diagram of database users
1.3.2 業(yè)務(wù)流程分析
兩個(gè)研究室的業(yè)務(wù)流程如圖2所示。
圖2 數(shù)據(jù)庫(kù)用戶業(yè)務(wù)流程圖Fig.2 Business flow chart of database user
根據(jù)用戶的工作特點(diǎn)、需求和業(yè)務(wù)流程分析,設(shè)計(jì)了滿足需求的數(shù)據(jù)庫(kù)架構(gòu),高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)由若干試驗(yàn)數(shù)據(jù)子庫(kù)組成,基本原理如圖3所示,其結(jié)構(gòu)組成如圖4所示。
從數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)圖可以看出,高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)系統(tǒng)分為三個(gè)部分。
1)基礎(chǔ)數(shù)據(jù)庫(kù):用于存儲(chǔ)和管理原始試驗(yàn)數(shù)據(jù)。
2)通用數(shù)據(jù)庫(kù):用于管理通用算法處理后的試驗(yàn)數(shù)據(jù)及存儲(chǔ)通用數(shù)據(jù)處理程序。
3)專用數(shù)據(jù)庫(kù):負(fù)責(zé)存儲(chǔ)經(jīng)過(guò)專用的數(shù)據(jù)處理方法處理過(guò)的結(jié)果數(shù)據(jù)。
圖3 試驗(yàn)數(shù)據(jù)庫(kù)運(yùn)行原理圖Fig.3 Working principle of testing database
圖4 高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)圖Fig.4 Structure of high-speed data acquisition database
1.4.1 基礎(chǔ)數(shù)據(jù)庫(kù)
基礎(chǔ)數(shù)據(jù)庫(kù)負(fù)責(zé)管理各類試驗(yàn)信息和試驗(yàn)數(shù)據(jù),其主要功能包括:原始數(shù)據(jù)導(dǎo)入、原始數(shù)據(jù)管理、原始數(shù)據(jù)查詢、原始數(shù)據(jù)導(dǎo)出、原始數(shù)據(jù)備份及原始數(shù)據(jù)的訪問(wèn)控制。
基礎(chǔ)數(shù)據(jù)庫(kù)最主要的功能就是管理原始數(shù)據(jù),遵循數(shù)據(jù)完整性管理的原則,按照型號(hào)樹(shù)的方式存儲(chǔ)在系統(tǒng)中,存儲(chǔ)結(jié)構(gòu)如圖5所示。
圖5 基礎(chǔ)數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)圖Fig.5 Storage structure of basic database
1.4.2 通用數(shù)據(jù)庫(kù)
系統(tǒng)最主要的功能是管理經(jīng)過(guò)通用算法處理后的結(jié)果數(shù)據(jù)。從圖6可以看出“通用試驗(yàn)數(shù)據(jù)庫(kù)”分為三個(gè)部分:通用試驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)、通用算法及算法配置。
圖6 通用數(shù)據(jù)庫(kù)的結(jié)構(gòu)圖Fig.6 Structure of universal database
通用數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)如圖7所示??梢钥闯觯ㄓ脭?shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方式也是以型號(hào)樹(shù)為基礎(chǔ),對(duì)于試驗(yàn)的原始數(shù)據(jù)可以進(jìn)行全程的數(shù)據(jù)處理,也可以根據(jù)工況分段進(jìn)行數(shù)據(jù)處理。這樣做可提高試驗(yàn)數(shù)據(jù)查詢及數(shù)據(jù)導(dǎo)出的速度。
圖7 通用數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)Fig.7 Storage structure of universal database
1.4.3 專用數(shù)據(jù)庫(kù)
專用試驗(yàn)數(shù)據(jù)庫(kù)結(jié)構(gòu)分為兩個(gè)部分:專用試驗(yàn)數(shù)據(jù)倉(cāng)庫(kù)和臨時(shí)數(shù)據(jù)存儲(chǔ)區(qū)域。
專用數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)如圖8所示。專用數(shù)據(jù)庫(kù)功能包括專用數(shù)據(jù)管理、專用數(shù)據(jù)查詢、數(shù)據(jù)顯示及臨時(shí)數(shù)據(jù)存儲(chǔ)區(qū)域管理。
圖8 專用數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)圖Fig.8 Storage structure of private database
由于傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)的存儲(chǔ)模式很難存儲(chǔ)數(shù)據(jù)量極大的試驗(yàn)數(shù)據(jù),發(fā)動(dòng)機(jī)高速采集試驗(yàn)數(shù)據(jù)工程數(shù)據(jù)庫(kù)采用了海量數(shù)據(jù)存儲(chǔ)的新方式。這是一種基于關(guān)系數(shù)據(jù)管理和文件管理的模式,參考了PDM等相關(guān)領(lǐng)域的海量數(shù)據(jù)存儲(chǔ)概念,由于試驗(yàn)數(shù)據(jù)的復(fù)雜性,它又與傳統(tǒng)PDM存儲(chǔ)方式還有許多的不同。它是基于關(guān)系數(shù)據(jù)庫(kù)和海量試驗(yàn)數(shù)據(jù)混合存儲(chǔ)的系統(tǒng),它需要具有一個(gè)統(tǒng)一的數(shù)據(jù)管理平臺(tái),對(duì)數(shù)據(jù)使用者屏蔽底層數(shù)據(jù)存儲(chǔ),負(fù)責(zé)提供對(duì)試驗(yàn)數(shù)據(jù)的各種訪問(wèn)、管理能力。試驗(yàn)數(shù)據(jù)庫(kù)和常見(jiàn)的商業(yè)數(shù)據(jù)庫(kù)的特點(diǎn)比較如表2所示。
表2 商用數(shù)據(jù)庫(kù)與試驗(yàn)數(shù)據(jù)庫(kù)的比較Tab.2 Comparison of comercial database and testing database
根據(jù)試驗(yàn)數(shù)據(jù)自身的特點(diǎn),為了保證試驗(yàn)數(shù)據(jù)存儲(chǔ)的高效性,采用了大型關(guān)系數(shù)據(jù)庫(kù)和海量文件系統(tǒng)結(jié)合的策略。用大型關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)化試驗(yàn)數(shù)據(jù)信息以保證數(shù)據(jù)存儲(chǔ)和查詢的高效性;同時(shí)用海量文件存儲(chǔ)系統(tǒng)存儲(chǔ)非結(jié)構(gòu)化的試驗(yàn)數(shù)據(jù)信息,確保對(duì)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和訪問(wèn)的安全、高效性。
提供一套完備的、針對(duì)試驗(yàn)數(shù)據(jù)特點(diǎn)的存儲(chǔ)模型和服務(wù),其中包含用于存儲(chǔ)結(jié)構(gòu)化試驗(yàn)數(shù)據(jù)的大型關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)和用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的工程文件系統(tǒng)。其中包括:大型關(guān)系數(shù)據(jù)庫(kù)、工程文件系統(tǒng)(Engineer File System) 及工程試驗(yàn)存儲(chǔ)EngTDS。
大型關(guān)系型數(shù)據(jù)庫(kù)負(fù)責(zé)存儲(chǔ)結(jié)構(gòu)化的試驗(yàn)數(shù)據(jù)信息,包括與試驗(yàn)相關(guān)的任務(wù)配置、規(guī)范、流程、環(huán)境、檢測(cè)、參數(shù)等各種信息。工程文件系統(tǒng)針對(duì)大量的非結(jié)構(gòu)化的工程試驗(yàn)數(shù)據(jù),提供基于文件的存儲(chǔ)模型。保證這些非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的完整性、安全性及高效性。工程試驗(yàn)存儲(chǔ)EngTDS提供統(tǒng)一的工程試驗(yàn)數(shù)據(jù)存儲(chǔ)訪問(wèn)服務(wù),屏蔽掉底層關(guān)系型數(shù)據(jù)庫(kù)和工程文件系統(tǒng)的差異,系統(tǒng)抽象出EngTDS層,向外圍的功能模塊提供統(tǒng)一的存儲(chǔ)訪問(wèn)模型。
MTDS主要致力于解決海量試驗(yàn)數(shù)據(jù)存儲(chǔ)的難題。試車(chē)過(guò)程中采集的高速采集數(shù)據(jù)數(shù)據(jù)量與測(cè)試通道數(shù)量及采樣速率有直接的關(guān)系,單次長(zhǎng)程試車(chē)獲得的數(shù)據(jù)量往往超過(guò)2GB,數(shù)據(jù)庫(kù)總在線試驗(yàn)數(shù)據(jù)也有可能達(dá)到TB級(jí)。在這種情況下,采用傳統(tǒng)模式(直接存儲(chǔ)在硬盤(pán)上)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足數(shù)據(jù)管理需求。另外,由于試驗(yàn)數(shù)據(jù)的特殊性(比如:格式多樣等等)和需求多樣性(數(shù)據(jù)分析、數(shù)據(jù)處理等等),直接采用基于文件的存儲(chǔ)系統(tǒng)也不能滿足用戶的需求。
為此,需要系統(tǒng)采用針對(duì)海量試驗(yàn)數(shù)據(jù)的存儲(chǔ)模型,并能提供更為有效的數(shù)據(jù)維護(hù)管理工具,達(dá)到數(shù)據(jù)存儲(chǔ)的安全、高效,滿足用戶的不同需求。
MTDS的使用,將主要致力于解決以下問(wèn)題:海量級(jí)(上10TB)在線數(shù)據(jù)存儲(chǔ)能力、數(shù)據(jù)生命周期管理能力及數(shù)據(jù)處理擴(kuò)展能力。
MTDS運(yùn)行框架主要由三部分組成:
1)發(fā)動(dòng)機(jī)海量試驗(yàn)數(shù)據(jù)存儲(chǔ)模型:實(shí)現(xiàn)數(shù)據(jù)以統(tǒng)一的存儲(chǔ)模型進(jìn)行存儲(chǔ);
2)擴(kuò)展引擎接口:提供運(yùn)行框架功能模塊的擴(kuò)展能力;
3)發(fā)動(dòng)機(jī)核心試驗(yàn)數(shù)據(jù)存儲(chǔ)服務(wù):對(duì)其他功能模塊提供核心存儲(chǔ)服務(wù)。
MTDS采用了最先進(jìn)的全開(kāi)放式架構(gòu)理念,讓海量數(shù)據(jù)存儲(chǔ)的各個(gè)功能都可以根據(jù)用戶需求重新定制開(kāi)發(fā)(甚至用戶自身開(kāi)發(fā))。在運(yùn)行框架中提供了海量試驗(yàn)數(shù)據(jù)存儲(chǔ)的核心模型結(jié)構(gòu),同時(shí)還提供了用于擴(kuò)展功能開(kāi)發(fā)的重要結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)服務(wù)。
MTDS采用幾乎全開(kāi)放式的體系結(jié)構(gòu),并且采用Provider編程模式。用戶可以開(kāi)發(fā)出各種不同的Provider,然后通過(guò)簡(jiǎn)單的配置,直接連接到系統(tǒng)中。采用這種編程模式,用戶可以針對(duì)不同的需求,開(kāi)發(fā)出各種不同的功能擴(kuò)展模塊。
海量數(shù)據(jù)存儲(chǔ)的寫(xiě)入及搜索方式與傳統(tǒng)數(shù)據(jù)庫(kù)有很大的不同,決定了海量數(shù)據(jù)的存儲(chǔ)的效率的大幅度的提高。傳統(tǒng)意義上的數(shù)據(jù)庫(kù)的入庫(kù)效率則由數(shù)據(jù)庫(kù)的導(dǎo)入效率決定的。
采用虛擬數(shù)據(jù)和工程實(shí)際中存在的某次試車(chē)數(shù)據(jù)為例,試車(chē)時(shí)間400 s,采樣通道40個(gè),單通道的點(diǎn)采樣率為25600/s,數(shù)據(jù)約為700 M,進(jìn)行了兩種寫(xiě)入方式的速度對(duì)比,對(duì)比結(jié)果如表3所示。
表3 不同存儲(chǔ)方式數(shù)據(jù)導(dǎo)入時(shí)間對(duì)比Tab.3 Comparison of data import time in different storage modes
在搜索過(guò)程中,海量數(shù)據(jù)存儲(chǔ)系統(tǒng)可以很快的在數(shù)據(jù)庫(kù)中提取相關(guān)的時(shí)間信息,找到與之相對(duì)應(yīng)的文件,提取相應(yīng)的數(shù)據(jù)行;而商業(yè)數(shù)據(jù)庫(kù)則要化大量的時(shí)間提取相應(yīng)的文件或數(shù)據(jù),然后才能對(duì)應(yīng)相應(yīng)的數(shù)據(jù)。
對(duì)比結(jié)果表明,海量數(shù)據(jù)存儲(chǔ)的應(yīng)用解決了傳統(tǒng)商用數(shù)據(jù)庫(kù)在存儲(chǔ)發(fā)動(dòng)機(jī)高速采集試驗(yàn)數(shù)據(jù)上的突出問(wèn)題,使得發(fā)動(dòng)機(jī)高速采集試驗(yàn)數(shù)據(jù)庫(kù)的建設(shè)成為可能。
發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)的建立滿足了工程中的實(shí)際需要,挽救了部分年代已久的寶貴數(shù)據(jù),解決了由于數(shù)據(jù)存放混亂、格式不統(tǒng)一帶來(lái)的數(shù)據(jù)使用效率低下的實(shí)際問(wèn)題,為數(shù)字發(fā)動(dòng)機(jī)研制進(jìn)行了有益的探索,為提高發(fā)動(dòng)機(jī)設(shè)計(jì)手段和能力開(kāi)辟了新路。
針對(duì)發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)的建立,經(jīng)過(guò)需求分析、概念設(shè)計(jì)、邏輯設(shè)計(jì)及物理設(shè)計(jì)等幾個(gè)過(guò)程,提出了合適的發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)的架構(gòu)設(shè)計(jì),設(shè)計(jì)的數(shù)據(jù)庫(kù)架構(gòu)既可滿足使用者對(duì)數(shù)據(jù)的快速調(diào)用,又可滿足數(shù)據(jù)安全、完整的存儲(chǔ),確實(shí)解決了工程中的實(shí)際問(wèn)題。
針對(duì)發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)的建立,提出了將海量數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用數(shù)據(jù)庫(kù),解決了海量數(shù)據(jù)快速存儲(chǔ)的問(wèn)題,使得數(shù)據(jù)庫(kù)的構(gòu)建順利進(jìn)行。
發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)的建立,解決了現(xiàn)有工作中的部分矛盾,由于投入使用時(shí)間較短,實(shí)際應(yīng)用中的存在問(wèn)題還未充分暴露,與數(shù)字發(fā)動(dòng)機(jī)信息平臺(tái)的要求也還有差距,在今后的工作中應(yīng)繼續(xù)開(kāi)展相關(guān)課題的研究,搜集工程數(shù)據(jù)庫(kù)實(shí)際應(yīng)用中出現(xiàn)的問(wèn)題,不斷完善工程數(shù)據(jù)庫(kù),并開(kāi)展該工程數(shù)據(jù)庫(kù)與AVIDM系統(tǒng)的集成研究。
[1]BRAUN S,SETH B.Analysis of repetitive mechanism signature[J].Journal of Sound and Vibration,1980,70(4):513-526.
[2]宗孔德.數(shù)字信號(hào)處理[M].北京:清華大學(xué)出版社,1988.
[3]林君.高速數(shù)字信號(hào)處理原理、器件及應(yīng)用[M].北京:海洋出版社,1993.
[4]曹瑾.航空發(fā)動(dòng)機(jī)共享試驗(yàn)數(shù)據(jù)管理系統(tǒng)的研究與應(yīng)用[J].數(shù)字軍工,2010,(7):41-42.
[5]梁陳劍.JDBC3.0數(shù)據(jù)庫(kù)開(kāi)發(fā)與設(shè)計(jì)[M].北京:希望電子出版社,2001.
[6]O′NEIL Patrick,O′NEIL Elizabeth.數(shù)據(jù)庫(kù)原理、編程與性能[M].北京:機(jī)械工業(yè)出版社,2002.
[7]張鴻江.基于Web的動(dòng)力學(xué)數(shù)據(jù)庫(kù)的研究與開(kāi)發(fā)[J].強(qiáng)度與環(huán)境,2003(3):7-11.
[8]徐敏.設(shè)備故障診斷手冊(cè)[M].西安:西安交通大學(xué)出版社,1998.
[9]趙新民.智能儀器原理及設(shè)計(jì)[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1990.