鄧國寶，查曉文，劉 濤，馮 燦，薛博文

(中國商飛試飛中心 測試工程部，上海 200120)

0 引言

試飛數(shù)據(jù)主要包括飛行試驗(yàn)采集的時(shí)序數(shù)據(jù)和業(yè)務(wù)流程生成的試飛任務(wù)信息數(shù)據(jù)。飛行試驗(yàn)采集的時(shí)序數(shù)據(jù)具有參數(shù)量多、數(shù)據(jù)體量、數(shù)據(jù)種類多樣化、數(shù)據(jù)隨機(jī)性變化、數(shù)據(jù)多地產(chǎn)生、數(shù)據(jù)時(shí)效性需求高及數(shù)據(jù)價(jià)值大等特征。國產(chǎn)民機(jī)在試飛試驗(yàn)階段，累積了大量的試飛數(shù)據(jù)，規(guī)模達(dá)到了PB級[1-2]。

早期國內(nèi)外試飛數(shù)據(jù)主要采用文本形式存儲，數(shù)據(jù)快速應(yīng)用存在較大困難，數(shù)據(jù)有效關(guān)聯(lián)受到很大限制，造成統(tǒng)文本文件的數(shù)據(jù)管理模式難以滿足日益增長的數(shù)據(jù)存儲與高效應(yīng)用需求[3]。波音、空客等國外主制造商采用信息化技術(shù)，建立了AnalytX、Skywise等數(shù)據(jù)管理平臺，改進(jìn)數(shù)據(jù)存儲方式，研制了數(shù)據(jù)查詢工具，提升數(shù)據(jù)應(yīng)用效率[4-5]。

試飛數(shù)據(jù)查詢引擎融合新一代信息技術(shù)，設(shè)計(jì)新型數(shù)據(jù)存儲格式、創(chuàng)新試飛數(shù)據(jù)關(guān)聯(lián)方式、提升試飛數(shù)據(jù)查詢能力，提供更高效的試飛任務(wù)信息數(shù)據(jù)與飛行試驗(yàn)數(shù)據(jù)融合應(yīng)用服務(wù)，解決多源異構(gòu)試飛數(shù)據(jù)復(fù)雜管理與試飛數(shù)據(jù)用戶快速高效應(yīng)用的難題[6-8]。

1 系統(tǒng)結(jié)構(gòu)及原理

如圖1所示，試飛數(shù)據(jù)查詢引擎是試飛數(shù)據(jù)平臺數(shù)據(jù)交互中樞系統(tǒng)，快速獲取平臺多類數(shù)據(jù)組件數(shù)據(jù)，開展數(shù)據(jù)加工處理后，向數(shù)據(jù)應(yīng)用提供服務(wù)。試飛數(shù)據(jù)平臺采用三層架構(gòu)，具有數(shù)據(jù)層、服務(wù)層和應(yīng)用層等功能，提供綜合數(shù)據(jù)管理與應(yīng)用服務(wù)[9]。試飛數(shù)據(jù)平臺采用分布式架構(gòu)搭建大數(shù)據(jù)集群和云計(jì)算集群，提供動(dòng)態(tài)彈性的計(jì)算、存儲、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施及服務(wù)(IaaS，infrastructure as a service)，以及數(shù)據(jù)庫、計(jì)算引擎、容器等平臺及服務(wù)(PaaS，platform as a service)，研制基于瀏覽器/服務(wù)器模式(B/S，browser/server)的試飛數(shù)據(jù)分析應(yīng)用軟件，提供試飛數(shù)據(jù)分析應(yīng)用及服務(wù)(SaaS，software as a service)，形成試飛數(shù)據(jù)平臺三層架構(gòu)技術(shù)支撐[10]。

圖1 試飛數(shù)據(jù)查詢引擎系統(tǒng)結(jié)構(gòu)

試飛數(shù)據(jù)查詢引擎基于大數(shù)據(jù)交互查詢presto組件，設(shè)計(jì)數(shù)據(jù)集成、數(shù)據(jù)查詢、數(shù)據(jù)處理等功能。Presto 是一個(gè)用于分析的ANSI SQL查詢引擎，支持計(jì)算和存儲的分離，并基于內(nèi)存計(jì)算，減少磁盤IO消耗。Presto可以適配多種不同的數(shù)據(jù)源，具備多個(gè)數(shù)據(jù)源連接和交互功能，擁有跨數(shù)據(jù)源和內(nèi)存計(jì)算的優(yōu)勢，實(shí)現(xiàn)多個(gè)數(shù)據(jù)源之間的聯(lián)表查詢[11-14]。

數(shù)據(jù)集成根據(jù)具備Presto 跨數(shù)據(jù)源連接功能，形成訂閱多類數(shù)據(jù)庫數(shù)據(jù)能力，獲取存儲在MySQL、Hive、數(shù)據(jù)倉庫里的結(jié)構(gòu)化數(shù)據(jù)，以及獲取對象存儲、ES、Redis等組件內(nèi)的數(shù)據(jù)，并開展數(shù)據(jù)表關(guān)聯(lián)與融合[15]。

數(shù)據(jù)查詢根據(jù)試飛業(yè)務(wù)需求粒度，基于試飛數(shù)據(jù)各類形態(tài)，設(shè)計(jì)精細(xì)度逐次變化的查詢模式。數(shù)據(jù)查詢模式包括概覽查詢、高保真查詢、特征查詢、精細(xì)查詢，滿足不同數(shù)據(jù)應(yīng)用場景需求。概覽查詢實(shí)現(xiàn)任務(wù)總覽功能，試飛數(shù)據(jù)查詢引擎直接獲取存儲到數(shù)據(jù)倉庫應(yīng)用數(shù)據(jù)層數(shù)據(jù)，傳輸?shù)綌?shù)據(jù)應(yīng)用軟件中進(jìn)行快速預(yù)覽。高保真查詢實(shí)現(xiàn)一定狀態(tài)下的數(shù)據(jù)預(yù)覽功能，訪問hive數(shù)據(jù)庫中的數(shù)據(jù)，經(jīng)過用戶自定義函數(shù)(UDF，user-defined function)聚合處理。特征查詢實(shí)現(xiàn)試飛業(yè)務(wù)特定條件查詢，根據(jù)預(yù)設(shè)試飛參數(shù)和規(guī)則條件，以及基于試飛有任務(wù)特征的數(shù)據(jù)查詢，提取特征屬性，轉(zhuǎn)化為規(guī)則或條件，開展數(shù)據(jù)查詢。精細(xì)查詢實(shí)現(xiàn)試飛數(shù)據(jù)原子粒度精細(xì)查詢[16-17]。

數(shù)據(jù)計(jì)算主要采用采用UDF函數(shù)形式，編寫規(guī)則代碼，封裝為業(yè)務(wù)分析函數(shù)，實(shí)現(xiàn)數(shù)據(jù)整合與加工。數(shù)據(jù)計(jì)算主要包括時(shí)間對齊計(jì)算、插值擬合計(jì)算、參數(shù)合并計(jì)算和數(shù)值通用計(jì)算等簡單計(jì)算，較為復(fù)雜計(jì)算采用向試飛數(shù)據(jù)平臺大數(shù)據(jù)計(jì)算引擎提交計(jì)算請求，獲取大數(shù)據(jù)引擎計(jì)算結(jié)果的方式。數(shù)據(jù)服務(wù)以統(tǒng)一應(yīng)用程序編程接口(API，application programming interface)形式響應(yīng)數(shù)據(jù)應(yīng)用軟件訂閱數(shù)據(jù)需求[18-20]。

2 系統(tǒng)硬件設(shè)計(jì)

試飛數(shù)據(jù)查詢引擎設(shè)計(jì)立足試飛數(shù)據(jù)平臺資源，采用存算分離技術(shù)和異構(gòu)計(jì)算技術(shù)，研制數(shù)據(jù)調(diào)度和融合功能，實(shí)現(xiàn)試飛數(shù)據(jù)快速查詢與計(jì)算，其系統(tǒng)硬件設(shè)計(jì)如圖2所示。

圖2 硬件設(shè)計(jì)

存算分離技術(shù)是指存儲(云盤/對象存儲等)和計(jì)算(彈性伸縮)分離至彼此獨(dú)立的計(jì)算域和存儲域，并通過以太網(wǎng)或?qū)Ｓ么鎯W(wǎng)絡(luò)(例如光纖通道)將二者互連，實(shí)現(xiàn)了存儲資源的靈活擴(kuò)展和高效共享。滿足云和互聯(lián)網(wǎng)存儲域服務(wù)兼顧資源利用率、可靠性、性能、效率等眾多訴求，充分利用理論上無限的IaaS層的資源來構(gòu)建，實(shí)現(xiàn)資源的池化和按需分配，實(shí)現(xiàn)更佳的彈性伸縮能力，從而提高資源的利用率更高的可用性和降低成本。隨著高速網(wǎng)絡(luò)技術(shù)和新硬件的發(fā)展，數(shù)據(jù)平臺主流方式將計(jì)算，內(nèi)存，和存儲資源分別以資源池的方式做解耦合，這些云上IaaS資源以池化形式供應(yīng)給用戶使用，并且通過高速網(wǎng)絡(luò)來進(jìn)行鏈接。

試飛數(shù)據(jù)查詢引擎基于存算分離技術(shù)，設(shè)計(jì)資源分配策略，根據(jù)查詢?nèi)蝿?wù)靈活申請租戶資源，確保查詢事務(wù)正確執(zhí)行，確保查詢事務(wù)高效執(zhí)行，確保系統(tǒng)高可用。試飛數(shù)據(jù)存儲于試飛數(shù)據(jù)平臺對象存儲組件，以及基于對象存儲的Hive等分布式數(shù)據(jù)庫，并采用備份機(jī)制。試飛數(shù)據(jù)查詢引擎獲取對象存儲的元數(shù)據(jù)信息，快速獲取所需數(shù)據(jù)塊并加載到內(nèi)存中。試飛數(shù)據(jù)查詢充分發(fā)揮分布式計(jì)算引擎優(yōu)勢，按需彈性拓展計(jì)算單元，分配計(jì)算任務(wù)至計(jì)算單元，在內(nèi)存中開展大規(guī)模并行計(jì)算，匯聚計(jì)算結(jié)果，統(tǒng)一輸出查詢數(shù)據(jù)。

試飛數(shù)據(jù)查詢引擎采用X86服務(wù)器和ARM服務(wù)器混合部署的異構(gòu)計(jì)算技術(shù)，定制研發(fā)不同計(jì)算內(nèi)核功能模塊，屏蔽底層硬件差異帶來的計(jì)算性能影響，實(shí)現(xiàn)計(jì)算性能一致性。根據(jù)試飛數(shù)據(jù)計(jì)算場景，批處理任務(wù)采用X86服務(wù)器集群，基于X86的復(fù)雜指令集(CISC，complex instruction set computing)特征，完成復(fù)雜數(shù)據(jù)計(jì)算功能。流處理場景采用ARM服務(wù)器集群，基于精簡指令集(RISC，reduced instruction set computing)特征，完成通用計(jì)算，發(fā)揮其低功耗優(yōu)勢，降低常規(guī)計(jì)算維護(hù)成本。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 軟件設(shè)計(jì)思路和編程方法

如圖3所示，試飛數(shù)據(jù)查詢引擎采用大數(shù)據(jù)分布式交互查詢關(guān)鍵技術(shù)，基于試飛數(shù)據(jù)處理與分析平臺多種功能數(shù)據(jù)存儲與計(jì)算組件，設(shè)計(jì)數(shù)據(jù)查詢接口，制定資源分配策略，開發(fā)試飛數(shù)據(jù)計(jì)算UDF函數(shù)，分層加工處理與存儲數(shù)據(jù)，具備多源數(shù)據(jù)匯聚，多維信息關(guān)聯(lián)查詢，多層數(shù)據(jù)靈活鉆取，多功能自定義函數(shù)集成，多類指標(biāo)數(shù)據(jù)自適應(yīng)輸出等功能。

圖3 試飛數(shù)據(jù)查詢引擎軟件設(shè)計(jì)

試飛數(shù)據(jù)查詢引擎基于試飛數(shù)據(jù)平臺交互分析組件Presto研制數(shù)據(jù)查詢功能，采用ANSI SQL和Java等數(shù)據(jù)開發(fā)語言編寫數(shù)據(jù)查詢語句和數(shù)據(jù)計(jì)算自定義函數(shù)。

試飛數(shù)據(jù)查詢引擎根據(jù)Presto組件子功能模塊，細(xì)分為試飛數(shù)據(jù)查詢?yōu)?個(gè)過程，即為試飛數(shù)據(jù)查詢?nèi)肟谶^程、試飛數(shù)據(jù)查詢服務(wù)過程、試飛數(shù)據(jù)查詢與計(jì)算過程以及試飛數(shù)據(jù)源連接過程。

試飛數(shù)據(jù)查詢?nèi)肟诓捎肞resto的客戶端(Client)接收試飛數(shù)據(jù)應(yīng)用軟件發(fā)起的數(shù)據(jù)查詢請求，包括試飛業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)、試飛試驗(yàn)數(shù)據(jù)、試飛分析結(jié)果數(shù)據(jù)等數(shù)據(jù)類型。

試飛數(shù)據(jù)查詢服務(wù)采用Presto的coordinator接收查詢請求，解析查詢?nèi)蝿?wù)，生成查詢計(jì)劃，優(yōu)化查詢策略、編排查詢?nèi)蝿?wù)，獲取數(shù)據(jù)存儲元信息并開展解析，并提交給worker，執(zhí)行數(shù)據(jù)查詢。也接收work查詢數(shù)據(jù)結(jié)果，以數(shù)據(jù)服務(wù)形式反饋給客戶端。

試飛數(shù)據(jù)查詢與計(jì)算采用Presto的worker節(jié)點(diǎn)負(fù)責(zé)查詢處理和計(jì)算功能。按照分布式系統(tǒng)特點(diǎn)，配置多個(gè)worker執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，當(dāng) Worker啟動(dòng)時(shí)，會通過REST API通信方式廣播自己去發(fā)現(xiàn) Coordinator，并告知 Coordinator 它是可用，隨時(shí)可以接受 Task。根據(jù)試飛數(shù)據(jù)特征和業(yè)務(wù)邏輯，設(shè)計(jì)了試飛概覽查詢worker、試飛數(shù)據(jù)精細(xì)查詢worker、試飛數(shù)據(jù)高保真查詢worker、試飛數(shù)據(jù)特征查詢worker，以及試飛數(shù)據(jù)計(jì)算worker等多功能計(jì)算節(jié)點(diǎn)。各個(gè)worker節(jié)點(diǎn)間采用RestAPI形式實(shí)現(xiàn)數(shù)據(jù)通信，融合數(shù)據(jù)處理結(jié)果，生成結(jié)果數(shù)據(jù)集。

試飛數(shù)據(jù)源連接采用Presto的connector負(fù)責(zé) Presto 和試飛數(shù)據(jù)存儲組件中的數(shù)據(jù)源連接。Connector 將 Presto 適配到試飛數(shù)據(jù)源，驅(qū)動(dòng)數(shù)據(jù)庫連接程序，如Hive或關(guān)系數(shù)據(jù)庫。 Presto 包含幾個(gè)內(nèi)置連接器：JMX 的連接器 ，它是一個(gè)提供對內(nèi)置系統(tǒng)表訪問的系統(tǒng)連接器；Hive連接器和一個(gè)用于提供 TPC-H 基準(zhǔn)數(shù)據(jù)的TPCH連接器，以及根據(jù)試飛連接場景開發(fā)的對象存儲和數(shù)據(jù)倉庫連接器等第三方連接器，實(shí)現(xiàn)Presto 訪問各種試飛數(shù)據(jù)源中的數(shù)據(jù)。

試飛數(shù)據(jù)倉庫是試飛數(shù)據(jù)查詢引擎關(guān)鍵數(shù)據(jù)源，大多數(shù)試飛數(shù)據(jù)應(yīng)用都從試飛數(shù)據(jù)倉庫中進(jìn)行數(shù)據(jù)獲取。試飛數(shù)據(jù)倉庫的貼源數(shù)據(jù)層(ODS，operation data store)，基于Hive進(jìn)行數(shù)據(jù)存儲，數(shù)據(jù)細(xì)節(jié)層(DWD，data warehouse details)存儲經(jīng)過一定規(guī)則處理后的事件數(shù)據(jù)集、數(shù)據(jù)服務(wù)層(DWS，data warehouse service)存儲經(jīng)過聚合處理后的統(tǒng)計(jì)信息或試飛任務(wù)執(zhí)行結(jié)果數(shù)據(jù)集。維表層(DIM，dimension)存儲試飛數(shù)據(jù)維度信息，包含試飛數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等元數(shù)據(jù)信息，支持試飛數(shù)據(jù)查詢引擎快速解析查詢?nèi)蝿?wù)。

3.2 軟件實(shí)現(xiàn)流程

試飛數(shù)據(jù)查詢引擎核心查詢功能包括概覽查詢、高保真查詢、特征查詢、精細(xì)查詢，以及查詢后數(shù)據(jù)計(jì)算，設(shè)計(jì)了統(tǒng)一查詢功能接口和各類查詢實(shí)現(xiàn)流程。

3.2.1 概覽查詢

如圖4所示，概覽查詢查詢數(shù)倉的ODS層中存儲全部參數(shù)的按秒聚合數(shù)據(jù)，每次查詢會一次查詢并加載該段時(shí)間的全部參數(shù)的數(shù)據(jù)，對于采樣頻率小的參數(shù)或參數(shù)量不多，且在時(shí)間跨度不大的情況下，基于presto的查詢結(jié)果輸出和展示會很快。但對于高頻參數(shù)(采樣頻率大于512的參數(shù))，單秒的按秒聚合值包含的數(shù)據(jù)相對于低頻參數(shù)就會比較大，若參數(shù)量增多和時(shí)間范圍擴(kuò)大，大數(shù)據(jù)量的情況下對網(wǎng)絡(luò)傳輸和集群查詢性能都會有較大的影響。

圖4 概覽查詢流程圖

基于對查詢性能的優(yōu)化，在數(shù)倉的DWD層中創(chuàng)建概覽表，用于存儲單秒內(nèi)的聚合值。對于核心參數(shù)(查詢使用頻率較高的參數(shù))，在概覽表中存儲一秒內(nèi)的最大值及對應(yīng)的時(shí)間(精確到秒)；對于高頻參數(shù)，在概覽表中存儲一秒內(nèi)的初始值、最大值、最小值、結(jié)束值，將4個(gè)值合并為一條數(shù)據(jù)，并結(jié)合對應(yīng)的時(shí)間進(jìn)行存儲。

概覽查詢先根據(jù)參數(shù)查詢數(shù)倉DIM層的概覽參數(shù)映射表，獲取到每個(gè)參數(shù)存儲的概覽表名和對應(yīng)的映射字段，然后查詢概覽表獲取概覽數(shù)據(jù)。概覽查詢主要用于多參數(shù)在長歷程時(shí)間段中的查詢，包括高頻參數(shù)和核心參數(shù)。通過概覽查詢獲取參數(shù)的整體變化趨勢，存儲的聚合值也可獲取該參數(shù)是否存在波峰或波谷的情況。

3.2.2 高保真查詢

如圖5所示，高保真查詢根據(jù)顯示器分辨率，選擇合適的數(shù)據(jù)點(diǎn)，表征數(shù)據(jù)特征。由于試飛數(shù)據(jù)采樣率都比較高，且試驗(yàn)歷程都在數(shù)小時(shí)，在數(shù)據(jù)選段過程中需要逐步縮小數(shù)據(jù)范圍查看細(xì)節(jié)數(shù)據(jù)，且隨著數(shù)據(jù)量增大，對網(wǎng)絡(luò)傳輸性能和瀏覽器的展示性能都會產(chǎn)生負(fù)面的影響。基于此進(jìn)行考慮，從查詢服務(wù)獲取數(shù)據(jù)后，根據(jù)傳入的屏幕分辨率進(jìn)行縮放數(shù)據(jù)，將總的數(shù)據(jù)條數(shù)降頻為指定分辨率下的條數(shù)。

圖5 高保真數(shù)據(jù)查詢流程

比如對于1 080*1 920的分辨率下，水平方向含有像素?cái)?shù)為1 920個(gè)。若返回?cái)?shù)據(jù)集中每個(gè)參數(shù)對應(yīng)的數(shù)據(jù)條數(shù)小于1 920條，則可直接返回界面進(jìn)行展示；若大于1 920條，則需要對每個(gè)參數(shù)的數(shù)據(jù)條數(shù)對齊到1 920條。對齊方式為1分別除以原始條數(shù)和分辨率對應(yīng)的水平像素?cái)?shù)，依次遍歷像素?cái)?shù)對應(yīng)的單位間隔，獲取原始條數(shù)中該區(qū)間的最大值，直到遍歷結(jié)束。

按屏幕分辨率進(jìn)行縮放后的數(shù)據(jù)可以減少大數(shù)據(jù)量對網(wǎng)絡(luò)帶寬和瀏覽器負(fù)載的影響，提高數(shù)據(jù)的返回效率，保證用戶在保持?jǐn)?shù)據(jù)準(zhǔn)確性的同時(shí)，提高查詢效率。

高保真查詢獲取DIM層的參數(shù)映射表保存所有架次的參數(shù)映射信息，DIM層的參數(shù)映射表存儲參數(shù)對應(yīng)的原參數(shù)字段名、hive映射字段、hive表名、創(chuàng)建時(shí)間等信息。在數(shù)倉的ODS層的數(shù)據(jù)表存儲每個(gè)架次所有參數(shù)對應(yīng)的按秒聚合數(shù)據(jù)。查詢時(shí)根據(jù)用戶傳入的參數(shù)名、架次信息及其他查詢參數(shù)，先從數(shù)倉DIM層的參數(shù)映射表中查詢對應(yīng)參數(shù)在hive存儲的表和映射字段名，拼接封裝查詢的sql。通過presto在數(shù)倉ODS層對應(yīng)的表中查詢指定參數(shù)的數(shù)據(jù)，并根據(jù)屏幕分辨率傳遞的高保真顯示要求輸出聚合處理數(shù)據(jù)。

3.2.3 精細(xì)查詢

精細(xì)查詢實(shí)現(xiàn)精細(xì)度較高甚至原子粒度數(shù)據(jù)查詢，如圖6所示。在數(shù)倉的ODS層的數(shù)據(jù)表存儲每個(gè)架次所有參數(shù)對應(yīng)的按秒聚合數(shù)據(jù)，但部分參數(shù)長度過長，無法直接作為字段進(jìn)行存儲，需要在DIM層創(chuàng)建參數(shù)映射表保存所有架次的參數(shù)映射信息，DIM層的參數(shù)映射表存儲參數(shù)對應(yīng)的原參數(shù)字段名、hive映射字段、hive表名、創(chuàng)建時(shí)間等信息。查詢時(shí)根據(jù)用戶傳入的參數(shù)名、架次信息及其他查詢參數(shù)，先從數(shù)倉DIM層的參數(shù)映射表中查詢對應(yīng)參數(shù)在hive存儲的表和映射字段名，拼接封裝查詢的sql。通過presto在數(shù)倉ODS層對應(yīng)的表中查詢指定參數(shù)的數(shù)據(jù)。

圖6 精細(xì)查詢流程

在數(shù)倉ODS層的原始數(shù)據(jù)是以按秒聚合的形式進(jìn)行存儲，即一條數(shù)據(jù)包含該參數(shù)對應(yīng)頻率秒內(nèi)的全部數(shù)據(jù)。時(shí)間列中存儲的時(shí)間精確到秒級，不包含微秒的數(shù)據(jù)，需要根據(jù)規(guī)則計(jì)算按秒聚合中每條數(shù)據(jù)對應(yīng)的微秒值。微秒計(jì)算方式為1 000 000除以對應(yīng)頻率后取整，取整方式為去除小數(shù)點(diǎn)，然后將長度補(bǔ)全為6位，不足六位的左邊補(bǔ)零，并依次遍歷獲取每條數(shù)對應(yīng)的微秒值。

3.2.4 特征查詢

如圖7所示，特征查詢在滿足原始數(shù)據(jù)查詢和基于一定規(guī)則過濾數(shù)據(jù)查詢的情況下，實(shí)現(xiàn)對查詢的數(shù)據(jù)提取特征，獲取特征數(shù)據(jù)段。在數(shù)倉的DWD層，會創(chuàng)建概覽表保存核心參數(shù)和高頻參數(shù)在不同架次中的秒內(nèi)聚合值(最大值、最小值)，以及各類主題分析結(jié)果明細(xì)表。對于獲取波峰波谷類型的特征數(shù)據(jù)，通過查詢概覽表中的數(shù)據(jù)，可以直接獲取架次中指定參數(shù)的該類特征數(shù)據(jù)。對于獲取分析類型的數(shù)據(jù)，可通過查詢對應(yīng)主題的分析結(jié)果明細(xì)表中獲取分析結(jié)果特征數(shù)據(jù)。

圖7 特征查詢流程

同時(shí)也支持通過對ODS層中原始數(shù)據(jù)查詢后，使用算法平臺自定義特征查詢。如對于FFT變換，查詢服務(wù)先查詢DWD層的分析結(jié)果明細(xì)表中是否存在已有分析的數(shù)據(jù)，若有則直接進(jìn)行查詢后獲取結(jié)果返回，反之則通過presto查詢ODS層中存儲的按秒聚合數(shù)據(jù)，將原始數(shù)據(jù)輸入算法平臺調(diào)用FFT變換算子，獲取變換后的結(jié)果進(jìn)行返回。

試飛數(shù)據(jù)查詢引擎數(shù)據(jù)計(jì)算功能包括時(shí)間對齊、插值計(jì)算、數(shù)值計(jì)算以及參數(shù)合并等計(jì)算方式。

時(shí)間對齊為了滿足多個(gè)參數(shù)值在界面上的統(tǒng)一展示，對于相同頻率的參數(shù)，可直接對查詢結(jié)果進(jìn)行返回。對于不同頻率參數(shù)的數(shù)據(jù)查詢結(jié)果，需要將不同頻率參數(shù)的數(shù)據(jù)進(jìn)行升頻或降頻成相同頻率，保證多個(gè)參數(shù)的數(shù)據(jù)保持在一個(gè)頻率上，即同一時(shí)間段內(nèi)，參數(shù)對應(yīng)的數(shù)據(jù)條數(shù)保持一樣。如3個(gè)參數(shù)分別為16頻率、32頻率和64頻率，需要將頻率為16的參數(shù)升頻到32頻率，頻率為64的參數(shù)降頻到32頻率，即一秒內(nèi)的數(shù)據(jù)都是32條。時(shí)間對齊服務(wù)通過參數(shù)映射表獲取參數(shù)列表中每個(gè)參數(shù)對應(yīng)的原始頻率，將不同頻率參數(shù)的數(shù)據(jù)進(jìn)行遍歷，對單秒內(nèi)聚合的數(shù)據(jù)進(jìn)行時(shí)間對齊，將每秒內(nèi)的數(shù)據(jù)對齊到同一目標(biāo)頻率中。時(shí)間對齊的邏輯為先將1分別除以原始頻率和目標(biāo)頻率，獲取兩個(gè)頻率的單位時(shí)間段，遍歷原始頻率和目標(biāo)頻率，選擇在對應(yīng)時(shí)間段內(nèi)的區(qū)域數(shù)據(jù)。

插值計(jì)算服務(wù)通過參數(shù)、架次和時(shí)間范圍等信息獲取到原始數(shù)據(jù)后，可支持調(diào)用平臺算法模塊中生成的接口進(jìn)行二次計(jì)算，如插值計(jì)算和擬合計(jì)算等操作?？蓪⑵脚_通過離線服務(wù)包的方式，將自己建好的算法流程打包成sdk并集成到查詢服務(wù)中，后續(xù)對獲取的數(shù)據(jù)調(diào)用生成的sdk進(jìn)行計(jì)算。

數(shù)值計(jì)算支持根據(jù)用戶的實(shí)際需求自定義UDF函數(shù)，將編寫好的UDF函數(shù)打包到 presto集群中進(jìn)行部署后，結(jié)合sql進(jìn)行使用?？芍С謱γ雰?nèi)的數(shù)據(jù)按值進(jìn)行過濾，如篩選秒內(nèi)值中大于某個(gè)值的數(shù)據(jù)及其對應(yīng)的微秒數(shù)，對于32頻率的參數(shù)，一秒內(nèi)的單位為1 000 000/32=31 250，則t0=000 000，t1=31 250，t2=62 500，t3=125 000…

將獲取微秒值的處理邏輯封裝為udf函數(shù)，打包到presto集群中，后續(xù)的查詢結(jié)合udf函數(shù)獲取按秒聚合數(shù)據(jù)中，每條數(shù)據(jù)對應(yīng)的微秒值，和時(shí)間列進(jìn)行拼接后返回。支持對查詢結(jié)果進(jìn)行變換處理，如時(shí)間對齊、分辨率自適應(yīng)等操作。同時(shí)支持對查詢數(shù)據(jù)導(dǎo)出為文本文件，進(jìn)行持久化保存。

參數(shù)合并對所有參數(shù)的時(shí)間對齊后數(shù)據(jù)保持相同的條數(shù)。此時(shí)可根據(jù)業(yè)務(wù)需求進(jìn)行參數(shù)之間的計(jì)算，對多個(gè)參數(shù)進(jìn)行合并，如相加、相減等操作。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)步驟和方法

試飛數(shù)據(jù)查詢引擎按照試飛數(shù)據(jù)平臺數(shù)據(jù)查詢流程，開展數(shù)據(jù)查詢功能和性能驗(yàn)證，并進(jìn)行高保真查詢性能驗(yàn)證。主要步驟如下：

第一步：數(shù)據(jù)查詢輸入

數(shù)據(jù)查詢輸入如表1所示。

表1 查詢對象和條件輸入

第二步：提交查詢請求

通過Https接口協(xié)議，提交到Presto查詢引擎，執(zhí)行數(shù)據(jù)查詢，運(yùn)行時(shí)間對齊UDF函數(shù)。

第三步：輸出查詢結(jié)果

查詢結(jié)果如表2所示。

表2 查詢結(jié)果輸出

4.2 實(shí)驗(yàn)數(shù)據(jù)

試飛數(shù)據(jù)查詢引擎完成數(shù)據(jù)查詢和時(shí)間對齊，分別在單表和多表情況下，將對應(yīng)參數(shù)的頻率對齊到32頻率中，實(shí)驗(yàn)結(jié)果如表3所示。

表3 數(shù)據(jù)查詢與時(shí)間對齊耗時(shí)

表4 高保真數(shù)據(jù)查詢對比

試飛數(shù)據(jù)查詢引擎在指定1 080 P顯示分辨率條件下，開展數(shù)據(jù)對齊到1 920分辨率查詢性能測試，即每次輸出1 920個(gè)數(shù)據(jù)點(diǎn)。

4.3 實(shí)驗(yàn)分析

試飛數(shù)據(jù)查詢引擎查詢性能達(dá)到了秒級響應(yīng)，滿足主要查詢場景需求。但是隨著查詢參數(shù)增多、數(shù)據(jù)量增多，查詢響應(yīng)時(shí)間會增加，造成數(shù)據(jù)應(yīng)用軟件獲取數(shù)據(jù)等待時(shí)間長的問題，因此需要基于試飛數(shù)據(jù)平臺云資源優(yōu)勢，優(yōu)化查詢條件，控制查詢復(fù)雜度，采用分布式并行查詢方式，提升查詢性能。

5 結(jié)束語

試飛數(shù)據(jù)查詢引擎立足試飛數(shù)據(jù)平臺優(yōu)勢，應(yīng)用數(shù)據(jù)平臺三層架構(gòu)資源，設(shè)計(jì)硬件系統(tǒng)存算分離和異構(gòu)計(jì)算資源分配策略，設(shè)計(jì)面向數(shù)據(jù)用戶的多類查詢場景，研究新型數(shù)據(jù)存儲方式，開發(fā)數(shù)據(jù)處理自定義函數(shù)，完成數(shù)據(jù)查詢功能驗(yàn)證，發(fā)揮試飛數(shù)據(jù)查詢引擎作為融合試飛數(shù)據(jù)平臺數(shù)據(jù)功能層、服務(wù)功能層與應(yīng)用功能層綜合應(yīng)用工具的核心定位，滿足試飛數(shù)據(jù)應(yīng)用要求。

鑒于試飛數(shù)據(jù)種類多樣化，數(shù)據(jù)隨機(jī)性變化，數(shù)據(jù)多地產(chǎn)生等特點(diǎn)，需要持續(xù)優(yōu)化試飛數(shù)據(jù)查詢引擎架構(gòu)設(shè)計(jì)，豐富試飛數(shù)據(jù)查詢引擎功能，提升試飛數(shù)據(jù)查詢引擎性能，主要解決問題如下：

1)豐富數(shù)據(jù)接口設(shè)計(jì)，兼容更多試飛數(shù)據(jù)類型和數(shù)據(jù)存儲組件，拓展試飛數(shù)據(jù)查詢引擎應(yīng)用場景；

2)優(yōu)化數(shù)據(jù)查詢架構(gòu)，發(fā)揮試飛數(shù)據(jù)平臺云原生應(yīng)用與大數(shù)據(jù)計(jì)算優(yōu)勢，持續(xù)調(diào)優(yōu)查詢策略，提升并發(fā)查詢能力；

3)深入試飛任務(wù)過程，不斷開發(fā)集成數(shù)據(jù)計(jì)算UDF函數(shù)，提供更精準(zhǔn)、更高效數(shù)據(jù)保真度。

試飛數(shù)據(jù)查詢引擎是試飛數(shù)據(jù)平臺核心組件，有力支持試飛數(shù)據(jù)查詢應(yīng)用，方便快捷響應(yīng)試飛數(shù)據(jù)分析應(yīng)用軟件需求，豐富試飛數(shù)據(jù)平臺三層架構(gòu)內(nèi)涵，拓展試飛數(shù)據(jù)應(yīng)用外延，助力打造試飛數(shù)據(jù)數(shù)據(jù)應(yīng)用生態(tài)。試飛數(shù)據(jù)查詢引擎可以歸集通用功能，整合為一款工業(yè)大數(shù)據(jù)管理與應(yīng)用領(lǐng)域通用工具，推廣至試驗(yàn)數(shù)據(jù)等諸多領(lǐng)域，挖掘數(shù)據(jù)價(jià)值。