亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        試飛數(shù)據(jù)查詢引擎設(shè)計(jì)

        2023-10-28 10:25:08鄧國寶查曉文薛博文
        計(jì)算機(jī)測量與控制 2023年10期
        關(guān)鍵詞:概覽數(shù)據(jù)源引擎

        鄧國寶,查曉文,劉 濤,馮 燦,薛博文

        (中國商飛試飛中心 測試工程部,上海 200120)

        0 引言

        試飛數(shù)據(jù)主要包括飛行試驗(yàn)采集的時(shí)序數(shù)據(jù)和業(yè)務(wù)流程生成的試飛任務(wù)信息數(shù)據(jù)。飛行試驗(yàn)采集的時(shí)序數(shù)據(jù)具有參數(shù)量多、數(shù)據(jù)體量、數(shù)據(jù)種類多樣化、數(shù)據(jù)隨機(jī)性變化、數(shù)據(jù)多地產(chǎn)生、數(shù)據(jù)時(shí)效性需求高及數(shù)據(jù)價(jià)值大等特征。國產(chǎn)民機(jī)在試飛試驗(yàn)階段,累積了大量的試飛數(shù)據(jù),規(guī)模達(dá)到了PB級[1-2]。

        早期國內(nèi)外試飛數(shù)據(jù)主要采用文本形式存儲,數(shù)據(jù)快速應(yīng)用存在較大困難,數(shù)據(jù)有效關(guān)聯(lián)受到很大限制,造成統(tǒng)文本文件的數(shù)據(jù)管理模式難以滿足日益增長的數(shù)據(jù)存儲與高效應(yīng)用需求[3]。波音、空客等國外主制造商采用信息化技術(shù),建立了AnalytX、Skywise等數(shù)據(jù)管理平臺,改進(jìn)數(shù)據(jù)存儲方式,研制了數(shù)據(jù)查詢工具,提升數(shù)據(jù)應(yīng)用效率[4-5]。

        試飛數(shù)據(jù)查詢引擎融合新一代信息技術(shù),設(shè)計(jì)新型數(shù)據(jù)存儲格式、創(chuàng)新試飛數(shù)據(jù)關(guān)聯(lián)方式、提升試飛數(shù)據(jù)查詢能力,提供更高效的試飛任務(wù)信息數(shù)據(jù)與飛行試驗(yàn)數(shù)據(jù)融合應(yīng)用服務(wù),解決多源異構(gòu)試飛數(shù)據(jù)復(fù)雜管理與試飛數(shù)據(jù)用戶快速高效應(yīng)用的難題[6-8]。

        1 系統(tǒng)結(jié)構(gòu)及原理

        如圖1所示,試飛數(shù)據(jù)查詢引擎是試飛數(shù)據(jù)平臺數(shù)據(jù)交互中樞系統(tǒng),快速獲取平臺多類數(shù)據(jù)組件數(shù)據(jù),開展數(shù)據(jù)加工處理后,向數(shù)據(jù)應(yīng)用提供服務(wù)。試飛數(shù)據(jù)平臺采用三層架構(gòu),具有數(shù)據(jù)層、服務(wù)層和應(yīng)用層等功能,提供綜合數(shù)據(jù)管理與應(yīng)用服務(wù)[9]。試飛數(shù)據(jù)平臺采用分布式架構(gòu)搭建大數(shù)據(jù)集群和云計(jì)算集群,提供動(dòng)態(tài)彈性的計(jì)算、存儲、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施及服務(wù)(IaaS,infrastructure as a service),以及數(shù)據(jù)庫、計(jì)算引擎、容器等平臺及服務(wù)(PaaS,platform as a service),研制基于瀏覽器/服務(wù)器模式(B/S,browser/server)的試飛數(shù)據(jù)分析應(yīng)用軟件,提供試飛數(shù)據(jù)分析應(yīng)用及服務(wù)(SaaS,software as a service),形成試飛數(shù)據(jù)平臺三層架構(gòu)技術(shù)支撐[10]。

        圖1 試飛數(shù)據(jù)查詢引擎系統(tǒng)結(jié)構(gòu)

        試飛數(shù)據(jù)查詢引擎基于大數(shù)據(jù)交互查詢presto組件,設(shè)計(jì)數(shù)據(jù)集成、數(shù)據(jù)查詢、數(shù)據(jù)處理等功能。Presto 是一個(gè)用于分析的ANSI SQL查詢引擎,支持計(jì)算和存儲的分離,并基于內(nèi)存計(jì)算,減少磁盤IO消耗。Presto可以適配多種不同的數(shù)據(jù)源,具備多個(gè)數(shù)據(jù)源連接和交互功能,擁有跨數(shù)據(jù)源和內(nèi)存計(jì)算的優(yōu)勢,實(shí)現(xiàn)多個(gè)數(shù)據(jù)源之間的聯(lián)表查詢[11-14]。

        數(shù)據(jù)集成根據(jù)具備Presto 跨數(shù)據(jù)源連接功能,形成訂閱多類數(shù)據(jù)庫數(shù)據(jù)能力,獲取存儲在MySQL、Hive、數(shù)據(jù)倉庫里的結(jié)構(gòu)化數(shù)據(jù),以及獲取對象存儲、ES、Redis等組件內(nèi)的數(shù)據(jù),并開展數(shù)據(jù)表關(guān)聯(lián)與融合[15]。

        數(shù)據(jù)查詢根據(jù)試飛業(yè)務(wù)需求粒度,基于試飛數(shù)據(jù)各類形態(tài),設(shè)計(jì)精細(xì)度逐次變化的查詢模式。數(shù)據(jù)查詢模式包括概覽查詢、高保真查詢、特征查詢、精細(xì)查詢,滿足不同數(shù)據(jù)應(yīng)用場景需求。概覽查詢實(shí)現(xiàn)任務(wù)總覽功能,試飛數(shù)據(jù)查詢引擎直接獲取存儲到數(shù)據(jù)倉庫應(yīng)用數(shù)據(jù)層數(shù)據(jù),傳輸?shù)綌?shù)據(jù)應(yīng)用軟件中進(jìn)行快速預(yù)覽。高保真查詢實(shí)現(xiàn)一定狀態(tài)下的數(shù)據(jù)預(yù)覽功能,訪問hive數(shù)據(jù)庫中的數(shù)據(jù),經(jīng)過用戶自定義函數(shù)(UDF,user-defined function)聚合處理。特征查詢實(shí)現(xiàn)試飛業(yè)務(wù)特定條件查詢,根據(jù)預(yù)設(shè)試飛參數(shù)和規(guī)則條件,以及基于試飛有任務(wù)特征的數(shù)據(jù)查詢,提取特征屬性,轉(zhuǎn)化為規(guī)則或條件,開展數(shù)據(jù)查詢。精細(xì)查詢實(shí)現(xiàn)試飛數(shù)據(jù)原子粒度精細(xì)查詢[16-17]。

        數(shù)據(jù)計(jì)算主要采用采用UDF函數(shù)形式,編寫規(guī)則代碼,封裝為業(yè)務(wù)分析函數(shù),實(shí)現(xiàn)數(shù)據(jù)整合與加工。數(shù)據(jù)計(jì)算主要包括時(shí)間對齊計(jì)算、插值擬合計(jì)算、參數(shù)合并計(jì)算和數(shù)值通用計(jì)算等簡單計(jì)算,較為復(fù)雜計(jì)算采用向試飛數(shù)據(jù)平臺大數(shù)據(jù)計(jì)算引擎提交計(jì)算請求,獲取大數(shù)據(jù)引擎計(jì)算結(jié)果的方式。數(shù)據(jù)服務(wù)以統(tǒng)一應(yīng)用程序編程接口(API,application programming interface)形式響應(yīng)數(shù)據(jù)應(yīng)用軟件訂閱數(shù)據(jù)需求[18-20]。

        2 系統(tǒng)硬件設(shè)計(jì)

        試飛數(shù)據(jù)查詢引擎設(shè)計(jì)立足試飛數(shù)據(jù)平臺資源,采用存算分離技術(shù)和異構(gòu)計(jì)算技術(shù),研制數(shù)據(jù)調(diào)度和融合功能,實(shí)現(xiàn)試飛數(shù)據(jù)快速查詢與計(jì)算,其系統(tǒng)硬件設(shè)計(jì)如圖2所示。

        圖2 硬件設(shè)計(jì)

        存算分離技術(shù)是指存儲(云盤/對象存儲等)和計(jì)算(彈性伸縮)分離至彼此獨(dú)立的計(jì)算域和存儲域,并通過以太網(wǎng)或?qū)S么鎯W(wǎng)絡(luò)(例如光纖通道)將二者互連,實(shí)現(xiàn)了存儲資源的靈活擴(kuò)展和高效共享。滿足云和互聯(lián)網(wǎng)存儲域服務(wù)兼顧資源利用率、可靠性、性能、效率等眾多訴求,充分利用理論上無限的IaaS層的資源來構(gòu)建,實(shí)現(xiàn)資源的池化和按需分配,實(shí)現(xiàn)更佳的彈性伸縮能力,從而提高資源的利用率更高的可用性和降低成本。隨著高速網(wǎng)絡(luò)技術(shù)和新硬件的發(fā)展,數(shù)據(jù)平臺主流方式將計(jì)算,內(nèi)存,和存儲資源分別以資源池的方式做解耦合,這些云上IaaS資源以池化形式供應(yīng)給用戶使用,并且通過高速網(wǎng)絡(luò)來進(jìn)行鏈接。

        試飛數(shù)據(jù)查詢引擎基于存算分離技術(shù),設(shè)計(jì)資源分配策略,根據(jù)查詢?nèi)蝿?wù)靈活申請租戶資源,確保查詢事務(wù)正確執(zhí)行,確保查詢事務(wù)高效執(zhí)行,確保系統(tǒng)高可用。試飛數(shù)據(jù)存儲于試飛數(shù)據(jù)平臺對象存儲組件,以及基于對象存儲的Hive等分布式數(shù)據(jù)庫,并采用備份機(jī)制。試飛數(shù)據(jù)查詢引擎獲取對象存儲的元數(shù)據(jù)信息,快速獲取所需數(shù)據(jù)塊并加載到內(nèi)存中。試飛數(shù)據(jù)查詢充分發(fā)揮分布式計(jì)算引擎優(yōu)勢,按需彈性拓展計(jì)算單元,分配計(jì)算任務(wù)至計(jì)算單元,在內(nèi)存中開展大規(guī)模并行計(jì)算,匯聚計(jì)算結(jié)果,統(tǒng)一輸出查詢數(shù)據(jù)。

        試飛數(shù)據(jù)查詢引擎采用X86服務(wù)器和ARM服務(wù)器混合部署的異構(gòu)計(jì)算技術(shù),定制研發(fā)不同計(jì)算內(nèi)核功能模塊,屏蔽底層硬件差異帶來的計(jì)算性能影響,實(shí)現(xiàn)計(jì)算性能一致性。根據(jù)試飛數(shù)據(jù)計(jì)算場景,批處理任務(wù)采用X86服務(wù)器集群,基于X86的復(fù)雜指令集(CISC,complex instruction set computing)特征,完成復(fù)雜數(shù)據(jù)計(jì)算功能。流處理場景采用ARM服務(wù)器集群,基于精簡指令集(RISC,reduced instruction set computing)特征,完成通用計(jì)算,發(fā)揮其低功耗優(yōu)勢,降低常規(guī)計(jì)算維護(hù)成本。

        3 系統(tǒng)軟件設(shè)計(jì)

        3.1 軟件設(shè)計(jì)思路和編程方法

        如圖3所示,試飛數(shù)據(jù)查詢引擎采用大數(shù)據(jù)分布式交互查詢關(guān)鍵技術(shù),基于試飛數(shù)據(jù)處理與分析平臺多種功能數(shù)據(jù)存儲與計(jì)算組件,設(shè)計(jì)數(shù)據(jù)查詢接口,制定資源分配策略,開發(fā)試飛數(shù)據(jù)計(jì)算UDF函數(shù),分層加工處理與存儲數(shù)據(jù),具備多源數(shù)據(jù)匯聚,多維信息關(guān)聯(lián)查詢,多層數(shù)據(jù)靈活鉆取,多功能自定義函數(shù)集成,多類指標(biāo)數(shù)據(jù)自適應(yīng)輸出等功能。

        圖3 試飛數(shù)據(jù)查詢引擎軟件設(shè)計(jì)

        試飛數(shù)據(jù)查詢引擎基于試飛數(shù)據(jù)平臺交互分析組件Presto研制數(shù)據(jù)查詢功能,采用ANSI SQL和Java等數(shù)據(jù)開發(fā)語言編寫數(shù)據(jù)查詢語句和數(shù)據(jù)計(jì)算自定義函數(shù)。

        試飛數(shù)據(jù)查詢引擎根據(jù)Presto組件子功能模塊,細(xì)分為試飛數(shù)據(jù)查詢?yōu)?個(gè)過程,即為試飛數(shù)據(jù)查詢?nèi)肟谶^程、試飛數(shù)據(jù)查詢服務(wù)過程、試飛數(shù)據(jù)查詢與計(jì)算過程以及試飛數(shù)據(jù)源連接過程。

        試飛數(shù)據(jù)查詢?nèi)肟诓捎肞resto的客戶端(Client)接收試飛數(shù)據(jù)應(yīng)用軟件發(fā)起的數(shù)據(jù)查詢請求,包括試飛業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)、試飛試驗(yàn)數(shù)據(jù)、試飛分析結(jié)果數(shù)據(jù)等數(shù)據(jù)類型。

        試飛數(shù)據(jù)查詢服務(wù)采用Presto的coordinator接收查詢請求,解析查詢?nèi)蝿?wù),生成查詢計(jì)劃,優(yōu)化查詢策略、編排查詢?nèi)蝿?wù),獲取數(shù)據(jù)存儲元信息并開展解析,并提交給worker,執(zhí)行數(shù)據(jù)查詢。也接收work查詢數(shù)據(jù)結(jié)果,以數(shù)據(jù)服務(wù)形式反饋給客戶端。

        試飛數(shù)據(jù)查詢與計(jì)算采用Presto的worker節(jié)點(diǎn)負(fù)責(zé)查詢處理和計(jì)算功能。按照分布式系統(tǒng)特點(diǎn),配置多個(gè)worker執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù),當(dāng) Worker啟動(dòng)時(shí),會通過REST API通信方式廣播自己去發(fā)現(xiàn) Coordinator,并告知 Coordinator 它是可用,隨時(shí)可以接受 Task。根據(jù)試飛數(shù)據(jù)特征和業(yè)務(wù)邏輯,設(shè)計(jì)了試飛概覽查詢worker、試飛數(shù)據(jù)精細(xì)查詢worker、試飛數(shù)據(jù)高保真查詢worker、試飛數(shù)據(jù)特征查詢worker,以及試飛數(shù)據(jù)計(jì)算worker等多功能計(jì)算節(jié)點(diǎn)。各個(gè)worker節(jié)點(diǎn)間采用RestAPI形式實(shí)現(xiàn)數(shù)據(jù)通信,融合數(shù)據(jù)處理結(jié)果,生成結(jié)果數(shù)據(jù)集。

        試飛數(shù)據(jù)源連接采用Presto的connector負(fù)責(zé) Presto 和試飛數(shù)據(jù)存儲組件中的數(shù)據(jù)源連接。Connector 將 Presto 適配到試飛數(shù)據(jù)源,驅(qū)動(dòng)數(shù)據(jù)庫連接程序,如Hive或關(guān)系數(shù)據(jù)庫。 Presto 包含幾個(gè)內(nèi)置連接器:JMX 的連接器 ,它是一個(gè)提供對內(nèi)置系統(tǒng)表訪問的系統(tǒng)連接器;Hive連接器和一個(gè)用于提供 TPC-H 基準(zhǔn)數(shù)據(jù)的TPCH連接器,以及根據(jù)試飛連接場景開發(fā)的對象存儲和數(shù)據(jù)倉庫連接器等第三方連接器,實(shí)現(xiàn)Presto 訪問各種試飛數(shù)據(jù)源中的數(shù)據(jù)。

        試飛數(shù)據(jù)倉庫是試飛數(shù)據(jù)查詢引擎關(guān)鍵數(shù)據(jù)源,大多數(shù)試飛數(shù)據(jù)應(yīng)用都從試飛數(shù)據(jù)倉庫中進(jìn)行數(shù)據(jù)獲取。試飛數(shù)據(jù)倉庫的貼源數(shù)據(jù)層(ODS,operation data store),基于Hive進(jìn)行數(shù)據(jù)存儲,數(shù)據(jù)細(xì)節(jié)層(DWD,data warehouse details)存儲經(jīng)過一定規(guī)則處理后的事件數(shù)據(jù)集、數(shù)據(jù)服務(wù)層(DWS,data warehouse service)存儲經(jīng)過聚合處理后的統(tǒng)計(jì)信息或試飛任務(wù)執(zhí)行結(jié)果數(shù)據(jù)集。維表層(DIM,dimension)存儲試飛數(shù)據(jù)維度信息,包含試飛數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等元數(shù)據(jù)信息,支持試飛數(shù)據(jù)查詢引擎快速解析查詢?nèi)蝿?wù)。

        3.2 軟件實(shí)現(xiàn)流程

        試飛數(shù)據(jù)查詢引擎核心查詢功能包括概覽查詢、高保真查詢、特征查詢、精細(xì)查詢,以及查詢后數(shù)據(jù)計(jì)算,設(shè)計(jì)了統(tǒng)一查詢功能接口和各類查詢實(shí)現(xiàn)流程。

        3.2.1 概覽查詢

        如圖4所示,概覽查詢查詢數(shù)倉的ODS層中存儲全部參數(shù)的按秒聚合數(shù)據(jù),每次查詢會一次查詢并加載該段時(shí)間的全部參數(shù)的數(shù)據(jù),對于采樣頻率小的參數(shù)或參數(shù)量不多,且在時(shí)間跨度不大的情況下,基于presto的查詢結(jié)果輸出和展示會很快。但對于高頻參數(shù)(采樣頻率大于512的參數(shù)),單秒的按秒聚合值包含的數(shù)據(jù)相對于低頻參數(shù)就會比較大,若參數(shù)量增多和時(shí)間范圍擴(kuò)大,大數(shù)據(jù)量的情況下對網(wǎng)絡(luò)傳輸和集群查詢性能都會有較大的影響。

        圖4 概覽查詢流程圖

        基于對查詢性能的優(yōu)化,在數(shù)倉的DWD層中創(chuàng)建概覽表,用于存儲單秒內(nèi)的聚合值。對于核心參數(shù)(查詢使用頻率較高的參數(shù)),在概覽表中存儲一秒內(nèi)的最大值及對應(yīng)的時(shí)間(精確到秒);對于高頻參數(shù),在概覽表中存儲一秒內(nèi)的初始值、最大值、最小值、結(jié)束值,將4個(gè)值合并為一條數(shù)據(jù),并結(jié)合對應(yīng)的時(shí)間進(jìn)行存儲。

        概覽查詢先根據(jù)參數(shù)查詢數(shù)倉DIM層的概覽參數(shù)映射表,獲取到每個(gè)參數(shù)存儲的概覽表名和對應(yīng)的映射字段,然后查詢概覽表獲取概覽數(shù)據(jù)。概覽查詢主要用于多參數(shù)在長歷程時(shí)間段中的查詢,包括高頻參數(shù)和核心參數(shù)。通過概覽查詢獲取參數(shù)的整體變化趨勢,存儲的聚合值也可獲取該參數(shù)是否存在波峰或波谷的情況。

        3.2.2 高保真查詢

        如圖5所示,高保真查詢根據(jù)顯示器分辨率,選擇合適的數(shù)據(jù)點(diǎn),表征數(shù)據(jù)特征。由于試飛數(shù)據(jù)采樣率都比較高,且試驗(yàn)歷程都在數(shù)小時(shí),在數(shù)據(jù)選段過程中需要逐步縮小數(shù)據(jù)范圍查看細(xì)節(jié)數(shù)據(jù),且隨著數(shù)據(jù)量增大,對網(wǎng)絡(luò)傳輸性能和瀏覽器的展示性能都會產(chǎn)生負(fù)面的影響。基于此進(jìn)行考慮,從查詢服務(wù)獲取數(shù)據(jù)后,根據(jù)傳入的屏幕分辨率進(jìn)行縮放數(shù)據(jù),將總的數(shù)據(jù)條數(shù)降頻為指定分辨率下的條數(shù)。

        圖5 高保真數(shù)據(jù)查詢流程

        比如對于1 080*1 920的分辨率下,水平方向含有像素?cái)?shù)為1 920個(gè)。若返回?cái)?shù)據(jù)集中每個(gè)參數(shù)對應(yīng)的數(shù)據(jù)條數(shù)小于1 920條,則可直接返回界面進(jìn)行展示;若大于1 920條,則需要對每個(gè)參數(shù)的數(shù)據(jù)條數(shù)對齊到1 920條。對齊方式為1分別除以原始條數(shù)和分辨率對應(yīng)的水平像素?cái)?shù),依次遍歷像素?cái)?shù)對應(yīng)的單位間隔,獲取原始條數(shù)中該區(qū)間的最大值,直到遍歷結(jié)束。

        按屏幕分辨率進(jìn)行縮放后的數(shù)據(jù)可以減少大數(shù)據(jù)量對網(wǎng)絡(luò)帶寬和瀏覽器負(fù)載的影響,提高數(shù)據(jù)的返回效率,保證用戶在保持?jǐn)?shù)據(jù)準(zhǔn)確性的同時(shí),提高查詢效率。

        高保真查詢獲取DIM層的參數(shù)映射表保存所有架次的參數(shù)映射信息,DIM層的參數(shù)映射表存儲參數(shù)對應(yīng)的原參數(shù)字段名、hive映射字段、hive表名、創(chuàng)建時(shí)間等信息。在數(shù)倉的ODS層的數(shù)據(jù)表存儲每個(gè)架次所有參數(shù)對應(yīng)的按秒聚合數(shù)據(jù)。查詢時(shí)根據(jù)用戶傳入的參數(shù)名、架次信息及其他查詢參數(shù),先從數(shù)倉DIM層的參數(shù)映射表中查詢對應(yīng)參數(shù)在hive存儲的表和映射字段名,拼接封裝查詢的sql。通過presto在數(shù)倉ODS層對應(yīng)的表中查詢指定參數(shù)的數(shù)據(jù),并根據(jù)屏幕分辨率傳遞的高保真顯示要求輸出聚合處理數(shù)據(jù)。

        3.2.3 精細(xì)查詢

        精細(xì)查詢實(shí)現(xiàn)精細(xì)度較高甚至原子粒度數(shù)據(jù)查詢,如圖6所示。在數(shù)倉的ODS層的數(shù)據(jù)表存儲每個(gè)架次所有參數(shù)對應(yīng)的按秒聚合數(shù)據(jù),但部分參數(shù)長度過長,無法直接作為字段進(jìn)行存儲,需要在DIM層創(chuàng)建參數(shù)映射表保存所有架次的參數(shù)映射信息,DIM層的參數(shù)映射表存儲參數(shù)對應(yīng)的原參數(shù)字段名、hive映射字段、hive表名、創(chuàng)建時(shí)間等信息。查詢時(shí)根據(jù)用戶傳入的參數(shù)名、架次信息及其他查詢參數(shù),先從數(shù)倉DIM層的參數(shù)映射表中查詢對應(yīng)參數(shù)在hive存儲的表和映射字段名,拼接封裝查詢的sql。通過presto在數(shù)倉ODS層對應(yīng)的表中查詢指定參數(shù)的數(shù)據(jù)。

        圖6 精細(xì)查詢流程

        在數(shù)倉ODS層的原始數(shù)據(jù)是以按秒聚合的形式進(jìn)行存儲,即一條數(shù)據(jù)包含該參數(shù)對應(yīng)頻率秒內(nèi)的全部數(shù)據(jù)。時(shí)間列中存儲的時(shí)間精確到秒級,不包含微秒的數(shù)據(jù),需要根據(jù)規(guī)則計(jì)算按秒聚合中每條數(shù)據(jù)對應(yīng)的微秒值。微秒計(jì)算方式為1 000 000除以對應(yīng)頻率后取整,取整方式為去除小數(shù)點(diǎn),然后將長度補(bǔ)全為6位,不足六位的左邊補(bǔ)零,并依次遍歷獲取每條數(shù)對應(yīng)的微秒值。

        3.2.4 特征查詢

        如圖7所示,特征查詢在滿足原始數(shù)據(jù)查詢和基于一定規(guī)則過濾數(shù)據(jù)查詢的情況下,實(shí)現(xiàn)對查詢的數(shù)據(jù)提取特征,獲取特征數(shù)據(jù)段。在數(shù)倉的DWD層,會創(chuàng)建概覽表保存核心參數(shù)和高頻參數(shù)在不同架次中的秒內(nèi)聚合值(最大值、最小值),以及各類主題分析結(jié)果明細(xì)表。對于獲取波峰波谷類型的特征數(shù)據(jù),通過查詢概覽表中的數(shù)據(jù),可以直接獲取架次中指定參數(shù)的該類特征數(shù)據(jù)。對于獲取分析類型的數(shù)據(jù),可通過查詢對應(yīng)主題的分析結(jié)果明細(xì)表中獲取分析結(jié)果特征數(shù)據(jù)。

        圖7 特征查詢流程

        同時(shí)也支持通過對ODS層中原始數(shù)據(jù)查詢后,使用算法平臺自定義特征查詢。如對于FFT變換,查詢服務(wù)先查詢DWD層的分析結(jié)果明細(xì)表中是否存在已有分析的數(shù)據(jù),若有則直接進(jìn)行查詢后獲取結(jié)果返回,反之則通過presto查詢ODS層中存儲的按秒聚合數(shù)據(jù),將原始數(shù)據(jù)輸入算法平臺調(diào)用FFT變換算子,獲取變換后的結(jié)果進(jìn)行返回。

        試飛數(shù)據(jù)查詢引擎數(shù)據(jù)計(jì)算功能包括時(shí)間對齊、插值計(jì)算、數(shù)值計(jì)算以及參數(shù)合并等計(jì)算方式。

        時(shí)間對齊為了滿足多個(gè)參數(shù)值在界面上的統(tǒng)一展示,對于相同頻率的參數(shù),可直接對查詢結(jié)果進(jìn)行返回。對于不同頻率參數(shù)的數(shù)據(jù)查詢結(jié)果,需要將不同頻率參數(shù)的數(shù)據(jù)進(jìn)行升頻或降頻成相同頻率,保證多個(gè)參數(shù)的數(shù)據(jù)保持在一個(gè)頻率上,即同一時(shí)間段內(nèi),參數(shù)對應(yīng)的數(shù)據(jù)條數(shù)保持一樣。如3個(gè)參數(shù)分別為16頻率、32頻率和64頻率,需要將頻率為16的參數(shù)升頻到32頻率,頻率為64的參數(shù)降頻到32頻率,即一秒內(nèi)的數(shù)據(jù)都是32條。時(shí)間對齊服務(wù)通過參數(shù)映射表獲取參數(shù)列表中每個(gè)參數(shù)對應(yīng)的原始頻率,將不同頻率參數(shù)的數(shù)據(jù)進(jìn)行遍歷,對單秒內(nèi)聚合的數(shù)據(jù)進(jìn)行時(shí)間對齊,將每秒內(nèi)的數(shù)據(jù)對齊到同一目標(biāo)頻率中。時(shí)間對齊的邏輯為先將1分別除以原始頻率和目標(biāo)頻率,獲取兩個(gè)頻率的單位時(shí)間段,遍歷原始頻率和目標(biāo)頻率,選擇在對應(yīng)時(shí)間段內(nèi)的區(qū)域數(shù)據(jù)。

        插值計(jì)算服務(wù)通過參數(shù)、架次和時(shí)間范圍等信息獲取到原始數(shù)據(jù)后,可支持調(diào)用平臺算法模塊中生成的接口進(jìn)行二次計(jì)算,如插值計(jì)算和擬合計(jì)算等操作??蓪⑵脚_通過離線服務(wù)包的方式,將自己建好的算法流程打包成sdk并集成到查詢服務(wù)中,后續(xù)對獲取的數(shù)據(jù)調(diào)用生成的sdk進(jìn)行計(jì)算。

        數(shù)值計(jì)算支持根據(jù)用戶的實(shí)際需求自定義UDF函數(shù),將編寫好的UDF函數(shù)打包到 presto集群中進(jìn)行部署后,結(jié)合sql進(jìn)行使用??芍С謱γ雰?nèi)的數(shù)據(jù)按值進(jìn)行過濾,如篩選秒內(nèi)值中大于某個(gè)值的數(shù)據(jù)及其對應(yīng)的微秒數(shù),對于32頻率的參數(shù),一秒內(nèi)的單位為1 000 000/32=31 250,則t0=000 000,t1=31 250,t2=62 500,t3=125 000…

        將獲取微秒值的處理邏輯封裝為udf函數(shù),打包到presto集群中,后續(xù)的查詢結(jié)合udf函數(shù)獲取按秒聚合數(shù)據(jù)中,每條數(shù)據(jù)對應(yīng)的微秒值,和時(shí)間列進(jìn)行拼接后返回。支持對查詢結(jié)果進(jìn)行變換處理,如時(shí)間對齊、分辨率自適應(yīng)等操作。同時(shí)支持對查詢數(shù)據(jù)導(dǎo)出為文本文件,進(jìn)行持久化保存。

        參數(shù)合并對所有參數(shù)的時(shí)間對齊后數(shù)據(jù)保持相同的條數(shù)。此時(shí)可根據(jù)業(yè)務(wù)需求進(jìn)行參數(shù)之間的計(jì)算,對多個(gè)參數(shù)進(jìn)行合并,如相加、相減等操作。

        4 實(shí)驗(yàn)結(jié)果與分析

        4.1 實(shí)驗(yàn)步驟和方法

        試飛數(shù)據(jù)查詢引擎按照試飛數(shù)據(jù)平臺數(shù)據(jù)查詢流程,開展數(shù)據(jù)查詢功能和性能驗(yàn)證,并進(jìn)行高保真查詢性能驗(yàn)證。主要步驟如下:

        第一步:數(shù)據(jù)查詢輸入

        數(shù)據(jù)查詢輸入如表1所示。

        表1 查詢對象和條件輸入

        第二步:提交查詢請求

        通過Https接口協(xié)議,提交到Presto查詢引擎,執(zhí)行數(shù)據(jù)查詢,運(yùn)行時(shí)間對齊UDF函數(shù)。

        第三步:輸出查詢結(jié)果

        查詢結(jié)果如表2所示。

        表2 查詢結(jié)果輸出

        4.2 實(shí)驗(yàn)數(shù)據(jù)

        試飛數(shù)據(jù)查詢引擎完成數(shù)據(jù)查詢和時(shí)間對齊,分別在單表和多表情況下,將對應(yīng)參數(shù)的頻率對齊到32頻率中,實(shí)驗(yàn)結(jié)果如表3所示。

        表3 數(shù)據(jù)查詢與時(shí)間對齊耗時(shí)

        表4 高保真數(shù)據(jù)查詢對比

        試飛數(shù)據(jù)查詢引擎在指定1 080 P顯示分辨率條件下,開展數(shù)據(jù)對齊到1 920分辨率查詢性能測試,即每次輸出1 920個(gè)數(shù)據(jù)點(diǎn)。

        4.3 實(shí)驗(yàn)分析

        試飛數(shù)據(jù)查詢引擎查詢性能達(dá)到了秒級響應(yīng),滿足主要查詢場景需求。但是隨著查詢參數(shù)增多、數(shù)據(jù)量增多,查詢響應(yīng)時(shí)間會增加,造成數(shù)據(jù)應(yīng)用軟件獲取數(shù)據(jù)等待時(shí)間長的問題,因此需要基于試飛數(shù)據(jù)平臺云資源優(yōu)勢,優(yōu)化查詢條件,控制查詢復(fù)雜度,采用分布式并行查詢方式,提升查詢性能。

        5 結(jié)束語

        試飛數(shù)據(jù)查詢引擎立足試飛數(shù)據(jù)平臺優(yōu)勢,應(yīng)用數(shù)據(jù)平臺三層架構(gòu)資源,設(shè)計(jì)硬件系統(tǒng)存算分離和異構(gòu)計(jì)算資源分配策略,設(shè)計(jì)面向數(shù)據(jù)用戶的多類查詢場景,研究新型數(shù)據(jù)存儲方式,開發(fā)數(shù)據(jù)處理自定義函數(shù),完成數(shù)據(jù)查詢功能驗(yàn)證,發(fā)揮試飛數(shù)據(jù)查詢引擎作為融合試飛數(shù)據(jù)平臺數(shù)據(jù)功能層、服務(wù)功能層與應(yīng)用功能層綜合應(yīng)用工具的核心定位,滿足試飛數(shù)據(jù)應(yīng)用要求。

        鑒于試飛數(shù)據(jù)種類多樣化,數(shù)據(jù)隨機(jī)性變化,數(shù)據(jù)多地產(chǎn)生等特點(diǎn),需要持續(xù)優(yōu)化試飛數(shù)據(jù)查詢引擎架構(gòu)設(shè)計(jì),豐富試飛數(shù)據(jù)查詢引擎功能,提升試飛數(shù)據(jù)查詢引擎性能,主要解決問題如下:

        1)豐富數(shù)據(jù)接口設(shè)計(jì),兼容更多試飛數(shù)據(jù)類型和數(shù)據(jù)存儲組件,拓展試飛數(shù)據(jù)查詢引擎應(yīng)用場景;

        2)優(yōu)化數(shù)據(jù)查詢架構(gòu),發(fā)揮試飛數(shù)據(jù)平臺云原生應(yīng)用與大數(shù)據(jù)計(jì)算優(yōu)勢,持續(xù)調(diào)優(yōu)查詢策略,提升并發(fā)查詢能力;

        3)深入試飛任務(wù)過程,不斷開發(fā)集成數(shù)據(jù)計(jì)算UDF函數(shù),提供更精準(zhǔn)、更高效數(shù)據(jù)保真度。

        試飛數(shù)據(jù)查詢引擎是試飛數(shù)據(jù)平臺核心組件,有力支持試飛數(shù)據(jù)查詢應(yīng)用,方便快捷響應(yīng)試飛數(shù)據(jù)分析應(yīng)用軟件需求,豐富試飛數(shù)據(jù)平臺三層架構(gòu)內(nèi)涵,拓展試飛數(shù)據(jù)應(yīng)用外延,助力打造試飛數(shù)據(jù)數(shù)據(jù)應(yīng)用生態(tài)。試飛數(shù)據(jù)查詢引擎可以歸集通用功能,整合為一款工業(yè)大數(shù)據(jù)管理與應(yīng)用領(lǐng)域通用工具,推廣至試驗(yàn)數(shù)據(jù)等諸多領(lǐng)域,挖掘數(shù)據(jù)價(jià)值。

        猜你喜歡
        概覽數(shù)據(jù)源引擎
        滬港通一周成交概覽
        Web 大數(shù)據(jù)系統(tǒng)數(shù)據(jù)源選擇*
        藍(lán)谷: “涉藍(lán)”新引擎
        商周刊(2017年22期)2017-11-09 05:08:31
        基于不同網(wǎng)絡(luò)數(shù)據(jù)源的期刊評價(jià)研究
        無形的引擎
        河南電力(2015年5期)2015-06-08 06:01:46
        基于真值發(fā)現(xiàn)的沖突數(shù)據(jù)源質(zhì)量評價(jià)算法
        基于Cocos2d引擎的PuzzleGame開發(fā)
        分布式異構(gòu)數(shù)據(jù)源標(biāo)準(zhǔn)化查詢設(shè)計(jì)與實(shí)現(xiàn)
        2009年展會概覽
        2009年展會概覽
        蜜桃视频在线免费观看一区二区 | 中文字幕精品久久久久人妻红杏ⅰ | 亚洲男人堂色偷偷一区| 亚洲全国最大的人成网站| 五月天中文字幕日韩在线| 日韩欧美成人免费观看| 亚洲欧美日韩高清专区一区| 免费观看视频在线播放| 人妖国产视频一区二区| а√天堂资源官网在线资源| 护士奶头又白又大又好摸视频| 无码精品一区二区三区免费16| 一级一片内射视频网址| 国产成人av综合色| 亚洲国产av一区二区三区四区| 久久亚洲一级av一片| 亚洲av无一区二区三区| 天堂а√在线最新版中文在线| 亚洲免费黄色| 中文字幕久久熟女人妻av免费| 黑人老外3p爽粗大免费看视频| 无码精品久久久久久人妻中字| 久久久久中文字幕精品无码免费 | 亚洲精品tv久久久久久久久久| 黑人巨大videos极度另类| 青青草免费高清视频在线观看| 97成人精品视频在线| 亚洲国产午夜精品理论片在线播放 | 成av人片一区二区三区久久| 亚洲欧洲综合有码无码| 亚洲捆绑女优一区二区三区| 国产成人无码精品久久久露脸| 亚洲 都市 校园 激情 另类| 中文字幕一区二区三区.| 久久久免费看少妇高潮| 亚洲第一av导航av尤物| 国产高清在线精品一区αpp| 男人的精品天堂一区二区在线观看| 成人午夜福利视频后入| AV有码在线免费看| 久久精品国产亚洲av蜜臀久久|