楊東盛， 東春昭， 韓春明， 徐貴紅

（1. 中國鐵道科學(xué)研究院集團有限公司鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081；2. 中國鐵道科學(xué)研究院集團有限公司鐵路基礎(chǔ)設(shè)施檢測中心，北京 100081；3. 中國鐵道科學(xué)研究院集團有限公司基礎(chǔ)設(shè)施檢測研究所，北京 100081）

0 引言

聯(lián)調(diào)聯(lián)試［1］是高速鐵路建設(shè)的重要環(huán)節(jié)，是對全線各系統(tǒng)功能、性能、狀態(tài)和匹配關(guān)系的綜合測試、驗證、調(diào)整和優(yōu)化的過程，為線路的開通運營提供技術(shù)保障。聯(lián)調(diào)聯(lián)試項目在各專業(yè)的試驗中積累了寶貴的測試數(shù)據(jù)，為鐵路設(shè)計、建設(shè)、運營、維護提供支持，為相應(yīng)標準制訂、修訂提供依據(jù)，也為設(shè)備健康管理、高效運營提供長期保障。隨著智能高鐵建設(shè)的推進，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)實現(xiàn)聯(lián)調(diào)聯(lián)試數(shù)據(jù)智能化綜合分析的要求不斷增加，對聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理提出了更高要求［2-3］。

高鐵聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)提供了一個數(shù)據(jù)匯集、分析應(yīng)用和共享服務(wù)的平臺，實現(xiàn)了聯(lián)調(diào)聯(lián)試現(xiàn)場數(shù)據(jù)匯集管理、基礎(chǔ)信息維護、數(shù)據(jù)專項分析等功能，對結(jié)構(gòu)化、非結(jié)構(gòu)化的結(jié)果和原始數(shù)據(jù)實現(xiàn)關(guān)聯(lián)管理，并通過數(shù)據(jù)服務(wù)接口等途徑實現(xiàn)數(shù)據(jù)的安全共享及應(yīng)用能力。

根據(jù)聯(lián)調(diào)聯(lián)試數(shù)據(jù)采集及共享的特性，系統(tǒng)建設(shè)中提出了一些針對性的創(chuàng)新設(shè)計。在數(shù)據(jù)采集方面，系統(tǒng)通過將前置系統(tǒng)與大數(shù)據(jù)服務(wù)端分離部署的方式解決了聯(lián)調(diào)聯(lián)試現(xiàn)場的網(wǎng)絡(luò)不通、無法直接回傳數(shù)據(jù)的問題。同時，根據(jù)聯(lián)調(diào)聯(lián)試中結(jié)果數(shù)據(jù)與原始數(shù)據(jù)的特性，將非結(jié)構(gòu)化原始數(shù)據(jù)與結(jié)構(gòu)化的分析結(jié)果分別采用增量更新同步、依元數(shù)據(jù)標簽抽取的方式，實現(xiàn)數(shù)據(jù)的自動匯集。在數(shù)據(jù)共享方面，系統(tǒng)基于服務(wù)端的鐵路數(shù)據(jù)服務(wù)平臺提供分析及共享服務(wù)［4-5］。系統(tǒng)方案提供了多層級、分用戶的數(shù)據(jù)定制化獲取方案，從而實現(xiàn)安全可控的數(shù)據(jù)共享及使用服務(wù)。同時，根據(jù)采集時建立的結(jié)果數(shù)據(jù)與原始數(shù)據(jù)間的標簽綁定關(guān)系，系統(tǒng)可實現(xiàn)靈活可控的數(shù)據(jù)表及文件訪問，為聯(lián)調(diào)聯(lián)試跨專業(yè)數(shù)據(jù)分析挖掘和設(shè)備全生命周期數(shù)據(jù)分析提供有效支撐。

1 數(shù)據(jù)管理分析系統(tǒng)設(shè)計

1.1 系統(tǒng)總體設(shè)計框架

高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)的總體架構(gòu)主要分為前置系統(tǒng)、大數(shù)據(jù)服務(wù)端2 個部分，總體架構(gòu)見圖1。

圖1 高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理總體架構(gòu)

其中，前置系統(tǒng)部署在聯(lián)調(diào)聯(lián)試現(xiàn)場用于數(shù)據(jù)采集，專業(yè)內(nèi)數(shù)據(jù)分析以及跨專業(yè)關(guān)聯(lián)分析。系統(tǒng)對各類聯(lián)調(diào)聯(lián)試數(shù)據(jù)進行管理，包括測試基礎(chǔ)信息數(shù)據(jù)、過程數(shù)據(jù)、分析結(jié)果數(shù)據(jù)等；大數(shù)據(jù)服務(wù)端是基于鐵路數(shù)據(jù)服務(wù)平臺提供的資源及服務(wù)能力構(gòu)建的聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理服務(wù)系統(tǒng)，包含數(shù)據(jù)匯集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)共享等功能。

1.2 前置系統(tǒng)

1.2.1 功能

前置系統(tǒng)在聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)整體框架中主要承擔(dān)現(xiàn)場數(shù)據(jù)集中采集任務(wù)，其系統(tǒng)功能主要涵蓋現(xiàn)場數(shù)據(jù)采集、數(shù)據(jù)的歸集及元數(shù)據(jù)標簽管理等方面。

（1）現(xiàn)場數(shù)據(jù)采集。對數(shù)據(jù)源端上傳的數(shù)據(jù)根據(jù)文件名、上傳路徑、時間戳等標志信息進行初步分類及完整性校驗，并存儲元數(shù)據(jù)文件、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。

（2）數(shù)據(jù)歸集及管理。采集數(shù)據(jù)包括非結(jié)構(gòu)化的原始數(shù)據(jù)、分析處理后的結(jié)果數(shù)據(jù)等。對于結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)解析后按規(guī)則存儲至前置系統(tǒng)數(shù)據(jù)庫；對于非結(jié)構(gòu)化數(shù)據(jù)，上傳后系統(tǒng)定期向大數(shù)據(jù)服務(wù)端的非結(jié)構(gòu)化數(shù)據(jù)存儲模塊導(dǎo)入。其中，元數(shù)據(jù)信息部分可以根據(jù)文件名自動提取，并提供測試人員增補的功能。

（3）向服務(wù)端上傳數(shù)據(jù)。前置系統(tǒng)部署在測試現(xiàn)場，系統(tǒng)采集到的數(shù)據(jù)會根據(jù)項目進展定期進行數(shù)據(jù)上傳導(dǎo)入。前置系統(tǒng)帶回接入內(nèi)網(wǎng)后，結(jié)構(gòu)化數(shù)據(jù)通過數(shù)據(jù)庫同步的方式整體導(dǎo)入至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)倉庫；非結(jié)構(gòu)化數(shù)據(jù)根據(jù)讀取路徑拷貝的方式導(dǎo)入至相應(yīng)存儲模塊。

（4）數(shù)據(jù)檢索、分析及展示。前置系統(tǒng)提供初步的Web 頁面檢索、分析及圖表展示等管理分析功能，為實現(xiàn)聯(lián)調(diào)聯(lián)試現(xiàn)場的數(shù)據(jù)管理提供簡單便捷的操作處理條件。

1.2.2 設(shè)計實現(xiàn)

前置系統(tǒng)功能的設(shè)計實現(xiàn)，主要需考慮聯(lián)調(diào)聯(lián)試現(xiàn)場的硬件部署、現(xiàn)場結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的采集存儲方式等。

（1）硬件部署。前置系統(tǒng)在聯(lián)調(diào)聯(lián)試現(xiàn)場采用與互聯(lián)網(wǎng)物理隔離的方式，保障數(shù)據(jù)安全，即在聯(lián)調(diào)聯(lián)試現(xiàn)場采用與內(nèi)網(wǎng)環(huán)境相同的安全策略。聯(lián)調(diào)聯(lián)試結(jié)束后，數(shù)據(jù)通過物理存儲介質(zhì)攜帶回內(nèi)網(wǎng)環(huán)境，并傳入大數(shù)據(jù)服務(wù)端存儲管理。

（2）數(shù)據(jù)管理。對于結(jié)構(gòu)化（半結(jié)構(gòu)化）數(shù)據(jù)，系統(tǒng)采用FTP/SFTP 上傳半結(jié)構(gòu)化文件并按規(guī)則解析入庫等方式存入前置數(shù)據(jù)庫中；對于非結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)采用Web頁面上傳，F(xiàn)TP周期性自動上傳等方式存儲在前置機中。結(jié)構(gòu)化數(shù)據(jù)解析入庫前，需經(jīng)過簡單的數(shù)據(jù)清洗和完整性校驗；非結(jié)構(gòu)化數(shù)據(jù)可根據(jù)自動提取的元數(shù)據(jù)補充相關(guān)標簽后，與結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)存儲。

（3）采集接口。前置系統(tǒng)在聯(lián)調(diào)聯(lián)試現(xiàn)場只對外提供數(shù)據(jù)采集接口，形式可以包括Web頁面錄入、FTP上傳半結(jié)構(gòu)化文件并按規(guī)則解析入庫、Kafka［6］、Socket或RESTful［7］等接口獲取數(shù)據(jù)流等方式。

1.3 大數(shù)據(jù)服務(wù)端

1.3.1 功能

大數(shù)據(jù)服務(wù)端功能主要由鐵路數(shù)據(jù)服務(wù)平臺的資源和能力提供，包括數(shù)據(jù)匯集、數(shù)據(jù)管理、數(shù)據(jù)共享等基礎(chǔ)功能。并在此基礎(chǔ)上，提供綜合分析、可視化展示等應(yīng)用功能。

（1）數(shù)據(jù)匯集。項目結(jié)束后，現(xiàn)場采集數(shù)據(jù)由前置機帶回內(nèi)網(wǎng)環(huán)境。對結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)服務(wù)端的關(guān)系型數(shù)據(jù)庫通過增量更新同步，將新增數(shù)據(jù)匯集存儲；對非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)服務(wù)端的對象存儲功能模塊根據(jù)文件的時間戳，將新增數(shù)據(jù)同步存儲，用于分析、在線瀏覽和共享使用。

（2）數(shù)據(jù)管理。大數(shù)據(jù)服務(wù)端根據(jù)聯(lián)調(diào)聯(lián)試各類數(shù)據(jù)的數(shù)據(jù)量大小、使用情況等因素，調(diào)配資源，將逐步積累的大量清洗、治理后的結(jié)構(gòu)化數(shù)據(jù)遷移到數(shù)據(jù)倉庫存儲，將積累的非結(jié)構(gòu)化歷史文件遷移到分布式文件系統(tǒng)（HDFS），供數(shù)據(jù)分析使用。

（3）數(shù)據(jù)目錄及檢索。數(shù)據(jù)目錄將大數(shù)據(jù)服務(wù)端的數(shù)據(jù)按照分類進行展現(xiàn)，用戶通過分類找到包含若干屬性的數(shù)據(jù)表，使用戶能夠通過數(shù)據(jù)目錄獲知數(shù)據(jù)的種類以及相關(guān)信息。用戶還可以在數(shù)據(jù)列表中根據(jù)相關(guān)字段對數(shù)據(jù)進行篩選、排序、并根據(jù)關(guān)鍵字對內(nèi)容進行檢索。

（4）數(shù)據(jù)分析。數(shù)據(jù)分析功能面向技術(shù)開發(fā)人員、聯(lián)調(diào)聯(lián)試業(yè)務(wù)人員提供腳本開發(fā)及自助分析2 部分功能，實現(xiàn)對聯(lián)試聯(lián)試數(shù)據(jù)的專業(yè)內(nèi)部分析、跨專業(yè)關(guān)聯(lián)分析功能。

1.3.2 設(shè)計實現(xiàn)

對于數(shù)據(jù)服務(wù)平臺聯(lián)調(diào)聯(lián)試相關(guān)的技術(shù)實現(xiàn)主要需考慮數(shù)據(jù)匯集、數(shù)據(jù)治理和數(shù)據(jù)共享3個方面。

（1）數(shù)據(jù)匯集。對于結(jié)構(gòu)化數(shù)據(jù)匯集，在內(nèi)網(wǎng)環(huán)境中，通過部署在前置系統(tǒng)的后臺程序與數(shù)據(jù)服務(wù)平臺關(guān)系型數(shù)據(jù)庫建立連接，將結(jié)構(gòu)化數(shù)據(jù)由前置機關(guān)系型數(shù)據(jù)庫（MySQL）上傳導(dǎo)入至平臺的PostgreSQL數(shù)據(jù)庫，其中大數(shù)據(jù)服務(wù)端的庫表結(jié)構(gòu)需與前置數(shù)據(jù)庫統(tǒng)一；對于非結(jié)構(gòu)化數(shù)據(jù)匯集，前置系統(tǒng)與大數(shù)據(jù)服務(wù)端的對象存儲模塊建立連接，通過檢索判斷各文件在數(shù)據(jù)庫中存儲的元數(shù)據(jù)、路徑及時間戳，將新增文件自動導(dǎo)入。

（2） 數(shù)據(jù)治理。在數(shù)據(jù)匯集的流處理階段（Flink）［8］對數(shù)據(jù)格式、完整性等進行校驗，對采集數(shù)據(jù)出現(xiàn)異常的情況進行日志記錄和反饋，對清洗后的正常數(shù)據(jù)及元數(shù)據(jù)入庫存儲。

（3）數(shù)據(jù)共享。對于結(jié)構(gòu)化數(shù)據(jù)，提供RESTful 風(fēng)格封裝的標準化接口進行數(shù)據(jù)共享。數(shù)據(jù)服務(wù)平臺的用戶權(quán)限控制采用Kerberos 進行認證［9］，對外RESTful接口的權(quán)限控制由JWT Token 認證的方式［10］實現(xiàn)。對于非結(jié)構(gòu)化數(shù)據(jù)，集成API 提供文檔文件的Web 網(wǎng)頁端在線編輯瀏覽，對于專業(yè)數(shù)據(jù)軟件，支持檢索下載使用或以遠程訪問的方式使用。

2 數(shù)據(jù)管理方案

2.1 閉環(huán)管理分析應(yīng)用流程

數(shù)據(jù)通過前置機采集，上傳抽取到內(nèi)網(wǎng)大數(shù)據(jù)服務(wù)端的數(shù)據(jù)服務(wù)平臺中，并由平臺提供數(shù)據(jù)的治理、分析和共享服務(wù)。數(shù)據(jù)采集和共享操作的具體流程見圖2。

在聯(lián)調(diào)聯(lián)試現(xiàn)場，外部專業(yè)數(shù)據(jù)源數(shù)據(jù)通過前置系統(tǒng)的數(shù)據(jù)采集模塊經(jīng)上傳導(dǎo)入等操作進入數(shù)據(jù)管理系統(tǒng)。隨后經(jīng)過數(shù)據(jù)完整性校驗、增加時間戳標記暫存于前置系統(tǒng)中。前置系統(tǒng)還提供對聯(lián)調(diào)聯(lián)試專業(yè)基礎(chǔ)數(shù)據(jù)的維護，主要包括對地面專業(yè)的測點數(shù)據(jù)錄入、試驗基礎(chǔ)元數(shù)據(jù)維護以及結(jié)構(gòu)化結(jié)果數(shù)據(jù)、日報文件與原始數(shù)據(jù)文件的綁定，以及對全部采集數(shù)據(jù)的管理（查詢、檢索及元數(shù)據(jù)維護）操作。

圖2 數(shù)據(jù)采集共享流程

聯(lián)調(diào)聯(lián)試結(jié)束后，存儲于前置機的數(shù)據(jù)由物理介質(zhì)帶回內(nèi)網(wǎng)環(huán)境。數(shù)據(jù)分別通過“結(jié)構(gòu)化數(shù)據(jù)同步”“非結(jié)構(gòu)化數(shù)據(jù)抽取”方式進行數(shù)據(jù)匯集。結(jié)構(gòu)化數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫、非結(jié)構(gòu)化的原始文件存于大數(shù)據(jù)服務(wù)端提供的對象存儲服務(wù)中。針對聯(lián)調(diào)聯(lián)試現(xiàn)場與大數(shù)據(jù)服務(wù)端在數(shù)據(jù)采集過程中網(wǎng)絡(luò)不通無法交互的問題，“結(jié)構(gòu)化數(shù)據(jù)同步”模塊在開始同步前及同步中會記錄導(dǎo)入標志位信息。在前置系統(tǒng)與大數(shù)據(jù)服務(wù)端網(wǎng)絡(luò)連通后，該設(shè)計方式可實現(xiàn)增量數(shù)據(jù)導(dǎo)入，從而避免了數(shù)據(jù)缺失、導(dǎo)入重復(fù)、數(shù)據(jù)結(jié)構(gòu)混亂、數(shù)據(jù)不連續(xù)等問題的發(fā)生；“非結(jié)構(gòu)化數(shù)據(jù)抽取”模塊在結(jié)構(gòu)化的結(jié)果數(shù)據(jù)導(dǎo)入后進行數(shù)據(jù)抽取，對于現(xiàn)場采集的“軌道幾何狀態(tài)”“動車組動力學(xué)響應(yīng)”“接觸網(wǎng)幾何狀態(tài)”等既存在測量結(jié)果值，也存在原始波形文件的試驗數(shù)據(jù)，系統(tǒng)會在結(jié)構(gòu)化數(shù)據(jù)中標記其抽取原始文件的路徑信息，取出到平臺后可根據(jù)結(jié)果數(shù)據(jù)尋找到原始數(shù)據(jù)，實現(xiàn)數(shù)據(jù)間的相互綁定。

匯集至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)可以直接共享，也可通過數(shù)據(jù)治理或數(shù)據(jù)分析，提供更精細化的數(shù)據(jù)或直接提供分析結(jié)果共享使用。共享數(shù)據(jù)的獲取方式包括：Web 端在線瀏覽、專業(yè)軟件數(shù)據(jù)遠程終端操作、應(yīng)用程序通過訂制化接口獲取等。

2.2 數(shù)據(jù)采集接入設(shè)計

2.2.1 數(shù)據(jù)接入方案

聯(lián)調(diào)聯(lián)試各試驗項目數(shù)據(jù)采集、匯集及數(shù)據(jù)遷移同步至大數(shù)據(jù)服務(wù)端鐵路數(shù)據(jù)服務(wù)平臺的流程見圖3。各專業(yè)數(shù)據(jù)經(jīng)采集接入至數(shù)據(jù)管理系統(tǒng)，暫存至關(guān)系型數(shù)據(jù)庫和磁盤中，通過抽取操作由前置系統(tǒng)匯入鐵路數(shù)據(jù)服務(wù)平臺各對應(yīng)存儲模塊存儲。

圖3 聯(lián)調(diào)聯(lián)試數(shù)據(jù)接入流程

2.2.2 結(jié)構(gòu)化數(shù)據(jù)接入

對于結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)采用定制化數(shù)據(jù)遷移同步工具的方式，通過自主研發(fā)的數(shù)據(jù)遷移同步工具創(chuàng)建數(shù)據(jù)遷移同步任務(wù)，配置元數(shù)據(jù)倉庫連接、目標數(shù)據(jù)倉庫連接，錄入篩選條件對數(shù)據(jù)庫數(shù)據(jù)進行篩選，最后將篩選的數(shù)據(jù)加載至目標數(shù)據(jù)倉庫。

2.2.3 非結(jié)構(gòu)化數(shù)據(jù)接入

非結(jié)構(gòu)化數(shù)據(jù)的接入與結(jié)構(gòu)化數(shù)據(jù)的對接是相互關(guān)聯(lián)的，采用訂制化數(shù)據(jù)遷移同步工具，分為以下3步：

（1）獲取非結(jié)構(gòu)化數(shù)據(jù)及元數(shù)據(jù)：在使用訂制化數(shù)據(jù)遷移同步工具對接結(jié)構(gòu)化數(shù)據(jù)時，獲取非結(jié)構(gòu)化數(shù)據(jù)的存儲位置及相應(yīng)的標簽元數(shù)據(jù)。

（2）非結(jié)構(gòu)化數(shù)據(jù)存儲：根據(jù)結(jié)構(gòu)化數(shù)據(jù)中記錄的文件存儲位置以及時間戳，調(diào)用大數(shù)據(jù)服務(wù)端對象存儲的非結(jié)構(gòu)化文件數(shù)據(jù)存儲接口，將新增數(shù)據(jù)及元數(shù)據(jù)同步到對象存儲中，并返回非結(jié)構(gòu)化數(shù)據(jù)的唯一標識。

（3）關(guān)聯(lián)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)：非結(jié)構(gòu)化數(shù)據(jù)的存儲過程中，會返回非結(jié)構(gòu)化數(shù)據(jù)的唯一標識，將此唯一標識與對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)相關(guān)聯(lián)，存入目標數(shù)據(jù)庫完成數(shù)據(jù)接入。

2.3 數(shù)據(jù)共享使用設(shè)計

2.3.1 用戶管理

大數(shù)據(jù)服務(wù)端通過用戶、角色、權(quán)限設(shè)計提供相應(yīng)的管理功能，不同的角色具備不同的操作權(quán)限（見圖4），各用戶可以有不同的角色以實現(xiàn)不同的交互功能和操作，通過租戶、角色及用戶的設(shè)計實現(xiàn)對多層級用戶的管理。這里租戶通常對應(yīng)1個部門，它是一個多人協(xié)作的工作空間，組內(nèi)可以有多個角色及用戶。角色是權(quán)限的承載機制，用于靈活配置各租戶或用戶的權(quán)限。用戶為系統(tǒng)普通成員，可由租戶分配角色，對平臺及相關(guān)數(shù)據(jù)進行授權(quán)的操作。

圖4 大數(shù)據(jù)服務(wù)端用戶管理架構(gòu)

2.3.2 數(shù)據(jù)訪問控制

數(shù)據(jù)管理系統(tǒng)通過數(shù)據(jù)訪問權(quán)限的設(shè)計，實現(xiàn)不同用戶對各類數(shù)據(jù)的訪問控制。通過權(quán)限和角色控制機制，可以實現(xiàn)靈活可控的數(shù)據(jù)表及文件訪問控制，以支撐跨專業(yè)的數(shù)據(jù)分析和共享能力，主要流程見圖5。

圖5 數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)存儲及訪問流程

在前置系統(tǒng)中，各類數(shù)據(jù)的訪問權(quán)屬于各專業(yè)的數(shù)據(jù)源角色。各類非結(jié)構(gòu)化數(shù)據(jù)采用獨立賬戶及根目錄存儲，從系統(tǒng)層面保障數(shù)據(jù)訪問的獨立性，保障數(shù)據(jù)安全。

在大數(shù)據(jù)服務(wù)端，數(shù)據(jù)主要用于跨專業(yè)的綜合分析、共享等應(yīng)用，平臺通過租戶、用戶、角色等概念將用戶分組歸類，保障數(shù)據(jù)使用的規(guī)范及安全可控，并提供靈活便捷的控制機制。對于結(jié)構(gòu)化數(shù)據(jù)，平臺提供了細化到數(shù)據(jù)表的權(quán)限控制，可實現(xiàn)特定用戶對特定表或表空間的訪問；對非結(jié)構(gòu)化數(shù)據(jù)文件，平臺使用對象存儲的設(shè)計，為非結(jié)構(gòu)化數(shù)據(jù)分配獨立的數(shù)據(jù)存儲地址，數(shù)據(jù)使用者可根據(jù)授權(quán)訪問特定的文件。

2.3.3 數(shù)據(jù)共享方式

除了頁面直接瀏覽、查詢和檢索（對于結(jié)構(gòu)化數(shù)據(jù)），或集成解析工具進行在線的查看、編輯（對于非機構(gòu)化數(shù)據(jù)文件），數(shù)據(jù)管理系統(tǒng)對于多種試驗數(shù)據(jù)還提供其他共享服務(wù)方式。

（1）對于結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)服務(wù)端對外提供RESTful 風(fēng)格封裝的標準化接口進行數(shù)據(jù)共享。并提供用戶權(quán)限及接口的相關(guān)認證機制。由此，大數(shù)據(jù)服務(wù)端可以對聯(lián)調(diào)聯(lián)試數(shù)據(jù)提供方便高效且安全的數(shù)據(jù)訪問接口。

（2）對于非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)服務(wù)端提供基礎(chǔ)文檔文件的Web 網(wǎng)頁端在線編輯瀏覽功能；對于專業(yè)原始數(shù)據(jù)的訪問，支持檢索下載或以遠程方式通過終端連接到集成專業(yè)軟件的虛擬服務(wù)器調(diào)取數(shù)據(jù)。

3 實施應(yīng)用效果

聯(lián)調(diào)聯(lián)試數(shù)據(jù)分為車載測試項目數(shù)據(jù)及地面測試項目數(shù)據(jù)。車載測試項目包括軌道幾何狀態(tài)檢測、動車組動力學(xué)檢測、通信系統(tǒng)檢測等。地面測試項目包括軌道結(jié)構(gòu)動力性能檢測、道岔動力性能檢測、路基及過渡段動力性能檢測等。數(shù)據(jù)管理系統(tǒng)需要根據(jù)不同系統(tǒng)的實際數(shù)據(jù)使用情況，提供適用于專業(yè)系統(tǒng)或軟件的定制化數(shù)據(jù)匯集方式。

根據(jù)聯(lián)調(diào)聯(lián)試各專業(yè)數(shù)據(jù)結(jié)構(gòu)，前置系統(tǒng)可進行適配，并實現(xiàn)結(jié)構(gòu)化的結(jié)果數(shù)據(jù)與多種類型的原始數(shù)據(jù)文件相互關(guān)聯(lián)。數(shù)據(jù)管理員選定專業(yè)菜單后，在結(jié)果數(shù)據(jù)管理中上傳結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)自動識別入庫（見圖6）。上傳原始數(shù)據(jù)文件時則需先選定對應(yīng)的結(jié)果數(shù)據(jù)，從而實現(xiàn)關(guān)聯(lián)上傳。系統(tǒng)在記錄時解析文件名獲取行別、速度級等基礎(chǔ)標簽信息，方便錄入。

圖6 前置系統(tǒng)數(shù)據(jù)上傳

在將數(shù)據(jù)導(dǎo)入至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)服務(wù)平臺時，可預(yù)先在前置系統(tǒng)中配置好相應(yīng)的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)源地址。導(dǎo)入時選擇需要導(dǎo)入的數(shù)據(jù)專業(yè)及日期范圍即可實現(xiàn)將數(shù)據(jù)自動接入平臺（見圖7）。

圖7 前置系統(tǒng)數(shù)據(jù)導(dǎo)入模塊

結(jié)果數(shù)據(jù)及原始文件分別可以在大數(shù)據(jù)服務(wù)端的數(shù)據(jù)資產(chǎn)管理和對象存儲菜單中進行查詢檢索、在線瀏覽及下載使用，系統(tǒng)會根據(jù)用戶權(quán)限對其有權(quán)查看的內(nèi)容進行呈現(xiàn)（見圖8）。其中，對于通用類型文件，系統(tǒng)集成API提供直接在線編輯使用。大數(shù)據(jù)服務(wù)端提供數(shù)據(jù)自主分析功能，用戶根據(jù)需要可對存儲在平臺中的數(shù)據(jù)進行挖掘、建模、可視化等大數(shù)據(jù)分析操作（見圖9）。

圖8 大數(shù)據(jù)服務(wù)端非結(jié)構(gòu)化數(shù)據(jù)檢索

圖9 大數(shù)據(jù)服務(wù)端數(shù)據(jù)自主分析

4 結(jié)束語

高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理技術(shù)通過前置系統(tǒng)與大數(shù)據(jù)服務(wù)端分離部署、數(shù)據(jù)接入模塊中根據(jù)元數(shù)據(jù)標簽導(dǎo)入非結(jié)構(gòu)化數(shù)據(jù)、完整的數(shù)據(jù)訪問控制機制及豐富的共享接口方式等創(chuàng)新設(shè)計，實現(xiàn)了對高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)的集中統(tǒng)一管理和共享使用。同時，增加了聯(lián)調(diào)聯(lián)試周期的全流程管理，進一步實現(xiàn)聯(lián)調(diào)聯(lián)試過程和數(shù)據(jù)管理的全覆蓋，保障聯(lián)調(diào)聯(lián)試數(shù)據(jù)的實時性和完整性。系統(tǒng)的部署及使用不僅實現(xiàn)了對現(xiàn)有聯(lián)調(diào)聯(lián)試數(shù)據(jù)的安全和有效管理維護，也為長期積累各類聯(lián)調(diào)聯(lián)試過程數(shù)據(jù)、對數(shù)據(jù)綜合對比分析等提供支撐，為充分挖掘聯(lián)調(diào)聯(lián)試數(shù)據(jù)的大數(shù)據(jù)價值提供了可能。