陶凱 郭奇園 代春平

1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司基礎(chǔ)設(shè)施檢測(cè)研究所，北京100081；2.北京鐵科英邁技術(shù)有限公司，北京100081

世界各國(guó)鐵路系統(tǒng)正積極探索利用大數(shù)據(jù)、人工智能等新一代信息技術(shù)，期望大幅提升鐵路運(yùn)輸組織效率效益、優(yōu)化客貨運(yùn)輸服務(wù)品質(zhì)和提高鐵路運(yùn)輸安全水平。德國(guó)提出鐵路數(shù)字化戰(zhàn)略（鐵路4.0），以提升乘客滿意度為目標(biāo)，通過建設(shè)統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)實(shí)現(xiàn)對(duì)經(jīng)營(yíng)狀況和設(shè)備故障的精準(zhǔn)分析。瑞士提出SmartRail4.0戰(zhàn)略，意圖進(jìn)一步提高鐵路系統(tǒng)運(yùn)輸能力和安全性，有效維護(hù)和利用基礎(chǔ)設(shè)施，長(zhǎng)期保持瑞士鐵路的競(jìng)爭(zhēng)力［1］。荷蘭利用物聯(lián)網(wǎng)技術(shù)監(jiān)測(cè)鐵路基礎(chǔ)設(shè)施運(yùn)營(yíng)狀況，綜合運(yùn)用大數(shù)據(jù)和人工智能技術(shù)預(yù)測(cè)基礎(chǔ)設(shè)施服役狀態(tài)的變化趨勢(shì)，提出預(yù)防和修理建議［2-3］。提高檢測(cè)監(jiān)測(cè)數(shù)據(jù)的資產(chǎn)管理和深度挖掘能力，持續(xù)優(yōu)化基礎(chǔ)設(shè)施運(yùn)營(yíng)維護(hù)管理體系，實(shí)現(xiàn)基礎(chǔ)設(shè)施運(yùn)營(yíng)安全和維護(hù)成本可控，已成為世界各國(guó)鐵路基礎(chǔ)設(shè)施運(yùn)營(yíng)維護(hù)可持續(xù)發(fā)展的共識(shí)和必由之路。

隨著我國(guó)鐵路運(yùn)營(yíng)維護(hù)技術(shù)的快速發(fā)展，逐漸構(gòu)建了移動(dòng)周期檢測(cè)、固定在線監(jiān)測(cè)、現(xiàn)場(chǎng)人工檢查等方式于一體的鐵路基礎(chǔ)設(shè)施檢測(cè)監(jiān)測(cè)技術(shù)體系。近十年積累了海量的基礎(chǔ)設(shè)施運(yùn)營(yíng)狀態(tài)檢測(cè)監(jiān)測(cè)數(shù)據(jù)，涵蓋軌道、鋼軌、橋梁、路基、隧道、接觸網(wǎng)、通信、信號(hào)等專業(yè)，包括非結(jié)構(gòu)化原始數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)對(duì)于鐵路基礎(chǔ)設(shè)施健康管理具有很高的應(yīng)用價(jià)值，但其存儲(chǔ)管理和分析應(yīng)用的技術(shù)不夠完善，導(dǎo)致無法完全發(fā)揮出其應(yīng)用價(jià)值［4］。因此，有必要面向鐵路基礎(chǔ)設(shè)施綜合一體化檢測(cè)監(jiān)測(cè)體系構(gòu)建統(tǒng)一的檢測(cè)監(jiān)測(cè)數(shù)據(jù)管理分析服務(wù)平臺(tái)，提供檢測(cè)監(jiān)測(cè)數(shù)據(jù)的統(tǒng)一接入（傳輸）、存儲(chǔ)、治理、共享等數(shù)據(jù)管理業(yè)務(wù)，同時(shí)基于標(biāo)準(zhǔn)化算法的注冊(cè)管理和調(diào)度應(yīng)用支持檢測(cè)監(jiān)測(cè)數(shù)據(jù)的自動(dòng)化處理和智能化分析，為檢測(cè)監(jiān)測(cè)數(shù)據(jù)分析技術(shù)創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

1 技術(shù)架構(gòu)

在數(shù)據(jù)存儲(chǔ)管理方面，既有業(yè)務(wù)系統(tǒng)相對(duì)獨(dú)立，形成了專業(yè)范圍的信息孤島，且傳統(tǒng)采用文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）的文件管理模式不能適應(yīng)海量數(shù)據(jù)高效、安全的共享服務(wù)，導(dǎo)致數(shù)據(jù)資源難以共享，綜合應(yīng)用難以展開，整體效益難以發(fā)揮。

在數(shù)據(jù)分析效率方面，各專業(yè)管理信息系統(tǒng)眾多且相互獨(dú)立，數(shù)據(jù)訪問接口、分析算法、結(jié)果展示功能重復(fù)開發(fā)；數(shù)據(jù)處理分析算法版本管理困難，針對(duì)不同系統(tǒng)業(yè)務(wù)需求的算法接口不一致；非結(jié)構(gòu)化數(shù)據(jù)缺少批量處理能力，數(shù)據(jù)分析時(shí)效性難以保證；不能有效支持非結(jié)構(gòu)化數(shù)據(jù)的共享開放，權(quán)限及數(shù)據(jù)安全無法得到保障［5-6］。

鑒于以上問題，以模塊化、標(biāo)準(zhǔn)化、服務(wù)化、平臺(tái)化、架構(gòu)易擴(kuò)展為指導(dǎo)方針，以構(gòu)建共享服務(wù)生態(tài)為中心思想，采用分層設(shè)計(jì)，堅(jiān)持高內(nèi)聚、低耦合、漸進(jìn)性原則，設(shè)計(jì)了鐵路基礎(chǔ)設(shè)施檢測(cè)監(jiān)測(cè)數(shù)據(jù)管理分析服務(wù)平臺(tái)（簡(jiǎn)稱平臺(tái)）。平臺(tái)包括數(shù)據(jù)層和服務(wù)層，技術(shù)架構(gòu)如圖1所示。

圖1 平臺(tái)技術(shù)架構(gòu)

數(shù)據(jù)層對(duì)接各專業(yè)檢測(cè)監(jiān)測(cè)數(shù)據(jù)系統(tǒng)，具備靈活、可伸縮拓展的數(shù)據(jù)接收能力；將各專業(yè)信息系統(tǒng)數(shù)據(jù)和外部相關(guān)數(shù)據(jù)進(jìn)行分類存儲(chǔ)和有效組織，完成多渠道數(shù)據(jù)信息整合；不僅存儲(chǔ)管理時(shí)序數(shù)據(jù)、圖像數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等各類檢測(cè)監(jiān)測(cè)數(shù)據(jù)，還引入基礎(chǔ)臺(tái)賬數(shù)據(jù)、外部數(shù)據(jù)（維修數(shù)據(jù)、運(yùn)輸數(shù)據(jù)、環(huán)境數(shù)據(jù)等），為數(shù)據(jù)集成分析提供全業(yè)務(wù)、全類型的數(shù)據(jù)信息資源。服務(wù)層為各業(yè)務(wù)應(yīng)用提供數(shù)據(jù)批量處理、智能化數(shù)據(jù)處理、算法模型管理、標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)接口等能力，全面支撐基礎(chǔ)設(shè)施檢測(cè)監(jiān)測(cè)數(shù)據(jù)統(tǒng)計(jì)、故障診斷、趨勢(shì)預(yù)警、狀態(tài)評(píng)價(jià)、維修決策等工作。

2 關(guān)鍵技術(shù)

在數(shù)據(jù)分類存儲(chǔ)、高效檢索、大數(shù)據(jù)組件整合、平臺(tái)界面優(yōu)化、資源利用與部署等方面采用高新且成熟穩(wěn)定的信息技術(shù)，構(gòu)建新一代數(shù)據(jù)管理平臺(tái)，便于日后進(jìn)行平臺(tái)升級(jí)改造，保證平臺(tái)的長(zhǎng)久運(yùn)轉(zhuǎn)。平臺(tái)關(guān)鍵技術(shù)如圖2所示。

圖2 平臺(tái)關(guān)鍵技術(shù)

2.1 數(shù)據(jù)分類存儲(chǔ)技術(shù)

平臺(tái)支持多源異構(gòu)的數(shù)據(jù)存儲(chǔ)。采用關(guān)系型數(shù)據(jù)庫（OracleDB）存儲(chǔ)結(jié)構(gòu)化原始數(shù)據(jù)；采用分布式文件存儲(chǔ)非結(jié)構(gòu)化原始數(shù)據(jù)；采用NoSQL數(shù)據(jù)庫（MongoDB）存儲(chǔ)非結(jié)構(gòu)化分析結(jié)果文件；采用基于Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）的數(shù)據(jù)倉庫（Hive）存儲(chǔ)面向主題的結(jié)構(gòu)化分析結(jié)果數(shù)據(jù)；采用關(guān)系型數(shù)據(jù)庫（MySQL）存儲(chǔ)面向分析的結(jié)構(gòu)化分析結(jié)果數(shù)據(jù)；采用時(shí)序數(shù)據(jù)庫（InfluxDB）存儲(chǔ)時(shí)間序列的高頻分析結(jié)果數(shù)據(jù)［7-8］。

2.2 數(shù)據(jù)高效檢索技術(shù)

通過Elasticsearch解決分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析需求，使大量檢測(cè)監(jiān)測(cè)數(shù)據(jù)具有搜索、分析、探索能力，實(shí)現(xiàn)平臺(tái)檢測(cè)監(jiān)測(cè)數(shù)據(jù)全生命周期管理及高效全文檢索。充分利用Elasticsearch的水平伸縮性，提高數(shù)據(jù)的價(jià)值。Elasticsearch的實(shí)現(xiàn)原理為：首先用戶將數(shù)據(jù)提交到Elasticsearch數(shù)據(jù)庫中，再通過分詞控制器將對(duì)應(yīng)的語句分詞，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)庫；用戶搜索數(shù)據(jù)時(shí)，再根據(jù)權(quán)重將結(jié)果排名、打分；最后將返回結(jié)果呈現(xiàn)給用戶［9］。

2.3 大數(shù)據(jù)組件整合技術(shù)

通過Spring Cloud對(duì)平臺(tái)開發(fā)過程中使用的大數(shù)據(jù)相關(guān)組件進(jìn)行有效整合，實(shí)現(xiàn)服務(wù)的高可用性，提高平臺(tái)穩(wěn)定性。Spring Cloud為平臺(tái)提供了微服務(wù)開發(fā)所需的配置管理、服務(wù)發(fā)現(xiàn)、斷路器、智能路由、微代理、控制總線、全局鎖、決策競(jìng)選、分布式會(huì)話、集群狀態(tài)管理等組件。與Spring Boot框架一同使用可以使開發(fā)微服務(wù)架構(gòu)的云服務(wù)非常便捷［10］。

2.4 平臺(tái)界面優(yōu)化技術(shù)

通過Vue構(gòu)建用戶界面的漸進(jìn)式框架，優(yōu)化平臺(tái)界面展示效果，提升用戶體驗(yàn)。與其他重量級(jí)框架不同，Vue作為漸進(jìn)式框架，采用自底向上增量開發(fā)的設(shè)計(jì)。Vue的核心庫只關(guān)注視圖層，易學(xué)習(xí)，易與其他庫或已有項(xiàng)目整合；Vue完全有能力驅(qū)動(dòng)采用單文件組件和Vue生態(tài)系統(tǒng)支持的庫開發(fā)的復(fù)雜單頁應(yīng)用，通過簡(jiǎn)單的API（Application Programming Interface）實(shí)現(xiàn)響應(yīng)的數(shù)據(jù)綁定和組合視圖組件［11］。

2.5 平臺(tái)資源利用與部署技術(shù)

采用K8S+Docker的容器化管理策略和基于YARN（Yet Another Resource Negotiator）的資源調(diào)度管理器實(shí)現(xiàn)應(yīng)用負(fù)載及平臺(tái)資源調(diào)度管理，實(shí)現(xiàn)更高效的平臺(tái)資源利用、更便捷的可持續(xù)部署工作。Docker在容器的基礎(chǔ)上進(jìn)行了平臺(tái)功能組件的進(jìn)一步封裝，從文件系統(tǒng)、網(wǎng)絡(luò)互聯(lián)到進(jìn)程隔離等，極大地簡(jiǎn)化了容器的創(chuàng)建和維護(hù)［12］。

3 主要功能

平臺(tái)支持多源異構(gòu)數(shù)據(jù)歸集、存儲(chǔ)、治理和共享能力，以及數(shù)據(jù)處理分析算法的注冊(cè)管理和調(diào)度應(yīng)用，為故障診斷、趨勢(shì)預(yù)測(cè)、狀態(tài)評(píng)價(jià)等智能分析業(yè)務(wù)提供平臺(tái)支撐。平臺(tái)功能架構(gòu)如圖3所示。

圖3 平臺(tái)功能架構(gòu)

3.1 數(shù)據(jù)匯聚

平臺(tái)支持多源異構(gòu)數(shù)據(jù)、多類型的數(shù)據(jù)接入及多種協(xié)議的數(shù)據(jù)接入；支持?jǐn)?shù)據(jù)匯聚過程的日志管理，對(duì)日志進(jìn)行可視化展示，以便監(jiān)控采集的整個(gè)過程。數(shù)據(jù)歸集涵蓋基礎(chǔ)設(shè)施臺(tái)賬（主數(shù)據(jù)）和檢測(cè)監(jiān)測(cè)數(shù)據(jù)，后者按照數(shù)據(jù)來源可分為移動(dòng)檢測(cè)數(shù)據(jù)、固定在線監(jiān)測(cè)數(shù)據(jù)、現(xiàn)場(chǎng)小型儀器檢查或人工觀測(cè)數(shù)據(jù)。

3.2 數(shù)據(jù)存儲(chǔ)

對(duì)于結(jié)構(gòu)化數(shù)據(jù)（結(jié)構(gòu)化檢測(cè)監(jiān)測(cè)數(shù)據(jù)、偏差數(shù)據(jù)、臺(tái)賬數(shù)據(jù)、元數(shù)據(jù)等），其中結(jié)構(gòu)化檢測(cè)監(jiān)測(cè)數(shù)據(jù)、偏差數(shù)據(jù)、元數(shù)據(jù)等通常會(huì)有修改要求，要具備事務(wù)處理能力，采用關(guān)系型數(shù)據(jù)庫（如Oracle、MySQL）進(jìn)行數(shù)據(jù)存儲(chǔ)。對(duì)于半結(jié)構(gòu)化二進(jìn)制文件，如各類檢測(cè)車檢測(cè)的原始波形文件，會(huì)有高頻處理分析需求，采用時(shí)序數(shù)據(jù)庫（InfluxDB）進(jìn)行數(shù)據(jù)存儲(chǔ)。對(duì)于圖像、視頻、文檔類非結(jié)構(gòu)化數(shù)據(jù)，由于數(shù)據(jù)量較大，采用分布式文件存儲(chǔ)和NoSQL數(shù)據(jù)庫（MongoDB）進(jìn)行存儲(chǔ)。

3.3 數(shù)據(jù)治理

通過匯聚各類型檢測(cè)監(jiān)測(cè)數(shù)據(jù)生成元數(shù)據(jù)信息，形成檢測(cè)監(jiān)測(cè)數(shù)據(jù)資產(chǎn)目錄。根據(jù)不同數(shù)據(jù)源的特點(diǎn)，規(guī)范化數(shù)據(jù)文件格式、編碼規(guī)則，配合元數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化治理。以后續(xù)自動(dòng)化分析能夠使用質(zhì)量良好的數(shù)據(jù)源為最終目標(biāo)進(jìn)行數(shù)據(jù)治理和質(zhì)量評(píng)價(jià)，主要包括完整性、規(guī)范性、有效性和可用性等［13］。

3.4 數(shù)據(jù)共享

基于對(duì)檢測(cè)監(jiān)測(cè)數(shù)據(jù)的權(quán)限控制、設(shè)置檢測(cè)監(jiān)測(cè)數(shù)據(jù)的更新策略和頻次，實(shí)現(xiàn)信息資源同步。通過數(shù)據(jù)的訪問、下載和標(biāo)準(zhǔn)化API服務(wù)接口等方式為各部門間信息共享交換和業(yè)務(wù)協(xié)同提供數(shù)據(jù)支撐服務(wù)。

3.5 算法注冊(cè)

提供數(shù)據(jù)處理分析算法的封裝、配置、發(fā)布的統(tǒng)一管理。封裝帶有業(yè)務(wù)邏輯的組合算法、獨(dú)立算法和數(shù)據(jù)服務(wù)接口；基于算法的最小單位提供注冊(cè)、創(chuàng)建、配置算法運(yùn)行所需資源環(huán)境；變更、發(fā)布、監(jiān)控算法全生命周期管理。保存算法組件的元數(shù)據(jù)，包括調(diào)用方式、請(qǐng)求協(xié)議、功能介紹、參數(shù)配置、版本、算法倉庫地址等信息。各部門根據(jù)不同業(yè)務(wù)需求在權(quán)限范圍內(nèi)調(diào)用平臺(tái)上已注冊(cè)算法，實(shí)現(xiàn)靈活可控的算法共享。

3.6 任務(wù)調(diào)度

對(duì)數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析等大量任務(wù)單元執(zhí)行順序進(jìn)行配置，并完成各任務(wù)的調(diào)度執(zhí)行。

3.7 資源監(jiān)控

實(shí)現(xiàn)對(duì)數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)全面監(jiān)控，同時(shí)對(duì)CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等狀況進(jìn)行底層服務(wù)集群的主機(jī)級(jí)監(jiān)控。

3.8 安全服務(wù)

使 用HTTPS（Hyper Text Transfer Protocol over Secure Socket Layer）安 全 協(xié) 議 和SFTP（Secret File Transfer Protocol）進(jìn)行業(yè)務(wù)信息的安全傳輸與文件機(jī)密性保護(hù)；對(duì)數(shù)據(jù)進(jìn)行完整性驗(yàn)證，對(duì)缺失和異常數(shù)據(jù)進(jìn)行記錄跟蹤與恢復(fù)，對(duì)敏感數(shù)據(jù)進(jìn)行加密與脫敏；通過WebService接口和XML文件，與第三方系統(tǒng)進(jìn)行集成和數(shù)據(jù)交互，同時(shí)保存收發(fā)數(shù)據(jù)的消息日志，禁止第三方系統(tǒng)直接訪問數(shù)據(jù)庫［14］；采用雙機(jī)部署拓?fù)?，確保關(guān)鍵節(jié)點(diǎn)發(fā)生故障時(shí)能迅速進(jìn)行服務(wù)節(jié)點(diǎn)切換及故障節(jié)點(diǎn)恢復(fù)；審核并記錄針對(duì)平臺(tái)數(shù)據(jù)進(jìn)行的業(yè)務(wù)邏輯操作及事件的詳細(xì)描述；通過單點(diǎn)登錄、密碼強(qiáng)口令等方式控制用戶登錄，按照業(yè)務(wù)職能進(jìn)行角色劃分，對(duì)于平臺(tái)功能細(xì)化至菜單級(jí)，控制用戶權(quán)限粒度。

3.9 應(yīng)用服務(wù)

通過對(duì)數(shù)據(jù)“入-存-管-出”全過程管理和數(shù)據(jù)處理分析算法管理，為業(yè)務(wù)應(yīng)用提供檢測(cè)監(jiān)測(cè)數(shù)據(jù)與數(shù)據(jù)分析算法方面的支撐，支持各業(yè)務(wù)應(yīng)用實(shí)現(xiàn)數(shù)據(jù)展示、故障診斷、趨勢(shì)預(yù)警、狀態(tài)評(píng)價(jià)和綜合展示，為檢測(cè)監(jiān)測(cè)數(shù)據(jù)分析技術(shù)創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

4 結(jié)語

本文面向鐵路基礎(chǔ)設(shè)施檢測(cè)監(jiān)測(cè)數(shù)據(jù)資產(chǎn)化管理、自動(dòng)化和智能化分析要求，設(shè)計(jì)并實(shí)現(xiàn)了鐵路基礎(chǔ)設(shè)施檢測(cè)監(jiān)測(cè)數(shù)據(jù)管理分析服務(wù)平臺(tái)。平臺(tái)提供檢測(cè)監(jiān)測(cè)數(shù)據(jù)的接入、存儲(chǔ)、治理、共享等專業(yè)化管理服務(wù)；整合檢測(cè)監(jiān)測(cè)數(shù)據(jù)資源，打破各專業(yè)、各應(yīng)用系統(tǒng)間的數(shù)據(jù)壁壘，形成檢測(cè)監(jiān)測(cè)數(shù)據(jù)資源的全景視圖；支持?jǐn)?shù)據(jù)資產(chǎn)的精細(xì)加工和價(jià)值管理，為檢測(cè)監(jiān)測(cè)數(shù)據(jù)融合分析、深度挖掘等智能化分析提供平臺(tái)支撐和數(shù)據(jù)服務(wù)。

平臺(tái)在成都鐵路局正式投入使用，已完成2019—2020年度軌道幾何檢測(cè)數(shù)據(jù)的資產(chǎn)化管理和檢測(cè)里程校正自動(dòng)化處理，充分驗(yàn)證了平臺(tái)的可行性與實(shí)用性。

后續(xù)將利用5G無線通信技術(shù)，將檢測(cè)監(jiān)測(cè)數(shù)據(jù)自動(dòng)接入數(shù)據(jù)管理服務(wù)平臺(tái)，逐步形成數(shù)據(jù)驅(qū)動(dòng)的基礎(chǔ)設(shè)施故障診斷與健康管理分析能力；同時(shí)完善檢測(cè)監(jiān)測(cè)數(shù)據(jù)管理分析服務(wù)平臺(tái)的兼容性，為算法研發(fā)提供開放的測(cè)試驗(yàn)證和應(yīng)用孵化生態(tài)環(huán)境。