宋宗瑩，王文斌，劉子揚，周 瑾，劉永壯

（1.中國神華能源股份有限公司，北京 100011；2.北京全路通信信號研究設(shè)計院集團有限公司，北京 100070）

1 概述

重載鐵路運輸在鐵路運輸中擁有獨有的技術(shù)和經(jīng)濟優(yōu)勢，因此在貨運發(fā)達國家和地區(qū)的貨物運輸中占據(jù)重要地位，節(jié)能、高效成為其主要發(fā)展方向[1]。參考發(fā)達國家重載鐵路相關(guān)技術(shù)發(fā)展情況，這些國家通過研制大軸重和輕量化的車輛技術(shù)、大功率交流傳動機車技術(shù)、長大編組重載列車及其配套技術(shù)、多聯(lián)車組技術(shù)等來提高重載列車的運輸效率，保障列車運行安全。

調(diào)度信息系統(tǒng)在重載鐵路運輸生產(chǎn)組織工作中積累了大量一線生產(chǎn)數(shù)據(jù)和各類統(tǒng)計信息，隨著調(diào)度信息系統(tǒng)日益深入調(diào)度指揮各個環(huán)節(jié)，用戶對海量數(shù)據(jù)綜合分析、深度挖掘和提煉加工的需求越來越迫切，通過數(shù)據(jù)驅(qū)動業(yè)務(wù)、挖掘知識和輔助決策已經(jīng)成為調(diào)度系統(tǒng)演進的必由之路。大數(shù)據(jù)技術(shù)可以幫助企業(yè)或組織快速獲取、整合和分析海量數(shù)據(jù)，從而更好地洞察市場變化、消費需求、行業(yè)趨勢等信息，支持企業(yè)制定決策，促進精細化管理[2-3]。為一線運輸生產(chǎn)服務(wù)的調(diào)度信息系統(tǒng)所積累的數(shù)據(jù)除了具備傳統(tǒng)大數(shù)據(jù)的特征外，還具有業(yè)務(wù)覆蓋全、時空分布廣、更新速度快、數(shù)據(jù)關(guān)聯(lián)強、業(yè)務(wù)價值高等自身行業(yè)特點，具備進一步開展大數(shù)據(jù)研究的基礎(chǔ)。

2 重載鐵路特點

重載鐵路不同于普通鐵路，在承載能力、結(jié)構(gòu)設(shè)計、裝卸設(shè)備、線路規(guī)劃及安全性等方面存在巨大區(qū)別，體現(xiàn)在運輸組織上，重載鐵路運輸業(yè)務(wù)具有如下特點[4]。

1）運輸方式：重載鐵路主要用于運輸重量大、體積大的貨物，通常采用整列貨運的方式。普通鐵路則更多用于人員和小批量貨物的運輸，可以采用零散貨物運輸?shù)姆绞健?/p>

2）運輸時間：重載鐵路的貨物運輸時間較長，一般需要較長的交通時間和物流時間。而普通鐵路則通常用于貨物和人員的短途運輸，可以快速到達目的地。

3）運輸場站和設(shè)備：重載鐵路需要建設(shè)更多的運輸場站和裝卸設(shè)備，以應(yīng)對大規(guī)模貨物的裝卸需求。普通鐵路則更多用于城市內(nèi)部的通勤和短途運輸，需要建設(shè)的設(shè)施和裝備相對較少。

4）運輸成本：由于重載鐵路使用的是整列貨運的方式，需要更多的人力和運輸設(shè)備，因此其運輸成本更高。而普通鐵路則因為交通時間較短、運輸規(guī)模較小，其運輸成本相對較低。

3 重載鐵路運輸大數(shù)據(jù)平臺設(shè)計

調(diào)度信息系統(tǒng)自正式上線以來，已經(jīng)累積產(chǎn)生約900 GB 的數(shù)據(jù)，并以每月平均80 GB 的數(shù)據(jù)量繼續(xù)快速增長。由于重載鐵路與普通鐵路存在差異，導致其數(shù)據(jù)具有體量巨大、分布廣泛、結(jié)構(gòu)復雜、數(shù)據(jù)處理和分析需求多樣化以及對數(shù)據(jù)分析和預測精度要求高的特點[5]，針對上述特點，需要在設(shè)計和規(guī)劃重載鐵路運輸大數(shù)據(jù)平臺（以下簡稱平臺）過程中進行有針對性的優(yōu)化和改進。

3.1 總體架構(gòu)

本文設(shè)計的重載鐵路運輸大數(shù)據(jù)分析平臺是在既有鐵路調(diào)度信息系統(tǒng)基礎(chǔ)上專門針對數(shù)據(jù)分布式存儲、計算、分析與可視化的需求進行功能的提升和擴展，屬于鐵路調(diào)度系統(tǒng)功能增強的一部分，其業(yè)務(wù)服務(wù)前后臺軟件基于既有調(diào)度信息系統(tǒng)的基礎(chǔ)設(shè)施和體系架構(gòu)進行開發(fā)，前端頁面通過端口調(diào)用方式集成在調(diào)度信息系統(tǒng)的主頁面框架中。平臺總體系統(tǒng)架構(gòu)如圖1 所示。

圖1 重載鐵路運輸大數(shù)據(jù)分析平臺總體系統(tǒng)架構(gòu)示意Fig.1 Schematic diagram of the overall system architecture of the heavy-haul railway big data analytics platform

平臺沿用既有調(diào)度信息系統(tǒng)的整體服務(wù)架構(gòu)，采用基于前后分離技術(shù)的B/S 架構(gòu)進行開發(fā)，在調(diào)度信息系統(tǒng)的應(yīng)用服務(wù)域內(nèi)部署大數(shù)據(jù)服務(wù)程序，并通過嵌入方式將大數(shù)據(jù)可視化平臺的頁面集成到調(diào)度信息系統(tǒng)前端大數(shù)據(jù)業(yè)務(wù)頁面中。平臺服務(wù)程序沿用既有調(diào)度信息系統(tǒng)的基礎(chǔ)組件，采用與調(diào)度信息系統(tǒng)相同的認證授權(quán)、用戶操作記錄、工具類等跨服務(wù)應(yīng)用公共組件，保證跨服務(wù)接口調(diào)用的一致性，實現(xiàn)與調(diào)度信息系統(tǒng)服務(wù)的融合。

為了承載平臺并提高平臺資源的配置靈活性，平臺引入硬件虛擬化層并采用分層設(shè)計，從底層硬件向上分為3 層設(shè)計，如圖2 所示。

圖2 重載鐵路運輸大數(shù)據(jù)平臺3層架構(gòu)示意Fig.2 Schematic diagram of the three-layer architecture of the heavy-haul railway big data analytics platform

1）硬件層：主要包括服務(wù)器設(shè)備和網(wǎng)絡(luò)基礎(chǔ)設(shè)施，需要在信息機房進行安裝和調(diào)試，為虛擬化層提供基礎(chǔ)硬件。

2）虛擬化層：主要包括虛擬化集群，為大數(shù)據(jù)集群層提供虛擬機節(jié)點和虛擬化網(wǎng)絡(luò)能力。

3）大數(shù)據(jù)集群：根據(jù)規(guī)劃建立管理節(jié)點和工作節(jié)點虛擬機，并在虛擬機上配置大數(shù)據(jù)軟件棧，為數(shù)據(jù)應(yīng)用層提供大數(shù)據(jù)處理能力。

3.2 應(yīng)用架構(gòu)

平臺應(yīng)用架構(gòu)如圖3 所示。

圖3 重載鐵路運輸大數(shù)據(jù)平臺應(yīng)用架構(gòu)Fig.3 Application architecture diagram of the heavy-haul railway big data analytics platform

1）數(shù)據(jù)源

調(diào)度信息系統(tǒng)生產(chǎn)與日志數(shù)據(jù)作為大數(shù)據(jù)處理和分析的主要數(shù)據(jù)來源，根據(jù)實際功能需求以批式或流式同步到大數(shù)據(jù)平臺的存儲層。

2）數(shù)據(jù)存儲層

從數(shù)據(jù)源可使用Sqoop 批式地將關(guān)系型數(shù)據(jù)庫存儲的數(shù)據(jù)抽取并落入HDFS 集群中，部分數(shù)據(jù)需要一次性全量抽?。ㄈ缱值浔恚?，部分數(shù)據(jù)需要周期性地增量抽取（業(yè)務(wù)數(shù)據(jù)表）。實時數(shù)據(jù)同步主要通過mq 消息和kafka 任務(wù)將生產(chǎn)系統(tǒng)中的實時數(shù)據(jù)流落入HDFS 集群中。大數(shù)據(jù)平臺存儲層主要通過分布式技術(shù)實現(xiàn)大數(shù)據(jù)的存儲和多副本備份，以支持后續(xù)進行大數(shù)據(jù)分析和建模。

3）數(shù)據(jù)處理加工層

基于數(shù)倉工具Hive、大數(shù)據(jù)計算框架Spark完成各模塊各類信息的篩選、分類、去重、過濾、格式轉(zhuǎn)換、數(shù)據(jù)解析等處理和計算過程。源數(shù)據(jù)通過處理加工，形成規(guī)范的數(shù)據(jù)倉庫，保障各模塊數(shù)據(jù)一致性，同時提高數(shù)據(jù)分析和建模任務(wù)的效率。因為鐵路運輸運營流程多、邏輯復雜，數(shù)據(jù)的加工和處理結(jié)合了分布式任務(wù)調(diào)度系統(tǒng)工具Dolphin Scheduler，用于解決數(shù)據(jù)處理流程中錯綜復雜的依賴關(guān)系，可以管理任務(wù)處理流中各環(huán)節(jié)數(shù)據(jù)處理任務(wù)的完成情況，觸發(fā)下游子任務(wù)開始執(zhí)行，并負責當某個任務(wù)執(zhí)行失敗后進行重新執(zhí)行。

4）數(shù)據(jù)服務(wù)層

平臺集成了基于網(wǎng)頁的交互式數(shù)據(jù)分析工具Zeppelin、可進行高速和實時數(shù)據(jù)查詢的工具Trino、可視化工具Superset 和帆軟，同時安裝了Python 與Java 的開發(fā)環(huán)境。通過Zeppelin 的web 界面可使用SQL、Python、Scala 等多種語言對數(shù)據(jù)進行實時查詢、聯(lián)機分析處理、可視化了解數(shù)據(jù)趨勢。

5）數(shù)據(jù)應(yīng)用層

基于大數(shù)據(jù)平臺架構(gòu)和基礎(chǔ)能力，實現(xiàn)各模塊的數(shù)據(jù)分析與應(yīng)用功能。本系統(tǒng)主要包含5 類數(shù)據(jù)功能應(yīng)用：指標管理、行為分析、提前預警、趨勢分析、結(jié)構(gòu)分析和決策優(yōu)化?；诙鄠€業(yè)務(wù)主題的數(shù)據(jù)，通過分析、挖掘、可視化和算法應(yīng)用，深入了解重點業(yè)務(wù)環(huán)節(jié)關(guān)鍵指標隨時間的變化規(guī)律和隨空間區(qū)域的分布特點，實現(xiàn)針對不同業(yè)務(wù)領(lǐng)域的數(shù)據(jù)建模。數(shù)據(jù)應(yīng)用層的結(jié)果借助Superset 和帆軟形成的統(tǒng)計報表、數(shù)據(jù)分析看板和可視化大屏，集成在調(diào)度信息系統(tǒng)的前端，與調(diào)度信息系統(tǒng)作為一個產(chǎn)品展示給用戶。

3.3 技術(shù)架構(gòu)

隨著信息基礎(chǔ)設(shè)施完善和互聯(lián)網(wǎng)服務(wù)跨越式發(fā)展，信息系統(tǒng)數(shù)據(jù)經(jīng)歷了爆發(fā)式增長，傳統(tǒng)數(shù)據(jù)庫技術(shù)已經(jīng)無法滿足海量數(shù)據(jù)處理需求，大數(shù)據(jù)技術(shù)開辟出新的技術(shù)路徑，逐步形成兩個主要的技術(shù)架構(gòu)流派。

1）基于Hadoop 并行計算框架的分布式架構(gòu)[6]

Hadoop 是一個開源的分布式計算平臺，可以處理大規(guī)模數(shù)據(jù)集。由于其高效、可擴展、容錯性強等特點，Hadoop 已成為大數(shù)據(jù)處理的重要工具之一。

2）由數(shù)倉技術(shù)發(fā)展而來的大規(guī)模并行處理（Massively Parrallel Processing，MPP）架構(gòu)[7]

MPP 采用分布式架構(gòu)，將數(shù)據(jù)或任務(wù)均勻分配到計算集群的多個節(jié)點上進行處理，最終將結(jié)果合并返回。

基于Hadoop 和MPP 的特性，二者是互為補充的關(guān)系[8]，重載鐵路運輸大數(shù)據(jù)分析平臺可以采用MPP 和Hadoop 混合架構(gòu)來實現(xiàn)更高效的數(shù)據(jù)處理和分析。通過對平臺異構(gòu)數(shù)據(jù)源深入分析，可以充分利用Hadoop 和MPP 框架二者優(yōu)勢，通過利用MapReduce 從Hadoop 平臺處理大量原始數(shù)據(jù)，并將加工后的數(shù)據(jù)直接存儲入數(shù)據(jù)倉庫中，避免重復進行復雜緩慢的ETL 過程，數(shù)據(jù)分析和建?？梢灾苯蛹虞d數(shù)據(jù)倉庫數(shù)據(jù)，提高數(shù)據(jù)處理和分析的速度和效率?；贖adoop 和MPP 混合架構(gòu)的重載鐵路運輸大數(shù)據(jù)分析平臺技術(shù)架構(gòu)如圖4 所示。

圖4 基于Hadoop和MPP混合架構(gòu)的重載鐵路運輸大數(shù)據(jù)平臺技術(shù)架構(gòu)Fig.4 Technical architecture diagram of the heavy-haul railway big data analytics platform based on Hadoop and MPP hybrid architecture

4 平臺關(guān)鍵技術(shù)

為了提高大數(shù)據(jù)處理速度，解決大數(shù)據(jù)平臺數(shù)據(jù)不均衡的問題以及更好地展示加工處理后的結(jié)果，重載鐵路運輸大數(shù)據(jù)分析平臺關(guān)鍵技術(shù)包括以下幾個方面。

1）基于混合架構(gòu)的分布式大數(shù)據(jù)分析平臺設(shè)計

在這種混合架構(gòu)中，數(shù)據(jù)可以基于MPP 技術(shù)存儲和處理，同時還可以使用Hadoop 基于MapReduce 的計算模型進行數(shù)據(jù)分析。MPP 用于快速響應(yīng)與數(shù)據(jù)倉庫的查詢請求，而Hadoop 則用于離線批量處理和高級分析。平臺選用的MPP 組件Trino 是一個基于內(nèi)存的MPP 計算引擎，通過并行計算結(jié)合內(nèi)存計算的方式，可以大大提高計算速度，并通過剪枝、謂詞下推等優(yōu)化，達到大數(shù)據(jù)量計算任務(wù)的秒級響應(yīng)。同時通過利用Trino 就地分析技術(shù)，可以不需要復制數(shù)據(jù)直接在Hadoop、Hive、MySql 等異構(gòu)數(shù)據(jù)源上進行分析和聯(lián)合查詢，大大提升了平臺的多數(shù)據(jù)場景下混合處理能力。

2）高性能數(shù)據(jù)查詢技術(shù)

在重載鐵路大數(shù)據(jù)分析的場景中，多維分析一般都會帶有過濾條件。對于這種類型的查詢，尤其是在高基數(shù)字段上的過濾查詢，可以在讀取數(shù)據(jù)的時候跳過所有不相關(guān)的數(shù)據(jù)，只讀取極少部分需要的數(shù)據(jù)，通過查詢引擎和存儲緊密結(jié)合，把過濾條件下推至存儲訪問層。為了有效提升數(shù)據(jù)查詢性能，平臺主要從兩個方面進行優(yōu)化：一是通過數(shù)據(jù)組織分布、索引等技術(shù)支持更高效的data skipping，避免訪問不必要的數(shù)據(jù)；另一方面，通過物化視圖/Cube 等與計算技術(shù)，提前計算好結(jié)果，直接相應(yīng)查詢。

3）數(shù)據(jù)稀疏情況下的分析與建模技術(shù)

大數(shù)據(jù)平臺在分析重載鐵路指標的部分場景下會面臨數(shù)據(jù)不均衡、數(shù)據(jù)稀疏的問題，對此在算法開發(fā)過程中，通過數(shù)據(jù)增強、使用弱標記或無標記樣本、生成模型來增多訓練樣本，或者使用多任務(wù)學習、嵌入學習等方式借用其他相似任務(wù)中的知識來縮小模型的搜索空間，解決低頻業(yè)務(wù)造成的數(shù)據(jù)稀疏問題。

4）業(yè)務(wù)數(shù)據(jù)可視化技術(shù)

基于大數(shù)據(jù)平臺，融合數(shù)據(jù)BI 技術(shù)與鐵路貨運業(yè)務(wù)邏輯，將數(shù)據(jù)進行有效提取、智能分析并進行可視化呈現(xiàn)，起到切實反應(yīng)業(yè)務(wù)運營情況、支持業(yè)務(wù)決策和改進的作用。通過提供常用模板并支持各種自定義主題、樣式和頁面布局，基于前端組件化封裝的設(shè)計思路，支持用戶個性化調(diào)整頁面布局并切換數(shù)據(jù)可視化樣式。

5 結(jié)束語

基于本文提出的重載鐵路運輸大數(shù)據(jù)分析平臺設(shè)計方案，已經(jīng)在國家能源投資集團有限責任公司開展了大數(shù)據(jù)分析平臺軟硬件搭建，經(jīng)過聯(lián)調(diào)和配置，已打通和調(diào)度信息系統(tǒng)的數(shù)據(jù)通道并在Superset 平臺上發(fā)布了機車模塊業(yè)務(wù)看板、貨運模塊業(yè)務(wù)看板和車站業(yè)務(wù)模塊看板功能，后續(xù)將進一步實現(xiàn)列車模塊業(yè)務(wù)看板、施工模塊業(yè)務(wù)看板等更多功能。隨著更多功能的完善，會開放給更多部門和崗位的用戶進行試用，推進大數(shù)據(jù)技術(shù)在重載鐵路貨運領(lǐng)域的深入應(yīng)用。