朱建生

（中國鐵道科學研究院集團有限公司 電子計算技術研究所，北京 100081）

近年來，我國高度重視大數(shù)據(jù)研究和應用，從國家層面制定了一系列宏觀發(fā)展戰(zhàn)略、規(guī)劃和政策。2015年8月發(fā)布的《促進大數(shù)據(jù)發(fā)展行動綱要》[1]明確指出，堅持創(chuàng)新驅動發(fā)展，加快大數(shù)據(jù)部署，深化大數(shù)據(jù)應用，已成為穩(wěn)增長、促改革、調結構、惠民生和推動政府治理能力現(xiàn)代化的內在需要和必然選擇。我國鐵路也建立了一系列客運相關信息系統(tǒng)，包括新一代客票系統(tǒng)、旅客服務系統(tǒng)、客運管理信息系統(tǒng)、客運延伸服務系統(tǒng)和客運清算、營銷等系統(tǒng)，為鐵路旅客運輸服務質量的提升奠定了良好的技術基礎，也為鐵路客運大數(shù)據(jù)平臺建設提供了大量客票銷售、旅客乘車、運輸清算等業(yè)務數(shù)據(jù)和日志數(shù)據(jù)，成為構建鐵路客運大數(shù)據(jù)平臺的重要數(shù)據(jù)支撐[2]。

中國鐵道科學研究院集團有限公司客票團隊從2012年開始進行大數(shù)據(jù)的應用技術研究，主要包括以下幾方面：

（1）大數(shù)據(jù)平臺技術積累。包括數(shù)據(jù)的采集、存儲、處理、共享、可視化及數(shù)據(jù)安全等。

（2）大數(shù)據(jù)技術人才儲備。通過大數(shù)據(jù)專項技術培訓、技術論壇、產品交流會等多種形式，進行大數(shù)據(jù)技術人才的培養(yǎng)與儲備。

（3）客運業(yè)務運營及運營業(yè)務需求梳理。對既有系統(tǒng)的業(yè)務數(shù)據(jù)進行歸類、建立模型、總結經(jīng)驗。

（4）技術與應用結合實踐。對大數(shù)據(jù)技術和產品進行比較分析和測試，搭建大數(shù)據(jù)實驗平臺，并在部分業(yè)務系統(tǒng)中開展試點，進行系列大數(shù)據(jù)應用創(chuàng)新。

本文通過研究鐵路大數(shù)據(jù)關鍵技術，實現(xiàn)了票額智能預分、鐵路旅客畫像和客運運營支撐等重點大數(shù)據(jù)應用創(chuàng)新，對鐵路客運創(chuàng)新發(fā)展具有借鑒意義。

1 新一代客票系統(tǒng)及客運大數(shù)據(jù)平臺

為滿足鐵路新一代客票系統(tǒng)大數(shù)據(jù)應用需求，在系統(tǒng)建設和優(yōu)化過程中，引入了多種大數(shù)據(jù)技術進行支撐，鐵路客運大數(shù)據(jù)平臺應運而生。

1.1 鐵路新一代客票系統(tǒng)簡介

鐵路新一代客票系統(tǒng)應用于中國鐵路總公司、18個鐵路局集團公司及所有客運車站和旅客列車，是我國鐵路運輸服務核心支撐平臺和國家關鍵信息基礎設施。系統(tǒng)提供了12306互聯(lián)網(wǎng)售票系統(tǒng)（簡稱：12306）網(wǎng)站/手機APP、車站/代售點窗口、自動售票機、電話訂票等豐富的售票渠道，支持現(xiàn)金、銀行卡、網(wǎng)銀以及第三方支付等多種支付方式，提供互聯(lián)網(wǎng)訂餐、動車組自助選座、接續(xù)換乘、鐵路暢行會員等延伸服務功能。系統(tǒng)以其靈活的售票組織策略，形成了涵蓋售前預分票額、售中預警與調整、售后評估反饋的售票組織動態(tài)優(yōu)化技術,有效支撐了鐵路運輸計劃、客運組織、調度指揮、資源配置的精準化管理。在運營過程中積累了大量的系統(tǒng)運行、業(yè)務運營數(shù)據(jù)，如客票交易、席位、訂票等，通過對數(shù)據(jù)的整合、分析，可為管理部門提供決策支持，為運營部門業(yè)務開展提供支撐，為旅客用戶提供更加個性化的、更好的社會化服務，充分發(fā)掘和利用這些數(shù)據(jù)資產，將為鐵路產生巨大的價值。

1.2 鐵路客運大數(shù)據(jù)平臺

隨著鐵路客運業(yè)務的不斷發(fā)展，業(yè)務數(shù)據(jù)呈爆炸式增長，數(shù)據(jù)的高效處理和精準分析對存儲資源和處理性能提出了更高要求。傳統(tǒng)數(shù)據(jù)倉庫所采用的SM P架構主機、共享存儲的擴展非常困難，且擴容代價高昂，使得系統(tǒng)中的計算資源、存儲空間逐漸成為瓶頸，系統(tǒng)數(shù)據(jù)處理和功能擴展受到限制。鐵路客運大數(shù)據(jù)平臺采用基于大數(shù)據(jù)的體系架構和數(shù)據(jù)分析技術，對營銷系統(tǒng)和既有鐵路客運信息系統(tǒng)數(shù)據(jù)接口進行重構和優(yōu)化，充分發(fā)揮分布式系統(tǒng)的優(yōu)點，實現(xiàn)了系統(tǒng)的靈活擴展，在提供擴展性更好的存儲能力同時，計算能力也得到大幅的提升。

鐵路客運大數(shù)據(jù)平臺管理著全部客票交易、席位、訂票等相關業(yè)務和日志數(shù)據(jù)，提供了豐富的分析主題，并支持數(shù)據(jù)集市應用，其架構如圖1所示[1]。

（1）外部系統(tǒng)層：包括為客運大數(shù)據(jù)平臺提供相關數(shù)據(jù)的外部鐵路客運信息系統(tǒng)。

（2）數(shù)據(jù)層：從外部鐵路客運信息系統(tǒng)獲取相關數(shù)據(jù)，并對數(shù)據(jù)進行清洗、整理，形成內部數(shù)據(jù)。

（3）存儲層：包括客運大數(shù)據(jù)平臺數(shù)據(jù)計算資源、存儲資源以及用于支撐平臺運行的各類網(wǎng)絡資源和系統(tǒng)管理資源。

（4）分析層：部署各類分析服務，用于提供分類、統(tǒng)計、聚合等分析操作的數(shù)據(jù)服務。

（5）展示訪問層：部署各類展示服務，展示類型包括圖、表以及地理信息系統(tǒng)（GIS）服務等。

（6）應用層：結合各類業(yè)務特征，定制、構建和發(fā)布具體的應用以滿足用戶需求。

2 關鍵技術

鐵路新一代客票系統(tǒng)在建設過程中引入了一系列關鍵技術，目前，應用廣泛的包括分布式數(shù)據(jù)存儲和計算框架、實時流式計算分析和大數(shù)據(jù)可視化技術。

2.1 分布式數(shù)據(jù)存儲和計算框架

（1）分布式存儲。鐵路新一代客票系統(tǒng)廣泛采用了計算存儲融合技術，使用通用X86服務器，構建分布式存儲系統(tǒng)，有效解決傳統(tǒng)共享存儲系統(tǒng)所帶來的擴展性差和可用性不足等問題，提供高可靠、高性能、高可擴展、高性價比的一體化存儲解決方案。

（2）分布式數(shù)據(jù)庫。鐵路客運大數(shù)據(jù)平臺采用MPP + Shared Nothing[3]架構的分布式并行數(shù)據(jù)庫集群系統(tǒng)來完善現(xiàn)有數(shù)據(jù)倉庫結構。分布式數(shù)據(jù)庫集群具備高性能、高可用、高擴展特性，可以為營銷系統(tǒng)提供高性價比的存儲、計算平臺，為數(shù)據(jù)倉庫系統(tǒng)、商務智能（BI）系統(tǒng)和輔助決策系統(tǒng)提供支撐。

（3）分布式計算框架。常規(guī)的單機計算模式無法支撐大數(shù)據(jù)計算的任務量，必須以分布式計算框架將計算任務分解為單機可以承受的計算任務，充分利用大數(shù)據(jù)分布式計算的特點，發(fā)揮分布式文件系統(tǒng)和分布式數(shù)據(jù)庫的優(yōu)勢[4]，同時對計算過程中各種問題和異常進行控制，常用的分布式計算框架包括Hadoop、Storm、Spark等[5]。這些框架不僅為12306提供了高可用性服務，也為營銷系統(tǒng)的數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)查詢提供高效的計算資源，為實時數(shù)據(jù)處理提供保障。

2.2 實時流式計算分析

利用大數(shù)據(jù)中的流式計算組件，如storm、spark stream ing等基于內存的計算框架[6-7]實現(xiàn)（準）實時數(shù)據(jù)更新和統(tǒng)計，解決目前對統(tǒng)計實時性要求較高而計算資源不足以支持的現(xiàn)狀，實現(xiàn)在小時、分鐘甚至是秒級別完成大量數(shù)據(jù)的計算過程[8]。

2.3 大數(shù)據(jù)可視化技術

數(shù)據(jù)展現(xiàn)，通過可視化技術使數(shù)據(jù)形象化，從而激發(fā)人的形象思維。采用大數(shù)據(jù)可視化技術，針對不同業(yè)務特點采用不同的方式進行，有助于找出數(shù)據(jù)中隱藏的規(guī)律，從而為運營管理、業(yè)務決策等提供依據(jù)[9]。采用的可視化圖像類型主要包括折線（面積）圖、柱狀（條形）圖、散點（氣泡）圖、K線圖、餅（圓環(huán)）圖、雷達（面積）圖、和弦圖、力導向布局圖、地圖、儀表盤、漏斗圖、事件河流圖和混搭等。另外，使用動態(tài)的圖形和圖像結果，用于實時預警、流程監(jiān)控和趨勢對比分析等業(yè)務場景。

3 鐵路新一代客票系統(tǒng)大數(shù)據(jù)應用創(chuàng)新

鐵路新一代客票系統(tǒng)在建設和運營過程中，圍繞票額預分、鐵路旅客畫像和可視化分析等業(yè)務場景開展了深入研究。

圖1 鐵路客運大數(shù)據(jù)平臺架構

3.1 票額智能預分

由于鐵路運力資源分配受限較多、停站方案復雜、鐵路票額始發(fā)集中管理，導致旅客需求與運能的匹配情況不易掌握，因此，要求新一代客票系統(tǒng)自預售之日起，保證始發(fā)長途票額分配合理，兼顧沿途需求，保障中間站的旅客發(fā)送，充分提高中間站組織客流的積極性，達到票額管理合理化、科學化、趟車效益增加的目的[10]。票額智能預分是以最大程度有效利用運能、滿足旅客出行需求為目標而構建的客運票額優(yōu)化組織與管理的創(chuàng)新管理模式，其基本思路是在鐵路有限運力條件下，以歷史數(shù)據(jù)為基礎，以列車運行圖為約束，按列車席別，對起終點間（OD）客流進行需求預測，生成列車席位預分方案，并根據(jù)客流波動的規(guī)律對票額進行實時調整，其流程如圖2所示。票額智能預分對各鐵路客運企業(yè)運輸組織實現(xiàn)挖潛提效、精細化管理起到了關鍵作用。

圖2 票額智能預分流程

3.1.1 OD客流預測

來自鐵路新一代客票系統(tǒng)的多個渠道的售票歷史數(shù)據(jù)通過傳輸、復制等數(shù)據(jù)同步技術進入到鐵路總公司營銷系統(tǒng)，形成所需分析的數(shù)據(jù)源，通過ETL裝載進入鐵路客運大數(shù)據(jù)平臺，在營銷系統(tǒng)的客流預測子系統(tǒng)中進行預測[11]。由于票額預分所需的OD客流預測目標需要精細化到每趟車的OD客流，而鐵路旅客上下車客流受多種因素影響，尤其是對于客流量較小的車站隨機性很強，屬于大尺度空間下的小樣本預測難題?？土黝A測子系統(tǒng)采用長期客流預測、短期客流預測以及車票預售過程中的動態(tài)預測相結合的方法，結合同比、環(huán)比、節(jié)假日規(guī)律性波動以及當前預售情況，較好地解決了該預測難題。目前，平峰期每天預測約12萬多個區(qū)間，高峰期可達13萬多個區(qū)間。

3.1.2 預分方案生成與執(zhí)行

客流預測子系統(tǒng)產生的預測數(shù)據(jù)進入票額預分執(zhí)行子系統(tǒng)，票額預分執(zhí)行子系統(tǒng)形成預分方案，下發(fā)到各鐵路局集團公司（簡稱：鐵路局）。預分方案通過票額預分執(zhí)行子系統(tǒng)作用于席位庫，對生成的初始票額進行預分，各鐵路局通過票額預分優(yōu)化子系統(tǒng)對預分效果進行實時反饋，形成優(yōu)化方案，供鐵路局客運決策者進行調整，實現(xiàn)智能調整。

3.1.3 實時動態(tài)調整

為適應動車組列車的公交化開行和售票組織策略的動態(tài)調整，進一步提高訂票記錄和可售能力獲取的實時性，鐵路新一代客票系統(tǒng)采用內存數(shù)據(jù)庫技術研究了可售能力的敏捷獲取方法，以實現(xiàn)對票額預分情況的動態(tài)調整?；?2306余票查詢集群定義余票批量調用W ebService 接口，設置邏輯上的余票快照應用服務器，在監(jiān)控車次定義表中定義需要監(jiān)控的車次，包括所有的購票區(qū)間及席別，應用服務器每隔一段時間向查詢接口發(fā)出一次所有定義表中已定義車次的采樣請求，由于車次較多，采用并發(fā)任務執(zhí)行。監(jiān)控車次定義表由工作流定時更新，不斷新增新開的車次，取消已經(jīng)停開的車次，并將車次加入預先設置好的并行分組，采樣結果存入大數(shù)據(jù)分析平臺。在鐵路局級客票系統(tǒng)設置席位庫觸發(fā)器，將訂票信息實時采集到本地，結合初始預分席位生成席位存量，席位存量存入大數(shù)據(jù)分析平臺，以供其他系統(tǒng)分析使用。

智能票額預分實施以來，列車效益得到了較好的提升，其中，京滬高鐵和武廣高鐵全線發(fā)送量分別提升了2%和0.3%，收入分別提升10.4%和4.8%，客座率分別提升7.9%和10.6%。

3.2 鐵路旅客用戶畫像

用戶畫像即通過對匯聚的海量用戶數(shù)據(jù)執(zhí)行不同的數(shù)據(jù)維度分析，進行用戶信息標簽化，形成每個用戶的特征標簽集合，對外提供基于用戶特征標簽的數(shù)據(jù)服務的過程。鐵路旅客用戶畫像系統(tǒng)是利用鐵路旅客出行和交易信息，推導出用戶的人口屬性、行為偏好等語義標簽，為深度利用這些信息、提供更好的出現(xiàn)服務提供數(shù)據(jù)基礎。

3.2.1 用戶畫像系統(tǒng)構建

鐵路旅客用戶畫像系統(tǒng)架構如圖3所示。利用Hadoop、Hive、Elastic Search、Hbase等大數(shù)據(jù)框架及組件對旅客的購票行為、支付行為等進行深入分析；分布式文件系統(tǒng)（HDFS）用于存儲業(yè)務數(shù)據(jù)與用戶標簽屬性數(shù)據(jù)； Hive用于統(tǒng)計分析用戶標簽屬性；Elastic Search用于快速搜索用戶標簽數(shù)據(jù)。采用SpringMVC、M yBatis、Bootstrap、echart等架構開發(fā)系統(tǒng)管理界面，系統(tǒng)元數(shù)據(jù)統(tǒng)一存放在PostgreSQL數(shù)據(jù)庫中。

圖3 鐵路旅客用戶畫像系統(tǒng)架構

3.2.2 用戶畫像系統(tǒng)應用

基于目前鐵路客運數(shù)據(jù)現(xiàn)狀，鐵路旅客用戶畫像系統(tǒng)可完成下述幾個方面的應用：通過對旅客所購車票信息的分析，可得到旅客成分結構、產品選擇行為、購票行為、旅行行為等方面信息。

（1）旅客群體分析

旅客群體分析是指旅客成分結構，主要包括性別比例、旅客區(qū)域（城市）比例、各年齡段比例、各票種的比例，可用于區(qū)分購票人群和推算消費偏好。

（2）旅客購票行為分析

產品選擇行為包括旅客常選擇的列車類型、鋪別和席別、票價區(qū)間、乘車里程分析、列車開點到點、列車擔當企業(yè)等偏好，用于指導運輸企業(yè)設計客運產品。

交易行為分析包括購票渠道、是否需要互聯(lián)網(wǎng)換票、取票、自助售票習慣、支付方式、預售規(guī)律、通票、聯(lián)程、往返票分析、退票時間規(guī)律、改簽時間規(guī)律、改簽分類分析等，用于指導運輸企業(yè)制定鐵路銷售策略。

（3）旅客出行行為分析

按旅客出行目的分析：通過設計合理的模型進行評判，將出行目的分為旅游、商務、公務、探親、民工、學生、通勤職工等；按旅客出行頻度分析：按出行次數(shù)對旅客進行分群分析，得到潛在的常旅客用戶；按旅客出行范圍分析：按行政區(qū)劃進行出行范圍分析，如省內客流、省間客流；按旅客出行行程分析：按旅客出行行程進行分析，由聚類模型分析得到旅客行程的合理劃分。

（4）精準營銷

通過對旅客群體、購票和出行行為的分析，可以發(fā)現(xiàn)需要重點關注的旅客，從而進行產品推薦或者個性化服務，提升旅客出行體驗。鐵路旅客用戶畫像系統(tǒng)，為旅客建立了人口屬性、出行行為、交易行為等多維度的標簽，通過對多維度標簽的篩選、聚類，找出符合要求的特定人群，然后在推薦平臺為人群制定對應的營銷策略，并利用廣告平臺實現(xiàn)對用戶群體的精準營銷[12]?；阼F路旅客用戶畫像數(shù)據(jù)的推薦系統(tǒng)利用Elastic search 組合和聚合搜索能力，提供快速的標簽篩選能力，在此基礎上利用機器學習算法—基于用戶的協(xié)同過濾算法，根據(jù)用戶的偏好實現(xiàn)用戶聚類，即將相似度較高的用戶分為一個群體，在用戶訪問時進行信息的推送，從而實現(xiàn)產品的精準推薦。

鐵路旅客用戶畫像系統(tǒng)的建立填補了鐵路客運信息化的一項空白，通過對鐵路用戶的行為數(shù)據(jù)、交易數(shù)據(jù)等信息進行采集、加工和分析，形成用戶精準畫像數(shù)據(jù)，支撐精準廣告投放和精準服務推薦，為用戶提供更加個性化、更好的社會化服務，有利于鐵路部門提升客戶服務能力、提高信息資源收益和核心競爭力。

3.3 鐵路客運運營支撐

近年來，借助大數(shù)據(jù)和人工智能技術提升輔助決策的水平，強化了相關業(yè)務數(shù)據(jù)的實時統(tǒng)計和展現(xiàn)，同時，借助各種銷售渠道不斷豐富客流調查的范圍和調查內容，同步優(yōu)化和完善了客流預測功能，加強票額預警監(jiān)控，分析售票組織策略，調整票額分配建議，測算趟車經(jīng)濟效益，為鐵路運輸組織、運力調配、客流分析、開行方案制定、運行圖優(yōu)化等提供了有力的支撐。

3.3.1 客流分析與預測

客流分析是以客票交易數(shù)據(jù)、運能利用數(shù)據(jù)為主要數(shù)據(jù)源，按日期、列車、方向、區(qū)域（省、局、段、站）、列車等級、席別、票種、渠道等不同類別對售票存根、席位庫數(shù)據(jù)進行加工處理，為鐵路總公司、鐵路局、站段（含客運段）三級用戶提供對客票發(fā)售、客流情況、票額利用以及各渠道銷售情況等進行統(tǒng)計和分析的結果。

客流預測是以交易數(shù)據(jù)、客流調查數(shù)據(jù)、購票請求數(shù)據(jù)、客流影響因素等為依據(jù)，采用數(shù)據(jù)挖掘中的相關技術，如分類與預測方法、聚類方法、時間序列方法等，對未來不同時間范圍內（如年度、預售期內、特定節(jié)假日等）、不同粒度（如全路、指定鐵路局、指定車站、指定車次、指定OD等）的客流變化趨勢、不同客流特點（既有線、高鐵、城際等）進行預測，為產品設計與調整、收益管理等各項營銷決策任務提供依據(jù)。系統(tǒng)可實現(xiàn)總量預測、假日預測、客流成分與趨勢預測、專項預測。在研究過程中，建立了增長率模型、四階段法模型等適用于鐵路客流情況分析的預測模型，實現(xiàn)了對未來客流量的高精度預測[13]。

3.3.2 開行方案制定

鐵路新一代客票系統(tǒng)以客流分析和預測的結果為依據(jù)，結合對歷史數(shù)據(jù)的分析和專家經(jīng)驗，為鐵路總公司、各鐵路局進行開行方案的輔助制定。

（1）圖定開行方案輔助編制

針對圖定列車開行方案，在對既有列車客流分析及預測的基礎上，為新增列車提供決策依據(jù)和模擬評估，對既有列車開行周期、運行區(qū)間、徑路、停站、編組、運行時段等提出調整建議，為建立基于收益評估的客運列車退出機制提供數(shù)據(jù)支撐。根據(jù)既有線、高鐵和城際等不同類型列車，提供適合其各自特點的輔助編制流程[14]。

（2）臨客開行方案輔助編制

為滿足春運、暑運、節(jié)假日臨時旅客列車開行方案編制的業(yè)務需要，結合運能配置與客流預測結果，對臨客的開行時間、等級、編組等提出建議。

3.3.3 運行圖優(yōu)化

短期運力調整建議。在現(xiàn)行開行方案的基礎上，針對近期的客流特征和票額預售情況，提出短期內運力調整的建議，如加掛、甩車、換掛、臥代座、動車重聯(lián)及減編等，適應客流需求。

使用數(shù)據(jù)可視化技術將客票數(shù)據(jù)賦予表現(xiàn)力，使客運企業(yè)決策者能夠直觀感受到運營中存在的問題[15]?；诼每桶l(fā)送量、席位利用等指標對當前運行圖進行鐵路客流數(shù)據(jù)的可視化，了解客票系統(tǒng)的宏觀運行情況，可直接反映運能和客流匹配的程度，為運行圖優(yōu)化提供重要依據(jù)。

4 結束語

鐵路新一代客票系統(tǒng)建設和運營，積累了大量的系統(tǒng)運行、業(yè)務運營等數(shù)據(jù)，融合采集、存儲、處理、共享、可視化及數(shù)據(jù)安全的大數(shù)據(jù)技術。在鐵路數(shù)據(jù)服務平臺的基礎上，構建鐵路客運大數(shù)據(jù)平臺，實現(xiàn)了票額智能預分、鐵路旅客畫像、客運運營支撐等大數(shù)據(jù)應用創(chuàng)新。未來，將繼續(xù)圍繞“客運提質”計劃，持續(xù)優(yōu)化數(shù)據(jù)處理、挖掘、增值等環(huán)節(jié)的模型、算法，構建鐵路客運大數(shù)據(jù)產業(yè)鏈，支撐鐵路客運的創(chuàng)新發(fā)展，可在如下幾個方面進行進一步研究：

（1）基于鐵路客運大數(shù)據(jù)平臺，擴展大數(shù)據(jù)在鐵路客運業(yè)務的應用范圍，重點圍繞運輸能力和運輸組織優(yōu)化，市場監(jiān)測，收益管理，精準營銷，售票組織監(jiān)控、預警、調整以及風險防控等應用領域開展研究，加快鐵路客運數(shù)據(jù)內在價值的轉化，使其成為鐵路客運發(fā)展的生產力。

（2）積極開展大數(shù)據(jù)在鐵路客運延伸領域的應用，實現(xiàn)接送站、餐飲、旅游、租車、酒店等客運延伸服務產品的智能推薦和精準服務，創(chuàng)新產品服務設計以滿足旅客不同層次的需要，并提供聚合信息服務，發(fā)展出行新業(yè)態(tài)產品，提升鐵路旅客出行體驗。

（3）構建交通大數(shù)據(jù)業(yè)務生態(tài)圈，推動行業(yè)互連互通及數(shù)據(jù)共享，構建無縫化的旅客聯(lián)運體系，推進各運輸方式間的聯(lián)程聯(lián)運和智能協(xié)同調度，優(yōu)化運輸資源配置，為公眾提供更加優(yōu)質、便捷和高效的智慧出行服務。