王 健，徐 煒，張 寧，婁永梅，朱 國，章瀾嵐

（1. 南京地鐵建設有限責任公司，南京 210024；2. 東南大學自動化學院，南京 210018；3. 東南大學智能運輸系統(tǒng)研究中心軌道交通研究所，南京 210018；4. 北京全路通信信號研究設計院集團有限公司，北京 100073；5. 南京熊貓信息產業(yè)有限公司，南京 210008）

“十三五”以來，我國綜合交通運輸體系不斷完善，城市軌道交通運營里程已經位居世界第一，很多城市的軌道交通已經進入規(guī)?；途W絡化運營管理時期。軌道交通網絡化運營管理的特征是多樣化、層次化、精細化，互聯(lián)互通、資源共享，靈活供需調節(jié)、統(tǒng)籌協(xié)調管理[1-4]，要求能夠根據(jù)線網的實時狀態(tài)，實現(xiàn)各線路統(tǒng)一管理、協(xié)調運作，其基礎是對獲得的各專業(yè)運營生產數(shù)據(jù)以及外部支撐信息進行充分有效的整合、挖掘，形成基于大數(shù)據(jù)驅動的車站-線路-線網多層次決策體系。然而，由于對實際需求和管理服務手段認識不足，存在多系統(tǒng)缺乏協(xié)調聯(lián)動、供需協(xié)調難度大、信息交換效率低下等問題[4-6]，嚴重制約了軌道交通系統(tǒng)的整體效能發(fā)揮。在規(guī)?；途W絡化運營管理階段，如何通過大數(shù)據(jù)平臺建設，打破各系統(tǒng)之間的“信息孤島”，突破“煙囪式”應用建設，增強信息交互，提升數(shù)據(jù)安全性和可靠性，以提升城市軌道交通系統(tǒng)的運營管理效率和服務水平，切實發(fā)揮其在城市公共交通系統(tǒng)中的骨干作用，成為當前迫切需要解決的核心問題。

筆者以南京線網指揮中心(network control center，NCC)為例，對城市軌道交通大數(shù)據(jù)平臺進行詳細的研究和分析。

1 整體架構

軌道交通大數(shù)據(jù)平臺架構目前有以下幾種實現(xiàn)方式：一是基于傳統(tǒng)數(shù)據(jù)庫，面向聯(lián)機事務處理(online transaction processing，OLTP)，側重日常事務處理的具體業(yè)務系統(tǒng)；二是基于數(shù)據(jù)倉庫，面向聯(lián)機分析處理(online analytical processing，OLAP)，支持復雜分析操作，側重決策支持[7]；三是基于數(shù)據(jù)湖，面向信息處理和高并發(fā)任務，側重挖掘和提煉大規(guī)模的原始數(shù)據(jù)。依據(jù)是否采用虛擬化的云存儲和云計算平臺，可以進一步細化為對應的物理架構和云架構[8-9]。這些實現(xiàn)方式在職能、數(shù)據(jù)存儲、數(shù)據(jù)處理模式、數(shù)據(jù)訪問等方面存在顯著區(qū)別，具體如表1 所示。

表1 數(shù)據(jù)庫、數(shù)據(jù)倉庫和數(shù)據(jù)湖的區(qū)別Tab. 1 Difference between data warehouse, database and data lake

圖1 線網指揮中心大數(shù)據(jù)平臺的總體架構Fig. 1 System architecture

南京地鐵線網指揮中心(NCC)采用的是基于數(shù)據(jù)倉庫物理架構的大數(shù)據(jù)平臺，包含數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)倉庫、數(shù)據(jù)集市以及上層決策系統(tǒng)服務等模塊，其架構如圖1 所示。其中，數(shù)據(jù)源層基于海量多源異構原始數(shù)據(jù)采集和治理功能，形成線網數(shù)據(jù)資源目錄；混合式大數(shù)據(jù)平臺基于平臺邏輯架構設計和物理架構設計，對存儲數(shù)據(jù)進行重新組織，提高系統(tǒng)執(zhí)行效率和穩(wěn)定性；上層決策系統(tǒng)服務通過提供信息交互平臺和高性能運算資源，為上層應用提供支持。同時，數(shù)據(jù)安全管理貫穿于數(shù)據(jù)傳輸、處理、分析和應用的全過程。此外，通過網絡鏈接，對大量計算資源和存儲資源進行統(tǒng)一管理與調度的云平臺和云計算技術，主要應用在南京地鐵線網指揮中心NCC 項目后續(xù)二期工程中(筆者將另文展開論述)。

2 數(shù)據(jù)源層

2.1 數(shù)據(jù)采集

軌道交通數(shù)據(jù)來源有多種分類方法[10-11]，根據(jù)其與軌道交通運營管理的關聯(lián)性，可以分為內部數(shù)據(jù)、協(xié)同數(shù)據(jù)和外部數(shù)據(jù)三類。內部數(shù)據(jù)，包含地理信息數(shù)據(jù)等靜態(tài)數(shù)據(jù)，以及客流數(shù)據(jù)、環(huán)境數(shù)據(jù)、票務數(shù)據(jù)、事件數(shù)據(jù)、能耗數(shù)據(jù)、各部門設備設施數(shù)據(jù)等動態(tài)數(shù)據(jù)；協(xié)同數(shù)據(jù)，包含法律法規(guī)、公共交通、氣象、地質災害、醫(yī)療衛(wèi)生、安防等數(shù)據(jù)；外部數(shù)據(jù)，包含基站、互聯(lián)網地圖、大型活動、社交媒體等數(shù)據(jù)。其中，包含了結構化和非結構化數(shù)據(jù)，也包含實時數(shù)據(jù)和歷史數(shù)據(jù)，具有多源、異構、動態(tài)、多維度的特點。

為保證數(shù)據(jù)的完整性與準確性，軌道交通更加突出自動化數(shù)據(jù)采集，常見的數(shù)據(jù)接口方式包括Socket、Modbus TCP/IP 協(xié)議、HTTP 協(xié)議、消息隊列、FTP文件傳輸?shù)葘Ｓ媒涌趨f(xié)議或通信機制。此外，還包括人為主動或被動產生的數(shù)據(jù)、應用爬蟲技術采集的全網信息等。為保證數(shù)據(jù)的時效性，應對軌道交通未來高速無人駕駛和精準人臉識別等應用在數(shù)據(jù)快速處理和分析方面提供支持，在數(shù)據(jù)采集和接入階段即需要運用集群或分布式等架構，充分提高系統(tǒng)并行處理能力，同時降低各接口服務之間的耦合度，提高開發(fā)效率。

南京地鐵NCC 系統(tǒng)通過數(shù)據(jù)接入平臺，與線路綜合監(jiān)控系統(tǒng)(integrated supervisory control system，ISCS)、數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(supervisory control and data acquisition，SCADA)建立基于 TCP/IP 協(xié)議的冗余網絡連接，與移動支付系統(tǒng)建立基于HTTP 協(xié)議的實時行程傳輸，與ACC 建立基于FTP 協(xié)議的歷史客流數(shù)據(jù)傳輸，與區(qū)域線路中心(zone line center，ZLC)建立基于Modbus TCP/IP 協(xié)議的冗余網絡連接。此外，還預留與地鐵公司其他相關系統(tǒng)(集團辦公自動化OA，資產管理系統(tǒng)等)、企業(yè)外部單位的信息接口。

2.2 數(shù)據(jù)治理

由于軌道交通的數(shù)據(jù)分散在各個業(yè)務系統(tǒng)中，形成豎井式架構，造成多個信息孤島，導致數(shù)據(jù)冗余、數(shù)據(jù)不一致、有效性差、共享性差、擴展性差等問題。因此，軌道交通數(shù)據(jù)的有效融合需要數(shù)據(jù)治理(data governance)過程，即通過抽取、轉換、加載等方法，將軌道交通多源異構數(shù)據(jù)抽取到臨時中間層進行清洗、整合、探查、分析等處理，然后再存儲到統(tǒng)一的數(shù)據(jù)中心，實現(xiàn)高質量的數(shù)據(jù)資產，最終形成城市軌道交通線網數(shù)據(jù)資源目錄。

南京地鐵線網指揮中心大數(shù)據(jù)平臺數(shù)據(jù)治理主要包含以下內容：

1) 數(shù)據(jù)標準管理：數(shù)據(jù)標準是數(shù)據(jù)治理的依據(jù)，通過對基礎數(shù)據(jù)、指標數(shù)據(jù)和二次數(shù)據(jù)制定統(tǒng)一的標準，形成數(shù)據(jù)源和標準數(shù)據(jù)之間的映射。

2) 元數(shù)據(jù)管理：基于數(shù)據(jù)標準，建立軌道交通數(shù)據(jù)倉庫元數(shù)據(jù)模型(包含業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)、管理元數(shù)據(jù)3 個方面)，促進數(shù)據(jù)抽取、加載、轉換(extract-transform-load，ETL)過程的規(guī)范化，為數(shù)據(jù)質量管理和主數(shù)據(jù)管理提供基礎。

3) 主數(shù)據(jù)管理：通過構建統(tǒng)一完整的主數(shù)據(jù)視圖，解決部門之間的業(yè)務和數(shù)據(jù)交叉問題，避免因業(yè)務和數(shù)據(jù)交叉導致的主數(shù)據(jù)不一致問題。

4) 數(shù)據(jù)質量管理：一方面，按照預定義的檢查規(guī)則，對數(shù)據(jù)的準確性、有效性、一致性、關聯(lián)性和時效性進行檢查，及時發(fā)現(xiàn)并掌握數(shù)據(jù)質量問題；另一方面，對存在質量問題數(shù)據(jù)的影響、成因和解決措施進行分析和總結，形成有效的閉環(huán)反饋。

5) 數(shù)據(jù)安全和隱私管理：根據(jù)數(shù)據(jù)安全級別，設置數(shù)據(jù)安全規(guī)則，制定安全管理策略，包含用戶隱私保護、數(shù)據(jù)可信傳輸和數(shù)據(jù)訪問控制等。

6) 數(shù)據(jù)生命周期管理：對軌道交通數(shù)據(jù)創(chuàng)建、使用、更新、歸檔和銷毀的整個生命周期進行有效管理。

3 邏輯架構

大數(shù)據(jù)平臺綜合了多種數(shù)據(jù)存儲方式，其基礎是數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的邏輯架構設計直接關系到數(shù)據(jù)庫的性能和管理，在明確軌道交通各部門業(yè)務規(guī)則和業(yè)務對象的基礎上，通過抽象的方式描述業(yè)務中概念實體與實體之間的關系，由實體、屬性、關系三部分組成。數(shù)據(jù)倉庫的邏輯架構設計是面向所有系統(tǒng)的通用性模型，不針對任何單一應用，保存的是不可拆分的原子粒度數(shù)據(jù)和輕度匯總數(shù)據(jù)。為了實現(xiàn)特定功能需求，還需要進一步對各部門或主題的數(shù)據(jù)集市(data marts，DM)進行相應的邏輯架構設計。

3.1 數(shù)據(jù)集市

數(shù)據(jù)集市作為數(shù)據(jù)倉庫的子集，是一種面向特定主題或部門需求而建立的分析環(huán)境，通過預先計算好相應的數(shù)據(jù)，滿足用戶對性能的需求，可以在一定程度上緩解數(shù)據(jù)倉庫訪問的瓶頸。因此，在其邏輯架構的構建過程中，更關注復雜的業(yè)務規(guī)則。

在數(shù)據(jù)集市建模中，提倡采用面向主題、穩(wěn)定、時變、非易失的維度建模，包含星型模式、雪花模式和星座模式等。運用維度建模，需要根據(jù)業(yè)務分析模型，確定數(shù)據(jù)的粒度和每個事實所需要關聯(lián)的維度、屬性和層次，通過預先計算、保留冗余等方式，提高執(zhí)行效率，極大地提高數(shù)據(jù)倉庫的性能。由于維度建模在業(yè)務發(fā)生變化時需要重新進行維度定義，且無法保證數(shù)據(jù)來源的一致性和準確性，所以不適用于數(shù)據(jù)倉庫的底層。

因此，在大數(shù)據(jù)平臺的底層采用第三范式建模，構建企業(yè)級數(shù)據(jù)倉庫(enterprise data warehouse，EDW)邏輯架構。第三范式建模是在數(shù)據(jù)庫建模中常見的建模方法，具有體系化、擴展性好、避免冗余和更新異常的特點，能夠保證數(shù)據(jù)來源的一致性、完整性和準確性。

南京地鐵線網指揮中心采用自上而下的方法，基于企業(yè)級數(shù)據(jù)倉庫，為數(shù)據(jù)存取頻繁的信息系統(tǒng)構建從屬型數(shù)據(jù)集市，提高查詢速度。在這種方法中，數(shù)據(jù)在進入數(shù)據(jù)倉庫之后都進行清洗和整理，之后才分發(fā)到數(shù)據(jù)集市中，這對于維護全局數(shù)據(jù)的一致性十分有利。

3.2 主題模型

隨著數(shù)據(jù)量的不斷增加，數(shù)據(jù)倉庫的查詢性能急劇下降，產生嚴重延時，對關鍵、實時、動態(tài)數(shù)據(jù)進行及時的分析和處理就顯得力不從心。同時，跨專業(yè)、跨部門、跨領域的業(yè)務數(shù)據(jù)存在標準不一致等問題，需要在深入了解業(yè)務需求的基礎上，通過主題模型設計，對數(shù)據(jù)進行重新組織。主題是指業(yè)務分析所需的某一方面信息，用于定義數(shù)據(jù)模型的范圍，為數(shù)據(jù)邏輯模型的設計提供總體框架。主題模型采用名稱和定義的形式來標示所有的主題域，以一對一、一對多、多對多等形式標示主題域之間的邏輯關系，滿足數(shù)據(jù)共享要求。

南京地鐵線網指揮中心大數(shù)據(jù)平臺設計了當事人、路網、設備設施、行車、票務、渠道、OD、客流、清分、事件、能耗等11 個主題，各個主題之間存在著密切的關聯(lián)。其中，票務主題包含產品、交易、庫存、關系、票價等信息，客流主題包含多維基礎客流信息、修正信息、路徑集信息等，設備設施主題包含履歷表、分類、配置點、狀態(tài)檢測、關系、故障等信息，事件主題包含周邊環(huán)境、突發(fā)事件、天氣、節(jié)假日、應急預案等信息。

4 物理架構

軌道交通數(shù)據(jù)具有體量大、類型多樣、產生速度快、處理復雜、多元交互的特點，使得傳統(tǒng)單機處理方式難以滿足其應用的需求，需要對大數(shù)據(jù)平臺的物理架構進行優(yōu)化設計。適用于分布式環(huán)境下的混合數(shù)據(jù)物理架構，可以作為軌道交通數(shù)據(jù)處理的有效途徑，以滿足高擴展、高吞吐、高可用的應用需求，實現(xiàn)分類分級的數(shù)據(jù)共享。

大數(shù)據(jù)IO 密集和計算密集的特點，決定了在云平臺上建立大數(shù)據(jù)應用是必然趨勢。然而，傳統(tǒng)的基于虛擬機的云平臺技術和大數(shù)據(jù)技術存在技術沖突，目前包含南京地鐵在內的多家軌道交通數(shù)據(jù)中心將大數(shù)據(jù)應用進行裸機(物理機)部署。隨著容器化技術的成熟，可以通過運用資源隔離和限制技術，降低系統(tǒng)硬件要求和耦合度，實現(xiàn)性能與物理機幾乎無差別的多租戶應用；根據(jù)資源的動態(tài)需求變換，實時調整集群計算節(jié)點的類型和規(guī)模，達到錯峰的目的，從而提高資源利用率，降低運維成本。

軌道交通大數(shù)據(jù)平臺物理架構設計的核心是運用分布式技術，為支撐系統(tǒng)提供可擴展、可彈性配置的存儲資源和運算資源。軌道交通數(shù)據(jù)混合式的大數(shù)據(jù)平臺可以分為以下三類：

1) 實時數(shù)據(jù)庫：用于采集各業(yè)務系統(tǒng)實時數(shù)據(jù)，通過快速提取和轉換，將源系統(tǒng)數(shù)據(jù)標準化，然后傳入數(shù)據(jù)倉庫和可視化平臺進行存儲和展示。

2) 分區(qū)數(shù)據(jù)倉庫：基于元數(shù)據(jù)和主題域，構建具有高可擴展性的數(shù)據(jù)倉庫，將多個具有獨立資源的分區(qū)運行在不同的物理節(jié)點上，由數(shù)據(jù)庫系統(tǒng)進行統(tǒng)一協(xié)調和管理，對用戶和上層應用來說依然是單一的系統(tǒng)鏡像。通過設置合理的分區(qū)鍵和連接方式，保證數(shù)據(jù)跨所有分區(qū)均勻分布，提高并行查詢效率。

3) 分布式系統(tǒng)：通過將運算資源和存儲資源虛擬化，為非結構化數(shù)據(jù)提供獨立管理和智能檢索功能；為數(shù)據(jù)倉庫提供定期的數(shù)據(jù)備份功能，避免因為主表生長而降低數(shù)據(jù)查詢的性能；為海量數(shù)據(jù)分析處理提供運算資源。

南京地鐵線網指揮中心大數(shù)據(jù)平臺采用Kafka 分布式消息發(fā)布訂閱系統(tǒng)、MPP 大規(guī)模并行處理架構數(shù)據(jù)庫和Hadoop 分布式系統(tǒng)，作為軌道交通大數(shù)據(jù)平臺的物理架構。其中，Kafka 用來進行實時數(shù)據(jù)采集和處理，MPP 數(shù)據(jù)庫用來進行結構化數(shù)據(jù)存儲，Hadoop 用來提供非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)備份，以實現(xiàn)軌道交通海量多源異構數(shù)據(jù)存儲和高效分析。

5 系統(tǒng)支持

城市軌道交通大數(shù)據(jù)平臺面向上層決策系統(tǒng)，除了提供統(tǒng)一、共享的數(shù)據(jù)資源以外，還面對多系統(tǒng)數(shù)據(jù)交互需要提供穩(wěn)定、可靠的信息交互支撐，面對高負荷的數(shù)據(jù)分析和挖掘應用需要提供高性能的計算資源。

5.1 信息交換支撐

由于上層決策應用系統(tǒng)間數(shù)據(jù)需求的異構性，所以系統(tǒng)之間數(shù)據(jù)交互共享就會出現(xiàn)問題，特別是在需要多個信息系統(tǒng)數(shù)據(jù)支撐的綜合決策中問題尤為突出。這會導致上層決策系統(tǒng)依然處于孤立狀態(tài)，因此需要一種獨立于各信息系統(tǒng)、完全解耦、能夠容納系統(tǒng)變化的中間信息交換平臺[12]。

南京地鐵線網指揮中心大數(shù)據(jù)平臺采用基于企業(yè)服務總線(enterprise service bus，ESB)技術，構建城市軌道交通信息交換平臺，并制定信息交換規(guī)范。平臺基于多線程體系支撐，規(guī)范異構系統(tǒng)的數(shù)據(jù)格式、交換和路由，消除不同應用之間的技術差異，實現(xiàn)包括線網監(jiān)控、應急處置、視頻分析、客流預測和仿真等不同系統(tǒng)和服務之間的信息交互。

對于需要批量存取共享數(shù)據(jù)的信息系統(tǒng)，如客流預測系統(tǒng)和客流仿真系統(tǒng)，可以直接與數(shù)據(jù)倉庫進行數(shù)據(jù)交互，其他信息系統(tǒng)可通過訪問數(shù)據(jù)倉庫的方式獲取交互數(shù)據(jù)。

5.2 高性能計算

高性能計算(high performance computing，HPC)基于高性能計算平臺，充分利用數(shù)據(jù)中心的集群、分布式網絡以及專業(yè)硬件設備等高性能處理單元的聚合能力[13]，運用機器學習、人工智能、深度學習等方法進行分析和建模，解決軌道交通網絡化運營中的復雜問題。

目前，南京地鐵線網指揮中心大數(shù)據(jù)平臺在列車運行圖編制、視頻目標檢測和識別、線網客流仿真、客流分析和預測等具體應用場景中，能夠提供高性能計算資源。例如：視頻分析系統(tǒng)運用高性能GPU 集群，實現(xiàn)多路視頻實時智能分析(包括人員計數(shù)、人群密度分析、異常事件檢測等模塊)；客流分析和預測系統(tǒng)利用分布式存儲和運算資源，將復雜問題分解為許多小部分，分配給不同的計算機處理，從而節(jié)約了整體計算時間，極大地提高了計算效率。

6 數(shù)據(jù)安全

貫穿于整個城市軌道交通大數(shù)據(jù)平臺架構的功能，除了以數(shù)據(jù)標準為核心的數(shù)據(jù)組織和數(shù)據(jù)治理外，還包含了數(shù)據(jù)安全管理功能，以滿足城市軌道交通在列車運行等多種應用場景下對于數(shù)據(jù)安全性和可靠性的需求。建立與城市軌道交通具體業(yè)務深度結合的數(shù)據(jù)安全管理模塊，是線網指揮大數(shù)據(jù)平臺的可靠性和合理性的必要保障。數(shù)據(jù)安全管理功能，除了最基本的物理環(huán)境數(shù)據(jù)安全保障外，還應包含網絡通信安全管理和應用分析安全管理，具體功能如下：

1) 物理環(huán)境安全：是數(shù)據(jù)安全最基礎的保障，通過對線網指揮數(shù)據(jù)中心機房設備進行合理布置和安裝，為基礎支撐和業(yè)務應用系統(tǒng)提供一個穩(wěn)定、安全、可靠的數(shù)據(jù)生成、處理、存儲和傳輸?shù)奈锢憝h(huán)境，有效防護靜電、溫濕度變化、電磁干擾等情況。

2) 網絡通信安全：面對具有高可靠和高優(yōu)先級需求的信息傳輸，充分利用各種軟硬件安全設備和產品，在邊界防護、入侵防范、集中管控等方面實現(xiàn)數(shù)據(jù)安全防護，如為列車控制系統(tǒng)提供獨立、高可靠的冗余數(shù)據(jù)通信信道。

3) 業(yè)務應用安全：分析和應用安全進一步與城市軌道交通業(yè)務相結合，一方面包含了對系統(tǒng)自身的脆弱性風險和漏洞的防范，運用身份鑒別、訪問控制、數(shù)據(jù)完整性和保密性驗證、主備部署、數(shù)據(jù)備份和恢復等綜合性全生命周期管理手段，實現(xiàn)對應用和(敏感)數(shù)據(jù)安全的可靠防護；另一方面包含了城市軌道交通運營調度行為的可靠性評判，從輔助支撐線網指揮決策的角度，保證城市軌道交通運營的數(shù)據(jù)安全高效。

7 結語

線網指揮中心大數(shù)據(jù)平臺是城市軌道交通最上層指揮調度系統(tǒng)的關鍵支撐，其架構的合理設計和成功實施，對地鐵系統(tǒng)科學合理管理數(shù)據(jù)資產、安全高效協(xié)調管控系統(tǒng)和健全智能決策支持的實現(xiàn)起到至關重要的作用。筆者結合南京地鐵大數(shù)據(jù)平臺建設實例，自下而上地從數(shù)據(jù)采集治理、邏輯架構和物理架構設計、應用支持、數(shù)據(jù)安全等多個角度，梳理軌道交通大數(shù)據(jù)平臺架構的實現(xiàn)方案，對相應的關鍵技術進行詳細分析和探討。

線網指揮中心大數(shù)據(jù)平臺的建設是一個復雜、長期的系統(tǒng)工程，會隨著業(yè)務需求的變化不斷完善，發(fā)揮自身數(shù)據(jù)富集的優(yōu)勢，促進城市軌道交通信息化、智能化發(fā)展。