孫云 江易 李冰 陳華煒 杭州中奧科技有限公司

引言

我國城市軌道交通的高速發(fā)展，在給城市帶來新的機(jī)遇的同時也給軌道交通安保帶來了新的挑戰(zhàn)。2018年3月，國務(wù)院辦公廳發(fā)布《關(guān)于保障城市軌道交通安全運(yùn)行的意見》，明確指出城市軌道交通是城市公共交通系統(tǒng)的骨干，是城市綜合交通體系的重要組成部分，其安全運(yùn)行對保障人民群眾生命財產(chǎn)安全、維護(hù)社會安全穩(wěn)定具有重要意義。

目前，我國各大城市針對軌道交通安全已經(jīng)初步建立了一些信息化系統(tǒng)，如視頻監(jiān)控系統(tǒng)、人臉識別系統(tǒng)、指揮調(diào)度系統(tǒng)、安檢系統(tǒng)、無線通訊系統(tǒng)等，初步具備一定的數(shù)據(jù)匯聚存儲能力。但每個系統(tǒng)獨立運(yùn)行，各系統(tǒng)之間數(shù)據(jù)共享程度較低，數(shù)據(jù)的“一次匯聚、多次共享”機(jī)制尚未形成，嚴(yán)重制約了軌道交通安保服務(wù)進(jìn)一步的發(fā)展。妨礙數(shù)據(jù)匯聚共享的具體問題表現(xiàn)如下：

（1）各類信息系統(tǒng)煙囪式建設(shè)，垂直業(yè)務(wù)應(yīng)用系統(tǒng)之間對接難度大，條塊分割問題仍未解決，難以互連互通；

（2）缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、接口格式和共享架構(gòu)，數(shù)據(jù)調(diào)取不暢、應(yīng)用困難；

（3）數(shù)據(jù)來源較為單一，缺乏社會數(shù)據(jù)的融合共享，基礎(chǔ)庫的數(shù)據(jù)基本來自于公安，其他委辦局?jǐn)?shù)據(jù)、社會數(shù)據(jù)獲取困難；

（4）存在數(shù)據(jù)不全、重復(fù)、錯誤等數(shù)據(jù)質(zhì)量問題。

因此，亟需依托大數(shù)據(jù)技術(shù)，構(gòu)建一套新的從數(shù)據(jù)接入到數(shù)據(jù)服務(wù)的全生命周期數(shù)據(jù)處理方法，形成軌道交通大數(shù)據(jù)平臺，為軌道交通安保提供數(shù)據(jù)及服務(wù)支撐。

一、數(shù)據(jù)中臺

數(shù)據(jù)中臺是一套可持續(xù)“讓行業(yè)的數(shù)據(jù)用起來”的機(jī)制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)行業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，形成其特有的數(shù)據(jù)組織標(biāo)準(zhǔn)，通過有形的產(chǎn)品和實施方法論支撐，建立的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。數(shù)據(jù)來自于業(yè)務(wù)并反哺業(yè)務(wù)，不斷循環(huán)迭代，實現(xiàn)數(shù)據(jù)可見、可用、可運(yùn)營。

二、設(shè)計思路

（一）統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

軌道交通系統(tǒng)繁多，各個數(shù)據(jù)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)不一致，數(shù)據(jù)匯聚時的難度增加，數(shù)據(jù)融合容易形成數(shù)據(jù)孤島。數(shù)據(jù)匯聚后，大量不一致的數(shù)據(jù)字段、代碼集會增加數(shù)據(jù)分析、數(shù)據(jù)融合難度，數(shù)據(jù)無法在大數(shù)據(jù)平臺中流通，因此需要通過大數(shù)據(jù)平臺的數(shù)據(jù)元、代碼集管理模塊來統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，可以對數(shù)據(jù)元、代碼集的結(jié)構(gòu)內(nèi)容進(jìn)行編輯、新增、導(dǎo)入、導(dǎo)出等。通過數(shù)據(jù)對標(biāo)模塊實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)標(biāo)準(zhǔn)制定流程參見圖2。

第一步：標(biāo)準(zhǔn)梳理，結(jié)合軌道交通業(yè)務(wù)數(shù)據(jù)和已有軌道交通數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行梳理，梳理完后統(tǒng)一維護(hù)到數(shù)據(jù)標(biāo)準(zhǔn)庫中，作為基礎(chǔ)的標(biāo)準(zhǔn)數(shù)據(jù)元標(biāo)準(zhǔn)庫，為后續(xù)數(shù)據(jù)對標(biāo)做好準(zhǔn)備；

第二步：在數(shù)據(jù)對標(biāo)過程中，如果軌道交通的業(yè)務(wù)數(shù)據(jù)中無法完成數(shù)據(jù)元對標(biāo)，此時對這些內(nèi)容進(jìn)行重新標(biāo)準(zhǔn)設(shè)計；

第三步：根據(jù)數(shù)據(jù)元、代碼集和限定詞生成規(guī)范設(shè)置新的數(shù)據(jù)元、代碼集、限定詞。設(shè)置好后填寫審核申請單，數(shù)據(jù)標(biāo)準(zhǔn)管理員審核通過生效使用；

第四步：數(shù)據(jù)元標(biāo)準(zhǔn)管理員對申請的內(nèi)容進(jìn)行審核。審核通過后，該內(nèi)容信息就會納入數(shù)據(jù)標(biāo)準(zhǔn)中。

以上工作是一個完整的數(shù)據(jù)元標(biāo)準(zhǔn)建設(shè)過程。而以前數(shù)據(jù)元標(biāo)準(zhǔn)的建設(shè)和對標(biāo)工作通過人工紙制的方式實現(xiàn)，流程比較復(fù)雜，特別是在數(shù)據(jù)標(biāo)準(zhǔn)對標(biāo)的時候需要花費(fèi)大量的人力去驗證。

（二）統(tǒng)一數(shù)據(jù)處理

數(shù)據(jù)融合處理是為了讓數(shù)據(jù)能夠呈現(xiàn)更清晰的數(shù)據(jù)結(jié)構(gòu)。每一個數(shù)據(jù)分層都有其作用域，這樣用戶在使用數(shù)據(jù)表的時候能夠更方便地定位和理解，處理的過程使用數(shù)據(jù)血緣追蹤，避免煙囪式的開發(fā)，減少重復(fù)投入，形成最大程度的成果復(fù)用。通過可視化的數(shù)據(jù)處理，產(chǎn)出原始庫、資源庫、主題庫和專題庫。

（三）統(tǒng)一數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)中臺面向行業(yè)提供數(shù)據(jù)能力的一個窗口，數(shù)據(jù)資產(chǎn)中心將行業(yè)的數(shù)據(jù)資產(chǎn)統(tǒng)一管理起來，實現(xiàn)數(shù)據(jù)資產(chǎn)的可見、可懂、可用和可運(yùn)營。

軌道交通數(shù)據(jù)復(fù)雜多樣，數(shù)據(jù)量龐大，具備PB級別數(shù)據(jù)規(guī)模。如此海量數(shù)據(jù)，采用完整的分布式部署的數(shù)據(jù)存儲系統(tǒng)，避免服務(wù)器故障等情況引起數(shù)據(jù)丟失。同時針對數(shù)據(jù)融合計算的需求，采用分布式的數(shù)據(jù)存儲和計算引擎。建設(shè)統(tǒng)一資源調(diào)度管理系統(tǒng)，高效支持大規(guī)模批處理、交互式查詢計算、流式計算等多種計算引擎。使用的大數(shù)據(jù)組件有分布式數(shù)據(jù)存儲組件、分布式離線計算組件、分布式隊列組件和分布式實時計算組件等。

（四）統(tǒng)一數(shù)據(jù)共享

大數(shù)據(jù)從接入到數(shù)據(jù)計算、融合提煉數(shù)據(jù)價值之后，如何賦能業(yè)務(wù)、給業(yè)務(wù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)服務(wù)，并在安全的前提下實現(xiàn)數(shù)據(jù)共享是非常重要的。

大數(shù)據(jù)平臺通過可視化的方式，構(gòu)建資源目錄和服務(wù)目錄，以用戶需要哪些數(shù)據(jù)提供哪些數(shù)據(jù)的思路，完成數(shù)據(jù)服務(wù)API的快速生成。并且形成統(tǒng)一接口規(guī)范，規(guī)范數(shù)據(jù)響應(yīng)參數(shù)項和返回參數(shù)項，使數(shù)據(jù)服務(wù)更加通用，滿足不同系統(tǒng)建設(shè)的要求。

1.數(shù)據(jù)資源目錄

數(shù)據(jù)資源目錄參照公安部相關(guān)標(biāo)準(zhǔn)要求，結(jié)合公交業(yè)務(wù)管理部門實際情況開展。具體工作內(nèi)容包括資源庫、主題庫、專題庫的數(shù)據(jù)資源注冊、編目、目錄審核、目錄接口、數(shù)據(jù)元信息標(biāo)注等。

2.數(shù)據(jù)服務(wù)目錄

軌道交通警務(wù)、安保等業(yè)務(wù)數(shù)據(jù)的組織重構(gòu)和深度加工處理，為上層業(yè)務(wù)提供統(tǒng)一的數(shù)據(jù)資源支撐。包括數(shù)據(jù)資源中心體系中存在的基礎(chǔ)庫數(shù)據(jù)、主題庫數(shù)據(jù)、專題庫數(shù)據(jù)、標(biāo)簽數(shù)據(jù)、關(guān)系邏輯數(shù)據(jù)及其它基礎(chǔ)數(shù)據(jù)集、加工數(shù)據(jù)集等將以API接口的方式統(tǒng)一封裝，根據(jù)規(guī)則響應(yīng)業(yè)務(wù)方的數(shù)據(jù)請求，為平臺下游輸出數(shù)據(jù)資源。

三、大數(shù)據(jù)平臺實現(xiàn)

軌道交通大數(shù)據(jù)整體架構(gòu)參見圖3。從底往上分成三大平臺，其中數(shù)據(jù)基礎(chǔ)平臺提供計算、存儲和各類計算環(huán)境下的公共引擎；數(shù)據(jù)治理平臺搭建了離線計算、實時計算、智能計算、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)治理功能；數(shù)據(jù)服務(wù)平臺則提供智能標(biāo)簽體系、智能軌跡體系、智能關(guān)系體系、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)資源門戶，以及基于不同模塊的運(yùn)維體系。

（一）大數(shù)據(jù)基礎(chǔ)平臺

大數(shù)據(jù)基礎(chǔ)平臺負(fù)責(zé)對分布式部署的各個組件進(jìn)行集中管理和使用。該平臺提供多樣的數(shù)據(jù)采集能力，能融合各種數(shù)據(jù)，例如結(jié)構(gòu)化的分析型數(shù)據(jù)庫，以及Word、Excel、文本、圖片、模型、視頻文件等非結(jié)構(gòu)化數(shù)據(jù)庫。該平臺具備海量數(shù)據(jù)存儲能力和多種高性能計算引擎，提供數(shù)據(jù)開放、工具開放、資源開放等開放平臺，為軌道交通內(nèi)外部用戶實現(xiàn)數(shù)據(jù)分析應(yīng)用提供了良好的生態(tài)環(huán)境。該平臺提供數(shù)據(jù)資產(chǎn)管理，具備數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)質(zhì)量管理等功能；提供系統(tǒng)運(yùn)維與監(jiān)控管理，實現(xiàn)對大數(shù)據(jù)平臺集群進(jìn)行部署安裝、監(jiān)控告警及日常管理。

（二）大數(shù)據(jù)治理平臺

1.數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)元管理：實現(xiàn)數(shù)據(jù)元的增刪改查、批量新增、導(dǎo)出操作。實現(xiàn)數(shù)據(jù)元按照標(biāo)準(zhǔn)，從基礎(chǔ)信息（如內(nèi)部標(biāo)識符、對象類似、特性詞、表示詞、中文名稱、中文全拼、狀態(tài)、值域）和管理信息（如提交機(jī)構(gòu)、批準(zhǔn)日志、分類方案、計量單位）等角度對數(shù)據(jù)元進(jìn)行新增、編輯修改。

限定詞管理：實現(xiàn)限定詞的增刪改查、批量新增、導(dǎo)出操作。實現(xiàn)限定詞按照數(shù)據(jù)標(biāo)準(zhǔn)，從內(nèi)部標(biāo)識符、限定詞名稱、限定詞標(biāo)識符對限定詞進(jìn)行新增、編輯刪除。

代碼集管理：實現(xiàn)代碼集的新增管理。新增代碼集包括代碼和值域。

通過數(shù)據(jù)智能對標(biāo)，數(shù)據(jù)元管理、限定詞、代碼集管理可以完成數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一建設(shè)，滿足軌道交通數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)的要求。

2.數(shù)據(jù)處理

各個軌道交通業(yè)務(wù)系統(tǒng)數(shù)據(jù)匯聚到大數(shù)據(jù)治理平臺中，數(shù)據(jù)格式眾多、重復(fù)率高、無關(guān)聯(lián)、無法反饋出業(yè)務(wù)屬性，數(shù)據(jù)價值較低。通過數(shù)據(jù)處理，將這些繁多冗長的數(shù)據(jù)提煉形成可用好用的數(shù)據(jù)。數(shù)據(jù)處理是大數(shù)據(jù)建設(shè)過程中的核心過程，數(shù)據(jù)處理模塊通過輕便、簡單的操作幫助軌道交通應(yīng)用廠商建立數(shù)據(jù)中心，滿足數(shù)據(jù)融合關(guān)聯(lián)，提煉數(shù)據(jù)價值。主要的處理手段包括數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對、數(shù)據(jù)標(biāo)識和數(shù)據(jù)分發(fā)。

3.數(shù)據(jù)組織

數(shù)據(jù)合理的組織會產(chǎn)生更大的數(shù)據(jù)價值，如何根據(jù)業(yè)務(wù)合理組織，是困擾數(shù)據(jù)建設(shè)者的難點。數(shù)據(jù)組織需要結(jié)合行業(yè)專家知識，深度解析各類行業(yè)下的數(shù)據(jù)組織形式，通過可視化的操作界面，簡單完成數(shù)據(jù)組織。數(shù)據(jù)組織主要通過原始庫、資源庫、主題庫、專題庫的創(chuàng)建來實現(xiàn)。根據(jù)數(shù)據(jù)處理成果，組織數(shù)據(jù)資源組織結(jié)構(gòu)。

（三）大數(shù)據(jù)服務(wù)平臺

1.數(shù)據(jù)資源門戶

數(shù)據(jù)資源門戶模塊集中數(shù)據(jù)開發(fā)服務(wù)、數(shù)據(jù)共享服務(wù)、共性支撐工具服務(wù)等信息資源，是大數(shù)據(jù)平臺對外提供數(shù)據(jù)價值成果的窗口，集中化呈現(xiàn)、管理、使用軌道交通信息資源，提供穩(wěn)定、可靠、高效的數(shù)據(jù)供給方式，達(dá)到數(shù)據(jù)賦能業(yè)務(wù)系統(tǒng)的目的。

2.數(shù)據(jù)開發(fā)服務(wù)

為了統(tǒng)一的數(shù)據(jù)安全與數(shù)據(jù)成果保障，由大數(shù)據(jù)服務(wù)平臺統(tǒng)一提供線上數(shù)據(jù)開發(fā)服務(wù)，并提供開發(fā)環(huán)境、測試環(huán)境、正式環(huán)境，軌道交通的業(yè)務(wù)開發(fā)者可以使用此服務(wù)進(jìn)行數(shù)據(jù)的業(yè)務(wù)功能開發(fā)、模型開發(fā)等，對數(shù)據(jù)進(jìn)行定制應(yīng)用開發(fā)。

數(shù)據(jù)開發(fā)服務(wù)具備數(shù)據(jù)資源目錄管理、數(shù)據(jù)開發(fā)目錄管理、數(shù)據(jù)任務(wù)調(diào)試、數(shù)據(jù)服務(wù)調(diào)度管理、數(shù)據(jù)服務(wù)日志分析等功能。

3.數(shù)據(jù)共享服務(wù)

數(shù)據(jù)共享服務(wù)通過搭建軌道交通服務(wù)總線和API網(wǎng)關(guān)，實現(xiàn)不同上層應(yīng)用對已發(fā)布API的調(diào)用，實現(xiàn)標(biāo)準(zhǔn)化治理后數(shù)據(jù)資源的使用。各類軌道交通安保業(yè)務(wù)系統(tǒng)都可通過API網(wǎng)關(guān)獲取，API網(wǎng)關(guān)提供了API的全生命周期管理，輔助用戶簡單、快速、低成本、低風(fēng)險地將數(shù)據(jù)、業(yè)務(wù)邏輯或功能安全可靠地開放出來，用以實現(xiàn)自身系統(tǒng)集成及與合作伙伴的業(yè)務(wù)連接。API網(wǎng)關(guān)負(fù)責(zé)服務(wù)請求路由、組合及協(xié)議轉(zhuǎn)換，客戶端的所有請求都首先經(jīng)過API網(wǎng)關(guān)，由它將請求路由到合適的服務(wù)。

4.共性支撐服務(wù)

服務(wù)平臺除了為下游軌道交通業(yè)務(wù)開發(fā)商提供數(shù)據(jù)開發(fā)服務(wù)、數(shù)據(jù)共享服務(wù)外，為了更好體現(xiàn)大數(shù)據(jù)平臺賦能能力與體系，提供以下共性支撐服務(wù)：

（1）智能標(biāo)簽

標(biāo)簽是通過對用戶信息分析而得到的高度精煉的特征標(biāo)識，而具象到軌道交通標(biāo)簽來說，軌道交通標(biāo)簽?zāi)K是對軌交安保數(shù)據(jù)資源的分類和內(nèi)容描述，便于各業(yè)務(wù)單位對數(shù)據(jù)需求的快速檢索和定位。標(biāo)簽?zāi)K的價值在于數(shù)據(jù)的語義化，將用戶難以理解的數(shù)據(jù)意義翻譯為容易理解的業(yè)務(wù)語言，建立數(shù)據(jù)分類，快速圈定業(yè)務(wù)所需要的數(shù)據(jù)。

整體標(biāo)簽體系以軌道交通主題庫為基礎(chǔ)，中心所有的標(biāo)簽生產(chǎn)都基于軌道交通主題庫，支持用戶進(jìn)行自定義標(biāo)簽，將各類關(guān)系型數(shù)據(jù)表直接通過平臺注冊到標(biāo)簽平臺中進(jìn)行管理，同時用戶自定義的標(biāo)簽可以選擇共享，建立標(biāo)簽從生產(chǎn)、發(fā)布到投入應(yīng)用的一整套管理體系，共享后可實現(xiàn)軌道交通所有用戶共同使用。

（2）數(shù)據(jù)模型推演中心

數(shù)據(jù)模型推演中心基于數(shù)據(jù)治理的成果，提供基于各類數(shù)據(jù)資源與數(shù)據(jù)標(biāo)準(zhǔn)體系之上的數(shù)據(jù)推演計算，為軌道交通業(yè)務(wù)提供一步數(shù)據(jù)模型生成的便捷式開發(fā)服務(wù)。

（3）智能關(guān)系

智能關(guān)系作為數(shù)據(jù)治理完成后對數(shù)據(jù)進(jìn)行應(yīng)用展現(xiàn)的關(guān)鍵平臺和工具，通過關(guān)系模塊完成軌道交通對關(guān)系人計算模型的具體需求，并且能夠按照軌道交通業(yè)務(wù)需求，動態(tài)調(diào)整關(guān)系計算策略。關(guān)系模塊支持6層以上的關(guān)系挖掘，支持人、案、物等多種實體的關(guān)系關(guān)聯(lián)和在線關(guān)系計算。

四、應(yīng)用成效

本文設(shè)計的軌道交通安保大數(shù)據(jù)平臺已初步在某市軌交安保工程落地應(yīng)用。平臺具備處理PB級別的數(shù)據(jù)能力，共接入280多張鏡像表共81億數(shù)據(jù)量的原始數(shù)據(jù)，梳理出148張標(biāo)準(zhǔn)表，提供結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理能力，通過數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)的應(yīng)用，實現(xiàn)了數(shù)據(jù)對象的數(shù)據(jù)連接、相似性連接等軌道交通行業(yè)數(shù)據(jù)的融合。對原始數(shù)據(jù)質(zhì)量進(jìn)行自動評估，剔除出30%的重復(fù)或者錯誤數(shù)據(jù)，并通過數(shù)據(jù)接口連接市局大數(shù)據(jù)平臺、軌道指揮中心、交通運(yùn)行協(xié)調(diào)指揮中心、地鐵集團(tuán)、公交集團(tuán)等多家軌交業(yè)務(wù)單位的相關(guān)數(shù)據(jù)資源。

通過研究交集、并集、差集、統(tǒng)計、去重、排序等多種算法組合、編排和流程化，構(gòu)建了同站進(jìn)出、同行人員、異常出行、人員軌跡、長期逗留、重點人關(guān)系等25種融合公安業(yè)務(wù)場景的模型算法，利用自動感知與人工判斷相結(jié)合，提升軌道交通安全指數(shù)。對50余種軌交警情數(shù)據(jù)關(guān)鍵要素進(jìn)行自動提取和特性標(biāo)注，2億條數(shù)據(jù)記錄的精確查詢返回時間不超過3秒，實現(xiàn)案事件聚類和智能串并。通過研究基于關(guān)鍵要素和標(biāo)注信息的自動關(guān)聯(lián)和推理技術(shù)，關(guān)聯(lián)出人（乘客票卡信息、身份信息、生物特征信息、手機(jī)信息等）、地（車站、站廳、出入口等）、物（安檢物品）、事（事件）、組織（業(yè)務(wù)單位、安保單位、安保指導(dǎo)單位等）等情報信息和歷史警情信息，主動預(yù)警，提升要素情報的自動感知能力。

五、結(jié)語

基于大數(shù)據(jù)技術(shù)，實現(xiàn)了軌道交通安保大數(shù)據(jù)平臺，為軌道交通警務(wù)創(chuàng)新數(shù)據(jù)智慧建設(shè)提供了一種思路。通過平臺的建設(shè)和應(yīng)用，應(yīng)對了軌道交通數(shù)據(jù)復(fù)雜、場景多樣的現(xiàn)實需求，依托軌道交通不同類型的數(shù)據(jù)資源，進(jìn)行數(shù)據(jù)的統(tǒng)一融合治理與服務(wù)，將原有死寂的數(shù)據(jù)價值挖掘，將智能化數(shù)據(jù)分析的性能提高，大大提高了公安工作效率和警務(wù)效能。