徐樂西,欒玉婷,曹 越,劉 寒,程新洲,董潤莎,張 恒(.中國聯(lián)通網(wǎng)絡技術研究院,北京 00048;.中鐵工程設計咨詢集團有限公司,北京 000;3.深圳北航新興產(chǎn)業(yè)技術研究院,深圳 8063;4.北京航空航天大學交通科學與工程學院,北京 009;.中國信息通信研究院,北京 009)
5G 技術將催生豐富的通信業(yè)務和以交通行業(yè)應用為代表的海量垂直行業(yè)應用,并將極大地推動萬物互聯(lián)。在“5G+萬物互聯(lián)”時代,交通管理部門、電信運營商、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)以及相關政府部門等將產(chǎn)生海量的交通領域相關數(shù)據(jù)資源。交通領域數(shù)據(jù)具有6V 特性(見圖1):交通領域數(shù)據(jù)來源廣泛且類型多樣化(Variety),交通數(shù)據(jù)體量極大(Volume)且數(shù)據(jù)信息密度低并伴隨錯誤和缺失(Veracity),多源海量交通數(shù)據(jù)對運算和處理提出了更快更準確的要求(Velocity),交通數(shù)據(jù)的分析挖掘?qū)a(chǎn)生極高的價值效益(Value)并可視化呈現(xiàn)(Visualization)。此外,交通領域數(shù)據(jù)源還具有信息化水平差異化、數(shù)據(jù)服務場景簡單、數(shù)據(jù)流向單一、數(shù)據(jù)流通共享壁壘等問題,極大地影響了交通數(shù)據(jù)的應用及價值效益。
圖1 交通領域數(shù)據(jù)6V特性
與此同時,隨著我國城市化進程的加快以及各類機動車數(shù)量的快速增長,城市道路交通量飛速提升,各種交通問題凸顯。智慧交通將人、車、道路等資源進行動態(tài)組合,其數(shù)據(jù)信息將覆蓋城市的道路、高速公路、停車場等交通樞紐,這使得交通資源在時空范圍內(nèi)的適配優(yōu)化及管理成為可能。如何精準采集、高效存儲、專業(yè)管理、關聯(lián)分析、高效應用海量的交通領域數(shù)據(jù)資源,進而打造城市智慧交通管理大數(shù)據(jù)平臺,將助力未來城市交通管理及運營、政府的決策支撐,并助力“智慧城市”的發(fā)展。
本文開展城市智慧交通管理大數(shù)據(jù)平臺架構研究,能夠為平臺的設計及建設提供理論支持和技術積累。首先對交通領域數(shù)據(jù)資源現(xiàn)狀進行分析,并進一步提出智慧交通管理大數(shù)據(jù)平臺的設計及建設原則,然后對智慧交通管理大數(shù)據(jù)平臺架構進行闡述,隨后對平臺的主要功能結構及關鍵技術進行詳細介紹。
城市智慧交通管理大數(shù)據(jù)平臺架構設計之初,需要針對性地分析當前交通管理領域數(shù)據(jù)資源整合及共享的現(xiàn)狀。
在城市交通管理領域,數(shù)據(jù)所涉及的部門、企業(yè)非常廣泛,除了交通管理部門,還涉及氣象、環(huán)保、水務、市政管理、城市規(guī)劃等政府部門,以及移動互聯(lián)網(wǎng)企業(yè)、電信運營商、車聯(lián)網(wǎng)企業(yè)等。交通管理部門、政府部門雖然構建了一系列的系統(tǒng)平臺,但各系統(tǒng)主要是為某些特定需求所搭建的,功能較為單一、跨系統(tǒng)融合性差;移動互聯(lián)網(wǎng)企業(yè)、電信運營商、車聯(lián)網(wǎng)企業(yè)所擁有的交通管理領域相關數(shù)據(jù)還存在數(shù)據(jù)分散、聚合度較低等問題。在城市交通管理領域,缺乏一套完備的系統(tǒng)平臺,進而實現(xiàn)較完備的交通數(shù)據(jù)歸納、統(tǒng)一,助力交通數(shù)據(jù)專業(yè)化管理。
與此同時,交通管理部門、部分政府單位存在信息化軟件及硬件設備設施老化及架構不完整,數(shù)據(jù)整合、運維、管理、應用能力弱,缺乏體系化服務支撐能力,交通業(yè)務創(chuàng)新性較低,氣象、環(huán)保、水務、市政管理、城市規(guī)劃等部門間壁壘導致影響交通的重要數(shù)據(jù)共享不順暢,數(shù)據(jù)利用率低等問題。
除此之外,電信運營商通過遍布全國的基站,能夠獲取司機、乘客、車輛的7×24 h 的位置及運行軌跡數(shù)據(jù),以及城市各區(qū)域的人群聚集及遷徙特性。滴滴、Uber、百度、高德、摩拜、貨拉拉等移動互聯(lián)網(wǎng)企業(yè)也將產(chǎn)生并獲取海量車輛運行、導航、共享電單車等數(shù)據(jù),此外,作為國家產(chǎn)業(yè)融合的發(fā)展重點,車聯(lián)網(wǎng)、物聯(lián)網(wǎng)也將產(chǎn)生大量車輛運行及交互,道路監(jiān)測等數(shù)據(jù)。上述電信運營商、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)的數(shù)據(jù)也是交通管理領域的重要數(shù)據(jù)源。交通數(shù)據(jù)類型多種多樣,包括圖樣數(shù)據(jù)、動態(tài)視頻數(shù)據(jù)、遙感數(shù)據(jù)、數(shù)字信息、文本數(shù)據(jù)等多源異構數(shù)據(jù)。
為了實現(xiàn)專業(yè)化的交通數(shù)據(jù)管理,提升交通數(shù)據(jù)效益,城市智慧交通管理大數(shù)據(jù)平臺將按照五大原則進行設計。
a)開放的平臺架構:城市智慧交通管理大數(shù)據(jù)平臺采用開放式架構,可加載第三方算法,支持并行計算、按需使用、動態(tài)分配、分布式部署、云存儲、雙活數(shù)據(jù)中心等,有效提升交通數(shù)據(jù)整合效率、平臺智能化水平。
b)海量數(shù)據(jù)的整合存儲能力:一方面,城市智慧交通管理大數(shù)據(jù)平臺的數(shù)據(jù)來源廣泛、數(shù)據(jù)量巨大、數(shù)據(jù)存儲時間較長。另一方面,2016 年8月,交通運輸部發(fā)布《關于推進交通運輸行業(yè)數(shù)據(jù)資源開放共享的實施意見》,以推進交通行業(yè)的數(shù)據(jù)共享和應用。智慧交通管理大數(shù)據(jù)平臺將參考此實施意見以及交通行業(yè)相關標準,實現(xiàn)對圖樣數(shù)據(jù)、動態(tài)視頻數(shù)據(jù)、遙感數(shù)據(jù)、數(shù)字信息、文本數(shù)據(jù)等多源異構數(shù)據(jù)的統(tǒng)一整合。
c)交通數(shù)據(jù)分析能力:交通數(shù)據(jù)分析處理時效性要求高,而且分析維度多樣。通過匯聚技術和數(shù)據(jù)清洗轉(zhuǎn)換技術產(chǎn)生高質(zhì)量的交通數(shù)據(jù),采用流式數(shù)據(jù)庫并配合Hadoop、Spark 等大數(shù)據(jù)技術架構,并基于機器學習、分布式并行計算等技術,構建快速且完備的交通大數(shù)據(jù)分析能力,保障交通管理業(yè)務。
d)交通數(shù)據(jù)挖掘能力:通過交通數(shù)據(jù)分析,實現(xiàn)對海量交通數(shù)據(jù)的深度挖掘和應用,通過統(tǒng)計學、傳統(tǒng)機器學習、深度學習等算法進行交通數(shù)據(jù)分類、聚類、關聯(lián)、預測,進而發(fā)掘海量交通數(shù)據(jù)中隱藏的交通數(shù)據(jù)知識,通過梳理隱藏在交通數(shù)據(jù)知識中的內(nèi)在規(guī)則,提取潛在的高價值交通信息,挖掘交通數(shù)據(jù)的效益。
e)符合智慧交通管理需求:以未來智慧交通管理多元化服務為目標,研發(fā)交通數(shù)據(jù)分析模型,包含可視化車輛運行軌跡分析查詢、交通擁堵分析、智能交通統(tǒng)計分析、智能交通信號控制、道路動態(tài)監(jiān)測及預警分析、智慧泊車等功能,輔助交通管理等部門的日常工作,并為其決策制定提供數(shù)據(jù)支撐。
基于上述的設計原則,城市智慧交通管理大數(shù)據(jù)平臺架構包含交通數(shù)據(jù)接入、交通數(shù)據(jù)處理、交通數(shù)據(jù)管理、交通數(shù)據(jù)組織、交通數(shù)據(jù)服務五大模塊(見圖2)。交通領域相關的異構數(shù)據(jù)源匯集入城市智慧交通管理大數(shù)據(jù)平臺后,將在五大模塊中實現(xiàn)交通數(shù)據(jù)的層層傳遞以及交通數(shù)據(jù)的價值閉環(huán)。
圖2 城市智慧交通管理大數(shù)據(jù)平臺五項核心功能
a)交通數(shù)據(jù)接入模塊:城市智慧交通管理大數(shù)據(jù)平臺的交通數(shù)據(jù)接入模塊將對接城市交通管理部門業(yè)務系統(tǒng)、與交通相關部門的對應業(yè)務系統(tǒng)、電信運營商數(shù)據(jù)、移動互聯(lián)網(wǎng)數(shù)據(jù)、車聯(lián)網(wǎng)數(shù)據(jù)等,并進行交通領域多源異構數(shù)據(jù)的接入。在進行交通數(shù)據(jù)存儲時,按照使用頻度、重要性、交通數(shù)據(jù)類型,在各數(shù)據(jù)中心、云存儲數(shù)據(jù)中心分級存儲;并對低頻使用交通數(shù)據(jù)進行冷存儲,以及高頻使用交通數(shù)據(jù)進行熱存儲。
b)交通數(shù)據(jù)處理模塊:在交通數(shù)據(jù)接入模塊匯集的交通領域多源異構數(shù)據(jù)之后,城市智慧交通管理大數(shù)據(jù)平臺的數(shù)據(jù)處理模塊將按照分布式ETL(Extract-Transform-Load)模式,進行交通數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)關聯(lián)、數(shù)據(jù)比對、數(shù)據(jù)標識及規(guī)范化的處理,建立標準化的數(shù)據(jù)處理模式,支撐交通管理的各類應用。
c)交通數(shù)據(jù)管理模塊:梳理整合元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)倉庫。通過交通數(shù)據(jù)資源目錄構建、交通數(shù)據(jù)分級分類、交通數(shù)據(jù)血緣關系管理、交通數(shù)據(jù)質(zhì)量管控、交通數(shù)據(jù)運維,構建質(zhì)量保障體系,使用規(guī)則校驗和源頭管控等多種數(shù)據(jù)檢查模式保障數(shù)據(jù)質(zhì)量。
d)交通數(shù)據(jù)組織模塊:統(tǒng)一規(guī)劃交通管理部門、交通業(yè)務專題數(shù)據(jù)的云上建庫,分階段推進建設交通管理原始庫、交通管理主題庫、交通管理業(yè)務庫,提供高質(zhì)量的交通領域數(shù)據(jù)整合和高效的數(shù)據(jù)共享,助力交通管理大數(shù)據(jù)總索引、總導航。交通管理原始庫、交通管理主題庫、交通管理業(yè)務庫將根據(jù)其使用優(yōu)先級、使用頻度、業(yè)務匹配情況,將分散存儲于交通管理部門大數(shù)據(jù)中心以及備份中心,并實現(xiàn)冷、熱分級存儲。
e)交通數(shù)據(jù)服務模塊:為建設多渠道、多維度、扁平化調(diào)度的城市智慧交通數(shù)據(jù)服務模式,交通數(shù)據(jù)服務模塊將提供查詢檢索、分析挖掘、下載推送等基礎應用服務;還能提供分布式聯(lián)動分析、跨域管理等智能數(shù)據(jù)服務。通過交通數(shù)據(jù)服務模塊,可覆蓋多種交通管理業(yè)務、各級交通管理部門的數(shù)據(jù)服務需求,進而支撐快速、高效的城市交通分析、響應及管理。
如圖3 所示,交通數(shù)據(jù)接入模塊是城市智慧交通管理大數(shù)據(jù)平臺的基礎,其將對接多源異構交通數(shù)據(jù)源,并以數(shù)據(jù)庫采集、接口采集、文件介質(zhì)采集等方式,實現(xiàn)交通領域多源異構數(shù)據(jù)的接入。進而提供交通數(shù)據(jù)抽取匯聚的接口通道,并實現(xiàn)交通數(shù)據(jù)交換任務同步,提供交通數(shù)據(jù)采集、數(shù)據(jù)分發(fā)、任務配置及調(diào)度、斷點續(xù)傳等功能。
a)交通數(shù)據(jù)采集:城市智慧交通管理大數(shù)據(jù)平臺通過數(shù)據(jù)庫采集(主動采集、被動采集)、服務接口采集(API 接口采集、服務注冊采集等)、文件介質(zhì)數(shù)據(jù)采集(拉取采集、推送采集),實現(xiàn)對各類系統(tǒng)平臺的異構采集。
(a)交通管理部門各類業(yè)務系統(tǒng)數(shù)據(jù)庫:包括交通管理局以及交通運輸委員會下轄的出租車管理系統(tǒng)數(shù)據(jù)庫、道路視頻監(jiān)控系統(tǒng)數(shù)據(jù)庫、電子警察設備數(shù)據(jù)庫、交通誘導系統(tǒng)數(shù)據(jù)庫、交通違章及事故處理系統(tǒng)數(shù)據(jù)庫、交通信號控制系統(tǒng)數(shù)據(jù)庫、重點車輛相關的基礎數(shù)據(jù)庫、車牌及駕駛證管理系統(tǒng)數(shù)據(jù)庫、ETC電子不停車收費系統(tǒng)數(shù)據(jù)庫、違法及事故處理系統(tǒng)數(shù)據(jù)庫等。
圖3 城市智慧交通管理大數(shù)據(jù)平臺架構及關鍵技術
(b)與交通相關的政府企事業(yè)單位數(shù)據(jù)資源:包括城市居民及戶籍管理系統(tǒng)數(shù)據(jù)庫、城市規(guī)劃系統(tǒng)數(shù)據(jù)庫、卡口布控數(shù)據(jù)庫、城市警務數(shù)據(jù)庫,還包括城市管理局、水務局、環(huán)保局、氣象局等能對交通造成外部條件影響的相應數(shù)據(jù)庫,此外還包括應急救援系統(tǒng)(警保聯(lián)動、應急救援摩托車、應急救援車、拖車)等。
(c)電信運營商數(shù)據(jù):包括用戶經(jīng)緯度信息、用戶所接入基站/小區(qū)信息、基站/小區(qū)工程參數(shù)信息、用戶基礎信息、用戶工作、居住、休閑娛樂所在區(qū)域信息、用戶業(yè)務偏好、用戶日常運動軌跡、各區(qū)域人群聚集及遷徙等信息。
(d)移動互聯(lián)網(wǎng)數(shù)據(jù)信息資源:包括互聯(lián)網(wǎng)出行平臺數(shù)據(jù),譬如滴滴、Uber 的快車/專車/順風車的行車軌跡、用戶出行線路信息;地圖平臺數(shù)據(jù),譬如百度、高德的地圖數(shù)據(jù)、實時的交通路況信息、實時擁堵報警等;還包括共享單車系統(tǒng)數(shù)據(jù),譬如ofo 小黃車作為面向政府開放數(shù)據(jù)的共享單車企業(yè),已向全國20余城市開放了其交通大數(shù)據(jù)平臺。
(e)車聯(lián)網(wǎng)數(shù)據(jù)信息資源:采集并整合包括RFID數(shù)據(jù)庫、車聯(lián)網(wǎng)監(jiān)控系統(tǒng)數(shù)據(jù)庫、車輛運行及交互數(shù)據(jù)庫,道路監(jiān)測數(shù)據(jù)庫、車載終端數(shù)據(jù)等。
b)交通數(shù)據(jù)分發(fā):城市智慧交通管理大數(shù)據(jù)平臺的交通數(shù)據(jù)分發(fā)功能采用分布式架構,跨平臺支撐,統(tǒng)一調(diào)度與監(jiān)控。其關鍵技術包括管道技術、內(nèi)存技術、多線程技術等,從而提升其分發(fā)性能。為方便使用者進行操作,還采用可視化、定制化界面及操作流程。交通數(shù)據(jù)分發(fā)子模塊還具備跨系統(tǒng)統(tǒng)一處理能力,使之支持跨Hadoop、MPP、傳統(tǒng)RDBMS 等平臺及數(shù)據(jù)庫調(diào)度。交通數(shù)據(jù)分發(fā)子模塊還應支持對小型機、X86 服務器、調(diào)度流程的監(jiān)控與處理。
c)交通數(shù)據(jù)同步:城市智慧交通管理大數(shù)據(jù)平臺采用基于后臺程序編碼,實現(xiàn)交通管理部門各類業(yè)務系統(tǒng),水務局、環(huán)保局、氣象等與交通相關單位的業(yè)務系統(tǒng),能夠與本交通管理大數(shù)據(jù)平臺的數(shù)據(jù)同步。還采用發(fā)布/訂閱方式、SQL JOB 方式、Service Broker 消息隊列方式,實現(xiàn)城市智慧交通管理大數(shù)據(jù)平臺與相關數(shù)據(jù)庫的數(shù)據(jù)庫同步。
d)任務配置調(diào)度:城市智慧交通管理大數(shù)據(jù)平臺基于Azkaban,實現(xiàn)迅速、易操作、企業(yè)級、易擴展的分布式任務配置調(diào)度。
e)統(tǒng)一用戶權限管理:城市智慧交通管理大數(shù)據(jù)平臺設計了統(tǒng)一用戶認證、用戶統(tǒng)一授權。統(tǒng)一用戶認證基于交通管理局的證書體系(或PKI 證書),進而有效解決多個相關系統(tǒng)平臺的多重賬號、多重口令管理問題。
f)斷點續(xù)傳:城市智慧交通管理大數(shù)據(jù)平臺允許交通數(shù)據(jù)接入模塊從抽取、匯聚、分發(fā)中斷的位置繼續(xù)傳送,進而提升交通數(shù)據(jù)接入模塊的執(zhí)行效率。
針對城市智慧交通管理大數(shù)據(jù)平臺匯聚的多源異構數(shù)據(jù),采用分布式ETL 技術,按照交通數(shù)據(jù)提取、清洗、關聯(lián)、比對、標識規(guī)范化的流程,實現(xiàn)標準化的交通數(shù)據(jù)處理模式,從而提升城市智慧交通管理大數(shù)據(jù)平臺的交通數(shù)據(jù)質(zhì)量,有效解決數(shù)據(jù)缺失、更新時效性低、數(shù)據(jù)冗雜及處理延遲等問題。進而協(xié)助城市交通管理部門更及時的交通監(jiān)控、更準確的道路擁堵監(jiān)測疏導以及城市路網(wǎng)規(guī)劃、交通肇事及逃逸分析。
a)交通數(shù)據(jù)抽?。簩υ嫉慕煌I域多源異構數(shù)據(jù)進行規(guī)范化處理,將所有的結構化交通數(shù)據(jù)和非結構化交通數(shù)據(jù)抽取轉(zhuǎn)化為結構化交通數(shù)據(jù)。
(a)結構化交通數(shù)據(jù):交通數(shù)據(jù)抽取功能實現(xiàn)結構化交通數(shù)據(jù)的全量抽取和增量抽取。全量抽取類將完整抽取交通數(shù)據(jù)源中的交通數(shù)據(jù)表、交通數(shù)據(jù)視圖。增量抽取將提取新增、修改、刪除的交通數(shù)據(jù)。
(b)非結構交通數(shù)據(jù):主要是從交通監(jiān)控視頻、交通圖片、遙感等多媒體文件、文本內(nèi)容等非結構化數(shù)據(jù)中提取車輛、車主、軌跡、位置、狀態(tài)等信息,形成結構化交通數(shù)據(jù),一般采取全量抽取。
b)交通數(shù)據(jù)清洗:過濾不合規(guī)的交通數(shù)據(jù),刪除重復的交通數(shù)據(jù),糾正錯誤數(shù)據(jù),完成格式轉(zhuǎn)換,并進行清洗前后的交通數(shù)據(jù)一致性檢查,保證交通數(shù)據(jù)結果集的質(zhì)量,將“臟數(shù)據(jù)”清洗掉。針對缺失值,采用刪除法、替換法、插補法等方式進行清洗。針對格式內(nèi)容清洗,可采用邏輯錯誤清洗、箱型圖分析、基于聚類的離群點等方式去除不合理值,并修正矛盾內(nèi)容。
c)交通數(shù)據(jù)關聯(lián):數(shù)據(jù)關聯(lián)是將來源于不同的業(yè)務系統(tǒng)、不同的數(shù)據(jù)通過關鍵字段關聯(lián)在一起。關聯(lián)的過程包括關聯(lián)鍵值的生成、組內(nèi)關聯(lián)、組間關聯(lián)、并行關聯(lián)等處理邏輯。城市智慧交通管理大數(shù)據(jù)平臺的交通數(shù)據(jù)關聯(lián)包括離線數(shù)據(jù)的批處理和流式數(shù)據(jù)的實時處理。
d)交通數(shù)據(jù)對比:實現(xiàn)結構化數(shù)據(jù)比對,關鍵詞比對,圖像語音文本相似度比對,二進制比對以及生物特征比對等。通過交通數(shù)據(jù)對比功能,可以協(xié)助交通管理及政府相關部門快速定位出交通信息來源,提高對比效率和準確率。
e)交通數(shù)據(jù)標識:城市智慧交通管理大數(shù)據(jù)平臺將通過直觀事實、統(tǒng)計加工、模型挖掘、組合定義等方法進行交通數(shù)據(jù)標識。在交通數(shù)據(jù)標識模塊基礎上,對交通擁堵及交通事故等按照類型和性質(zhì)進行分類統(tǒng)計,可以幫助交通管理部門進行輿情分析、高擁堵區(qū)域車輛監(jiān)控、交通事故車輛及人員追蹤分析等。
綜上,城市智慧交通管理大數(shù)據(jù)平臺將主要采用基于MapReduce 的ETL 技術,并結合多Agent 方式,進行交通數(shù)據(jù)的抽取、轉(zhuǎn)換、加載。此外,還將固化成型的分析算法,并支撐交通數(shù)據(jù)管理模塊、交通數(shù)據(jù)組織模塊、交通數(shù)據(jù)服務模塊。需要搭建混合型的數(shù)據(jù)庫集群包括Oracle、TimescaleDB、Impala、Vertica等。
城市智慧交通管理大數(shù)據(jù)平臺將建立交通管理領域數(shù)據(jù)管理模塊,并展開交通數(shù)據(jù)分級、交通數(shù)據(jù)資源目錄構建、交通數(shù)據(jù)分級分類定義、交通數(shù)據(jù)血緣關系梳理、交通數(shù)據(jù)運維監(jiān)控,實現(xiàn)全平臺交通數(shù)據(jù)的歸集聚合、融合管理、共享服務。
a)交通數(shù)據(jù)資源目錄:通過交通數(shù)據(jù)資源目錄與數(shù)據(jù)分類展現(xiàn)快速地實現(xiàn)數(shù)據(jù)定位,幫助交通管理及政府相關部門快速地找到期望的交通數(shù)據(jù),模塊實現(xiàn)交通管理資源目錄、交通管理主體數(shù)據(jù)目錄、交通管理專題數(shù)據(jù)目錄。
b)交通數(shù)據(jù)分級:結合交通大數(shù)據(jù)資源,研究并設計適用于交通管理場景的數(shù)據(jù)分類模型,包括交通管理業(yè)務模型(包括車主、車輛、道路、軌跡、監(jiān)控、誘導、收費等)和交通管理本體模型(包括道路、流量、容量、監(jiān)控、交管等)。
c)統(tǒng)一的交通數(shù)據(jù)標準:城市智慧交通管理大數(shù)據(jù)平臺通過統(tǒng)一的交通管理數(shù)據(jù)標準,輔助交通數(shù)據(jù)的命名、定義、范圍、量綱化等過程,并助力交通管理平臺的業(yè)務規(guī)則規(guī)范化。從而平臺用戶能夠詳細掌握城市智慧交通管理大數(shù)據(jù)平臺中的交通數(shù)據(jù),包括交通數(shù)據(jù)的格式、處理方法、獲取方法、質(zhì)量要求、安全性要求等。
d)交通數(shù)據(jù)血緣分析:通過交通元數(shù)據(jù)管理,分析交通數(shù)據(jù)的血緣關系,構建交通數(shù)據(jù)流向圖,從而實現(xiàn)交通數(shù)據(jù)集成、交通數(shù)據(jù)加工、交通數(shù)據(jù)應用的全生命周期管理。并實現(xiàn)任務層級、交通數(shù)據(jù)層級、交通數(shù)據(jù)字段層級的交通數(shù)據(jù)血緣關系多層次呈現(xiàn)。
e)閉環(huán)的交通數(shù)據(jù)質(zhì)量管理:從交通數(shù)據(jù)標準化程度、使用狀況、冗余度、數(shù)據(jù)生命周期、數(shù)據(jù)質(zhì)量、安全狀況等方面進行評估,構建數(shù)據(jù)質(zhì)量管理閉環(huán)體系。
f)交通數(shù)據(jù)運維監(jiān)控:構建有效的數(shù)據(jù)運維監(jiān)控體系,從數(shù)據(jù)監(jiān)控、任務監(jiān)控、故障監(jiān)控等方面進行管理和規(guī)范。
城市智慧交通管理大數(shù)據(jù)平臺的交通數(shù)據(jù)組織模塊,將按照“一”點統(tǒng)籌,“三庫”共建思想,協(xié)助交通管理部門的云上建庫,形成城市交通管理大數(shù)據(jù)總索引、總導航。并將依次進行交通管理原始庫、交通管理主題庫、交通管理業(yè)務庫的“三”庫建設,提供高質(zhì)量的交通數(shù)據(jù)的整合和高效的交通數(shù)據(jù)共享。交通數(shù)據(jù)組織規(guī)劃整體架構如圖4所示。
a)交通管理原始庫:交通管理部門的各交管業(yè)務平臺、與交通相關的政府事業(yè)單位的對應業(yè)務系統(tǒng)、電信運營商數(shù)據(jù)、移動互聯(lián)網(wǎng)數(shù)據(jù)、車聯(lián)網(wǎng)數(shù)據(jù)接入到平臺后,對不同來源的數(shù)據(jù)按照數(shù)據(jù)的原始格式進行存儲。構建的交通原始庫包括車輛庫、車主信息庫、道路信息庫、信號燈信息庫、交警信息庫、互聯(lián)網(wǎng)信息庫、監(jiān)控信息庫、交通檢測設備信息庫、社會信息庫、氣象信息庫、水文信息庫等。
b)交通管理主題庫:交通管理主題數(shù)據(jù)庫整合交通管理原始庫中的基礎數(shù)據(jù),以交通數(shù)據(jù)來源進行數(shù)據(jù)分類,并進一步依據(jù)交通管理六要素組織原則,構建交通數(shù)據(jù)資源目錄,以“人、車、路、事、環(huán)境、組織”進行劃分。
圖4 交通數(shù)據(jù)組織模塊——交通管理原始庫、主題庫、業(yè)務庫
c)交通管理業(yè)務庫:基于交通管理業(yè)務流程和特征,抽取、整合具有明顯業(yè)務屬性的交通數(shù)據(jù)集合,并針對交管部門各處/科/室的業(yè)務分工,在交通管理主題庫之上構建交通管理業(yè)務庫。例如,肇事及事故處理業(yè)務庫、號牌及通行證業(yè)務庫、車輛年檢變更報廢業(yè)務庫、車主及駕照管理業(yè)務庫、交通安全違法行為業(yè)務庫、ETC 及高速繳費業(yè)務庫、出租車管理業(yè)務庫、交通管制業(yè)務庫、天氣及災備業(yè)務庫、交通誘導及擁堵治理業(yè)務庫、交通應急管理業(yè)務庫、智慧停泊車管理業(yè)務庫、電子交警業(yè)務庫等。
在交通數(shù)據(jù)服務方面,將按照分布式構建、一體化服務、標準化操作、價值化交通數(shù)據(jù)交互的設計原則,構建高效、安全、可靠、扁平化的交通數(shù)據(jù)服務模塊。該模塊面向交警執(zhí)勤人員、交管局各處室提供車輛查詢檢索、車主肇事記錄、下載推送等基礎數(shù)據(jù)服務;并將提供多渠道、多維度的信息協(xié)同服務能力,包括面向交通管理局的專業(yè)處室提供交通挖掘分析、專家建模等智能化的交通數(shù)據(jù)服務等。還將在城市智慧交通管理大數(shù)據(jù)平臺的邊界構建交通管理信息安全接入和交通數(shù)據(jù)交換子模塊,為未來交通管理信息“共建共享”提供安全穩(wěn)定的服務。
交通數(shù)據(jù)服務模塊將遵循交通運輸部發(fā)布的《關于推進交通運輸行業(yè)數(shù)據(jù)資源開放共享的實施意見》,并結合交通行業(yè)相關標準《交通運輸數(shù)據(jù)資源交換與共享》,構建完備的數(shù)據(jù)組織規(guī)劃、數(shù)據(jù)服務規(guī)劃,為跨部門、跨區(qū)域、跨領域的交通信息資源共享和大數(shù)據(jù)應用提供堅實的服務保障。并根據(jù)交警數(shù)量、業(yè)務應用增量,充分考慮交通管理大數(shù)據(jù)應用需求和服務支撐能力,確保交通數(shù)據(jù)服務模塊具備充足的應用支撐能力。
近些年,我國城市化進程快速推進,各類交通問題凸顯。大數(shù)據(jù)技術能夠賦能城市交通管理,并極大地提升交通管理效率及智慧化水平。本文研究了城市智慧交通管理大數(shù)據(jù)平臺架構,同時詳細介紹了平臺設計原則、主要功能結構以及關鍵技術,能夠為城市智慧交通管理大數(shù)據(jù)平臺架構及實際建設提供理論積累和技術指導。