戚 湧，李千目

（南京理工大學 計算機科學與工程學院，江蘇 南京 210094）

基于e交通學的交通大數(shù)據(jù)MetaData交換構架

戚 湧，李千目

（南京理工大學 計算機科學與工程學院，江蘇 南京 210094）

基于 e交通學的交通大數(shù)據(jù)系統(tǒng)是通過構建由大型高性能計算機組成的集群系統(tǒng)來處理海量的交通數(shù)據(jù)的存儲以及計算服務，不僅所需的環(huán)境十分嚴格，而且成本高、部署周期長、維護困難；不僅如此，隨著數(shù)據(jù)量的增長，業(yè)務復雜度的增加，以及計算強度的加大，通過增加Server數(shù)量來增加其處理對海量交通數(shù)據(jù)的能力會變的十分困難，甚至需要對集群的結構進行重新的設計和部署，這不僅需要大量的人力成本和財力，而且造成了巨大的浪費。MetaData交換及部署能力成為當今大數(shù)據(jù)驅動的智能交通系統(tǒng)研究的重點。面對海量交通數(shù)據(jù)，如何存儲、管理、處理和應用MetaData是十分關鍵的問題。本文提出的交通大數(shù)據(jù)MetaData交換系統(tǒng)（Traffic Big Data Metadata Exchange System，TBMES）實現(xiàn)分布式交通信息交換與互訪。該構架通過實時交通數(shù)據(jù)與交通信息大數(shù)據(jù)平臺實時對接，讓交通信息傳遞具有連續(xù)性、真實性；宏觀交通數(shù)據(jù)和微觀交通數(shù)據(jù)無縫對接，既可分析路網(wǎng)交通運行態(tài)勢，又可評價重要道路節(jié)點的交通效率，全面掌握區(qū)域交通運營狀態(tài)；使得交通組織管理可視化、可量化、系統(tǒng)化、自動化；系統(tǒng)的輸出結果，可為決策者提供決策的理論支持，促進交通決策科學化。

e交通學；交通大數(shù)據(jù)；MetaData

0 引言

汽車行業(yè)高速發(fā)展加快智慧城市的進程，也帶來了交通事故與交通擁堵等嚴重的社會問題。日益嚴重的交通擁堵引起的環(huán)境污染、事故頻發(fā)和經(jīng)濟損失不可估量?；趀交通學的交通大數(shù)據(jù)系統(tǒng)的出現(xiàn)與建設有助于改善或解決這些問題。基于e交通學的交通大數(shù)據(jù)系統(tǒng)是通過構建由大型高性能計算機組成的集群系統(tǒng)來處理海量的交通數(shù)據(jù)的存儲以及計算服務，不僅所需的環(huán)境十分嚴格，而且成本高、部署周期長、維護困難；不僅如此，隨著數(shù)據(jù)量的增長，業(yè)務復雜度的增加，以及計算強度的加大，通過增加Server數(shù)量來增加其處理對海量交通數(shù)據(jù)的能力會變的十分困難，甚至需要對集群的結構進行重新的設計和部署，這不僅需要大量的人力成本和財力，而且造成了巨大的浪費。MetaData交換及部署能力成為當今大數(shù)據(jù)驅動的智能交通系統(tǒng)研究的重點。面對海量交通數(shù)據(jù)，如何存儲、管理、處理和應用MetaData是十分關鍵的問題。

交通大數(shù)據(jù)挖掘與分析系統(tǒng)建設過程需要采用MetaData進行統(tǒng)一管理[1-3]。交通MetaData是對交通信息資源的標準化規(guī)范，是數(shù)據(jù)一致和資源共享的基礎，部署到片域（Block）和各個區(qū)域級（Area），搭建成為分布式的星型互訪網(wǎng)格。其布局拓撲如圖1所示。

圖1 TBMES邏輯構架Fig.1 TBMES logical framework

本文提出的交通大數(shù)據(jù) MetaData交換系統(tǒng)(Traffic Big Data Metadata Exchange System, TBMES)實現(xiàn)分布式交通信息交換與互訪。該構架通過實時交通數(shù)據(jù)與交通信息大數(shù)據(jù)平臺實時對接，實現(xiàn)多類型的 MetaData匯聚，讓交通信息傳遞具有連續(xù)性、真實性；宏觀交通數(shù)據(jù)和微觀交通數(shù)據(jù)無縫對接，提供標準接口支撐MetaData發(fā)布與搜索服務，既可分析路網(wǎng)交通運行態(tài)勢，又可評價重要道路節(jié)點的交通效率，全面掌握區(qū)域交通運營狀態(tài)；提供交通MetaData的 catalog service與同步管理使得交通組織管理可視化、可量化、系統(tǒng)化、自動化；系統(tǒng)的輸出結果和訪問接口功能，可為決策者提供決策的理論支持，促進交通決策科學化。

1 TBMES構架

TBMES構架包含兩個子系統(tǒng)：MetaData匯聚與 catalog管理子系統(tǒng)（MD&IM）、MetaData同步子系統(tǒng)（MDS）。本系統(tǒng)的功能結構如圖2所示。

MD&IM主要提供MetaData Database的接口，并在此基礎上構成MetaData與 catalog管理的主要應用，其結構如圖3所示，是可部署于交通大數(shù)據(jù)互訪和分析處理平臺的軟件。MD&IM包括MetaData Network Gate、MetaData Server和MetaData Database等組件。MetaData Network Gate是支持TBMES的核心組件，提供Server代理、Server注冊管理、網(wǎng)格客戶管理等具體實現(xiàn)。MetaData Server主要承擔了MetaData（MetaData catalog）的發(fā)布，不同的MetaData Server通過申請和注冊，在 TBMES中融入本節(jié)點MetaData信息，同時還支持接受 WebServer對MetaData的指令，例如可以透明地訪問任一節(jié)點上的MetaData。按照MetaData統(tǒng)一標準，各MetaData利用MetaData編輯器傳到MetaData Database中。

圖2 TBMES組成結構Fig.2 TBMES composition structure

圖3 MD&IM構架Fig.3 MD&IM Structure

MDS包含MetaData交換組件和MetaData Network Gate注冊管理組件。MDS主要實現(xiàn)對各個中心節(jié)點的MetaData交換的維護，主要為Block和各個區(qū)域級中心節(jié)點的MetaData系統(tǒng)之間的交換、實現(xiàn)MetaData的全網(wǎng)同步；同時MDS還負責各級中心MetaData Network Gate以及 catalog service的發(fā)現(xiàn)與注冊。其功能組件布局如圖4所示。

圖4 MDS組件組成Fig.4 Components of MDS

2 MD&IM子系統(tǒng)構架

MD&IM 是系統(tǒng)提供互訪服務的基礎，主要完成互訪服務系統(tǒng)涉及的 MetaData匯聚、MetaData發(fā)布、MetaData交換以及MetaData使用，并對MetaData catalog進行管理與維護。MD&IM由MetaData匯聚發(fā)布、MetaData的catalog管理與 catalog service、MetaData維護等組件組成，其在各級中心都部署有MetaData Database、MetaData匯聚發(fā)布、MetaData catalog管理與 catalog service以及MetaData維護等組件。

MetaData catalog管理具有兩級結構。Block中心節(jié)點為互訪服務MetaData統(tǒng)一入口和管理中心，提供全網(wǎng)MetaData發(fā)布服務并管理各區(qū)域級節(jié)點；區(qū)域級分節(jié)點是本省交通MetaData集中管理者，不僅可以發(fā)布中心節(jié)點統(tǒng)一的MetaData，也可以向本省用戶提供自有MetaData發(fā)布服務。本子系統(tǒng)將基于商用MetaData catalog管理軟件進行二次開發(fā)，對其中的 MetaData管理、MetaData catalog管理和catalog service等功能進行定制和擴展，以符合交通MetaData標準和規(guī)范。

2.1 MetaData匯聚發(fā)布

MetaData的匯聚發(fā)布組件負責規(guī)范化和格式化的生成MetaData文件。在Block和區(qū)域級中心的本地，MetaData匯聚和發(fā)布組件根據(jù)應用 MetaData模板和預定義的匯聚規(guī)則，通過人工和自動兩種方式生成本地應用MetaData的MetaData文件，這些MetaData其中的描述部分從數(shù)據(jù)存儲管理系統(tǒng)的MetaData Database中取出，并且人工匯聚的部分必須經(jīng)過驗證和審核來發(fā)布；本地MetaData Network Gate經(jīng)由本地 MetaData提供服務獲取本地的應用MetaData文件，并經(jīng)過轉換和整理存入本地MetaData Database，最后進行 MetaData catalog發(fā)布。其主要流程圖如圖5所示。

圖5 MetaData匯聚發(fā)布組件流程圖Fig.5 Flow chart of MetaData assembly release component

該組件中的匯聚功能主要實現(xiàn)：a 可配置的用戶界面以適應交通MetaData標準；b 支持MetaData標準自定義，以適應不同部門不同領域的交通MetaData的匯聚；c MetaData文檔的檢查，支持DTD、XML、Schema等XML文檔驗證機制；d 靈活的匯聚手段，支持MetaData的手工匯聚和自動匯聚；e采用XML編碼格式，以適應數(shù)據(jù)交換；f支持在線方式的MetaData維護。

該組件的發(fā)布功能主要發(fā)布形式有：a以 Web表單形式呈現(xiàn)給用戶的HTML頁面；b 經(jīng)過XSLT轉換成用戶界面友好的HTML頁面；c MetaData的原始 XML文檔；d 經(jīng)過剪輯的（分片段的）XML文本；e 可下載的XML文件等。

該組件構架的優(yōu)點在于支持多類數(shù)據(jù)平臺與多種操作系統(tǒng)；支持對多MetaData Database的匯聚；支持MetaData的高效發(fā)布；支持對MetaData提取。

MetaData匯聚與發(fā)布組件主要分為以下三部分：MetaData編輯、MetaData文件的自動生成以及MetaData catalog的發(fā)布：（1）MetaData編輯。由MetaData匯聚界面負責MetaData的人工匯聚。MetaData編輯器向用戶提供交通信息MetaData標準信息，并允許用戶根據(jù)MetaData標準增補MetaData記錄。MD&IM提供了靈活定制的模版，使得手工錄入的MetaData經(jīng)過驗證審核后能夠自動轉換為符合 XMI規(guī)范的XML文件并導入本地MetaData Database中；（2）MetaData文件的自動生成。MetaData的自動生成，即通過特定的接口規(guī)則和MetaData規(guī)范，由計算機自動獲取相關的信息來生成MetaData；（3）MetaData catalog發(fā)布。即，catalog service系統(tǒng)根據(jù) catalog service的要求，從交通信息資源MetaData Database中導出注冊成功的交通信息資源信息，生成資源Catalog List，并導入 catalog庫中。catalog發(fā)布的 catalog數(shù)據(jù)格式采用XML。

2.2 MetaData catalog管理與catalog service

MetaData的 catalog管理負責MetaData catalog的 Create、Updata、Delete等維護操作，生成 MetaData catalog tree，基于分類編目規(guī)則進行各catalog項的著錄，給MetaData的管理和存取提供一個定義良好的 catalog結構。

MetaData catalog service通過訪問 MetaData Database的 catalog tree來實現(xiàn)數(shù)據(jù)采集和導航的功能，是數(shù)據(jù)互訪的基礎，連接著數(shù)據(jù)的提供者與使用者，提供標準的MetaData catalog檢索服務。

MetaData catalog管理與服務的流程如圖 6所示。

（1）catalog創(chuàng)建。在建立MetaData catalog庫之前，根據(jù)交通信息的分類體系（通過XML記錄），完整定義交通信息分類信息，以及每個分類所具有的特征。catalog service組件根據(jù)資源分類索引和catalog條目格式要求，自動篩選MetaData Database中的記錄，把符合特征的 MetaData歸并到相應的catalog中，形成MetaData catalog。

圖6 Metadata catalog service體系結構Fig.6 Metadata catalog service architecture

（2）catalog更新。catalog service組件提供了維護catalog系統(tǒng)的功能，具體包括維護 catalog結構樹和 catalog條目信息。當需要修改和更新資源條目信息時，catalog service支持后臺管理員操作。

（3）catalog刪除。為了維護系統(tǒng)的一致性，當刪除某個MetaData時，在catalog tree中的相應信息也被刪除。

（4）catalog檢索。MetaData全文查詢支持模糊檢索、區(qū)域檢索、組合檢索、相關短語檢索。并為用戶提供數(shù)據(jù)/數(shù)據(jù)產品的檢索入口。

（5）MetaData訪問接口。實現(xiàn)對 MetaData catalog管理和 catalog service提供標準的訪問接口。本組件也將基于商用MetaData catalog管理軟件進行二次開發(fā)，對其提供的 catalog管理和 catalog訪問接口進行再次封裝，滿足交通MetaData catalog管理和訪問的需求。

2.3 MetaData的維護

（1）MetaData的導入導出。為了保證數(shù)據(jù)傳輸?shù)目煽啃裕瑫r減少不必要的重復，大批量MetaData操作的時候主要通過專門的 MetaData導入導出組件來錄入和導出MetaData。若批量MetaData（XML文件）符合規(guī)范，并通過審核，就可以將其導入到指定的MetaData Database當中。也可以將MetaData Database中的MetaData記錄導出成XML文件。

（2）MetaData的格式轉換。MetaData格式轉換支持各種MetaData標準，以及從XML格式文本到RDBMS關系表、層次性 catalog數(shù)據(jù)庫的相互轉換。其中將會采用XSLT和ORM等標準和技術進行轉換操作。

（3）MetaData的數(shù)據(jù)庫配置管理。可管理多個待發(fā)布的MetaData Database，提供包括MetaData Database地址信息配置等多項功能。

（4）離線維護。提供數(shù)據(jù)庫熱備份，避免在組件故障的情況下對數(shù)據(jù)庫的影響。

3 MDS

（1）各級中心間的MetaData交換與裁剪。各級中心節(jié)點間的 MetaData交換過程按照 PULL和PUSH兩種模式進行。PULL模式提供一般交通信息資料的MetaData同步服務，時效性較弱；而PUSH模式則為實時性較強的交通資料，如交通、天氣預警等提供時效性更強的MetaData同步服務。

PULL模式：當Block中心節(jié)點的MetaData Network Gate向區(qū)域級中心的MetaData Network Gate發(fā)起數(shù)據(jù)收割請求，區(qū)域級中心節(jié)點Network Gate從本地MetaData catalog庫中抽取更新的MetaData catalog項發(fā)給 Block中心 MetaData Network Gate，Block中心接受這些 catalog項，收集整理存入Block中心MetaData catalog；當區(qū)域級中心節(jié)點MetaData Network Gate向Block中心節(jié)點MetaData Network Gate發(fā)起MetaData匯聚請求時，Block中心節(jié)點 Network Gate從本地 MetaData catalog中抽取更新的 MetaData catalog項發(fā)送給區(qū)域級中心MetaData Network Gate，區(qū)域級中心節(jié)點 MetaData Network Gate獲得上述catalog項后將其存入本地MetaData catalog。

PUSH模式：當本地MetaData文件有更新時，國家或區(qū)域級中心節(jié)點將更新的 MetaData文件以消息的形式PUSH至本地MetaData Network Gate，Network Gate對消息進行驗證后存入本地MetaData catalog，同時將消息PUSH至所有鄰近節(jié)點的MetaData Network Gate，同理運行，直到全體節(jié)點收到PUSH的MetaData更新消息，并存入本地的MetaData catalog。

其具體流程圖可見圖7。

圖7 MetaData交換與裁剪流程圖Fig.7 MetaData exchange and clipping flow chart

（2）各類服務注冊、服務發(fā)現(xiàn)。MetaData Network Gate注冊管理組件負責對 catalog service和Network Gate進行管理，實現(xiàn)服務注冊、服務發(fā)布、服務發(fā)現(xiàn)。完成對MetaData catalog service以及 Network Gate服務的分布式管理。

4 結束語

基于e交通學的交通大數(shù)據(jù)系統(tǒng)是通過構建由大型高性能計算機組成的集群系統(tǒng)來處理海量的交通數(shù)據(jù)的存儲以及計算服務，不僅所需的環(huán)境十分嚴格，而且成本高、部署周期長、維護困難；不僅如此，隨著數(shù)據(jù)量的增長，業(yè)務復雜度的增加，以及計算強度的加大，通過增加Server數(shù)量來增加其處理對海量交通數(shù)據(jù)的能力會變的十分困難，甚至需要對集群的結構進行重新的設計和部署，這不僅需要大量的人力成本和財力，而且造成了巨大的浪費。MetaData交換及部署能力成為當今大數(shù)據(jù)驅動的智能交通系統(tǒng)研究的重點。面對海量交通數(shù)據(jù)，如何存儲、管理、處理和應用MetaData是十分關鍵的問題。本文提出的 TBME部署到 Block和各個Area，形成一個分布式互訪交換網(wǎng)格，實現(xiàn)交通大數(shù)據(jù)統(tǒng)一管理和互訪策略管理。該構架通過實時交通數(shù)據(jù)與交通信息大數(shù)據(jù)平臺實時對接，讓交通信息傳遞具有連續(xù)性、真實性；宏觀交通數(shù)據(jù)和微觀交通數(shù)據(jù)無縫對接，既可分析路網(wǎng)交通運行態(tài)勢，又可評價重要道路節(jié)點的交通效率，全面掌握區(qū)域交通運營狀態(tài)；使得交通組織管理可視化、可量化、系統(tǒng)化、自動化；系統(tǒng)的輸出結果，可為決策者提供決策的理論支持，促進交通決策科學化。

[1] LIU Lixia, LING Ren, BEI Xiaomeng, GUO Rongwei, et al.coexistence of synchronization and anti-synchronization of a novel hyperchaotic finance system[C]. IEEE Proceeding of the 34thChinese Control conference, Hangzhou, 2015: 8585- 8589.

[2] 楊淙鈞, 艾中良, 劉忠麟, 等. 基于多級列式索引的海量數(shù)據(jù)高效查詢設計[J]. 軟件, 2016 37(3): 79-83

[3] Luis M L, Sara F, Clara G. Complete synchronization and delayed synchronization in couplings [J]. Nonlinear Dynamics.2015, 79(02): 1615-161624.

[4] 鄒積凱. 公安系統(tǒng)應急平臺建設及資源應用研究[J]. 軟件,2016, 37(4): 122-125.

[5] GUO Peilin, WANG Yuzhen. Matrix expression and vaccination control for epidemic dynamics over dynamic networks[J]. Control Theory and Technology, 2016, 14(1): 39-48.

[6] 李沛然, 蘇衛(wèi)東, 段振華等. 國家電網(wǎng)運營診斷關鍵技術研究與實證分析[J]. 軟件, 2016, 37(1): 127-131.

[7] Li QM. Multiple QoS Constraints Finding Paths Algorithm in TMN. INFORMATION. 2011, 14(3): 731-737.

[8] Li QM, Zhang H. Information Security Risk Assessment Technology of Cyberspace: a Review. INFORMATION. 2012, 15(11): 677-683.

[9] Li QM, Li J. Rough Outlier Detection Based Security Risk Analysis Methodology. CHINA COMMUNICATIONS. 2012,9(7): 14-21.

[10] Li, QM; Hou, J; Qi, Y; Zhang, H. The Rule Engineer Model on the high-speed processing of Disaster Warning Information.DISASTER ADVANCES. 2012, 5(4): 1196-1201.

[11] Qianmu Li *, Tao Li, Bin Xia. FIRST: Face Identity Recognition in SmarT Bank. International Journal of Semantic Computing. 2016, 31(2): 1-24，

[12] Jing Zhang, Qianmu Li, & Wei Zhou. HDCache: A Distributed Cache System for Real-Time Cloud Services. Journal of Grid Computing, 2016, 14(3): 407–428.

A Framework of Traffic Big Data Metadata Exchange System Based on e Traffic Theory

QI Yong, LI Qian-mu
(School of Computer science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

Traffic data of e traffic based on traffic data by constructing a cluster system composed of large high performance computer to handle the mass storage and computing services, not only the environment is very strict,but also high cost, long period and difficult maintenance deployment; not only that, with the growth of data quantity,complex business the increase of the degree of increase and the strength calculation, by increasing the number of servers to increase its ability to deal with the massive traffic data will become very difficult, or even need to cluster structure design and deploy again, which not only requires a lot of manpower and financial costs, but also caused a huge waste. Metadata exchange and deployment capability has become the focus of the research on large data driven intelligent transportation system. In the face of mass traffic data, how to store, manage, process and apply metadata is a key problem. The metadata exchange system proposed in this paper realizes the unified management and sharing strategy management of large traffic data. It is deployed to the chip level and each regional center to form a distributed shared Exchange network. The frame through the real-time traffic data and traffic information platform for real-time data docking, let the traffic information transmission is continuous, authenticity; macroscopic traffic data and microscopic traffic data seamlessly, which can analysis traffic network situation, and evaluation of road node traffic efficiency, grasp the regional transportation performance comprehensively; the traffic organization management visualization, quantitative, systematic and automation; output of the system, can provide decision support for the theory of decision makers, to promote traffic scientific decision-making.

: e Traffic theory; Traffic big data; Metadata

TP391

A

10.3969/j.issn.1003-6970.2017.10.001

本文著錄格式：戚湧，李千目. 基于e交通學的交通大數(shù)據(jù)MetaData交換構架[J]. 軟件，2017，38（10）：01-06

國家重點研發(fā)計劃政府間國際科技創(chuàng)新合作重點專項(S2016G9070)；江蘇省重大研發(fā)計劃社會發(fā)展項目(BE2017739)

戚湧(1970-)，教授，研究方向：交通大數(shù)據(jù)；李千目(1979-)，教授，研究方向：數(shù)據(jù)挖掘。