王波,李時(shí)輝,朱萍

公路智能交通云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

王波,李時(shí)輝,朱萍

義烏工商職業(yè)技術(shù)學(xué)院, 浙江 義烏 322000

鑒于公路交通數(shù)據(jù)及應(yīng)用的分散、獨(dú)立與割裂，本文提出設(shè)施連通、數(shù)據(jù)互通、信息暢通以及人、車(chē)、路協(xié)同的基本思想，給出基于線(xiàn)性規(guī)劃NP求最優(yōu)解的大規(guī)模資源調(diào)度算法、Hadoop與Spark相整合的大數(shù)據(jù)融合架構(gòu)和OpenStack、Magnum、Docker相集成的應(yīng)用部署框架。經(jīng)驗(yàn)證，該設(shè)計(jì)能成功實(shí)現(xiàn)公路交通基礎(chǔ)設(shè)施資源融合、數(shù)據(jù)融合和應(yīng)用融合，有效破解公路交通所面臨的現(xiàn)實(shí)困境。

公路; 智能交通; 云計(jì)算

隨著經(jīng)濟(jì)社會(huì)的高速發(fā)展，我國(guó)機(jī)動(dòng)車(chē)保有量、駕駛?cè)藬?shù)量和道路交通流量持續(xù)增長(zhǎng)，人們對(duì)道路交通快速、舒適、安全的出行需求與日俱增，這與當(dāng)前道路交通擁堵、事故頻發(fā)、應(yīng)急預(yù)警遲緩等現(xiàn)狀存在突出矛盾。究其根源，我國(guó)的道路交通存在區(qū)域跨度大和管理層級(jí)多等現(xiàn)象，客觀(guān)上造成了交通數(shù)據(jù)及應(yīng)用的分散、獨(dú)立與割裂，從而缺乏對(duì)交通數(shù)據(jù)進(jìn)行及時(shí)有效的處理，對(duì)交通信息進(jìn)行全面深度的融合與應(yīng)用，以及對(duì)交通事件進(jìn)行科學(xué)智能的分析、預(yù)警與響應(yīng)[1-3]。因此，如何借助云計(jì)算和大數(shù)據(jù)等新興技術(shù)優(yōu)勢(shì)，推動(dòng)公路交通的基礎(chǔ)設(shè)施資源融合、數(shù)據(jù)融合和應(yīng)用融合[4,5]，實(shí)現(xiàn)更經(jīng)濟(jì)的資金投入、更實(shí)時(shí)的線(xiàn)路誘導(dǎo)、更精準(zhǔn)的事故預(yù)警、更科學(xué)的指揮決策、更敏捷的應(yīng)急響應(yīng)，構(gòu)建現(xiàn)代、綜合、高效的公路智能交通云平臺(tái)，是當(dāng)前道路交管部門(mén)亟待解決的重要課題[1,6]。

1 平臺(tái)設(shè)計(jì)

1.1 功能設(shè)計(jì)

為提高公路交通運(yùn)行效率和安全保障，減少道路擁堵、交通違紀(jì)及事故的發(fā)生，降低交通能源消耗和環(huán)境污染，根本上是要實(shí)現(xiàn)公路交通基礎(chǔ)設(shè)施的連通、數(shù)據(jù)的互通以及信息的暢通，并在此基礎(chǔ)上實(shí)現(xiàn)人、車(chē)、路之間實(shí)時(shí)的信息共享和高效的協(xié)同合作。根據(jù)上述功能要求，平臺(tái)的總體功能架構(gòu)可設(shè)計(jì)為四個(gè)層次，由里外往外依次為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、信息層、應(yīng)用層（見(jiàn)圖1）。其中，基礎(chǔ)設(shè)施層主要依托物聯(lián)網(wǎng)和現(xiàn)代網(wǎng)絡(luò)通信技術(shù)，實(shí)現(xiàn)道路、收費(fèi)站、服務(wù)區(qū)、卡口、車(chē)輛、監(jiān)控/監(jiān)測(cè)設(shè)備等公路交通基礎(chǔ)設(shè)施的感知與互聯(lián)；數(shù)據(jù)層主要運(yùn)用云計(jì)算和大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)基于路況、車(chē)況、天氣氣象、地理位置、交通事故等多主體、多維度異構(gòu)海量數(shù)據(jù)的匯集與流通；信息層主要利用數(shù)據(jù)挖掘、人工智能、圖像識(shí)別和位置定位等技術(shù)，實(shí)現(xiàn)分類(lèi)預(yù)警、通行態(tài)勢(shì)、違紀(jì)違章、行車(chē)誘導(dǎo)等信息的集成與共享；應(yīng)用層主要依靠技術(shù)整合和機(jī)制創(chuàng)新，實(shí)現(xiàn)公路交通的決策、預(yù)警、響應(yīng)、指揮及調(diào)度的敏捷化、智能化和一體化協(xié)同。

圖 1 公路智能交通云平臺(tái)總體功能架構(gòu)

1.2 系統(tǒng)設(shè)計(jì)

平臺(tái)設(shè)計(jì)的核心思想是融合，表現(xiàn)為公路交通的基礎(chǔ)設(shè)施資源融合、數(shù)據(jù)融合以及應(yīng)用平臺(tái)融合[4]。具體來(lái)看，基礎(chǔ)設(shè)施資源融合引入云操作系統(tǒng)技術(shù)，通過(guò)分布式資源聚合、虛擬化隔離和異構(gòu)資源適配等方式，將公路交通現(xiàn)有孤立、分散、異構(gòu)的IT基礎(chǔ)設(shè)施硬件進(jìn)行統(tǒng)一虛擬化與池化，建成面向公路智能交通統(tǒng)一的邏輯基礎(chǔ)設(shè)施資源池，面向用戶(hù)提供標(biāo)準(zhǔn)化與自動(dòng)化彈性、按需、敏捷的基礎(chǔ)設(shè)施服務(wù)。數(shù)據(jù)融合引入大數(shù)據(jù)引擎構(gòu)件，通過(guò)ETL數(shù)據(jù)抽取和匯總機(jī)制，將公路交通海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一匯聚與存儲(chǔ)；基于并行計(jì)算、分布式數(shù)據(jù)庫(kù)、大數(shù)據(jù)挖掘與分析、深度學(xué)習(xí)等技術(shù)，實(shí)時(shí)對(duì)公路交通運(yùn)行狀況進(jìn)行多維度評(píng)估與決策，為預(yù)防交通事故發(fā)生提前預(yù)警，為交通應(yīng)急與指揮調(diào)度提供可靠支撐。應(yīng)用平臺(tái)融合引入云原生應(yīng)用的開(kāi)發(fā)理念，基于OpenStack、Hadoop、Docker及Spring等開(kāi)源工具、技術(shù)和框架，支持面向DevOps的敏捷開(kāi)發(fā)和分布式水平擴(kuò)展，有助于促進(jìn)平臺(tái)敏捷迭代和持續(xù)集成。

2 關(guān)鍵技術(shù)分析

2.1 大規(guī)模資源調(diào)度

在公路交通分布式數(shù)據(jù)中心情況下，為滿(mǎn)足用戶(hù)彈性、按需、敏捷的資源服務(wù)需求，平臺(tái)需具備大規(guī)模資源調(diào)度能力，即是要實(shí)現(xiàn)將虛擬機(jī)實(shí)例或虛擬機(jī)集群映射到計(jì)算資源池內(nèi)最合適的物理機(jī)或者物理機(jī)集群，并在存儲(chǔ)資源池中為虛擬機(jī)實(shí)例或虛擬機(jī)集群快速匹配適切的物理存儲(chǔ)。據(jù)此推演，公路交通的大規(guī)模資源調(diào)度問(wèn)題，可規(guī)劃為一個(gè)線(xiàn)性規(guī)劃NP求最優(yōu)解的問(wèn)題，其約束條件及目標(biāo)函數(shù)均可按需進(jìn)行策略配置。公路交通大規(guī)模資源調(diào)度的近似最優(yōu)解算法可表示為式（1），整個(gè)系統(tǒng)的求解可視為值取最小值的過(guò)程，通?？梢罁?jù)式（2）所示條件來(lái)獲得系統(tǒng)的最優(yōu)解[4]。

2.2 大數(shù)據(jù)融合處理

大數(shù)據(jù)融合處理的實(shí)現(xiàn)基于Hadoop與Spark整合框架，主要由大數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)引擎等部件組成（見(jiàn)圖2）。其中，大數(shù)據(jù)采集基于Sqoop數(shù)據(jù)交換和Flume日志收集等核心組件實(shí)現(xiàn)，為公路交通實(shí)時(shí)、海量的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)采集提供支持。大數(shù)據(jù)存儲(chǔ)基于Hadoop大數(shù)據(jù)框架HDFS和HBase的集群實(shí)現(xiàn)，為公路交通超大規(guī)模的數(shù)據(jù)存儲(chǔ)和高容錯(cuò)、高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)提供支持。大數(shù)據(jù)倉(cāng)庫(kù)基于Hadoop的HIVE數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)實(shí)現(xiàn)，對(duì)公路交通大數(shù)據(jù)批處理查詢(xún)和分析提供支持，由Driver負(fù)責(zé)HQL的編譯、優(yōu)化與執(zhí)行，Metastore負(fù)責(zé)Hive元數(shù)據(jù)信息的存儲(chǔ)[7]；大數(shù)據(jù)引擎基于Spark框架和YARN集群實(shí)現(xiàn)，對(duì)公路交通狀況的科學(xué)評(píng)估、公路交通管理的智能決策、公路交通事故的應(yīng)急預(yù)警以及突發(fā)事件的指揮調(diào)度等提供支持；YARN為Spark應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，而Spark則為公路交通實(shí)時(shí)海量的關(guān)聯(lián)數(shù)據(jù)操作（Spark SQL）、大數(shù)據(jù)挖掘與分析（Spark MLlib）、流式計(jì)算（Spark Streaming）、并行圖計(jì)算（GraphX）以及分布式協(xié)同處理（Zookeeper）提供計(jì)算框架與處理引擎。

圖 2 公路智能交通云平臺(tái)大數(shù)據(jù)融合處理架構(gòu)

2.3 敏捷化集成部署

面對(duì)應(yīng)用輕量化、高性能、跨平臺(tái)及細(xì)粒度發(fā)展需求，公路智能交通平臺(tái)基于OpenStack云計(jì)算基礎(chǔ)框架，引入Docker容器技術(shù)，運(yùn)用Swarm架構(gòu)為Docker提供集群服務(wù)，并使用Magnum來(lái)部署管理Swarm容器集群，進(jìn)而更好地促進(jìn)OpenStack和Docker集成，實(shí)現(xiàn)敏捷化的應(yīng)用部署，為用戶(hù)提供彈性、按需的PaaS服務(wù)（圖3）。該架構(gòu)具體實(shí)現(xiàn)流程如下：（1）用戶(hù)通過(guò)magnum client端發(fā)出請(qǐng)求，magnum-api接收用戶(hù)請(qǐng)求，調(diào)用api.py、app.py完成消息解析，將該消息通過(guò)RPC消息隊(duì)列轉(zhuǎn)發(fā)到magnum-conductor；（2）magnum-conductor調(diào)用ca_conductor.py、cluster_conductor.py、conductor_listener.py或indirection_api.py進(jìn)行相關(guān)處理；（3）swarm-manger調(diào)用scheduler模塊選擇出最優(yōu)節(jié)點(diǎn)swarm-node，并通過(guò)discovery service模塊發(fā)現(xiàn)節(jié)點(diǎn)docker daemon；（4）docker server接受、調(diào)度并分發(fā)docker client發(fā)送的請(qǐng)求，由Docker運(yùn)行引擎engine通過(guò)執(zhí)行job的方式來(lái)處理每項(xiàng)任務(wù)，調(diào)用libcontainer來(lái)操縱容器的namespace、cgroups、apparmor等，按照用戶(hù)的需求和指令訂制docker container。

圖 3 基于“OpenStack+Magnum+Docker”集成應(yīng)用部署架構(gòu)

3 應(yīng)用實(shí)例

根據(jù)上述設(shè)計(jì)與關(guān)鍵技術(shù)分析，該平臺(tái)以某市公路交通智能化建設(shè)為例，配置云計(jì)算服務(wù)器4臺(tái)和云主控服務(wù)器1臺(tái)等，基于Ubuntu 20.04 LTS云應(yīng)用開(kāi)發(fā)系統(tǒng)環(huán)境，以及OpenStack 0.46.0+Magnum 10.0.0+Docker 18.09云應(yīng)用集成部署框架和Hadoop 3.2.1+Spark 3.0.0大數(shù)據(jù)融合平臺(tái)（詳見(jiàn)下表），成功研發(fā)了公路智能交通云平臺(tái)。從該實(shí)例的測(cè)試來(lái)看，平臺(tái)對(duì)行車(chē)速度、通行流量、交通違法、交通事故及交通氣象等海量交通數(shù)據(jù)實(shí)現(xiàn)了實(shí)時(shí)采集與存儲(chǔ)，對(duì)違法取證、事故識(shí)別、事件預(yù)警、應(yīng)急響應(yīng)和指揮調(diào)度等交通控制管理提供了大數(shù)據(jù)分析與科學(xué)決策支撐，對(duì)行車(chē)誘導(dǎo)、交通預(yù)警、運(yùn)行態(tài)勢(shì)、違法通告等交通服務(wù)信息進(jìn)行了綜合集成與個(gè)性推送；確保了公路交通的設(shè)施連通、數(shù)據(jù)互通與信息暢通，實(shí)現(xiàn)了人、車(chē)、路之間信息共享和高效協(xié)同，進(jìn)而為化解當(dāng)前公路交通困境、提升運(yùn)行效率提供了有力保證。

表 1 軟硬件配置信息

4 結(jié)論與展望

基于設(shè)施連通、數(shù)據(jù)互通、信息暢通以及人、車(chē)、路高效協(xié)同的基本思想，該平臺(tái)系統(tǒng)提出了一種基于線(xiàn)性規(guī)劃NP求最優(yōu)解的大規(guī)模資源調(diào)度算法，Hadoop與Spark相整合的大數(shù)據(jù)融合處理架構(gòu)，以及OpenStack、Magnum與Docker相集成的應(yīng)用部署框架。經(jīng)實(shí)例檢驗(yàn)，基于上述設(shè)計(jì)構(gòu)建的云平臺(tái)，能成功地實(shí)現(xiàn)公路交通基礎(chǔ)設(shè)施資源融合、數(shù)據(jù)融合和應(yīng)用平臺(tái)融合，可有效緩解公路交通擁堵、事件事故頻發(fā)、應(yīng)急指揮遲緩等突出矛盾，并為加速構(gòu)建快速、舒適、安全的現(xiàn)代公路交通服務(wù)體系提供了切實(shí)保障。

[1] 姚宏宇.基于云計(jì)算架構(gòu)的交通智能化信息平臺(tái)[J].信息技術(shù)與標(biāo)準(zhǔn)化,2014(10):20-23

[2] Yang XH, Wang B, Chen SY,. Epidemic dynamics behavior in some bus transport networks [J]. Physica A, 2012,391(3):917-924

[3] Wang Bo, Yang XH. A transfer method of public transport network based on adjacency matrix multiplication searching algorithm [J]. WSEAS Transactions on Circuits and Systems, 2011,10(3):104-113

[4] 顧炯炯.云計(jì)算架構(gòu)技術(shù)與實(shí)踐[M].第2版.北京:清華大學(xué)出版社,2019:67-68

[5] 王波,柯紅紅,蔣天發(fā).基于復(fù)雜網(wǎng)絡(luò)理論的杭州公交網(wǎng)絡(luò)建模與特性分析[J].武漢大學(xué)學(xué)報(bào)(工學(xué)版),2011,44(3):404-408

[6] 倪琴,許麗.云計(jì)算技術(shù)在智能交通系統(tǒng)中的應(yīng)用研究[J].交通與運(yùn)輸(學(xué)術(shù)版),2012(1):106-109

[7] Grover M, Malaska T, Seidman J,.郭文超,譯.Hadoop應(yīng)用架構(gòu)[M].北京:人民郵電出版社,2017

Design and Implementation of Highway Intelligent Transportation Cloud Platform

WANG Bo, LI Shi-hui, ZHU Ping

322000,

In view of the dispersion, independence and separation of highway traffic data and applications, the basic ideas of facility connection, data interchange, information unimpeded, and human vehicle road cooperation are proposed. The large-scale resource scheduling algorithm based on linear programming NP to find the optimal solution, the big data fusion architecture integrated by Hadoop and Spark, and the application deployment framework integrated by Openstack, Magnum and Docker are given. It is proved that the design can successfully achieve the integration of road traffic infrastructure resources, data and applications, and effectively solve the practical difficulties faced by road traffic.

Highway; intelligent transportation; cloud platform

U491.1+3

A

1000-2324(2020)03-0503-04

10.3969/j.issn.1000-2324.2020.03.022

2019-08-28

2019-10-17

浙江省哲學(xué)社會(huì)科學(xué)規(guī)劃課題(20NDJC230YB)

王波(1982-),男,博士,副教授,主要研究方向?yàn)樽詣?dòng)化、計(jì)算機(jī)技術(shù). E-mail:wangbo@ywicc.edu.cn