陳 麗，王 銳

（1.廣東交通職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程學(xué)院，廣東 廣州 510650；2.中國(guó)移動(dòng)通信集團(tuán) 廣東有限公司，廣東 廣州 510623）

基于Spark Streaming流技術(shù)的機(jī)動(dòng)車緝查布控系統(tǒng)設(shè)計(jì)

陳 麗1，王 銳2

（1.廣東交通職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程學(xué)院，廣東 廣州 510650；2.中國(guó)移動(dòng)通信集團(tuán) 廣東有限公司，廣東 廣州 510623）

機(jī)動(dòng)車緝查布控系統(tǒng)以治安交通卡口系統(tǒng)為基礎(chǔ)，將公路運(yùn)行車輛的構(gòu)成、流量分布、違章情況等信息進(jìn)行匯總，實(shí)現(xiàn)對(duì)車輛軌跡的查詢分析，從而為交通規(guī)劃、管理和案件偵破等提供有效決策。由于機(jī)動(dòng)車的數(shù)量增長(zhǎng)迅猛，且機(jī)動(dòng)車違規(guī)違章具有流動(dòng)性、偶發(fā)性的特點(diǎn)，造成卡口系統(tǒng)錄入的數(shù)據(jù)量巨大，傳統(tǒng)的機(jī)動(dòng)車緝查布控技術(shù)只能在預(yù)設(shè)條件下對(duì)數(shù)據(jù)進(jìn)行查詢，不能實(shí)現(xiàn)快速地實(shí)時(shí)分析查詢。通過(guò)采用Spark Streaming技術(shù)進(jìn)行大數(shù)據(jù)實(shí)時(shí)處理，實(shí)現(xiàn)實(shí)時(shí)顯示和告警機(jī)動(dòng)車違規(guī)違章活動(dòng)熱點(diǎn)，分析和預(yù)測(cè)機(jī)動(dòng)車活動(dòng)軌跡。

機(jī)動(dòng)車緝查布控系統(tǒng)；交通管理；Spark Streaming；流數(shù)據(jù)處理

為進(jìn)一步推進(jìn)公路交通安全管理科技建設(shè)，提升動(dòng)態(tài)化﹑信息化條件下的公路交通安全管控水平，2013年公安部交管局在全國(guó)組織推廣了機(jī)動(dòng)車緝查布控系統(tǒng)聯(lián)網(wǎng)，2014年以來(lái)，各地公安交管部門(mén)加大了機(jī)動(dòng)車緝查布控系統(tǒng)（以下簡(jiǎn)稱緝查布控系統(tǒng)）的建設(shè)力度，緝查布控系統(tǒng)建設(shè)取得了很大進(jìn)展［1］。但隨著全國(guó)的機(jī)動(dòng)車數(shù)量高速增長(zhǎng)，以及公路建設(shè)的發(fā)展，機(jī)動(dòng)車的流動(dòng)性也大大增強(qiáng)，造成當(dāng)前各省市部署的緝查布控系統(tǒng)積聚了海量的過(guò)車數(shù)據(jù)等信息［2］。由于數(shù)據(jù)量過(guò)大，大多數(shù)交管部門(mén)采用離線分析進(jìn)行分析型監(jiān)控，也就是將一個(gè)周期內(nèi)（比如一天內(nèi)）全部的過(guò)車數(shù)據(jù)都存儲(chǔ)起來(lái)后再對(duì)整個(gè)數(shù)據(jù)集進(jìn)行計(jì)算。這種處理方式顯然延時(shí)過(guò)高，監(jiān)控系統(tǒng)在特殊狀況發(fā)生很久以后才能將結(jié)果報(bào)告給交警。由于無(wú)法及時(shí)準(zhǔn)確的提供有效可靠的機(jī)動(dòng)車違規(guī)違章信息給公安部門(mén)，刑偵抓捕工作由此變得異常艱難。此外，分析型監(jiān)控任務(wù)具有時(shí)效性，例如黑名單車輛通過(guò)某個(gè)卡口時(shí)，需要系統(tǒng)立刻捕捉到這一行為并通知卡口附近的交警前往攔截；另外，道路流量統(tǒng)計(jì)的目的之一是通知交警在交通流量過(guò)大時(shí)前去疏導(dǎo)。離線分析的高延時(shí)使得交警無(wú)法對(duì)這些狀況進(jìn)行及時(shí)響應(yīng)［3］。因此，急需一種新型﹑快速的分析工具，能夠?qū)崟r(shí)地處理機(jī)動(dòng)車緝查布控的相關(guān)信息。

本文提出一種基于Spark Streaming流技術(shù)的機(jī)動(dòng)車緝查布控系統(tǒng)設(shè)計(jì)，將機(jī)動(dòng)車位置事件數(shù)據(jù)和Spark Streaming流處理技術(shù)結(jié)合，先從海量數(shù)據(jù)中篩選機(jī)動(dòng)車違規(guī)違章等關(guān)鍵信息，然后在時(shí)間﹑空間上進(jìn)行多維分析，實(shí)現(xiàn)準(zhǔn)確實(shí)時(shí)地顯示和告警機(jī)動(dòng)車違規(guī)違章活動(dòng)熱點(diǎn)﹑以及分析機(jī)動(dòng)車違規(guī)違章活動(dòng)的軌跡趨勢(shì)，預(yù)測(cè)下一個(gè)犯罪活動(dòng)區(qū)域，成為機(jī)動(dòng)車緝查布控的利器。整個(gè)系統(tǒng)處理過(guò)程中沒(méi)有大量數(shù)據(jù)計(jì)算延遲，保證整個(gè)數(shù)據(jù)處理鏈在極低的延遲內(nèi)完成，從而保證對(duì)某省所屬所有機(jī)動(dòng)車進(jìn)行實(shí)時(shí)監(jiān)控。

1 系統(tǒng)業(yè)務(wù)流程分析

在一個(gè)分布式存儲(chǔ)﹑計(jì)算集群上建立系統(tǒng)，能對(duì)數(shù)據(jù)流進(jìn)行快速緝查布控。其基本業(yè)務(wù)流程為：分布式消息隊(duì)列接收實(shí)時(shí)數(shù)據(jù)，Spark Streaming流處理引擎按時(shí)間切片獲取消息隊(duì)列數(shù)據(jù)，時(shí)間窗口不斷向前滑動(dòng)，基于規(guī)則模型庫(kù)對(duì)時(shí)間窗口內(nèi)數(shù)據(jù)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)分析，發(fā)現(xiàn)異常進(jìn)行實(shí)時(shí)告警，并將記錄寫(xiě)入大數(shù)據(jù)分析平臺(tái)；同時(shí)，大數(shù)據(jù)分析引擎對(duì)流處理結(jié)果進(jìn)行快速檢索，提高機(jī)動(dòng)車緝查布控的準(zhǔn)確性［4］。系統(tǒng)的業(yè)務(wù)流程如圖1所示。

圖1 機(jī)動(dòng)車緝查布控系統(tǒng)業(yè)務(wù)流程

從圖1中可看出，設(shè)計(jì)的緝查布控系統(tǒng)由數(shù)據(jù)采集﹑預(yù)警中心的識(shí)別﹑預(yù)警信息的分發(fā)等環(huán)節(jié)組成，通過(guò)流處理技術(shù)保證對(duì)數(shù)據(jù)的實(shí)時(shí)處理［5］，通過(guò)多樣的預(yù)警告知手段提供有效的預(yù)警通知。具體步驟包括：

1）分布式消息隊(duì)列接收卡口過(guò)車數(shù)據(jù)；

2）實(shí)時(shí)流處理引擎（Spark Streaming）按照200 ms時(shí)間切片不斷獲取消息隊(duì)列中卡口過(guò)車數(shù)據(jù)，充當(dāng)分布式消息隊(duì)列的消費(fèi)者角色，對(duì)卡口過(guò)車數(shù)據(jù)進(jìn)行實(shí)時(shí)比對(duì)與分析［6］；

3）利用流處理實(shí)時(shí)分析結(jié)果，與離線數(shù)據(jù)分析系統(tǒng)相結(jié)合，進(jìn)行多維度分析，統(tǒng)計(jì)機(jī)動(dòng)車違規(guī)違章出現(xiàn)的規(guī)律［7］；

4）根據(jù)多維分析結(jié)果，反向進(jìn)一步完善規(guī)則模型庫(kù)，不斷修正調(diào)整規(guī)則庫(kù)中閾值參數(shù)，增加新的緝查布控業(yè)務(wù)邏輯，保證緝查布控的準(zhǔn)確性。

2 系統(tǒng)的主要功能

當(dāng)前機(jī)動(dòng)車緝查布控系統(tǒng)的中心功能主要指數(shù)據(jù)傳輸存儲(chǔ)到分布式文件系統(tǒng)后，針對(duì)具體業(yè)務(wù)應(yīng)用進(jìn)行統(tǒng)計(jì)和挖掘分析。主要業(yè)務(wù)有：

1）布控管理及報(bào)警功能。平臺(tái)具有設(shè)置車輛布控報(bào)警功能，并且能自動(dòng)與全國(guó)被盜搶數(shù)據(jù)庫(kù)及用戶要求的其他數(shù)據(jù)庫(kù)接口進(jìn)行對(duì)接，實(shí)現(xiàn)布控車輛的報(bào)警信息處理，同時(shí)可根據(jù)用戶不同的功能需求進(jìn)行報(bào)警設(shè)置。

2）交通事件檢測(cè)。系統(tǒng)能對(duì)車輛經(jīng)過(guò)情況進(jìn)行數(shù)據(jù)分析，例如對(duì)路段堵塞﹑車流量異常減少/增多﹑不同區(qū)域不同車輛不應(yīng)出現(xiàn)的同號(hào)牌車輛等情況進(jìn)行提示報(bào)警（套牌車輛識(shí)別）等檢測(cè)分析。

3）交通流統(tǒng)計(jì)分析功能。能夠按車道進(jìn)行流量統(tǒng)計(jì)，按行駛方向進(jìn)行流量統(tǒng)計(jì)﹑車速統(tǒng)計(jì)，實(shí)現(xiàn)統(tǒng)計(jì)斷面/車道流量﹑流率（每小時(shí)每車道車輛數(shù)）﹑平均速度﹑車型（可分為五類車型）﹑時(shí)間/空間占有率﹑車頭時(shí)距﹑服務(wù)水平（可分為六級(jí)）﹑密度（單位長(zhǎng)度上的車輛數(shù)）﹑空間平均速度（單位長(zhǎng)度上的車輛平均速度）等統(tǒng)計(jì)數(shù)據(jù)。

4）區(qū)間測(cè)速功能。系統(tǒng)能夠?qū)θ我鈨蓚€(gè)卡口點(diǎn)進(jìn)行區(qū)間測(cè)速的配置，實(shí)現(xiàn)對(duì)通過(guò)兩個(gè)相鄰卡口的車輛進(jìn)行區(qū)間測(cè)速的判斷，輸出區(qū)間超速的違法信息。

5）道路旅行時(shí)間分析。通過(guò)對(duì)設(shè)有卡口的路線提供實(shí)時(shí)的最接近的旅行時(shí)間，用以發(fā)布道路交通狀態(tài)，為節(jié)假日出行者提供參考。

6）報(bào)警管理。系統(tǒng)能夠?qū)崿F(xiàn)與機(jī)動(dòng)車登記系統(tǒng)自動(dòng)比對(duì)﹑自動(dòng)篩選報(bào)廢﹑假牌﹑未年檢等重點(diǎn)管控車輛，形成卡口網(wǎng)狀布控報(bào)警模型。實(shí)現(xiàn)當(dāng)車輛通過(guò)一個(gè)布控點(diǎn)時(shí)，如果沒(méi)有及時(shí)攔截，還可以在下一個(gè)布控點(diǎn)及時(shí)攔截，這樣將布控和報(bào)警點(diǎn)形成一個(gè)網(wǎng)狀模型，實(shí)現(xiàn)關(guān)聯(lián)報(bào)警點(diǎn)。

7）海量數(shù)據(jù)的分析處理。基于超級(jí)計(jì)算等并行處理技術(shù)，實(shí)現(xiàn)海量數(shù)據(jù)的道路交通狀態(tài)判別，由相關(guān)的數(shù)據(jù)融合處理算法，生成交通出行信息，為交通管者提高管理水平提供借鑒，為交通出行者提供實(shí)時(shí)﹑有效的出行信息。

8）快速模糊搜索涉案車輛。在車牌號(hào)碼不完整或無(wú)車牌情況下，根據(jù)車牌號(hào)某一字段或車輛特征字段，實(shí)現(xiàn)車輛的模糊檢索，得到車輛圖片集合，縮小檢索范圍，提高了辦案效率。

9）公共車輛的監(jiān)控管理。實(shí)現(xiàn)對(duì)BRT﹑普通公交﹑班車﹑出租車等公共交通車輛的針對(duì)性監(jiān)控管理，建立單獨(dú)的監(jiān)控管理模塊。

10）特殊車輛的運(yùn)行軌跡分析。實(shí)現(xiàn)對(duì)長(zhǎng)途客運(yùn)車輛﹑危險(xiǎn)化學(xué)品運(yùn)載車輛﹑校車等車輛運(yùn)行軌跡分析，提取其運(yùn)行特征，為實(shí)施有針對(duì)性管理提供依據(jù)。

3 關(guān)鍵技術(shù)及其實(shí)現(xiàn)

3.1 系統(tǒng)整體架構(gòu)說(shuō)明

系統(tǒng)涉及的核心組件包括Kafka分布式消息總線﹑Spark Streaming實(shí)時(shí)流式計(jì)算﹑HBase/HDFS﹑Map/Reduce分布式計(jì)算﹑應(yīng)用服務(wù)引擎等，如圖2所示。

圖2 基于Spark Streaming流技術(shù)的機(jī)動(dòng)車緝查布控系統(tǒng)架構(gòu)圖

圖3 分布式消息隊(duì)列數(shù)據(jù)流圖

3.2 分布式消息隊(duì)列

分布式消息隊(duì)列是基于Zookeeper協(xié)調(diào)管理的，將完整的卡口過(guò)車數(shù)據(jù)發(fā)送至分布式消息隊(duì)列。流處理平臺(tái)根據(jù)卡口過(guò)車產(chǎn)生數(shù)據(jù)量速率，在分布式消息隊(duì)列中將卡口過(guò)車數(shù)據(jù)近乎均勻地分散到各個(gè)服務(wù)器中多個(gè)Partition中。流處理引擎Spark Streaming在分布式集群中開(kāi)啟多個(gè)并發(fā)數(shù)據(jù)流消費(fèi)線程，組成針對(duì)于不同業(yè)務(wù)規(guī)則的多個(gè)消費(fèi)組Consumer Group。在每個(gè)Consumer Group中，Partition個(gè)數(shù)是數(shù)據(jù)流消費(fèi)總線程數(shù)的倍數(shù)，每個(gè)計(jì)算線程消費(fèi)相同數(shù)目的卡口過(guò)車數(shù)據(jù)Partition，以達(dá)到集群負(fù)載均衡的目的。

系統(tǒng)設(shè)計(jì)中，分布式消息隊(duì)列的數(shù)據(jù)流圖如圖3所示，多個(gè)卡口過(guò)車數(shù)據(jù)源將數(shù)據(jù)寫(xiě)入分布式消息隊(duì)列集群的Topic中，P0～P6等數(shù)據(jù)分區(qū)Partition被分散在集群的各個(gè)節(jié)點(diǎn)中，Spark Streaming作為數(shù)據(jù)消費(fèi)者針對(duì)不同的業(yè)務(wù)規(guī)則建立不同的消費(fèi)組，在消費(fèi)組Consumer Group A中，每個(gè)消費(fèi)線程處理兩個(gè)Partition的實(shí)時(shí)數(shù)據(jù)，在消費(fèi)組Consumer Group B中，每個(gè)消費(fèi)線程處理一個(gè)Partition的實(shí)時(shí)數(shù)據(jù)。所有的生產(chǎn)者（Broker）以及消費(fèi)信息被記錄在Zookeeper集群中。

3.3 Spark streaming流式實(shí)時(shí)分布式計(jì)算

3.3.1 Spark Streaming介紹［8］

Spark Streaming是建立在Spark（Berkeley的交互式實(shí)時(shí)計(jì)算系統(tǒng)）上的實(shí)時(shí)計(jì)算框架，Spark Streaming的優(yōu)勢(shì)在于：能運(yùn)行在100+的結(jié)點(diǎn)上，并達(dá)到秒級(jí)延遲。Spark Streaming的基本原理是將輸入數(shù)據(jù)流以時(shí)間片（秒級(jí)）為單位進(jìn)行拆分，然后以類似批處理的方式處理每個(gè)時(shí)間片數(shù)據(jù)。

Spark Streaming是將流式計(jì)算分解成一系列短小的批處理作業(yè)。這里的批處理引擎是Spark，也就是把Spark Streaming的輸入數(shù)據(jù)按照batch size（如1秒）分成多段數(shù)據(jù)（Discretized Stream），每一段數(shù)據(jù)都轉(zhuǎn)換成Spark中的RDD（Resilient Distributed Dataset），然后將Spark Streaming中對(duì)DStream的Transformation操作變?yōu)獒槍?duì)Spark中對(duì)RDD的Transformation操作，將RDD經(jīng)過(guò)操作變成中間結(jié)果保存在內(nèi)存中。整個(gè)流式計(jì)算根據(jù)業(yè)務(wù)的需求可以對(duì)中間的結(jié)果進(jìn)行疊加，或者存儲(chǔ)到外部設(shè)備。

Spark Streaming的優(yōu)勢(shì)主要表現(xiàn)在容錯(cuò)性﹑實(shí)時(shí)性﹑可擴(kuò)展性。

1）容錯(cuò)性。表現(xiàn)在兩個(gè)方面：一是使用HDFS作為文件系統(tǒng)。HDFS的備份機(jī)制保證了數(shù)據(jù)不易丟失；二是將采集的數(shù)據(jù)保存到2個(gè)節(jié)點(diǎn)上，防止數(shù)據(jù)在源頭丟失。

2）實(shí)時(shí)性。主要涉及流式處理框架的應(yīng)用場(chǎng)景。Spark Streaming將流式計(jì)算分解成多個(gè)Spark Job，對(duì)于每一段數(shù)據(jù)的處理都會(huì)經(jīng)過(guò)Spark DAG分解，以及Spark的任務(wù)集的調(diào)度過(guò)程。對(duì)于目前版本的Spark是 Streaming而言，其最小的Batch Size的選取在0.5～2秒鐘之間（Storm目前最小的延遲是100ms左右），所以Spark Streaming能夠滿足除對(duì)實(shí)時(shí)性要求非常高（如高頻實(shí)時(shí)交易）之外的所有流式準(zhǔn)實(shí)時(shí)計(jì)算場(chǎng)景。

3）擴(kuò)展性與吞吐量。表現(xiàn)在Spark的節(jié)點(diǎn)數(shù)量上。Spark目前在EC2上已能夠線性擴(kuò)展到100個(gè)節(jié)點(diǎn)（每個(gè)節(jié)點(diǎn)4 Core），可以以數(shù)秒的延遲處理6 GB/s的數(shù)據(jù)量（60 M records/s），其吞吐量也比流行的Storm高2～5倍。在Berkeley利用Grep所做的測(cè)試中，Spark Streaming中的每個(gè)節(jié)點(diǎn)的吞吐量是670 k records/s，而Storm是115 k records/s。

3.3.2 Spark streaming的工作流

Spark Streaming接受到實(shí)時(shí)數(shù)據(jù)后，給數(shù)據(jù)分批次，然后傳給Spark Engine處理最后生成該批次的結(jié)果。執(zhí)行流程如圖4所示。

1）卡口過(guò)車數(shù)據(jù)按照指定的隊(duì)列方式將卡口過(guò)車數(shù)據(jù)分散存儲(chǔ)于分布式消息隊(duì)列集群。消息隊(duì)列的相關(guān)術(shù)語(yǔ)說(shuō)明如表1所示。

圖4 Spark Streaming工作流

表1 消息隊(duì)列術(shù)語(yǔ)及說(shuō)明

2）Spark Streaming把卡口過(guò)車數(shù)據(jù)按照時(shí)間切片Δt（200 ms）為單位進(jìn)行切分，對(duì)于Vehicle_Info Topic來(lái)說(shuō)，每個(gè)時(shí)間切片（如200 ms）中的數(shù)據(jù)為該時(shí)間段內(nèi)完整的卡口過(guò)車數(shù)據(jù)，Topic的信息結(jié)構(gòu)如表2所示。

3）將每一個(gè)時(shí)間切片的卡口過(guò)車數(shù)據(jù)進(jìn)行實(shí)時(shí)的批處理，本質(zhì)上本流處理平臺(tái)是基于小作業(yè)的高速低延時(shí)批處理分析，優(yōu)勢(shì)在于批處理在狀態(tài)維護(hù)﹑不丟不重的精準(zhǔn)完整性語(yǔ)意完成上更加容易。因?yàn)橐恢滦誀顟B(tài)的維護(hù)﹑完全不丟失不重復(fù)需要的元信息維護(hù)代價(jià)都非常大，傳統(tǒng)的流

處理系統(tǒng)因?yàn)槊嫦騿螚l數(shù)據(jù)，在出現(xiàn)錯(cuò)誤恢復(fù)時(shí)無(wú)力完成完全的精準(zhǔn)恢復(fù)，從而造成數(shù)據(jù)或者狀態(tài)的丟失。業(yè)務(wù)應(yīng)用邏輯以DAG（有向無(wú)環(huán)圖）形式的服務(wù)常駐在集群內(nèi)存中，生產(chǎn)系統(tǒng)的消息通過(guò)實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群，在集群內(nèi)以Pipeline方式被依次處理。

4）卡口過(guò)車數(shù)據(jù)經(jīng)過(guò)流處理，根據(jù)獲得的異常車牌地理位置信息，獲得異常車牌和駕駛證的活動(dòng)范圍以及移動(dòng)趨勢(shì)，實(shí)時(shí)輸出結(jié)果數(shù)據(jù)，觸發(fā)告警，為卡口過(guò)車下一路口攔截以及緝查布控應(yīng)對(duì)提供可靠實(shí)時(shí)保障。

這樣，流處理系統(tǒng)通過(guò)在軟件層面上借助冗余﹑外部存儲(chǔ)等方式實(shí)現(xiàn)容錯(cuò)，可以避免數(shù)臺(tái)服務(wù)器故障﹑網(wǎng)絡(luò)突發(fā)阻塞等問(wèn)題造成的數(shù)據(jù)丟失問(wèn)題。通過(guò)定義彈性數(shù)據(jù)集RDD來(lái)實(shí)現(xiàn)容錯(cuò)，RDD是一種數(shù)據(jù)結(jié)構(gòu)的抽象，它封裝了計(jì)算和數(shù)據(jù)依賴，數(shù)據(jù)可以依賴于外部數(shù)據(jù)或者其他RDD， RDD本身不擁有數(shù)據(jù)集，它只記錄數(shù)據(jù)衍變關(guān)系的譜系，通過(guò)這種譜系實(shí)現(xiàn)數(shù)據(jù)的復(fù)雜計(jì)算變換，在發(fā)生錯(cuò)誤后通過(guò)追溯譜系重新計(jì)算完成容錯(cuò)，如果計(jì)算的衍變譜系比較復(fù)雜，系統(tǒng)支持checkpoint來(lái)避免高代價(jià)的重計(jì)算發(fā)生。

表2 Topic信息結(jié)構(gòu)表

4 系統(tǒng)使用場(chǎng)景分析

本節(jié)討論系統(tǒng)在車輛套牌檢測(cè)場(chǎng)景中的使用。系統(tǒng)首先將某省所有卡口信息和車牌對(duì)應(yīng)信息以及駕駛證對(duì)應(yīng)信息的碼表預(yù)加載在集群各個(gè)服務(wù)器內(nèi)存中。其次分多個(gè)消費(fèi)組獲取時(shí)間切片中卡口過(guò)車數(shù)據(jù)，如表2所示，包括開(kāi)始時(shí)間，結(jié)束時(shí)間，卡口編號(hào)等，將時(shí)間切片Δt內(nèi)卡口過(guò)車數(shù)據(jù)加載進(jìn)入內(nèi)存。

然后對(duì)消費(fèi)組Consumer Group A中加載在內(nèi)存中的卡口過(guò)車數(shù)據(jù)，設(shè)置時(shí)間窗口，時(shí)間窗口由時(shí)間切片組成（如設(shè)置時(shí)間切片為200 ms，時(shí)間窗口為20 s，那么時(shí)間窗口內(nèi)有100個(gè)時(shí)間切片的數(shù)據(jù)）并不斷向前滑動(dòng)（滑動(dòng)時(shí)間跨度為單位時(shí)間切片Δt）。根據(jù)當(dāng)前卡口字段統(tǒng)計(jì)各個(gè)卡口在當(dāng)前時(shí)間窗口內(nèi)機(jī)動(dòng)車同一車牌數(shù)量并記錄。比對(duì)前后兩個(gè)時(shí)間窗口內(nèi)各個(gè)卡口的機(jī)動(dòng)車的過(guò)車時(shí)間Δt和卡口的距離Δl。如公式（1）所示：

當(dāng)Δv超過(guò)設(shè)定閾值例如機(jī)動(dòng)車最大速度200 km/h，將該機(jī)動(dòng)車列為疑似套牌車輛，并觸發(fā)告警記錄。

最后對(duì)消費(fèi)組Consumer Group B中加載在內(nèi)存中的卡口過(guò)車數(shù)據(jù)，實(shí)時(shí)比對(duì)其車牌號(hào)字段，以及駕駛證字段。

一旦發(fā)現(xiàn)機(jī)動(dòng)車車牌字段代碼不在某省年檢過(guò)的車牌數(shù)據(jù)庫(kù)碼表中，那么將該條卡口過(guò)車數(shù)據(jù)中當(dāng)前機(jī)動(dòng)車的車牌字段作為未年檢車輛出現(xiàn)進(jìn)行記錄與告警。同時(shí)比對(duì)卡口過(guò)車駕駛證字段正常的駕駛證分?jǐn)?shù)，與預(yù)加載在內(nèi)存中的駕駛證數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行比對(duì)，如不能對(duì)應(yīng)，則將該條卡口過(guò)車數(shù)據(jù)中當(dāng)前駕駛證字段作為異常駕駛證出現(xiàn)點(diǎn)進(jìn)行記錄與告警。

5 結(jié)語(yǔ)

本文研究和分析了當(dāng)前機(jī)動(dòng)車緝查布控的業(yè)務(wù)需求﹑機(jī)動(dòng)車緝查布控系統(tǒng)的功能和不足，并在此基礎(chǔ)上提出了一種基于Spark Streaming流技術(shù)的機(jī)動(dòng)車緝查布控系統(tǒng)。本文根據(jù)Spark Streaming的技術(shù)特點(diǎn)，設(shè)計(jì)和實(shí)現(xiàn)了分布式消息隊(duì)列系統(tǒng)﹑實(shí)時(shí)流處理系統(tǒng)﹑數(shù)據(jù)分析系統(tǒng)以及Spark Streaming與其他組件的協(xié)同工作框架。系統(tǒng)能有效地完成了機(jī)動(dòng)車套牌分析﹑過(guò)往車輛統(tǒng)計(jì)﹑重點(diǎn)車輛比對(duì)等功能。

［1］ 張森，翁育峰，方艾芬. 基于卡口的大范圍機(jī)動(dòng)車緝查布控技術(shù)研究：以廣東省為例. //中國(guó)智能交通協(xié)會(huì).第八屆中國(guó)智能交通年會(huì)優(yōu)秀論文集：智能交通與安全［C］.中國(guó)智能交通協(xié)會(huì)：2013：7.

［2］ 徐曉東，孔晨晨，席正祺. 大數(shù)據(jù)云計(jì)算技術(shù)在全國(guó)機(jī)動(dòng)車緝查布控系統(tǒng)中的應(yīng)用［J］. 中國(guó)公共安全（學(xué)術(shù)版），2015，38（1）：87-91.

［3］ 繆新頓，莫子興. HBase在機(jī)動(dòng)車緝查布控系統(tǒng)中的應(yīng)用［J］. 中國(guó)交通信息化，2014（5）：123-125.

［4］ KOBIELUS A. The role of stream computing in big data architectures［J/OL］.IBM Big Data & Analytics Hub，2013. http：//ibmdatamag.com/2013/01/ the-role-of-stream-computing-in-big-dataarchitectures/.

［5］ 王先文，陳鋒，程智等. 基于偏斜t混合模型的流式數(shù)據(jù)自動(dòng)聚類方法研究［J］. 電子學(xué)報(bào)，2014，42（12）：2527-2535.

［6］ 王成章，林學(xué)練，譚靜芳. 流式處理系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)分配技術(shù)［J］. 計(jì)算機(jī)工程與科學(xué)，2014，36（10）：1846-1853.

［7］ 孫大為，張廣艷，鄭緯民. 大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例［J］.軟件學(xué)報(bào)，2014（4）：839-862.

［8］ SPARK A. lightning-fast cluster computing［J/OL］. SPARK，2013. http：//spark-project.org/.

Design of Motor Vehicles Monitoring and Controlling System Based on Spark Streaming Technology

CHEN Li1，WANG Rui2
（1. Department of Computer Engineering，Guangdong Communication Polytechnic，Guangzhou Guangdong 510650，China; 2. China Mobile Group Guangdong Co.，Ltd.，Guangzhou Guangdong 510623，China）

Based on the Bayonet monitoring system，motor vehicles monitoring and controlling system can offer statistical data of traffic composition，traffic volume and traffic offence，and realize the query and analysis of vehicle trajectory，which provides the support for transportation planning，management and case detection. As the number of vehicles is increasing rapidly，and traffic offence is often mobile and accidental，the Integrated Transport Information System has to process huge data. So，traditional vehicles monitoring and controlling techniques can just query data under a preset condition，and can not realize real-time analysis and data tracking. With the help of Spark Streaming technique，realtime processing of big data is realized，and the real-time display and warning of traffic offence is possible，as well as the analysis and prediction of vehicle trajectory.

Motor vehicles monitoring and control system; traffic management; Spark Streaming; stream data processing

TP3

A

1672-6138（2016）04-0010-06

10.3969/j.issn.1672-6138.2016.04.003

［責(zé)任編輯：吳卓］

2016-09-27

陳麗（1978—），女，湖南邵東人，講師，碩士，研究方向：大數(shù)據(jù)技術(shù)及應(yīng)用﹑信息系統(tǒng)管理。