方艾芬 蔡崗 繆新頓

1．公安部交通管理科學研究所 2．道路交通安全公安部重點實驗室

一、引言

為進一步推進公路交通安全管理科技建設，提升動態(tài)化、信息化條件下公路交通安全管控水平，2012年10月以來，公安部交通管理局組織研發(fā)推廣了全國機動車緝查布控系統(tǒng)聯(lián)網(wǎng)應用。通過整合共享各地車輛智能監(jiān)測記錄系統(tǒng)（以下簡稱卡口系統(tǒng)）信息資源，建立橫向聯(lián)網(wǎng)、縱向貫通的全國機動車緝查布控系統(tǒng)，實現(xiàn)大范圍車輛緝查布控和預警攔截、車輛軌跡和交通流量分析研判、重點車輛管控、交通違法行為甄別查處、偵破涉車案件等應用。截止目前，全國31個省（區(qū)、市）已完成緝查布控系統(tǒng)聯(lián)網(wǎng)工作，接入卡口14000多個，匯聚機動車通行數(shù)據(jù)70多億條，在偵破肇事逃逸案件、查處涉車違法行為以及治安防控、反恐維穩(wěn)等方面開始發(fā)揮重要作用。

隨著聯(lián)網(wǎng)單位和接入卡口的不斷增加，當前各省、市部署的機動車緝查布控系統(tǒng)積聚了海量的過車數(shù)據(jù)等信息，開始面臨以下挑戰(zhàn)：

（1）數(shù)據(jù)越來越海量?？谙到y(tǒng)7×24小時不斷上傳過車數(shù)據(jù)和圖片，以一個中等規(guī)模省市為例，每地市每日采集過車信息150萬條，每年采集過車信息5億條，全省每年將匯聚100億條過車信息，數(shù)據(jù)從GB級發(fā)展到TB級、PB級。如何將如此海量的數(shù)據(jù)用好、管好成為一大難題。

（2）數(shù)據(jù)應用越來越復雜。各地充分利用海量數(shù)據(jù)資源，組織研發(fā)各類分析軟件，研判轄區(qū)道路通行流量、大客車、?；奋嚨戎攸c車輛通行情況，排查套牌假牌、逾期報廢仍上路行駛等嫌疑車輛。數(shù)據(jù)應用的需求從分類、聚類到復雜多系統(tǒng)碰撞及各種分析、研判、評估。如此復雜的應用對運算方式提出了極高的要求，傳統(tǒng)系統(tǒng)架構很難滿足需求。

（3）查詢響應速度越來越慢。目前機動車緝查布控核心系統(tǒng)采用ORACLE關系型數(shù)據(jù)庫，關系型數(shù)據(jù)庫在數(shù)據(jù)量增大的情況下，執(zhí)行檢索（尤其是模糊檢索、關聯(lián)查詢）的速度會發(fā)生幾何級下降（表1）。由于傳統(tǒng)關系型數(shù)據(jù)庫缺乏分布式計算能力，所以面向大數(shù)據(jù)時只能越來越慢，即便經(jīng)過優(yōu)化也還是不能滿足大數(shù)據(jù)應用的要求，造成嚴重的性能瓶頸。

為應對以上挑戰(zhàn)，筆者單位對大數(shù)據(jù)技術在機動車緝查布控系統(tǒng)中的應用進行了深入研究，預研了一套基于大數(shù)據(jù)技術的機動車緝查布控平臺，并通過了實際應用驗證。本文在此重點介紹平臺的構建技術和應用案例。

二、大數(shù)據(jù)技術

大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。業(yè)界用4個V概括大數(shù)據(jù)的基本特征，即volume（量大）、variety（多樣化）、value（價值密度低）和velocity（處理要求快）[1]。量大是指數(shù)據(jù)規(guī)模至少在TB級；多樣化，一方面指數(shù)據(jù)有不同的來源，另一方面指數(shù)據(jù)類型有結(jié)構化、半結(jié)構化和非結(jié)構化等多種形式；價值密度低指這些數(shù)據(jù)的單一來源或單一維度并不能帶來有效的價值，只有形成一定規(guī)模并關聯(lián)起來，才能體現(xiàn)大的價值；處理要求快主要指數(shù)據(jù)分析的實時性要求很高。機動車緝查布控系統(tǒng)采集的流式過車數(shù)據(jù)完全符合大數(shù)據(jù)的基本特征。

大數(shù)據(jù)技術被設計用于在成本可承受的條件下，通過非?？焖俚牟杉?、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價值，是IT領域新一代的技術與架構。其中，以Hadoop為代表的分布式計算平臺正在被大量互聯(lián)網(wǎng)公司、企業(yè)采用，實現(xiàn)對海量數(shù)據(jù)的運行和管理。

Hadoop分布式計算框架主要包含以下關鍵技術：

（1）HDFS 分布式文件系統(tǒng)。它可以構建從幾臺到幾千臺常規(guī)服務器組成的集群，并提供高聚合輸入輸出的文件讀寫訪問。

（2）MapReduce并行計算組件。用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算（分布式計算），由Map（映射）和Reduce（化簡）兩部分組成，為數(shù)據(jù)的高并發(fā)讀寫提供了全新的、水平可擴展的（Scale out）、經(jīng)濟的技術架構。

（3）HBase列存儲技術。它是一個建立在HDFS之上提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的分布式數(shù)據(jù)庫系統(tǒng)，主要用來存儲非結(jié)構化和半結(jié)構化的松散數(shù)據(jù)。HBase提供的列存儲NoSQL技術，能提供比傳統(tǒng)行存儲的RDBMS成百上千倍的快速檢索效率。

（4）Hive數(shù)據(jù)倉庫技術。它提供了類似于傳統(tǒng)SQL的編程模型，為海量機動車軌跡碰撞和分析過程提供了友善的編程模型和方法，同時能利用Map/Reduce的高并發(fā)性特性。

三、平臺構建

（一）建設要求

針對傳統(tǒng)關系型數(shù)據(jù)庫難以支撐海量機動車通行軌跡信息的存貯、處理、分析等現(xiàn)狀，基于X86架構的通用服務器，構建新型架構的機動車緝查布控系統(tǒng)平臺，具備分布式海量存儲能力、高性能并發(fā)讀寫能力以及分布式計算及分析挖掘能力，同時要求具備良好的擴展性，平臺按需擴容后，存儲、查詢和分析性能需要保證近線性變化，系統(tǒng)總吞吐能力近線性增加。

（二）平臺架構

平臺總體架構分為數(shù)據(jù)接入層、數(shù)據(jù)存儲層、大數(shù)據(jù)引擎層、業(yè)務應用層等四個層次，主要內(nèi)容包括車輛通行海量數(shù)據(jù)接入、存貯、大數(shù)據(jù)分析引擎和緝查布控業(yè)務應用等。

1．信息接入層

實時接入各類車輛通行信息數(shù)據(jù)資源信息，通過數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、結(jié)構重組等過程后，統(tǒng)一上傳到數(shù)據(jù)存儲層。

2．數(shù)據(jù)存儲層

采用ORACLE數(shù)據(jù)庫和Hadoop /HBase分布式存儲數(shù)據(jù)庫相結(jié)合的方式。對于數(shù)據(jù)量可控、訪問頻繁的數(shù)據(jù)資源，仍然采用ORACLE關系數(shù)據(jù)庫進行管理，充分發(fā)揮關系數(shù)據(jù)庫在一定數(shù)據(jù)量范圍內(nèi)高效、訪問便捷的優(yōu)勢；對于數(shù)據(jù)量爆發(fā)性增長、且內(nèi)部聯(lián)系緊密的數(shù)據(jù)資源，采用HDFS/HBASE存儲與管理；對于需實時提取訪問的采用內(nèi)存數(shù)據(jù)庫從HBASE和ORACLE數(shù)據(jù)庫中通過ETL工具進行準實時換入和換出。海量車輛通行數(shù)據(jù)和圖片采用大數(shù)據(jù)技術進行存貯，并提供面向大數(shù)據(jù)引擎層和業(yè)務應用層的數(shù)據(jù)訪問服務。其它布、撤控等業(yè)務處理信息仍采用ORALCE關系型數(shù)據(jù)庫進行存貯。

3．大數(shù)據(jù)引擎層

采用Map/Reduce技術，實現(xiàn)海量數(shù)據(jù)分布式計算分析，并通過業(yè)務處理接口實現(xiàn)和業(yè)務應用層的數(shù)據(jù)交換；通過基于JMS的消息處理引擎，實現(xiàn)對黑名單和重點車輛的實時分析和處理。

4．業(yè)務應用層

面向終端用戶提供信息交互的應用層面。通過Web頁面展示的方式實現(xiàn)機動車緝查布控系統(tǒng)的智能化、綜合性應用。

（三）平臺功能

平臺主要提供卡口實時監(jiān)控、車輛緝查布控、預警簽收處置、信息分析研判等功能。其中分析研判功能是基于數(shù)據(jù)檔案化、應用搜索化的理念，在大數(shù)據(jù)環(huán)境下，實現(xiàn)基于機動車過車信息的不同主體數(shù)據(jù)挖掘分析。主要分析研判功能包括：

1．過車軌跡查詢分析

精確查詢：通過號牌種類、號牌號碼、時間等條件查詢機動車通行數(shù)據(jù)；模糊查詢：通過模糊的號牌號碼、卡口、時間、車身顏色等條件查詢機動車通行數(shù)據(jù)。也可以通過模糊條件查詢出機動車基本數(shù)據(jù)，進而關聯(lián)查詢機動車軌跡數(shù)據(jù)。

2．數(shù)據(jù)碰撞分析

跨地區(qū)的海量機動車過車數(shù)據(jù)碰撞，分析出假套牌車輛；重點車輛、報廢車輛與過車數(shù)據(jù)的分析碰撞，發(fā)現(xiàn)未按規(guī)定時間、路線、已報廢仍在路面行駛的車輛信息。

3．車輛出入統(tǒng)計分析

挖掘統(tǒng)計一段時間內(nèi)在某個區(qū)域內(nèi)（可以設定中心城區(qū)、地市區(qū)域、省市區(qū)域、高速公路網(wǎng)等區(qū)域）、進出區(qū)域、主要干道的經(jīng)常行駛車輛、“候鳥”車輛、過路車輛的數(shù)量以及按車輛類型、車牌發(fā)證地的分類統(tǒng)計。

4．重點車輛分析

挖掘統(tǒng)計一定地域范圍內(nèi)客運、危險品運輸?shù)戎攸c車輛通行數(shù)量，研判發(fā)現(xiàn)通行規(guī)律。對在路段行駛時間異常的車輛、首次在本路段行駛、逾期報廢、未年檢仍在道路行駛的重點車輛、2～5點仍在道路行駛的客運車輛等進行預警提示。

5．嫌疑車輛分析

挖掘在不同地點多次同行的車輛。根據(jù)確認的車輛，尋找同行車。挖掘不同時間段通過一個或多個卡口的車輛篩選分析。分析判斷部分車輛經(jīng)常白天某個時間點進城后不出城或是晚上某個時間點進城或出城，篩選有規(guī)律性車輛。

6．道路通行信息服務

基于卡口車輛通行數(shù)據(jù)，實時對外發(fā)布公路道路擁堵、車流量、平均速度等通行狀況。

7．圖像二次甄別

通過對機動車過車圖像的二次識別，識別車輛品牌等特征信息，比對車輛登記信息，發(fā)現(xiàn)套牌假牌車輛，并進行實時預警。

（四）關鍵技術

在海量數(shù)據(jù)處理方面，主要應用以下三方面的關鍵技術：

1．HDFS分布式文件系統(tǒng)構建

在數(shù)據(jù)接入層，為保障文件寫入效率，采用基礎的HDFS文件管理接口，實現(xiàn)對車輛過車全景圖片和特征圖片的存儲；在業(yè)務應用層，采用HDFS中的FTP接口，實現(xiàn)緝查布控系統(tǒng)的統(tǒng)一圖片訪問。

2．HBASE分布式數(shù)據(jù)庫構建

HBASE表結(jié)構和傳統(tǒng)關系型數(shù)據(jù)庫表差別較大，它由主鍵（Rowkey）、版本（Timestamp）、列族（Column Family）三部分組成[2]，HBASE不存在除主鍵和版本列之外的索引，僅能通過主鍵和主鍵及時間戳的range來檢索數(shù)據(jù)。車輛通行信息庫中，將卡口編號、方向、號牌號碼等關鍵信息納入主鍵，再疊加12位序列號生成全國唯一軌跡信息；版本信息采用過車時間戳代替，可提高針對時間段的查詢分析速度；列族信息中存儲號牌顏色、車輛品牌、車輛型號等相關信息。

3．Map/Reduce分布式計算

通過Map/Reduce分布式計算引擎，將業(yè)務應用層提出假套牌分析、伴隨車輛分析等具體任務分解至各HBASE節(jié)點服務器進行并行計算，進而提高數(shù)據(jù)分析的效率。

四、應用案例

筆者單位采用Hadoop2.2、Hbase0.94在實驗室搭建機動車緝查布控平臺大數(shù)據(jù)運行環(huán)境，同時導入了20多億條實際通行車輛記錄，開展了車牌檢索、套牌車分析、重點車輛逾期未報廢、未年檢仍上路行駛，凌晨2～5點仍上路行駛等試驗測試，測試結(jié)果表明，大數(shù)據(jù)技術的引入，能很好的解決ORACLE無法實現(xiàn)的功能。

平臺基礎硬件環(huán)境如表2所示；各種車牌檢索響應耗時如表3所示。

下面對嫌疑套牌車分析過程進行簡要說明。

（1）建立套牌車分析算法模型。對比同一車牌經(jīng)臨兩個卡口地理距離和時間差，基于同一車輛不可能在短時間內(nèi)出現(xiàn)在兩地的原理，判別嫌疑套牌車輛，其中，兩卡口之間的地理距離通過卡口備案的經(jīng)緯度信息進行計算。

（2）建立基于HBASE的過車信息庫。過車信息表主鍵設計為號牌種類+號牌號碼+序列值，版本信息設計為過車時間戳。將各地緝查布控系統(tǒng)實際運行中采集的20多億條過車數(shù)據(jù)寫入HBASE數(shù)據(jù)庫，合計花費11.5小時，平均每秒4.8萬條。

（3）套牌車分析測試。開發(fā)Map/Reduce分布式計算任務進行套牌車分析，篩選出套牌嫌疑車4358輛，花費11分鐘。

五、結(jié)束語

目前各地已匯聚了海量的機動車通行信息，由于傳統(tǒng)關系型數(shù)據(jù)庫難以支撐當前海量信息的存貯、處理、分析等應用需求，嚴重制約了機動車緝查布控系統(tǒng)的進一步深化應用。大數(shù)據(jù)應用平臺以其高性能、低成本、高可靠性、高可伸縮性等特性決定了未來在機動車緝查布控領域必能有很大的發(fā)展和應用，本文提出的基于大數(shù)據(jù)的機動車緝查布控平臺構建技術有重要的現(xiàn)實意義。

[1]王俊修,譚林.智能倉儲物聯(lián)網(wǎng)云平臺設計與研究[J]．警察技術, 2013 (2):16-18.

[2]張榆,馬友忠,孟小峰．一種基于HBase的高效空間關鍵字查詢策略[J]．小型微型計算機系統(tǒng),2012,33(10):2141-2146.