王艷

（無錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無錫 214000）

淺談交通管理大數(shù)據(jù)分布式管理應(yīng)用平臺(tái)的架構(gòu)設(shè)計(jì)方案

王艷

（無錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無錫 214000）

基于當(dāng)前公安交通管理綜合應(yīng)用平臺(tái)的主要特征，迫切需要建立一個(gè)具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)，能夠高效快速實(shí)現(xiàn)的綜合應(yīng)用平臺(tái)分布式數(shù)據(jù)庫(kù)。主要談?wù)摿嗽摲植际焦芾響?yīng)用平臺(tái)的架構(gòu)設(shè)計(jì)方案，并概括了該平臺(tái)的主要特點(diǎn)。

分布式數(shù)據(jù)庫(kù)；統(tǒng)一監(jiān)控；駕駛?cè)斯芾?；科技信息?/p>

1 項(xiàng)目背景

近年來，隨著公安交通管理科技信息化水平的逐步提升，依托于公安主干網(wǎng)，已經(jīng)全面建成了覆蓋部、省、市三級(jí)的公安交通管理綜合應(yīng)用平臺(tái)，建設(shè)了包括機(jī)動(dòng)車管理、駕駛?cè)斯芾?、交通事故處理、交通證據(jù)處理等業(yè)務(wù)功能，并實(shí)現(xiàn)了對(duì)交通攝像頭數(shù)據(jù)的采集和初步處理，形成了較為完整的交通管理數(shù)據(jù)鏈條。當(dāng)前，隨著交通的快速發(fā)展，交通管理單位的數(shù)據(jù)管理工作主要呈現(xiàn)以下特征。

1.1 積累了大量數(shù)據(jù)資源

一個(gè)省的交通管理綜合應(yīng)用平臺(tái)數(shù)據(jù)量已到達(dá)近幾十億條，非結(jié)構(gòu)化數(shù)據(jù)（證據(jù)圖片等）約為60 TB，交通管理數(shù)據(jù)體量較大，且從數(shù)據(jù)類型來看，大量的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，占據(jù)了存儲(chǔ)容量的90%以上。

1.2 數(shù)據(jù)管理和服務(wù)面臨著巨大挑戰(zhàn)

隨著道路交通業(yè)務(wù)的不斷深化，交通數(shù)據(jù)內(nèi)容龐雜、存儲(chǔ)分散、訪問困難、結(jié)構(gòu)不統(tǒng)一、編碼不一致等問題，限制了科技管理部門對(duì)交通管理數(shù)據(jù)的管理和維護(hù)，海量數(shù)據(jù)的存儲(chǔ)、備份、擴(kuò)容和日志信息的管理都成為目前較為嚴(yán)峻和亟待解決的問題。

1.3 對(duì)數(shù)據(jù)的科學(xué)利用提出了更高的要求

隨著城鎮(zhèn)化的發(fā)展，交通管理基礎(chǔ)設(shè)施（設(shè)備）已進(jìn)入了大規(guī)模建設(shè)的時(shí)期。同時(shí)，社會(huì)轉(zhuǎn)型的壓力迫使交通管理部門需要在交管工作機(jī)制、交通管理方式、服務(wù)群眾思路等方面進(jìn)行創(chuàng)新和改革。如何通過數(shù)據(jù)資源使用進(jìn)一步提升道路交通管理水平，成為了交通管理部門迫切需要面對(duì)的問題之一?；谝陨媳尘?，迫切需要建立一個(gè)具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)、能夠快速實(shí)現(xiàn)的綜合應(yīng)用平臺(tái)分布式數(shù)據(jù)庫(kù)，通過綜合應(yīng)用平臺(tái)分布式數(shù)據(jù)庫(kù)，全面實(shí)現(xiàn)各業(yè)務(wù)與管理數(shù)據(jù)的整合，解決交通管理行業(yè)科技管理問題，達(dá)到建以致用、深化科技強(qiáng)警的戰(zhàn)略目標(biāo)。

2 項(xiàng)目需求

搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)及部署分布式數(shù)據(jù)庫(kù)，技術(shù)要點(diǎn)為：①海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，比如證據(jù)圖片、日志數(shù)據(jù)；②批量歷史數(shù)據(jù)遷移和現(xiàn)有數(shù)據(jù)實(shí)時(shí)同步復(fù)制，比如熱點(diǎn)業(yè)務(wù)數(shù)據(jù)；③實(shí)時(shí)數(shù)據(jù)檢索及統(tǒng)計(jì)分析；④在元數(shù)據(jù)管理中對(duì)圖片數(shù)據(jù)、日志數(shù)據(jù)定義屬性，添加索引；⑤在元數(shù)據(jù)管理中管理業(yè)務(wù)關(guān)系數(shù)據(jù)和文檔數(shù)據(jù)；⑥對(duì)外部應(yīng)用程序提供檢索應(yīng)用接口，提供資產(chǎn)目錄和手冊(cè)；⑦云搜索、業(yè)務(wù)數(shù)據(jù)的報(bào)表統(tǒng)計(jì)和分析；⑧對(duì)平臺(tái)系統(tǒng)運(yùn)行環(huán)境和使用維護(hù)情況的監(jiān)控，同時(shí)，大數(shù)據(jù)基礎(chǔ)平臺(tái)還應(yīng)該具備集監(jiān)控、管理和典型故障處理于一身的統(tǒng)一監(jiān)控運(yùn)維管理平臺(tái)，以及具備數(shù)據(jù)存儲(chǔ)安全、訪問安全、網(wǎng)絡(luò)安全等的安全管理系統(tǒng)。

3 架構(gòu)設(shè)計(jì)方案

系統(tǒng)采用3層架構(gòu)：底層是大數(shù)據(jù)操作系統(tǒng)（BD-OS），中間層是數(shù)據(jù)服務(wù)層，頂層是系統(tǒng)應(yīng)用層。底層BD-OS（大數(shù)據(jù)操作系統(tǒng)）主要包括大數(shù)據(jù)技術(shù)平臺(tái)和服務(wù)支撐技術(shù)兩方面。大數(shù)據(jù)技術(shù)平臺(tái)的主要技術(shù)有：①大數(shù)據(jù)存儲(chǔ)HDFS。整個(gè)分布式大數(shù)據(jù)的存儲(chǔ)基礎(chǔ)。②數(shù)據(jù)倉(cāng)庫(kù)HBase。保存業(yè)務(wù)數(shù)據(jù)、圖片數(shù)據(jù)和日志數(shù)據(jù)。③編程模型MapReduce。面向大規(guī)模數(shù)據(jù)處理的并行計(jì)算模型和方法。④分布式協(xié)作服務(wù)ZooKeeper。數(shù)據(jù)管理服務(wù)，如統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。⑤數(shù)據(jù)倉(cāng)庫(kù)工具Hive。將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。⑥全文檢索引擎ElasticSearch?？蓴U(kuò)展的開源全文搜索和分析引擎。⑦NoSQL數(shù)據(jù)庫(kù)MongoDB、關(guān)系型數(shù)據(jù)庫(kù)MySQL。⑧獨(dú)有的分布式數(shù)據(jù)倉(cāng)庫(kù)CsiDRD技術(shù)。服務(wù)支撐是為中間數(shù)據(jù)服務(wù)層提供支撐的，更偏重于技術(shù)方案，主要包括以下幾個(gè)方面：①數(shù)據(jù)采集ETL。從Oracle數(shù)據(jù)庫(kù)中獲取圖片、日志和業(yè)務(wù)數(shù)據(jù)，并導(dǎo)入到分布式數(shù)據(jù)庫(kù)中。②PL/SQL支持。支持Oracle數(shù)據(jù)庫(kù)中PL/SQL語(yǔ)言，從而可以將原有的Oracle綜合平臺(tái)復(fù)雜的數(shù)據(jù)倉(cāng)庫(kù)類分析，基本不用修改或者做少量修改之后就可以移植到綜合平臺(tái)分布式數(shù)據(jù)庫(kù)中。③全文檢索。開源的全文檢索引擎ES，提供對(duì)業(yè)務(wù)和圖片數(shù)據(jù)的檢索服務(wù)。④安全管理。提供對(duì)于Hadoop大數(shù)據(jù)庫(kù)的安全管理服務(wù)。⑤運(yùn)維管理。實(shí)時(shí)監(jiān)控Hadoop大數(shù)據(jù)庫(kù)的運(yùn)行情況，用圖表等直觀的方式，方便監(jiān)控和維護(hù)管理。中間數(shù)據(jù)服務(wù)層更多的是面向系統(tǒng)應(yīng)用的，主要包括對(duì)訪問大數(shù)據(jù)庫(kù)用戶提供授權(quán)、認(rèn)證、審計(jì)和監(jiān)控；通過技術(shù)手段對(duì)大數(shù)據(jù)平臺(tái)的運(yùn)行狀況進(jìn)行記錄；提供Oracle和Hadoop大數(shù)據(jù)庫(kù)雙向間的數(shù)據(jù)接口，方便數(shù)據(jù)的采集、匯集、分發(fā)和同步等。頂層是系統(tǒng)應(yīng)用層，運(yùn)行各種需要從分布式大數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)交互的應(yīng)用系統(tǒng)，比如公安交管綜合平臺(tái)（六合一平臺(tái)）等。

4 平臺(tái)特點(diǎn)

平臺(tái)特點(diǎn)有：①數(shù)據(jù)處理能力。具體具有平臺(tái)運(yùn)維監(jiān)控能力、平臺(tái)安全處理能力、多源異構(gòu)的數(shù)據(jù)接入整合能力、一站式數(shù)據(jù)處理能力、豐富的底層技術(shù)組件支持。②高可用性和可靠性。③可擴(kuò)展性。包括組件可擴(kuò)展、容量可擴(kuò)展、數(shù)據(jù)接口可擴(kuò)展、應(yīng)用可擴(kuò)展、數(shù)據(jù)庫(kù)可擴(kuò)展。④開放性。⑤安全性。包括訪問安全、環(huán)境安全、數(shù)據(jù)安全。

5 未來展望

應(yīng)根據(jù)不同的數(shù)據(jù)內(nèi)容和特點(diǎn)分門別類存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)和交通管理圖片等非結(jié)構(gòu)化數(shù)據(jù)、日志數(shù)據(jù)，全面整合各業(yè)務(wù)與管理數(shù)據(jù)，檢索機(jī)動(dòng)車、駕駛?cè)?、證據(jù)、業(yè)務(wù)日志等實(shí)時(shí)數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析，提高交通事故處理、交通證據(jù)處理的效率和精準(zhǔn)性，優(yōu)化道路交通管理水平；同時(shí)，保證數(shù)據(jù)的安全性，系統(tǒng)的穩(wěn)定性和高可用性；協(xié)助交通管理部門解決交通管理行業(yè)科技管理難題，達(dá)到建以致用、深化科技強(qiáng)警的戰(zhàn)略目標(biāo)。

〔編輯：張思楠〕

TP311.13

A

10.15913/j.cnki.kjycx.2017.23.076

2095－6835（2017）23－0076－02