曹星艷

（北京全路通信信號研究設(shè)計院集團有限公司，北京 100070）

?

基于交通行業(yè)的大數(shù)據(jù)處理平臺應(yīng)用

曹星艷

（北京全路通信信號研究設(shè)計院集團有限公司，北京 100070）

對交通大數(shù)據(jù)平臺架構(gòu)進行研究搭建，可支撐PB級的異構(gòu)數(shù)據(jù)管理及復(fù)雜交通業(yè)務(wù)處理，平臺提供開發(fā)API，實現(xiàn)對數(shù)據(jù)的存儲、查詢、計算分析；提供類SQL查詢功能，能夠?qū)Ａ繑?shù)據(jù)進行方便的查詢；通過虛擬化資源管理和Hadoop分布式并行計算，實現(xiàn)基于Hadoop進行原型搭建的交通大數(shù)據(jù)處理平臺。

交通；大數(shù)據(jù)平臺；系統(tǒng)構(gòu)架；技術(shù)實現(xiàn)

1　大數(shù)據(jù)處理平臺系統(tǒng)架構(gòu)

交通大數(shù)據(jù)處理平臺將基于Hadoop進行基礎(chǔ)建模，虛擬化技術(shù)和Hadoop分布式并行計算是該平臺構(gòu)建的兩大核心。

虛擬化資源管理平臺是基于XEN虛擬化技術(shù)開發(fā)的一個平臺，該平臺主要包括系統(tǒng)管理、資源管理、安全機制、智能調(diào)度、日志查看等幾個核心模塊。系統(tǒng)管理包括虛擬機模板管理性能監(jiān)控和遠程接入管理。虛擬機模板管理主要用于快速定制和安裝業(yè)務(wù)系統(tǒng)，即通過現(xiàn)有物理機或虛擬機中存在的生產(chǎn)環(huán)境或試驗環(huán)境進行智能化的模板備份；資源管理包括虛擬機生命周期管理、物理機生命周期管理和云存儲管理等基礎(chǔ)模塊；安全管理包括用戶角色管理、統(tǒng)一授權(quán)管理和安全審計管理；智能調(diào)度則包含資源均衡遷移、省電模式遷移和彈性擴充3個模塊。

Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序，充分利用集群的威力高速運算和存儲Hadoop，包括多個子項目，但主要由分布式存儲HDFS、分布式計算MapReduce兩個基礎(chǔ)部分組成。其典型基本部署架構(gòu)如圖1所示。

交通行業(yè)數(shù)據(jù)的功能主要是完成數(shù)據(jù)多元化存儲、可視化管理和運行監(jiān)測、對海量數(shù)據(jù)的處理、快速實現(xiàn)數(shù)據(jù)接入和共享交換的需求以及數(shù)據(jù)安全。

2　大數(shù)據(jù)處理平臺系統(tǒng)功能

2.1數(shù)據(jù)存儲

分布式存儲是目前大數(shù)據(jù)存儲的主流方式，多采用普通硬件設(shè)備作為基礎(chǔ)，主要解決數(shù)據(jù)的可擴展性、數(shù)據(jù)的一致性、全局命名空間、緩存等技術(shù)問題。分為C/S架構(gòu)和P2P架構(gòu)。海量數(shù)據(jù)分布式存儲可存儲多源異構(gòu)的交通數(shù)據(jù)（包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)），支持PB級數(shù)據(jù)規(guī)模，通過簡單增加硬件的條件實現(xiàn)存儲容量的擴展，能方便的刪除、遷移歷史數(shù)據(jù)，針對大量小文件例如海量圖片提供優(yōu)化的存儲，能夠?qū)崿F(xiàn)數(shù)據(jù)按照某分類標(biāo)準(zhǔn)進行方便的分類存儲，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速查詢讀取，單個小文件定位應(yīng)在ms級別，讀取在s級。

2.1.1Hadoop 框架

Hadoop是由HDFS、Mapreduce、Hbase、Hive和Zookeeper等組成。其中，核心組成部分是HDFS和Mapreduce。一個是分布式文件系統(tǒng)，一個是分布式處理模式和執(zhí)行環(huán)境。其余的是數(shù)據(jù)庫以及數(shù)據(jù)倉庫等。

2.1.2HDFS分布式文件系統(tǒng)

HDFS（ Hadoop Distributed File System），是一個高度容錯的分布式系統(tǒng)，適合大文件的存儲，交通行業(yè)有很多歷史數(shù)據(jù)和實時數(shù)據(jù)，這個分布系統(tǒng)可以滿足PB級的大文件。系統(tǒng)架構(gòu)采用Master/Slave，其中NameNode對內(nèi)可以維護元數(shù)據(jù)，對外可實現(xiàn)創(chuàng)建、打開、刪除和重命名功能，DateNote可存儲數(shù)據(jù)并負(fù)責(zé)數(shù)據(jù)的讀寫和處理請求。

2.1.3MapReduce

MapReduce是一種軟件架構(gòu)及框架計算，Map主要完成對數(shù)據(jù)的打散，Reduce完成對數(shù)據(jù)的聚集。對交通行業(yè)的數(shù)據(jù)進行數(shù)據(jù)挖掘和應(yīng)用分析，用戶只需要實現(xiàn)Map和Reduce兩個接口，即可實現(xiàn)TB級數(shù)據(jù)的計算。這種架構(gòu)會把輸入的數(shù)據(jù)集切分成若干獨立的數(shù)據(jù)塊，用并行的方式完成處理，對輸出的先后進行排序，并完成結(jié)果的輸入。

2.1.4去重

DEDUPE技術(shù)大量用于數(shù)據(jù)備份系統(tǒng)中，有離線和在線兩種。離線在數(shù)據(jù)的上傳過程中，直接寫到存儲設(shè)備中，當(dāng)用戶數(shù)據(jù)上傳結(jié)束后，再進行去重處理，這樣對存儲容量需求沒有進行改進。在線用戶數(shù)據(jù)上傳到備份系統(tǒng)時，數(shù)據(jù)去重就會發(fā)生，用戶的系統(tǒng)會被分成不同部分，每個部分被視為一個塊，每個塊都會保留成一個相應(yīng)的指紋，然后通過指紋去查找相應(yīng)塊的存在可能性。

2.1.5分層存儲

分層存儲能更好發(fā)揮新的存儲介質(zhì)在讀、寫性能上的優(yōu)勢。分層存儲是集成硬盤和SSD于一體，利用分析訪問數(shù)據(jù)的頻度和智能監(jiān)控，將不同頻度的數(shù)據(jù)靈活實時的在不同層級存儲介質(zhì)中，進行自動或手動數(shù)據(jù)遷移。使用頻度高的交通數(shù)據(jù)被遷移到讀、寫性能優(yōu)良的SSD卡上，頻度低的數(shù)據(jù)放在價格低廉的硬盤矩陣上。

2.2數(shù)據(jù)交換

實現(xiàn)大數(shù)據(jù)平臺和關(guān)系數(shù)據(jù)庫之間的數(shù)據(jù)交換、多種數(shù)據(jù)來源導(dǎo)入到大數(shù)據(jù)平臺中，包含且不限于以下種類：本地文件到大數(shù)據(jù)平臺、FTP文件到大數(shù)據(jù)平臺、Oracle數(shù)據(jù)庫到大數(shù)據(jù)平臺。針對不同導(dǎo)入需求通過配置或者少量開發(fā)可以靈活實現(xiàn)，具有定時任務(wù)的功能，能夠滿足各種定時導(dǎo)入數(shù)據(jù)的要求，導(dǎo)入過程保證了數(shù)據(jù)的一致性、完整性，對導(dǎo)入失敗的數(shù)據(jù)能夠進行方便的重處理。數(shù)據(jù)交換技術(shù)如圖2所示。

2.2.1數(shù)據(jù)交換流程

數(shù)據(jù)交換服務(wù)是本平臺的核心業(yè)務(wù)，系統(tǒng)管理模塊的一切功能都是為數(shù)據(jù)交換服務(wù)的，數(shù)據(jù)交換服務(wù)長期駐留內(nèi)存并運行，實時完成網(wǎng)絡(luò)內(nèi)各用戶、各系統(tǒng)之間的信息交換與共享。

數(shù)據(jù)交換指共享方與訂閱方之間的信息互通和數(shù)據(jù)交換。一個訂閱方可以訂閱多個共享方的共享數(shù)據(jù)，同理一個共享方也會受理多個訂閱方的訂閱請求。實際上產(chǎn)生數(shù)據(jù)交換的過程就是共享方向訂閱方發(fā)送數(shù)據(jù)的過程。

數(shù)據(jù)交換流程如圖3所示，當(dāng)訂閱方訂閱了信息后，共享方輪詢讀取數(shù)據(jù)，并對數(shù)據(jù)進行封裝，然后發(fā)送給訂閱方，訂閱方接到數(shù)據(jù)后，首先對數(shù)據(jù)進行驗證、解析、整編，最后將合法數(shù)據(jù)保存（如果驗證數(shù)據(jù)不合法，則丟棄并發(fā)送錯誤信息給共享方，要求重新發(fā)送），并封裝確認(rèn)信息返回給共享方。共享方在接到回復(fù)后，記錄訂閱概要信息（或重新讀取數(shù)據(jù)進行發(fā)送），完成數(shù)據(jù)交換過程。

2.2.2數(shù)據(jù)交換內(nèi)容

消息管理。本平臺提供消息管理機制，統(tǒng)一管理經(jīng)過平臺的一切消息。平臺采用特征驗證碼的方式為每條消息加注特征碼，同時總結(jié)各用戶端傳送消息的特性，分析消息的歸屬類別，根據(jù)消息的特點對消息進行分類（如發(fā)送、請求、回復(fù)、接收、報錯等）、整理、預(yù)排序，準(zhǔn)備使用各自的通道進行傳輸，避免消息混亂的狀態(tài)發(fā)生。消息的歸類規(guī)則及特征碼信息可以在目錄服務(wù)中進行維護。

隊列管理。當(dāng)通過本平臺的請求較多時，如果不對各類消息加以控制會產(chǎn)生資源爭用或并發(fā)沖突的現(xiàn)象，并且可能會出現(xiàn)優(yōu)先級較高的請求反而等待時間過長現(xiàn)象。因此本平臺采用有效的隊列管理手段，根據(jù)消息本身的特性優(yōu)先級等信息調(diào)動、排列各進程，使所有請求有序高效的得以執(zhí)行，從而最大程度的優(yōu)化系統(tǒng)。

發(fā)送管理。本交換平臺在處理各類數(shù)據(jù)交換與共享請求時，會產(chǎn)生各種信息及數(shù)據(jù)的發(fā)送操作，平臺依據(jù)發(fā)送數(shù)據(jù)包的特征標(biāo)識找到接收方，并首先探測網(wǎng)絡(luò)狀況，許可時即進行發(fā)送操作，并自動記錄發(fā)送日志（根據(jù)日志記錄設(shè)置情況而定）。

接收管理。與發(fā)送管理相對應(yīng)，本平臺在接收各用戶傳送過來的信息時，首先驗證數(shù)據(jù)包的有效性，有效則接收下來進入下一步處理；否則，丟棄此包同時發(fā)送錯誤信息給發(fā)送方，并記錄相關(guān)日志（根據(jù)日志定制部分的設(shè)置而定）。

封裝解析。封裝是指數(shù)據(jù)在發(fā)送之前進行的加密、壓縮、封裝過程。平臺對準(zhǔn)備發(fā)送的數(shù)據(jù)按一定規(guī)則加密壓縮后，進行封裝，并且一個數(shù)據(jù)包的大小是固定的（參見其他參數(shù)設(shè)置部分）。當(dāng)欲傳送數(shù)據(jù)大于規(guī)定包的大小時，系統(tǒng)自動將數(shù)據(jù)分成多個包進行傳送，并記錄各個包之間的先后關(guān)系，同時在包中加入明顯的可供驗證的標(biāo)記。

解析即是接收方在接收到對方傳來的數(shù)據(jù)包后，對數(shù)據(jù)包進行規(guī)則解密，驗證數(shù)據(jù)的有效性，通過后即可整編保存數(shù)據(jù)。

2.2.3數(shù)據(jù)整編

數(shù)據(jù)接收并經(jīng)解析后，要根據(jù)數(shù)據(jù)特性標(biāo)識進行整編、再分析、歸類、關(guān)聯(lián)計算及相關(guān)轉(zhuǎn)換處理，然后準(zhǔn)備保存。數(shù)據(jù)整編主要指對經(jīng)過解析檢驗的數(shù)據(jù)進行歸類、按數(shù)據(jù)類型對應(yīng)關(guān)系進行轉(zhuǎn)換處理的過程。

2.2.4數(shù)據(jù)保存

整編無誤的數(shù)據(jù)即可以保存到目的數(shù)據(jù)庫的相關(guān)表內(nèi)，完成數(shù)據(jù)交換的整個流程，并記錄相關(guān)日志（依據(jù)日志設(shè)置而定）。數(shù)據(jù)保存處理流程如圖4所示。

2.3 數(shù)據(jù)查詢

基于海量數(shù)據(jù)存儲模型，進行二級索引優(yōu)化查詢速度，提供類SQL、API兩種查詢方式，API應(yīng)具有更高的效率、類SQL應(yīng)具有更強的易用性，對類SQL查詢支持對分布式存儲的文件，按照索引鍵值進行查詢。

2.4數(shù)據(jù)計算

數(shù)據(jù)計算完成平臺提供的各種并行處理能力，實現(xiàn)對海量交通數(shù)據(jù)、多種計算模型的分析統(tǒng)計。2.4.1 MapReduce模式

MapReduce的計算模式主要有兩個階段，Map階段和Reduce階段，并定義了相應(yīng)的函數(shù)來處理大數(shù)據(jù)集，這個計算過程就是將大數(shù)據(jù)集分解成若干個小數(shù)據(jù)集，每個數(shù)據(jù)集分別由集群中的一個節(jié)點進行處理并生成中間結(jié)果，中間結(jié)果又有大量的結(jié)點進行合并，形成最終結(jié)果。并行編寫定制數(shù)據(jù)處理功能中的很多問題，如分布式存儲、工作調(diào)度、負(fù)載平衡、網(wǎng)絡(luò)通信等都由MapReduce負(fù)責(zé)處理，非常智能和靈活。

多個Reduce任務(wù)的MapReduc數(shù)據(jù)流程如圖5所示。

計算模型的核心是Map和Reduce兩個函數(shù)，由程序員負(fù)責(zé)實現(xiàn)，按照一定的影射規(guī)則，將輸入的＜key，value＞對轉(zhuǎn)換成另一個＜key，value＞對輸出。

2.4.2MapReduce的總體執(zhí)行流程分析

MapReduce的系統(tǒng)執(zhí)行流程，依次為分割文件、指派任務(wù)、用戶調(diào)用MapReduce的執(zhí)、讀取、本地寫入、遠程讀寫、寫到輸出文件、返回，如圖6所示。

3　交通大數(shù)據(jù)處理平臺

數(shù)據(jù)預(yù)處理是通過交通大數(shù)據(jù)處理平臺從大量的數(shù)據(jù)中提取出對目標(biāo)有重要影響的數(shù)據(jù)以免產(chǎn)生原始數(shù)據(jù)的冗余，或是處理一些無效數(shù)據(jù)，從而改善數(shù)據(jù)質(zhì)量和提高數(shù)據(jù)分析的速度，數(shù)據(jù)預(yù)處理的內(nèi)容包括數(shù)據(jù)篩選、數(shù)據(jù)變換和數(shù)據(jù)歸約等，且數(shù)據(jù)預(yù)處理的結(jié)果是由數(shù)據(jù)分析目的決定的。

數(shù)據(jù)集成主要是通過交通大數(shù)據(jù)處理平臺將多文件或多數(shù)據(jù)庫運行環(huán)境中的異構(gòu)數(shù)據(jù)進行合并處理。該環(huán)節(jié)主要包括數(shù)據(jù)的選擇、數(shù)據(jù)的沖突問題以及數(shù)據(jù)不一致的處理。由于數(shù)據(jù)可能來自多個系統(tǒng)，所以存在異構(gòu)數(shù)據(jù)的轉(zhuǎn)換問題；另外，多個數(shù)據(jù)源的數(shù)據(jù)之間，還存在許多的不一致，如命名、結(jié)構(gòu)、單位、含義等。因此，數(shù)據(jù)集成并非是簡單的數(shù)據(jù)合并，而是把數(shù)據(jù)進行統(tǒng)一化和規(guī)范化處理的復(fù)雜過程。它需要統(tǒng)一原始數(shù)據(jù)中的所有矛盾之處，如字段的同名異義、異名同義、單位不統(tǒng)一、字長不一致等，從而把原始數(shù)據(jù)在最低層次上加以轉(zhuǎn)換、提煉和聚集，形成最初始的挖掘數(shù)據(jù)。

3.1交通行業(yè)數(shù)據(jù)處理的主要功能

對交通大數(shù)據(jù)處理平臺進行架構(gòu)，可支撐PB級的異構(gòu)數(shù)據(jù)管理及復(fù)雜交通業(yè)務(wù)處理，平臺提供開發(fā)API，實現(xiàn)對數(shù)據(jù)的存儲、查詢、計算分析；提供類SQL查詢功能，能夠?qū)Ａ繑?shù)據(jù)進行方便的查詢；通過靈活配置等能夠?qū)崿F(xiàn)不同查詢需求最優(yōu)的查詢速度，精確查詢可達到ms、s級別。模糊查詢、多條件查詢根據(jù)數(shù)據(jù)量大小、集群規(guī)模等不同，可以達到s級、min級響應(yīng)，大規(guī)模數(shù)據(jù)分析、復(fù)雜模型算法等可以允許更長的響應(yīng)時間。

提供對集群最基本的狀態(tài)監(jiān)控功能，能夠滿足日常維護需求。監(jiān)控內(nèi)容應(yīng)至少包含：整體狀態(tài)、總體數(shù)據(jù)量、存儲空間使用情況、數(shù)據(jù)分布情況、動態(tài)的資源使用情況。

為保證系統(tǒng)的高可靠性，對平臺中的關(guān)鍵節(jié)點提供HA方案，故障切換時間要控制在min級別，10 min以內(nèi)。自動監(jiān)控故障發(fā)生，切換過程要自動完成，不需要人工干預(yù)。

交通行業(yè)數(shù)據(jù)的處理可以解決跨越行政區(qū)域的限制、智能的配置交通資源、提高交通運行速率、提高交通預(yù)測水平、提高環(huán)境監(jiān)測水平等。

3.2公交線網(wǎng)基礎(chǔ)數(shù)據(jù)準(zhǔn)備

公交站點聚合與線路匹配。把相同站名的站點位置坐標(biāo)統(tǒng)一，每個獨立站點單方向有且僅有唯一的坐標(biāo)位置；基于A*搜索算法，檢索公交行駛路徑；對每條公交運行線路進行校核，以線路實際運行的路徑為參照，確保線路運行軌跡正確，運行弧段號正確并且連貫，保證線路的完整性；并根據(jù)線路的站點位置與線路運行信息，計算線路相鄰站點間的距離。

3.3公交定位數(shù)據(jù)預(yù)處理

1）按照車輛編號、時間順序提取定位數(shù)據(jù)文件。

2）車輛定位數(shù)據(jù)轉(zhuǎn)換與坐標(biāo)偏移。將原始定位數(shù)據(jù)的時間格式由格林威治時間轉(zhuǎn)換為北京時間、經(jīng)緯度轉(zhuǎn)換為WGS-84，再將經(jīng)緯度由WGS-84偏移匹配為公用地圖坐標(biāo)。

3）地圖匹配，并判斷定位數(shù)據(jù)GPS坐標(biāo)是否合法。按照線路、車輛分組，生成每車輛GPS文件，結(jié)合坐標(biāo)位置信息，逐一匹配到地圖，并判斷GPS坐標(biāo)是否合法。

4）按照GPS坐標(biāo)搜索“最短距離”，定位車輛所在弧段具體位置。假定車輛行駛方向為1（環(huán)路不需要假定，僅一個方向），匹配該點所在線路的弧段編號和弧段位置， 按照指定線路方向進行全弧段序列匹配，弧段垂直距離最小者為該點所在弧段，如果最小值大于設(shè)定的閾值，則認(rèn)為該數(shù)據(jù)為無效數(shù)據(jù)。

5）計算公交車定位數(shù)據(jù)與弧段起始點的距離，計算位于弧段的百分比位置車輛行駛軌跡。在最小垂直距離的基礎(chǔ)上計算出公交車定位數(shù)據(jù)與弧段起始點的距離，以及位于弧段的百分比位置，從而將公交車定位數(shù)據(jù)匹配到相應(yīng)弧段上，確定車輛行駛軌跡。如果GPS位置無法匹配成功某個弧段，則將該點記錄匹配不成功弧段列表，對于非環(huán)路線路，連續(xù)匹配不成功GPS點數(shù)量大于4時，則調(diào)換線路方向，重新匹配所有GPS點序列，以適應(yīng)線路雙向異路的情況。

6）根據(jù)線路的方向1路徑走向，判斷所經(jīng)過弧段是否連續(xù)，進行弧段彌補。

由于公交車運行在城市中，而城市高樓的遮擋和反射是造成測量誤差的重要原因之一。同時，在林蔭路、隧道及立交橋下行駛時，很容易發(fā)生數(shù)據(jù)丟失的情況。此外，公交定位數(shù)據(jù)每隔30 s回傳一次，由于采樣頻率設(shè)定的間隔較大，也會發(fā)生匹配弧段不連續(xù)情況。

因此，如果兩點所在弧段不連續(xù)，則進行彌補，計算兩點間線路距離，弧段上如有站點，則認(rèn)為車輛行駛過一站點，確認(rèn)該弧段為站點弧段，并根據(jù)站點位置計算到站時間，弧段上沒有站點，則計算進入弧段時間。滿足以下兩個條件的數(shù)據(jù)，不進行弧段彌補：

兩點時間間隔如果超出設(shè)定的閾值，則廢棄該點前所有數(shù)據(jù)。

計算兩點間直線距離，如果兩點直線距離行駛速度大于等于設(shè)定的速度值，則廢棄該點數(shù)據(jù)，認(rèn)為該點偏移較大，為飛點。

7）判斷該GPS點所在弧段是否站點弧段。對于首站的GPS點如果離開站點在一定距離內(nèi)時，則認(rèn)為該點弧段仍為首站站點弧段，該點時間為到站時間。對于中途的GPS點只有該點在弧段的位置比例大于等于站點位置比例，方可認(rèn)定該點弧段為站點弧段，并根據(jù)線路距離計算到站時間。

8）基于所駛過站點進行車輛行駛方向判別，確定是公交行駛方向。若公交車定位數(shù)據(jù)已經(jīng)經(jīng)過的兩個站點的站點編號是順序排列的，則計算的公交行駛方向正確；若站點編號是倒序，則公交行駛方向錯誤。需要改變匹配線路方向，按照之前的方法重新計算所有公交車定位數(shù)據(jù)，重新進行定位，以確定正確的方向。

9）公交定位數(shù)據(jù)預(yù)處理結(jié)果輸出。以兩相鄰公交站點間路徑為基本處理單位，通過數(shù)據(jù)的預(yù)處理，計算得到各車輛每個站點的到站時間，即每個站點區(qū)間的起始時間和結(jié)束時間，以數(shù)據(jù)表的形式輸出，再導(dǎo)入到數(shù)據(jù)庫中，作為公交運送速度計算或與其他類別公共交通數(shù)據(jù)匹配的基礎(chǔ)。

4　結(jié)束語

基于交通行業(yè)的大數(shù)據(jù)處理平臺通過Hadoop基礎(chǔ)架構(gòu)，利用交通大數(shù)據(jù)處理驗證平臺，實現(xiàn)交通行業(yè)的數(shù)據(jù)存儲、數(shù)據(jù)交換、數(shù)據(jù)查詢和數(shù)據(jù)計算的功能。

［1］周寶曜，劉偉，范承工.大數(shù)據(jù)［M］.北京：電子工業(yè)出版社，2013.

［2］楊正洪.智慧城市—大數(shù)據(jù)、物聯(lián)網(wǎng)和云計算之應(yīng)用［M］.北京：清華大學(xué)出版社，2014.

The paper introduces how to build a big data platform architecture for traffic industry. The platform can support the PB-level heterogeneous data management and complex transportation business processing， provide API development， and can fulfi ll data storage， query， calculation and analysis. It also can provide SQL-like query function for conveniently query mass data. The Hadoop-based big data processing platform is built through the virtual resource management and Hadoop distributed parallel computing. Keywords: traffi c； big data platform； system architecture； technology

10.3969/j.issn.1673-4440.2016.02.020

2014-06-11）