張淑梅 李福興

摘要：針對(duì)城市交通產(chǎn)生大量的實(shí)時(shí)、連續(xù)數(shù)據(jù)處理的問題，提出采用Storm分布式實(shí)時(shí)計(jì)算框架解決該問題。系統(tǒng)采用Kafka軟件實(shí)時(shí)采集生產(chǎn)現(xiàn)場(chǎng)各類大量參數(shù)、發(fā)布-訂閱消息，經(jīng)Storm的Trident應(yīng)用軟件組件對(duì)大數(shù)據(jù)進(jìn)行過濾、拆分、分組、函數(shù)、狀態(tài)更新、狀態(tài)查詢、重新分區(qū)等操作完成大數(shù)據(jù)計(jì)算;結(jié)合分布式遠(yuǎn)程過程調(diào)用軟件（DRPC軟件）滿足并行查詢需求。經(jīng)驗(yàn)證，該設(shè)計(jì)可提高原系統(tǒng)計(jì)算速度、效率和吞吐量，降低開銷，確保數(shù)據(jù)安全。

關(guān)鍵詞：城市交通;大數(shù)據(jù);分布式

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）09-0126-03

0 引言

隨著各種交通信息采集技術(shù)例如傳感器技術(shù)、地理信息系統(tǒng)、GPS采集系統(tǒng)和計(jì)算機(jī)技術(shù)被廣泛地運(yùn)用到城市交通路口，采集得到的交通數(shù)據(jù)呈爆發(fā)增長。經(jīng)研究和分析發(fā)現(xiàn)，這些數(shù)據(jù)無論是類型、格式、長度各不相同，可分為結(jié)構(gòu)化、非結(jié)構(gòu)化及半結(jié)構(gòu)化。本系統(tǒng)是建立在城市智慧交通物聯(lián)網(wǎng)、云計(jì)算平臺(tái)基礎(chǔ)上，構(gòu)建基于分布式流式實(shí)時(shí)數(shù)據(jù)計(jì)算技術(shù)，建立城市智慧交通大數(shù)據(jù)計(jì)算系統(tǒng)。提高城市智慧交通系統(tǒng)響應(yīng)速度，輔助城市交通智慧決策。

1 實(shí)時(shí)數(shù)據(jù)流式計(jì)算相關(guān)技術(shù)

1.1 常見大數(shù)據(jù)實(shí)時(shí)流式處理架構(gòu)

在大數(shù)據(jù)實(shí)時(shí)流式處理領(lǐng)域，主流開源實(shí)時(shí)流式處理系統(tǒng)有Storm、Spark和Flink 3種。Storm工作時(shí)需要將任務(wù)設(shè)計(jì)為有向無環(huán)拓?fù)鋱D，將設(shè)計(jì)好的有向無環(huán)拓?fù)鋱D提交至系統(tǒng)集群，由系統(tǒng)集群主控節(jié)點(diǎn)分配任務(wù)給相應(yīng)的工作節(jié)點(diǎn)執(zhí)行任務(wù)。Spark是在處理前按時(shí)間戳預(yù)先將大數(shù)據(jù)分割為微批量數(shù)據(jù)流后進(jìn)行批處理作業(yè)。Flink數(shù)據(jù)處理模式與Storm類似，但具有完善的窗口功能及窗口聚合等功能，并且會(huì)主動(dòng)操作窗口狀態(tài)。為了及時(shí)掌握數(shù)據(jù)處理結(jié)果，流式處理系統(tǒng)都有數(shù)據(jù)處理狀態(tài)管理功能，但這3種系統(tǒng)的狀態(tài)管理模式不同，Storm將狀態(tài)管理滾動(dòng)至應(yīng)用層面或使用更高層面的抽象Trident[1]。Spark把狀態(tài)信息視作是一種微批量數(shù)據(jù)流，在處理數(shù)據(jù)時(shí)加載數(shù)據(jù)目前的狀態(tài)信息，該狀態(tài)信息通過利用Spark具有的函數(shù)操作獲得該數(shù)據(jù)處理結(jié)果，同時(shí)修改被加載過數(shù)據(jù)的狀態(tài)信息。Flink系統(tǒng)設(shè)有專門的數(shù)據(jù)狀態(tài)信息，F(xiàn)link在內(nèi)部存儲(chǔ)計(jì)算產(chǎn)生的中間結(jié)果，并供后續(xù)功能或算子計(jì)算結(jié)果使用。數(shù)據(jù)狀態(tài)信息可存在Flink堆內(nèi)存或堆外內(nèi)存，也可存儲(chǔ)介質(zhì)在第三方介質(zhì)中。

1.2 storm架構(gòu)

Storm架構(gòu)適用于處理無邊界的流式數(shù)據(jù)，其架構(gòu)依賴Hadoop的Zookeeper。Storm系統(tǒng)將接收的數(shù)據(jù)直接在內(nèi)存中進(jìn)行計(jì)算，沒有數(shù)據(jù)傳輸和磁盤讀寫的延遲問題，滿足分布式流式實(shí)時(shí)計(jì)算對(duì)實(shí)時(shí)性要求高的需求。

Storm采用主從架構(gòu)模式，其系統(tǒng)有主節(jié)點(diǎn)（Master）和工作節(jié)點(diǎn)（ worker）之分。主節(jié)點(diǎn)為系統(tǒng)的中心，在其上運(yùn)行后臺(tái)服務(wù)程序（Nimbus）、運(yùn)行各種Storm命令，包括激活（active） 、使失效（Deactive）、再次平衡（rebalance）以及終止（kill）命令。工作節(jié)點(diǎn)（worker）上運(yùn)行服務(wù)程序（Supervisor），工作節(jié)點(diǎn)也是Spout和Bolt執(zhí)行處理邏輯的地方，通過Supervisor程序安排工作任務(wù)、下載作業(yè)副本。Supervisor監(jiān)聽執(zhí)行后臺(tái)服務(wù)程序提交的任務(wù)，并可對(duì)任務(wù)線程執(zhí)行啟動(dòng)、暫停和撤銷工作。一個(gè)或多個(gè)工作線程組成一個(gè)工作進(jìn)程，工作線程由每個(gè)任務(wù)節(jié)點(diǎn)的實(shí)例組成，是Storm的最小單元。

Storm通過Zookeeper程序協(xié)調(diào)主節(jié)點(diǎn)和工作結(jié)點(diǎn)之間的通信。任何在主結(jié)點(diǎn)和工作結(jié)點(diǎn)之間的狀態(tài)都存放在Zookeeper里。一旦其中一個(gè)任務(wù)崩潰了，當(dāng)恢復(fù)的時(shí)候，將從Zookeeper中讀取該任務(wù)之前的狀態(tài)，讓Storm結(jié)點(diǎn)任務(wù)恢復(fù)還原至崩潰以前的狀態(tài)。

1.3 Kafka消息系統(tǒng)

Kafka是一個(gè)分布式高吞吐量消息系統(tǒng)[2]，它擁有高吞吐量、易擴(kuò)展和透明的特點(diǎn)，非常適合處理為實(shí)現(xiàn)規(guī)模化、智能化、集群化生產(chǎn)而組成的物聯(lián)網(wǎng)大數(shù)據(jù)。

Kafka消息可靠性機(jī)制。當(dāng)一個(gè)消息被發(fā)送后，發(fā)送端將等候服務(wù)器成功接收到消息的反饋（可通過參數(shù)控制等候時(shí)間），假如消息在傳輸途中丟失或是其中某個(gè)服務(wù)器死機(jī)，發(fā)送端則重新發(fā)送。服務(wù)器端記錄了補(bǔ)償值（offset），用于指向接收端下一個(gè)即將發(fā)送的信息，當(dāng)接收端收到了消息，但卻在計(jì)算過程中宕機(jī)，此時(shí)接收端可以通過這個(gè)補(bǔ)償值重新找到上一個(gè)消息再進(jìn)行處理。接收端還有權(quán)限控制這個(gè)補(bǔ)償值，對(duì)持久化到服務(wù)器端的消息做任意處理，提高了消息發(fā)送可靠性，降低數(shù)據(jù)丟失率。Kafka的數(shù)據(jù)轉(zhuǎn)發(fā)方案具有允許集群中的某一節(jié)點(diǎn)死機(jī)而不影響整個(gè)集群工作的特點(diǎn)，即在一個(gè)集群中，當(dāng)備份數(shù)量為N下，并允許N-1個(gè)節(jié)點(diǎn)失敗。在所有這些節(jié)點(diǎn)中，其中有一個(gè)節(jié)點(diǎn)是頭節(jié)點(diǎn)，該節(jié)點(diǎn)存儲(chǔ)了其它備份節(jié)點(diǎn)列表，并維持各個(gè)備份間的狀體同步。基于Kafka的特點(diǎn)，本次選用Kafka程序。

2 城市智慧交通大數(shù)據(jù)處理需求分析

智能交通云平臺(tái)主要包含以下幾個(gè)方面：（1）基于大數(shù)據(jù)處理技術(shù)的交通信息數(shù)據(jù)共享中心，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行有效存儲(chǔ)和管理的城市智慧交通數(shù)據(jù)系統(tǒng)。（2）為方便公眾出行，對(duì)于出現(xiàn)大面積交通癱瘓的情況進(jìn)行預(yù)測(cè)、避免擁堵的城市交通監(jiān)測(cè)和預(yù)警系統(tǒng)。（3）可按時(shí)段和區(qū)域統(tǒng)計(jì)車輛污染的排放情況，為改善環(huán)境、促進(jìn)綠色環(huán)保以及治理汽車尾氣的排放提供數(shù)據(jù)支持的交通污染監(jiān)測(cè)系統(tǒng)。（4）可對(duì)交通數(shù)據(jù)進(jìn)行分析，讓公交部門充分了解道路情況，適時(shí)調(diào)整公交運(yùn)力，合理分配公交資源，方便公眾出行的公交管理系統(tǒng)。（5）城市智慧交通系統(tǒng)除人車路外，其智慧網(wǎng)絡(luò)主要由物聯(lián)網(wǎng)和其它設(shè)備組成，其中物聯(lián)網(wǎng)是系統(tǒng)的中樞神經(jīng)系統(tǒng)。在過程中實(shí)時(shí)產(chǎn)生的大數(shù)據(jù)連續(xù)、數(shù)量相對(duì)比較大的特點(diǎn)，傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)無法滿足這一需求，需要構(gòu)建一套能實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分布式流式處理系統(tǒng)。

3 實(shí)時(shí)數(shù)據(jù)計(jì)算系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)架構(gòu)設(shè)計(jì)

根據(jù)Storm系統(tǒng)的特點(diǎn)，系統(tǒng)采用結(jié)構(gòu)化設(shè)計(jì)模式，其主要由實(shí)時(shí)數(shù)據(jù)采集、實(shí)時(shí)數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)數(shù)據(jù)分享和實(shí)時(shí)系統(tǒng)監(jiān)控部分組成。（1）實(shí)時(shí)數(shù)據(jù)采集層可以根據(jù)數(shù)據(jù)來源、類型、大小、頻率進(jìn)行預(yù)裝軟件，如Kafka軟件和Nginx軟件實(shí)現(xiàn)對(duì)這些數(shù)據(jù)的實(shí)時(shí)采集和預(yù)處理，其中Nginx軟件安裝在一臺(tái)服務(wù)器上，它將獲取的數(shù)據(jù)按照要求（如地點(diǎn)、時(shí)間等）進(jìn)行日志分割并生成一定格式的日志文件，它是流式數(shù)據(jù)處理平臺(tái)數(shù)據(jù)的入口和預(yù)處理系統(tǒng)。（2）實(shí)時(shí)數(shù)據(jù)計(jì)算層是基于Storm 實(shí)時(shí)流式計(jì)算技術(shù)的高可靠大數(shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng)，實(shí)現(xiàn)對(duì)海量大數(shù)據(jù)的分布式、高容錯(cuò)、高可靠實(shí)時(shí)的大數(shù)據(jù)進(jìn)行計(jì)算，是整個(gè)Storm系統(tǒng)的核心部分。系統(tǒng)應(yīng)用Storm系列組件進(jìn)行任務(wù)拓?fù)湓O(shè)計(jì)、系統(tǒng)開發(fā)、進(jìn)程編排、信息發(fā)布等。（3）數(shù)據(jù)存儲(chǔ)層是系統(tǒng)用于城市智慧交通運(yùn)行過程中產(chǎn)生的各類數(shù)據(jù)存儲(chǔ)管理部分。在大數(shù)據(jù)分布式實(shí)時(shí)流式計(jì)算系統(tǒng)中，為了提高系統(tǒng)存取數(shù)據(jù)的速度，數(shù)據(jù)存儲(chǔ)根據(jù)數(shù)據(jù)應(yīng)用背景分為內(nèi)存存儲(chǔ)和硬盤存儲(chǔ)兩種模式。本次系統(tǒng)內(nèi)存儲(chǔ)選Redis系統(tǒng)，磁盤存儲(chǔ)選用Hbase數(shù)據(jù)庫管理系統(tǒng)。（4）實(shí)時(shí)數(shù)據(jù)分享層是實(shí)時(shí)數(shù)據(jù)計(jì)算系統(tǒng)將大數(shù)據(jù)處理的結(jié)果對(duì)其它應(yīng)用系統(tǒng)分享的接口。本系統(tǒng)基于高效的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)子系統(tǒng)，采用統(tǒng)一的Web服務(wù)、遠(yuǎn)程服務(wù)等服務(wù)方式為外部系統(tǒng)提供實(shí)時(shí)數(shù)據(jù)訪問接口。（5）實(shí)時(shí)數(shù)據(jù)處理監(jiān)控實(shí)現(xiàn)對(duì)系統(tǒng)各部分的軟件和硬件運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。實(shí)現(xiàn)對(duì)每個(gè)節(jié)點(diǎn)上的CPU、存儲(chǔ)（內(nèi)外存）、網(wǎng)絡(luò)帶寬等參數(shù)進(jìn)行實(shí)時(shí)監(jiān)測(cè);完成對(duì)系統(tǒng)接入部分的實(shí)時(shí)數(shù)據(jù)傳輸情況的實(shí)時(shí)監(jiān)測(cè);控制系統(tǒng)各計(jì)算節(jié)點(diǎn)計(jì)算任務(wù)均衡分配、計(jì)算任務(wù)的啟停等;可以對(duì)實(shí)時(shí)數(shù)據(jù)計(jì)算子系統(tǒng)和實(shí)時(shí)數(shù)據(jù)分析子系統(tǒng)等的數(shù)據(jù)存取和訪問進(jìn)行實(shí)時(shí)監(jiān)測(cè)，還能根據(jù)預(yù)先定義的報(bào)警規(guī)則發(fā)出狀態(tài)報(bào)警和預(yù)警。

3.2 城市智慧交通大數(shù)據(jù)處理

3.2.1 數(shù)據(jù)實(shí)時(shí)計(jì)算設(shè)計(jì)

數(shù)據(jù)實(shí)時(shí)計(jì)算是Storm系統(tǒng)的核心。Storm通過轉(zhuǎn)發(fā)數(shù)據(jù)功能，按類別聚類建立拓?fù)洌粩嘟邮墁F(xiàn)場(chǎng)的數(shù)據(jù)，Storm通過主節(jié)點(diǎn)按事先設(shè)定的工作（worker）分配任務(wù)（Task），Spout和Bolt則按類處理大數(shù)據(jù)。

Spout接受傳輸層數(shù)據(jù)的輸入或從文件中讀入數(shù)據(jù)、監(jiān)視新文件，文件一旦被修改，Spout會(huì)重新讀入數(shù)據(jù)并覆蓋之前的元組（tuple），是數(shù)據(jù)實(shí)時(shí)計(jì)算數(shù)據(jù)的入口，將接受的數(shù)據(jù)組成tuple（元組），將tuple發(fā)射給Bolt進(jìn)行數(shù)據(jù)實(shí)時(shí)執(zhí)行流式數(shù)據(jù)合并、連接、分組、聚合等操作，將操作結(jié)果再發(fā)送至下一個(gè)Bolt，直至數(shù)據(jù)處理完畢，實(shí)現(xiàn)城市智慧交通實(shí)時(shí)監(jiān)控。

為了更進(jìn)一步提升系統(tǒng)處理大數(shù)據(jù)的能力，在完成了將數(shù)據(jù)傳輸至kafka后，系統(tǒng)選用Trident topology進(jìn)行分析計(jì)算，Trident是在storm基礎(chǔ)上，一個(gè)以實(shí)時(shí)流式計(jì)算為目標(biāo)的高度抽象。它在提供處理大吞吐量數(shù)據(jù)能力的同時(shí)，具有高速分布式查詢和有狀態(tài)流式處理的能力。

3.2.2 建立一個(gè)Trident的spout

數(shù)據(jù)采集層完成接收系統(tǒng)實(shí)時(shí)數(shù)據(jù)，具體設(shè)計(jì)如下：創(chuàng)建一個(gè)新的數(shù)據(jù)流，名命為cm-spout，并且傳參數(shù)給kakfk的spout實(shí)例。將Trident topology轉(zhuǎn)換成一個(gè)storm的拓?fù)?。分別指定cmhosts和kafka的topic（主題）名，cmhost用于配置連接kafka的Zookeeper，這個(gè)spout用于通過查詢的方式動(dòng)態(tài)確定kafka的分區(qū)信息。經(jīng)過這步已經(jīng)建立了一個(gè)用于發(fā)射批量城市智慧交通系統(tǒng)運(yùn)行的spout。

3.2.3 分割操作及創(chuàng)建每個(gè)字段的獨(dú)立數(shù)據(jù)流

將數(shù)據(jù)進(jìn)行分割為小數(shù)據(jù)發(fā)布到系統(tǒng)集群的計(jì)算機(jī)中完成計(jì)算任務(wù)，分割將以時(shí)間戳、地點(diǎn)、設(shè)備名為關(guān)鍵詞進(jìn)行分割，建立多個(gè)主題，用來管理不同時(shí)間、地點(diǎn)、設(shè)備所產(chǎn)生的數(shù)據(jù)。不同類別的數(shù)據(jù)記錄到其對(duì)應(yīng)的主題池中，而這些進(jìn)入到主題池中的數(shù)據(jù)會(huì)被Kafka寫入磁盤的日志文件中進(jìn)行持久化處理，降低Storm對(duì)實(shí)時(shí)分析處理速度的要求，等Storm有空時(shí)再處理沒來及處理的數(shù)據(jù)，避免數(shù)據(jù)處理的遺漏。

3.3 實(shí)時(shí)報(bào)警

在按照數(shù)據(jù)字段名建立了新的流數(shù)據(jù)后，設(shè)計(jì)一個(gè)跟蹤函數(shù)，實(shí)現(xiàn)對(duì)各數(shù)據(jù)判斷是否在合適的范圍內(nèi)，如果不在合適范圍內(nèi)，則向XMPP發(fā)送報(bào)警信息和該數(shù)據(jù)并將該數(shù)據(jù)做永久保存處理。

3.4 并行查詢?cè)O(shè)計(jì)

通過以上設(shè)計(jì)，系統(tǒng)已可快速高效地處理城市智慧交通生產(chǎn)的大數(shù)據(jù)，但要通過查詢處理數(shù)據(jù)的結(jié)果，還需進(jìn)一步完成查詢的設(shè)計(jì)。在設(shè)計(jì)時(shí)，將應(yīng)用軟件、查詢和Storm隔離，它們之間只能通過外部方式來訪問，為了查詢拓?fù)湟垣@取所需的數(shù)據(jù)，將使用DRPC（分布式遠(yuǎn)程過程調(diào)用）實(shí)現(xiàn)。DRPC是Storm中一套軟件，它接收用戶輸入，同時(shí)也作為DRPC Spout的輸入而存在。

在Storm的DRPC中，客戶端將向Storm的DRPC的服務(wù)器發(fā)出一個(gè)DRPC請(qǐng)求，服務(wù)器將把請(qǐng)求發(fā)送到相應(yīng)Storm topology來協(xié)調(diào)請(qǐng)求和計(jì)算，并等待該拓?fù)涞膽?yīng)答。一旦收到應(yīng)答，它將把應(yīng)答返回到請(qǐng)求客戶端，實(shí)現(xiàn)并行查詢，高效地查詢各項(xiàng)參數(shù)。

4 實(shí)驗(yàn)分析

通過在學(xué)校機(jī)房選5臺(tái)PC機(jī)組建局網(wǎng)，安裝系統(tǒng)進(jìn)行測(cè)試。所選軟件為Storm 0.10.0 released、Kafka2.11-0.10.0.1， Zookeeper3.4.9，Hbase1.0.3，Redis-3.2.3，PC機(jī)配置為：16G內(nèi)存，intel 酷睿i7的CPU，1T磁盤。實(shí)驗(yàn)部署架構(gòu)，集群各個(gè)節(jié)點(diǎn)的配置和功能描述如表1所示。

4.1 系統(tǒng)可靠性測(cè)試

實(shí)驗(yàn)采用運(yùn)行數(shù)據(jù)包模擬每1秒產(chǎn)生1000條數(shù)據(jù)記錄。當(dāng)數(shù)據(jù)源快速輸出時(shí)，計(jì)算的數(shù)據(jù)傳輸在“no-ack”（無應(yīng)答）時(shí)的丟失率和采用“ack”（有應(yīng)答）保障機(jī)制后的數(shù)據(jù)傳輸?shù)膩G失率。為確保準(zhǔn)確性，采用5次數(shù)據(jù)的平均值。從表2可以看出，采用ack后，有效降低數(shù)據(jù)丟失率。

4.2 系統(tǒng)實(shí)時(shí)計(jì)算性能

由表3可知，系統(tǒng)實(shí)時(shí)計(jì)算總量和時(shí)間的關(guān)系，進(jìn)而證明該系統(tǒng)具有很好的實(shí)時(shí)性和抗壓性。大數(shù)據(jù)實(shí)時(shí)流式分布式計(jì)算已在一些工業(yè)生產(chǎn)現(xiàn)場(chǎng)、電商平臺(tái)得到應(yīng)用并顯現(xiàn)出良好的效果，這也從另一方面驗(yàn)證了設(shè)計(jì)的可行性。

5 結(jié)語

本文研究以城市智慧交通系統(tǒng)為對(duì)象，在已有系統(tǒng)硬件信息化、智能化建設(shè)基礎(chǔ)上，使用實(shí)時(shí)流式數(shù)據(jù)計(jì)算系統(tǒng)的Storm技術(shù)，設(shè)計(jì)了城市智慧交通實(shí)時(shí)大數(shù)據(jù)的分析、計(jì)算、反饋與預(yù)警系統(tǒng)。（1）系統(tǒng)實(shí)施后，在城市智慧交通運(yùn)行過程中，對(duì)其各項(xiàng)參數(shù)的實(shí)時(shí)自動(dòng)采集、連續(xù)監(jiān)測(cè)和快速分析，相關(guān)人員可以實(shí)時(shí)獲取城市智慧交通運(yùn)行的信息及預(yù)警信息。系統(tǒng)采集到的基礎(chǔ)數(shù)據(jù)可以為后續(xù)的大數(shù)據(jù)分析、處理提供支持。（2）由于涉及到生產(chǎn)實(shí)踐問題，設(shè)計(jì)驗(yàn)證僅在學(xué)校用模擬數(shù)據(jù)驗(yàn)證，有待生產(chǎn)現(xiàn)場(chǎng)的驗(yàn)證。（3）本文僅對(duì)城市智慧交通系統(tǒng)大數(shù)據(jù)處理進(jìn)行了系統(tǒng)構(gòu)建，還有待更進(jìn)一步完善、不斷改善實(shí)施方案、優(yōu)化系統(tǒng)算法及與應(yīng)用系統(tǒng)更進(jìn)一步融合，提高應(yīng)用系統(tǒng)的運(yùn)行速度和效率。

參考文獻(xiàn)

[1] 王潤華，毋建軍，侯佳路.分布式實(shí)時(shí)計(jì)算引擎——Storm研究[J].中國科技信息，2015（6）：68-69.

[2] 程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào)，2014，25（9）：1889-1908.

[3] 朱偉，李紀(jì)云，江慧，劉柱云.基于分布式內(nèi)存數(shù)據(jù)的數(shù)據(jù)同步設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2014（37）：77-79+83.

Abstract：To solve the problem of large amount of real-time and continuous data processing in urban traffic， a Storm distributed real-time computing framework is proposed to solve the problem. The system uses Kafka software to collect a large number of parameters and publish-subscribe messages on the production site in real time. Through the Trident application software component of Storm， large data are filtered， split， grouped， functions， status updates， status queries， re-partitioning and other operations to complete large data calculation.and combines distributed remote procedure call software （DRPC software） to meet the needs of parallel query. It has been proved that the design can improve the computing speed， efficiency and throughput of the original system， reduce the overhead and ensure data security.

Key words：urban transportation;Big data;distributed