方秋水　陳衛(wèi)國　何建兵　徐　鋒

(廣東嶺南通股份有限公司　廣東 廣州 510110)

0　引　言

自城市交通一卡通系統(tǒng)建設(shè)以來，經(jīng)歷了20多年的發(fā)展，承擔(dān)著廣大民眾在公交、輪渡、地鐵、輕軌、出租汽車等公共交通工具的電子支付服務(wù)功能，為人們?nèi)粘Ｉ睢⒊鲂刑峁┝吮憷h(huán)境。城市交通一卡通已經(jīng)成為人們生活中快捷、便利的支付手段與途徑，同時(shí)也積累了龐大的數(shù)據(jù)資源。以廣東嶺南通為例，舊有的清算系統(tǒng)已經(jīng)運(yùn)行了多年，存儲(chǔ)了數(shù)百億條歷史交易數(shù)據(jù)，隨著交通一卡通應(yīng)用規(guī)模的擴(kuò)大，數(shù)據(jù)量將呈現(xiàn)快速的上升趨勢(shì)。對(duì)海量數(shù)據(jù)的交易與處理很大程度上增加了原有清分系統(tǒng)運(yùn)算負(fù)荷，降低了運(yùn)行性能和處理速度。通過對(duì)一卡通業(yè)務(wù)發(fā)展分析可知，從目前城市交通一卡通交易數(shù)據(jù)的變化趨勢(shì)來看，交易數(shù)據(jù)量逐日增加，可以預(yù)見的是，未來接受處理的歷史交易數(shù)據(jù)量將以百億計(jì)，日均處理的交易數(shù)據(jù)量將達(dá)千萬級(jí)別，現(xiàn)有的系統(tǒng)硬件及清算系統(tǒng)顯然是無法滿足未來龐大的清算業(yè)務(wù)量需求。

另一方面，隨著交通運(yùn)輸部全國交通一卡通互聯(lián)互通工程的開展和《城市公共交通IC卡技術(shù)規(guī)范》的頒布實(shí)施，旨在統(tǒng)一全國范圍內(nèi)的交通一卡通標(biāo)準(zhǔn)體系，進(jìn)一步規(guī)范交通行業(yè)支付領(lǐng)域的業(yè)務(wù)管理系統(tǒng)、信息接口、安全技術(shù)、讀寫終端、卡片產(chǎn)品以及設(shè)備認(rèn)證檢測(cè)等技術(shù)標(biāo)準(zhǔn)，為新一代城市一卡通提供技術(shù)標(biāo)準(zhǔn)與指引，從而推進(jìn)全國交通一卡通互聯(lián)互通工作。但研究發(fā)現(xiàn)，大部分省市現(xiàn)有的交通一卡通清分系統(tǒng)均不滿足交通部頒布的新技術(shù)規(guī)范，如果在原有清算系統(tǒng)的基礎(chǔ)上進(jìn)行升級(jí)改造，不僅工作量巨大且技術(shù)風(fēng)險(xiǎn)較高，難以確保與交通部清算系統(tǒng)的正常對(duì)接[1-3]。

在此背景下，為滿足未來數(shù)據(jù)量劇增的系統(tǒng)處理需求及全國統(tǒng)一標(biāo)準(zhǔn)的接入要求，本文提出一種基于分布式計(jì)算技術(shù)的交通一卡通清分結(jié)算管理系統(tǒng)。該系統(tǒng)采用目前流行的Storm平臺(tái)模式，為行業(yè)企業(yè)提供彈性計(jì)算、存儲(chǔ)及實(shí)時(shí)業(yè)務(wù)處理，適用于一卡通行業(yè)大數(shù)據(jù)分析與應(yīng)用。

1　建設(shè)需求分析

隨著城市一卡通業(yè)務(wù)的發(fā)展和數(shù)據(jù)規(guī)模的擴(kuò)展，對(duì)交易數(shù)據(jù)清分管理功能及性能提出了更高的要求，在滿足日益增加的交易數(shù)據(jù)量情況下，新系統(tǒng)應(yīng)能高效、準(zhǔn)確地對(duì)交易數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，針對(duì)多場(chǎng)景化應(yīng)用數(shù)據(jù)的多樣性，滿足其清分的需求。

該系統(tǒng)在設(shè)計(jì)上充分考慮了其性能水平的可擴(kuò)展性，即隨著交易數(shù)據(jù)的增加，在不中斷服務(wù)的情況下，系統(tǒng)可通過添加資源，讓服務(wù)在更多的進(jìn)程以及服務(wù)器之間并行處理，在提高其處理性能同時(shí)，不影響清分功能的穩(wěn)定性、健壯性，使得系統(tǒng)具有海量數(shù)據(jù)的處理能力。

針對(duì)交通一卡通目前及未來將要開展的信用支付業(yè)務(wù)、電子票證業(yè)務(wù)、小額理財(cái)業(yè)務(wù)等互聯(lián)網(wǎng)增值應(yīng)用的發(fā)展需求，該系統(tǒng)在保障基本清分功能的基礎(chǔ)上，進(jìn)一步滿足各種不同業(yè)務(wù)類型數(shù)據(jù)需求，并隨著業(yè)務(wù)數(shù)據(jù)種類的不斷增加，系統(tǒng)能方便進(jìn)行擴(kuò)展并屏蔽數(shù)據(jù)之間的差異性，為企業(yè)提供可靠的數(shù)據(jù)處理。

另外，該系統(tǒng)還需具有可持續(xù)計(jì)算，對(duì)數(shù)據(jù)實(shí)時(shí)分析的能力，最大限度地降低交易延遲。一旦有數(shù)據(jù)流入系統(tǒng)就即刻處理并及時(shí)生成清分結(jié)果。在系統(tǒng)出現(xiàn)故障的時(shí)候，仍能對(duì)外正常提供清分服務(wù)，具有良好的容錯(cuò)能力。

2　系統(tǒng)平臺(tái)構(gòu)建

分布式計(jì)算是一門計(jì)算機(jī)科學(xué)，主要研究分布式系統(tǒng)。分布式應(yīng)用系統(tǒng)主要包括若干臺(tái)通過網(wǎng)絡(luò)實(shí)現(xiàn)互聯(lián)的計(jì)算機(jī)，這些計(jì)算機(jī)互相配合以完成一個(gè)共同的應(yīng)用目標(biāo)或服務(wù)目標(biāo)。具體的過程是：將需要進(jìn)行大量計(jì)算的項(xiàng)目數(shù)據(jù)分割成小塊，由多臺(tái)計(jì)算機(jī)分別計(jì)算，再上傳運(yùn)算結(jié)果后統(tǒng)一合并得出數(shù)據(jù)結(jié)論。在分布式系統(tǒng)上運(yùn)行的計(jì)算機(jī)程序稱為分布式計(jì)算程序；分布式編程就是編寫上述程序的過程。

Storm是一個(gè)分布式的、可靠的、容錯(cuò)的數(shù)據(jù)流處理平臺(tái)，目前由Apache軟件基金會(huì)進(jìn)行維護(hù)。Storm項(xiàng)目License遵循Apache License，Version2.0協(xié)議。Apache License協(xié)議是對(duì)商業(yè)應(yīng)用友好的許可，使用者也可以在需要的時(shí)候修改代碼來滿足需求并作為開源或者商業(yè)用途。Storm的使用案例廣泛，國內(nèi)如支付寶、淘寶、百度等公司用其進(jìn)行大數(shù)據(jù)的實(shí)時(shí)計(jì)算分析處理。大數(shù)據(jù)計(jì)算主要包括批量計(jì)算和實(shí)時(shí)計(jì)算，解決了批量計(jì)算處理歷史數(shù)據(jù)而不能實(shí)現(xiàn)低延遲高響應(yīng)的缺點(diǎn)[4]。由于數(shù)據(jù)增長永不停息，伴隨著這種巨大的業(yè)務(wù)增長潛力,需要深入思考不同的數(shù)據(jù)處理方式。

與Hadoop相比，Storm技術(shù)具有更大的優(yōu)勢(shì)，將成為下一代云計(jì)算、大數(shù)據(jù)的核心技術(shù)[5]。Storm技術(shù)可使持續(xù)不斷的流計(jì)算變得容易，彌補(bǔ)了Hadoop批處理所不能滿足的實(shí)時(shí)要求。Storm經(jīng)常用于實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用和ETL等領(lǐng)域。Storm的部署管理非常簡單，在同類的流式計(jì)算工具中其性能是非常出眾的。

針對(duì)一卡通清分管理系統(tǒng)的各種特性要求，經(jīng)研究分析，提出一種基于Storm的新型大數(shù)據(jù)處理解決方案，旨在使大數(shù)據(jù)處理功能更穩(wěn)定、高效,并對(duì)通過對(duì)本方案進(jìn)行相關(guān)性能測(cè)試 ,結(jié)果表明這種新型架構(gòu)是高效、穩(wěn)定、可行的[6]。

在設(shè)計(jì)上采用Storm作為清分處理的基礎(chǔ)平臺(tái)。該平臺(tái)具有以下特性：

(1) 廣泛的適用場(chǎng)景基于分布式計(jì)算系統(tǒng)提供的基礎(chǔ)原語之上可以構(gòu)建滿足多應(yīng)用場(chǎng)景的實(shí)時(shí)計(jì)算應(yīng)用。如實(shí)時(shí)分析、持續(xù)計(jì)算等。

(2) 高可伸縮性資源管理節(jié)點(diǎn)來配置進(jìn)程管理，使得分布式計(jì)算系統(tǒng)的集群擴(kuò)展十分方便，通過增加資源可相應(yīng)提高性能。

(3) 高性能使用高性能的序列化工具和消息隊(duì)列，且因?yàn)橄⑹菬o狀態(tài)的，數(shù)據(jù)流不需要持久化，因此有著非常優(yōu)秀的性能。

(4) 高可靠性高效可靠的消息確認(rèn)機(jī)制，保證每一條消息都會(huì)被處理。

(5) 異常健壯更容易進(jìn)行集群管理，其節(jié)點(diǎn)的無狀態(tài)性和fail-over的設(shè)計(jì)使得它并不存在單點(diǎn)故障問題。

(6) 容錯(cuò)性保證一個(gè)拓?fù)溆?jì)算節(jié)點(diǎn)一直運(yùn)行，數(shù)據(jù)在處理過程中發(fā)生異常，分布式計(jì)算系統(tǒng)能夠重新發(fā)現(xiàn)異常的場(chǎng)景。

3　系統(tǒng)架構(gòu)設(shè)計(jì)

3.1　架構(gòu)設(shè)計(jì)

構(gòu)建面向全省的交通一卡通清分管理系統(tǒng)，利用基于Storm的分布式計(jì)算技術(shù)實(shí)現(xiàn)對(duì)全省各地市交通一卡通的交易數(shù)據(jù)進(jìn)行統(tǒng)一化、標(biāo)準(zhǔn)化管理，并推動(dòng)清分服務(wù)與全國交通一卡通互聯(lián)互通系統(tǒng)進(jìn)行業(yè)務(wù)對(duì)接。鑒于未來發(fā)展的應(yīng)用需求，該應(yīng)用研究對(duì)系統(tǒng)整體架構(gòu)進(jìn)行合理有效的設(shè)計(jì)，系統(tǒng)架構(gòu)自下而上可劃分為4個(gè)層次，分別是接口層、系統(tǒng)功能層、集成層、視窗層，如圖所示。

圖1　系統(tǒng)架構(gòu)圖

(1) 接口層接口層是指該系統(tǒng)與所有外部系統(tǒng)的接口，負(fù)責(zé)對(duì)接的系統(tǒng)包括密鑰管理系統(tǒng)、結(jié)算中心系統(tǒng)、部級(jí)清分結(jié)算平臺(tái)等，接口根據(jù)業(yè)務(wù)類型可分為4類接口數(shù)據(jù)采集接口、校驗(yàn)接口、數(shù)據(jù)下發(fā)接口、公用服務(wù)接口。

(2) 系統(tǒng)功能層系統(tǒng)功能層包括了系統(tǒng)功能子系統(tǒng)，集中、直觀地體現(xiàn)一卡通清分管理系統(tǒng)的各項(xiàng)業(yè)務(wù)功能。

(3) 集成層基于系統(tǒng)功能層規(guī)劃出集成各個(gè)子系統(tǒng)所需的系統(tǒng)功能，主要分為頁面集成和數(shù)據(jù)處理集成。

(4) 視窗層面向用戶交互，用于顯示數(shù)據(jù)和接收用戶輸入的數(shù)據(jù)，為用戶提供一種交互式操作的界面。

3.2　技術(shù)架構(gòu)

圖2　技術(shù)架構(gòu)圖

客戶端使用Web瀏覽器(IE/Firefox/chrome)、手機(jī)、數(shù)據(jù)下發(fā)系統(tǒng)等三種途徑進(jìn)行系統(tǒng)交互。表現(xiàn)層與業(yè)務(wù)邏輯層通過HTTP HTML進(jìn)行交互。移動(dòng)端和后臺(tái)服務(wù)器端可通過socket接口進(jìn)行數(shù)據(jù)獲??；數(shù)據(jù)采集部分可通過FTP/SOCKET/HTTP等協(xié)議進(jìn)行上傳和下載業(yè)務(wù)數(shù)據(jù)。

業(yè)務(wù)邏輯層即應(yīng)用服務(wù)器層，既包含使用JSP/Servlet、FineReport、socket/ws接口、JDBC等持久化技術(shù)的J2ee Web應(yīng)用，也包含數(shù)據(jù)接口服務(wù)組件。

核心組件層即數(shù)據(jù)處理層，核心處理組件為基于Storm計(jì)算框架的數(shù)據(jù)處理引擎。為匹配其高速處理的性能，需要配備高速緩存Redis作為緩存中間件，其中保留處理監(jiān)控信息以及處理配置數(shù)據(jù)。同時(shí)配備高速穩(wěn)定的消息隊(duì)列中間件Kafka作為數(shù)據(jù)處理入口，以處理高吞吐的海量數(shù)據(jù)。配備Zookeeper作為管理配置服務(wù)器，為Storm做負(fù)載均衡的調(diào)節(jié)。同時(shí)在數(shù)據(jù)核查中使用分布式存儲(chǔ)數(shù)據(jù)庫MongDB作為核查數(shù)據(jù)的存儲(chǔ)，并配有數(shù)據(jù)核查程序進(jìn)行各種數(shù)據(jù)核查。使用Oracle客戶端程序SQLLoader作為數(shù)據(jù)入庫程序，可以滿足該系統(tǒng)數(shù)據(jù)庫入庫速率要求。

3.3　Storm架構(gòu)

圖3　Storm架構(gòu)圖

如圖3所示，當(dāng)一個(gè)流計(jì)算拓?fù)涠x好后被提交，首先會(huì)由分布式計(jì)算系統(tǒng)提供的方法把編寫好的程序包上傳到任務(wù)調(diào)度節(jié)點(diǎn)(Nimbus)，接著對(duì)分布式計(jì)算系統(tǒng)本身和拓?fù)溆?jì)算節(jié)點(diǎn)進(jìn)行校驗(yàn)，主要檢查分布式計(jì)算系統(tǒng)的狀態(tài)是否為在線以及拓?fù)溆?jì)算節(jié)點(diǎn)是否有同名的實(shí)例在運(yùn)行。下一步，任務(wù)調(diào)度節(jié)點(diǎn)(Nimbus)對(duì)每個(gè)拓?fù)溆?jì)算節(jié)點(diǎn)都會(huì)做出詳細(xì)的預(yù)算，如工作量，它會(huì)根據(jù)拓?fù)溆?jì)算節(jié)點(diǎn)中定義的parallelism hint參數(shù)，來給計(jì)算節(jié)點(diǎn)設(shè)定工作量(Task)數(shù)目，并且分配與其對(duì)應(yīng)的Task-id，再把分配好的工作量信息寫入資源管理節(jié)點(diǎn)(Zookeeper)上的/tasks目錄下。然后任務(wù)調(diào)度節(jié)點(diǎn)(Nimbus)會(huì)給管理進(jìn)程(Supervisor)分配工作，方法是把任務(wù)信息寫在資源管理節(jié)點(diǎn)(Zookeeper)的管理目錄下。管理進(jìn)程(Supervisor)每隔一定時(shí)間都會(huì)查看管理目錄，檢查任務(wù)調(diào)度節(jié)點(diǎn)(Nimbus)是否有新任務(wù)分配，當(dāng)有新提交的任務(wù)時(shí)，將先下載代碼，然后根據(jù)任務(wù)信息安排計(jì)算節(jié)點(diǎn)(Worker)執(zhí)行這些任務(wù)。每個(gè)計(jì)算節(jié)點(diǎn)(Worker)都是一個(gè)JVM實(shí)例，工作量(Task)會(huì)被分配到具體的計(jì)算節(jié)點(diǎn)中執(zhí)行，計(jì)算節(jié)點(diǎn)(Worker)與工作量(Task)支持并行度的配置。

圖4為Storm中運(yùn)行的一個(gè)實(shí)時(shí)應(yīng)用程序，由于各組件間的消息流動(dòng)形成邏輯上的一個(gè)拓?fù)浣Y(jié)構(gòu)。一個(gè)Topology是Spout和Bolt組成的圖，通過Stream Groupings將圖中的Spout和Bolt連接起來。消息源Spout是Storm里面一個(gè)Topology里面的消息生產(chǎn)者，Spout從來源處讀取數(shù)據(jù)并放入Topology。Topology中所有的處理都由Bolt完成。即所有的消息處理邏輯被封裝在Bolt里面。Bolt負(fù)責(zé)完成具體的事項(xiàng)，比如連接的過濾、聚合、訪問文件、數(shù)據(jù)庫等。圖4描述的是一個(gè)Topology在設(shè)計(jì)上的結(jié)構(gòu)模型，具體的task的設(shè)置可由以下代碼完成，其中Spout的task數(shù)量為2，Bolt A的task數(shù)量為4，Bolt B與Bolt C的task數(shù)量為3。Bolt A與Bolt B從Spout處訂閱消息，Bolt C從Bolt A處訂閱消息。

圖4　Topology結(jié)構(gòu)圖

3.4　系統(tǒng)拓?fù)浣Y(jié)構(gòu)

該系統(tǒng)中拓?fù)涞脑O(shè)計(jì)嚴(yán)格遵循Storm平臺(tái)關(guān)于松耦合、高內(nèi)聚的原則，支持業(yè)務(wù)數(shù)據(jù)的多樣性，具有優(yōu)秀的橫向擴(kuò)展能力。系統(tǒng)的整體拓?fù)浣Y(jié)構(gòu)圖5所示。

圖5　系統(tǒng)總體拓?fù)潢P(guān)系圖

從數(shù)據(jù)采集階段開始，數(shù)據(jù)被流轉(zhuǎn)到文件處理的拓?fù)渲?，不同類型的?shù)據(jù)(如城市一卡通數(shù)據(jù)、國標(biāo)卡數(shù)據(jù)、信用管理數(shù)據(jù)、電子票證數(shù)據(jù)等)將被系統(tǒng)歸類并交給不同的拓?fù)溥M(jìn)行文件處理。當(dāng)新增業(yè)務(wù)數(shù)據(jù)類型的時(shí)候，只需新增對(duì)應(yīng)的拓?fù)溥M(jìn)行處理即可，不影響現(xiàn)有的拓?fù)洹Ｎ募幚硗負(fù)渑c數(shù)據(jù)存儲(chǔ)服務(wù)層密切交互，獲取執(zhí)行期間所需的基礎(chǔ)數(shù)據(jù)(如票卡信息、黑名單等)，并保存執(zhí)行的結(jié)果數(shù)據(jù)(有效數(shù)據(jù)、掛起數(shù)據(jù)等)。各種類型的業(yè)務(wù)數(shù)據(jù)經(jīng)過文件處理階段之后，統(tǒng)一進(jìn)入到數(shù)據(jù)檢查、異常處理、掛起數(shù)據(jù)核查等拓?fù)?，此類拓?fù)湟詳?shù)據(jù)存儲(chǔ)服務(wù)層作為數(shù)據(jù)的源頭，進(jìn)行相應(yīng)的數(shù)據(jù)處理，處理的結(jié)果通過數(shù)據(jù)接口服務(wù)進(jìn)行數(shù)據(jù)下發(fā)。系統(tǒng)的所有拓?fù)渚幱谙到y(tǒng)監(jiān)控模塊的監(jiān)視之下，該模塊將及時(shí)對(duì)數(shù)據(jù)處理執(zhí)行的過程進(jìn)行反饋。

以下就系統(tǒng)中的地標(biāo)卡數(shù)據(jù)處理拓?fù)溥M(jìn)行說明，其他拓?fù)涞脑O(shè)計(jì)過程與此類似。如圖6所示。

圖6　系統(tǒng)文件檢查拓?fù)鋱D

圖6描述的是關(guān)于某城市一卡通數(shù)據(jù)的文件檢查的拓?fù)?，具體處理流程如下：

數(shù)據(jù)從數(shù)據(jù)接口采集然后流入到ZIP Spout，ZIP Spout獲取數(shù)據(jù)后發(fā)送給節(jié)點(diǎn)ZIP Check Bolt。

ZIP Check Bolt進(jìn)行文件包基礎(chǔ)檢查，包括文件包標(biāo)示符、命名長度等。檢查合法之后，將數(shù)據(jù)流轉(zhuǎn)到下一節(jié)點(diǎn)Audit File Check Bolt進(jìn)行審計(jì)檢查。

審計(jì)檢查節(jié)點(diǎn)Audit File Check Bolt在比對(duì)文件包文件數(shù)據(jù)，數(shù)據(jù)條數(shù)，總交易金額等信息與審計(jì)文件所描述的一致之后，繼續(xù)將數(shù)據(jù)發(fā)送到下一節(jié)點(diǎn)File Base Check Bolt進(jìn)行數(shù)據(jù)包內(nèi)文件的檢查。

File Base Check Bolt節(jié)點(diǎn)對(duì)文件的標(biāo)示符、命名長度等檢查通過之后，將交易數(shù)據(jù)流轉(zhuǎn)到File Record Relipcation Check Bolt進(jìn)行文件內(nèi)數(shù)據(jù)重復(fù)的檢查。將非交易數(shù)據(jù)發(fā)送到Other File Handle Bolt進(jìn)行處理。

文件內(nèi)數(shù)據(jù)重復(fù)檢查節(jié)點(diǎn)在檢查過程中會(huì)剔除掉重復(fù)數(shù)據(jù)，將非重復(fù)數(shù)據(jù)發(fā)送給File Prev And Next Trade Check Bolt進(jìn)行文件內(nèi)上下筆的檢查。

非交易數(shù)據(jù)處理節(jié)點(diǎn)Other File Handle Bolt對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)之后，將數(shù)據(jù)入庫。

數(shù)據(jù)檢查節(jié)點(diǎn)出現(xiàn)數(shù)據(jù)校驗(yàn)不通過的情況下，將數(shù)據(jù)流轉(zhuǎn)到Invalid Handls Bolt進(jìn)行處理。

如數(shù)據(jù)通過所有文件檢查的節(jié)點(diǎn)，將被放置進(jìn)分布式消息隊(duì)列Kafka，以便其他Topology或者計(jì)算節(jié)點(diǎn)從中獲取數(shù)據(jù)繼續(xù)執(zhí)行任務(wù)，同時(shí)將檢查過程中產(chǎn)生的配置或結(jié)果數(shù)據(jù)緩存進(jìn)Redis。文件檢查Topology在執(zhí)行過程中還與數(shù)據(jù)庫進(jìn)行交互，獲取基礎(chǔ)配置數(shù)據(jù)。

以上整個(gè)流程受系統(tǒng)監(jiān)控模塊的監(jiān)控，對(duì)各節(jié)點(diǎn)出現(xiàn)數(shù)據(jù)校驗(yàn)不通過的情況進(jìn)行預(yù)警，及時(shí)將任務(wù)執(zhí)行過程進(jìn)行反映。

4　結(jié)　語

隨著城市智能交通應(yīng)用體系的不斷發(fā)展與健全,交通信息化應(yīng)用服務(wù)功能的不斷擴(kuò)展,以及交通一卡通大數(shù)據(jù)應(yīng)用技術(shù)的不斷深入發(fā)展，越來越多的復(fù)雜系統(tǒng)將成為定量分析的對(duì)象，如何打造合適的數(shù)據(jù)分析技術(shù)是未來企業(yè)發(fā)展的重要支撐點(diǎn)[7]。本文所研究的城市交通一卡通清分管理系統(tǒng)是基于一卡通業(yè)務(wù)發(fā)展、交通大數(shù)據(jù)分析服務(wù)以及未來智慧城市發(fā)展需求而建設(shè)，構(gòu)筑以云平臺(tái)為基礎(chǔ)設(shè)施，以主流的分布式計(jì)算技術(shù)為核心，具備高效性、高安全性、高可靠性的數(shù)據(jù)清分管理系統(tǒng)。實(shí)驗(yàn)證明，基于Storm的云計(jì)算適用于清分系統(tǒng)處理的實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)和非實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)[8]。另外，在滿足現(xiàn)有清分系統(tǒng)功能需求的同時(shí)，根據(jù)未來業(yè)務(wù)拓展的需求開發(fā)全新的清分系統(tǒng)，極大提升了通卡企業(yè)的清分業(yè)務(wù)功能，為構(gòu)建諸如電子票證、信用支付、金融服務(wù)等增值業(yè)務(wù)打下堅(jiān)實(shí)的基礎(chǔ)。通過本研究所提出的數(shù)據(jù)清分系統(tǒng)設(shè)計(jì)方案，不僅能有效實(shí)現(xiàn)一卡通在大數(shù)據(jù)環(huán)境下的清分結(jié)算，也能為企業(yè)、商戶等單位提供有價(jià)值的數(shù)據(jù)分析服務(wù)。

[1] 中華人民共和國交通運(yùn)輸部. 城市公共交通IC卡技術(shù)規(guī)范: Technical specification on IC card for urban public transport[S]. 人民交通出版社股份有限公司, 2015.

[2] 吳金成, 謝振東, 伍冠樺,等. 基于交通一卡通數(shù)據(jù)的交通狀態(tài)分析及動(dòng)態(tài)控制研究[J]. 廣東工業(yè)大學(xué)學(xué)報(bào), 2017, 34(3):77-82.

[3] 劉強(qiáng), 何建兵, 張景奎,等. 基于云計(jì)算的公共交通大數(shù)據(jù)處理機(jī)制研究[J]. 科技致富向?qū)? 2014(20):192-192.

[4] 趙菲, 林穗, 高西剛. 面向大數(shù)據(jù)的Storm框架研究與應(yīng)用[J]. 微型機(jī)與應(yīng)用, 2016, 35(6):12-14.

[5] 靳永超, 吳懷谷. 基于Storm和Hadoop的大數(shù)據(jù)處理架構(gòu)的研究[J]. 現(xiàn)代計(jì)算機(jī), 2015(3):9-12.

[6] 王利卿, 張華敏. 分布式計(jì)算框架的研究[J]. 信息技術(shù)與信息化, 2015(10):199-200.

[7] 劉聰, 許莉娟. 基于Java的分布式高性能計(jì)算架構(gòu)[J]. 鹽城工學(xué)院學(xué)報(bào)(自然科學(xué)版), 2013, 26(3):10-13.

[8] 胡宇舟, 范濱, 顧學(xué)道,等. 基于Hadoop的云計(jì)算在清分系統(tǒng)中的應(yīng)用[J]. 電子世界, 2014(13):16-17.