科學(xué)分析交通管理體系成為改善城市交通的關(guān)鍵，為緩解巨大的城市交通壓力，傳統(tǒng)的思維模式是通過加大基礎(chǔ)設(shè)施投入來改善交通擁堵，但這種解決模式因受到土地資源的限制，在一定程度局限性較大，且不利于交通發(fā)展、城市空間發(fā)展以及土地利用發(fā)展這三者之間的整合。現(xiàn)階段公共交通系統(tǒng)已產(chǎn)生海量的數(shù)據(jù)，將這些海量、分散、異構(gòu)的信息資源集成起來，達(dá)到共享、融合并形成一定的應(yīng)用模式，從中分析和挖掘出潛在的價(jià)值，去解決公共交通的瓶頸問題，是將大數(shù)據(jù)應(yīng)用于公共交通領(lǐng)域的重要舉措。傳統(tǒng)的異構(gòu)數(shù)據(jù)集成方法無法適應(yīng)海量數(shù)據(jù)條件下對數(shù)據(jù)的集成，因此，在“大數(shù)據(jù)”時(shí)代針對公共交通架構(gòu)平臺問題的研究具有一定的理論價(jià)值和實(shí)踐意義。

1 公共交通大數(shù)據(jù)的來源、特征及需求

1.1 公共交通大數(shù)據(jù)的來源

大數(shù)據(jù)并不是一項(xiàng)技術(shù)，而是由于不斷增長的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來的一種現(xiàn)象。信息技術(shù)的高滲透性和高集成能力，為交通信息化建設(shè)提供了充分的技術(shù)支撐，有效地改善和提升了傳統(tǒng)的交通產(chǎn)業(yè)。大量公共交通設(shè)施和系統(tǒng)的投入使用，在改善公共交通服務(wù)水平方面發(fā)揮了重要作用，但與此同時(shí)也產(chǎn)生了海量的數(shù)據(jù)。城市中的公交車、出租車、地鐵以及可租賃自行車等不同公司下的軟件系統(tǒng)、自助服務(wù)終端、刷卡設(shè)備、傳感器、GPS、車載設(shè)備等收集到的數(shù)據(jù)是公共交通大數(shù)據(jù)的主要來源。

我國大部分城市的各類交通運(yùn)輸管理主體分散在不同主管部門，涉及交通的“有關(guān)部門”超過10個，每個部門都有自己的信息化系統(tǒng)［1］。以西安為例，其交通智能化分析平臺的數(shù)據(jù)源自路網(wǎng)攝像頭/傳感器、地面公交、軌道交通、出租車以及省際客運(yùn)、旅游、化危運(yùn)輸、停車、租車等運(yùn)輸行業(yè)等;公交線路有379條，公交車輛有7 000多輛，公交卡刷卡記錄日均200多萬條;地鐵日均刷卡記錄16萬條。

1.2 公共交通大數(shù)據(jù)的特征

綜上所述，公共交通服務(wù)數(shù)據(jù)的體量巨大(Volume)，來自企業(yè)政府部門的數(shù)據(jù)量正在從TB級躍升到PB級;公共交通服務(wù)數(shù)據(jù)類型繁多(Variety)，包括來自政府的路網(wǎng)監(jiān)控?cái)?shù)據(jù)、企業(yè)的調(diào)度數(shù)據(jù)、車輛的GPS數(shù)據(jù)、市民在各種交通工具上的刷卡數(shù)據(jù)等;公共交通服務(wù)數(shù)據(jù)的實(shí)時(shí)性要求高(Velocity)，不斷變化的公共交通客流數(shù)據(jù)需要及時(shí)被計(jì)算和反饋給調(diào)度人員和決策人員;公共交通服務(wù)數(shù)據(jù)的價(jià)值密度低(Value)，但商業(yè)價(jià)值高，比如公交車載GPS和車載視頻監(jiān)控連續(xù)不斷發(fā)回大量數(shù)據(jù)，但對于特定的管理行為來說，只有較少的數(shù)據(jù)需要被調(diào)用或計(jì)算，因此如何在海量的數(shù)據(jù)里發(fā)現(xiàn)價(jià)值是一個需要解決的問題。公共交通服務(wù)數(shù)據(jù)符合大數(shù)據(jù)的“4V”特征［2－3］。

1.3 公共交通大數(shù)據(jù)的需求

用戶個性化的服務(wù)需求需要公共交通大數(shù)據(jù)平臺的支持。隨著社會信息化的不斷深化，乘客已不滿足于傳統(tǒng)的公共交通服務(wù)，而是個性化的智能交通出行服務(wù)信息。對于基于大數(shù)據(jù)的增值服務(wù)的需求越來越明顯，乘客希望通過各種設(shè)備方便地查詢公共交通系統(tǒng)的線路信息、調(diào)度信息和實(shí)時(shí)狀況，甚至自動優(yōu)化出行線路和出行方式［4］。這些最“小”的服務(wù)需求卻需要公共交通大數(shù)據(jù)平臺的支持。

公共交通運(yùn)營單位需要通過公共交通大數(shù)據(jù)平臺的引導(dǎo)，實(shí)現(xiàn)實(shí)時(shí)高效的車輛調(diào)度，不斷提高運(yùn)輸能力，提升服務(wù)水平，增強(qiáng)公共交通的競爭力和吸引力，使公共交通成為人們出行的首選工具。

智慧城市的建設(shè)需要構(gòu)建公共交通大數(shù)據(jù)平臺。2013年9月27日，科技部、國家標(biāo)準(zhǔn)化管理委員會將西安、南京、成都等20個城市列為國家智慧城市試點(diǎn)示范城市。傳統(tǒng)的交通管理很難實(shí)現(xiàn)交通的動態(tài)化管理，政府需要通過分析、挖掘海量的交通數(shù)據(jù)中的有效信息，結(jié)合已有經(jīng)驗(yàn)和數(shù)學(xué)模型等生成更高層次的決策支持信息。為交通誘導(dǎo)、交通控制、交通需求管理、緊急事件管理等提供更加有力的決策支持，輔助對交通管理制定出較好的統(tǒng)籌和解決方案［5］。

2 公共交通大數(shù)據(jù)平臺構(gòu)建

2.1 大數(shù)據(jù)平臺核心思想

公共交通大數(shù)據(jù)平臺的核心思想如圖1所示，其包括:(1)統(tǒng)一應(yīng)用平臺:支持客戶化開發(fā)、應(yīng)用集成、部署、個性化配置、運(yùn)維管理等應(yīng)用全生命周期管理。(2)開放、標(biāo)準(zhǔn)與跨平臺:從基礎(chǔ)設(shè)施、服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫、中間件、編程語言、客戶端等層面支持行業(yè)標(biāo)準(zhǔn)和跨多個平臺。(3)業(yè)務(wù)與技術(shù)分離:基于平臺開發(fā)應(yīng)用時(shí)只需關(guān)注業(yè)務(wù)，基礎(chǔ)技術(shù)包括事務(wù)、安全、并發(fā)、日志等均由平臺提供。(4)按需組合:公共交通大數(shù)據(jù)平臺采用松耦合的設(shè)計(jì)方式，可以根據(jù)需要組裝各個部分。

圖1 公共交通大數(shù)據(jù)平臺核心思想

2.2 大數(shù)據(jù)平臺整體架構(gòu)

圖2中給出了公共交通大數(shù)據(jù)平臺架構(gòu)，采用分層構(gòu)建的方式，并綜合大數(shù)據(jù)平臺的核心思想，將公共交通大數(shù)據(jù)平臺分為:自底向上為數(shù)據(jù)來源層、大數(shù)據(jù)數(shù)據(jù)層、大數(shù)據(jù)邏輯層和大數(shù)據(jù)表現(xiàn)層。這個架構(gòu)體系綜合了從數(shù)據(jù)的生成、組織、存儲、查詢、分析到服務(wù)的一系列過程，可為構(gòu)建智能交通提供參考。

圖2 公共交通大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)來源層通過車載設(shè)備、GPS技術(shù)、傳感器、一卡通設(shè)備、自助服務(wù)終端等收集交通數(shù)據(jù)，使用移動互聯(lián)網(wǎng)、衛(wèi)星、網(wǎng)絡(luò)等與大數(shù)據(jù)數(shù)據(jù)層進(jìn)行實(shí)時(shí)、分時(shí)或離線通訊，再通過網(wǎng)絡(luò)將各種方式采集的數(shù)據(jù)或人為加工的數(shù)據(jù)統(tǒng)一傳輸和存儲到大數(shù)據(jù)數(shù)據(jù)層。數(shù)據(jù)層采用數(shù)據(jù)倉庫的數(shù)據(jù)集成方法，通過和數(shù)據(jù)挖掘技術(shù)結(jié)合，從海量繁雜的數(shù)據(jù)中真正找出有價(jià)值的信息和知識。邏輯層基于SOA的公共交通大數(shù)據(jù)平臺邏輯層技術(shù)分析，實(shí)現(xiàn)跨公司、跨系統(tǒng)的公共交通智能調(diào)度。用戶通過普通瀏覽器、客戶端應(yīng)用程序、平板電腦、手機(jī)等各類終端訪問表現(xiàn)層，基于Portal的顯示技術(shù)滿足用戶個性化的顯示需求，并與數(shù)據(jù)層、邏輯層的擴(kuò)展模型相適應(yīng)。

2.3 數(shù)據(jù)層集成

公共交通管理數(shù)據(jù)的多元異構(gòu)性是其主要特征。從組成的角度看，海量的大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)［6］。對于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的集成，可采用基于NoSQL等技術(shù)進(jìn)行集成。由于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)并非公共交通信息系統(tǒng)的主要數(shù)據(jù)，本文就不再贅述。對于海量的結(jié)構(gòu)化數(shù)據(jù)的集成方法，從實(shí)現(xiàn)的體系結(jié)構(gòu)角度出發(fā)，主要有聯(lián)邦數(shù)據(jù)庫、中間件技術(shù)和數(shù)據(jù)倉庫技術(shù)。

聯(lián)邦數(shù)據(jù)庫通過對不同來源的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，達(dá)到各系統(tǒng)之間的通信、交流和信息傳遞。但因需要編寫大量的接口程序，開發(fā)難度和系統(tǒng)的耦合性較高，因此并不適用于公共交通行業(yè)。中間件技術(shù)是通過軟件的方式將異構(gòu)數(shù)據(jù)轉(zhuǎn)換成預(yù)先設(shè)計(jì)好的數(shù)據(jù)模式。但該方法不適于改變數(shù)據(jù)的存儲和管理方式，對于實(shí)時(shí)多變的公共交通數(shù)據(jù)并不適用。數(shù)據(jù)倉庫提供了容納大量信息的場所，通過與數(shù)據(jù)挖掘技術(shù)的結(jié)合，可從海量繁雜的數(shù)據(jù)中真正找出有價(jià)值的信息和知識［7］。因此，本文認(rèn)為數(shù)據(jù)倉庫的數(shù)據(jù)集成方法更適合應(yīng)用于公共交通大數(shù)據(jù)平臺。基于數(shù)據(jù)倉庫技術(shù)體系結(jié)構(gòu)的公共交通大數(shù)據(jù)平臺數(shù)據(jù)層如圖3所示。

圖3 基于數(shù)據(jù)倉庫技術(shù)體系結(jié)構(gòu)的公共交通大數(shù)據(jù)平臺數(shù)據(jù)層

預(yù)先設(shè)計(jì)好的全局模式，把來自各個公共交通行業(yè)的公司不同的數(shù)據(jù)副本按照統(tǒng)一的要求和格式進(jìn)行抽取、轉(zhuǎn)換和加載(ETL)，構(gòu)成數(shù)據(jù)倉庫。按照統(tǒng)一規(guī)則從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗和轉(zhuǎn)換，其間還要進(jìn)行過濾(Filtering)、匯總(Summary)，或與其他數(shù)據(jù)源的信息合并(Merging)，最后按預(yù)定的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫中可使用多維模型，在OLAP上對數(shù)據(jù)進(jìn)行鉆取、上卷、切片、切塊和旋轉(zhuǎn)，多視角觀察和分析數(shù)據(jù)［8］。

2.4 邏輯層集成

在公共交通大數(shù)據(jù)平臺中，邏輯層是實(shí)現(xiàn)公共交通信息共享的核心層次。要構(gòu)建一體化公共交通體系，發(fā)展多層次公共交通服務(wù)，車輛調(diào)度就是一個重要問題。要集行業(yè)、企業(yè)兩級平臺于一體的調(diào)度體系，實(shí)現(xiàn)公交運(yùn)營智能化調(diào)度。面向服務(wù)的體系結(jié)構(gòu)(Service－Oriented Architecture，SOA)能將調(diào)度業(yè)務(wù)轉(zhuǎn)換為一組相互鏈接的服務(wù)或可重復(fù)業(yè)務(wù)任務(wù)。通過使用基于XML語言的Web服務(wù)描述語言(Web Services Definition Language，WSDL)來描述各公共交通公司的系統(tǒng)接口，促使服務(wù)轉(zhuǎn)向更動態(tài)、更靈活的接口系統(tǒng)中，同時(shí)以標(biāo)準(zhǔn)接口的形式向外發(fā)布服務(wù)，無需考慮與技術(shù)相關(guān)的細(xì)節(jié)，從而達(dá)到跨系統(tǒng)、跨平臺的目的。同時(shí)SOA架構(gòu)中中立接口的定義特征使服務(wù)之間的松耦合系統(tǒng)更具靈活性，從而公共交通系統(tǒng)不會隨著應(yīng)用程序的服務(wù)內(nèi)部結(jié)構(gòu)和實(shí)現(xiàn)的變化而變化［9］。

鑒于此，使用業(yè)務(wù)流程執(zhí)行語言(Business Process Execution Language，BPEL)和 Web Services技術(shù)，建立了基于SOA的公共交通大數(shù)據(jù)平臺邏輯層如圖4。

圖4 基于SOA的公共交通大數(shù)據(jù)平臺邏輯層

從圖4可知，此模型從邏輯上分為3部分:(1)應(yīng)用實(shí)現(xiàn)模塊。這部分完成對調(diào)度邏輯的實(shí)現(xiàn)，通過相應(yīng)的編程技術(shù)完成具體功能的實(shí)現(xiàn)。可使用較為成熟的設(shè)計(jì)模式構(gòu)建調(diào)度應(yīng)用程序，并為各公司提供接口類來滿足臨時(shí)或特殊的需求。通用邏輯負(fù)責(zé)默認(rèn)調(diào)度功能的實(shí)現(xiàn)，擴(kuò)展邏輯負(fù)責(zé)臨時(shí)或者特殊調(diào)度功能實(shí)現(xiàn)。(2)流程實(shí)現(xiàn)模塊。調(diào)度流程的編排通過使用BPEL的相關(guān)技術(shù)來實(shí)現(xiàn);提供相應(yīng)的BPEL設(shè)計(jì)工具來制定BPEL流程;BPEL服務(wù)器負(fù)責(zé)調(diào)度流程的運(yùn)行并調(diào)用相應(yīng)的服務(wù)［10］。BPEL通過調(diào)用 Web Service來實(shí)現(xiàn)智能調(diào)度的業(yè)務(wù)功能。(3)臨時(shí)或特殊調(diào)度流程模塊。模型中這一部分為各公司人員提供較為簡便的流程定義接口，負(fù)責(zé)將自定義轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)的BPEL流程描述，與BPEL引擎之間通過Web Service來實(shí)現(xiàn)交互。

2.5 表現(xiàn)層集成

公共交通大數(shù)據(jù)平臺表現(xiàn)層是用戶直接操作的界面集，用戶可通過普通瀏覽器、客戶端應(yīng)用程序、平板電腦、手機(jī)等終端來瀏覽各類交通信息數(shù)據(jù)。該層負(fù)責(zé)使用者與整個系統(tǒng)的交互，一般由外觀界面、表單控件、界面框架等部分構(gòu)成。

大數(shù)據(jù)平臺表現(xiàn)層采用Portal的方式實(shí)現(xiàn)。Portal可將來自不同系統(tǒng)的界面集成在一起，達(dá)到單點(diǎn)登錄、個性化定制的需求［11］?；赑ortal體系結(jié)構(gòu)的公共交通大數(shù)據(jù)平臺表現(xiàn)層如圖5所示。

圖5 基于Portal體系結(jié)構(gòu)的公共交通大數(shù)據(jù)平臺表現(xiàn)層

不同的公共交通應(yīng)用程序通過Portal被集成在一起，用戶通過HTTP協(xié)議訪問用HTML、WML、XML等編寫的Portal頁面，通過大數(shù)據(jù)平臺服務(wù)器端的處理將相應(yīng)信息返回給頁面顯示。Portal Web Application處理來自各種客戶端的請求，針對每個用戶調(diào)用其個性化的頁面;Portlet/Servlet Container負(fù)責(zé)運(yùn)行 Portlets，并為其提供所需要的運(yùn)行時(shí)環(huán)境，管理它們的生命周期，同時(shí)也為Portlets的相關(guān)數(shù)據(jù)提供持久存儲機(jī)制。容器通過 Portlet API來調(diào)用 Portlets，從 Portal里通過Portlet Invoker API就可調(diào)到Portlet容器;容器使用Portlet Provider SPI(Service Provider Interface)來找回Portal的有關(guān)信息。

3 總結(jié)與展望

大數(shù)據(jù)可能帶來的巨大價(jià)值已被企業(yè)和政府高度重視。城市公共交通作為關(guān)系人民群眾“行有所乘”的重大民生工程，直接影響著廣大人民群眾的生活質(zhì)量。本文針對公共交通數(shù)據(jù)海量、分散、多源、異構(gòu)等問題采用了數(shù)據(jù)倉庫、SOA和Portal的集成方式，在跨公司、跨平臺現(xiàn)狀下，以數(shù)據(jù)為線索逐級分層，構(gòu)建了公共交通大數(shù)據(jù)平臺架構(gòu)。通過大數(shù)據(jù)來解決制約城市公共交通的瓶頸問題是新時(shí)期我們改善公共交通問題的新方式，同時(shí)也為構(gòu)建智能交通、智慧城市提供技術(shù)基礎(chǔ)支撐。

［1］岳建明，袁倫渠.智能交通發(fā)展中的大數(shù)據(jù)分析［J］.生產(chǎn)力研究，2013(6):137－138.

［2］Grobelnik M.Big－ data computing:Creating revolutionary breakthroughs in commerce，science，and society［R/OL］.(2012－07－04)［2013－12－26］http://videolectures.net/eswc2012_grobelnik_big_data/.

［3］Barwick H.The“four Vs”of big data implementing information infrastructure symposium［EB/OL］.(2011－08－05)［2013 －12 －26］http://www.computerworld.com.au/article/396198/iiis_four_vs_big_data/.

［4］Greg R，Alisha K.How big data drives intelligent transportation［EB/OL］.(2012－08－16)［2013－12－26］http://www.greenbiz.com/blog/2012/08/15/how － big － data －drives－intelligent－transportation.

［5］周為鋼，楊良懷，潘建，等.論智能交通大數(shù)據(jù)處理平臺之構(gòu)建［C］.合肥:第八屆中國智能交通年會，2013.

［6］覃雄派，王會舉，杜小勇，等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生［J］.軟件學(xué)報(bào)，2012，23(1):32－45.

［7］王珊，王會舉，覃雄派，等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望［J］.計(jì)算機(jī)學(xué)報(bào)，2011，34(10):1741 －1751.

［8］Hsinchun Chen Chiang，Roger H L，Storey Veda C.Business intelligence and analytics:from big data to big impact［J］.MISQuarterly，2012(4):1165 －1188.

［9］曾綠麟.基于SOA的服務(wù)集成平臺的設(shè)計(jì)與實(shí)現(xiàn)［D］.武漢:華中科技大學(xué)，2010.

［10］李德生，王海洋.一種將業(yè)務(wù)規(guī)則與BPEL有效集成的方法［J］.計(jì)算機(jī)應(yīng)用，2005，25(11):2705 －2707.

［11］霍曉鵬.基于Portal的信息門戶系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.北京:北京郵電大學(xué)，2009.