李 曉（成都師范學院物理與工程技術學院，成都,611130）

基于大數(shù)據(jù)分析的智能交通系統(tǒng)

李 曉
（成都師范學院物理與工程技術學院，成都,611130）

大數(shù)據(jù)發(fā)展至今，已為眾人所知，被眾多行業(yè)和企業(yè)所用。尤其在天文、氣象、醫(yī)療健康等領域已取得較好的應用價值。我國是汽車大國，快速發(fā)展的汽車行業(yè)也隨之帶來了城市交通擁堵和污染嚴重等諸多問題。如何將汽車與大數(shù)據(jù)有效的融合，通過大數(shù)據(jù)為政府決策提供數(shù)據(jù)支撐，為智能交通做貢獻。

大數(shù)據(jù);智能交通;隱馬爾科夫

2008年，《Nature》推出Big Data?？?，首次提出大數(shù)據(jù)的概念。2010年4月21日，大數(shù)據(jù)首次列入“維基百科”條目。2011年2月，《Science》推出《Dealing with Data》，說明大數(shù)據(jù)對于科學研究的重要性。緊接著，2011年5月，麥肯錫全球研究院(MGI)發(fā)布了一份報告——《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領域》，推動了工業(yè)界和學術界對大數(shù)據(jù)的關注；11月，IBM在產(chǎn)品發(fā)布會上主推大數(shù)據(jù)概念，這標志著大數(shù)據(jù)進入快速發(fā)展的時期。2012年，美國國家科學基金就發(fā)布了大數(shù)據(jù)指南。

隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)的分析與利用已滲透到電子商務，公共服務與安全以及諸多實體企業(yè)等多個行業(yè)。在第十二屆全國人民代表大會第二次會議上，“大數(shù)據(jù)”首次出現(xiàn)在政府工作報告中，這預示著大數(shù)據(jù)已經(jīng)脫離“是什么”的概念階段，正式進入“怎么用”的實施階段。數(shù)據(jù)儲備和數(shù)據(jù)分析能力將成為未來新型國家最重要的核心戰(zhàn)略能力。

什么是大數(shù)據(jù)，簡單地說，大數(shù)據(jù)就是海量數(shù)據(jù)加復雜計算。具體而言則是面對規(guī)模巨大、高速產(chǎn)生的形式多樣的數(shù)據(jù)，只有通過復雜計算才能獲取其中有價值信息的計算模式。其中，規(guī)模巨大（Volume）與高速產(chǎn)生（Velocity）反映出海量數(shù)據(jù)的特點；形式多樣（Variety）與信息價值（Value）反映出復雜計算的特點。

物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、移動互聯(lián)等技術在交通領域的應用和發(fā)展，對智能交通系統(tǒng)的模式、理念將產(chǎn)生巨大影響。目前，國際智能交通領域的車路協(xié)同系統(tǒng)、公眾出行便捷服務、車聯(lián)網(wǎng)等熱點技術領域，都在廣泛研究和應用云計算、大數(shù)據(jù)、移動互聯(lián)等新技術。隨著研究和應用的深入，可運用大數(shù)據(jù)技術對交通需求進行全面客觀的精準分析和分類研判，大數(shù)據(jù)分析在交通運行管理優(yōu)化、面向車輛和出行者的智能化服務，以及交通應急和安全保障等方面都將形成巨大的市場。目前北京、上海、廣東等地都在廣泛地研究和應用大數(shù)據(jù)技術，其中廣州、深圳已經(jīng)利用大數(shù)據(jù)為本地市民出行提供了便利。

但城市交通仍面臨諸多嚴重問題，以成都為例，成都作為西南地區(qū)的大型城市，路網(wǎng)體系日趨完善，承載能力不斷加強，但汽車保有量也強勁增長，供需關系依然緊張，截至2014年3月，成都地區(qū)的汽車保有量突破268.59萬輛大關，中心城區(qū)114.18萬輛，僅次于北京。根據(jù)成都交管局數(shù)據(jù)，成都已連續(xù)62個月月均增2萬新車。根據(jù)2011年至2013年的完整數(shù)據(jù)，2011年成都非私家車數(shù)量約為27萬，到2013年達到31萬，每年增加2萬輛；而私家車的數(shù)量從2011年的166.82萬輛，增加到2013年底的228.39萬輛，占據(jù)了汽車總保有量的87.86%。根據(jù)增長數(shù)據(jù)，交通部門將汽車平均長度和道路公里數(shù)，進行了簡單的加減法，得到的結果是：預計到2017年6月，成都人開車出門，會發(fā)現(xiàn)繞城以內的每一條道路上都停滿了車。城市環(huán)境承載已趨于飽和，按年均標準統(tǒng)計，6類污染物中有4類超標，其中PM2.5超過標準濃度250%。因此必須采取更有效的措施，才能保證城市交通系統(tǒng)有效運行。

我國大數(shù)據(jù)在智能交通領域中的應用僅僅是開始，在大數(shù)據(jù)背景下，交通相關的數(shù)據(jù)量已從TB級躍升到PB級，大數(shù)據(jù)分析交通除了流量、車輛信息之外，還應該包括路面情況、突發(fā)情況、天氣、周邊環(huán)境等諸多因素。

1 異構數(shù)據(jù)的協(xié)同計算理論

采集各種交通基礎設施數(shù)據(jù)，動態(tài)實時信息與天氣、政策法規(guī)等影響交通的其他因素。數(shù)據(jù)種類繁多，數(shù)據(jù)結構多樣，數(shù)據(jù)資源分散在各個部門。首先，大數(shù)據(jù)能夠在最大程度上利用記錄道路信息與人類出行信息進行分析。以傳統(tǒng)建模方式處理的數(shù)據(jù)都需要前期進行結構化處理，并記錄在相應的數(shù)據(jù)庫中。而大數(shù)據(jù)技術對于數(shù)據(jù)的結構的要求大大降低，可以通過人們留下的道路信息、行為習慣信息、偏好信息等各種維度的信息進行實時處理，立體完整地勾勒出每一個個體的各種特征，來發(fā)現(xiàn)大量交通流信息中隱含的模式和規(guī)則。其次，大數(shù)據(jù)將分散在不同部門的交通數(shù)據(jù)，例如，個人信息、公交網(wǎng)信息、鐵路信息、航空信息等各種交通相關部門的信息匯總整合，使各部門信息開放互通，實現(xiàn)多層次、跨部門的信息資源交換與共享。做到對交通網(wǎng)絡的統(tǒng)籌規(guī)劃，提高對交通系統(tǒng)的管控能力。最后，異構數(shù)據(jù)的協(xié)同計算是為了增強知識發(fā)現(xiàn)能力，不僅要解決信息的融合問題，還要解決多源數(shù)據(jù)的跨域關聯(lián)問題，由此，實現(xiàn)多源數(shù)據(jù)的知識增強。

2 基于大數(shù)據(jù)分析的決策支持系統(tǒng)

大數(shù)據(jù)通過對海量數(shù)據(jù)進行分析給整個社會帶來從生活到思維上革命性的變化：管理人員在進行決策的時候，會出現(xiàn)從“經(jīng)驗即決策”到“數(shù)據(jù)輔助決策”再到“數(shù)據(jù)即決策”的變化。利用大數(shù)據(jù)分析對具有時空特征的交通數(shù)據(jù)進行智能分析，可獲取豐富的、有價值的知識，如：時空分布、時空關聯(lián)規(guī)則、時空變化趨勢等，這些知識能夠為交通調度、路徑規(guī)劃、交通相關規(guī)則制定等提供決策支持。該項目存儲大量交通數(shù)據(jù)，而一些動態(tài)實時的交通數(shù)據(jù)要求快速處理，因為有些數(shù)據(jù)存在時效性，而基于大數(shù)據(jù)的智能交通系統(tǒng)同時需要較快的處理速度。該系統(tǒng)通過大數(shù)據(jù)算法使對數(shù)據(jù)處理分析的速度大大提高.首先，以隱馬爾可夫算法來預測天氣為例來說明，用一個通俗易懂的故事舉例說明：當一個隱士不能通過直接觀察天氣狀態(tài)來預測天氣時，但他有一些水藻。民間的傳說告訴我們水藻的狀態(tài)與天氣有一定的概率關系。也就是說，水藻的狀態(tài)與天氣時緊 密相關的。此時，我們就有兩組狀態(tài)：觀察狀態(tài)（水藻的狀態(tài)）和隱含狀態(tài)（天氣狀態(tài)），這樣在沒有直接觀察天氣的情況下得到天氣的變化情況。這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。其次，可以通過spark技術處理數(shù)據(jù)，這是一種優(yōu)于Hadoop集群的梳理方式，它提供快速的信息交互處理，提高了對系統(tǒng)的輸入輸出速度，從而提高智能交通系統(tǒng)的響應速度，與用戶的體驗滿意度。

3 基于復雜網(wǎng)絡的智能交通分析及可視化技術

城市交通系統(tǒng)作為一個動態(tài)系統(tǒng)，在其中包括了眾多復雜因素，如，人、環(huán)境、道路、交通規(guī)則等，這些因素相互關聯(lián)又相互制約，是一個典型的復雜系統(tǒng)。社交網(wǎng)絡中人的關系、不同地區(qū)之間的人口流動、道路上的交通流等等都可表達為復雜網(wǎng)絡模型。智能交通的應用中更多會用到帶有時空屬性的復雜網(wǎng)絡模型，每個節(jié)點都有空間坐標信息，并且邊和點的屬性（甚至結構）會隨時間而變化。因此，基于復雜網(wǎng)絡的數(shù)據(jù)管理和模式發(fā)現(xiàn)技術尤為重要。除此之外，可視化以直觀的方式幫助我們理解獲取的知識和模式。例如，將到達各個區(qū)域的人數(shù)畫成熱度圖（顏色越深，人越多）。將不同時間段的此類熱度圖連續(xù)播放，便可以動態(tài)反映整個城市的人口流動規(guī)律。與單一數(shù)據(jù)可視化不同，智能交通中的可視化技術需要同時考慮多個維度，其中空間和時間是兩個至關重要的維度。

交通數(shù)據(jù)由交通基礎設施數(shù)據(jù)和動態(tài)交通數(shù)據(jù)構成。動態(tài)交通數(shù)據(jù)可以通過磁頻、波頻、視頻和移動通信等技術采集。比如，通過在交叉路口埋設感應線圈或安裝在固定地點的視頻監(jiān)控設備，可以獲得路口的交通流量；用安裝在車內GPS等移動定位設備，可記錄車輛位置、瞬時速度、行程時間、行程速度、行駛軌跡等交通信息；基于RFID技術可采集關鍵斷面的分車型流量、速度等信息，并獲取車輛行駛軌跡；基于手機信令可獲取用戶運動線路和運動速度等。動態(tài)交通數(shù)據(jù)記錄著隨時間變化的空間和屬性信息，具有動態(tài)、多源、連續(xù)、無限、時變等特征，是進行實時監(jiān)控和動態(tài)分析的數(shù)據(jù)基礎。

但是這些原始數(shù)據(jù)中信息多且復雜，噪聲數(shù)據(jù)、缺失數(shù)據(jù)、冗余數(shù)據(jù)和不一致數(shù)據(jù)大量存在，嚴重影響了數(shù)據(jù)的質量。因而需要對基礎數(shù)據(jù)進行清洗工作，主要步驟：

1)數(shù)據(jù)分析。利用團隊已有的創(chuàng)新性大數(shù)據(jù)分析方法，對基礎數(shù)據(jù)有針對性地詳盡分析， 獲得關于數(shù)據(jù)屬性的元數(shù)據(jù)，從而發(fā)現(xiàn)數(shù)據(jù)集中存在的質量問題。

2)定義清洗轉換規(guī)則。根據(jù)上一步數(shù)據(jù)分析得到的結果定義清洗轉換規(guī)則與工作流。

3)檢測屬性錯誤并標準化。基于統(tǒng)計的方法、聚類方法、關聯(lián)規(guī)則的方法檢測數(shù)據(jù)集中的屬性錯誤，并糾正錯誤，使數(shù)據(jù)標準化。

4) 數(shù)據(jù)回流。利用干凈的數(shù)據(jù)替換數(shù)據(jù)源中原來的“臟數(shù)據(jù)”。

有效的交通數(shù)據(jù)組織管理和交通數(shù)據(jù)提取與分析是進行動態(tài)交通流和路網(wǎng)擁堵狀態(tài)分析的兩個關鍵環(huán)節(jié)。

根據(jù)交通管理部門和出行者對交通信息訪問的實時性和智能化需求，以動態(tài)交通流和路網(wǎng)擁堵狀態(tài)分析為導向，結合交通數(shù)據(jù)的時空特征和交通領域約束，深入分析數(shù)據(jù)之間潛在的相似性、相關性和關聯(lián)性，并對交通數(shù)據(jù)進行聚類分析、預測分析、關聯(lián)分析、異常檢測等深度挖掘，從而發(fā)現(xiàn)不同特征維度、不同數(shù)據(jù)粒度隱含的知識，利用降維技術分析和處理數(shù)據(jù)。

基于大數(shù)據(jù)分析，可以利用隱馬爾科夫模型建立智能交通預測模型。隱馬爾科夫模型用于描述隨機過程統(tǒng)計特性的概率模型，是一個雙重隨機過程，由馬爾科夫鏈和一般隨機過程兩部分組成。其中，馬爾科夫鏈用來描述狀態(tài)的轉移，一般隨機過程用來描述狀態(tài)與觀察值之間的對應關系。一個可以用五元組

來表示，其中，描述了馬爾科夫鏈，描述了隨機過程模型結構如下圖所示：

各參數(shù)描述如下:

2.O為一組可觀察符號的集合，。

3.M為從每一狀態(tài)可能輸出不同的觀察值數(shù)目。

道路的流量在時間上是一個馬爾科夫過程，當前時間段的交通情況是受上一時間段的情況影響的。在地理位置上相關聯(lián)的路段的交通情況也是一個馬爾科夫過程，當前路段的流量會受到與之相連的路段的影響。

對采集的數(shù)據(jù)進行處理和統(tǒng)計，通過設定預測窗口，對預測窗口起始時刻測得值以及預測窗口內參數(shù)平均值和序列對比度離散化，構成隱馬爾科夫模型的隱狀態(tài)和觀察狀態(tài)集合。最后進行道路的流量進行預測。

采用預測準確度作為評價指標，考慮系統(tǒng)預測流量和實際流量之間的相似度。預測準確度的一個經(jīng)典方法是度量系統(tǒng)預測流量和實際流量的平均絕對誤差（Mean Absolute Error，簡稱MAE）。

與平均絕對誤差相關的其它指標有平均平方誤差 ( Mean Squared Error, 簡稱 MSE) 和標準平均絕對誤差 (Normalized Mean Absolute Error,簡稱 NMAE)。平均平方誤差定義為

[1] （英）邁爾-舍恩伯格，（英）庫克耶 著，盛楊燕，周濤譯.大數(shù)據(jù)時代[M]. 浙江人民出版社，2013.1

[2] 吳忠澤．迎接中國智能交通的新時代[J].科學，2010，62(1)：3-6．

[3] 畢然，黨梅梅．智能交通系統(tǒng)標準化現(xiàn)狀及發(fā)展趨勢[J]．電信網(wǎng)技術，2011，4：44-47．

[4] 叢新宇，虞慧群，范貴生．基于組合模型的交通流量預測方法[J]．華東理工大學學報(自然科學版)，2011，37(3)：340-345．

[5] 楊勝，李莉，胡福喬，施鵬飛．基于決策樹的城市短時交通流預測[J]．計算機工程，2005，31(8)：35-36．

Intelligent transportation system based on big data analysis

Li Xiao
(ChengDu Normal University,College of physics and Engineering,ChengDu,611130)

Today,big data has been known for everybody,and is used by many industries and enterprises. Big data have got to a good application value in the astronomical,meteorological,health care and other fields.China is a major car producer,and the rapid development of the auto industry has brought many problems in city traffic congestion and pollution.How to integrate the cars and big data effectively,how to use the big data to provide data support for the government,and how to makes the contribution for the intelligent transportation.

Big data;Intelligent;transportation;Hidden Markov