馬英杰

(交通運輸部科學研究院交通信息中心，北京 100029)

1 大數(shù)據(jù)的概念與特點

顧名思義，大數(shù)據(jù)即一個體量特別大的數(shù)據(jù)集，大到無法使用傳統(tǒng)的數(shù)據(jù)處理工具、技術對其進行分析、加工、操作.而大數(shù)據(jù)技術，就是對大數(shù)據(jù)的處理技術的集合.可以說，大數(shù)據(jù)興起并非科技的突變，而是隨著人類社會結構化、半結構化、非結構化數(shù)據(jù)的急速增長應對而生的技術進步.

大數(shù)據(jù)的特色之一是體量成級數(shù)增長.由于互聯(lián)網(wǎng)技術逐漸滲透人類生活的方方面面、以“物聯(lián)網(wǎng)”為方向的信息采集技術的逐漸普及以及包括“4G”在內(nèi)的網(wǎng)絡傳輸技術的迅猛發(fā)展，在全社會，包括交通運輸行業(yè)，人類所擁有的數(shù)據(jù)量及其增速已經(jīng)遠遠超過傳統(tǒng)信息技術預設的處理極限.限于科技發(fā)展的規(guī)律與速度，或者是人類智能體量的局限，信息技術專家們提出以“云計算”概念為核心的的一系列數(shù)據(jù)分布式處理技術作為階段性替代方案，以適應現(xiàn)階段的信息爆炸.

大數(shù)據(jù)技術與傳統(tǒng)信息處理技術有如下不同:

使用分布式技術實現(xiàn)海量數(shù)據(jù)的處理.現(xiàn)代社會，“人類存儲信息量的增長速度比世界經(jīng)濟的增長速度快4倍”，“大約每三年就能增長一倍”.為了解決這一問題，分布式技術成為信息處理的必然選擇.早期的信息處理技術通過固定的數(shù)據(jù)存儲設備、運算服務器實現(xiàn)信息化;隨著數(shù)據(jù)量以及運算需求的增加，發(fā)展出部署集中的集群的信息存儲與處理方式，一定程度上擴展了使用范圍;當數(shù)據(jù)量進一步增長，受益于網(wǎng)絡通信技術的升級換代和互聯(lián)網(wǎng)的飛速發(fā)展，“云計算”技術相應而生，通過將分散于各地的存儲、處理設備，實現(xiàn)可與巨型計算機媲美的海量數(shù)據(jù)處理能力.

大數(shù)據(jù)技術善于由結果推斷模型.不同于傳統(tǒng)的智能化技術，需要完善地建立數(shù)據(jù)模型，通過條件，推導結果.大數(shù)據(jù)技術著眼結果于海量數(shù)據(jù)，通過大量的事實總結規(guī)律，形成知識.傳統(tǒng)的建模實現(xiàn)智能化技術，一旦結果出現(xiàn)異常，就需要反溯，修訂模型，重新進行實踐.而大數(shù)據(jù)技術，則只通過對相關性的結果進行比較，便能總結歸納相關原理.

大數(shù)據(jù)技術著眼于動態(tài)，而不是靜態(tài).傳統(tǒng)信息處理技術著眼于當前數(shù)據(jù)的使用，業(yè)務辦理、行業(yè)監(jiān)控，數(shù)據(jù)一旦使用，則降低或失去其實用價值，歷史數(shù)據(jù)需要人工的比對、判斷.大數(shù)據(jù)技術著眼于一段時間或全部時間上的動態(tài)發(fā)展數(shù)據(jù)，著眼于動態(tài)數(shù)據(jù)之間的聯(lián)系與發(fā)展規(guī)律，

大數(shù)據(jù)技術長于整體的運算效率，而非個體的精確追蹤.由于數(shù)據(jù)處理能力的有限性，傳統(tǒng)的信息化技術對于有限的樣本進行分析與統(tǒng)計，更關注于奇異數(shù)值并加以分析，著力于對個體樣本的精確追蹤.而當大數(shù)據(jù)處理成為可能，數(shù)據(jù)的總體成為一個獨立樣本，一些奇異值由于發(fā)生概率太小，完全可以忽略，數(shù)據(jù)整體的運算效率成為重要指標.

如同哲學上的量變引起質(zhì)變，大數(shù)據(jù)技術正是隨著信息化數(shù)據(jù)的不斷增長而產(chǎn)生并從根本上改變?nèi)藢τ跀?shù)據(jù)存儲、應用的理解與認識.同時隨著數(shù)年的演進，大數(shù)據(jù)技術也正在逐步走向成熟.

2012年7月，美國知名 IT咨詢顧問公司Gartner發(fā)布《2012年大數(shù)據(jù)技術成熟度曲線》，對大數(shù)據(jù)涉及的46種技術進行逐一分析.根據(jù)當時報告內(nèi)容，對比當前發(fā)展現(xiàn)狀，我們可以看到大數(shù)據(jù)技術的成熟度已經(jīng)達到一定的高度.2012年報告中提到的，將在2年內(nèi)實現(xiàn)主流應用的列式存儲數(shù)據(jù)庫、預測分析、社交媒體監(jiān)測等技術，已經(jīng)成為近些年IT行業(yè)普遍實用的技術;報告中預測的2～5年內(nèi)成為主流的云計算、內(nèi)存數(shù)據(jù)庫、社交分析、文本分析等技術，當前在 google、百度、facebook、阿里巴巴、新浪微博等處于IT技術前沿的互聯(lián)網(wǎng)公司，已經(jīng)分別得到廣泛應用;而報高中認為5～10年才會得到普及的內(nèi)容分析、混合云計算、社交網(wǎng)絡分析、地理信息系統(tǒng)等技術，以及認為10年以上才會普遍應用的物聯(lián)網(wǎng)技術也已經(jīng)在不同程度上得到應用和推廣.

2 交通行業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀

交通行業(yè)是天然的大數(shù)據(jù)應用行業(yè).傳統(tǒng)的靜態(tài)數(shù)據(jù)并非大數(shù)據(jù)，如路網(wǎng)的基礎信息，戶、車、人基本信息，這些數(shù)據(jù)隨著產(chǎn)業(yè)增長而逐步增長，一直在傳統(tǒng)信息處理技術預設的限度之內(nèi).但隨著互聯(lián)網(wǎng)與產(chǎn)業(yè)結合的不斷升級、物聯(lián)網(wǎng)——車聯(lián)網(wǎng)的快速興起，3G、4G無線網(wǎng)絡的普及，行業(yè)數(shù)據(jù)量已經(jīng)開始成級數(shù)增長.目前交通運輸行業(yè)大數(shù)據(jù)來源主要在3個方面:

1)基于互聯(lián)網(wǎng)的公眾出行服務數(shù)據(jù)，如大運輸聯(lián)網(wǎng)、網(wǎng)上售票、城市公交刷卡、公眾在線交通路線查詢、網(wǎng)購物流數(shù)據(jù)等.

如廣東省嶺南通公交一卡通截至2013年已經(jīng)發(fā)卡超過3 200萬張，日刷卡量超過1 000萬人次;百度地圖手機應用日訪問量1億次，PC上的搜索量50億次中20%訪問和出行相關，每天約有1 000萬人使用百度，其中70%和公交相關.

2)基于行業(yè)運營企業(yè)生產(chǎn)監(jiān)管數(shù)據(jù)，如貨運源頭稱重數(shù)據(jù)，貨運、危險品運輸電子運單數(shù)據(jù)，客運進出站報班及例檢數(shù)據(jù)，營運車輛維修檢測數(shù)據(jù)，郵政包裹數(shù)據(jù)等.

如國家郵政局發(fā)布的數(shù)據(jù)顯示，2013年中國快遞業(yè)務量完成92億件，居世界第二，僅次于美國.業(yè)務量同比增長60%，最高日處理量已突破6 500萬件.

3)基于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)的終端設備傳感器采集數(shù)據(jù)，包括車輛相關動態(tài)數(shù)據(jù):GPS位置信息、車輛能耗、車輛技術狀況信息，路網(wǎng)監(jiān)控信息:卡口視頻監(jiān)測、基于傳感器的路況監(jiān)測、路上動態(tài)稱重設備、橋梁監(jiān)測GPS等.

車輛位置信息采集僅舉一市為例，2013年10月，杭州市符合交通運輸部“兩客一?！倍x且經(jīng)營范圍、營運狀態(tài)、營運證有效期等狀態(tài)正常的車輛上線數(shù)為6 329輛.車輛位置信息假設每5s傳輸一次，則每日位置信息接近1.1億條.北京市6.67萬輛的出租車GPS數(shù)據(jù)實時接入，日均數(shù)據(jù)量可以達到6 G.

車流量監(jiān)控數(shù)據(jù)，筆者曾參與河南省新鄉(xiāng)市動態(tài)稱重系統(tǒng)建設項目，僅一個信息采集點，2013年11月平均每天采集14 000輛車左右，包括結構化數(shù)據(jù)與照片信息，每天產(chǎn)生的數(shù)據(jù)量是1 791 MB.

3 大數(shù)據(jù)對交通運輸行業(yè)的挑戰(zhàn)

3.1 現(xiàn)行行業(yè)管理體制造成數(shù)據(jù)采集與整合困難

交通運輸行業(yè)的政府管理體制為“條塊結合”，數(shù)據(jù)沉淀在業(yè)務基層，但信息化建設在地方鮮有專項支持，一般由交通運輸部或省級交通運輸主管部門規(guī)劃發(fā)展方向并確立重點項目，下級單位進行申報獲取資金補助承擔建設.欠發(fā)達地區(qū)地方管理機構信息化建設資金基本依賴上級撥付，缺少信息化建設思路及相應資金，一味按上級規(guī)劃路線發(fā)展，這就造成各省信息化建設項目同質(zhì)化嚴重，不能很好地結合本地特色.同時不同地區(qū)信息化發(fā)展不均衡，數(shù)據(jù)采集范圍不同、深度不同，整合缺少統(tǒng)一標準.另外，交通運輸行業(yè)信息化建設與評審模式還采用公路建設項目的傳統(tǒng)方式，長于前期立項審批，少于中期監(jiān)管跟蹤，缺乏后評估機制，尤其是對信息系統(tǒng)應用情況、產(chǎn)生價值以及信息數(shù)據(jù)采集缺少量化指標，地方機構信息化應用于行業(yè)信息化監(jiān)管積極性不高，信息化主管部門在單位內(nèi)處于弱勢地位，與業(yè)務部門缺乏有效的協(xié)作機制，建設的業(yè)務系統(tǒng)“不好用”、“沒人用”，信息化系統(tǒng)應用與業(yè)務實際辦理兩張皮，不是簡化一線工作人員的業(yè)務辦理，而是被認為是額外負擔.部分信息化發(fā)展較早的行業(yè)，數(shù)據(jù)大多散落在行業(yè)企業(yè)，主管部門只是按固定時間段收集統(tǒng)計報表和臺賬，并沒有實現(xiàn)系統(tǒng)對接，數(shù)據(jù)同步，政府無法及時掌握行業(yè)生產(chǎn)數(shù)據(jù).

3.2 采用傳統(tǒng)數(shù)據(jù)處理技術的業(yè)務系統(tǒng)逐漸變得低效與失效

交通運輸行業(yè)信息化經(jīng)過十余年發(fā)展，已經(jīng)具有了一定的信息化基礎，但系統(tǒng)建設較早，應用時間長，對數(shù)據(jù)的增長沒有足夠擴展性設計，傳統(tǒng)的數(shù)據(jù)處理技術不足以實現(xiàn)大數(shù)據(jù)操作，造成系統(tǒng)應用的低效率，甚至造成部分業(yè)務系統(tǒng)在處理大數(shù)據(jù)時系統(tǒng)崩潰、失效.即使在近些年，有些地方交通主管機構在進行新項目設計或舊系統(tǒng)改造時，仍沒有將數(shù)據(jù)的快速增長作為考慮要點之一，缺少“云計算”等大數(shù)據(jù)處理技術路線，一味追求高性能的服務器與存儲設備，在系統(tǒng)建設后又是重建設輕運維，不關注數(shù)據(jù)價值的挖掘，一方面將業(yè)務系統(tǒng)淪為“打證系統(tǒng)”、“發(fā)文系統(tǒng)”，一方面縮短了應用系統(tǒng)預想的生命周期.

3.3 存儲、處理成本的無限度提升

數(shù)據(jù)量級的迅速增長，必然造成存儲、處理服務器被迫更新?lián)Q代，硬件與網(wǎng)絡建設成本不斷提升，運維成本居高不下，同時需要技術專業(yè)運維人員進行持續(xù)的技術換代.技術專業(yè)化的不斷提升，讓自建并運行維護行業(yè)數(shù)據(jù)中心難度越來越高，當前大多數(shù)交通運輸行業(yè)主管部門，尚無足夠的技術力量與專項資金支持信息系統(tǒng)的支撐自建數(shù)據(jù)中心的持續(xù)發(fā)展.同時，基層交通運輸行業(yè)管理的政府機構不需要也不應該將原有的單位機房向?qū)I(yè)化數(shù)據(jù)中心發(fā)展，這也是對信息化設備資源和人力資源的一種浪費.

4 大數(shù)據(jù)給交通行業(yè)帶來的機遇

大數(shù)據(jù)是人工智能發(fā)展新階段，也是智能交通的技術.人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng).傳統(tǒng)的人工智能實現(xiàn)，需要科研人員對研究對象進行完善的建模，明確要求它們遵循的規(guī)則來進行運算，進而得出結果，只有具有關聯(lián)性的數(shù)據(jù)有意義，且只在現(xiàn)時有益，一旦得到結果，數(shù)據(jù)便失去了它的作用.比如，一個預測城市交通擁堵的智能化系統(tǒng)，需要預先將天氣路況、大型集會、施工、市民出行需求等一系列條件盡量完善地組織成計算模型，進行一次預測時，將當前孤立的各項數(shù)據(jù)分別進行輸入，一旦運算完成，所有數(shù)據(jù)均無法再次使用.另外，人們不可能預先窮舉出所有例子和參數(shù)，因此人工智能已有的模型和算法很難跨系統(tǒng)復制.而大數(shù)據(jù)對人工智能的實現(xiàn)則與人的智能進化過程近似，通過學習—總結規(guī)律—積累經(jīng)驗—擴展研究的一個過程，這個學習的過程就是通過積累現(xiàn)實世界數(shù)據(jù)，尤其是人類行為數(shù)據(jù)而進行的.所以大數(shù)據(jù)實現(xiàn)天生具有人工智能的屬性.交通智能化的核心目的是適應經(jīng)濟社會健康快速發(fā)展的新要求、滿足人民群眾安全便捷出行的新期待;服務人民群眾安全、便捷出行的重要載體，是提高運輸效率、節(jié)約能源資源、減少污染排放的關鍵舉措，大數(shù)據(jù)技術是實現(xiàn)這一系列目標的必由之路.

交通運輸管理行政體制改革需要基于大數(shù)據(jù)的智能化交通體系支撐.2013年，中國共產(chǎn)黨十八屆三中全會提出“經(jīng)濟體制改革是全面深化改革的重點，核心問題是處理好政府和市場的關系，使市場在資源配置中起決定性作用和更好發(fā)揮政府作用.”未來，以轉變政府職能為核心的行政體制改革是下一步全面深化改革的重頭戲，而核心內(nèi)容就是減少政府對市場的不必要干預.在交通運輸行業(yè)，政府機構簡政放權，行政審批權進一步下放，轉變政府職能從行政許可審批向行業(yè)監(jiān)管轉變.國家級和省級管理機構，交通運輸部、省級交通廳相應的審批職能進一步簡化，行業(yè)監(jiān)管與政策指導需求進一步提升.尤其是在制定政策法規(guī)、行業(yè)發(fā)展規(guī)劃方面，需要對行業(yè)有全面深入的認識，這就需要對行業(yè)生產(chǎn)、監(jiān)管數(shù)據(jù)進行全面的采集、整理并進行智能化分析，以支撐部、省兩級領導決策.

大數(shù)據(jù)分析是引導、優(yōu)化產(chǎn)業(yè)結構的關鍵.交通運輸行業(yè)產(chǎn)業(yè)結構的優(yōu)化應基于對產(chǎn)業(yè)發(fā)展的準確預測.當前進行行業(yè)政策制定、產(chǎn)業(yè)結構優(yōu)化等工作也是通過數(shù)據(jù)分析進行，但由于數(shù)據(jù)統(tǒng)計工作過程大量人工參與、采集數(shù)據(jù)樣本數(shù)量較低等原因，存在數(shù)據(jù)統(tǒng)計分析成本過高、結果數(shù)據(jù)不夠全面、準確等問題.而在對基層業(yè)務與行業(yè)生產(chǎn)全面數(shù)字化的基礎上，大數(shù)據(jù)技術則長于趨勢分析與預測.如通過對城市交通流量數(shù)據(jù)的分析，制定“潮汐道路”，設計路網(wǎng)優(yōu)化規(guī)劃;根據(jù)對公眾出行客運量分析，實現(xiàn)公交客運車輛的動態(tài)部署等.

5 大數(shù)據(jù)在交通行業(yè)拓展的困境

5.1 行業(yè)信息化整體水平較低、數(shù)據(jù)的采集與整合困難

目前交通運輸行業(yè)信息化、智能化發(fā)展非常不均衡，廣大西部地區(qū)缺少信息化基礎，信息系統(tǒng)應用效果差，數(shù)據(jù)采集困難.信息化建設較早的省份，由于信息化建設缺乏統(tǒng)一規(guī)劃與頂層設計，系統(tǒng)建設、使用單位均不相同，交通運輸主管機構與各二級單位、信息化主管部門與業(yè)務部門分頭建設業(yè)務系統(tǒng)，系統(tǒng)技術架構差距大，基層單位上級機構多頭管理，造成數(shù)據(jù)來源不統(tǒng)一，信息孤島現(xiàn)象嚴重.各省信息化建設與應用水平的差距同樣造成部級數(shù)據(jù)整合困難，無法發(fā)揮實際的應用價值.

5.2 缺乏工作規(guī)范與要求，數(shù)據(jù)應用機制困難

交通運輸管理機構人員信息化水平差距較大，系統(tǒng)用戶缺乏應有的信息化思想，傳統(tǒng)的辦公方式與習慣難以改變.政府管理機構沒有針對信息化應用與數(shù)據(jù)的采集應用形成上下聯(lián)動，獎懲結合的管理機制.信息化應用游離于業(yè)務辦理之外，信息管理部門與業(yè)務部門各管一攤，無法真正將實際業(yè)務實現(xiàn)在線辦理，真正提高辦公效率創(chuàng)造信息價值.行業(yè)主管部門缺乏對行業(yè)企業(yè)生產(chǎn)監(jiān)管數(shù)據(jù)進行采集的法律法規(guī)，也沒有面向企業(yè)提供數(shù)據(jù)服務，既沒有通過信息化手段對行業(yè)生產(chǎn)狀況進行全面掌握，也無法通過信息服務促進產(chǎn)業(yè)升級和變革.

5.3 行業(yè)從業(yè)人員信息化意識不強，大數(shù)據(jù)應用思路缺乏

交通運輸行業(yè)主管部門領導對數(shù)據(jù)指標價值與數(shù)據(jù)應用方式缺乏認識，一些信息化規(guī)劃、項目規(guī)劃不接地氣，系統(tǒng)重建設輕實用，實際應用價值不高，數(shù)據(jù)采集需求無法得到貫徹.如交通運輸部部省聯(lián)網(wǎng)項目，采集了全國絕大多數(shù)省份的戶車人基礎數(shù)據(jù)，但是既沒有制定政策法規(guī)，保證數(shù)據(jù)的更新與同步，也沒有進行數(shù)據(jù)指標的價值分析，實現(xiàn)真正有價值的應用，造成后期維護困難，數(shù)據(jù)逐漸陳舊，實用價值迅速流失.此外，全國各省、各地交通運輸行業(yè)信息化發(fā)展不均衡，部分地區(qū)信息化基礎設施較為落后，整體信息化水平有待加強.

6 大數(shù)據(jù)在交通行業(yè)發(fā)展的淺見

6.1 積極立法，確立數(shù)據(jù)采集與應用的重要性

通過研究并制定政策法規(guī)，面向部、省、市、縣各級交通主管部門及相關企業(yè)，將數(shù)據(jù)采集、整合的責任與義務進行明確規(guī)定，明確哪些信息化工作該哪級機構做，該哪些部門做，同時明確科技信息化主管部門在信息化建設中的地位并給予相應的監(jiān)察、評定的權利，對行業(yè)企業(yè)明確信息化建設與數(shù)據(jù)采集方面的社會責任.另外，對交通運輸行業(yè)數(shù)據(jù)進行全面的梳理，數(shù)據(jù)保密性與應用價值進行分級，對數(shù)據(jù)的采集與應用進行立法，明確不同級別的管理機構可以對哪些數(shù)據(jù)自行進行分析和利用，那些數(shù)據(jù)可以開放給社會或企業(yè)使用，真正實現(xiàn)大數(shù)據(jù)的應用價值.

6.2 加快體制改革，設立數(shù)據(jù)采集與信息化和單位考評相結合的制度

結合國家行政體制改革，進一步改變交通運輸行業(yè)信息化項目建設傳統(tǒng)的上級規(guī)劃、立項、投資、監(jiān)管、評審一體化管理模式，實現(xiàn)規(guī)劃與立項、資金使用與審計、項目監(jiān)管與后評審的權責分離，讓信息化項目建設實際落地，上級單位更注重資金使用的控制與系統(tǒng)應用效果的后評審.盡快制定政策，將指定數(shù)據(jù)指標的采集和上報納入行業(yè)管理規(guī)定;通過體制改革，設立數(shù)據(jù)上報與信息化應用水平考核制度并實現(xiàn)常態(tài)化，同時實現(xiàn)數(shù)據(jù)上報制度與行業(yè)統(tǒng)計工作的全面結合，改變傳統(tǒng)的統(tǒng)計人工上報模式，用信息化數(shù)據(jù)支撐行業(yè)統(tǒng)計.考核制度包括3個層面:管理機構對企業(yè)考核;單位領導、信息化主管部門對業(yè)務部門的考核;上級主管部門對下級單位的考核.

6.3 加快信息化發(fā)展步伐，通過示范指導，引導大數(shù)據(jù)技術的引入與發(fā)展

在交通運輸行業(yè)信息化規(guī)劃與設計中，廣泛引入云計算等大數(shù)據(jù)處理技術，選擇試點單位，建設應用示范項目，總結大數(shù)據(jù)在交通運輸行業(yè)的應用方式方法與使用價值，對具有適用性的項目進行全國推廣，引導大數(shù)據(jù)技術的不斷發(fā)展.

大數(shù)據(jù)時代隨著全國交通運輸行業(yè)各機構、各部門、各企業(yè)數(shù)據(jù)量的迅速增長，以及IT企業(yè)交通運輸相關數(shù)據(jù)的迅速增長，逐漸在我們面前顯現(xiàn)，發(fā)展大數(shù)據(jù)技術，積極應對、抓住下一次信息化變革、產(chǎn)業(yè)浪潮的機遇，是實現(xiàn)交通運輸行業(yè)產(chǎn)業(yè)變革、結構優(yōu)化、服務社會與公眾能力進一步提升的關鍵.

［1］交通運輸部辦公廳.交通運輸部辦公廳關于推進交通運輸信息化智能化發(fā)展的指導意見廳科技字［2013］257號［R］.交通運輸部，2013.

［2］維克托·邁爾·舍恩伯格.大數(shù)據(jù)時代［M］.周濤，譯.杭州:浙江人民出版社，2012.

［3］Gartner Group.2012年大數(shù)據(jù)技術成熟度曲線［R］.工業(yè)和信息化部賽迪研究院，譯，2013.

［4］謝振東.基于粵港澳公共交通一卡通互聯(lián)互通平臺構建研究［J］.金卡工程，2014(206):158-161

［5］楊萬三.智能交通管理一次顛覆傳統(tǒng)的技術變革［EB/OL］.http://www.21its.com/Common/NewsDetail.aspx?ID=2013040811375806088 2013-04-08

［6］Sawhney Big Data Challenges and Opportunities Mohan［EB/OL］.http://www.transportation.northwestern.edu/docs/2012-10-31.