丘建棟,莊立堅*,梁嘉賢,宋家驊,段仲淵
深圳市城市交通規(guī)劃設計研究中心有限公司
城市交通綜合治理是大中城市改善交通的重要抓手。在深圳市交通擁堵治理工作方案,“強結構、優(yōu)服務、調需求、重科技”的背景下,急需建立一種快速響應、高效處理、主動預防的綜合治理新模式,實現城市開發(fā)與交通承載相適應,有效改善交通出行環(huán)境,提升市民幸福感。隨著“互聯網+”和大數據出現,推動大數據與交通領域融合創(chuàng)新,依托交通大數據,實現城市交通數據的全覆蓋、全關聯、全開放和全分析,探索交通大數據在城市綜合治理的應用,是實現被動改善到主動治理、設施擴容到管理提升、感性認知到量化監(jiān)測轉變的關鍵點。
大數據(Big Data, Mega Data)指需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產[1]。2008年8月,大數據概念由牛津大學教授Viktor Mayer最早提出。在他編寫的《大數據時代》中,大數據指不用隨機分析法(抽樣調查)這樣的捷徑而采用所有數據進行分析處理的研究方法[2]。大數據有4V特點,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)[3]。
大數據的基本概念包括:①并非有大量數據就可以被稱為大數據;②大數據更加關注相關性而非因果;③大數據關聯與挖掘后,把孤立的數據聯系起來能相對完整描述一個對象;④大數據主要用于預測,可以預演未來的結果。因此,業(yè)界的共識是,大數據等于海量數據加分析方法加預測結果。
除居民出行調查、道路交通量調查等傳統(tǒng)調查方法以外,多渠道的交通數據來源將為交通模型提供海量多元的非關系型數據。這些數據最初用于其它目的,而后被引入交通分析評估。交通大數據可分為六大類:
①人的移動。包括手機信令、個體位移、導航軟件等;
②車的移動。包括出租車、公共汽(電)車、客貨車GPS數據;
③定點檢測。包括地感線圈、地磁數據、視頻識別、車牌識別等;
④交通收費。包括停車收費數據、IC卡數據、出租客運、公路與鐵路車站收費數據等;
⑤交通安全。包括交通事故處理及位置等數據;
⑥傳統(tǒng)基礎。包括用地規(guī)劃、交通網絡、社會經濟和交通需求等。
交通大數據具有5大特征。
①客觀性。大部分數據不需要訪問被調查者,而是由傳感器主動獲取,可保證數據的客觀性,發(fā)現靜默者,包括老人、小孩或者較不活躍者。
②多元性。不同渠道的數據從不同方面反映交通特征,數據之間可以相互校核。
③穩(wěn)定性??梢栽诙鄠€時段對調查目標反復驗證,降低極端數據的干擾。
④準確性??s減抽樣、訪問、填寫、錄入等人工操作環(huán)節(jié),提高數據準確性。
⑤廉價性。數據獲取成本較傳統(tǒng)調查低廉,檢測設備一次投入可反復使用,而大量數據原本用于其它目的,經數據轉換后可成為交通分析數據源。
盡管大數據在交通領域的應用剛剛興起,中國大城市的交通研究機構、高德百度等地圖公司、京東阿里等電子商務企業(yè)均已開展實際應用。尤其是中國主要的交通研究機構逐步開始利用交通大數據,變革傳統(tǒng)的調查方法,使交通分析開始由抽樣數據分析向全樣數據分析轉變。
2006年,深圳市城市交通規(guī)劃設計研究中心建立“深圳市城市交通仿真系統(tǒng)”,成為中國較早運用動態(tài)數據,實時評估交通運行狀態(tài)的城市[4]。2010年,北京交通發(fā)展研究中心推出“北京市道路交通指數”,把復雜的道路評估用簡單的指數形式呈現給政府和市民,交通數據由政府走向民間[5]。2014年,百度推出春運遷徙地圖,依托強大的地圖和移動終端用戶數據為用戶提供及時、全面的春運出行信息,幫助用戶更好的規(guī)劃行程。2014年,高德交通季度分析報告基于海量歷史路況數據分析出不同區(qū)域在不同時間段內的擁堵延時指數,首次推出主要城市擁堵延時指數排名[6]。2017年,阿里巴巴發(fā)布城市大腦1.0智能治理城市系統(tǒng),采用實時路況監(jiān)測、智能配時優(yōu)化等措施破解交通擁堵問題[7]。2018年,高德連同阿里一同打造城市大腦智慧交通體系,結合已有的擁堵延時指數,量身定制“堵城”的“高德方案”。
運用城市運行產生的多源大數據,包括浮動車GPS、公交IC卡、固定檢測線圈(視頻)、車輛識別系統(tǒng)、手機移動數據等,在一定程度上代替原有大規(guī)模的交通調查方式,有效節(jié)省城市交通分析的成本并提升工作效率。同時,傳統(tǒng)方式無法實現的調查,如長時間不間斷調查、公交IC卡和移動終端追蹤等,通過大數據挖掘得以實現。
總體上看,大數據在交通分析領域的應用取得了一定突破,但大部分城市尚未實現交通大數據在城市交通綜合治理的應用。因此,本文系統(tǒng)梳理了交通大數據集成關鍵技術,以深圳市為聚焦點,總結了交通大數據在深圳綜合治理中的應用實踐。
深圳城市交通大數據集成的關鍵技術,將實現從“數據采集—數據融合—決策支撐—共享服務”的全流程處理,具體體現在以下幾點:
數據采集關鍵技術以“出行環(huán)境+出行感受”多目標為驅動,實現對數據整合和集成化采集,實現對人、車、路等核心要素和交通、環(huán)境、安全等多維細分領域的全面感知。主要關鍵技術包括:
(1)基于海量數據的多元多維度數據體系構建
建立多維度的交通大數據公共平臺,通過集成交通、土地、環(huán)境、安全、氣象、政策等多元數據,采用數據集市與數據立方體,搭建面向分析的交通大數據多維度特征指標體系。
(2)高可靠、高擴展的交通大數據標準化架構搭建
交通大數據標準化架構搭建基于Hive數據倉庫封裝,分布建立原始數據庫、元數據庫、基礎信息庫、指標庫等多層級數據庫架構,實現ETL數據抽取,形成高可靠、高擴展的基礎數據庫。
(3)考慮未來自動駕駛場景的智慧道路集成化數據采集
圖1 數據采集維度
圖2 交通大數據標準化架構
智慧道路集成化數據采集技術基于路口級中樞與路段級管廊,結合路面?zhèn)鞲衅?,采集包括車道流量、排隊長度、進口道流量、行人流量和信號燈配時等實時數據,實現對道路的全息感知。其中,路段以智慧交通桿為核心,結合高精度圖像識別、多模態(tài)信號控制等算法,實現“人—車—路—環(huán)境”的數據全面采集與交互;路口以智慧信號機為載體,采集車輛軌跡、車輛狀態(tài)、交通安全等信息,實現基于LTE-V/DSRC短程通訊與信號控制策略的自適應耦合聯動,全面感知動靜態(tài)交通運行,支持車路協同應用。
數據融合體系以分布式計算技術為基礎,構建一系列快速應用、組合的通用關鍵技術群,為數據應用提供標準化支持,關鍵技術包含:
(1)時空關聯分割的分時、分區(qū)、分布式計算技術,集成Hadoop分布式存儲、Spark Streaming實時數據處理和Hive大數據交換等技術手段,考慮交通大數據的時空屬性,實現對結構化與非結構化增量數據的快速存儲、大規(guī)模實時運算與便捷共享。
(2)基于人工智能的城市道路險情快速檢測技術,建立多類別路面險情圖像數據集,搭建分層級聯判別靜態(tài)險情的框架,實現邊緣計算與云計算的深度學習融合;針對道路視頻監(jiān)控的時間點局部性,對動態(tài)險情識別引入NoScope引擎優(yōu)化視頻檢索。
圖3 智慧道路集成化數據采集技術
(3)基于多層貝葉斯網絡的交通異常事件精準識別技術,建立以歷史數據推導先驗概率,以實時天氣、道路運行速度和道路流量為判斷條件,以交通異常事件(道路積水、交通事故等)是否發(fā)生為判斷結論的多層貝葉斯精準識別模型,實現對交通異常事件的精準識別。
(4)本地化、多層次的交通碳排放核算技術,建立本地化的交通排放模型參數,包括交通特征的本地化、行駛工況的本地化、排放因子的本地化和車隊模型的本地化,確定了不同車型、不同行駛工況下的4 500個排放因子;建立“自下而上”的核算流程,以單個路段單個車型的排放為基礎,實現從路段片區(qū)到市域的交通排放核算[9]。
(5)基于動態(tài)自適應加權的多源交通流數據融合技術,結合出租車GPS、公交車GPS、手機信令、兩客一危GPS等交通流數據,分別建立數據級、特征級與決策級的耦合融合模型,以數據質量、時空覆蓋范圍等多因素為依據,構建時空差異的多數據源動態(tài)自適應加權模型,實現可靠數據為主、其余數據為輔的融合框架,實現城市道路多源交通流的有效融合。
(6)多方法耦合的交通流預測技術,基于改進神經網絡、改進KNN近鄰、LGBM等方法的融合,解決不同時空下速度、車流量等參數預測的精確性、效率性和多維性難題。
(7)基于錨點理論的慣常性出行模式辨識技術,針對手機信令數據,提出了基于錨點理論的慣常性出行模式辨識方法,構建用戶全出行OD,挖掘用戶的個人出行特征信息。
決策支持關鍵技術結合多元化綜合交通數據庫,分別建立多層次一體化模型體系、在線仿真技術體系和智慧交通管控技術體系,實現從一體化模型、仿真推演到宏—中—微觀交通流管控的決策支撐。
(1)多層次、一體化交通模型技術
多空間層次。分為區(qū)域、宏觀、中觀、微觀共四個模型層次,分別用于支持區(qū)域、市域(組團)、分區(qū)(片區(qū))、關鍵路段和節(jié)點等不同空間層次的交通規(guī)劃技術分析和決策支持需要。
多層一體化。在遵循預定交換標準、接口、技術的情況下,通過網絡切割或融合、矩陣切割或合并等技術,達到不同層次模型間的輸入輸出數據的順暢交換,實現不同層次交通模型的一體化。
(2)大規(guī)模路網車道級實時在線交通仿真技術
圖4 基于圖像識別的道路險情異常識別
圖5 多空間層次交通模型體系
建立了從動態(tài)車輛OD估計、動態(tài)路徑決策、動態(tài)流量加載到短時交通流預測的實時在線交通仿真技術流程,實現了從“源”到“流”的交通狀態(tài)的再現和推演。有別于傳統(tǒng)最短路徑搜索或者動態(tài)路徑搜索,根據現實中駕駛員路徑選擇的自學習特征,提出基于(浮動車、網約車或者導航車輛等的)真實路徑集的動態(tài)更新,進行路徑集的合理延展和分配,從而有效的提升路徑選擇的準確性。
(3)智慧交通管控技術
建立“宏觀—中觀—微觀”三層次耦合的交通管控技術,主要表現在:
宏觀層面,通過分析市域、區(qū)域間交通出行需求總量和時空分布,制定調控策略和配套手段管控跨區(qū)交通出行,在時間上削峰填谷,空間上控密補稀,實現區(qū)域時空平衡。
中觀層面,通過分析片區(qū)道路間交通運行狀況,利用單向交通、車速限制、交叉口轉向限制、車輛分類通行等措施及平行道路信號燈控協同調節(jié),以均衡流量、提高效率,實現片區(qū)時空平衡。
微觀層面,利用交通仿真手段,針對節(jié)點控制交通時空分布,在時間、空間分離交通沖突,車道渠化上寸土必爭、信號配時上分秒必爭,實現單點時空平衡。
以共享和服務為原則,面向政府、行業(yè)和公眾共享信息與服務,制訂共享開放規(guī)則,研發(fā)車路協同、定向誘導、全出行鏈(MaaS)的關鍵技術。
(1)數據共享開放規(guī)則
構建面向不同類型(政務、運營、社會、自有)、不同對象(政府、企業(yè)、創(chuàng)客、公眾)、不同權限(高、中、低、公開)的分級開放共享體系,形成標準化的數據存儲、共享與算法規(guī)范,避免大數據亂象,促進行業(yè)健康發(fā)展;研發(fā)公眾開放平臺API,構建安全、可靠、規(guī)范的動態(tài)鑒權機制,在保護數據的基礎上推動萬眾創(chuàng)新。
(2)特種車輛車路協同技術
圖6 實時在線交通仿真數據流
基于LTE-V/DSRC車路協同技術采集數據,通過車載單元同信號系統(tǒng)聯動,實現公交車/救護車等主動信號優(yōu)先控制,保證在經過交叉口時優(yōu)先通行。
(3)基于多目標體系的全出行鏈服務技術
構建“出行環(huán)境+出行感受”的多目標體系,為用戶提供基于全出行鏈(MaaS:Mobility as a Service)的綜合交通信息服務?;诙嘣磾祿霞岸喾绞秸T導策略,面向個體出行前、出行中和出行后的全過程動態(tài)跟蹤,結合交通指數、交通預測、交通排放、天氣、停車位、公交指數等綜合信息,制定面向全方式、全過程的交通誘導策略,提供“數據-策略-服務”的整體智慧出行方案。
依托交通大數據集成關鍵技術,深圳市為道路擁堵治理、規(guī)劃決策、精準管控服務、安全環(huán)保、共享服務等城市綜合治理問題提供決策評估服務,有力支撐了近年深圳城市交通綜合治理發(fā)展。
(1)深圳市交通綜合擁堵治理行動計劃。利用道路交通運行指數平臺、公交服務指數平臺監(jiān)測常發(fā)擁堵路段,做到針對性地、有重點地進行深圳市道路交通擁堵治理,同時利用交通一體化模型支撐公交專用道設置及優(yōu)化。以新彩隧道公交專用道為例,前期采用一體化模型技術的仿真模型初定的實施時段是全天24小時,在實施的過程中跟道路交通運行指數平臺的反饋信息優(yōu)化實施時段。自2014年實施治堵以來,公交客運量較去年同期增加9.7%,達653萬人/日,創(chuàng)歷史新高;伴隨著公共交通客運量提升,路面車速穩(wěn)中微增,中心城區(qū)高峰路網平均車速與去年同期相比逐步回升,達27公里/小時。
(2)深南大道交通改善。利用一體化交通模型技術對深南大道仿真,發(fā)現其擁堵主因,并提出采用中航路做內部微循環(huán),通過兩次左轉彎實現右轉功能的方式實現改善,同時配合調整路口渠化、優(yōu)化信號配時等措施。相比傳統(tǒng)道路改造方案,采用微循環(huán)改造費用低、改善效果顯著,改善后東西向通行能力提高12.5%,排隊長度減少15%。
(3)交通樞紐站點的布局優(yōu)化。利用一體化模型技術對華強北地鐵站高峰時間的客流進行提前校核。經仿真后發(fā)現,華強北的3站2區(qū)間原鐵三院的施工圖存在兩個瓶頸點。若執(zhí)意保留該設計,未來實際運行后將會造成節(jié)點擁堵,嚴重會發(fā)生踩踏等安全隱患。結合仿真結果,重新修改設計方案,站點建成后,結合對線路運營時間、發(fā)車班次等優(yōu)化,站點人潮擁堵現象較少發(fā)生,與仿真改善方案的結果一致。
圖7 華強北交通改善測試分析
依托綜合交通大數據的決策支持技術服務,支撐了深圳市20余項重大公共政策研究,具體包括對停車收費政策、網約車管理、高速公路回購等多項重大交通戰(zhàn)略的準確評估和快速落地,切實做到政策落地的有據可依。
(1)深圳市停車收費政策調整。利用交通大數據集成技術構建整體評估模型,利用道路交通運行指數平臺和碳排放檢測平臺等對停車收費政策實施前后對比分析。項目實施后,路邊停車規(guī)模下降,停車秩序上升,道路交通運行速度顯著提升,主要路段晚高峰車速平均上升12%~15%,機動車碳排放有所下降,工作日晚高峰碳排放平均減少約4.6%。
(2)深圳市網約車政策研究。通過利用大數據處理技術對車牌識別數據進行分析,挖掘網約車的日均規(guī)模、出行特征等信息,同時利用道路交通運行指數平臺對網約車出現前和出現后的運行交通規(guī)律進行分析,得出網約車的控制規(guī)模、車型等管理細則。利用大數據決策支撐技術,一是能快速評估網約車的整體規(guī)模和特征,實現政策的快速落地;二是分析得到的結果能保證大部分出租車和網約車司機的利益均不受損害。
(3)梅觀高速等高速公路回購分析研究。梅觀高速是深圳的重要縱向通道,承擔城市通勤、區(qū)域出行、過境出行等復合功能,因此市政府決定回購梅觀高速,并全線進行市政化改造。利用一體化交通模型技術對梅關高速等高速公路的流量進行預測。依托交通量預測結果,估算每年梅觀高速公路收費收益,評估現狀年折現收益,為市政府確定回購梅觀高速的成本。
(4)交通需求管理政策。利用道路交通運行指數數據,對實施前后的效果進行評估;利用大數據計算技術對車牌識別數據進行挖掘分析,監(jiān)測不同區(qū)域、路段車輛歸屬地構成,為制定限外范圍提供了定量支撐,評估政策實施后的外地車比例變化,限外效果,構建“規(guī)劃—實施—評估—調?!钡膭討B(tài)循環(huán)工作模式。
利用交通大數據平臺,支撐重大基建項目,準確把握基建方案問題癥結,對比評估方案實施前后情況,先后運用在城市道路交通基建建設、軌道交通建設、路網改造等。
(1)利用碳排放監(jiān)測平臺輔助進行綠色交通設計系統(tǒng),評估麗山路南延等重大交通基建、留仙大道-10號路交叉口等精細化改善的環(huán)境影響,量化“綠色”等級,校準規(guī)劃方案;成功落實了大學城站、塘朗站兩處接駁首末站的土地開發(fā)項目的綠色交通控制要點,支撐約2.5公里市政道路的規(guī)劃審批工作,指導建設5公里的自行車道。
圖8 網約車、出租車客運量變化
(2)通過搭建在線仿真系統(tǒng)和大數據公共服務平臺,降低管理成本,全市高峰期平均車速維持在25km/h以上,通勤時間平均可節(jié)約2分鐘以上;實現突發(fā)事件,快速評估分析交通緊急預案優(yōu)劣,制定有效的交通誘導方案。
(3)實時運行狀況和變化趨勢信息發(fā)布,定量化的精確道路交通運行和公共交通評估服務,有效提高政府決策效率,積極應用到包括:深圳市城市交通白皮書、深圳市停車發(fā)展政策及實施方案、深圳市交通擁堵綜合治理近期規(guī)劃等項目,有效提高政府的規(guī)劃決策能力。
在安全環(huán)保方面,有以下幾個方面的應用:
(1)利用大數據平臺對“兩客一?!避囕v的運行軌跡監(jiān)測;
(2)建立碳排放實時監(jiān)測平臺,監(jiān)測城市交通的碳排放情況,在國內尚屬首創(chuàng);
(3)城市道路積水點監(jiān)測與影響分析評估系統(tǒng),實現對積水點的有效監(jiān)測,特別是針對臺風天氣,能及時預報臺風過境后的道路積水信息和道路交通指數;
(4)利用騰訊的實時數據,建立熱點區(qū)域的人流密度安全監(jiān)測系統(tǒng),同時對節(jié)假日期間的人流密集情況提出預警制定解決方案,并提前告知公眾。
(1)智慧停車泊位共享。利用數據共享開放規(guī)則、大數據處理技術和智慧停車系統(tǒng),依托“互聯網+政府開放”數據模式,在全市開放空停車位信息,并將車位信息共享給百度、高德等互聯網導航軟件,實現高效的資源整合和利用。
(2)道路路況實時發(fā)布。依托深圳市道路運行交通指數系統(tǒng),實現道路路況實時發(fā)布,支持對實時和歷史的熱點片區(qū)和道路關口的道路運行指數、擁堵等級、平均車速等信息的查詢[8]。
圖9 突發(fā)事件應急發(fā)布與誘導
圖10 深圳道路積水監(jiān)測(左),碳排放監(jiān)測(右)
圖11 深圳道路交通運行指數系統(tǒng)
(3)全出行鏈智慧服務。以出行者體驗為導向,提供基于MaaS的個性化、全過程智慧出行服務,以輕量化微信小程序、互聯網導航APP合作等多種渠道發(fā)布出行服務。
集成綜合交通大數據關鍵技術,實現了交通大數據“采集-融合-決策支持-共享服務”的一體化處理流程,通過深挖交通潛力、支持重大政策出臺、精細化診斷交通問題等,為深圳市提供擁堵治理、規(guī)劃決策、精準管控、安全環(huán)保、共享服務等方面的城市綜合治理應用,有力支撐了近年深圳城市交通綜合治理發(fā)展。