曹鑫勝,韓一德
(1.山西省交通信息通信公司,山西 太原 030006;2.青海省高等級(jí)公路建設(shè)管理局,青海 西寧 810008)
大數(shù)據(jù)(BigData)從提出起來(lái),有很多的解釋,但都不夠完美,筆者以為從技術(shù)上講,大數(shù)據(jù)指的是一種分布式的技術(shù),是指在傳統(tǒng)的單臺(tái)計(jì)算機(jī)無(wú)法處理的計(jì)算任務(wù)時(shí),采用的一種多臺(tái)計(jì)算機(jī)協(xié)作處理的新技術(shù),使得其計(jì)算的數(shù)據(jù)可以無(wú)限“大”;從應(yīng)用上講,大數(shù)據(jù)是指在傳統(tǒng)的解決方案無(wú)法達(dá)到的數(shù)據(jù)分析結(jié)果情況下,通過(guò)更多的數(shù)據(jù)的匯聚和融合,使得能完成以前無(wú)法完成的數(shù)據(jù)處理任務(wù)。在高速公路領(lǐng)域,大數(shù)據(jù)表現(xiàn)出大容量(實(shí)時(shí)的視頻數(shù)據(jù))、多種數(shù)據(jù)(結(jié)構(gòu)化的和非結(jié)構(gòu)化)、快速讀取(前端大量的感應(yīng)器,比如車道線圈、VD、VVD設(shè)備)、價(jià)值密度低等“4 V”特點(diǎn)[1]。
隨著智能交通系統(tǒng)(ITS)的廣泛利用,交通三要素(人流、車輛、道路)連續(xù)不斷采集的多源交通數(shù)據(jù)流產(chǎn)生了海量的交通數(shù)據(jù),具有典型的“4 V”特性:大容量、多樣性、高速度,也具有價(jià)值、復(fù)雜性的特點(diǎn),屬于名符其實(shí)的交通“大數(shù)據(jù)”[2]。
由于進(jìn)行智能交通系統(tǒng)建設(shè)的各政府和企業(yè)在進(jìn)行系統(tǒng)建設(shè)的過(guò)程中,都是逐步和逐個(gè)進(jìn)行信息系統(tǒng)建設(shè)的,使得各個(gè)系統(tǒng)相互獨(dú)立產(chǎn)生一個(gè)個(gè)的數(shù)據(jù)孤島[3],如何將這些體量不一、結(jié)構(gòu)不同的數(shù)據(jù)進(jìn)行高效地匯集和融合,是進(jìn)行大數(shù)據(jù)分析的基本前提,因此需要建立一個(gè)能夠?qū)⒍鄠€(gè)交通信息系統(tǒng)進(jìn)行匯集和融通的大數(shù)據(jù)平臺(tái),成為當(dāng)務(wù)之急。
大數(shù)據(jù)平臺(tái)的建設(shè)是每個(gè)大數(shù)據(jù)項(xiàng)目面臨的重要課題。在國(guó)內(nèi),百分點(diǎn)是一家專門從事企業(yè)大數(shù)據(jù)分析和應(yīng)用的互聯(lián)網(wǎng)企業(yè),它基于開(kāi)源的hadoop技術(shù),開(kāi)發(fā)出一套進(jìn)行大數(shù)據(jù)匯集和融通的大數(shù)據(jù)平臺(tái),該平臺(tái)可以有效地進(jìn)行互聯(lián)網(wǎng)電商數(shù)據(jù)的整合,并成功地應(yīng)用于國(guó)內(nèi)某知名企業(yè)的大數(shù)據(jù)分析平臺(tái)上。
在美國(guó),Inrix是一款基于大數(shù)據(jù)技術(shù),致力于為全球交通問(wèn)題帶來(lái)智能數(shù)據(jù)和先進(jìn)的分析方法的交通智能化平臺(tái)。在這個(gè)平臺(tái)上,匯集了來(lái)自政府、企業(yè)和個(gè)人的不同的數(shù)據(jù),也融合了不同業(yè)務(wù)系統(tǒng)上的數(shù)據(jù),形成一個(gè)開(kāi)放的大數(shù)據(jù)平臺(tái),全球32個(gè)國(guó)家的企業(yè)提供了服務(wù)。Inrix可以為用戶清晰地標(biāo)識(shí)出附近的道路狀況,使用綠、黃、紅三種顏色顯示出附近的事故和施工路段情況,使用戶能夠提前選擇更加通暢的道路通行。
Inrix交通智能平臺(tái)收錄了影響每條具體路線的交通影響因素,比如日歷、季節(jié)、節(jié)假日、當(dāng)前和未來(lái)天氣數(shù)據(jù)、交通事故以及道路建設(shè)情況,甚至還有學(xué)校活動(dòng)、運(yùn)動(dòng)會(huì)、音樂(lè)會(huì)等信息,這些都能讓Inrix在基于當(dāng)前和未來(lái)的動(dòng)態(tài)基礎(chǔ)上更好地預(yù)測(cè)路況信息,幫助司機(jī)節(jié)省時(shí)間、汽油和避免不必要的延誤。
在國(guó)內(nèi),千方科技與世紀(jì)高通是交通信息服務(wù)的領(lǐng)先者[4]。千方科技是智能交通大數(shù)據(jù)領(lǐng)軍者,其優(yōu)勢(shì)在于依托現(xiàn)有數(shù)據(jù)采集體系,數(shù)據(jù)來(lái)源豐富,可提供的成熟數(shù)據(jù)基數(shù)大、精準(zhǔn)度高,數(shù)據(jù)常年供應(yīng)百度地圖、微信路況等。千方業(yè)務(wù)分為三個(gè)市場(chǎng):面向城市交通信息化、面向高速公路信息化、面向公眾的交通信息服務(wù)。
北京世紀(jì)高通科技有限公司是中國(guó)領(lǐng)先的出行信息服務(wù)提供商,以“提供高效的出行信息服務(wù),讓人們的出行更便捷”為使命[5]。2008年最早實(shí)現(xiàn)全國(guó)商用服務(wù),擁有來(lái)自互聯(lián)網(wǎng)、企業(yè)、行業(yè)的海量多源數(shù)據(jù),構(gòu)建全國(guó)最大的實(shí)時(shí)交通信息服務(wù)中心及交通大數(shù)據(jù)分析平臺(tái),為公眾提供優(yōu)質(zhì)的交通信息服務(wù)。
這兩家的交通信息服務(wù),數(shù)據(jù)來(lái)源都是主要基于浮動(dòng)車,在市內(nèi)交通領(lǐng)域處于領(lǐng)導(dǎo)地位。而在高速交通領(lǐng)域,由于數(shù)據(jù)源比較單一,其準(zhǔn)確性和實(shí)時(shí)性有一定差距。
經(jīng)過(guò)調(diào)研和對(duì)現(xiàn)有問(wèn)題的分析,并參照國(guó)內(nèi)外建設(shè)大數(shù)據(jù)項(xiàng)目的成功經(jīng)驗(yàn),我們總結(jié)出建設(shè)智慧高速大數(shù)據(jù)平臺(tái)的總體思路:聚-通-用。
經(jīng)過(guò)多年的努力,集團(tuán)的信息化水平達(dá)到了一定的水平,并且積累了一定規(guī)模的數(shù)據(jù)。但是,大量的業(yè)務(wù)數(shù)據(jù)還是分散于各業(yè)務(wù)系統(tǒng)中,集團(tuán)內(nèi)部的“數(shù)據(jù)壁壘”和“信息孤島”現(xiàn)象普遍。因此,大數(shù)據(jù)建設(shè)的第一步是“匯聚”,把分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)統(tǒng)一匯聚到一個(gè)平臺(tái)上,以此奠定數(shù)據(jù)應(yīng)用的基礎(chǔ)。
不可否認(rèn),集團(tuán)積累的各業(yè)務(wù)系統(tǒng)數(shù)據(jù)雖然數(shù)量巨大,但是數(shù)據(jù)本身的質(zhì)量并不是太高。在我們的業(yè)務(wù)調(diào)研中,無(wú)論是一線的操作員、業(yè)務(wù)分析員還是集團(tuán)的管理人員,對(duì)此都頗有怨言。全程監(jiān)控中的事件報(bào)警器重復(fù)發(fā)送同一事件信息;微波車檢器對(duì)一些特殊情況(特殊情況下的慢車或者擁堵情況)無(wú)法給出準(zhǔn)確判斷;收費(fèi)系統(tǒng)中沒(méi)有客/貨車區(qū)分的數(shù)據(jù),造成數(shù)據(jù)統(tǒng)計(jì)時(shí)無(wú)法給出客/貨車的準(zhǔn)確統(tǒng)計(jì)等。
但是,當(dāng)我們把各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)“匯聚”到一個(gè)統(tǒng)一平臺(tái)后,即可利用來(lái)自多個(gè)業(yè)務(wù)系統(tǒng)的多源數(shù)據(jù)進(jìn)行交叉比對(duì)、互相校驗(yàn),從而大大提高數(shù)據(jù)的準(zhǔn)確性。單一事件報(bào)警器可能出現(xiàn)信息不準(zhǔn),但如果結(jié)合全程監(jiān)控的視頻數(shù)據(jù),即可大幅降低有關(guān)事件的誤報(bào)率。單個(gè)微波車檢器的交調(diào)數(shù)據(jù)不可靠,但是把沿途多個(gè)微波車檢器的數(shù)據(jù)串起來(lái),再結(jié)合視頻監(jiān)控?cái)?shù)據(jù)進(jìn)行大數(shù)據(jù)分析,就可以對(duì)當(dāng)?shù)氐膶?shí)時(shí)交通情況有個(gè)直觀、準(zhǔn)確的把握。
有了可以信賴的數(shù)據(jù)質(zhì)量為基礎(chǔ),我們將分階段、分優(yōu)先級(jí)在大數(shù)據(jù)平臺(tái)上開(kāi)發(fā)各種智能交通應(yīng)用,為集團(tuán)的分公司和管理部門提供日常運(yùn)營(yíng)和管理的數(shù)據(jù)基礎(chǔ);為相關(guān)的政府部門提供統(tǒng)一規(guī)劃和決策的有力支持;為需要及時(shí)的交通信息的企業(yè)提供交通信息服務(wù),降低交通運(yùn)輸成本,減少擁堵造成的環(huán)境污染;為每天都離不開(kāi)交通出行的廣大人民群眾出行提供及時(shí)準(zhǔn)確的出行建議,方便大家的日常生活。
高速公路的應(yīng)用有很多,但需要使用大數(shù)據(jù)技術(shù)的應(yīng)用不多,筆者以為可以在實(shí)際中應(yīng)用的大數(shù)據(jù)應(yīng)用有如下幾個(gè):
1) 偷逃費(fèi)現(xiàn)象。偷逃費(fèi)現(xiàn)象每年都給高速公路的運(yùn)營(yíng)帶來(lái)巨大損失,逃費(fèi)現(xiàn)象給高速公路管理部門帶來(lái)負(fù)面影響。高速公路的管理運(yùn)行需要龐大的團(tuán)隊(duì),這其中收費(fèi)員又占了很大一部分。車輛在駛?cè)敫咚偈召M(fèi)口和駛出高速收費(fèi)口的停留時(shí)間較長(zhǎng)。同時(shí),入口每個(gè)車道都配備了收費(fèi)員,人員較多。
2) 分析問(wèn)題的精細(xì)需求。高速的運(yùn)營(yíng)管理在沒(méi)有大量數(shù)據(jù)分析的情況下會(huì)出現(xiàn)經(jīng)驗(yàn)主義的決策方式,這樣決策會(huì)存在誤差和精準(zhǔn)性。企業(yè)管理人員對(duì)公司業(yè)務(wù)的運(yùn)營(yíng)數(shù)據(jù)的結(jié)果的分析和未來(lái)業(yè)務(wù)的判斷通過(guò)經(jīng)驗(yàn)去分析,對(duì)未來(lái)業(yè)務(wù)的預(yù)測(cè)可能會(huì)出錯(cuò)。管理人員對(duì)高速上車流的車型分類、來(lái)自哪里、去到哪里等需要更加全面的了解,為針對(duì)不同車流特點(diǎn)的具體管理措施和高速公路建設(shè)的科學(xué)規(guī)劃管理需要更加精細(xì)的分析。
3) 車輛擁堵。出入口車牌不一致、經(jīng)常性超時(shí)等造成時(shí)間的浪費(fèi),還有交通事故的發(fā)生沒(méi)有得到及時(shí)的處理以及交通高峰的車流沒(méi)有得到提前的預(yù)測(cè)和播報(bào)。交通高速的擁堵會(huì)影響社會(huì)的正常運(yùn)行,將給人們的生活帶來(lái)很大的不方便。
通過(guò)分析高速公路各種逃費(fèi)行為,研究基于大數(shù)據(jù)技術(shù)的逃費(fèi)稽查系統(tǒng)?;诖髷?shù)據(jù)技術(shù)的逃費(fèi)稽查系統(tǒng)是獨(dú)立于收費(fèi)系統(tǒng)之外的系統(tǒng),逃費(fèi)稽查系統(tǒng)接收收費(fèi)系統(tǒng)定期推送過(guò)來(lái)的收費(fèi)數(shù)據(jù),包括收費(fèi)交易數(shù)據(jù)、車道抓拍圖片和視頻等數(shù)據(jù)。逃費(fèi)稽查系統(tǒng)在對(duì)數(shù)據(jù)進(jìn)行分析處理之后,會(huì)定期把逃費(fèi)嫌疑車輛名單以及有關(guān)證據(jù)信息發(fā)送回收費(fèi)系統(tǒng),由相關(guān)部門/人員確定逃費(fèi)車輛并采取下一步治逃措施。
通過(guò)將各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的融合,將數(shù)據(jù)資源實(shí)現(xiàn)合理利用,利用大數(shù)據(jù)技術(shù),分析現(xiàn)有的交通結(jié)構(gòu),提出一些有針對(duì)性的解決措施,從而使高速公路的結(jié)構(gòu)更加完整,使交通運(yùn)輸功能得到最大程度的發(fā)揮。構(gòu)建大數(shù)據(jù)信息共享平臺(tái),實(shí)現(xiàn)某個(gè)路段、或整個(gè)城市各區(qū)域范圍內(nèi)的交通情況的及時(shí)監(jiān)控。
通過(guò)將高速公路中的車流量、主要行駛車輛、路況信息及實(shí)時(shí)天氣狀況相互結(jié)合,對(duì)高速公路的交通狀況進(jìn)行實(shí)時(shí)監(jiān)控,為每個(gè)駕駛員實(shí)時(shí)推送他感興趣的信息,同時(shí)智能地誘導(dǎo)駕駛者避開(kāi)擁堵路段,最大限度地減少高速公路的擁堵情況,保證高速公路上的順暢通行。
在我們的不知不覺(jué)中,中國(guó)已經(jīng)迅速步入大數(shù)據(jù)決策的時(shí)代,而政府也在利用大數(shù)據(jù)對(duì)國(guó)家進(jìn)行更科學(xué)的建設(shè)。大數(shù)據(jù)在高速公路領(lǐng)域的應(yīng)用僅僅是眾多領(lǐng)域的一面,是大數(shù)據(jù)的全局應(yīng)用的一個(gè)縮影,隨著科技的進(jìn)步,相信大數(shù)據(jù)在各領(lǐng)域發(fā)揮更加長(zhǎng)久重要的作用。