中國(guó)交通通信信息中心 呂浩涵 趙 正

大數(shù)據(jù)在交通領(lǐng)域中的應(yīng)用

中國(guó)交通通信信息中心 呂浩涵 趙 正

交通擁堵是世界性的社會(huì)問(wèn)題,尤其在我國(guó),更是亟待解決的問(wèn)題。為環(huán)節(jié)交通擁堵現(xiàn)象,對(duì)交通狀況進(jìn)行實(shí)時(shí)地了解,發(fā)展以Hadoop為技術(shù)手段的大數(shù)據(jù)時(shí)代下的智能交通系統(tǒng),可以及時(shí)地提供較為準(zhǔn)確的數(shù)據(jù)信息,為交通領(lǐng)域的管理提供更加可靠的參考。

大數(shù)據(jù);智能交通系統(tǒng);Hadoop技術(shù)

汽車(chē)產(chǎn)業(yè)伴隨著全世界的社會(huì)和經(jīng)濟(jì)的高速發(fā)展,正在成為人們?nèi)粘Ｉ钪胁豢苫蛉钡牟糠?汽車(chē)數(shù)量的急速增長(zhǎng)所帶來(lái)的交通堵塞和環(huán)境污染等問(wèn)題越來(lái)越明顯。目前,交通堵塞已經(jīng)成為我國(guó)最為突出的社會(huì)問(wèn)題,不僅影響了人們的生活水平和生活質(zhì)量,同時(shí)還造成了重大的經(jīng)濟(jì)損失。如何處理日趨嚴(yán)重的交通堵塞問(wèn)題,成為了我國(guó)乃至全世界都非常重視的焦點(diǎn)問(wèn)題。伴隨著智能時(shí)代的來(lái)臨,對(duì)于交通堵塞的隨機(jī)性強(qiáng)、復(fù)雜多變、數(shù)量巨大和周期性等特點(diǎn),目前多采用智能交通系統(tǒng)來(lái)處理交通問(wèn)題[1-2]。智能交通系統(tǒng)是建立在大數(shù)據(jù)基礎(chǔ)上的。大數(shù)據(jù)技術(shù)不僅可以對(duì)龐大的數(shù)據(jù)進(jìn)行存儲(chǔ),還可以對(duì)數(shù)據(jù)進(jìn)行處理和分類(lèi),有效地提高和改善了城市交通問(wèn)題。Hadoop是一個(gè)云計(jì)算的平臺(tái),可以對(duì)數(shù)據(jù)進(jìn)行分布式的存儲(chǔ)和處理,在智能交通系統(tǒng)中較為常用[3]。

1 大數(shù)據(jù)與智能交通系統(tǒng)

1.1 大數(shù)據(jù)

大數(shù)據(jù)(Big Data,BG)初始時(shí)被用于IT行業(yè),是一個(gè)海量的數(shù)據(jù)集,有著數(shù)據(jù)容量大、處理速度快、數(shù)據(jù)復(fù)雜多樣和數(shù)據(jù)可操作性強(qiáng)等特點(diǎn)。大數(shù)據(jù)的優(yōu)勢(shì)十分明顯,但是如何對(duì)如此大量的數(shù)據(jù)進(jìn)行處理就成為了大數(shù)據(jù)研究中的重要問(wèn)題。依托于不同的傳感器,大數(shù)據(jù)可以被采集、被存儲(chǔ),同時(shí)還可以被讀取和計(jì)算,進(jìn)行更加專(zhuān)業(yè)的處理和分析,而且應(yīng)用十分廣泛,包括商業(yè)、地球化學(xué)、醫(yī)療、交通、犯罪學(xué)和法律等多個(gè)社會(huì)領(lǐng)域。

1.2 智能交通系統(tǒng)

智能交通系統(tǒng)(Intelligent Transportation System,ITS),是建立在電子信息技術(shù)、通信技術(shù)、計(jì)算機(jī)技術(shù)以及傳感技術(shù)基礎(chǔ)上,被廣泛應(yīng)用于交通運(yùn)輸行業(yè)的一個(gè)服務(wù)性操作系統(tǒng),可以對(duì)數(shù)據(jù)進(jìn)行智能化的采集、處理與分析,并可以隨時(shí)讀取、利用與預(yù)測(cè)。ITS系統(tǒng)包括基礎(chǔ)服務(wù)、數(shù)據(jù)分析和終端發(fā)布三個(gè)部分,包含交通監(jiān)控、車(chē)輛管理、貨運(yùn)管理和緊急救援等多個(gè)子系統(tǒng),所采集的數(shù)據(jù)根據(jù)來(lái)源與應(yīng)用分為傳感器數(shù)據(jù)、系統(tǒng)數(shù)據(jù)、服務(wù)數(shù)據(jù)和應(yīng)用數(shù)據(jù)等多種類(lèi)型。

在ITS系統(tǒng)中,數(shù)據(jù)分析多采用的是Hadoop技術(shù)對(duì)采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理與分析。

2 Hadoop技術(shù)

2.1 Hadoop概述

Hadoop是Apache軟件基金會(huì)(Apache Software Foundation,ASF)借鑒于Google云計(jì)算系統(tǒng),在2005年引用并研發(fā)的分布式系統(tǒng),用于大數(shù)據(jù)的計(jì)算與處理,存儲(chǔ)與應(yīng)用;其結(jié)構(gòu)主要分為:分布式文件系統(tǒng)(Hadoop Distribution File system, HDFS)、映射歸約(MapReduce)編程模型和基于Hbase和Hive的非關(guān)系型分布式數(shù)據(jù)庫(kù)Big Table;具有較強(qiáng)的擴(kuò)展性、高效性、可伸縮性和可靠性。

2.2 Hadoop框架

Hadoop是將HDFS中存儲(chǔ)的原數(shù)據(jù),利用MapReduce框架中的計(jì)算模型進(jìn)行處理,再將結(jié)果存儲(chǔ)到HDFS中,再利用Hive和Hbase進(jìn)行搜索與調(diào)用。

2.2.1 HDFS結(jié)構(gòu)

HDFS采用的是分布式的主從結(jié)構(gòu),是Hadoop結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)的基礎(chǔ),不僅可以對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理,同時(shí)還可以對(duì)硬件的故障進(jìn)行檢測(cè),并及時(shí)進(jìn)行反映與處理,完全可以在廉價(jià)的機(jī)器上實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)與預(yù)處理。HDFS是建立在數(shù)據(jù)節(jié)點(diǎn)(Datanote)基礎(chǔ)上的,多個(gè)Datanote對(duì)客戶端輸入、刪除等處理進(jìn)行響應(yīng),并將其反饋到名目節(jié)點(diǎn)(Namenote)后進(jìn)行持久化的原數(shù)據(jù)存儲(chǔ)。

2.2.2 MapReduce結(jié)構(gòu)

MapReduce是Hadoop結(jié)構(gòu)中的數(shù)據(jù)計(jì)算與處理的框架,原數(shù)據(jù)需先后經(jīng)過(guò)Map函數(shù)和Reduce函數(shù)兩個(gè)階段:在Map函數(shù)階段在數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)上對(duì)數(shù)據(jù)進(jìn)行格式解析等處理,將得到的鍵值Key/Value,再通過(guò)Reduce函數(shù)進(jìn)行數(shù)據(jù)匹配,這兩個(gè)階段都是通過(guò)框架中計(jì)算模型的輸入(input)和輸出(output)來(lái)實(shí)現(xiàn)數(shù)據(jù)的處理的。

2.2.3 Hbase和Hive結(jié)構(gòu)

Hbase是以HDFS為基礎(chǔ),且在列的模式下構(gòu)建的開(kāi)源數(shù)據(jù)庫(kù),同時(shí)還適用于非結(jié)構(gòu)化的數(shù)據(jù),利用HMaster功能對(duì)數(shù)據(jù)進(jìn)行增、刪、改、查,對(duì)分區(qū)(Region)進(jìn)行重新分配,最后再進(jìn)行數(shù)據(jù)的整合與恢復(fù)。Hive是以Hadoop為基礎(chǔ)構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)工具,可以對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行存儲(chǔ),并將其映射為數(shù)據(jù)庫(kù)表,再利用類(lèi)SQL的HiveQL語(yǔ)言對(duì)Hbase數(shù)據(jù)庫(kù)進(jìn)行查詢(xún),整個(gè)過(guò)程不涉及對(duì)數(shù)據(jù)的填、改。

3 Hadoop技術(shù)在交通領(lǐng)域中的應(yīng)用

Hadoop技術(shù)在交通領(lǐng)域中的運(yùn)行過(guò)程為:

(1)利用GPS定位系統(tǒng)實(shí)現(xiàn)交通數(shù)據(jù)的接收與發(fā)送載體,獲取包含地理位置、時(shí)間軸、行駛速度與方向等信息的不同類(lèi)型的數(shù)據(jù),經(jīng)過(guò)預(yù)處理去除異常值,自動(dòng)生成存儲(chǔ)文件保存在HDFS中;

(2)通過(guò)Map函數(shù)和Reduce函數(shù)對(duì)交通系統(tǒng)中車(chē)輛的地理位置、時(shí)間、行駛速度與方向等信息進(jìn)行讀取與匹配,進(jìn)行數(shù)據(jù)的分析與整理;

(3)以Hbase和Hive為基礎(chǔ)的數(shù)據(jù)通過(guò)Java程序進(jìn)行可視化處理,可將不同類(lèi)型和格式的數(shù)據(jù)轉(zhuǎn)換成圖標(biāo)結(jié)構(gòu),同時(shí)還可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的查詢(xún)與調(diào)配。

[1]蘇剛,王堅(jiān),凌衛(wèi)青。基于大數(shù)據(jù)的智能交通分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]。電腦知識(shí)與技術(shù),2015,11(36):44-46.

[2]王亞洲?；贖adoop平臺(tái)的交通數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]。軟件導(dǎo)刊,2016,15(4):124-126.

[3]樂(lè)柏成,賴(lài)粵。Hadoop應(yīng)用基站數(shù)據(jù)改善智能交通方法研究[J]。無(wú)線互聯(lián)科技,2016,4:121-122,127.

呂浩涵(1983-),女,吉林吉林人,碩士,中國(guó)交通通信信息中心工程師,研究方向:交通運(yùn)輸信息化。

趙正(1988-),男,江蘇人,碩士,中國(guó)交通通信信息中心助理工程師,研究方向:寫(xiě)流式處理、系統(tǒng)集成和大數(shù)據(jù)。