李鐸 賴粵

摘要：大數(shù)據(jù)吸引了越來越多的關(guān)注并應(yīng)用于不同的研究領(lǐng)域。文章重點(diǎn)闡述了車載自組織網(wǎng)絡(luò)中的幾點(diǎn)關(guān)鍵問題，具體映射大數(shù)據(jù)的4V特征，提出車載大數(shù)據(jù)處理平臺(tái)框架，探索新的解決思路。

關(guān)鍵詞：車載自組織網(wǎng)絡(luò)；云計(jì)算；大數(shù)據(jù)；Hadoop； Spark

2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld 2011會(huì)議中，EMC拋出了大數(shù)據(jù)（Big Data）概念。根據(jù)IDC的定義：大數(shù)據(jù)技術(shù)被設(shè)計(jì)用于在成本可承受的條件下，通過非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量（volumes）、多類別（variety）的數(shù)據(jù)中提取價(jià)值（value），將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。

在通信系統(tǒng)中大數(shù)據(jù)技術(shù)的實(shí)現(xiàn)主要是通過收集和整合來自異構(gòu)服務(wù)所提供的數(shù)據(jù)。在異構(gòu)網(wǎng)絡(luò)環(huán)境中，深入的科學(xué)研究有待突破，使得技術(shù)服務(wù)更加貼近用戶需求。這一塊的研究主要集中包含有大規(guī)模分布式數(shù)據(jù)處理平臺(tái)（Hadoop）提供的數(shù)據(jù)倉庫產(chǎn)品和一些數(shù)據(jù)分析技術(shù)，比如機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等。

大數(shù)據(jù)時(shí)下還是一個(gè)新興的熱門技術(shù)，不可避免地碰到諸多挑戰(zhàn)，需要采用合適的技術(shù)去管理和分析大數(shù)據(jù)創(chuàng)造價(jià)值，增加預(yù)測(cè)的準(zhǔn)確性，提高管理和安全性。

車載自組織網(wǎng)絡(luò)（Vehicular AdHoc Networks，VANETs）被認(rèn)為是智能交通系統(tǒng)的一部分，是以車為節(jié)點(diǎn)的一種特殊形式的移動(dòng)自組織網(wǎng)絡(luò)，在交通工程中有其自身的一些特點(diǎn)，近年來得到更廣泛的關(guān)注。車載自組織網(wǎng)絡(luò)由2個(gè)部分組成：車與車之間的通信（V2V），車與路邊基礎(chǔ)設(shè)施之間的無線通信（V21）。每輛自發(fā)參與的車變?yōu)橐粋€(gè)中繼或者無線節(jié)點(diǎn)連接其他的車輛，從而成為網(wǎng)絡(luò)的一部分，覆蓋的范圍大概是l00-300m之間。一旦車輛行駛超出這個(gè)范圍，網(wǎng)絡(luò)就會(huì)掉線。

汽車現(xiàn)在已經(jīng)是人們生活中的一部分，車輛作為移動(dòng)終端越發(fā)智能化，在車載自組織網(wǎng)絡(luò)中，數(shù)據(jù)由車輛和路側(cè)單元配置的智能傳感器件生成，從而導(dǎo)致不斷增加的數(shù)據(jù)復(fù)雜度，特別是突發(fā)的數(shù)據(jù)量增大，需要結(jié)合云計(jì)算的彈性進(jìn)行快速處理?；谲囕d自組織網(wǎng)絡(luò)的車載安全、安保、信息娛樂、交通信息、導(dǎo)航、車輛故障診斷、預(yù)判等業(yè)務(wù)蓬勃發(fā)展。不難看出，在車載自組織網(wǎng)絡(luò)應(yīng)用需求的推動(dòng)下，大數(shù)據(jù)無疑為其提供了堅(jiān)實(shí)的技術(shù)后盾。因?yàn)闊o論是車輛的接入、服務(wù)內(nèi)容的選擇還是服務(wù)的精準(zhǔn)性，都為大數(shù)據(jù)提供了有利的介入空間。大數(shù)據(jù)很平滑地拓展到了交通領(lǐng)域。通過應(yīng)用大數(shù)據(jù)技術(shù)，可以從巨量的操作數(shù)據(jù)中獲得更好的認(rèn)知和了解，以期提高交通管理效率。

1 車載自組織網(wǎng)絡(luò)中的大數(shù)據(jù)問題

大數(shù)據(jù)的特征通常用4個(gè)V來概括：大量化（Volume）、多樣化（Variety）、快速化（Velocity）、價(jià)值密度低（Value），只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)是工程技術(shù)和策略技術(shù)的結(jié)合。大數(shù)據(jù)要求改變?nèi)藗円酝鶎?duì)精確性的苛求，轉(zhuǎn)而追求混雜性，不再偏執(zhí)于對(duì)因果關(guān)系的追問，轉(zhuǎn)為追求相關(guān)關(guān)系，這種思維的轉(zhuǎn)變是革命性的。

車載自組織網(wǎng)絡(luò)前進(jìn)的動(dòng)力主要來自于大眾的應(yīng)用需求，交通安全、交通堵塞、車輛智能管理、環(huán)境保護(hù)等一系列問題。本文試圖闡述將車載自組織網(wǎng)絡(luò)的特征映射到大數(shù)據(jù)的屬性，以期驗(yàn)證車載自組織網(wǎng)絡(luò)中的有些問題可被當(dāng)作大數(shù)據(jù)問題，并使用大數(shù)據(jù)技術(shù)進(jìn)行解決分析處理。這些問題包括：

實(shí)時(shí)數(shù)據(jù)：車載自組織網(wǎng)絡(luò)中的數(shù)據(jù)是實(shí)時(shí)更新的并存儲(chǔ)在數(shù)據(jù)庫中，生成很大的表給予路由決策使用。這部分對(duì)應(yīng)大數(shù)據(jù)的體量大的特征，巨量的數(shù)據(jù)由不同的數(shù)據(jù)源實(shí)時(shí)生成。

變化的網(wǎng)絡(luò)密度：車輛配置的智能傳感器件產(chǎn)生不同形式的數(shù)據(jù)，網(wǎng)絡(luò)的密度隨著車輛密度而改變。這部分對(duì)應(yīng)大數(shù)據(jù)的多樣性特征，包含有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

高度動(dòng)態(tài)拓?fù)浜鸵苿?dòng)模型：車輛作為中繼或者節(jié)點(diǎn)的網(wǎng)絡(luò)中，由于速度的高度改變影響頻繁的網(wǎng)絡(luò)分片和網(wǎng)絡(luò)密度的變化。這部分吻合大數(shù)據(jù)快速化特征，不單單是生成數(shù)據(jù)速率很快，而且也要求處理輸入數(shù)據(jù)的耗時(shí)更短。

大規(guī)模網(wǎng)絡(luò)和超強(qiáng)計(jì)算能力：大規(guī)模網(wǎng)絡(luò)中汽車配置的智能傳感期間增強(qiáng)了節(jié)點(diǎn)的計(jì)算能力，這要求抽取數(shù)據(jù)的價(jià)值來預(yù)測(cè)路由決策。這部分對(duì)應(yīng)于大數(shù)據(jù)的價(jià)值密度特征，在對(duì)節(jié)點(diǎn)分析和預(yù)測(cè)行為以期論證某個(gè)理論或者做決策優(yōu)化的時(shí)候很重要。

因此，車載自組織網(wǎng)絡(luò)問題可以被當(dāng)作一個(gè)很好的大數(shù)據(jù)分析的案例。

2 車載自組織網(wǎng)絡(luò)的大數(shù)據(jù)分析

車載自組織網(wǎng)絡(luò)的研究有助于改善交通系統(tǒng)、供應(yīng)鏈管理以及物流。通過GPS、RFID、傳感器、攝像頭處理等裝置獲得道路、汽車和駕駛員成千上萬的變量參數(shù)，車輛可以完成自身環(huán)境和狀態(tài)信息的采集。弄清道路的交通流量、本地天氣情況、駕駛員的操作習(xí)慣以及對(duì)突發(fā)情況的應(yīng)變反應(yīng)。這個(gè)規(guī)模是巨大的。僅百萬公里的道路、百萬輛的汽車、百萬名的駕駛員幾年下來提供的數(shù)據(jù)量就很令人震驚。當(dāng)下，唯有采用大數(shù)據(jù)技術(shù)可在合理的時(shí)間對(duì)這些巨量的數(shù)據(jù)進(jìn)行處理才能獲取有價(jià)值的東西。

在汽車及其相關(guān)的設(shè)備已經(jīng)或正在向數(shù)字化轉(zhuǎn)變的今天，汽車產(chǎn)業(yè)生態(tài)圈急需大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理，并使之產(chǎn)生真正可見的價(jià)值。從技術(shù)上講，它包括大數(shù)據(jù)的收集、轉(zhuǎn)化、存儲(chǔ)、分析、共享、可視化和應(yīng)用集成等領(lǐng)域，需要對(duì)產(chǎn)生于各系統(tǒng)終端的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集，對(duì)數(shù)據(jù)分析挖掘，建立相關(guān)模型，并針對(duì)客戶及行業(yè)需求。

一個(gè)簡單的服務(wù)應(yīng)用就能夠產(chǎn)生、收集很多類型的數(shù)據(jù)。數(shù)據(jù)產(chǎn)生的速度很快并且要求快速的處理。這些數(shù)據(jù)隱藏了部分有價(jià)值的信息，必須進(jìn)行深入的挖掘、分析。車載大數(shù)據(jù)的處理，就是挖掘其中的隱含價(jià)值，將大數(shù)據(jù)從某個(gè)方面進(jìn)行加工處理得到特定業(yè)務(wù)的便利性甚至是預(yù)見性的核心數(shù)據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫處理不了這么巨大的數(shù)據(jù)，大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。對(duì)海量數(shù)據(jù)的挖掘必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲(chǔ)和虛擬化技術(shù)，需要采用新的技術(shù)來處理這么巨量車載大數(shù)據(jù)。本文重點(diǎn)考察2個(gè)具有代表性的技術(shù)：

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop的框架的最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS實(shí)現(xiàn)存儲(chǔ)，而MapReduce實(shí)現(xiàn)分析處理。主要應(yīng)用批量處理，計(jì)算完成的數(shù)據(jù)如需數(shù)據(jù)倉庫的存儲(chǔ)，存入Hive中，然后進(jìn)行展現(xiàn)。

Spark為大數(shù)據(jù)的多種計(jì)算場(chǎng)景提供了一個(gè)通用的計(jì)算引擎，它立足于內(nèi)存計(jì)算，兼顧數(shù)據(jù)倉庫、流處理和圖計(jì)算等多種計(jì)算范式，是大數(shù)據(jù)系統(tǒng)領(lǐng)域的全棧計(jì)算平臺(tái)。針對(duì)源源不斷的數(shù)據(jù)，可以盡快處理，不產(chǎn)生積壓。在迭代處理、流式處理中表現(xiàn)優(yōu)異，提供的MLib組件實(shí)現(xiàn)了很多的機(jī)器學(xué)習(xí)算法。

本文綜合上述2個(gè)技術(shù)提出車載大數(shù)據(jù)處理平臺(tái)框架，如圖1所示，可兼容離線、近實(shí)時(shí)和實(shí)時(shí)環(huán)境下的不同業(yè)務(wù)場(chǎng)景。當(dāng)大數(shù)據(jù)聯(lián)合車載自組織網(wǎng)絡(luò)提供服務(wù)時(shí)，車載大數(shù)據(jù)所包含的豐富的興趣點(diǎn)和海量資料，通過整合地圖資源和LBS領(lǐng)域的優(yōu)秀數(shù)據(jù)，挖掘客戶深層次的需求，為客戶提供增值應(yīng)用服務(wù)。

3 結(jié)語

隨著云時(shí)代的來臨，大數(shù)據(jù)技術(shù)也滲透到了不同的研究和應(yīng)用領(lǐng)域。車載自組織網(wǎng)絡(luò)作為以車為節(jié)點(diǎn)的一種特殊形式的移動(dòng)自組織網(wǎng)絡(luò)，借助大數(shù)據(jù)技術(shù)的力量，可以煥發(fā)新的生機(jī)。