摘 要：大數(shù)據(jù)環(huán)境下GIS處在數(shù)據(jù)體量大、數(shù)據(jù)急劇膨脹、數(shù)據(jù)源多樣、數(shù)據(jù)不精確、數(shù)據(jù)價(jià)值密度低的環(huán)境。描述大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)顯著特征；探討大數(shù)據(jù)環(huán)境下GIS技術(shù)在數(shù)據(jù)采集、存儲(chǔ)、分析處理等三個(gè)方面存在的挑戰(zhàn)；展望面對(duì)這些挑戰(zhàn)GIS技術(shù)應(yīng)存儲(chǔ)去結(jié)構(gòu)化、計(jì)算內(nèi)存化、分析去模型化、地圖全息化發(fā)展趨勢(shì)。

關(guān)鍵詞：大數(shù)據(jù)；GIS；Hadoop；Spark；去模型化

引言

隨著移動(dòng)互聯(lián)網(wǎng)、智慧城市、物聯(lián)網(wǎng)、云計(jì)算等前沿科學(xué)技術(shù)的快速發(fā)展，數(shù)據(jù)采集方式也不斷擴(kuò)展，越來越多的物體成為傳感器，諸如手機(jī)、手環(huán)、手表、眼鏡等越來越多的日常用品成為數(shù)據(jù)的生產(chǎn)工具。在此背景下，數(shù)據(jù)量呈爆發(fā)式增長。2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB（相當(dāng)于8億TB），是2012年所產(chǎn)生的數(shù)據(jù)總量的2倍，相當(dāng)于2009年全球的數(shù)據(jù)總量[1]。2014年中國所產(chǎn)生的數(shù)據(jù)則相當(dāng)于2012年產(chǎn)生數(shù)據(jù)總量的10倍，即超過8ZB，而全球產(chǎn)生的數(shù)據(jù)總量將超40ZB。數(shù)據(jù)量的爆發(fā)式增長督促我們快速邁入大數(shù)據(jù)時(shí)代。

1 GIS空間數(shù)據(jù)的大數(shù)據(jù)特征

具體什么是大數(shù)據(jù)不同的組織給出的定義也不盡相同，普遍來說大數(shù)據(jù)指的是無法通過現(xiàn)有的軟件工具采集、存儲(chǔ)和分析處理的數(shù)據(jù)集合。業(yè)界通常用5V（Volume、Variety、Velocity、Veracity、Value）特征[2]來概括大數(shù)據(jù)的顯著特征。爆發(fā)式增長的數(shù)據(jù)中80%與空間位置有關(guān)，這些GIS空間數(shù)據(jù)的大數(shù)據(jù)特征同樣可以用5V來概括。

Volume（數(shù)據(jù)量）：即數(shù)據(jù)體量大，大量TB級(jí)以上數(shù)據(jù)需要采集、存儲(chǔ)、分析處理，如一個(gè)地級(jí)市的基礎(chǔ)地理信息數(shù)據(jù)。

Velocity（速度）：即數(shù)據(jù)產(chǎn)生的速率很快，目前數(shù)據(jù)正以ms甚至微秒計(jì)的流數(shù)據(jù)源源不斷地快速產(chǎn)生，因此對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求也越來越更高。

Variety（多樣性）：即數(shù)據(jù)具有多樣性，它包含各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如屬性數(shù)據(jù)、矢量數(shù)據(jù)、遙感影像等柵格數(shù)據(jù)。

Veracity（真實(shí)）：即數(shù)據(jù)具有不精確性，因?yàn)閿?shù)據(jù)存在噪音、歧義甚至是缺失，從而導(dǎo)致數(shù)據(jù)信息模糊，給數(shù)據(jù)的處理帶來諸多不利影響。

Value（價(jià)值）：即價(jià)值密度低，大數(shù)據(jù)中蘊(yùn)含各種信息，但其中有價(jià)值的數(shù)據(jù)占比較低，從中挖掘出有價(jià)值的數(shù)據(jù)是一種挑戰(zhàn)。

2 大數(shù)據(jù)環(huán)境下GIS面臨的挑戰(zhàn)

自Roger Tomlinson博士于1963年首次提出地理信息系統(tǒng)（Geographic Information Systems）概念之后，GIS技術(shù)一直都在快速發(fā)展。GIS技術(shù)現(xiàn)已廣泛應(yīng)用于環(huán)境監(jiān)測(cè)、國土資源管理、城市規(guī)劃、交通運(yùn)輸、公共基礎(chǔ)設(shè)施管理、社交網(wǎng)絡(luò)（SNS）、位置服務(wù)（LBS）等領(lǐng)域，給人們生活帶來很大便利。隨著廣大從業(yè)者對(duì)GIS技術(shù)進(jìn)行不斷的嘗試和實(shí)踐，發(fā)現(xiàn)大數(shù)據(jù)環(huán)境下GIS所面臨的數(shù)據(jù)通常是大體量的、快速增長的、異構(gòu)的、非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)采集不便、存儲(chǔ)困難、分析處理復(fù)雜，給傳統(tǒng)GIS技術(shù)帶來挑戰(zhàn)。

2.1 大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)的采集

大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)采集方式不再局限于全站儀、水準(zhǔn)儀、掃描儀、衛(wèi)星遙感影像等傳統(tǒng)設(shè)備與方式，而是來源于各種傳感器、街景圖片、網(wǎng)頁貼吧、視頻監(jiān)測(cè)數(shù)據(jù)、歷史數(shù)據(jù)、社會(huì)動(dòng)態(tài)等復(fù)雜多樣的數(shù)據(jù)源，凸現(xiàn)大數(shù)據(jù)的多樣性特征，這給GIS數(shù)據(jù)的采集增加了難度。另外各種傳感器等監(jiān)測(cè)數(shù)據(jù)多為流數(shù)據(jù)，數(shù)據(jù)以毫秒甚至以微秒計(jì)源源不斷快速產(chǎn)生。所謂流數(shù)據(jù)是指一組順序、大量、快速、連續(xù)到達(dá)的數(shù)據(jù)序列，一般情況下，數(shù)據(jù)流可被視為一個(gè)隨時(shí)間延續(xù)而無限增長的動(dòng)態(tài)數(shù)據(jù)集合，如車輛的行駛軌跡等階段內(nèi)無限增加的動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)。此外大數(shù)據(jù)環(huán)境下95%以上的數(shù)據(jù)都是存在噪音和歧義甚至缺失的不精確數(shù)據(jù)，在這種數(shù)據(jù)體量巨大的大數(shù)據(jù)環(huán)境下如何建立數(shù)據(jù)質(zhì)量評(píng)價(jià)體系，從而采集到真實(shí)可靠的數(shù)據(jù)成為一大難題。

2.2 大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)的存貯

數(shù)據(jù)的存儲(chǔ)是數(shù)據(jù)分析和數(shù)據(jù)挖掘的基礎(chǔ)與前提?，F(xiàn)有成熟的GIS數(shù)據(jù)存儲(chǔ)系統(tǒng)多依賴關(guān)系型數(shù)據(jù)庫，如Oracle、PostGIS；但是關(guān)系型數(shù)據(jù)庫由于在海量數(shù)據(jù)管理、高并發(fā)讀寫以及擴(kuò)展性等方面的限制，在大數(shù)據(jù)時(shí)代已經(jīng)顯示出一定的局限性[3]。

大數(shù)據(jù)環(huán)境下數(shù)據(jù)量體非常巨大，2GB大小的遙感影像已經(jīng)是非常小的分析單元。另外GIS數(shù)據(jù)源呈現(xiàn)更大的多樣性，既有屬性信息等可以用結(jié)構(gòu)化方式存儲(chǔ)的數(shù)據(jù)，又有街景、視頻等非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的GIS空間數(shù)據(jù)存儲(chǔ)方式不但難以擴(kuò)展，而且隨著數(shù)據(jù)的激增讀寫性能存在極大瓶頸。

在傳統(tǒng)的分布式空間數(shù)據(jù)庫環(huán)境下數(shù)據(jù)雖然可以存放在不同節(jié)點(diǎn)上，但這種相對(duì)傳統(tǒng)的分布式文件系統(tǒng)所支持的擴(kuò)展性有限，針對(duì)GIS大體量、多樣性的空間數(shù)據(jù)存儲(chǔ)問題仍需深入研究，從而尋找更加有效的方案。

2.3 大數(shù)據(jù)環(huán)境下的GIS空間分析

大數(shù)據(jù)環(huán)境下是處處連接的時(shí)代，英特爾預(yù)測(cè)2020年全球?qū)⒂?00億個(gè)連接。每個(gè)連接都是一個(gè)傳感器，這些傳感器無時(shí)無刻都在進(jìn)行采集數(shù)據(jù)，其自身狀態(tài)也隨著社會(huì)環(huán)境、自然環(huán)境的變化而變化。這樣的背景下，迫切需要GIS能夠做到低延遲的分析處理工作，因?yàn)榉治瞿Ｐ鸵残枰S著變化而動(dòng)態(tài)變化。

另外大體量和多樣性的GIS數(shù)據(jù)同樣給分析處理帶來巨大挑戰(zhàn)。數(shù)據(jù)體量越大，分析模型的建立就越困難，加上GIS數(shù)據(jù)包含街景地圖、遙感影像、矢量數(shù)據(jù)等多樣性的、價(jià)值密度很低數(shù)據(jù)，從中快速提煉有價(jià)值數(shù)據(jù)無疑是一項(xiàng)無比艱巨的任務(wù)。

3 大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展

大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)體量大、增長速度快、形態(tài)多樣、不精確、價(jià)值密度低等諸多特征必將引起GIS數(shù)據(jù)采集、存貯、分析等階段的變革。大數(shù)據(jù)環(huán)境下GIS技術(shù)在空間數(shù)據(jù)采集、存儲(chǔ)、分析處理等方面存在諸多挑戰(zhàn)，應(yīng)運(yùn)而生的大數(shù)據(jù)分析技術(shù)則為根本上解決大數(shù)據(jù)環(huán)境GIS所面臨的挑戰(zhàn)提供了可能。

3.1 存儲(chǔ)去結(jié)構(gòu)化

相對(duì)于有限的數(shù)據(jù)集，大體量數(shù)據(jù)需要可擴(kuò)展的數(shù)據(jù)存儲(chǔ)架構(gòu)，以滿足數(shù)據(jù)無限增長的需要。針對(duì)大數(shù)據(jù)時(shí)代GIS數(shù)據(jù)的多樣性，諸如HBase、Redis、MongoDB、InfoGrid等非關(guān)系型（NoSQL）數(shù)據(jù)庫顯然是不錯(cuò)的選擇。

這些數(shù)據(jù)庫存儲(chǔ)不需要預(yù)先定義模式，并且可在系統(tǒng)運(yùn)行的時(shí)候動(dòng)態(tài)增加或刪除節(jié)點(diǎn)，避免停機(jī)維護(hù)，提高了拓展性和可靠性；另外非關(guān)系型數(shù)據(jù)庫沒有共享架構(gòu)，數(shù)據(jù)往往被劃分后存儲(chǔ)在各個(gè)本地服務(wù)器上，方便就近從本地磁盤上讀取數(shù)據(jù)，提高數(shù)據(jù)讀取性能。

3.2 計(jì)算內(nèi)存化

Hadoop系統(tǒng)是近幾年比較經(jīng)典的開源大數(shù)據(jù)解決方案，但Hadoop主要進(jìn)行離線數(shù)據(jù)的計(jì)算，應(yīng)對(duì)低延遲的應(yīng)用場(chǎng)景比較困難；另外Hadoop使用的是MapReduce模型，而該模型將復(fù)雜的問題用簡(jiǎn)單的映射、歸約方式，對(duì)復(fù)雜的算法邏輯支持不充分。Hadoop方案中數(shù)據(jù)存在硬盤上，因此容易受IO瓶頸的影響，故實(shí)時(shí)處理GIS數(shù)據(jù)乏力。幸運(yùn)的是大數(shù)據(jù)領(lǐng)域一批又一批新生技術(shù)出現(xiàn)，Spark是其中的一個(gè)代表。Spark啟用了內(nèi)存分布式數(shù)據(jù)集，它支持更多范式，且配有一個(gè)流數(shù)據(jù)處理模型，因此在處理GIS數(shù)據(jù)上能達(dá)到更低延遲，性能更高的效果。

3.3 分析去模型化

傳統(tǒng)的GIS空間數(shù)據(jù)分析需要先建立分析模型，比如影響因子有哪些，權(quán)重各是多少，然后才能進(jìn)行分析，做出評(píng)價(jià)。然而大數(shù)據(jù)環(huán)境下，分析模型愈發(fā)跟不上或不適應(yīng)數(shù)據(jù)的快速增長與變化，以數(shù)據(jù)為最終驅(qū)動(dòng)力的去模型化則必然是GIS技術(shù)的發(fā)展方向。

3.4 地圖全息化

傳統(tǒng)的地圖越來越不適應(yīng)大數(shù)據(jù)環(huán)境下用戶的個(gè)性化定制需求，以人為本的全息化地圖可幫助用戶任何時(shí)間、任何地點(diǎn)獲取所需要的數(shù)據(jù)信息。其宗旨是以“人”為本，根據(jù)用戶的應(yīng)用需求，基于位置來集成和關(guān)聯(lián)適宜的地理范圍、內(nèi)容類型、細(xì)節(jié)程度、時(shí)間點(diǎn)或間隔的泛在信息，通過適應(yīng)于特定用戶的表達(dá)方式為用戶提供信息服務(wù)[4]。

4 結(jié)束語

大數(shù)據(jù)的發(fā)展對(duì)世界產(chǎn)生深遠(yuǎn)的影響，大數(shù)據(jù)環(huán)境下GIS也面臨著采集困難、存儲(chǔ)不便、分析處理復(fù)雜等諸多挑戰(zhàn)；當(dāng)然這也是GIS技術(shù)的發(fā)展機(jī)遇，GIS從業(yè)者需要從不斷的實(shí)踐中探索出更加科學(xué)的解決方案。

參考文獻(xiàn)

[1]Ahalt S C. Why Data Science[J].Communications of the CCF，2013，9（12）：11-15（Ahalt S C.為什么需要數(shù)據(jù)科學(xué)[J].中國計(jì)算機(jī)學(xué)會(huì)通訊，2013，9（12）：11-15.

[2]陸鋒，張恒才.大數(shù)據(jù)與廣義GIS[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2014，6（39）：645-654.

[3]李清泉，李德仁.大數(shù)據(jù)GIS[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2014，6（39）：641-644.

[4]朱欣焰，周成虎，等.全息位置地圖概念內(nèi)涵及其關(guān)鍵技術(shù)初探[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2015，3（40）：285-295.

作者簡(jiǎn)介：沈松雨（1986，1-），男，廣東廣州，本科學(xué)歷，助理工程師、系統(tǒng)分析師，研究方向：大數(shù)據(jù)分析。