劉志洋，李雅婷

(1.西北大學(xué)附屬中學(xué)，陜西 西安 710027；2.西北大學(xué)城市與環(huán)境學(xué)院，陜西 西安 710127)

大數(shù)據(jù)時代下的GIS發(fā)展

劉志洋1，李雅婷2

(1.西北大學(xué)附屬中學(xué)，陜西 西安 710027；2.西北大學(xué)城市與環(huán)境學(xué)院，陜西 西安 710127)

隨著網(wǎng)絡(luò)技術(shù)迅速發(fā)展，帶有地理位置信息的數(shù)據(jù)在數(shù)據(jù)容量、數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)等方面日益復(fù)雜。從大數(shù)據(jù)與GIS的概念出發(fā)，通過分析大數(shù)據(jù)對GIS發(fā)展的影響，從數(shù)據(jù)采集、數(shù)據(jù)管理、空間分析與可視化三個方面對大數(shù)據(jù)GIS的發(fā)展進行闡述探討。提出通過完善水文空間數(shù)據(jù)基礎(chǔ)設(shè)施以及在水文數(shù)據(jù)分析與挖掘方面，建立分布式并行或云計算構(gòu)架等方式構(gòu)建水文空間數(shù)據(jù)管理基礎(chǔ)設(shè)施，以支撐水文數(shù)據(jù)統(tǒng)一管理與共享，加快GIS與大數(shù)據(jù)技術(shù)結(jié)合，實現(xiàn)大數(shù)據(jù)為GIS所帶來的重大社會價值。

大數(shù)據(jù)；GIS；發(fā)展

近年來，快速發(fā)展的信息技術(shù)引發(fā)數(shù)據(jù)在容量與形式等方面爆炸式增長。研究表明，整個人類文明過程中所積累的全部數(shù)據(jù)，有90%是過去近幾年產(chǎn)生的，并預(yù)測到2020年全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到2009年的44倍[1]，其中80%的數(shù)據(jù)具有空間位置屬性[2]，學(xué)界把這種數(shù)據(jù)容量大、結(jié)構(gòu)復(fù)雜、形式多樣的短時間內(nèi)常規(guī)手段難以獲取、處理與分析的數(shù)據(jù)集合統(tǒng)稱為大數(shù)據(jù)。目前，大數(shù)據(jù)已經(jīng)普遍存在能源、交通運輸業(yè)、服務(wù)業(yè)等領(lǐng)域，且積累了TB級甚至EB級的數(shù)據(jù)量[3]。海量數(shù)據(jù)一直是GIS關(guān)注的重要問題，對于從基于空間位置的海量數(shù)據(jù)到大數(shù)據(jù)的跨越，其數(shù)據(jù)量容量發(fā)生指數(shù)增長，數(shù)據(jù)獲取方式、數(shù)據(jù)類型、數(shù)據(jù)管理方式、空間分析與可視化等為傳統(tǒng)GIS應(yīng)用產(chǎn)生了巨大影響與挑戰(zhàn)。

1 大數(shù)據(jù)與GIS

1.1 基本概念

大數(shù)據(jù)，指數(shù)據(jù)容量超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集[4]。它是信息時代的產(chǎn)物，主要包括社交網(wǎng)絡(luò)、網(wǎng)站信息、移動信息設(shè)備等各種介質(zhì)產(chǎn)生的數(shù)據(jù)。IBM認(rèn)為當(dāng)前大數(shù)據(jù)具有5V特征，即：數(shù)據(jù)容量大(Volume)、數(shù)據(jù)產(chǎn)生速度快(Velocity)、數(shù)據(jù)形式和來源多樣(Variety)、數(shù)據(jù)的真實性難辨(Veracity)、數(shù)據(jù)隱含價值大(Value)[5]。大數(shù)據(jù)的實際價值不限于龐大的數(shù)據(jù)信息，更多在于通過專業(yè)化處理后浮現(xiàn)的隱含信息。

當(dāng)前，傳統(tǒng)GIS存儲、管理與分析大數(shù)據(jù)時面臨的主要問題有：量大、機構(gòu)復(fù)雜的大數(shù)據(jù)，顛覆了傳統(tǒng)GIS的關(guān)系型數(shù)據(jù)管理構(gòu)架；用戶對GIS大數(shù)據(jù)的實時性、響應(yīng)時間要求越來越高；在對大數(shù)據(jù)的空間分析與可視化時，由于其數(shù)據(jù)量特別大導(dǎo)致計算量呈指數(shù)級增加。

1.2 大數(shù)據(jù)GIS的特征

區(qū)別于其他信息管理系統(tǒng)，GIS具有空間數(shù)據(jù)管理、空間分析與數(shù)據(jù)可視化的功能。大數(shù)據(jù)并沒有改變傳統(tǒng)GIS的基本特征，但是對其提出了新的要求。隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)將促進GIS產(chǎn)業(yè)技術(shù)升級和服務(wù)模式變革。因此，對大數(shù)據(jù)的存儲、分析以及處理等問題的研究變得越來越重要，以促使GIS取得更多的經(jīng)濟效益和社會效益。

大數(shù)據(jù)下的GIS應(yīng)該具有的基本特征：(1) 大數(shù)據(jù)管理方式動態(tài)性、易擴展。相比傳統(tǒng)的靜態(tài)離散的數(shù)據(jù)集，數(shù)據(jù)存儲和管理從傳統(tǒng)的面向離線式分析的組織與存儲方式轉(zhuǎn)換為可擴展的面向?qū)崟r分析與挖掘的動態(tài)處理與管理過程。同時，大數(shù)據(jù)GIS的數(shù)據(jù)存儲管理系統(tǒng)需要具備易擴展性以解決動態(tài)無限增長的數(shù)據(jù)的存儲和數(shù)據(jù)查詢問題。(2) 大數(shù)據(jù)驅(qū)動的空間分析與挖掘能力。將傳統(tǒng)的空間分析方法由模型驅(qū)動逐漸轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動大數(shù)據(jù)GIS的空間分析，不僅要有建立模型的能力，更要有挖掘新模式、新知識、新規(guī)律的能力。(3) 結(jié)合地理計算的可視化分析。傳統(tǒng)GIS可視化的重點表現(xiàn)在符號、尺度、三維等問題上。大數(shù)據(jù)GIS的可視化不僅僅是圖形顯示功能還是數(shù)據(jù)分析和挖掘的一個重要手段[6-7]。通過交互可視手段對數(shù)據(jù)和事件進行分析和決策，進而對復(fù)雜情景進行更深層的認(rèn)識。

2 大數(shù)據(jù)時代下的GIS發(fā)展

大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)時代的到來對GIS的發(fā)展產(chǎn)生極大影響。在大數(shù)據(jù)時代，GIS數(shù)據(jù)采集的方式、存儲和管理的形式、空間分析和數(shù)據(jù)挖掘方法必將發(fā)生巨大的變革。GIS作為一門以空間分析為核心、以指導(dǎo)決策為目的的綜合性學(xué)科，空間數(shù)據(jù)對GIS的重要性不言而喻。因此，要想在大數(shù)據(jù)時代發(fā)揮GIS的最大功效，需要對數(shù)據(jù)采集、管理、分析與可視化的等方面進行不斷改進，并且只有將GIS與大數(shù)據(jù)技術(shù)相結(jié)合，才能從根本上解決GIS龐大的數(shù)據(jù)量所面臨的各種問題。

2.1 大數(shù)據(jù)與GIS數(shù)據(jù)采集

大數(shù)據(jù)GIS的數(shù)據(jù)形式多樣，主要有地圖數(shù)字化、遙感影像、傳感器實時監(jiān)測設(shè)備、RFID設(shè)備、歷史資料等媒介產(chǎn)生的各種數(shù)據(jù)。首先，由于大數(shù)據(jù)源的種類各異，獲取數(shù)據(jù)的方法也各不相同，在運用GIS對大數(shù)據(jù)進行采集識別過程中，需要建立多源數(shù)據(jù)的關(guān)聯(lián)和識別模型、多源多態(tài)數(shù)據(jù)的自動識別方法等，同時將不同來源、不同形式的大數(shù)據(jù)綜合分析，以多角度、全面地描述事物對象。其次，需要建立完善的正確性條件和約束性規(guī)則以確保數(shù)據(jù)的完整性和同一性。最后，建立數(shù)據(jù)監(jiān)管部門，以確保數(shù)據(jù)的真實性。

2.2 大數(shù)據(jù)與GIS數(shù)據(jù)管理

數(shù)據(jù)管理是GIS的基本功能之一，大數(shù)據(jù)的分布式管理構(gòu)架將影響GIS數(shù)據(jù)管理模式。為適應(yīng)大數(shù)據(jù)時代，傳統(tǒng)GIS的數(shù)據(jù)管理可以從以下方面考慮：(1) 在數(shù)據(jù)管理模式方面，相對于靜態(tài)、有限的、離散的數(shù)據(jù)集，大數(shù)據(jù)GIS的數(shù)據(jù)存儲管理系統(tǒng)需要具備擴展性，以處理動態(tài)無限增長的數(shù)據(jù)的存儲和查詢問題。雖然Hadoop技術(shù)是在對大數(shù)據(jù)處理中所使用的常用解決方案，但它無法有效地多線程并進的算法邏輯。隨著大數(shù)據(jù)管理架構(gòu)不斷完善，大數(shù)據(jù)下GIS空間數(shù)據(jù)管理架構(gòu)逐漸走向多樣性。(2) 在數(shù)據(jù)結(jié)構(gòu)方面，傳統(tǒng)的GIS數(shù)據(jù)管理是以矢量數(shù)據(jù)與柵格數(shù)據(jù)的格式為主的關(guān)系型數(shù)據(jù)形式，對非結(jié)構(gòu)化、可擴展的大數(shù)據(jù)難以適應(yīng)。但近年來以無需提前聲明數(shù)據(jù)結(jié)構(gòu)、自由添加字段的鍵-值數(shù)據(jù)為代表的非關(guān)系型數(shù)據(jù)庫迅速發(fā)展，這對定義GIS數(shù)據(jù)結(jié)構(gòu)提供了較好的解決方案。(3) 連接數(shù)據(jù)庫與應(yīng)用層的接口方面。GIS需要從應(yīng)用層中讀取PB量級的數(shù)據(jù)，同時還需使上層應(yīng)用能夠快速、準(zhǔn)確地訪問數(shù)據(jù)庫的各個節(jié)點，所以建立兼容性強的數(shù)據(jù)訪問接口必不可少。

2.3 大數(shù)據(jù)與GIS空間分析

空間模型是傳統(tǒng)空間分析重要思想，它考慮的是如何建立一個更高精度的數(shù)學(xué)模型。區(qū)別于傳統(tǒng)GIS空間分析，大數(shù)據(jù)GIS更多關(guān)注從不同空間或者時間尺度上挖掘數(shù)據(jù)中隱含的規(guī)則或知識。為了克服大數(shù)據(jù)的不確定性，在進行GIS空間分析時應(yīng)盡可能地使用多源數(shù)據(jù)，并對多源數(shù)據(jù)進行融合，以充分發(fā)揮大數(shù)據(jù)所隱含的信息優(yōu)勢。大數(shù)據(jù)GIS的空間分析需要具備空間建模功能，還應(yīng)具備挖掘新模式、新知識、新規(guī)律的能力。

3 水文大數(shù)據(jù)對GIS發(fā)展的思考

水文是研究自然界水體時空分布變化規(guī)律的科學(xué)。目前，我國在江河、湖泊布設(shè)的水文資料實時監(jiān)測站，收集的水文數(shù)據(jù)容量截止2012年已經(jīng)超過100BT[8]。目前，GIS在水情實時監(jiān)測、水資源調(diào)度、水資源管理、水文專題分析等方面的應(yīng)用較為廣泛。隨著水文傳感器的發(fā)展，水文數(shù)據(jù)收集的數(shù)據(jù)容量也會成指數(shù)增長，所以在水文大數(shù)據(jù)環(huán)境下，GIS水文的發(fā)展與應(yīng)用如何發(fā)展將成為GIS學(xué)者與水文學(xué)者面臨的共同問題。筆者認(rèn)為基于水文大數(shù)據(jù)的GIS整體發(fā)展方向可以從下面兩方面進行考慮：

(1)完善水文空間數(shù)據(jù)基礎(chǔ)設(shè)施，包括水文數(shù)據(jù)實時采集、管理、分析與可視化等硬件設(shè)備、軟件條件。水文涉及氣象、降雨、水情、水質(zhì)、泥沙等多個方向。水文數(shù)據(jù)獲取獲取方式不同、數(shù)據(jù)容量大、形式多樣、結(jié)構(gòu)各異造成數(shù)據(jù)綜合管理比較困難，影響數(shù)據(jù)共享以及水文數(shù)據(jù)價值的發(fā)揮。因此，在硬件方面，除了增加全國范圍內(nèi)水文監(jiān)測設(shè)備的數(shù)量，還要提高設(shè)備監(jiān)測的精度。在水文數(shù)據(jù)管理等方面，基于大數(shù)據(jù)GIS的非結(jié)構(gòu)化空間數(shù)據(jù)管理優(yōu)勢，構(gòu)建水文空間數(shù)據(jù)管理基礎(chǔ)設(shè)施，以支撐水文數(shù)據(jù)統(tǒng)一管理與共享。

(2)在水文數(shù)據(jù)分析與挖掘方面，需建立分布式并行或云計算構(gòu)架。對水文大數(shù)據(jù)分析的關(guān)鍵是處理好數(shù)據(jù)抽取和模式分析等過程中產(chǎn)生的大量計算問題[9]，基于分布式并行計算或者云計算提供了較好的解決方案，實現(xiàn)以數(shù)據(jù)驅(qū)動為基礎(chǔ)的新模型發(fā)現(xiàn)和知識挖掘?qū)⒊蔀榇髷?shù)據(jù)水文分析的重要應(yīng)用領(lǐng)域[10]。

4 結(jié)語

目前，地理空間數(shù)據(jù)表達、管理與分析技術(shù)已經(jīng)相當(dāng)成熟，但隨著大數(shù)據(jù)時代的來臨，對GIS社會化的應(yīng)用又提出了更高的要求?；诳臻g位置的社交網(wǎng)絡(luò)、社交關(guān)系、物聯(lián)網(wǎng)、云計算、城市計算等作為典型大數(shù)據(jù)的重要性會越加凸顯，并將極大地推進GIS的應(yīng)用研究。同時這些大數(shù)據(jù)要在GIS中充分發(fā)揮其作用，地理信息部門、企業(yè)要對其技術(shù)有足夠的認(rèn)識與技術(shù)積淀，并加快GIS與大數(shù)據(jù)技術(shù)的結(jié)合發(fā)展，以得到大數(shù)據(jù)為GIS所帶來的大價值。

[1]方巍, 鄭玉, 徐江. 大數(shù)據(jù):概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報.2014(5):405-419.

[2]Shekhar S, Xiong H. Encyclopedia of GIS[M]. Springer US, 2008.

[3]維克托·邁爾·舍恩伯格,肯尼思·庫克耶.大數(shù)據(jù)時代: 生活、工作與思維方式的大變革[M].盛楊燕,周濤,譯.杭州:浙江人民出版社.2012.

[4]甄峰, 秦蕭, 王波. 大數(shù)據(jù)時代的人文地理研究與應(yīng)用實踐[J]. 人文地理.2014(3):1-6.

[5]李清泉, 李德仁. 大數(shù)據(jù)GIS[J]. 武漢大學(xué)學(xué)報:信息科學(xué)版.2014, 39(6):641-644.

[6]Wong P C, Thomas J. Visual analytics[J]. Computer Graphics & Applications IEEE.2004, 24(5):20-21.

[7]Kovalerchuk B, Schwing J. Visual and spatial analysis : advances in data mining, reasoning, and problem solving[J]. 2005, 8(6):547-583.

[8]馮鈞, 許瀟, 唐志賢,等. 水利大數(shù)據(jù)及其資源化關(guān)鍵技術(shù)研究[J]. 水利信息化.2013(4):6-9.

[9]莫榮強, 艾萍, 吳禮福,等. 一種支持大數(shù)據(jù)的水利數(shù)據(jù)中心基礎(chǔ)框架[J]. 水利信息化.2013(3):16-20.

[10]郭玉雙. 基于大數(shù)據(jù)環(huán)境的水文GIS應(yīng)用發(fā)展初探[J].中國科技投資.2016(18).

2016-08-14

劉志洋(1998-)，男，陜西西安人，西北大學(xué)附中高三學(xué)生。

P333.9

B

1004-1184(2017)01-0178-02