廣西壯族自治區(qū)自然資源信息中心 劉琦

一、引言

地理數(shù)據(jù)具有多維動態(tài)、實(shí)時(shí)海量、多源異構(gòu)、信息豐富等特點(diǎn)，可被定義為大數(shù)據(jù)[1]。土地利用現(xiàn)狀數(shù)據(jù)是各類土地利用狀況的真實(shí)反映，是地理數(shù)據(jù)中的一種。在自然資源管理工作中，對土地利用現(xiàn)狀數(shù)據(jù)的快速分析處理是國土行業(yè)從業(yè)者的基本需求之一。而傳統(tǒng)的GIS分析技術(shù)在對土地利用數(shù)據(jù)進(jìn)行空間查詢、分析和可視化時(shí)效率有待提高。譬如，用傳統(tǒng)的桌面ArcGIS進(jìn)行分析，單次兩個(gè)年度的土地利用現(xiàn)狀數(shù)據(jù)相疊加或面積計(jì)算需要幾十個(gè)小時(shí)，甚至出現(xiàn)處理系統(tǒng)崩潰而從頭再來的狀況，已無法滿足當(dāng)代數(shù)據(jù)處理的效率需求。于是，亟須一種對土地利用現(xiàn)狀數(shù)據(jù)的高效存儲和快速分析的技術(shù)。

分布式存儲和并行計(jì)算架構(gòu)可以充分運(yùn)用網(wǎng)絡(luò)中的軟硬件資源、計(jì)算資源和存儲資源，使得GIS數(shù)據(jù)的計(jì)算能力和運(yùn)算速度大大增加。國內(nèi)外的眾多GIS專家學(xué)者針對高性能GIS存儲與分布式計(jì)算技術(shù)展開了很多研究，例如，王凱等以Hadoop平臺為基礎(chǔ)，提出了一種具備海量級地理信息數(shù)據(jù)分析能力的并行計(jì)算平臺架構(gòu)[2]。范建永等提出了一種基于Hadoop的云GIS 體系結(jié)構(gòu)，通過利用HBase 和HDFS 解決海量空間數(shù)據(jù)的高效存儲檢索問題，并利用MapReduce 編程框架解決海量空間數(shù)據(jù)空間分析的分布式計(jì)算效率問題[3]。

本文基于Hadoop & ArcGIS GeoAnalytics Server矢量大數(shù)據(jù)分析平臺，搭建分布式大數(shù)據(jù)分析環(huán)境，進(jìn)行土地利用現(xiàn)狀數(shù)據(jù)的分析處理，結(jié)果表明，數(shù)據(jù)的分析效率及分析系統(tǒng)的穩(wěn)定性顯著地優(yōu)于傳統(tǒng)的GIS技術(shù)，為矢量大數(shù)據(jù)的分析和挖掘提供了一種有效手段。

二、矢量大數(shù)據(jù)處理關(guān)鍵技術(shù)

（一）Hadoop

Hadoop是由Apache基金會開發(fā)的開源分布式系統(tǒng)基礎(chǔ)架構(gòu)[4]。Hadoop框架最核心的技術(shù)有兩個(gè)，一個(gè)是最底部的分布式文件系統(tǒng)（即HDFS），可以為海量數(shù)據(jù)提供高效穩(wěn)定的分布式存儲，具有高容錯(cuò)性和高吞吐量，特別適合例如土地利用現(xiàn)狀數(shù)據(jù)這樣的數(shù)據(jù)量大、生命周期長、更新少的冷數(shù)據(jù)的存儲；另一個(gè)是上一層的MapReduce引擎，MapReduce是用于并行處理大數(shù)據(jù)集的軟件框架，可以為海量數(shù)據(jù)提供分布式計(jì)算能力[4]。

（二）ArcGIS GeoAnalytics Server

ArcGIS GeoAnalytics Server（簡稱GA Server）封裝了Spark分布式計(jì)算框架，是一款用于矢量大數(shù)據(jù)及表格分析處理的服務(wù)器產(chǎn)品[5]。GA簡化了分布式計(jì)算環(huán)境的搭建，為用戶提供了數(shù)據(jù)匯總、鄰近分析、數(shù)據(jù)管理、位置查找、模式分析約二十多種時(shí)空大數(shù)據(jù)分析工具。配合ArcGIS Enterprise包括Data Store、Server、Portal、Web Adaptor等組件的搭建，GA可以為組織機(jī)構(gòu)內(nèi)部提供靈活穩(wěn)定安全的大數(shù)據(jù)分析環(huán)境。

GA大數(shù)據(jù)分析工具支持多種客戶端使用，包括Portal for ArcGIS、ArcGIS Pro、ArcGIS Python API等。它具有多種數(shù)據(jù)源的接入能力，打通了與流行的大數(shù)據(jù)計(jì)算框架之間的數(shù)據(jù)交互渠道[5]。鑒于GA的優(yōu)越性，面對業(yè)務(wù)處室日益增長的數(shù)據(jù)處理需求，在我中心內(nèi)網(wǎng)依托ArcGIS Enterprise 的基礎(chǔ)部署，創(chuàng)建ArcGIS GeoAnalytics Server集群，配合Hadoop的分布式文件系統(tǒng)HDFS，搭建國土大數(shù)據(jù)分析環(huán)境。

三、分布式大數(shù)據(jù)分析環(huán)境搭建及功能測試

（一）分布式大數(shù)據(jù)分析環(huán)境搭建

我中心分布式大數(shù)據(jù)分析環(huán)境的搭建，主要是分為Hadoop的部署及ArcGIS Enterprise的部署兩部分。硬件設(shè)備配置有5臺穩(wěn)定高效物理機(jī)及15臺虛擬機(jī)，每臺物理機(jī)16核CPU，255G內(nèi)存，Hadoop及GA安裝在虛擬機(jī)上。

Hadoop采用集群部署模式，總共5個(gè)節(jié)點(diǎn)，主要用于國土矢量大數(shù)據(jù)的分布式存儲和管理。HDFS對于空間數(shù)據(jù)有很好的兼容性，可以上傳ArcGIS Shapefile格式的數(shù)據(jù)。存儲在HDFS的矢量數(shù)據(jù)不僅為GA提供更快的讀寫速度，而且在節(jié)點(diǎn)中存儲的多個(gè)副本可以防止數(shù)據(jù)丟失。

ArcGIS Enterprise的部署策略要考慮到Portal for ArcGIS、ArcGIS Data Store（包括時(shí)空大數(shù)據(jù)存儲及關(guān)系型數(shù)據(jù)存儲）、托管服務(wù)器、ArcGIS GeoAnalytics Server和Web Adaptor等幾個(gè)組件。Portal是一個(gè)集地圖、時(shí)空數(shù)據(jù)、服務(wù)、文檔、工具等資源于一體的地理空間內(nèi)容管理平臺和共享交換平臺；托管服務(wù)器為通用的ArcGIS Server，為平臺提供要素、地圖、影像、地理處理等服務(wù)資源，可在Portal中進(jìn)行托管服務(wù)器的配置，將Server和Portal進(jìn)行集成；ArcGIS Data Store是Web GIS的數(shù)據(jù)存儲部分，GA分析的結(jié)果可存儲在Data Store中，并在托管服務(wù)器上發(fā)布成要素服務(wù)；Web Adaptor用于將 Server與現(xiàn)有的企業(yè)級Web服務(wù)器相集成[6]。為了提升分析性能，Data Store（時(shí)空大數(shù)據(jù)存儲）和ArcGIS GeoAnalytics Server采用集群部署模式，其他組件采用單機(jī)部署模式。綜合數(shù)據(jù)規(guī)模、執(zhí)行運(yùn)算的復(fù)雜程度和使用頻率等因素來考慮，為GA集群配置了3個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)虛擬機(jī)16核CPU、128G內(nèi)存及500G硬盤。分布式計(jì)算環(huán)境部署架構(gòu)如圖1所示。

圖1 分布式大數(shù)據(jù)分析環(huán)境部署架構(gòu)

（二）分析環(huán)境測試

為了測試已搭建的大數(shù)據(jù)分析環(huán)境的穩(wěn)定性及處理效率，以及完成與傳統(tǒng)GIS分析環(huán)境的性能比對，開展分析環(huán)境的測試。

測試選擇疊加分析操作，疊加的兩個(gè)圖層其中一個(gè)固定使用廣西縣級行政區(qū)劃，而另一個(gè)為用ArcGIS創(chuàng)建漁網(wǎng)工具制作出來的覆蓋廣西全域范圍的規(guī)則長方形格網(wǎng)數(shù)據(jù)，數(shù)據(jù)類型為面狀要素類。為了測試超過千萬級圖斑數(shù)矢量數(shù)據(jù)的分析性能，制作了圖斑數(shù)為億級（100000000個(gè)）、千萬級（10001406個(gè)）、百萬級（1000000個(gè)）、十萬級（100172個(gè)）、萬級（10000個(gè)）等五個(gè)面格網(wǎng)要素類。將行政區(qū)劃數(shù)據(jù)依次與這五個(gè)格網(wǎng)數(shù)據(jù)相交，分別記錄運(yùn)行時(shí)長，比對在桌面版ArcGIS與在GA中進(jìn)行相同相交操作的這五次分析所用的時(shí)間差異。兩種分析方式的分析用時(shí)如表1所示。

表1 桌面版ArcGIS與GA Server完成相同分析操作用時(shí)比對表

（三）大數(shù)據(jù)分析測試結(jié)論

由測試結(jié)果可以看出：對于同一個(gè)空間分析操作，GA Server執(zhí)行的速度無一例外地優(yōu)于桌面版ArcGIS，這是由于GA是集群式部署，有多個(gè)計(jì)算節(jié)點(diǎn)，采用分布式計(jì)算，而桌面版ArcGIS只有單機(jī)參與運(yùn)算，且ArcGIS Desktop受限于32位應(yīng)用程序，可調(diào)用內(nèi)存極限通常只有2G，因此即便計(jì)算機(jī)內(nèi)存增加，桌面版ArcGIS執(zhí)行分析的速率很可能并不會有明顯提升；其次，矢量數(shù)據(jù)記錄數(shù)越多，使用GA Server進(jìn)行空間分析在執(zhí)行速度方面的優(yōu)勢越為明顯，十萬級以下記錄數(shù)的矢量數(shù)據(jù)，兩者差別不大，而操作百萬級以上記錄數(shù)的矢量數(shù)據(jù)，GA Server的執(zhí)行速度呈直線上升，明顯優(yōu)于桌面版ArcGIS，考慮到GA分析的前提是矢量數(shù)據(jù)的切塊入池操作，建議數(shù)據(jù)量不大的矢量數(shù)據(jù)，用桌面版ArcGIS便可以完成分析，而數(shù)據(jù)量大、生命周期長、更新少的矢量數(shù)據(jù)，可以使用GA Server完成空間分析；同時(shí)，在穩(wěn)定性方面，GA Server要優(yōu)于桌面版ArcGIS，特別是針對數(shù)據(jù)量較大的矢量數(shù)據(jù)，桌面版ArcGIS執(zhí)行分析時(shí)，很可能會卡死而無法繼續(xù)，然而GA卻能順利完成操作。

四、分布式大數(shù)據(jù)分析環(huán)境下的土地利用現(xiàn)狀數(shù)據(jù)分析

根據(jù)具體業(yè)務(wù)需求，國土土地調(diào)查數(shù)據(jù)分析處理的內(nèi)容包括土地利用現(xiàn)狀數(shù)據(jù)各地類面積及占比分析、土地利用變更調(diào)查成果的流量分析、基本農(nóng)田內(nèi)地類情況統(tǒng)計(jì)分析及國土土地調(diào)查數(shù)據(jù)與其他專題數(shù)據(jù)的比對分析等。土地利用數(shù)據(jù)分析處理的特點(diǎn)，首先是涉及數(shù)據(jù)種類多、數(shù)據(jù)量大，覆蓋全區(qū)的圖斑數(shù)多為千萬級；其次是分析的步驟多，涉及全區(qū)數(shù)據(jù)的疊加分析、圖斑邊界融合、字段計(jì)算、統(tǒng)計(jì)匯總等多個(gè)基本分析過程及多種分析模型；除此之外，數(shù)據(jù)和分析流程需要頻繁的變更和重復(fù)執(zhí)行。因此，基于Hadoop和GA Server的大數(shù)據(jù)分析平臺在執(zhí)行速度、效率、穩(wěn)定性等方面的優(yōu)勢能為土地利用現(xiàn)狀數(shù)據(jù)分析提供快速處理的解決辦法。

本章以廣西最新兩個(gè)年度土地調(diào)查數(shù)據(jù)的地類流量變化分析為例，在國土業(yè)務(wù)真實(shí)案例中應(yīng)用Hadoop&ArcGIS GeoAnalytics Server分布式大數(shù)據(jù)分析平臺進(jìn)行土地利用現(xiàn)狀數(shù)據(jù)分析。

（一）流量分析模型

流量分析的目的在于反映某個(gè)區(qū)域某個(gè)時(shí)間段內(nèi)各地類變化情況及地類轉(zhuǎn)移情況。流量分析過程包括兩個(gè)年度地類疊加分析、橢球面積計(jì)算、田坎面積計(jì)算、圖斑地類面積計(jì)算、地類賦值、地類面積匯總統(tǒng)計(jì)等十多個(gè)步驟，用ArcGIS Model Builder建立的流量分析模型如圖2所示。

圖2 地類流量分析模型

（二）分析流程

1.數(shù)據(jù)源整合與預(yù)處理

結(jié)合全區(qū)地類流量分析的需要，匯總整合所涉及的各類相關(guān)業(yè)務(wù)數(shù)據(jù)源，建立統(tǒng)一的數(shù)據(jù)目錄，并對數(shù)據(jù)源進(jìn)行數(shù)據(jù)質(zhì)量的檢查、坐標(biāo)轉(zhuǎn)換、數(shù)據(jù)格式轉(zhuǎn)換等數(shù)據(jù)預(yù)處理工作。

2.Hadoop HDFS大數(shù)據(jù)存儲

遵循統(tǒng)一的技術(shù)要求，將土地調(diào)查相關(guān)的業(yè)務(wù)數(shù)據(jù)分別切塊，一個(gè)要素類分割成多個(gè)Shapefile格式的矢量數(shù)據(jù)，將切塊好的數(shù)據(jù)分別上傳到Hadoop HDFS中，進(jìn)行數(shù)據(jù)的注冊、接入、匯集、建庫后，形成分布式存儲的全區(qū)覆蓋、內(nèi)容完整、準(zhǔn)確權(quán)威的土地調(diào)查數(shù)據(jù)資源池，將數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫存儲、文件系統(tǒng)存儲遷移到分布式文件存儲系統(tǒng)中，用于大數(shù)據(jù)分析挖掘的輸入源。

3.矢量大數(shù)據(jù)分布式計(jì)算

結(jié)合地類流量分析模型以及數(shù)據(jù)源數(shù)據(jù)結(jié)構(gòu)，基于已搭建的分布式計(jì)算平臺，通過ArcGIS大數(shù)據(jù)分析客戶端Portal提供的大數(shù)據(jù)分析工具，執(zhí)行分析模型的每一步分析流程。或者在ArcGIS Pro中結(jié)合GA工具與傳統(tǒng)GP工具建立流量分析模型，以自動化的方式完成分析處理。

4.結(jié)果輸出與制表

將矢量分析結(jié)果存儲至Hadoop HDFS中，而匯總統(tǒng)計(jì)表格結(jié)果輸出至DataStore時(shí)空大數(shù)據(jù)存儲中，并發(fā)布成托管要素服務(wù)。表格結(jié)果經(jīng)過整理，形成業(yè)務(wù)處室要求的兩個(gè)年度地類變化平衡統(tǒng)計(jì)表。

（三）分析結(jié)果

從流量分析結(jié)果的地類變化平衡統(tǒng)計(jì)表中可以統(tǒng)計(jì)出廣西全區(qū)、各市、各縣上一年各地類流向本年度的其他地類的面積以及本年度各地類的流入地類類型和面積。如圖3，是從流量分析結(jié)果中統(tǒng)計(jì)出的全區(qū)本年度林地的流入地類類型與分布情況。

圖3 林地流入地類類型與占比

五、結(jié)語

本文基于Hadoop HDFS及ArcGIS GeoAnalytics Server矢量大數(shù)據(jù)分析平臺，搭建了廣西國土分布式大數(shù)據(jù)分析環(huán)境，實(shí)現(xiàn)了分布式計(jì)算平臺下廣西土地利用現(xiàn)狀數(shù)據(jù)的有效存儲管理和快速統(tǒng)計(jì)分析應(yīng)用。輸入與輸出的數(shù)據(jù)量均超過千萬級，滿足了業(yè)務(wù)處室及技術(shù)單位對于統(tǒng)計(jì)結(jié)果形式準(zhǔn)確性、時(shí)效性、平臺穩(wěn)定性等的要求。相比于傳統(tǒng)的GIS分析技術(shù)，分布式計(jì)算平臺成倍提升了矢量大數(shù)據(jù)分析計(jì)算的效率，促進(jìn)了新一輪國土土地調(diào)查工作的開展。與此同時(shí)，我們可以看到，分布式大數(shù)據(jù)分析環(huán)境也能夠?yàn)閲列袠I(yè)的其他應(yīng)用場景，例如國土空間“雙評價(jià)”工作、生態(tài)紅線核實(shí)劃定、自然資源調(diào)查監(jiān)測與評價(jià)、監(jiān)督執(zhí)法工作、耕地保護(hù)工作等多項(xiàng)自然資源日常管理工作的空間大數(shù)據(jù)分析，提供靈活、穩(wěn)定、安全、快速的新一代分析技術(shù)。