李 東，申 遼

1云南省自然資源廳國土資源信息中心

2云南省測繪資料檔案館〈云南省基礎(chǔ)地理信息中心〉

隨著自然資源數(shù)據(jù)獲取方式更加快捷，云南省現(xiàn)有自然資源信息化建設(shè)積累了大量的空間地理信息數(shù)據(jù)成果，因數(shù)據(jù)量大導(dǎo)致地圖服務(wù)瀏覽、查詢效率不高，地圖瓦片的構(gòu)建處理時間冗長、更新不及時，影響了自然資源大數(shù)據(jù)建設(shè)成果的應(yīng)用與推廣。同時，現(xiàn)有國土資源、基礎(chǔ)測繪、地質(zhì)環(huán)境等專業(yè)的信息化應(yīng)用建設(shè)中也發(fā)布了大量的地圖服務(wù)，由于技術(shù)要求不一、管理分散、更新困難等問題，迫切需要建設(shè)國土空間海量數(shù)據(jù)快速瀏覽查詢、服務(wù)發(fā)布及更新系統(tǒng)，滿足自然資源空間大數(shù)據(jù)的管理、快速瀏覽查詢和更新需求。

1 系統(tǒng)技術(shù)設(shè)計

建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)，主要是為了解決好兩個方面的問題。

一是研發(fā)高性能分布式地圖瓦片引擎，解決地圖服務(wù)的快速切圖、快速發(fā)布、快速瀏覽的問題。實現(xiàn)在大數(shù)據(jù)量背景下的空間地圖服務(wù)高速化。

二是研發(fā)國土資源空間數(shù)據(jù)統(tǒng)一發(fā)布系統(tǒng)，解決現(xiàn)有地圖服務(wù)管理分散、數(shù)據(jù)不統(tǒng)一、資源利用效率低等問題。實現(xiàn)跨平臺的地圖服務(wù)統(tǒng)一管理、統(tǒng)一發(fā)布和統(tǒng)一更新。

系統(tǒng)功能的建設(shè)應(yīng)包含高性能地圖瓦片引擎、空間數(shù)據(jù)高速更新、統(tǒng)一地圖服務(wù)發(fā)布與管理、地圖快速瀏覽查詢、系統(tǒng)監(jiān)控等五大主要功能模塊。

1.1 系統(tǒng)技術(shù)架構(gòu)

自然資源海量數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)需要在架構(gòu)層面，解決自然資源數(shù)據(jù)體量巨大、處理速度快、數(shù)據(jù)類型繁多、價值密度低等特性帶來的挑戰(zhàn)，因此在技術(shù)選型上采用了當(dāng)前主流的Hadoop架構(gòu)，并結(jié)合空間數(shù)據(jù)存儲、分析的特點，選擇了多種當(dāng)前主流的大數(shù)據(jù)框架[1]。在大數(shù)據(jù)存儲層，統(tǒng)一采用分布式文件系統(tǒng)，架構(gòu)Swift、HBase，實現(xiàn)對空間數(shù)據(jù)的存儲；在大數(shù)據(jù)處理層，采用MapReduce、Hive、Spark等大數(shù)據(jù)處理框架，同時采用GIS Tools for Hadoop實現(xiàn)對空間大數(shù)據(jù)的處理[2]?？臻g大數(shù)據(jù)管理的總體技術(shù)架構(gòu)如圖1所示：

圖1 系統(tǒng)技術(shù)架構(gòu)

（1）數(shù)據(jù)采集層

國土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)的數(shù)據(jù)來源于國土資源大數(shù)據(jù)平臺，數(shù)據(jù)格式以結(jié)構(gòu)化空間數(shù)據(jù)為主，此外還會包括大量的非結(jié)構(gòu)化數(shù)據(jù)，例如：圖片、視頻、音頻、文檔等。

（2）大數(shù)據(jù)存儲層

為了滿足不同數(shù)據(jù)格式的存儲要求，在數(shù)據(jù)存儲層搭建異構(gòu)的數(shù)據(jù)庫存儲技術(shù)，對于結(jié)構(gòu)化數(shù)據(jù)，采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫（RDBMS）Oracle；對于非結(jié)構(gòu)化數(shù)據(jù)，采用分布式存儲架構(gòu)，Ceph、HDFS、HBase、Swift。在數(shù)據(jù)存儲層，對關(guān)系型數(shù)據(jù)庫和分布式存儲實現(xiàn)統(tǒng)一管理，向上層提供統(tǒng)一的訪問接口[3]。

（3）大數(shù)據(jù)處理層

結(jié)合空間數(shù)據(jù)處理的特點，在大數(shù)據(jù)處理層建 立GIS Tools for Hadoop框 架，依 托 底 層 的MapReduce、Hive，對空間數(shù)據(jù)進(jìn)行分布式處理和運算。同時，搭建通用的大數(shù)據(jù)處理框架，如Spark等，滿足常規(guī)大數(shù)據(jù)的處理需求，處理結(jié)果經(jīng)過空間建模、可視化，最終面向業(yè)務(wù)應(yīng)用。

（4）服務(wù)層

服務(wù)層為用戶提供快速瀏覽的地圖服務(wù)能力，包括矢量地圖快速瀏覽服務(wù)、影像地圖快速瀏覽服務(wù)。

（5）應(yīng)用層

國土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)支持Web端的訪問方式，用戶可以在Web端，訪問系統(tǒng)所發(fā)布的各類專題地圖服務(wù)。包括土地專題圖、礦政專題圖、地質(zhì)環(huán)境專題圖、不動產(chǎn)登記專題圖等。

1.2 系統(tǒng)功能設(shè)計

（1）高性能地圖瓦片引擎

提供矢量地圖的分布式瓦片圖像緩存生成、影像地圖的分布式瓦片圖像緩存生成、分布式瓦片緩存管理、瓦片緩存局部更換等功能。為了與ArcGIS平臺兼容，高性能瓦片引擎要在輸入、輸出兩大環(huán)節(jié)與ArcGIS平臺保持兼容。高性能地圖瓦片引擎不僅要能夠識別ArcGIS配圖文件，還要能夠利用存儲在國土資源空間數(shù)據(jù)庫中的空間數(shù)據(jù)來生成地圖瓦片。由于既有的業(yè)務(wù)應(yīng)用系統(tǒng)所引用的地圖服務(wù)，都是采用ArcGIS平臺發(fā)布的，所以高性能地圖瓦片引擎所生成的地圖瓦片也要能夠發(fā)布到ArcGIS平臺上，這樣就可以最大限度地保證在提升地圖服務(wù)效能的同時，保持相關(guān)業(yè)務(wù)的持續(xù)性。

采用分布式計算框架不僅把計算的壓力分散到多臺設(shè)備上，尤其是把IO的壓力也分散開，有效利用各臺設(shè)備上的高速緩存，極大地提高瓦片生成效率。

在分布式瓦片引擎節(jié)點上生成的地圖瓦片，也是散布在各個節(jié)點上。通過分布式文件系統(tǒng)將這些分散的地圖瓦片組織成為一個統(tǒng)一的整體。為了提高分布式瓦片存儲的存取速度，必須建立一套統(tǒng)一的分布式文件索引。

（2）數(shù)據(jù)主動更新

針對既有空間數(shù)據(jù)庫，能夠感知空間數(shù)據(jù)的更新。按照數(shù)據(jù)更新的空間范圍，快速重構(gòu)瓦片圖像緩存，并更新到相關(guān)地圖服務(wù)中。

數(shù)據(jù)更新模塊的功能滿足兩項要求：

一是能夠主動感知既有空間數(shù)據(jù)庫中的指定空間數(shù)據(jù)的更新。

二是按照空間數(shù)據(jù)更新范圍，自動生成局部瓦片并更新到相關(guān)地圖服務(wù)中，根據(jù)所感知的空間數(shù)據(jù)的更新范圍，自動計算需要重新生成的瓦片范圍，通過瓦片引擎生成局部的地圖瓦片，然后再通過地圖統(tǒng)一發(fā)布服務(wù)，把局部的地圖瓦片更新到相關(guān)的地圖服務(wù)中。

（3）統(tǒng)一地圖服務(wù)發(fā)布與管理

統(tǒng)一地圖服務(wù)發(fā)布與管理模塊包含國土空間資源目錄維護(hù)、矢量地圖服務(wù)快速發(fā)布、影像地圖服務(wù)快速發(fā)布、導(dǎo)入既有地圖服務(wù)、地圖服務(wù)維護(hù)管理等功能。

統(tǒng)一地圖服務(wù)發(fā)布與管理模塊的功能需要滿足兩項要求：

一是快速發(fā)布新的地圖服務(wù)，包括矢量地圖服務(wù)和影像地圖服務(wù)。在高性能地圖服務(wù)平臺上，發(fā)布新的地圖服務(wù)。根據(jù)要求通過高性能地圖瓦片引擎生成地圖瓦片，提供可以快速瀏覽的地圖服務(wù)。

二是跨平臺維護(hù)與管理既有已發(fā)布的地圖服務(wù)。通過ArcGIS的地圖服務(wù)管理接口，跨平臺接入已發(fā)布的地圖服務(wù)，并實現(xiàn)統(tǒng)一的地圖服務(wù)管理功能。

（4）地圖快速瀏覽查詢。地圖快速瀏覽查詢模塊包含基礎(chǔ)地圖快速瀏覽、專題圖快速瀏覽、圖層控制、地圖工具（選取、繪制、編輯、地圖量算）、空間數(shù)據(jù)快速查詢、空間數(shù)據(jù)分析等功能。本模塊實現(xiàn)的地圖快速瀏覽與快速查詢是基于所發(fā)布的地圖服務(wù)提供的高性能。

（5）系統(tǒng)監(jiān)控

系統(tǒng)監(jiān)控模塊包含集群管理、服務(wù)器節(jié)點監(jiān)控、服務(wù)發(fā)布任務(wù)監(jiān)控、操作日志、系統(tǒng)日志，以及基礎(chǔ)的系統(tǒng)管理功能。

由于高性能地圖瓦片引擎會用到分布式處理技術(shù)，導(dǎo)致系統(tǒng)部署在較為復(fù)雜的分布式集群環(huán)境下，良好高效的系統(tǒng)監(jiān)控模塊會使得整個集群環(huán)境易于維護(hù)。

2 采用的關(guān)鍵技術(shù)

2.1 基于dubbo的分布式處理

隨著云計算的發(fā)展，系統(tǒng)應(yīng)用的規(guī)模不斷擴(kuò)大，常規(guī)的垂直應(yīng)用架構(gòu)已無法應(yīng)對，分布式服務(wù)架構(gòu)以及流動計算架構(gòu)勢在必行，亟需一個治理系統(tǒng)確保架構(gòu)演進(jìn)有條不紊。在本系統(tǒng)里我們將業(yè)務(wù)應(yīng)用抽取為一個個獨立的服務(wù)，形成穩(wěn)定的服務(wù)中心，統(tǒng)一對外提供服務(wù)調(diào)用。采用分布式部署，具備橫向擴(kuò)展能力，滿足快速響應(yīng)需求，提供高容錯處理機(jī)制。

主要核心部件：

Remoting:網(wǎng)絡(luò)通信框架，實現(xiàn)了sync-overasync和request-response消息機(jī)制；

RPC:遠(yuǎn)程過程調(diào)用，支持負(fù)載均衡、容災(zāi)和集群功能；

Registry:服務(wù)目錄框架用于服務(wù)的注冊和服務(wù)事件發(fā)布和訂閱。

2.2 基于nginx+lua+redis的高性能訪問分發(fā)

借助于Nginx的事件驅(qū)動模型和非阻塞IO，可以實現(xiàn)高性能的Web應(yīng)用程序。同時引入ngx_lua，該模塊通過標(biāo)準(zhǔn)Lua5.1解釋器或LuaJIT 2.0/2.1，把Lua嵌入到Nginx里面，并利用Nginx子請求，把強(qiáng)大的Lua線程混合到Nginx的事件模型中。Lua代碼被執(zhí)行在網(wǎng)絡(luò)上是100%非阻塞的。在本系統(tǒng)中，上游請求服務(wù)為Redis，通過讀取Redis里存儲的瓦片緩存票據(jù)緩存索引，最終實現(xiàn)地圖訪問的高性能分發(fā)。

Nginx采用的是master-worker模型多進(jìn)程模型一個master進(jìn)程管理多個worker進(jìn)程，基本的事件處理都是放在woker中，由master處理外部信號、配置文件的讀取及worker的初始化，worker進(jìn)程采用單線程、非阻塞的事件模型（Event Loop，事件循環(huán)）來實現(xiàn)端口的監(jiān)聽及客戶端請求的處理和響應(yīng)，同時worker還要處理來自master的信號。由于worker使用單線程處理各種事件，所以一定要保證主循環(huán)是非阻塞的，否則會大大降低worker的響應(yīng)能力。而Lua代碼執(zhí)行是非阻塞，非常符合Nginx進(jìn)程模型。

2.3 分布式空間分析引擎

通常GIS軟件以數(shù)據(jù)獲取、存儲、管理功能為主，并添加了各種時間維度和空間維度的專題圖展示功能，具有空間統(tǒng)計、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析方法。但現(xiàn)有的數(shù)據(jù)管理和分析算法也難以擴(kuò)展到大規(guī)模的分布式并行計算系統(tǒng)之上，無法滿足對非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要，無法滿足大規(guī)模數(shù)據(jù)快速處理和復(fù)雜時空關(guān)系的分析需要。分布式空間分析引擎，引入空間數(shù)據(jù)庫一體化管理空間、屬性數(shù)據(jù),以及較小冗余度、高效空間索引等優(yōu)勢，結(jié)合分布式計算引擎對大型運算的優(yōu)化支持,實現(xiàn)分布式技術(shù)的空間分析方法。分布式空間分析引擎架構(gòu)由2部分組成：

一是分布式計算層，以計算性能良好的Spark作為計算引擎，引入了與其他分布式計算不同的彈性分布式數(shù)據(jù)集（Resilient Distributed Datasets, RDD）進(jìn)行內(nèi)存運算，與MapReduce相比節(jié)省了大量的磁盤輸入、輸出操作，提高了運算速度；并以Shark（Hive on Spark）為數(shù)據(jù)倉庫，將查詢語句轉(zhuǎn)換為Spark上的RDD操作。

二是數(shù)據(jù)管理層，采用空間數(shù)據(jù)庫與HDFS混合的方式進(jìn)行數(shù)據(jù)存儲。

3 結(jié)論

通過高速分布式計算技術(shù)與傳統(tǒng)的空間地理信息服務(wù)發(fā)布相結(jié)合，建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)，實現(xiàn)高速生成地圖瓦片、高速發(fā)布地圖服務(wù)、高速瀏覽地圖服務(wù)，從技術(shù)上為云南省國土資源大數(shù)據(jù)的推廣應(yīng)用提供保障。同時通過分布式服務(wù)治理技術(shù)，對國土資源時空云平臺、基礎(chǔ)地理信息時空云平臺、地質(zhì)環(huán)境信息時空云平臺上所發(fā)布的地圖服務(wù)，實現(xiàn)跨平臺的統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一更新，逐步改善既有業(yè)務(wù)應(yīng)用系統(tǒng)的地圖服務(wù)環(huán)境，從管理上解決國土資源信息化高速發(fā)展、數(shù)據(jù)成果快速積累所帶來的一些問題。