作者簡(jiǎn)介：呂田（1977—），男，本科，工程師，研究方向?yàn)榈乩硇畔⑾到y(tǒng)。

摘要： 圍繞“山水林田湖草”自然資源協(xié)同管理要求，建立時(shí)空大數(shù)據(jù)云平臺(tái)，以匯聚各類基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，將數(shù)據(jù)相互關(guān)聯(lián)與融合，依托平臺(tái)的分析能力與支撐能力，以分析結(jié)果輔助業(yè)務(wù)工作開展。文章以市級(jí)自然資源應(yīng)用為基礎(chǔ)，探討時(shí)空大數(shù)據(jù)云平臺(tái)技術(shù)。通過超融合、海量數(shù)據(jù)存儲(chǔ)、云安全等技術(shù)構(gòu)筑云平臺(tái)基礎(chǔ)，同時(shí)引入數(shù)據(jù)抽取、清洗、挖掘分析、可視化等數(shù)據(jù)處理技術(shù)，以及分布式平行計(jì)算、面向服務(wù)的架構(gòu)（Service-Oriented Architecture， SOA）、微服務(wù)、容器等云化技術(shù)，提升時(shí)空大數(shù)據(jù)云平臺(tái)的服務(wù)能力，為同類平臺(tái)建設(shè)提供借鑒。

關(guān)鍵詞：時(shí)空大數(shù)據(jù)" 分布式并行計(jì)算" 面向服務(wù)GIS技術(shù)" 業(yè)務(wù)云化" 微服務(wù)

中圖分類號(hào)：P208

Abstract： Focusing on the requirements of the collaborative management of the natural resources of \"mountains， rivers， forests， farmlands， lakes and grasslands\"， a spatio-temporal big data cloud platform is established to gather various basic data and business data and correlate and integrate data， and relying on the analysis and support capabilities of the platfom， analysis results are used to assist the development of business work. This article is based on the applications of municipal natural resources and explores the technology of the spatio-temporal big data cloud platform. The foundation of the cloud platform is built through technologies such as hyper-convergence， massive data storage and cloud security， and data processing technologies such as data extraction， cleaning， mining analysis and visualization， as well as cloudification technologies such as parallel distributed computing， service-oriented architecture （SOA）， microservices and containers are introduced to enhance the service capabilities of the spatio-temporal big data cloud platform， so as to provide reference for similar platform construction.

Key Words： Spatio-temporal big data; Parallel distributed computing; Service-oriented GIS technology; Business cloudification; Microservice

自然資源作為經(jīng)濟(jì)社會(huì)發(fā)展的核心要素、能量源泉和空間載體， 在現(xiàn)代化建設(shè)中具有全局性、戰(zhàn)略性、基礎(chǔ)性和不可替代性的地位[1]。長(zhǎng)期以來(lái)中國(guó)自然資源產(chǎn)權(quán)制度不盡健全、統(tǒng)一管理制度難以建立、開發(fā)保護(hù)制度缺乏協(xié)調(diào)、監(jiān)管維護(hù)機(jī)制職責(zé)交叉的問題突出，已對(duì)生態(tài)、資源和經(jīng)濟(jì)安全構(gòu)成了不利影響， 制約了經(jīng)濟(jì)社會(huì)的永續(xù)發(fā)展。同時(shí)，傳統(tǒng)的線下自然資源政務(wù)處理存在著效率低、信息安全性差等問題。信息化時(shí)代，電子政務(wù)系統(tǒng)的建設(shè)已成為衡量政府執(zhí)政水平的指標(biāo)之一，因此，亟需結(jié)合信息技術(shù)建立一個(gè)令人滿意的自然資源時(shí)空大數(shù)據(jù)云平臺(tái)[2]。

根據(jù)《自然資源部信息化建設(shè)總體方案》，各級(jí)自然資源部門要建立安全高效的自然資源“一張網(wǎng)”、自然資源三維立體“一張圖”和統(tǒng)一的國(guó)土空間基礎(chǔ)信息平臺(tái)（“一平臺(tái)”），并以此為支撐構(gòu)建自然資源調(diào)查監(jiān)測(cè)評(píng)價(jià)、監(jiān)管決策、“互聯(lián)網(wǎng) + 自然資源政務(wù)服務(wù)”三大應(yīng)用體系。市級(jí)自然資源時(shí)空大數(shù)據(jù)云平臺(tái)立足于“一網(wǎng)一庫(kù)一平臺(tái)N應(yīng)用”的信息化總體規(guī)劃，在政務(wù)網(wǎng)（一網(wǎng)）環(huán)境下構(gòu)建一體化數(shù)據(jù)庫(kù)（一庫(kù)），支撐自然資源政務(wù)管理與服務(wù)平臺(tái)（一平臺(tái)）、調(diào)查監(jiān)測(cè)和政務(wù)服務(wù)等應(yīng)用（N應(yīng)用）。

1 總體架構(gòu)設(shè)計(jì)

時(shí)空大數(shù)據(jù)應(yīng)用云平臺(tái)按5層架構(gòu)進(jìn)行設(shè)計(jì)，圍繞標(biāo)準(zhǔn)規(guī)范制度保障體系和網(wǎng)絡(luò)信息安全工程保障體系，明確平臺(tái)所需對(duì)接的縱、橫向業(yè)務(wù)系統(tǒng)。5層架構(gòu)包括基礎(chǔ)環(huán)境層、數(shù)據(jù)資源層、平臺(tái)支撐層、應(yīng)用服務(wù)層、用戶層。如圖1所示。

1.1基礎(chǔ)環(huán)境層（“一張網(wǎng)”）

實(shí)現(xiàn)縱橫互聯(lián)且具有安全防護(hù)能力的自然資源“一張網(wǎng)”，實(shí)現(xiàn)基礎(chǔ)設(shè)施資源的集約共享、節(jié)約利用，支撐數(shù)據(jù)庫(kù)和平臺(tái)的運(yùn)行及軟件支撐環(huán)境，提供基礎(chǔ)設(shè)施支撐。

1.2數(shù)據(jù)資源層（“一張圖”）

按照現(xiàn)狀、規(guī)劃、管理、社會(huì)經(jīng)濟(jì)4個(gè)方面進(jìn)行組織，通過數(shù)據(jù)治理，整合基礎(chǔ)地理、土地、礦產(chǎn)、規(guī)劃等自然資源數(shù)據(jù)，共享發(fā)展改革委、生態(tài)環(huán)境、住房和城鄉(xiāng)建設(shè)、水利、農(nóng)業(yè)農(nóng)村等相關(guān)部門數(shù)據(jù)，形成自然資源三維立體“一張圖”。

1.3平臺(tái)支撐層（“一平臺(tái)”）

在基礎(chǔ)環(huán)境層、數(shù)據(jù)資源層的基礎(chǔ)上，整合地理信息平臺(tái)、工作流平臺(tái)、大數(shù)據(jù)平臺(tái)，構(gòu)建國(guó)土空間基礎(chǔ)信息平臺(tái)，提供統(tǒng)一的身份認(rèn)證、電子簽章、電子證照、安全審計(jì)等技術(shù)支撐，向下整合“一張圖”，為應(yīng)用服務(wù)層提供平臺(tái)支撐。

1.4應(yīng)用服務(wù)層

建設(shè)自然資源統(tǒng)一工作門戶，實(shí)現(xiàn)用戶一站式登錄，提供自然資源全流程、全業(yè)務(wù)線上審批和“互聯(lián)網(wǎng) + 自然資源服務(wù)”。

1.5用戶層

向市自然資源和規(guī)劃局內(nèi)部用戶、區(qū)（縣）自然資源和規(guī)劃局用戶、其他政府部門用戶、企業(yè)、社會(huì)公眾提供統(tǒng)一的入口。

2 超融合高效基礎(chǔ)支撐環(huán)境

自然資源時(shí)空大數(shù)據(jù)云平臺(tái)在原來(lái)虛擬化技術(shù)的基礎(chǔ)之上，按照統(tǒng)一標(biāo)準(zhǔn)構(gòu)建時(shí)空大數(shù)據(jù)云技術(shù)架構(gòu)，實(shí)現(xiàn)裸金屬服務(wù)器、虛擬機(jī)、容器環(huán)境、華為基礎(chǔ)設(shè)施等多套技術(shù)體系的融合，最終達(dá)到統(tǒng)一化管理[3]。通過隔離驅(qū)動(dòng)層一方面直接支撐我省時(shí)空大數(shù)據(jù)業(yè)務(wù)，另一方面通過接口為與“數(shù)字政府”之間對(duì)接打下基礎(chǔ)。如圖2。

3 時(shí)空大數(shù)據(jù)挖掘分析環(huán)境

3.1 分層結(jié)構(gòu)形成時(shí)空大數(shù)據(jù)中心

市級(jí)時(shí)空大數(shù)據(jù)中心為前中后三層結(jié)構(gòu)，前端負(fù)責(zé)數(shù)據(jù)應(yīng)用，中間負(fù)責(zé)數(shù)據(jù)處理，后端負(fù)責(zé)數(shù)據(jù)收集與存儲(chǔ)，如圖3。

3.1.1 后端數(shù)據(jù)存儲(chǔ)

包含空間數(shù)據(jù)和其它數(shù)據(jù)，空間數(shù)據(jù)描述現(xiàn)實(shí)世界的目標(biāo)，用點(diǎn)、線、面以及實(shí)體等基本空間數(shù)據(jù)結(jié)構(gòu)來(lái)表示空間實(shí)體的位置、形狀、大小和其分布特征；其它數(shù)據(jù)包括屬性、文本、圖像等多種空間實(shí)體的輔助表示信息數(shù)據(jù)。數(shù)據(jù)分涉密版、政務(wù)版和公眾版，涉密版數(shù)據(jù)留在涉密存儲(chǔ)區(qū)，作為其它項(xiàng)目的原始數(shù)據(jù)集，政務(wù)版和公眾版數(shù)據(jù)通過安全隔離網(wǎng)閘擺渡到電子政務(wù)外網(wǎng)區(qū)或互聯(lián)網(wǎng)區(qū)成為業(yè)務(wù)應(yīng)用數(shù)據(jù)[4]。

3.1.2 中間數(shù)據(jù)處理

首先按業(yè)務(wù)需求對(duì)數(shù)據(jù)源中的表或視圖進(jìn)行抽取轉(zhuǎn)換成ETL工具可以識(shí)別的格式；然后按規(guī)則對(duì)抽取的數(shù)據(jù)進(jìn)行清洗處理，以糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤，使數(shù)據(jù)具有一致性；最后對(duì)數(shù)據(jù)進(jìn)行挖掘分析、可視化展現(xiàn)[5]。

3.1.3 前端數(shù)據(jù)應(yīng)用

基礎(chǔ)數(shù)據(jù)服務(wù)提供要素、地圖、目錄 、地名地址、資源共享、資源訂閱等服務(wù)；數(shù)據(jù)處理服務(wù)提供在線編輯、應(yīng)用定制、矢量切片、專題制圖等服務(wù)；數(shù)據(jù)分析服務(wù)提供通用化空間分析引擎、空間數(shù)據(jù)變化監(jiān)測(cè)分析等。

3.2 時(shí)空大數(shù)據(jù)數(shù)據(jù)組織

機(jī)構(gòu)改革之后，各市自然資源局在原有一體化時(shí)空大數(shù)據(jù)組織結(jié)構(gòu)，即公共基礎(chǔ)類、專業(yè)基礎(chǔ)類、業(yè)務(wù)管理類、公共政務(wù)類四大類進(jìn)行數(shù)據(jù)組織的基礎(chǔ)上，重點(diǎn)收集補(bǔ)充整合海洋、空間規(guī)劃、地質(zhì)環(huán)境類數(shù)據(jù)，不斷豐富時(shí)空大數(shù)據(jù)資源。

3.3 分布式計(jì)算框架

采用Hadoop主/從集群架構(gòu)體系。把GIS應(yīng)用程序（稱為“作業(yè)”即“job”）分割成許多的小工作單元（稱為“任務(wù)”即“task”），放到集群的任意節(jié)點(diǎn)上執(zhí)行；分布式文件系統(tǒng)（HDFS）主要負(fù)責(zé)集群節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)高吞吐率的數(shù)據(jù)讀寫；分布式并行計(jì)算模型MapReduce用于搜索領(lǐng)域，解決海量時(shí)空大數(shù)據(jù)的計(jì)算問題[6]。

3.4 高性能并行計(jì)算框架

由管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)組成，較于分布式此方式的數(shù)據(jù)集中存放。管理節(jié)點(diǎn)將任務(wù)按數(shù)據(jù)拆分成多個(gè)子任務(wù)，并將子任務(wù)和數(shù)據(jù)推送到給計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)運(yùn)算完成后通知管理節(jié)點(diǎn)執(zhí)行完成或失敗，以便開始接受下一個(gè)任務(wù)。

3.5 按業(yè)務(wù)場(chǎng)景使用不同計(jì)算框架

一是實(shí)時(shí)計(jì)算場(chǎng)景使用高性能計(jì)算。主要針對(duì)用地審批、礦業(yè)權(quán)登記等業(yè)務(wù)的支撐，將單個(gè)項(xiàng)目地塊與全市的現(xiàn)狀地類圖斑、規(guī)劃地類圖斑等百萬(wàn)級(jí)要素圖層同時(shí)疊加分析，可以有效支撐全市各縣區(qū)的并發(fā)訪問。二是批處理的計(jì)算場(chǎng)景使用分布式計(jì)算。主要用于全域范圍的分析評(píng)價(jià)與監(jiān)督評(píng)估，如國(guó)土空間規(guī)劃實(shí)施監(jiān)督的指標(biāo)計(jì)算，用（百萬(wàn)級(jí)要素）的全市范圍的現(xiàn)狀圖斑和規(guī)劃圖層同時(shí)疊加分析。

4 以應(yīng)用為導(dǎo)向盤活時(shí)空大數(shù)據(jù)

4.1 業(yè)務(wù)云化技術(shù)

在面向服務(wù)GIS架構(gòu)基礎(chǔ)上探索云化實(shí)現(xiàn)，從云化模板出發(fā)，結(jié)合容器技術(shù)實(shí)現(xiàn)業(yè)務(wù)微服務(wù)，達(dá)到云化業(yè)務(wù)程序的目的。

在微服務(wù)架構(gòu)下應(yīng)用docker容器技術(shù)，通過模板制作、應(yīng)用類型注冊(cè)、投遞方案配置、投遞參數(shù)配置、投遞訂單解析、投遞流程實(shí)現(xiàn)等環(huán)節(jié)，初步構(gòu)建了一套從開發(fā)、測(cè)試、部署、發(fā)布到持續(xù)交付的業(yè)務(wù)云化機(jī)制。

4.2 應(yīng)用服務(wù)支撐

一是已實(shí)現(xiàn)包括三大陽(yáng)光工程（陽(yáng)光用地、陽(yáng)光用礦、陽(yáng)光用水）、國(guó)土空間規(guī)劃、城市地質(zhì)和決策參閱等重點(diǎn)應(yīng)用支撐。二是政務(wù)信息共享方面，擬通過數(shù)據(jù)交換、服務(wù)對(duì)接等方式和政務(wù)大數(shù)據(jù)中心等實(shí)現(xiàn)聯(lián)通對(duì)接，依照部門的職能按需共享，為其他政府部門共享自然資源專題數(shù)據(jù)，延伸數(shù)據(jù)服務(wù)范圍。三是豐富自然資源時(shí)空大數(shù)據(jù)資源。計(jì)劃利用政務(wù)大數(shù)據(jù)中心的人口、法人、社會(huì)信用等各類數(shù)據(jù)和服務(wù)，豐富數(shù)據(jù)內(nèi)容。

5 結(jié)論

市級(jí)時(shí)空大數(shù)據(jù)云平臺(tái)通過應(yīng)用超融合架構(gòu)節(jié)省了硬件投資，通過云化業(yè)務(wù)技術(shù)簡(jiǎn)化了應(yīng)用部署，通過分布式高性能計(jì)算框架提升了業(yè)務(wù)的對(duì)外服務(wù)能力，依托云平臺(tái)建成的自然資源時(shí)空大數(shù)據(jù)中心，實(shí)現(xiàn)了數(shù)據(jù)資源的統(tǒng)一管理，隨著數(shù)字中國(guó)的發(fā)展時(shí)空大數(shù)據(jù)云平臺(tái)將發(fā)揮更多作用。

參考文獻(xiàn)

[1]王秀慧.省級(jí)自然資源和空間地理數(shù)據(jù)共享平臺(tái)構(gòu)建研究[J].河北省科學(xué)院學(xué)報(bào)，2023，40（2）：39-45.

[2]曹春華，張澤烈，程宇翔，等.時(shí)空大數(shù)據(jù)服務(wù)平臺(tái)建設(shè)模式及應(yīng)用研究——以重慶市為例[J].測(cè)繪通報(bào)，2020（10）：135-138，156.

[3]鄧忠軍.自然資源西藏遙感影像服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)繪與空間地理信息，2023，46（3）：97-101，105.

[4]王爍爍. 陸海一體化海島自然資源數(shù)據(jù)管理平臺(tái)研究[D].連云港：江蘇海洋大學(xué)，2022.

[5]舒文強(qiáng)，肖鄧，段松江，等.自然資源調(diào)查監(jiān)測(cè)管理平臺(tái)設(shè)計(jì)及實(shí)現(xiàn)[J].地理空間信息，2022，20（12）：130-132，136.

[6]侯倩倩. 基于區(qū)塊鏈技術(shù)的農(nóng)業(yè)自然資源平臺(tái)建設(shè)研究[D].阜陽(yáng)：阜陽(yáng)師范大學(xué)，2022.