盧彥科 張偉

（1.河南省自然資源綜合保障中心，河南 鄭州 450016；2.河南省政務(wù)大數(shù)據(jù)中心，河南 鄭州 450016）

1 引言

隨著自然資源業(yè)務(wù)現(xiàn)代化建設(shè)的深入，自然資源已經(jīng)進(jìn)入大數(shù)據(jù)時代，主要表現(xiàn)在數(shù)據(jù)體量大，數(shù)據(jù)呈爆發(fā)式增長，不斷增加的數(shù)據(jù)量要求存儲支持動態(tài)擴(kuò)展；數(shù)據(jù)種類繁多，包括基礎(chǔ)地理數(shù)據(jù)、遙感影像數(shù)據(jù)、土地?cái)?shù)據(jù)、礦權(quán)數(shù)據(jù)、地災(zāi)數(shù)據(jù)、地質(zhì)環(huán)境數(shù)據(jù)等；數(shù)據(jù)的產(chǎn)生和處理速度要求快，能夠從大量數(shù)據(jù)中快速獲取有效信息是自然資源業(yè)務(wù)的迫切要求。傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法滿足需求，數(shù)據(jù)云存儲技術(shù)通過其分布式存儲和并行化處理海量數(shù)據(jù)的能力，為自然資源海量數(shù)據(jù)的存儲和處理提供了良好支撐。本文結(jié)合河南省國土空間基礎(chǔ)信息平臺的“一張圖”對數(shù)據(jù)存儲及應(yīng)用的要求，對數(shù)據(jù)云存儲技術(shù)進(jìn)行研究和探索，用以提升自然資源數(shù)據(jù)的存儲、檢索、分析性能，為實(shí)現(xiàn)自然資源工作的信息化快速發(fā)展提供保障。

2 大數(shù)據(jù)云存儲技術(shù)的發(fā)展

大數(shù)據(jù)處理的關(guān)鍵技術(shù)基本分為大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)統(tǒng)計(jì)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）5 個步驟。在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)地址數(shù)據(jù)的采集、存儲、管理、共享、應(yīng)用，其核心主要是明確自然資源數(shù)據(jù)的存儲類型，以便選擇相應(yīng)的數(shù)據(jù)庫存儲模式。同時，解決自然資源數(shù)據(jù)的分布式存儲與并行計(jì)算。大數(shù)據(jù)處理的關(guān)鍵技術(shù)如表1 所示。

表1 大數(shù)據(jù)處理的關(guān)鍵技術(shù)

研究自然資源大數(shù)據(jù)，就是充分利用數(shù)字化自然資源數(shù)據(jù)，以大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)為指導(dǎo)，深入挖掘自然資源信息，在數(shù)據(jù)采集、數(shù)據(jù)整合、信息提取和數(shù)據(jù)分析等方面開展相關(guān)技術(shù)研發(fā)和應(yīng)用。

河南省自然資源數(shù)據(jù)目前已涵蓋全省測繪、地政、礦政、地質(zhì)環(huán)境等4 大類、27 個專題、3243 個數(shù)據(jù)集、36818 個圖層，數(shù)據(jù)總量達(dá)40TB。這些數(shù)據(jù)來自全省各級自然資源管理相關(guān)部門及其相關(guān)單位不同領(lǐng)域，其中現(xiàn)狀類、規(guī)劃類數(shù)據(jù)要通過逐級匯交方式實(shí)現(xiàn)數(shù)據(jù)匯聚，數(shù)據(jù)在本地存儲；自然資源管理類數(shù)據(jù)通過實(shí)時備案、在線業(yè)務(wù)協(xié)同等方式實(shí)現(xiàn)數(shù)據(jù)匯聚；其他行業(yè)數(shù)據(jù)通過交換、協(xié)議、共享等方式實(shí)現(xiàn)數(shù)據(jù)匯聚；互聯(lián)網(wǎng)類等數(shù)據(jù)通過網(wǎng)上接口、下載等方式實(shí)現(xiàn)數(shù)據(jù)匯聚；離線匯交、在線調(diào)用、服務(wù)接入多種方式共用，保障數(shù)據(jù)同步與更新?？紤]到自然資源數(shù)據(jù)自身的特點(diǎn)以及能夠被快速訪問的需求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫存儲在小規(guī)模數(shù)據(jù)量時可以達(dá)到很好的效應(yīng)。但隨著數(shù)據(jù)量與應(yīng)用范圍的增加，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫性能會快速下降。因此，數(shù)據(jù)分布式存儲是必然的選擇。

云數(shù)據(jù)存儲技術(shù)的出現(xiàn)，憑借其分布式存儲和并行化處理海量數(shù)據(jù)的能力，為自然資源海量空間數(shù)據(jù)的存儲與處理提供了解決方案。

3 自然資源云存儲平臺總體設(shè)計(jì)

河南省國土空間基礎(chǔ)信息平臺的“一張圖”通過GIS 數(shù)據(jù)中心集成開發(fā)、網(wǎng)絡(luò)通信以及信息化技術(shù)，建設(shè)自然資源云存儲管理系統(tǒng)，實(shí)現(xiàn)體系內(nèi)的國土空間基礎(chǔ)信息縱橫聯(lián)通、共建共享、深度融合。

3.1 構(gòu)建云存儲平臺

河南省自然資源三維立體資源“一張圖”基于虛擬化、云計(jì)算、多租戶等技術(shù)建設(shè)，實(shí)現(xiàn)參建體系內(nèi)的河南省國土空間基礎(chǔ)信息縱橫聯(lián)通、共建共享、深度融合，呈現(xiàn)統(tǒng)一基礎(chǔ)架構(gòu)的云資源。各級用戶實(shí)體以虛擬資源，而不是物理設(shè)備方式獲得可用資源，并能夠?qū)⑷〉玫奶摂M資源根據(jù)需求搭建虛擬業(yè)務(wù)系統(tǒng)及數(shù)據(jù)庫，相對獨(dú)立地在權(quán)限范圍內(nèi)運(yùn)維管理，實(shí)現(xiàn)按需分配的自然資源云服務(wù)?；谠品植际酱鎯夹g(shù)的數(shù)據(jù)庫存儲解決海量自然資源數(shù)據(jù)存儲和大規(guī)模數(shù)據(jù)處理問題，提高用戶的訪問效率。云存儲平臺整體架構(gòu)可以劃分為四個層次：數(shù)據(jù)存儲層、數(shù)據(jù)管理層、數(shù)據(jù)服務(wù)層與用戶訪問層，如圖1 所示。

圖1 云存儲平臺架構(gòu)設(shè)計(jì)

（1）數(shù)據(jù)存儲層

數(shù)據(jù)存儲層是云存儲系統(tǒng)的最基礎(chǔ)部分，由存儲協(xié)議（滿足FC 協(xié)議、iSCSI 協(xié)議、NAS 協(xié)議等）構(gòu)成，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。它主要包括計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源以及安全設(shè)備等。各種類型的數(shù)據(jù)統(tǒng)一存放在存儲系統(tǒng)中，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。

弓閑置不用時會松弛，弓的強(qiáng)度減弱，弓輔就是用來固定弓的形狀使弓不變形，保持弓的彎度強(qiáng)度，所以可引申出安定的意義。

（2）數(shù)據(jù)管理層

數(shù)據(jù)管理層是云存儲系統(tǒng)的核心，也是云存儲中最難以實(shí)現(xiàn)的部分，主要包括大規(guī)模的分布式計(jì)算系統(tǒng)，擔(dān)負(fù)著管理集群系統(tǒng)資源及資源的虛擬化、控制分布式程序運(yùn)行、數(shù)據(jù)加密，分發(fā)以及容災(zāi)備份等工作。數(shù)據(jù)管理層可實(shí)現(xiàn)空間大數(shù)據(jù)的快速存取與高效計(jì)算，滿足空間時空信息瀏覽、高效分析處理與應(yīng)用的需要。

（3）數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層是采用云分布式服務(wù)技術(shù)，根據(jù)不同的用戶，開發(fā)出不同的應(yīng)用服務(wù)接口，并提供相應(yīng)服務(wù)，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的存儲共享、查詢及處理服務(wù)。

（4）用戶訪問層

用戶訪問層通過授權(quán)、認(rèn)證等機(jī)制使用戶登錄、享受特定權(quán)限范圍內(nèi)的云服務(wù)。該層具體包括一些數(shù)據(jù)搜索服務(wù)、地圖操作以及其他第三方服務(wù)。

3.2 自然資源數(shù)據(jù)體系

河南省自然數(shù)據(jù)縱向貫穿省、市、縣三級，按照數(shù)據(jù)類型分為現(xiàn)狀數(shù)據(jù)、規(guī)劃管控?cái)?shù)據(jù)、管理數(shù)據(jù)、社會經(jīng)濟(jì)數(shù)據(jù)，其中現(xiàn)狀數(shù)據(jù)包含基礎(chǔ)地理、遙感影像、土地利用現(xiàn)狀、礦產(chǎn)資源、三維數(shù)據(jù)等，為掌握國土空間的真實(shí)現(xiàn)狀和國土空間的開發(fā)利用與變化狀況提供數(shù)據(jù)基礎(chǔ)；規(guī)劃管控?cái)?shù)據(jù)包含基本農(nóng)田保護(hù)紅線、生態(tài)保護(hù)紅線、城鄉(xiāng)規(guī)劃、土地規(guī)劃、控制性詳細(xì)規(guī)劃、交通規(guī)劃等專項(xiàng)規(guī)劃，為行政審批和國土空間規(guī)劃編制提供管控?cái)?shù)據(jù)依據(jù)；管理數(shù)據(jù)是行政審批過程中產(chǎn)生的數(shù)據(jù)，包含地政管理數(shù)據(jù)、測繪管理數(shù)據(jù)等，為實(shí)施批后監(jiān)管提供數(shù)據(jù)基礎(chǔ)；社會經(jīng)濟(jì)數(shù)據(jù)包含宏觀經(jīng)濟(jì)、人口數(shù)量、消費(fèi)物價指數(shù)、社會輿情等，為了解經(jīng)濟(jì)、社會運(yùn)行情況提供數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)資源分類體系結(jié)構(gòu)如圖2 所示。

圖2 自然資源數(shù)據(jù)體系

要將這些數(shù)據(jù)標(biāo)準(zhǔn)、模型、格式、精度、存儲形態(tài)等差異甚大的各類數(shù)據(jù)集成到自然資源“一張圖”數(shù)據(jù)庫中，需要建立一套統(tǒng)一的數(shù)據(jù)格式和標(biāo)準(zhǔn)，使各類數(shù)據(jù)能夠在統(tǒng)一空間基準(zhǔn)下進(jìn)行空間定位、相互疊加和套合。“一張圖”數(shù)據(jù)庫根據(jù)數(shù)據(jù)結(jié)構(gòu)的差異，將結(jié)構(gòu)化離散數(shù)據(jù)和非結(jié)構(gòu)化網(wǎng)格數(shù)據(jù)、柵格數(shù)據(jù)的信息數(shù)據(jù)進(jìn)行統(tǒng)一格式和標(biāo)準(zhǔn)，導(dǎo)入分布式文件系統(tǒng)HDFS 中，非結(jié)構(gòu)化數(shù)據(jù)在分布式文件系統(tǒng)中按照特定的約定方式被提取出來，并存放到HBase 構(gòu)建的內(nèi)容庫中，結(jié)構(gòu)化數(shù)據(jù)被發(fā)布到GIS 服務(wù)集群中，便于數(shù)據(jù)管理的提取和訪問[2,3]，以此模式形成全省覆蓋、內(nèi)容完整、準(zhǔn)確權(quán)威、動態(tài)鮮活的統(tǒng)一國土空間基礎(chǔ)數(shù)據(jù)資源。

3.3 自然資源數(shù)據(jù)存儲方案

河南省國土空間基礎(chǔ)信息平臺的“一張圖”以二、三維一體化GIS 技術(shù)為基礎(chǔ)框架，在組織和關(guān)系上進(jìn)行優(yōu)化設(shè)計(jì)，支持分布式的數(shù)據(jù)存儲，使得數(shù)據(jù)可存儲在不同的物理位置，在數(shù)據(jù)管理平臺中，將三維同現(xiàn)狀、規(guī)劃、管理、社會經(jīng)濟(jì)等業(yè)務(wù)要素相結(jié)合，以邏輯統(tǒng)一的方式進(jìn)行數(shù)據(jù)信息的展示，形成自然資源三維立體“一張圖”，如圖3 所示。

圖3 三維立體自然資源“一張圖”

“一張圖”數(shù)據(jù)存儲充分考慮數(shù)據(jù)庫與業(yè)務(wù)庫之間關(guān)系，采用了數(shù)據(jù)庫與業(yè)務(wù)庫隔離、省及各地市數(shù)據(jù)庫松耦合的方式，獨(dú)立存儲。同時根據(jù)存儲數(shù)據(jù)類型的不同，從確保數(shù)據(jù)穩(wěn)定可靠、擴(kuò)展性強(qiáng)、安全性強(qiáng)等角度考慮，分別選用國產(chǎn)關(guān)系型數(shù)據(jù)庫、Elasticsearch、非關(guān)系型數(shù)據(jù)庫、HDFS 以及HBase數(shù)據(jù)庫進(jìn)行物理數(shù)據(jù)庫搭建。

按數(shù)據(jù)類型定義數(shù)據(jù)存儲方案，每個數(shù)據(jù)類型可自行定義數(shù)據(jù)存儲位置，一旦有新的數(shù)據(jù)類型需要納入管理，“一張圖”數(shù)據(jù)庫依據(jù)數(shù)據(jù)結(jié)構(gòu)的差異，按照現(xiàn)有的統(tǒng)一格式和標(biāo)準(zhǔn)，分類別進(jìn)行結(jié)構(gòu)化和非結(jié)構(gòu)化存儲和管理，導(dǎo)入分布式文件系統(tǒng)HDFS 中，做到不同類別數(shù)據(jù)完全隔離，互不影響。

4 自然資源大數(shù)據(jù)云存儲模型的選擇

云數(shù)據(jù)庫是被優(yōu)化或部署到虛擬計(jì)算環(huán)境中的數(shù)據(jù)庫，在云數(shù)據(jù)庫應(yīng)用中，客戶端無需了解數(shù)據(jù)庫的底層細(xì)節(jié)，底層硬件都已經(jīng)被虛擬化[4]。對用戶來說，云數(shù)據(jù)庫就像運(yùn)行在單一服務(wù)器上的數(shù)據(jù)庫一樣，但數(shù)據(jù)的存儲、處理能力與傳統(tǒng)意義上的數(shù)據(jù)庫相比有了質(zhì)的飛躍[5,6]。

考慮到自然資源數(shù)據(jù)自身的特點(diǎn)以及能夠被快速訪問的需求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫存儲在小規(guī)模數(shù)據(jù)量時可以達(dá)到很好的效應(yīng)，但隨著數(shù)據(jù)量與應(yīng)用范圍的增加，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫性能會快速下降，因此，多類型、數(shù)據(jù)分布式存儲是必然的選擇。

4.1 關(guān)系型數(shù)據(jù)庫

選擇自主可控、國產(chǎn)化核心技術(shù)，通過整合人工智能技術(shù)，實(shí)現(xiàn)數(shù)據(jù)庫的自我檢測、自主運(yùn)維，在降低數(shù)據(jù)庫運(yùn)維成本的同時，提高計(jì)算能力，使數(shù)據(jù)庫獲得更快的響應(yīng)速度。SuperMap GIS 系列產(chǎn)品與其需無縫對接，將人工智能技術(shù)融入分布式數(shù)據(jù)庫，實(shí)現(xiàn)了大數(shù)據(jù)空間查詢與分析從性能到算力的全方位優(yōu)化，主要存儲現(xiàn)狀類、管理類、綜合分析類等結(jié)構(gòu)化數(shù)據(jù)。

4.2 非關(guān)系型數(shù)據(jù)庫

非關(guān)系型數(shù)據(jù)庫即NoSQL 數(shù)據(jù)庫，以塊為單元操作數(shù)據(jù)，使用非結(jié)構(gòu)化查詢語言（UNQL）。NoSQL 數(shù)據(jù)庫采用了鍵值（Key-Value）存儲模式[7]，該結(jié)構(gòu)主要分為主鍵、屬性和值三部分，基于值存儲的數(shù)據(jù)相對較大的特點(diǎn)就是對數(shù)據(jù)進(jìn)行切分與壓縮的技術(shù)處理后，按照特定的約定方式被提取出來，并存放到HBase構(gòu)建的內(nèi)容庫中，可以大幅提升數(shù)據(jù)傳輸能力[8]，同樣也是因?yàn)榛阪I值對，數(shù)據(jù)之間沒有耦合性，所以非常容易水平擴(kuò)展。該數(shù)據(jù)庫主要存儲平臺運(yùn)行日志、三維地圖緩存數(shù)據(jù)等事務(wù)性不強(qiáng)、數(shù)據(jù)模型比較簡單的數(shù)據(jù)類型。

4.3 ElasticSearch

ElasticSearch 是一個分布式可擴(kuò)展的實(shí)時搜索和分析引擎，一個建立在全文搜索引擎 Apache Lucene（TM）基礎(chǔ)上的搜索引擎。ElasticSearch 不僅包括了全文搜索功能，還可以進(jìn)行分布式實(shí)時文件存儲，并將每一個字段都編入索引，使其可以被搜索。實(shí)時分析的分布式搜索引擎，可以擴(kuò)展到上百臺服務(wù)器，處理PB 級別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，主要存儲社會經(jīng)濟(jì)數(shù)據(jù)中實(shí)時動態(tài)數(shù)據(jù)。

4.4 HDFS

HDFS（Hadoop Distributed File System） 是Hadoop 分布式系統(tǒng)體系結(jié)構(gòu)中的核心，主要實(shí)現(xiàn)了分布式文件系統(tǒng)。HDFS 在處理超大文件上非常有優(yōu)勢，而且支持流式的訪問數(shù)據(jù)，它的設(shè)計(jì)建立在“一次寫入、多次讀取”任務(wù)的基礎(chǔ)上。HDFS 中，一個數(shù)據(jù)集如果由數(shù)據(jù)源生成，就會被復(fù)制分發(fā)到不同的存儲節(jié)點(diǎn)中，響應(yīng)不同的數(shù)據(jù)請求，主要存儲現(xiàn)狀數(shù)據(jù)中海量影像以及文本數(shù)據(jù)。

4.5 HBase

HBase（Hadoop database）是一種構(gòu)建在HDFS 之上的分布式、面向列和提供高可靠性、高性能、可伸縮、實(shí)時讀寫的開源數(shù)據(jù)庫系統(tǒng)，適用于需要實(shí)時讀寫、隨機(jī)訪問超大規(guī)模數(shù)據(jù)的場景。HBase 是分布式空間數(shù)據(jù)存儲和管理首選，既能支持多種數(shù)據(jù)格式的存儲，包括柵格數(shù)據(jù)（如GeoTIFF）、矢量數(shù)據(jù)（如UDB/UDBX、Shapefile、GDB 等）和各種文件數(shù)據(jù)，又具有較強(qiáng)的數(shù)據(jù)查詢與讀寫能力，基于HBase 數(shù)據(jù)庫可以實(shí)現(xiàn)矢量數(shù)據(jù)15 億條線+28 億個面的迅速存儲與讀取，主要存儲海量矢量數(shù)據(jù)。

5 結(jié)語

本文提出的理論與方法在河南省國土空間基礎(chǔ)信息平臺“一張圖”建設(shè)中得到了部分應(yīng)用，解決了超大規(guī)模海量自然資源數(shù)據(jù)存儲和實(shí)時更新的一些難題，為自然資源數(shù)據(jù)的高效存儲與實(shí)時共享提供了一定思路。河南省自然資源“一張圖”建設(shè)完成后，目前已覆蓋全省18 個市、100 多個縣的自然資源管理部門。

自然資源信息是重要的基礎(chǔ)國情，自然資源管理關(guān)系國計(jì)民生，落實(shí)自然資源“兩統(tǒng)一”職責(zé)，全面深化“放管服”改革，必須依靠信息化的引導(dǎo)和驅(qū)動，自然資源海量數(shù)據(jù)存儲管理又是自然資源信息化的關(guān)鍵，因此研究云存儲技術(shù)在自然資源數(shù)據(jù)存儲中的應(yīng)用，提高自然資源信息化管理和應(yīng)用水平是自然資源信息化事業(yè)發(fā)展的必然要求。