摘 要：煤田地質大數(shù)據(jù)信息服務平臺將分散在多處的研究成果資料匯集在一起，進行統(tǒng)一管理，解決硬件與軟件系統(tǒng)重復建設、數(shù)據(jù)分散不統(tǒng)一、管理與應用水平低、后期維護難等問題，在一定程度上節(jié)約政府機構對煤田地質數(shù)據(jù)的管理成本，提高工作效率和管理水平。煤田地質大數(shù)據(jù)信息服務平臺以多源異構煤田地質數(shù)據(jù)為核心，建立煤田地質大數(shù)據(jù)信息服務平臺與數(shù)據(jù)中心，煤田地質資源專題數(shù)據(jù)庫和煤田地質環(huán)境專題數(shù)據(jù)庫，提供煤炭資源專題應用和煤炭地質環(huán)境專題應用。

關鍵詞：煤田地質；大數(shù)據(jù)；云計算；地質數(shù)據(jù)；多源異構

中圖分類號：P628 文獻標志碼：A 文章編號：2095-2945（2024）24-0168-05

Abstract： The Coalfield Geology Big Data Information Service Platform brings together the information of research results scattered in many places and carries out unified management to solve the problems such as repeated construction of hardware and software systems， disunity of data dispersion， low level of management and application， difficult maintenance in the later stage， and so on. To a certain extent， it can save the cost of coalfield geological data management by government agencies， and improve the work efficiency and management level. Coalfield geological big data information service platform takes multi-source and heterogeneous coalfield geological data as the core， establishes coalfield geological big data information service platform and data center， coalfield geological resources thematic database and coalfield geological environment thematic database， and provides special application of coal resources and coal geological environment.

Keywords： coalfield geology; big data; cloud computing; geological data; multi-source heterogeneity

地質大數(shù)據(jù)是信息時代背景下大數(shù)據(jù)的理念、技術和方法在地質領域的應用與實踐。地質大數(shù)據(jù)的研究是以大地學研究總體需求的頂層設計為主線，分領域、分層次地開展定量地學研究。就地質行業(yè)而言，將大數(shù)據(jù)作為地質行業(yè)新興增長點進行培育和挖掘，建立地勘大數(shù)據(jù)現(xiàn)場質控體系，強化基于計算技術的高效計算能力建設和地質數(shù)據(jù)規(guī)范化建設，通過大數(shù)據(jù)來實現(xiàn)地質工作和信息技術的深度融合。地質大數(shù)據(jù)服務與應用的發(fā)展，給地質行業(yè)帶來的最大變革是使地質行業(yè)以數(shù)據(jù)分析為基礎進行地質過程演化推理、應用等，通過對大數(shù)據(jù)技術的不斷積累完善，不再孤立地形成信息孤島，使地質大數(shù)據(jù)各領域數(shù)字化水平不斷提高，能夠進一步進行定量分析，將數(shù)字地球科學的研究向前推進[1]。

山西是煤炭大省，也是煤層氣大省。省內煤與煤層氣的資源賦存與開發(fā)利用狀況是山西省大數(shù)據(jù)建設中不可缺失的重要部分。在“互聯(lián)網(wǎng)＋”的時代背景下，作為全國最為主要的礦業(yè)大省，山西省應當在大數(shù)據(jù)環(huán)境的推動下，開展好地質信息發(fā)展規(guī)劃工作。以大數(shù)據(jù)作為一項基礎性戰(zhàn)略資源，將大數(shù)據(jù)作為山西地質行業(yè)新興增長點進行培育和挖掘。依托大數(shù)據(jù)云計算技術，強化基于云平臺的地質大數(shù)據(jù)高效計算能力建設和地質數(shù)據(jù)標準化建設，通過大數(shù)據(jù)實現(xiàn)山西地質工作和信息技術的深度融合，建立山西地質大數(shù)據(jù)共享服務平臺，為山西地質工作帶來新一輪變革和全新提升。

1 地質大數(shù)據(jù)云平臺的現(xiàn)狀及需求

1.1 研究意義

煤田地質大數(shù)據(jù)作為一項基礎性戰(zhàn)略資源，將大數(shù)據(jù)作為地質行業(yè)新興增長點進行培育和挖掘[2]。依托大數(shù)據(jù)技術、云計算技術，基于云平臺的地質大數(shù)據(jù)高效計算能力建設和地質數(shù)據(jù)標準化建設，實現(xiàn)地質工作和信息技術的深度融合，建立煤田地質大數(shù)據(jù)共享服務平臺，為煤田地質工作帶來新一輪技術變革。

1.1.1 改變管理模式，由分散管理轉變?yōu)榧泄芾?/p>

煤田地質勘查研究單位多，在煤田地質方面已經(jīng)積累了海量的各類專業(yè)數(shù)據(jù)，而且大量新的數(shù)據(jù)還會源源不斷地產(chǎn)生，部分單位有自己的信息管理系統(tǒng)，導致數(shù)據(jù)資源分散、數(shù)據(jù)不統(tǒng)一、數(shù)據(jù)管理困難等問題。煤田地質大數(shù)據(jù)信息服務平臺將分散在多處的研究成果資料匯集在一起，進行統(tǒng)一管理，解決硬件與軟件系統(tǒng)重復建設、數(shù)據(jù)分散不統(tǒng)一、管理與應用水平低及后期維護難等問題。在一定程度上節(jié)約政府機構對煤田地質數(shù)據(jù)的管理成本，提高工作效率和管理水平。

1.1.2 改變服務模式，由被動提供轉變?yōu)橹鲃犹峁?/p>

隨著信息化發(fā)展，數(shù)據(jù)服務模式由最初人與人之間面對面溝通、領導審批的方式，轉變?yōu)樾畔⒒Ｊ?，利用計算機人機結合，系統(tǒng)定位數(shù)據(jù)。然而這種方式仍停留在“要什么，給什么”的階段，不能及時獲取與之關聯(lián)的數(shù)據(jù)，無法深度挖掘數(shù)據(jù)中的隱藏信息和知識。本項目利用大數(shù)據(jù)挖掘技術，能夠將大規(guī)模數(shù)據(jù)中的隱藏信息和知識挖掘出來，了解日常地質數(shù)據(jù)使用人員的行為，精準化推薦地質資料數(shù)據(jù)，提升地質數(shù)據(jù)服務的質量和效率。

1.1.3 改變應用模式，由經(jīng)驗決策轉變?yōu)閿?shù)據(jù)驅動

在互聯(lián)網(wǎng)技術沒有普及時，領導在進行決策時，多是以經(jīng)驗帶動決策，各種信息之間應該如何聯(lián)系在一起，并且能夠快速確定需要進行決策事件的基本要求，豐富的決策經(jīng)驗會起到很大的作用，而這種模式是以經(jīng)驗累積的，必然存在一定缺陷，如領導無法從全局掌握工作或事項的來龍去脈，不易感知、理解相關聯(lián)的信息，難以從“經(jīng)驗”的決策模式走向基于“實證”的決策模式。本項目改變了煤田地質數(shù)據(jù)的應用模式，系統(tǒng)使用者可利用煤田地質數(shù)據(jù)，搭建自定義應用，驗證假設、分析結果以指導分析決策；讓越來越多的決策依賴于數(shù)據(jù)分析而非經(jīng)驗甚至直覺。從根本上改變了煤田地質傳統(tǒng)的信息化建設模式，提升了煤田地質數(shù)據(jù)管理水平，同時也擴展了地質業(yè)務，提高了煤田地質精準化、多元化服務的能力。

1.2 煤田地質大數(shù)據(jù)云平臺建設需求

通過地質行業(yè)的領軍單位的信息化發(fā)展過程可以看出，我國在數(shù)字地質信息化建設和數(shù)字地質調查方面已經(jīng)取得的重大成果。在地質行業(yè)中云計算技術的運用已日趨成熟，而大數(shù)據(jù)技術的應用尚未建立標準化、規(guī)范化的體系，幾乎沒有被應用于地質行業(yè)中。而針對當前地質信息化建設工作的需求，利用大數(shù)據(jù)技術進行地質勘查開發(fā)尚需進一步深度應用。

做好煤田地質大數(shù)據(jù)建設，將為煤田地質面向政府、面向行業(yè)、面向社會提供專業(yè)服務，推動煤田地質行業(yè)的服務轉型升級提供強而有力的技術支撐。進行煤田地質大數(shù)據(jù)信息化建設，是當前的必然趨勢。運用云計算技術、大數(shù)據(jù)技術，收集、分析、管理煤田地質相關資料，實現(xiàn)從數(shù)據(jù)到信息、從信息到知識、從知識到應用的煤田地質大數(shù)據(jù)鏈，實現(xiàn)煤田地質信息的開放與共享，使領導決策部門做出更加科學和精準的決策，為新一輪技術變革提供理論依據(jù)。

2 主要建設內容

煤田地質大數(shù)據(jù)信息服務平臺要求以多源異構煤田地質數(shù)據(jù)為核心，建立煤田地質大數(shù)據(jù)信息服務平臺與數(shù)據(jù)中心，建立煤田地質資源專題數(shù)據(jù)庫和煤田地質環(huán)境專題數(shù)據(jù)庫，提供煤炭資源專題應用和煤炭地質環(huán)境專題應用。

項目通過建立煤田地質大數(shù)據(jù)規(guī)范化體系、煤田地質大數(shù)據(jù)中心、煤田地質大數(shù)據(jù)信息服務平臺及實現(xiàn)2個煤田地質大數(shù)據(jù)專題應用（煤炭資源專題應用和煤田地質環(huán)境專題應用），打造“互聯(lián)網(wǎng)+煤田地質”新模式，實現(xiàn)煤田地質數(shù)據(jù)上云。

2.1 建立一套煤田地質大數(shù)據(jù)規(guī)范化體系

在總結和學習國內外相關數(shù)據(jù)標準制訂過程的技術和經(jīng)驗基礎上，采用綜合標準化方法，建立一套基于數(shù)據(jù)體系結構和數(shù)據(jù)生命周期管理過程的標準，保證不同專業(yè)間數(shù)據(jù)需求的一致性。為有效實現(xiàn)數(shù)據(jù)層、服務層與應用層之間標準的集成，形成一個統(tǒng)一描述、統(tǒng)一管理的信息服務平臺提供保障。煤田地質大數(shù)據(jù)規(guī)范化體系的主要建設內容包括數(shù)據(jù)分類規(guī)范、數(shù)據(jù)處理規(guī)范、數(shù)據(jù)建庫規(guī)范、數(shù)據(jù)服務規(guī)范和數(shù)據(jù)交換規(guī)范。

2.2 建立一個煤田地質大數(shù)據(jù)中心

煤田地質大數(shù)據(jù)中心包括煤田地質資源專題數(shù)據(jù)庫和煤田地質環(huán)境專題數(shù)據(jù)庫。專題數(shù)據(jù)按照煤田地質大數(shù)據(jù)規(guī)范要求進行分類、處理、提取、入庫，最終建立煤田地質大數(shù)據(jù)中心。

煤田地質資源專題數(shù)據(jù)庫建設：收集、整理煤田地質資源相關資料，根據(jù)煤田地質數(shù)據(jù)的特點，對煤田數(shù)據(jù)、基礎空間數(shù)據(jù)、區(qū)劃數(shù)據(jù)、勘探工程數(shù)據(jù)、開發(fā)利用數(shù)據(jù)、成果資料數(shù)據(jù)和三維模型數(shù)據(jù)進行分類，完成規(guī)范化建庫工作，建立資源專題數(shù)據(jù)庫。

煤田地質環(huán)境專題數(shù)據(jù)庫建設：收集、整理煤田地質環(huán)境相關資料，根據(jù)煤田地質數(shù)據(jù)的特點，對基礎空間數(shù)據(jù)、成果資料數(shù)據(jù)、地質災害數(shù)據(jù)、土地利用現(xiàn)狀數(shù)據(jù)和采煤沉陷區(qū)數(shù)據(jù)進行規(guī)范化分類，完成規(guī)范化建庫工作，建立環(huán)境專題數(shù)據(jù)庫。

2.3 建立一個煤田地質大數(shù)據(jù)信息服務平臺

基于政務云在大數(shù)據(jù)高性能計算框架下建立煤田地質大數(shù)據(jù)信息服務平臺，作為統(tǒng)一對外窗口提供相應業(yè)務需求服務，對各類服務數(shù)據(jù)與信息進行統(tǒng)一操作與管理。平臺由綜合服務、服務資源、服務管理、用戶指南和系統(tǒng)設置5部分組成，支持全文語義索引、數(shù)據(jù)智能檢索、資料智能推薦及多源多維數(shù)據(jù)可視化融合等功能。

2.4 研發(fā)煤田地質大數(shù)據(jù)中心數(shù)據(jù)管理與維護工具

根據(jù)收集的煤田地質數(shù)據(jù)，并對煤田地質數(shù)據(jù)進行了深入分析，結合煤田地質大數(shù)據(jù)規(guī)范化體系文檔和煤田地質大數(shù)據(jù)建庫流程，完成了煤田地質大數(shù)據(jù)中心數(shù)據(jù)管理維護工具研發(fā)。

煤田地質大數(shù)據(jù)中心數(shù)據(jù)管理與維護工具包括數(shù)據(jù)目錄管理、數(shù)據(jù)上傳、數(shù)據(jù)下載、數(shù)據(jù)刪除、數(shù)據(jù)文件查詢以及上傳數(shù)據(jù)進度控制功能。

2.5 實現(xiàn)2個煤田地質大數(shù)據(jù)專題應用

1）實現(xiàn)煤田地質大數(shù)據(jù)煤炭資源專題應用。開展煤田地質資源專題分析研究，實現(xiàn)煤炭資源專題應用，提供資源選區(qū)和區(qū)塊評價等功能，為政府部門在立項選區(qū)、資源評價等方面提供科學決策和數(shù)據(jù)支撐。

2）實現(xiàn)煤田地質環(huán)境專題應用。開展煤田地質環(huán)境專題分析研究，實現(xiàn)煤田地質環(huán)境專題應用，提供土地利用現(xiàn)狀分析與評價和采煤沉陷區(qū)預測等功能，輔助政府掌握在礦產(chǎn)資源利用中產(chǎn)生的各類地質環(huán)境問題、影響范圍及其形成原因等信息，科學規(guī)劃礦產(chǎn)資源開發(fā)利用。

3 煤田地質大數(shù)據(jù)云平臺設計方案

3.1 云平臺總體架構

基于B/S架構設計了煤田地質大數(shù)據(jù)信息服務平臺。系統(tǒng)平臺總體架構自下而上分為基礎環(huán)境、數(shù)據(jù)層、微服務層、平臺層和應用層。

1）基礎環(huán)境：項目基于Hadoop大數(shù)據(jù)存儲分析軟件框架和Spark大數(shù)據(jù)分析處理平臺，構建煤田地質大數(shù)據(jù)信息服務平臺。

2）數(shù)據(jù)層：提供分布式的存儲與計算。其中，數(shù)據(jù)分為基礎空間數(shù)據(jù)、區(qū)劃數(shù)據(jù)、勘探工程數(shù)據(jù)、開發(fā)利用數(shù)據(jù)、成果資料數(shù)據(jù)、三維模型數(shù)據(jù)、地質災害數(shù)據(jù)、土地利用現(xiàn)狀數(shù)據(jù)、采煤沉陷區(qū)數(shù)據(jù)和元數(shù)據(jù)。

3）微服務層：是大數(shù)據(jù)服務平臺的最小單元服務，主要提供目錄管理服務、服務管理服務、數(shù)據(jù)服務和功能服務。

4）平臺層：是建立山西省煤田地質大數(shù)據(jù)信息服務平臺，對外提供包括煤田地質數(shù)據(jù)、煤田地質產(chǎn)品、地質圖文檢索、服務資源、服務管理、用戶指南和系統(tǒng)設置等功能。

5）應用層：利用大數(shù)據(jù)服務平臺中的數(shù)據(jù)服務，提供煤炭資源專題應用和煤田地質環(huán)境專題應用。

3.2 關鍵技術

3.2.1 煤田地質時空大數(shù)據(jù)流計算框架

針對煤田地質大數(shù)據(jù)具有體量大，服務實時性要求較高的特點，項目以流的方式對煤田地質大數(shù)據(jù)進行處理，將大數(shù)據(jù)切分成小塊數(shù)據(jù)，然后采用流行的Spark并行計算技術對若干個小塊數(shù)據(jù)進行并行處理，提升煤田地質大數(shù)據(jù)的存儲分析效率，實現(xiàn)煤田地質大數(shù)據(jù)相關服務的快速響應。具體技術流程如圖1所示。

其中，數(shù)據(jù)流化主要實現(xiàn)將大數(shù)據(jù)劃分、切分形成多種不同類型的小塊數(shù)據(jù)，并以流的形式派發(fā)數(shù)據(jù)；并行計算過程采用Spark框架對小塊數(shù)據(jù)進行計算，形成多個key/value鍵值對；然后數(shù)據(jù)收集器對key/value鍵值對進行聚合，將相同類型的數(shù)據(jù)進行分類形成相應的數(shù)據(jù)對象，然后存儲到對應的存儲器中，如此形成整體的流計算分析框架。

3.2.2 煤田地質大數(shù)據(jù)高性能存儲管理

針對煤田地質大數(shù)據(jù)的特點，項目使用云存儲進行數(shù)據(jù)的存儲與管理，保證系統(tǒng)具有高可用、可伸縮、高效特點，以實現(xiàn)煤田地質大數(shù)據(jù)的高性能存儲與管理。具體存儲方法：采用Hadoop生態(tài)圈中的HDFS存儲文檔類數(shù)據(jù)，并采用HBase存儲地理空間數(shù)據(jù)以及其他屬性數(shù)據(jù)，整體上實現(xiàn)煤田地質大數(shù)據(jù)的分布式存儲。此外，為支持煤田地質大數(shù)據(jù)的時空檢索，項目結合倒排索引、時態(tài)網(wǎng)格索引以及空間填充曲線等索引技術，設計面向煤田地質數(shù)據(jù)的易維護、易拓展的分布式索引結構，支撐地質專業(yè)相關的文檔檢索及時空檢索，提供高性能查詢服務。具體存儲管理方法如圖2所示。

3.2.3 基于知識圖譜的煤田地質數(shù)據(jù)智能檢索與知識推理

針對傳統(tǒng)檢索方式無法理解用戶自然語言查詢、查詢結果單一的弊端，項目擬建立智能檢索推理服務平臺，主要包括基于語義的煤田地質數(shù)據(jù)智能檢索方式以及基于用戶習慣的智能知識推薦服務。通過對煤田地質數(shù)據(jù)預處理，利用深度學習以及自然語言處理技術，構建煤田地質知識提取模型，構建基于煤田地質知識的智能語義索引，實現(xiàn)用戶的智能語義檢索。關聯(lián)煤田地質知識，構建煤田地質領域知識圖譜，提供煤田地質智能化推薦服務。具體技術思路如圖3所示。

通過對煤田地質數(shù)據(jù)進行命名實體識別、關系提取，獲取知識并進行消歧融合，構建煤田地質知識圖譜。同時，對數(shù)據(jù)分詞、構建索引，建立語義索引庫。用戶使用時，輸入自然語言，服務可以自動提取自然語言中的知識，在建立的語義索引中進行檢索，同時利用知識圖譜所包含知識之間豐富的語義聯(lián)系，為用戶提供潛在的輔助信息來源，從而為用戶提供精確的、多樣的、符合用戶習慣的檢索結果，提高用戶對檢索系統(tǒng)的信任。

3.2.4 多源多維數(shù)據(jù)可視化融合

勘查人員在進行煤田地質勘探開發(fā)的過程中，采用不同的勘查技術，形成了各種數(shù)據(jù)，如地質數(shù)據(jù)、專題圖件數(shù)據(jù)、鉆孔數(shù)據(jù)、遙感影像數(shù)據(jù)、土地利用現(xiàn)狀數(shù)據(jù)、沉陷區(qū)調查成果數(shù)據(jù)和文檔資料等多源多維數(shù)據(jù)。開展多源多維數(shù)據(jù)的關聯(lián)性與耦合性分析，梳理數(shù)據(jù)間的邏輯關系，實現(xiàn)分布式異構空間數(shù)據(jù)與屬性數(shù)據(jù)資源的集成與共享。系統(tǒng)擬采用二三維一體化技術以及多源多維數(shù)據(jù)可視化融合技術，將不同來源不同維度不同類型的數(shù)據(jù)在系統(tǒng)中進行可視化展示，這種方式能夠真實、直觀和形象地展示給使用人員，為煤田地質數(shù)據(jù)的應用提供支撐。

4 平臺實現(xiàn)及應用效果分析

煤田地質大數(shù)據(jù)信息服務平臺項目通過對過往煤田地質工作和相關積累資料的收集、分析、管理，運用云計算技術、大數(shù)據(jù)技術，建立了煤田地質大數(shù)據(jù)信息服務平臺，實現(xiàn)了煤田地質信息的開放與共享；以多源異構煤田地質數(shù)據(jù)為核心，構建煤田地質大數(shù)據(jù)規(guī)范，建立了煤田地質大數(shù)據(jù)中心；以Hadoop+Spark建設大數(shù)據(jù)分析計算平臺，實現(xiàn)了煤炭地質大數(shù)據(jù)存儲管理、分析計算、智能服務等關鍵技術；立足行業(yè)需求，通過設立示范區(qū)實現(xiàn)了煤炭資源專題和煤田地質環(huán)境2個專題應用，為政府部門在立項選區(qū)、資源與地質環(huán)境評價等方面提供科學決策和數(shù)據(jù)支撐。

5 結束語

煤田地質大數(shù)據(jù)信息服務平臺是以傳統(tǒng)地質行業(yè)與大數(shù)據(jù)、云計算等新技術深度融合，實現(xiàn)了煤田地質資源與地質環(huán)境一體化，地上與地下一體化的信息互聯(lián)互通的專業(yè)大數(shù)據(jù)平臺。

煤田地質大數(shù)據(jù)信息服務平臺既可以實現(xiàn)煤炭資源信息獲取，也可以對地質環(huán)境進行分析評價，在自然資源領域能切實做到為政府、企業(yè)等部門提供專業(yè)、科學、可靠的服務。展望未來，隨著能源、經(jīng)濟與環(huán)境系統(tǒng)協(xié)同發(fā)展的深入，以及大數(shù)據(jù)、云計算、人工智能等信息技術的發(fā)展，必將對煤田地質大數(shù)據(jù)工作提出更高的要求。

煤田地質大數(shù)據(jù)信息系統(tǒng)技術發(fā)展日新月異，各種新技術、新方法、新概念層出不窮。在今后相當長的一段時期內，煤田地質大數(shù)據(jù)還會保持快速發(fā)展的勢頭，必定產(chǎn)生更多的變革和發(fā)展。下一步，將總結項目經(jīng)驗和不足，為后續(xù)建設奠定堅實基礎。

參考文獻：

[1] 陳建平，李靖，謝帥，等.中國地質大數(shù)據(jù)研究現(xiàn)狀[J].地質學刊，2017（41）：353-366.

[2] 于廣婷，劉同文，曹發(fā)偉，等.地質大數(shù)據(jù)輕量化集成展示與專題應用[J].測繪通報，2021（11）：140-144.