陳黎明,馮曉林,張佳琦
(1. 山西省煤炭地質(zhì)114勘查院,山西 長(zhǎng)治 046011;2.太原理工大學(xué) 礦業(yè)工程學(xué)院,山西 太原 030024)
煤礦地質(zhì)勘探是煤炭生產(chǎn)過程中必不可少的基礎(chǔ)工作,礦區(qū)經(jīng)過多年的地質(zhì)勘探工作,逐漸積累形成了龐大的地質(zhì)資料數(shù)據(jù)集,地質(zhì)資料的準(zhǔn)確性、完整性是煤礦安全生產(chǎn)的重要保障[1]。由于地質(zhì)數(shù)據(jù)種類繁多,結(jié)構(gòu)復(fù)雜,目前還沒有形成完備的管理模式。地質(zhì)數(shù)據(jù)在應(yīng)用過程中經(jīng)常更新、檢索、疊加和關(guān)聯(lián)圖形信息,目前仍然應(yīng)用單一的數(shù)據(jù)文件進(jìn)行分散管理,對(duì)已有成果重新利用帶來不便,且效率低下,也存在保密數(shù)據(jù)泄密的風(fēng)險(xiǎn)。
為實(shí)現(xiàn)地質(zhì)勘探數(shù)據(jù)管理標(biāo)準(zhǔn)化,地質(zhì)數(shù)據(jù)共享互操作,同時(shí)解決數(shù)據(jù)分散化同質(zhì)化問題,集成化的概念被引入地質(zhì)勘探領(lǐng)域[2-3],根據(jù)地質(zhì)勘探數(shù)據(jù)的自身特點(diǎn)、結(jié)構(gòu)類型的不同,采用的數(shù)據(jù)集成方法不同。開發(fā)專用的地質(zhì)數(shù)據(jù)綜合處理軟件是一種常用的集成手段[3-5],馬鋒[3]提出基于MapGIS平臺(tái)管理的工程地質(zhì)資料集成與服務(wù)架構(gòu),并就數(shù)據(jù)庫的建設(shè)進(jìn)行了分析,主要以MapGIS能兼容的數(shù)據(jù)為主,數(shù)據(jù)兼容范圍有限,利用GIS技術(shù)平臺(tái)集成小范圍內(nèi)的地質(zhì)勘探數(shù)據(jù),其優(yōu)點(diǎn)成本低、效率高,對(duì)于大范圍礦區(qū),單一應(yīng)用GIS平臺(tái)集成種類繁多的多源異構(gòu)數(shù)據(jù)存在困難。
由于礦區(qū)開采范圍相對(duì)固定,開采周期長(zhǎng),隨著開采技術(shù)的革新和發(fā)展,煤礦生產(chǎn)中逐漸積累了大量的地質(zhì)勘探數(shù)據(jù),地質(zhì)數(shù)據(jù)具有多源異構(gòu)、多基準(zhǔn)、多維度、多尺度、多時(shí)空等特點(diǎn)[6],這給地質(zhì)勘探數(shù)據(jù)的綜合集成造成一定困難。需根據(jù)礦區(qū)地質(zhì)勘探數(shù)據(jù)自身的特點(diǎn)和應(yīng)用目標(biāo)來研究探索一套行之有效的綜合集成方法,實(shí)現(xiàn)礦區(qū)地質(zhì)勘探數(shù)據(jù)的高效利用和信息共享,同時(shí)能夠節(jié)約成本,避免重復(fù)勘探。
盡管地質(zhì)科技人員已經(jīng)認(rèn)識(shí)到地質(zhì)數(shù)據(jù)集成的重要性,并就地質(zhì)勘探數(shù)據(jù)如何有效集成、進(jìn)行過有益的探索和研究,主要開展了區(qū)域性勘探找礦[7]和成礦機(jī)理綜合探測(cè)[8]等方面的研究和應(yīng)用,但是針對(duì)礦區(qū)的地質(zhì)勘探數(shù)據(jù)綜合集成平臺(tái)的設(shè)計(jì)與開發(fā)鮮有研究。為此,本文針對(duì)礦區(qū)地質(zhì)勘探數(shù)據(jù)呈現(xiàn)出多源異構(gòu)的特點(diǎn),主要應(yīng)用GIS中間件和數(shù)據(jù)庫中間件技術(shù)構(gòu)建了礦區(qū)地質(zhì)勘探數(shù)據(jù)綜合集成管理平臺(tái),并以潞安—晉城礦區(qū)為研究區(qū)域,實(shí)現(xiàn)了礦區(qū)地質(zhì)數(shù)據(jù)成果的綜合集成,較好地解決了潞安—晉城礦區(qū)地質(zhì)勘探數(shù)據(jù)存在管理上離散化和應(yīng)用中同質(zhì)化的問題,為今后建設(shè)礦區(qū)生產(chǎn)“一張圖”信息平臺(tái)奠定基礎(chǔ),同時(shí)促進(jìn)“集成化”在礦區(qū)地質(zhì)數(shù)據(jù)管理中的推廣和應(yīng)用。
礦區(qū)地質(zhì)勘探數(shù)據(jù)集成的關(guān)鍵是如何有效集成非結(jié)構(gòu)化空間數(shù)據(jù),不同軟件有不同的數(shù)據(jù)格式,為了實(shí)現(xiàn)數(shù)據(jù)互操作和開放共享,軟件之間常用數(shù)據(jù)格式轉(zhuǎn)換來完成異構(gòu)數(shù)據(jù)的集成,數(shù)據(jù)格式存在兼容性差,信息丟失等諸多問題[6]。近年來,在計(jì)算機(jī)科學(xué)領(lǐng)域發(fā)展起來的中間件數(shù)據(jù)訪問技術(shù)是解決多源異構(gòu)數(shù)據(jù)訪問操作的一種主流技術(shù),中間件是獨(dú)立于系統(tǒng)軟件的中間應(yīng)用程序,標(biāo)準(zhǔn)化了訪問接口,統(tǒng)一了協(xié)議[9]。將GIS中間件技術(shù)和數(shù)據(jù)庫中間件技術(shù)相結(jié)合可實(shí)現(xiàn)礦區(qū)地質(zhì)多源異構(gòu)數(shù)據(jù)的協(xié)同訪問操作和數(shù)據(jù)共享服務(wù)。
考慮到開發(fā)成果和效率,本文應(yīng)用空間數(shù)據(jù)庫中間件技術(shù)和主流GIS中間件技術(shù)構(gòu)建了如圖1所示的礦區(qū)地質(zhì)數(shù)據(jù)綜合集成平臺(tái)架構(gòu),主要由數(shù)據(jù)存儲(chǔ)層、計(jì)算服務(wù)層、應(yīng)用層組成。數(shù)據(jù)存儲(chǔ)層負(fù)責(zé)對(duì)多源異構(gòu)數(shù)據(jù)訪問與管理,其中非結(jié)構(gòu)化空間數(shù)據(jù)是獨(dú)立的專用數(shù)據(jù)文件,可利用MySql、PostgreSQL等開源空間數(shù)據(jù)引擎來實(shí)現(xiàn)管理,在空間數(shù)據(jù)庫中用二進(jìn)制大字段存儲(chǔ)。結(jié)構(gòu)化數(shù)據(jù)常用二維表格和獨(dú)立的Access數(shù)據(jù)庫管理,結(jié)構(gòu)化數(shù)據(jù)相對(duì)容易集成。計(jì)算服務(wù)層應(yīng)用數(shù)據(jù)庫中間件的提供的訪問接口完成用戶提交的服務(wù)請(qǐng)求操作。應(yīng)用層負(fù)責(zé)發(fā)送客戶端程序向服務(wù)層提交的服務(wù)請(qǐng)求任務(wù)和操作命令,例如數(shù)據(jù)的查詢檢索、查看瀏覽、計(jì)算分析以及數(shù)據(jù)的傳輸服務(wù)等。
圖1 礦區(qū)地質(zhì)數(shù)據(jù)集成平臺(tái)架構(gòu)Fig.1 Framework of mining area geological data integration platform
系統(tǒng)主要功能模塊劃分如圖2所示。
圖2 礦區(qū)地質(zhì)數(shù)據(jù)集成平臺(tái)的功能模塊Fig.2 Functional module f mining area geological data integration platform
1)數(shù)據(jù)入庫:主要完成各類數(shù)據(jù)存入數(shù)據(jù)庫,每一類數(shù)據(jù)需要構(gòu)建一個(gè)對(duì)應(yīng)的數(shù)據(jù)表,表與表之間建立對(duì)應(yīng)關(guān)系。地質(zhì)數(shù)據(jù)資料類型多樣,單個(gè)圖形數(shù)據(jù)文件較大,因此,在數(shù)據(jù)入庫時(shí),充分考慮數(shù)據(jù)表結(jié)構(gòu)性能優(yōu)化、SQL語言調(diào)優(yōu)。此外,要能夠通過系統(tǒng)界面上傳到數(shù)據(jù)庫中,同時(shí)支持下載到本地。
2)查詢統(tǒng)計(jì):通過關(guān)鍵詞、坐標(biāo)范圍以及空間對(duì)象的屬性值完成查詢和統(tǒng)計(jì)。
3)瀏覽查看:設(shè)計(jì)各類數(shù)據(jù)的瀏覽查看功能,圖形數(shù)據(jù)支持常用矢量格式,文檔數(shù)據(jù)以PDF、Word為主,表格數(shù)據(jù)導(dǎo)出Excel格式。
4)空間查詢與分析:給定區(qū)域范圍,通過空間查詢分析給出區(qū)域內(nèi)已有資料的分布情況。
5)打印輸出:設(shè)計(jì)具有打印預(yù)覽功能的輸出模塊;系統(tǒng)能夠?qū)⒔Y(jié)構(gòu)化數(shù)據(jù),如鉆孔生成統(tǒng)計(jì)報(bào)表。
6)系統(tǒng)管理:用戶在管理員賦予的權(quán)限下應(yīng)用平臺(tái),例如:一般用戶僅供預(yù)覽和查看,高級(jí)用戶可供上傳下載和編輯。高級(jí)用戶同時(shí)能夠記錄用戶的操作日志,實(shí)現(xiàn)用戶數(shù)據(jù)操作的溯源。
對(duì)于任何數(shù)據(jù)管理系統(tǒng),數(shù)據(jù)庫的建立是不可缺少的,合理的數(shù)據(jù)庫表結(jié)構(gòu)既能方便數(shù)據(jù)的管理又能提高系統(tǒng)的運(yùn)行速度[9]。本系統(tǒng)以勘查項(xiàng)目作為基本管理單元,勘查項(xiàng)目涉及的地質(zhì)數(shù)據(jù)主要包含有鉆孔數(shù)據(jù)、鉆孔柱狀圖、文檔數(shù)據(jù)和圖形數(shù)據(jù)等。為了方便數(shù)據(jù)的管理,為每種數(shù)據(jù)都設(shè)計(jì)了各自的表結(jié)構(gòu),同時(shí)賦予主鍵和建立索引,如此既保證了數(shù)據(jù)不會(huì)冗余又增強(qiáng)了數(shù)據(jù)的操作效率,對(duì)圖形圖像、文檔數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)表中以二進(jìn)制格式字段表現(xiàn)。
平臺(tái)共設(shè)計(jì)了15個(gè)數(shù)據(jù)表,其中涉及勘查項(xiàng)目信息有“項(xiàng)目基本信息表”和“邊界點(diǎn)坐標(biāo)表”;文檔類數(shù)據(jù)表有文檔數(shù)據(jù)表、圖形數(shù)據(jù)表和鉆孔柱狀圖表;鉆孔數(shù)據(jù)表主要有鉆孔的基礎(chǔ)信息、單孔的基本信息、地質(zhì)記錄、煤層記錄、煤質(zhì)分析信息和煤樣試驗(yàn)記錄等8個(gè)表;輔助表有用戶管理表和操作日志表。圖3從左到右依次為:項(xiàng)目基本信息表、文檔數(shù)據(jù)表和邊界點(diǎn)坐標(biāo)表的字段值及數(shù)據(jù)類型。
圖3 主要表結(jié)構(gòu)及數(shù)據(jù)類型Fig.3 Main table structure and data type
數(shù)據(jù)庫中間件是操作異構(gòu)數(shù)據(jù)庫的一種主流技術(shù),數(shù)據(jù)庫中間已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)庫常用數(shù)據(jù)訪問功能,因而可避免訪問操作異構(gòu)數(shù)據(jù)庫的底層操作邏輯,同時(shí)降低了客戶端與數(shù)據(jù)庫服務(wù)之間的耦合度[4]。GIS中間件是實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)集成的另一種主流技術(shù),GIS中間件實(shí)現(xiàn)了復(fù)雜的非結(jié)構(gòu)化空間數(shù)據(jù)的訪問操作,其優(yōu)點(diǎn)是為客戶端提供統(tǒng)一的空間數(shù)據(jù)讀寫接口,不需要直接訪問操作數(shù)據(jù)庫,而是借用數(shù)據(jù)庫中間件技術(shù)來間接訪問和管理非結(jié)構(gòu)化空間數(shù)據(jù)。GIS中間件能夠兼容主流非結(jié)構(gòu)化數(shù)據(jù)格式,因而不需要格式轉(zhuǎn)換就能夠完成各類數(shù)據(jù)的共享和互操作,同時(shí)能夠完成GIS常用的地理計(jì)算和空間分析。本文應(yīng)用ADO.NET數(shù)據(jù)庫中間件和MapWinGIS中間件(一種主流GIS中間件)以及NPOI組件進(jìn)行聯(lián)合開發(fā)礦區(qū)地質(zhì)數(shù)據(jù)綜合集成平臺(tái)。
MapWinGIS最初是為解決GIS問題而開發(fā)的一種開源地理信息系統(tǒng)軟件,現(xiàn)在開發(fā)人員常將其當(dāng)作一種可以用來可視化并操作地理矢量、柵格數(shù)據(jù)的地圖引擎,其在COM思想的基礎(chǔ)上,利用VC++語言開發(fā),并且可以在多種語言環(huán)境下進(jìn)行功能開發(fā)設(shè)計(jì),包括主流的.NET開發(fā)平臺(tái),能快速添加到用戶開發(fā)的軟件系統(tǒng)中[10]。
MapWinGIS實(shí)現(xiàn)了主流GIS數(shù)據(jù)訪問功能,可以直接操作Shapfile、Image、TIN 、Grid、DBF常用格式的數(shù)據(jù)文件;對(duì)圖形進(jìn)行查看瀏覽,屬性編輯、實(shí)體標(biāo)注,矢量數(shù)據(jù)符號(hào)化,柵格數(shù)據(jù)透明化;對(duì)矢量數(shù)據(jù)進(jìn)行空間分析、查詢;在圖層上直接增加新的空間數(shù)據(jù),讀取圖層中的相關(guān)數(shù)據(jù)[11]。
ADO.NET是支持?jǐn)?shù)據(jù)庫應(yīng)用程序開發(fā)的數(shù)據(jù)訪問中間件,它是建立在.NET Framwork提供的平臺(tái)上的數(shù)據(jù)庫訪問編程模型,它由.NET Framwork中提供的一組數(shù)據(jù)訪問類和命名空間組成,包含了一系列函數(shù)訪問的組件庫??梢允褂肅OM編程技術(shù)來訪問數(shù)據(jù)庫[12]。ADO.NET包括5個(gè)主要數(shù)據(jù)庫訪問對(duì)象(Connection、DataReader、Command、DataSet、DataAdapter)。應(yīng)用ADO.NET訪問數(shù)據(jù)庫首先要建立數(shù)據(jù)庫連接,然后可直接讀取或更新數(shù)據(jù)。ADO.NET訪問數(shù)據(jù)庫操作流程如圖4所示。
圖4 ADO訪問數(shù)據(jù)庫操作流程Fig.4 Operation flow of ADO accessing database
地質(zhì)數(shù)據(jù)有大量的鉆孔記錄、巖層臺(tái)賬等格式化數(shù)據(jù),原始記錄多數(shù)以Excel、Access格式進(jìn)行存儲(chǔ),系統(tǒng)考慮到數(shù)據(jù)交換和報(bào)表統(tǒng)計(jì)分析,需要將Excel格式文件導(dǎo)入數(shù)據(jù)庫,也可以將數(shù)據(jù)表中查詢結(jié)果導(dǎo)出為Excel格式文件。NPOI是一個(gè)開源的C#讀寫Excel、Word等文檔格式的第三方組件庫,可以在不用安裝office的情況下讀寫幾乎所有的Office文件格式[13],而且其讀寫速度快穩(wěn)定性好,組件中包含的Excel操作對(duì)象與其對(duì)應(yīng)的操作方法,實(shí)現(xiàn)對(duì)Excel文檔的導(dǎo)入與導(dǎo)出操作,應(yīng)用NPOI組件顯著提升了效率,節(jié)約了開發(fā)成本。
根據(jù)圖1所示的地質(zhì)勘探數(shù)據(jù)綜合集成平臺(tái)架構(gòu)和上述數(shù)據(jù)庫和GIS中間件關(guān)鍵技術(shù),設(shè)計(jì)并開發(fā)了礦區(qū)地質(zhì)勘探數(shù)據(jù)綜合集成平臺(tái)。鑒于該平臺(tái)主要應(yīng)用于地質(zhì)部門相對(duì)固定的使用人員,而且地質(zhì)數(shù)據(jù)的保密性要求高,故該平臺(tái)采用C/S(Client/Server)模式進(jìn)行開發(fā)。平臺(tái)可安裝在礦區(qū)內(nèi)部的專用私有云上,結(jié)合企業(yè)局域網(wǎng)訪問速度快,非常適用非結(jié)構(gòu)化空間數(shù)據(jù)的操作和管理,而且安全性高。
礦區(qū)地質(zhì)數(shù)據(jù)綜合集成平臺(tái)利用軟件Visual studio 2019進(jìn)行開發(fā),基于Microsoft .NetFramework 4.7.2構(gòu)建,采用C#語言,以開源數(shù)據(jù)庫MySQL為后臺(tái)數(shù)據(jù)庫管理存儲(chǔ)數(shù)據(jù),在MapWinGIS和ADO.Net中間件的支持下,實(shí)現(xiàn)了礦區(qū)地質(zhì)數(shù)據(jù)綜合集成管理。平臺(tái)具備數(shù)據(jù)入庫、查看瀏覽、檢索查詢、空間分析、統(tǒng)計(jì)匯總等基本功能,同時(shí)為管理人員提供地質(zhì)數(shù)據(jù)維護(hù)和編輯等高級(jí)功能,注冊(cè)用戶經(jīng)過管理員分配訪問權(quán)限后方可登錄平臺(tái)進(jìn)行操作,平臺(tái)自動(dòng)記錄用戶的操作并形成訪問日志,便于數(shù)據(jù)操作的溯源,保證數(shù)據(jù)的安全。目前該平臺(tái)在山西省煤炭地質(zhì)114勘查院得到應(yīng)用,并對(duì)潞安—晉城礦區(qū)地質(zhì)數(shù)據(jù)進(jìn)行綜合集成,取得了預(yù)期效果。潞安—晉城礦區(qū)地質(zhì)勘探數(shù)據(jù)成果經(jīng)平臺(tái)集成化之后,地質(zhì)數(shù)據(jù)管理分散化和應(yīng)用同質(zhì)化問題得以解決,使地質(zhì)成果管理規(guī)范,成果應(yīng)用高效快捷。
地質(zhì)礦產(chǎn)勘查為礦產(chǎn)資源開采提供必要的基礎(chǔ)地質(zhì)資料,是資源開采過程中一項(xiàng)基礎(chǔ)性內(nèi)容。本文針對(duì)礦區(qū)地質(zhì)勘探數(shù)據(jù)存在管理分散化、應(yīng)用同質(zhì)化且有數(shù)據(jù)丟失風(fēng)險(xiǎn)等問題,經(jīng)過對(duì)礦區(qū)地質(zhì)勘探數(shù)據(jù)的結(jié)構(gòu)和特點(diǎn)進(jìn)行分析和總結(jié),綜合應(yīng)用空間數(shù)據(jù)庫技術(shù)和GIS技術(shù),設(shè)計(jì)了適用于礦區(qū)地質(zhì)數(shù)據(jù)綜合集成的可視化平臺(tái)。該平臺(tái)應(yīng)用MapWinGIS中間件實(shí)現(xiàn)圖形數(shù)據(jù)的集成,應(yīng)用NPOI組件完成結(jié)構(gòu)化類數(shù)據(jù)的集成,應(yīng)用空間數(shù)據(jù)庫技術(shù)管理多源異常數(shù)據(jù)。該平臺(tái)部署靈活、易操作、開發(fā)成本低,為實(shí)現(xiàn)礦區(qū)的地質(zhì)勘探成果綜合集成和共享提供技術(shù)支持,管理上避免數(shù)據(jù)的分散化,應(yīng)用上降低數(shù)據(jù)同質(zhì)化,從而可為煤礦企業(yè)在資源勘探中提高效率并節(jié)約成本。