嚴 群,程愛國,張燕生,趙育臺,劉 釗,田 力
(中國煤炭地質總局勘查研究總院,北京 100039)
煤炭地質成果資料是自新中國成立以來地質工作的結晶,是我國煤炭工業(yè)發(fā)展基礎,是科學規(guī)劃、合理利用煤炭及煤系共伴生礦產資源的重要依據[1],從中可以充分地了解到煤系地層的空間展布、構造及水文條件、資源賦存情況等重要信息。建國以來,全國煤炭地質系統(tǒng)累計完成鉆探工程量2億余米、地震工程量2000余萬物理點,累計探獲煤炭資源量2萬多億噸。通過煤炭資源勘查,發(fā)現了鄂爾多斯、華北、華南、吐魯番、準噶爾、伊犁和塔里木七個5 000億t以上的聚煤盆地,500多個大型煤田,積累了豐富的煤炭地質勘查資料[2],為煤系礦產資源的開發(fā)利用提供了海量的信息資源。中國煤炭地質總局檔案館作為行業(yè)地質資料館保存了大部分的成果資料,但是資料信息化和社會化服務程度較低;資料的匯集程度低,尤其是電子文件,保管分散,格式不統(tǒng)一,可讀性差,信息流失較為嚴重;資料信息共享程度低,影響了資料的利用率和資料匯交人的匯交積極性;信息服務產品和形式單一[3],不能滿足行業(yè)和社會對煤炭地質和煤系礦產資源信息的需求。隨著科學技術的發(fā)展,“大數據”、“互聯網”對各行各業(yè)的影響也日益加深,改變了人們獲取和應用信息的方式[4],也為煤炭地質資料應用的信息化、網絡化提供了技術條件和建設環(huán)境。國土資源部全國地質資料館的煤炭地質資料相對齊全,館藏資料全部實現了電子化管理和服務,建立了全國地質信息網,目前也已基本實現了地調系統(tǒng)、省館和部分行業(yè)館的互聯互通互享[5]。但是,全國館基礎性和普適性的地質信息服務依然不能滿足社會對煤炭地質專業(yè)信息產品的需求,需要建立煤炭地質行業(yè)信息服務專業(yè)平臺,提供更加專業(yè)、系統(tǒng)的煤炭地質信息服務。本文將從信息系統(tǒng)建設的角度,研究探討煤炭地質信息服務系統(tǒng)總體框架,以期實現煤炭地質資料管理與服務的信息化與網絡化,助推行業(yè)地質信息服務的發(fā)展。
煤炭資源主要為層狀分布,面積廣,縱向地質時代特征明顯,同一賦煤區(qū)相臨勘探區(qū)的地質情況類似,煤系礦產資源較為豐富。因此,煤炭地勘資料對于煤炭及煤系共伴生礦產資源的綜合開發(fā)利用、資源儲量預測、潛力評價具有很好的參考價值。煤炭地質信息從內容上,不僅包括煤炭地質勘查報告,還包括相關的地質調查、水文地質、工程地質、環(huán)境地質、煤炭資源預測、煤炭資源潛力評價、基礎地質研究、技術應用研究、物理勘探報告、遙感與測繪資料、其他礦產地質資料等等。此外,還有專業(yè)圖書、圖集、論文、技術規(guī)范等。煤炭地質信息從電子文件格式上,主要包括可編輯的文本文件、Excel類數據表,CAD、MapGIS、ArcGIS、CoalDraw等專門應用軟件形成的由單文件和多文件組成的矢量圖件及不可編輯的柵格文件(如圖片、掃描件、照片)等。
煤炭地質信息屬性描述指標除了題名、地理位置、坐標、工作程度、礦區(qū)名稱、工作時間、有益礦產等常規(guī)項外,還有煤質、瓦斯測試數據、含煤地層、埋深等煤炭地質信息特有的屬性指標。礦區(qū)名稱的下屬詞通常是由煤炭行業(yè)命名的專有名詞,如山西離柳礦區(qū)、山東棗騰礦區(qū)等。
信息管理是服務的基礎,服務是管理的目標,二者相互統(tǒng)一,密不可分。對于煤炭地質信息的管理和服務可分為三個層次,一是原始數據的安全保存,備查;二是資料性、基礎性服務數據體系的建立,將原始數據轉換為通用、可讀、不可編的數據格式,作為資料性、基礎性數據來管理、檢索和利用;三是專題應用數據庫的建立,如基于MapGIS的專題圖件庫、基于Oracle的儲量信息庫[6]等。
信息分類是實現數據規(guī)范化、統(tǒng)一化管理的必要手段。據統(tǒng)計,人類活動獲得的信息80%與地理位置有關[7-8],煤炭地質信息尤其如此,地理位置是地質信息的重要屬性之一,將煤炭地質信息的區(qū)域性分為全國、省份、礦區(qū)、勘探區(qū)、鉆孔五個層次。從內容上,將煤炭地質信息分為地質調查、煤炭地質勘查、煤系共伴生礦產、航測遙感、水文地質、工程地質、環(huán)境地質、綜合等十幾個大類,五十多個小類。
煤炭地質信息的主體是地勘成果、資源評價、科研成果報告,依據成果資料的產生規(guī)律,在數據的管理結構上分為三個層次:①項目級目錄:以勘探區(qū)、評價區(qū)或專項工作為目標的成果報告集合體,是成果資料分類管理的最小單位;②文件級目錄:組成報告集合體、具有獨立意義的文件,是基礎性服務的最小管理單元,如文字報告、審批意見書、附圖、附表等;③電子文件實體:是提供閱覽服務的源文件。
1.3.1 數據庫聯合應用技術
MongoDB數據庫在海量數據存儲方面的應用具有很大優(yōu)勢,具備網站實時數據存儲所需的復制及高度伸縮性;由于性能很高,適合作為信息基礎設施的緩存層,在系統(tǒng)重啟之后,由MongoDB搭建的持久化緩存層可以避免下層的數據源過載;MongoDB的Bson數據格式非常適合文檔化格式的存儲及查詢[7]。而Oracie數據庫系統(tǒng)則是美國Oracie(甲骨文)公司提供的以分布式數據庫為核心的一組軟件產品,是目前世界上使用最為廣泛的關系數據庫管理系統(tǒng),具有完整的數據管理功能,系統(tǒng)可移植性好、使用方便、功能強,適用于各類大、中、小、微機環(huán)境,是一種高效率、可靠性好的適應高吞吐量的數據庫解決方案。
系統(tǒng)將文本文件、柵格文件、GIS數據、CAD圖形數據、屬性庫等非結構化的數據轉換為通用軟件件Adobe Acrobat可以打開的pdf文件,并建立對應的關系型索引目錄數據。采用Oracle和Mongo數據庫系統(tǒng)聯合應用的方式,由Oracle管理索引目錄數據庫,負責文件的檢索與調用,MongoDB負責管理文件,解決了多元異構數據的集成、檢索與快速調用問題。選擇pdf作為文件在線服務的格式,主要是基于:①閱者不必在瀏覽器端安裝專用插件,便于應用;②文件相對較小,打開速度快;③pdf的打包功能,是jpg、tiff等圖片格式文件所不具備的,可使由多幅圖片組成的文件打包成單文件,如文字報告等,便于管理和調用。
1.3.2 空間數據融合技術
空間數據融合技術是GIS系統(tǒng)集成的重要組成部分,在多表現、多分辨率空間數據庫中,該技術占據了重要的地位。GIS系統(tǒng)的迅速發(fā)展和廣泛應用導致了空間多源數據的產生,給數據的集成和信息共享帶來不便。不同數據源,不同數據精度和不同數據模型的地理數據融合理論與方法的研究,對于降低地理數據的生產成本,加快現有地理信息更新速度,提高地理數據質量有著重要的現實意義。系統(tǒng)采用ArcGIS平臺作為一張圖索引,逐步構建多元素煤炭地質專題圖,并結合MapGIS技術展現不同數據源、不同數據精度的矢量圖件。既保證系統(tǒng)的高擴展性,也保證現有成果數據的快速應用。
系統(tǒng)總體構架分為硬件層、軟件層、數據層、系統(tǒng)操作層、應用平臺層五個層次。硬件層作為基礎設施和安全保障,主要包括系統(tǒng)應用服務器、文件服務器、數據庫服務器、存儲設備及光貓、VPN防火墻、交換機等網絡設施;軟件層為數據的存儲、管理、調用等提供基礎軟件平臺,包括Windows服務器版操作系統(tǒng)、ArcGIS/MapGIS地理信息系統(tǒng)、Oracle關系型數據庫管理系統(tǒng)、MongoDB文件管理系統(tǒng);數據層,是系統(tǒng)管理和應用的對象,是提供各項信息服務的基礎。主要包括地勘成果類數據、煤炭資源信息類數據、空間數據、索引目錄數據、系統(tǒng)管理數據等等;系統(tǒng)操作層,主要是針對數據管理、維護、提取、調用而設計的功能模塊的集成;應用平臺層,是系統(tǒng)面向社會提供網絡化服務的窗口。圖1為煤炭地質信息服務系統(tǒng)總體架構。
圖1 煤炭地質信息服務系統(tǒng)總體架構
煤炭地質信息主要包括:由煤炭地質勘查成果資料文、圖、表組成的電子文件;結構化資源信息數據表;由地質圖形和屬性數據組成的空間數據;由文件索引目錄組成的二維數據表;系統(tǒng)管理數據和用戶數據等。本文重點探討成果資料文、圖、表組成的電子文件及其索引目錄的數據管理模型。
依據成果資料的管理結構,建立項目和文件兩級成果資料信息索引目錄,對實體資料和電子文件進行統(tǒng)一管理和檢索;采用信息編碼控制,確保項目和文件目錄的唯一性;采用MongoDB管理電子文件,與文件目錄一一對應,通過目錄檢索調用電子文件實體。圖2為數據管理結構。
圖2中的文件目錄信息編碼與MongoDB中的電子文件GUID碼一一對應。其中:項目信息編碼=國家編碼+省份編碼+專業(yè)編碼+項目順序號;文件信息編碼=國家編碼+省份編碼+專業(yè)編碼+項目順序號+文件順序號。
煤炭地質信息索引目錄數據庫是管理、檢索、調閱實體資料和電子文件的重要依據和參考信息。主要包括項目級目錄數據庫(主索引表)、文件級目錄數據庫(子索引表)及相應的地勘成果屬性表、地勘報告內容摘錄表、綜合文件屬性表。圖3為目錄數據表邏輯關系圖。
圖2 煤炭地質信息數據管理結構
圖3 目錄數據表邏輯關系
主索引表為項目目錄數據,子索引表為項目內的文件目錄數據。每個項目由多個或上千個具體的文件組成,系統(tǒng)給每個文件一個唯一的信息編碼,與電子文件一一對應,以便管理、檢索和調閱。索引表描述的是基礎信息,屬性表描述的是管理信息和內容信息,摘錄表就項目的主要內容和指標進行了描述,有助于閱者對項目的理解,做出信息利用決策。
為了便于電子文件的在線瀏覽,將文、圖、表不同格式的文件統(tǒng)一轉換pdf格式,以pdf文件格式提供在線閱覽。對于非公開提供的文件,則提供pdf格式的文件快照,作為文件的簡介性信息。將多文件組成的原始文件壓縮成單文件保存?zhèn)溆?。?為入庫前提交電子文件的存儲目錄表,表2為提取數據時輸出電子文件的存儲目錄表。
表1 提交電子文件存儲目錄表
表2 輸出電子文件存儲目錄表
表1中的一級目錄“信息類別”為館藏資料大類,地勘類的代碼為“DK”;二~四級目錄為信息編碼基本組成項;五級目錄為項目題名;六級為文件題名;七級為文件類型,八級為具體提供利用的源文件電子文件名,入庫時源文件被存入MongoDB。表2中的二~六級目錄為對應的信息編碼代碼項,八級為MongoDB給出的GUID碼構成的電子文件名,與信息編碼一一對應。
基于信息安全考慮,煤炭地質信息服務系統(tǒng)的數據采集、管理和服務應分別建立三個相對獨立的子系統(tǒng)。
數據采集工具是基于單機運行的獨立軟件,用于異地采集煤炭地質信息目錄數據和電子文件。所采集的數據首先要提交服務器審核,審核通過后才能順利導入服務器,避免對服務器數據的誤操作。
數據采集工具的應用使匯交資料的信息采集工作由資料管理人員前移到資料匯交人。由于資料匯交人對資料的內容掌握較好,采集的數據更加準確,增加了采集數據的完備性和準確性。
煤炭資源信息綜合管理系統(tǒng)在內部局域網運行,主要完成煤炭資源信息數據的集成、管理與到館查閱以及網絡化服務平臺信息的提取。系統(tǒng)主要功能包含多元數據的匯集、數據管理、成果查閱、信息查閱、數據統(tǒng)計、系統(tǒng)管理、數據提取、用戶授權與利用管理等功能。由于成果資料電子文件與數據表和空間數據的管理、檢索方式不同,系統(tǒng)將數據的查閱分為成果查閱和信息查閱。成果查閱主要是通過對目錄數據的檢索調用電子文件在線閱覽,或根據檢索結果進入實體庫房調閱實體資料;信息檢索主要是針對煤炭資源信息表和空間數據庫進行在線查閱。圖4為煤炭資源信息綜合管理系統(tǒng)工作流程。系統(tǒng)為數據操作用戶、成果查閱用戶、信息查閱用戶、系統(tǒng)管理用戶設置了不同的操作權限。
在互聯網思維模式的影響下,我們的生活、學習、工作、社交模式都在發(fā)生著巨大的變化,互聯網與各行業(yè)的融合度逐步加深,網絡已成為人類社會不可或缺的生存手段[9-10],提供網絡化的煤炭地質信息服務已成為必然。
煤炭資源信息網絡化服務平臺建設目標是基于互聯網提供煤炭資源信息的在線查詢、瀏覽、數據下載、信息產品訂單提交以及信息產品定制服務的線下交付服務。主要包括信息服務網站和后臺管理2個子系統(tǒng)。圖5為信息服務網站的主要功能模塊。
網絡化服務平臺提供服務的信息數據來源是按照一定的信息提取策略從運行于內部局域網的煤炭資源信息綜合管理系統(tǒng)中提取。主要包括煤炭地質資料目錄、摘要信息和電子文件,相關技術規(guī)范、圖集、專題服務產品、重要學術論文、專業(yè)圖書等等。
硬件環(huán)境是信息服務系統(tǒng)正常運轉的基礎保障,包括服務器、盤塔、移動存儲設備、異地存儲器、數據處理工作站、客戶機、網絡連接件、防火墻等。分內網環(huán)境和外網環(huán)境,內外網完全物理隔離,外網通過移動設備從內網提取數據。磁盤陣列用于常規(guī)性備份,移動存儲設備用于異地災備。圖6為硬件基礎環(huán)境拓撲結構。
煤炭地質信息服務系統(tǒng)的建設為煤炭地質信息的積累、匯集和共享提供了平臺,從而減少電子信息資源的流失,推動煤炭地質信息數字資源的持續(xù)增長,為數據的整合、挖掘、重構,實現煤炭地質信息數據的有效利用和增值,構建煤炭地質成果大數據體系,提升煤炭地質信息服務的深度和廣度,提高煤炭地質資料的信息化服務水平奠定了基礎。
圖4 煤炭資源信息綜合管理系統(tǒng)工作流程
圖5 煤炭資源網絡化服務平臺主要功能結構
圖6 硬件基礎環(huán)境拓撲結構
煤炭地質信息的網絡化服務邁出了煤炭地質信息服務現代化、專業(yè)化、社會化的第一步,有利于優(yōu)化煤炭地質信息服務結構,發(fā)揮行業(yè)地質信息服務在社會經濟發(fā)展中的作用。
[1] 郭月梅.煤炭地質檔案資料目錄數據庫的建立及對潛在地質信息的挖掘[J].中國煤炭地質,2004,16(1):62-64.
[2] 中國煤炭地質總局.中國煤炭資源賦存規(guī)律與資源評價[M].北京:科學出版社,2016.
[3] 譚永杰.打開地質信息服務的大門——談新形勢下如何推進我國地質資料服務工作[N].中國國土資源報.2017-02-16.
[4] 樂嘉昂.“互聯網+”背景下政府管理的挑戰(zhàn)與應對[J].華東科技,2016(8):63-65.
[5] 鄭嘯,李景朝,王翔,等.大數據背景下的國家地質信息服務系統(tǒng)建設[J].地質通報,2015,34(7):1316-1322.
[6] 蔣玲.基于oracl的旅行社管理系統(tǒng)的設計及實現[D].成都:電子科技大學,2013.
[7] 安雪菡.地理信息與智慧生活[M].廣州:廣東省地圖出版社,2012.
[8] 張廣弟.分布式環(huán)境下海量空間數據的存儲和并行查詢技術研究[D].贛州:江西理工大學,2014.
[9] 張桂濤,程愛國,袁同星,等.全國煤炭資源信息系統(tǒng)研究[J].中國煤炭地質,2014,26(5):68-72.
[10] 楊永川.淺議網絡時代的檔案信息管理[J].遼寧行政學院學報,2013(3):175-176.