楊興科,苗霖田,2,段中會,李 梅,崔浩源,呂婷婷,張建軍
(1.國土資源部煤炭資源勘查與綜合利用重點實驗室,西安 710021;2.西安科技大學(xué) 地質(zhì)與環(huán)境學(xué)院,西安 710054;3.北京大學(xué)遙感與地理信息系統(tǒng)研究所,北京 100871;4.北京龍軟科技股份有限公司,北京 100190)
隨著“互聯(lián)網(wǎng)+”時代的信息與數(shù)據(jù)快速增長,云計算、大數(shù)據(jù)等現(xiàn)代IT技術(shù)突飛猛進的發(fā)展,各行業(yè)迎來了前所未有的發(fā)展機遇與挑戰(zhàn),地質(zhì)行業(yè)也不例外。地質(zhì)科研機構(gòu)和諸多學(xué)者從不同角度不同目標(biāo)開展了大量研究與實踐工作。中國地質(zhì)調(diào)查局建成地質(zhì)云[1-2],系統(tǒng)研究了地質(zhì)數(shù)據(jù)的特征與存儲管理關(guān)鍵技術(shù)[3-4],深入探索了大數(shù)據(jù)支撐下的地質(zhì)云框架構(gòu)建以及我國地質(zhì)調(diào)查工作中的物聯(lián)網(wǎng)、云計算的應(yīng)用,提出未來地質(zhì)調(diào)查工作中數(shù)據(jù)采集、地質(zhì)大數(shù)據(jù)分析、地質(zhì)云計算服務(wù)設(shè)想與發(fā)展愿景[5-6]。關(guān)于煤礦工作中物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能等高新技術(shù)的應(yīng)用方面,盧新民[7]研究了礦山物聯(lián)網(wǎng)中云計算平臺建設(shè)架構(gòu)與關(guān)鍵技術(shù)、服務(wù)方式及其地位作用;武強[8]院士團隊采用混合云架構(gòu)方式建設(shè)了礦井水害智慧應(yīng)急救援服務(wù)體系;袁亮[9-10]院士結(jié)合煤炭精準(zhǔn)開采科學(xué)構(gòu)想詳細(xì)論述了物聯(lián)網(wǎng)的內(nèi)涵及關(guān)鍵技術(shù)架構(gòu),并指出要實現(xiàn)人工智能開采與災(zāi)害防控一體化的采礦新模式需要攻克的七項技術(shù)難題;毛善君[11]設(shè)計了基于云平臺的煤礦監(jiān)測數(shù)據(jù)可視化計算系統(tǒng);李樹剛[12]等針對煤礦應(yīng)急管理海量多源多元異構(gòu)動態(tài)數(shù)據(jù)的存儲管理,設(shè)計了基于非關(guān)系型數(shù)據(jù)庫-NoSQL,以滿足煤礦應(yīng)急云計算的運行需求。上述研究成果無疑提高了我國地質(zhì)工作與煤礦安全生產(chǎn)水平,促進了現(xiàn)代IT技術(shù)在地質(zhì)采礦業(yè)的應(yīng)用發(fā)展??梢?,在煤炭地質(zhì)行業(yè)云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的研究與應(yīng)用越來越受到學(xué)者的關(guān)注與重視。然而,各行業(yè)對云計算大數(shù)據(jù)技術(shù)廣泛應(yīng)用的背景下,專門針對煤炭地質(zhì)與煤礦地質(zhì)保障工作的云服務(wù)平臺與在線地圖服務(wù)方面鮮見報道,目前煤炭地質(zhì)“信息孤島”問題依舊沒有解決?;诖?,國土資源部煤炭資源勘查與綜合利用重點實驗室設(shè)計并建成煤炭地質(zhì)云(Coal Geology Cloud-CGC),其中應(yīng)用了在線地圖服務(wù)技術(shù),滿足用戶在任意互聯(lián)網(wǎng)終端通過煤炭地質(zhì)云(CGC)服務(wù)平臺的地圖服務(wù)功能查閱各煤田、礦區(qū)、井田(勘查區(qū))、煤礦的邊界劃分和行政隸屬等基礎(chǔ)信息,且可根據(jù)用戶需求自主建設(shè)屬于用戶本身的私密專題地圖。
煤炭地質(zhì)云(CGC)是以“互聯(lián)網(wǎng)+”理念為指導(dǎo),采用Openstack云計算框架和開放地理空間信息聯(lián)盟(Open Geospatial Consortium-OGC)標(biāo)準(zhǔn)、煤炭地質(zhì)大數(shù)據(jù)分析等關(guān)鍵技術(shù)的“互聯(lián)網(wǎng)+煤炭地質(zhì)”云服務(wù)平臺。系統(tǒng)架構(gòu)遵循云平臺的技術(shù)體系,采用虛擬化、彈性化、服務(wù)化的設(shè)計思想,基于時空信息數(shù)據(jù)庫的數(shù)據(jù)模型,按照“3+1”模式架構(gòu)體系進行設(shè)計,包括“基礎(chǔ)設(shè)施即服務(wù)”(Infrastructure as a Service - IaaS),“平臺即服務(wù)”( Platform as a Service - PaaS)和“軟件即服務(wù)”(Software as a Service-SaaS)3個層次和客戶端(Client)1個客戶端層,如圖1。并通過貫穿多個層次的管理與調(diào)度系統(tǒng)實現(xiàn)各層之間的協(xié)同工作。實現(xiàn)平臺的應(yīng)用集成,為各類業(yè)務(wù)應(yīng)用提供數(shù)據(jù)資源服務(wù)和功能服務(wù)。在線地圖服務(wù)處在整個系統(tǒng)架構(gòu)的軟件及服務(wù)(SaaS)層。
圖1 煤炭地質(zhì)云系統(tǒng)架構(gòu)
①基于“一張圖”管理思路[13],實現(xiàn)煤炭地質(zhì)信息云服務(wù)技術(shù),包括基于天地影像圖的CGC導(dǎo)航、煤炭地質(zhì)服務(wù)、煤炭軟件服務(wù)、設(shè)備儀器服務(wù)、資訊發(fā)布服務(wù)、煤炭地質(zhì)資料共享等,并在云平臺上集成煤礦安全、生產(chǎn)、管理有關(guān)數(shù)據(jù)。
②利用云服務(wù)強大的數(shù)據(jù)庫和多數(shù)據(jù)源發(fā)布的特點,借助于數(shù)據(jù)分層管理和各級空間查詢及條件組合查詢,實現(xiàn)對各煤田、礦區(qū)、各井田(勘查區(qū))及各級行政區(qū)內(nèi)煤礦的地質(zhì)信息等多源異構(gòu)數(shù)據(jù)的靜態(tài)與動態(tài)的存儲、識別、查詢、分析、處理,為煤田儲量管理、煤炭資源勘查開發(fā)程度管理、煤炭資源開發(fā)利用合理規(guī)劃、礦井地質(zhì)災(zāi)害預(yù)測預(yù)警、煤礦地質(zhì)保障、煤質(zhì)管理、管理等提供在線服務(wù)。為煤炭管理和生產(chǎn)提供數(shù)據(jù)的Web發(fā)布和地圖服務(wù)功能,面向煤炭管理部門和煤炭企業(yè)提供煤炭地質(zhì)綜合信息服務(wù)。管理部門即可通過煤炭地質(zhì)云,方便快捷地獲取各類煤田和煤礦地質(zhì)信息,享受更為方便快捷的地質(zhì)信息服務(wù)。
③CGC導(dǎo)航是煤炭地質(zhì)云服務(wù)平臺上基于天地圖的一個支持無門檻查詢與權(quán)限建立“我的地圖”的在線地圖服務(wù)模塊。用戶在此模塊上查找與煤炭地質(zhì)相關(guān)的高校、科研院所、管理部門、技術(shù)支持、工程實施等單位的基本信息,注冊用戶也可在此頁面自助建立“我的地圖”,無需后臺操作和后臺審批?!拔业牡貓D”上可以自由不限量加載個體信息。加載信息量大時,可邀請其他注冊用戶作為好友組建“我的群組”,組內(nèi)好友在不同終端協(xié)同完成,加載內(nèi)容自動保存在云數(shù)據(jù)庫中,供該用戶隨時隨地調(diào)用、修改、添加與刪除,協(xié)同工作不受時空限制。
煤炭地質(zhì)數(shù)據(jù)從形態(tài)上可分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。靜態(tài)數(shù)據(jù)就是煤田地質(zhì)勘查階段獲取的鉆孔、測井、地震勘探信息及地層、煤層、構(gòu)造、礦權(quán)范圍等數(shù)據(jù);動態(tài)數(shù)據(jù)就是煤礦生產(chǎn)階段不斷采集到的各種隨著時間變化與采礦活動的推進而變化的煤炭地質(zhì)數(shù)據(jù),如瓦斯含量、礦壓、儲量、涌水量、冒裂帶高度、采空區(qū)面積、音頻、視頻、圖像等數(shù)據(jù),而且這些數(shù)據(jù)隨生產(chǎn)會不斷變化與新增。這些海量多源異構(gòu)動態(tài)的煤炭地質(zhì)數(shù)據(jù)的采集、存儲與分析處理客觀上需要有彈性化和虛擬化相結(jié)合來滿足。
對于靜態(tài)數(shù)據(jù)而言大多為結(jié)構(gòu)化數(shù)據(jù),而且是已有數(shù)據(jù)。這類數(shù)據(jù)本身經(jīng)過工程質(zhì)量驗收,其可靠性毋庸置疑。在采集時可以直接導(dǎo)入數(shù)據(jù)庫。
對于動態(tài)數(shù)據(jù)而言有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在推行“智能+”的今天,煤礦建設(shè)和生產(chǎn)離不開各種智能傳感器和整個煤礦物聯(lián)網(wǎng)系統(tǒng)。部分動態(tài)數(shù)據(jù)依賴于各種智能傳感器直接采集,例如瓦斯含量、礦壓、涌水量、音頻、視頻、圖像等數(shù)據(jù),其它數(shù)據(jù)還需要相關(guān)功能模塊利用已有數(shù)據(jù)分析計算后得出并存入數(shù)據(jù)庫中,例如儲量、冒裂帶高度、采空區(qū)面積等。直接采集的數(shù)據(jù)都要經(jīng)過煤礦物聯(lián)網(wǎng)系統(tǒng)的感知、識別、過濾、傳輸、存儲、計算、分析等步驟來保障數(shù)據(jù)的可靠性。為了避免重復(fù)數(shù)據(jù)采集,在數(shù)據(jù)的存儲管理方面采用支持“多源”數(shù)據(jù)集成空間大數(shù)據(jù)引擎。
煤炭地質(zhì)云平臺建設(shè)采用Openstack塊存儲和SQLServer數(shù)據(jù)庫分布式存儲,并通過空間數(shù)據(jù)引擎(Spatial Database Engine-SDE)提供接口訪問,即可實現(xiàn)存儲空間的擴容。
①Cinder塊存儲。Cinder是Openstak對塊存儲的實現(xiàn),塊存儲服務(wù)主要是為虛擬機提供彈性存儲服務(wù),是存儲虛擬機鏡像文件及虛擬機使用的數(shù)據(jù)的基礎(chǔ)[14]。Cinder接口提供了標(biāo)準(zhǔn)功能,允許用戶創(chuàng)建和附加塊設(shè)備到虛擬機,如“創(chuàng)建卷”,“刪除卷”和“附加卷”。支持?jǐn)U容,快照和創(chuàng)建虛擬機鏡像克隆。地圖文件利用OpenStack Cinder組件塊存儲,實現(xiàn)彈性存儲。當(dāng)前資源不夠時,SDE底層調(diào)用動態(tài)創(chuàng)建Cinder并鏈接到資源空閑云主機。
②主數(shù)據(jù)。在GIS中用來定義幾何對象、圖層信息、屬性信息等,具有持續(xù)性、非易變類型的數(shù)據(jù)。相對于操作類型數(shù)據(jù),主數(shù)據(jù)是相對穩(wěn)定的數(shù)據(jù)。地圖數(shù)據(jù)索引被存放在主數(shù)據(jù)中,如:幾何實體ID索引、屬性ID索引、地圖索引、拓?fù)潢P(guān)系等。
③元數(shù)據(jù)。元數(shù)據(jù)又稱中介數(shù)據(jù)、中繼數(shù)據(jù),為描述數(shù)據(jù)的數(shù)據(jù),主要是描述數(shù)據(jù)屬性的信息,用來支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。元數(shù)據(jù)主要用來存放地圖增長較大的數(shù)據(jù)[15],比如幾何數(shù)據(jù),變更數(shù)據(jù),屬性數(shù)據(jù),資源緊張時,SDE調(diào)用創(chuàng)建云主機接口,創(chuàng)建載有SQLServer云主機存放未來需要入庫的數(shù)據(jù)[16]。
近年來,隨著面向服務(wù)軟件架構(gòu)(Service-Oriented Architecture-SOA)的盛行,GIS軟件的部署也逐步從桌面客戶端向服務(wù)端遷移,促使原本用于地圖發(fā)布的WebGIS網(wǎng)絡(luò)平臺向更高級的應(yīng)用升級,從而形成目前的Service GIS軟件平臺。
ServiceGIS平臺將GIS功能的實現(xiàn)由客戶端轉(zhuǎn)移到了服務(wù)器端,以Web接口的形式提供GIS功能,使基于各種平臺發(fā)布出來的GIS功能提供形式無差別,便于客戶端開發(fā)使用。Service GIS平臺是在線地圖服務(wù)的核心技術(shù),也是煤炭地質(zhì)云(CGC)的特殊模塊組件。將服務(wù)式GIS技術(shù)引入到煤炭地質(zhì)行業(yè),在桌面GIS產(chǎn)品的基礎(chǔ)上,積極開展煤炭地質(zhì)服務(wù)式GIS研究,不斷將桌面煤礦GIS數(shù)據(jù)管理、空間分析、專業(yè)計算等功能,應(yīng)用到計算能力更強大的服務(wù)器、計算云等設(shè)施上,將煤礦GIS產(chǎn)品的優(yōu)勢不斷放大,從而形成煤炭地質(zhì)云(CGC)的特色功能。
服務(wù)GIS平臺一般包括:Web服務(wù)層、GIS服務(wù)層、數(shù)據(jù)服務(wù)層三層架構(gòu)[17]。如圖2所示。
圖2 煤炭地質(zhì)服務(wù)GIS平臺體系架構(gòu)
這種三層架構(gòu)首先實現(xiàn)具體的GIS功能實體,再次通過第二層次的模塊將GIS功能實體封裝為粗粒度的組件,在功能實體與第二層的GIS服務(wù)組件以及iServer服務(wù)與客戶端之間都是通過接口層規(guī)定的標(biāo)準(zhǔn)接口進行交互。在每層中都相應(yīng)提供一系列的模塊,他們之間具有松耦合關(guān)系。在服務(wù)框架中通過服務(wù)管理模塊將三個層次中具有對應(yīng)關(guān)系的模塊進行集成,構(gòu)建一系列的GIS 服務(wù)。
3.2.1 GIS內(nèi)核開發(fā)及平臺封裝
同時面向桌面平臺、服務(wù)平臺、移動平臺的GIS內(nèi)核相比純粹的桌面產(chǎn)品開發(fā)具有更高的要求。一方面,由于服務(wù)平臺的應(yīng)用環(huán)境Linux/Unix占了很大比重,同時還要考慮移動版的Android、IOS等操作系統(tǒng),因此內(nèi)核層就面向“跨平臺”的需求;另一方面,服務(wù)器環(huán)境下為了提高性能,原生“支持64位”已成主流;再一方面,云計算環(huán)境下,支持“虛擬化”也是必然的需求,故GIS內(nèi)核開發(fā)已成為必然。
3.2.2 GIS服務(wù)器開發(fā)
GIS服務(wù)器是在服務(wù)端完成各種應(yīng)用服務(wù)請求的具體執(zhí)行者,例如地圖可視化繪制、數(shù)據(jù)查詢、執(zhí)行操作命令以及其他所有開放的服務(wù)接口類型。GIS服務(wù)器可以是一臺物理的服務(wù)器,也可以是許許多多共同工作的、物理上分布式部署的服務(wù)器。這些服務(wù)器訪問相同的數(shù)據(jù)和應(yīng)用處理配置,可以根據(jù)服務(wù)器的訪問壓力、動態(tài),自由的調(diào)整服務(wù)器端的部署。
通常,在云計算環(huán)境下,GIS服務(wù)器都是以集群的形式存在和部署,從而真正做到“按需使用、按需分配”,并通過冗余保證運行的安全性、穩(wěn)定性。
3.2.3 Web服務(wù)器開發(fā)
Web服務(wù)器部署在GIS服務(wù)器的前端,一方面負(fù)責(zé)將GIS服務(wù)器調(diào)配、集成到現(xiàn)有的服務(wù)器環(huán)境下;另一方面負(fù)責(zé)提供負(fù)載均衡、額外的安全控制等機制,在用戶和GIS服務(wù)器之間搭起交互的渠道,并提高GIS服務(wù)器的適應(yīng)性,不需要考慮部署環(huán)境是IIS、Apache、WebSphere、WebLogic等類型。
3.2.4 客戶端開發(fā)
一般而言,客戶并不關(guān)心GIS服務(wù)器的后臺,而更關(guān)心客戶端使用的體驗。搭建好GIS服務(wù)平臺后,提供各類訪問客戶端也是非常重要的一環(huán)。從目前主流的訪問環(huán)境看,客戶端包括:PC桌面客戶端、Web瀏覽器端、移動端。
煤炭地質(zhì)圖的來源是煤田地質(zhì)勘查與煤礦生產(chǎn)的時空數(shù)據(jù),如地質(zhì)、勘探、測量、水文、儲量等各環(huán)節(jié)信息,盡管各地質(zhì)圖之間的數(shù)據(jù)有很大不同,但基礎(chǔ)礦井?dāng)?shù)據(jù)與圖層數(shù)據(jù)是完全相同的。同時,地質(zhì)數(shù)據(jù)具有數(shù)據(jù)量大、更新快、來源多的特點。系統(tǒng)需要解決以地測空間數(shù)據(jù)為核心的海量煤礦空間數(shù)據(jù)的一體化管理問題,達到各子系統(tǒng)之間的方便、快捷的信息共享目的,構(gòu)建結(jié)構(gòu)先進的專業(yè)煤礦GIS網(wǎng)絡(luò)服務(wù)平臺,實現(xiàn)礦井圖形數(shù)據(jù)的在線瀏覽、編輯及多方協(xié)同工作等。
3.3.1 統(tǒng)一數(shù)據(jù)庫的空間數(shù)據(jù)存儲平臺
基于網(wǎng)絡(luò)化、協(xié)同化的系統(tǒng)應(yīng)用需要,開發(fā)實現(xiàn)多源數(shù)據(jù)集成的煤炭地質(zhì)GIS空間數(shù)據(jù)引擎,建立統(tǒng)一數(shù)據(jù)庫存儲的空間數(shù)據(jù)存儲、服務(wù)平臺,支持多專業(yè)、多部門的數(shù)據(jù)訪問、存儲需要,并保證數(shù)據(jù)的完整性、一致性。
3.3.2 面向服務(wù)架構(gòu)的煤炭地質(zhì)服務(wù)GIS平臺
煤炭地質(zhì)云服務(wù)GIS平臺不同于早期的WebGIS。WebGIS主要面向網(wǎng)絡(luò)環(huán)境下地圖的發(fā)布。煤炭地質(zhì)云服務(wù)GIS除了可以發(fā)布網(wǎng)絡(luò)地圖外,更多的是一個網(wǎng)絡(luò)化的GIS軟件平臺,讓用戶能夠通過網(wǎng)絡(luò)創(chuàng)建、管理和分發(fā)GIS服務(wù),包括數(shù)據(jù)瀏覽、查詢、多人協(xié)同修改等高級需求,以服務(wù)的形式支撐煤礦生產(chǎn)技術(shù)桌面軟件應(yīng)用,網(wǎng)絡(luò)圖形應(yīng)用等各種應(yīng)用模式。
3.3.3 Web地圖服務(wù)
Web地圖服務(wù)(WMS)利用具有地理空間位置信息的數(shù)據(jù)制作地圖,能夠根據(jù)用戶的請求返回相應(yīng)的地圖(包括PNG,GIF,JPEG等柵格形式或者是SVG和WEB CGM等矢量形式)。WMS支持網(wǎng)絡(luò)協(xié)議HTTP,所支持的操作是由URL定義的。根據(jù)OGC規(guī)范,地圖服務(wù)是專門提供共享地圖數(shù)據(jù)的服務(wù),負(fù)責(zé)根據(jù)客戶程序的請求,提供地圖圖像、指定坐標(biāo)點的要素信息,以及地圖服務(wù)的功能說明信息。地圖服務(wù)發(fā)布技術(shù)是將地理信息服務(wù)于云平臺深度融合的產(chǎn)物,充分發(fā)揮云計算平臺對彈性計算、海量空間數(shù)據(jù)存儲管理的能力。
3.3.4 地圖服務(wù)應(yīng)用
煤炭地質(zhì)云(CGC)中的“CGC導(dǎo)航”和“煤炭管理”應(yīng)用了在線地圖服務(wù)技術(shù)。“CGC導(dǎo)航”中的基礎(chǔ)服務(wù)正是基于統(tǒng)一的數(shù)據(jù)庫選取用戶所需要的單位信息,并以天地圖為底圖的在線地圖服務(wù),如圖3。而“我的地圖”則是應(yīng)用了多人協(xié)同從前臺創(chuàng)建項目和輸入數(shù)據(jù),數(shù)據(jù)實時進入統(tǒng)一的數(shù)據(jù)庫,客戶可以在后臺任意終端登錄賬戶即可調(diào)用,系統(tǒng)自動實時讀取數(shù)據(jù)庫。應(yīng)用了網(wǎng)絡(luò)化的GIS平臺,通過網(wǎng)絡(luò)創(chuàng)建和分發(fā)GIS服務(wù)功能。“煤炭管理”是以強大的GIS服務(wù)后臺為支撐,基于Web應(yīng)用的圖形實現(xiàn)煤炭資源勘查開發(fā)的網(wǎng)絡(luò)瀏覽、查詢,以及多方在線修改功能,如圖4。對于多方協(xié)同修改可能引起的數(shù)據(jù)沖突、不一致等問題,建立了服務(wù)端權(quán)限控制、版本管理機制,使圖形數(shù)據(jù)最終可以合并成統(tǒng)一的最新版本供各方使用。
圖3 CGC導(dǎo)航地圖服務(wù)界面
圖4 煤炭資源在線地圖查詢界面
上述地圖服務(wù)功能都是將地圖部署在Web服務(wù)器上,所有操作都是通過互聯(lián)網(wǎng)直接訪問服務(wù)器而實現(xiàn)在線地圖服務(wù)。
①研發(fā)了“互聯(lián)網(wǎng)+煤炭地質(zhì)”云服務(wù)平臺,實現(xiàn)了海量多源異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的彈性化和虛擬化的存儲分析。
②將service GIS技術(shù)引入到煤炭地質(zhì)行業(yè),實現(xiàn)了煤礦GIS數(shù)據(jù)管理、空間分析、專業(yè)計算遷到云服務(wù)器上。
③面向服務(wù)架構(gòu)的煤炭地質(zhì)地圖服務(wù),為煤炭管理和生產(chǎn)提供數(shù)據(jù)的WEB發(fā)布和地圖服務(wù);支持用戶查詢和自主建設(shè)“我的地圖”。