馮 斌， 吳文鸝， 王永志， 梁 萌， 郭盈宇, 陳小紅

(1．中國地質(zhì)科學院 地球物理地球化學勘查研究所，廊坊 065000； 2．吉林大學 儀器科學與電氣工程學院，長春 130061；3. 北京超維創(chuàng)想信息技術(shù)有限公司，北京 100086)

0 引言

物化探數(shù)據(jù)與其他地質(zhì)調(diào)查專業(yè)數(shù)據(jù)相比，有著數(shù)據(jù)類型繁多、格式復雜和數(shù)據(jù)量大等特點[2]。隨著地質(zhì)調(diào)查工作的不斷開展、數(shù)據(jù)采集技術(shù)的不斷進步，原有的物化探數(shù)據(jù)管理、應用與服務，也面臨著新的需求，主要表現(xiàn)在：

1)多源異構(gòu)物化探數(shù)據(jù)管理的需求。物化探工作手段多樣，儀器種類龐雜，存儲格式各異，數(shù)據(jù)存在很多異構(gòu)的問題，如何滿足結(jié)構(gòu)化和非結(jié)構(gòu)化的存儲和管理成為亟待解決的問題。

2)海量物化探數(shù)據(jù)高效存儲的需求。隨著業(yè)務的不斷開展，數(shù)據(jù)的不斷累積，傳統(tǒng)的單機版服務器所能提供的有限資源往往不能滿足數(shù)據(jù)存儲的要求。

3)物化探資料挖掘與二次開發(fā)利用的需求。隨著物化探資料的不斷積累，形成了大規(guī)模的數(shù)據(jù)集，這些資料如果不進行深度開發(fā)和利用，其潛在的價值就無法被挖掘出來。

4)物化探信息服務的需求。物化探數(shù)據(jù)種類繁多、數(shù)據(jù)量增長迅速、應用復雜，給物化探信息的共享和服務提出新挑戰(zhàn)[3]。

云計算技術(shù)作為目前最新的高性能計算技術(shù)，具有成本靈活可控、資源利用率高、彈性計算和存儲等多方面優(yōu)點，使其在存儲、處理復雜結(jié)構(gòu)的數(shù)據(jù)時具有較大的優(yōu)勢[4]。中國地質(zhì)調(diào)查局于2017年初啟動了“地質(zhì)云”建設，旨在依托云計算、互聯(lián)網(wǎng)+、大數(shù)據(jù)等信息技術(shù)，消除數(shù)字鴻溝，整合共享數(shù)據(jù)資源，建成國內(nèi)權(quán)威的地質(zhì)大數(shù)據(jù)中心和“地質(zhì)云”服務平臺體系，實現(xiàn)地質(zhì)信息的開放與共享。物化探數(shù)據(jù)作為地質(zhì)大數(shù)據(jù)的重要內(nèi)容，是“地質(zhì)云”建設不可缺少的一部分。

參照組使用基礎護理,保持患者的病室干凈整潔,定期消毒,提供心理護理,實驗組除了以上的護理內(nèi)容還增加了優(yōu)質(zhì)護理,主要有以下一些護理內(nèi)容:①對傳統(tǒng)護理觀念進行轉(zhuǎn)變。對護理人員進行要求,以人為本,加強護理人員的健康培訓,建立以患者為中心的護理思想,和患者溝通交流,了解患者的需求[3]。②保為患者提供舒適安靜的治療和護理環(huán)境。③強化責任護理以及優(yōu)質(zhì)護理。早班護理每組有 名護理人員,組內(nèi)護理工作3有組織分配,管理協(xié)調(diào),將護理計劃進行劃分,分層次和等級[4]。

為此筆者面向物化探數(shù)據(jù)管理和共享的應用需求，結(jié)合地質(zhì)云對專業(yè)節(jié)點建設的相關(guān)要求，在云計算框架下，對物化探信息服務系統(tǒng)進行了設計，實現(xiàn)了各類物化探數(shù)據(jù)的入庫、管理、檢索、GIS制圖、可視化、分析等應用服務。

1 物化探數(shù)據(jù)情況分析

依托地質(zhì)調(diào)查工作獲得了豐富的地球物理、地球化學勘查數(shù)據(jù)，根據(jù)調(diào)查和研究工作的階段不同，物化探數(shù)據(jù)又可以劃分為原始數(shù)據(jù)和產(chǎn)品。原始數(shù)據(jù)主要有地面物探數(shù)據(jù)(重力、瞬變電磁測深、大地電磁測深、磁測、地震)、航空物探數(shù)據(jù)(航磁、航電、航放)、物性數(shù)據(jù)(密度、磁化率、極化率、剩磁強度等)、地球物理測井數(shù)據(jù)、土地質(zhì)量地球化學數(shù)據(jù)及區(qū)域地球化學數(shù)據(jù)；對原始數(shù)據(jù)二次開發(fā)利用后形成的主要產(chǎn)品有物探基礎圖件(重力異常圖、重力推斷解釋圖、磁異常剖面圖、電阻率斷面圖、地球物理測井綜合圖、地震解釋剖面圖等)、化探基礎圖件(地球化學等值線圖、地球化學異常圖等)及成果報告。具體內(nèi)容及類型如圖1所示。在數(shù)據(jù)格式方面，有MapGIS和 ArcGIS 矢量數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫、SEG-Y、GRID、文檔和圖片等。

圖1 物化探數(shù)據(jù)分類Fig.1 The classification of geophysical-geochemical exploration data

圖2 物化探信息服務云架構(gòu)Fig.2 Cloud computing architecture of geophysical-geochemical exploration information platform

2 系統(tǒng)設計

2.1 物化探信息服務云架構(gòu)設計

根據(jù)“地質(zhì)云”節(jié)點建設的需求，以及對物化探數(shù)據(jù)情況的分析，物化探信息服務平臺的整個架構(gòu)層次從底向上分為基礎設施即服務層(IaaS)、數(shù)據(jù)即服務層(DaaS)、平臺即服務層(PaaS)、軟件即服務層(SaaS)[5-7](圖2)。

1)IaaS層：負責提供基礎設施資源，包括計算資源、數(shù)據(jù)存儲資源和網(wǎng)絡資源。該層分為物理資源層和虛擬資源層。其中，物理資源層由服務器、存儲設備、網(wǎng)絡設備組成；虛擬資源層由操作系統(tǒng)內(nèi)核、虛擬機及虛擬化工具組成，通過虛擬化工具把物理資源層的物理設備變成統(tǒng)一的虛擬資源池，供上層服務調(diào)用[8]。

2)PaaS層：是指將軟件研發(fā)的平臺作為一種服務，為云應用提供開發(fā)、運行、管理和監(jiān)控的環(huán)境[9]，云平臺的用戶就可以申請這些計算單元用以部署和運行應用程序。

3)DaaS層：該層為數(shù)據(jù)中心，主要是結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲和管理，包括基礎地理、重磁電勘探數(shù)據(jù)、地震勘探數(shù)據(jù)、地球化學測試分析數(shù)據(jù)、成果圖件、專題報告等。

4)SaaS層：這層的作用是將產(chǎn)品和數(shù)據(jù)以基于Web的方式提供給用戶。

從用戶角度而言，這四層服務之間關(guān)系是獨立的，因為它們提供的服務是完全不同的，而且面對的用戶也不盡相同。但從技術(shù)角度而言，這四層之間的關(guān)系并不是獨立的，而是有一定依賴關(guān)系的，SaaS層的產(chǎn)品和服務不僅需要使用到SaaS層本身的技術(shù)，而且還依賴PaaS層所提供的開發(fā)和部署平臺或者直接部署于IaaS層所提供的計算資源上， PaaS層的服務是建立在DaaS層的數(shù)據(jù)和IaaS層的基礎設施服務之上的，同樣，DaaS層的構(gòu)建也依賴于IaaS層的基礎設施。

2.2 系統(tǒng)功能設計

建成后的系統(tǒng)應集數(shù)據(jù)入庫、管理、計算和共享服務于一體，具有對各類物化探數(shù)據(jù)的入庫、查詢、檢索、處理、審批、下載等功能，滿足現(xiàn)有數(shù)據(jù)管理需求，同時支持多用戶、多任務并發(fā)訪問，滿足不同用戶對數(shù)據(jù)資源的快速檢索需求。檢索方式包括目錄導航、關(guān)鍵詞查詢、地圖查詢等方式查詢自己所需要的資源。元數(shù)據(jù)搜索可提供語義匹配的關(guān)鍵詞搜索，元數(shù)據(jù)檢索支持基于工作程度、形成時間和資料類別的檢索與篩選功能，檢索結(jié)果以列表的形式呈現(xiàn)。地圖搜索提供多邊形查詢、關(guān)鍵詞語義匹配的元數(shù)據(jù)檢索功能，并以地圖空間可視化的方式呈現(xiàn)搜索結(jié)果的空間分布。系統(tǒng)可根據(jù)用戶搜索的情況，自動推薦相關(guān)數(shù)據(jù)資料信息。系統(tǒng)應能夠?qū)ξ锘綌?shù)據(jù)進行分布式計算處理，解決復雜算法對大內(nèi)存、大計算的計算需求。

2.3 數(shù)據(jù)存儲設計

數(shù)據(jù)層主要包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲，主要包括基礎地理、地震勘探、地面重磁電探測、航空物探數(shù)據(jù)(電、磁、放射性)、化探數(shù)據(jù)(巖石、水系沉積物、土壤)、文獻等數(shù)據(jù)的存儲。采用具有空間擴展的大型數(shù)據(jù)庫(Oracle、SQLServer)來存儲結(jié)構(gòu)化數(shù)據(jù)?？臻g矢量數(shù)據(jù)庫(ArcGIS、MapGIS)存儲各類地學數(shù)據(jù)矢量數(shù)據(jù)，采用NoSQL數(shù)據(jù)庫(HBase、MongoDB)保存非結(jié)構(gòu)化數(shù)據(jù)(文檔、圖件、原始地震數(shù)據(jù)SEG-Y)[10](圖3)。

圖3 數(shù)據(jù)存儲方式Fig.3 Data storage mode of platform

2.4 數(shù)據(jù)服務接口設計

數(shù)據(jù)服務構(gòu)建于數(shù)據(jù)庫之上，實現(xiàn)對數(shù)據(jù)庫的訪問，對外提供數(shù)據(jù)服務。數(shù)據(jù)服務與數(shù)據(jù)庫的關(guān)系，可以是一對一，也可以是多對一 (多個數(shù)據(jù)服務，單個數(shù)據(jù)庫)，還可以是多對一(一個數(shù)據(jù)服務，多個數(shù)據(jù)庫)，其適應范圍相當靈活。具體配置的選擇需要根據(jù)提供數(shù)據(jù)的規(guī)模和訪問要求進行靈活配置[11]。物化探信息服務按數(shù)據(jù)類型有空間數(shù)據(jù)服務、非空間數(shù)據(jù)服務；按網(wǎng)域范圍有內(nèi)部服務接口、外部服務接口；按接口技術(shù)分為WCF、WFS、WMS、WMTS等。表1列出了多級、各類服務接口列表。

3 系統(tǒng)實現(xiàn)

3.1 云計算中心基礎設施環(huán)境

本文搭建了物化探數(shù)據(jù)云計算中心的基礎設施環(huán)境，共配置了四臺服務器、一套存儲設備、一套云管軟件和網(wǎng)絡設備若干(交換機和防火墻等)，共同構(gòu)成了融合資源池的基礎架構(gòu)。其中兩臺服務器用于管理節(jié)點配置，兩臺服務器用于節(jié)點計算，存儲設備用于云存儲。云管軟件用于云平臺資源的虛擬化和資源管理，本次工作采用的云軟件為華為FusionSphere。通過云軟件，對計算、存儲、網(wǎng)絡等物理資源進行虛擬化，提供了統(tǒng)一的計算、存儲、網(wǎng)絡資源池，同時提供了本地的基礎運維能力，包括對本地基礎設施的告警、性能、拓撲和監(jiān)控等。

3.2數(shù)據(jù)服務系統(tǒng)

在云服務中心基礎設施環(huán)境的基礎上，開發(fā)和部署了基于C/S和B/S架構(gòu)的物化探數(shù)據(jù)服務系統(tǒng)。開發(fā)工作以Visual Studio 2010作為開發(fā)工具，基于.NET的Web Service編程實現(xiàn)；數(shù)據(jù)存儲采用ArcSDE空間數(shù)據(jù)引擎、SQLServer大型關(guān)系數(shù)據(jù)庫及NoSQL數(shù)據(jù)庫；地圖服務器采用ArcGIS Server，發(fā)布各類地圖服務到服務器，將所有的服務統(tǒng)一注冊到服務中心。B/S架構(gòu)的數(shù)據(jù)服務系統(tǒng)通過網(wǎng)絡瀏覽器提供基于電子地圖的空間數(shù)據(jù)服務。

瀏覽器端通過HTTP、SOAP等協(xié)議與云數(shù)據(jù)服務中心進行通信、交互，服務中心通過HTTP協(xié)議調(diào)用服務，將結(jié)果返回前端，瀏覽器端對服務調(diào)用返回的結(jié)果進行處理后以地圖、表格、文檔等多種形式顯示(圖4)；C/S架構(gòu)的數(shù)據(jù)管理客戶端為物化探數(shù)據(jù)提供了便捷、友好的數(shù)據(jù)錄入、編輯、自定制格式批量導入、數(shù)據(jù)查詢、可視化分析、統(tǒng)計和下載等功能, 使用戶能夠方便、快捷地將數(shù)據(jù)錄入到數(shù)據(jù)中心, 并且對數(shù)據(jù)進行檢索和共享(圖5)[19]。

表1 物化探信息服務接口列表Tab.1 Services lists of geophysical-geochemical exploration information

圖4 物化探數(shù)據(jù)服務界面Fig.4 Interface of geophysical-geochemical exploration data service

3.3 數(shù)據(jù)計算分析系統(tǒng)

在云計算中心環(huán)境的基礎上，使用虛擬化技術(shù)創(chuàng)建了12臺虛擬機(每臺24核處理器，64GB內(nèi)存)，基于容器技術(shù)(Docker)搭建了可實現(xiàn)并行計算所需的彈性虛擬化集群，并采用開源容器編排工具將地球物理并行程序部署在該集群上，實現(xiàn)了地球物理數(shù)據(jù)分布式計算系統(tǒng)[20]。

通過在分布式計算系統(tǒng)部署大地電磁法(MT)三維有限差分反演并行程序(圖6), 并用實測數(shù)據(jù)進行計算測試后，發(fā)現(xiàn)基于分布式多節(jié)點運行機制, 有效的提高了計算效率。解決了對大內(nèi)存、大計算的計算需求, 可為科研和調(diào)查提供支撐。

圖5 物化探數(shù)據(jù)管理界面Fig.5 Interface of geophysical-geochemical exploration data management

圖6 基于分布式計算集群的MT三維反演Fig.6 MT 3-D inversion software based on distributed computing cluster system

4 物化探數(shù)據(jù)服務系統(tǒng)關(guān)鍵技術(shù)

4.1 虛擬化技術(shù)和Docker

虛擬化是一種資源管理技術(shù)。它是將計算機的各種實體資源，如：服務器、網(wǎng)絡、內(nèi)存及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實體結(jié)構(gòu)間的不可切割的障礙，使用戶可以用更好的方式來利用這些資源[12]。虛擬化的目的是為了在同一個主機上運行多個系統(tǒng)或應用，從而提高系統(tǒng)資源的利用率，并帶來降低成本、方便管理和容錯容災等好處。本文搭建的物化探信息服務云平臺提供了基礎的計算、存儲和網(wǎng)絡虛擬化能力。通過虛擬化軟件(華為FusionSphere)，對計算、存儲、網(wǎng)絡等物理資源進行虛擬化，提供了統(tǒng)一的計算、存儲、網(wǎng)絡資源池。

從實現(xiàn)形式上虛擬化技術(shù)分為硬件虛擬化技術(shù)和軟件虛擬化技術(shù)。而Docker屬于軟件虛擬化技術(shù)中的操作系統(tǒng)層虛擬化技術(shù)，它是一個應用容器引擎，Docker讓開發(fā)者可以打包他們的應用及依賴環(huán)境到一個可移植的容器中，然后可以將這個容器快速部署開發(fā)、測試或生產(chǎn)環(huán)境中。在物化探信息服務云平臺中，Docker為創(chuàng)建分布式計算節(jié)點提供了容器，從而利用更加節(jié)省的硬件資源提供了更多的計算資源。

4.2 信息服務匯聚及協(xié)同計算

云計算服務中心采用“一站式”服務模式實現(xiàn)來物化探信息服務管理。云服務中心包括物化探數(shù)據(jù)存儲中心和云服務計算中心。所有的空間服務、非空間服務統(tǒng)一注冊在云計算中心，形成了一個虛擬資源池，統(tǒng)一管理所有的虛擬化資源，可對外提供數(shù)據(jù)服務和計算服務[12-14]。其中數(shù)據(jù)服務實現(xiàn)對后臺云存儲內(nèi)數(shù)據(jù)訪問，計算服務既可以是數(shù)據(jù)服務的消費者，也能直接訪問后臺數(shù)據(jù)。云計算服務中心的資源匯聚模式，由云計算服務資源管理中心(FusionSphere)統(tǒng)一管理各種資源的生命周期，服務資源可以是GIS服務器、數(shù)據(jù)庫服務器、應用服務器等[15]，GIS服務器提供圖形服務，數(shù)據(jù)庫服務器提供數(shù)據(jù)存儲等服務，應用服務器提供信息檢索、制圖及可視化、數(shù)據(jù)挖掘等計算服務。這些服務匯聚于云計算中心上，提供統(tǒng)一出口。所有這些服務通過云計算服務中心來進行協(xié)同。以空間服務為例，空間服務部署在圖形服務器上，采用OGC標準的空間服務，由云計算服務中心完成各類空間服務資源注冊、搜索、更新、銷毀等全生命周期統(tǒng)一管理。客戶端不用關(guān)心服務資源掃描、解析、訪問、跳轉(zhuǎn)、計算等過程，更不關(guān)注后臺數(shù)據(jù)訪問和處理方法，呈現(xiàn)數(shù)據(jù)資源、計算資源的虛擬化，從而達到與數(shù)據(jù)來源、格式及內(nèi)容無關(guān)，實現(xiàn)跨平臺的、跨域的數(shù)據(jù)信息服務。

4.3 物化探數(shù)據(jù)云存儲

物化探數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，在云平臺中采用Oracle、SQL Server等大型商業(yè)數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)，采用NoSQL數(shù)據(jù)庫(如HDFS、Mongo、HBase等)保存非結(jié)構(gòu)化類型的物化探數(shù)據(jù)。NoSQL是一個云計算背景下蓬勃發(fā)展的分布式、非關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的高并發(fā)讀寫，存儲Key-Value鍵值、列族、文檔、圖等多種數(shù)據(jù)類型，其產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)[16-17]。NoSQL本質(zhì)上就是為分布式系統(tǒng)設計的，支持橫向擴展，能夠適應飛速增長的海量數(shù)據(jù)，并且在分布式架構(gòu)下可以達到很好的性能。NoSQL的以上特性對于解決多源異構(gòu)物化探數(shù)據(jù)的存儲與管理問題是非常有適合的。

4.4 物化探數(shù)據(jù)云分析

物化探數(shù)據(jù)的云分析是指在云平臺上運行數(shù)據(jù)處理與分析算法，發(fā)現(xiàn)隱藏在物化探數(shù)據(jù)中的潛在價值的過程。在云數(shù)據(jù)中心存儲的各類異構(gòu)數(shù)據(jù)構(gòu)成了數(shù)據(jù)分析的原始數(shù)據(jù)，基本過程包括數(shù)據(jù)準備、數(shù)據(jù)處理、解釋和知識運用。數(shù)據(jù)處理是整個分析過程的關(guān)鍵，根據(jù)數(shù)據(jù)的類型和處理的目標要求選定合適的算法，從原始數(shù)據(jù)中提取并轉(zhuǎn)換成用戶需要的知識。就云計算框架而言，現(xiàn)有物化探數(shù)據(jù)處理算法不能直接在云計算平臺下運行[18]，因此需要將傳統(tǒng)的數(shù)據(jù)處理算法改造為基于云計算平臺的并行處理算法。

5 與“地質(zhì)云”平臺的對接

中國地質(zhì)科學院地球物理地球化學勘查研究所作為“地質(zhì)云”建設的物化探專業(yè)節(jié)點，建立的物化探信息服務系統(tǒng)平臺應與“地質(zhì)云”平臺實現(xiàn)應用對接，并持續(xù)向地質(zhì)云推送數(shù)據(jù)和產(chǎn)品。對接以注冊接口的形式完成。

5.1 物化探數(shù)據(jù)服務云接口

將全國地球化學基準數(shù)據(jù)、全國巖石物性數(shù)據(jù)庫、東部平原土壤基準值數(shù)據(jù)、東部巖石地殼豐度值等基礎數(shù)據(jù)庫發(fā)布為空間數(shù)據(jù)服務，提供多邊形查詢接口，可對區(qū)域內(nèi)數(shù)據(jù)進行分頁查詢，返回JSON格式結(jié)果數(shù)據(jù)，供“地質(zhì)云”平臺進行集成對接(圖7)。物化探數(shù)據(jù)服務云接口包括：關(guān)系型數(shù)據(jù)庫服務接口(增、刪、改、查)、空間型數(shù)據(jù)服務接口(WMS接口、WMTS接口、空間查詢接口)和文件傳輸服務接口(數(shù)據(jù)下載接口、數(shù)據(jù)上傳接口)。

5.2 物化探信息產(chǎn)品服務云接口

根據(jù)“地質(zhì)云”接口要求，按照產(chǎn)品分類和數(shù)據(jù)結(jié)構(gòu)規(guī)范，開發(fā)了物化探圖件(GIS)、地質(zhì)圖件(圖像)、地學科普(視頻)、軟件、儀器設備(元數(shù)據(jù))、技術(shù)方法與標準、出版物(文檔)等物化探信息產(chǎn)品服務接口，供“地質(zhì)云”平臺進行集成對接。物化探信息服務產(chǎn)品云接口包括產(chǎn)品元數(shù)據(jù)、下載、產(chǎn)品高清切片瀏覽等接口。

6 結(jié)論

筆者面向物化探調(diào)查和研究工作的應用需求，為了實現(xiàn)多源異構(gòu)物化探數(shù)據(jù)存儲、管理和服務，利用云計算技術(shù)構(gòu)建了物化探數(shù)據(jù)云服務架構(gòu)，實現(xiàn)了物探、化探數(shù)據(jù)的入庫、管理、檢索、計算、 下載等服務，并完成了與中國地質(zhì)調(diào)查局“地質(zhì)云”應用對接，實現(xiàn)了物化探數(shù)據(jù)和產(chǎn)品在“地質(zhì)云”平臺的共享服務，為全國基礎地質(zhì)研究、礦產(chǎn)資源規(guī)劃部署以及生態(tài)環(huán)境評價等領(lǐng)域提供了便捷的云端物化探數(shù)據(jù)服務。

圖7 全國地球化學基準數(shù)據(jù)在地質(zhì)云平臺的服務Fig.7 National geochemistry benchmark data in geocloud platform service