吳紅梅，王志強(qiáng)，吳友章，畢亭亭

(1.正元地理信息有限責(zé)任公司山東分公司，山東 濟(jì)南 250101；2.青州市國(guó)土資源局，山東 青州262500；3.山東中基地理信息科技有限公司，山東 濟(jì)南 250101)

山東省地質(zhì)資料集成與應(yīng)用研究

吳紅梅1，王志強(qiáng)2，吳友章3，畢亭亭1

(1.正元地理信息有限責(zé)任公司山東分公司，山東 濟(jì)南 250101；2.青州市國(guó)土資源局，山東 青州262500；3.山東中基地理信息科技有限公司，山東 濟(jì)南 250101)

地質(zhì)資料是極其寶貴的信息資源，也是開(kāi)展地質(zhì)工作的重要基礎(chǔ)，利用大數(shù)據(jù)、云計(jì)算等技術(shù)，對(duì)地質(zhì)成果資料進(jìn)行集成與應(yīng)用，有助于發(fā)揮地質(zhì)成果資料的最大效能。通過(guò)全面系統(tǒng)收集山東省所有地質(zhì)資料成果數(shù)據(jù)、成果圖件、相關(guān)科研報(bào)告和地質(zhì)論文，進(jìn)行紙質(zhì)資料掃描建庫(kù)，利用ETL工具完成多源異構(gòu)地質(zhì)資料數(shù)據(jù)整合，完成山東省地質(zhì)資料成果集成工作；研發(fā)“地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)”，實(shí)現(xiàn)地質(zhì)資料共享應(yīng)用，系統(tǒng)結(jié)合云平臺(tái)的設(shè)計(jì)思路，采用SOA架構(gòu)，基于Hadoop和Spark進(jìn)行搭建，支持?jǐn)?shù)據(jù)庫(kù)、文件等多源數(shù)據(jù)導(dǎo)入，提供地質(zhì)資料空間數(shù)據(jù)查詢檢索、資料數(shù)據(jù)統(tǒng)計(jì)、空間分析、數(shù)據(jù)發(fā)布等功能，為不同專題的地質(zhì)系統(tǒng)產(chǎn)品提供基礎(chǔ)服務(wù)。地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)為建立山東省“地質(zhì)云”奠定基礎(chǔ)。

地質(zhì)資料；集成；應(yīng)用；ETL；山東

地質(zhì)資料具有廣泛性、永久性和不可再生性[1-3]。地質(zhì)成果資料是各類地質(zhì)工作完成時(shí)形成的重要基礎(chǔ)信息資源，可作為多次利用和再生產(chǎn)的重要基礎(chǔ)，是地質(zhì)勘探開(kāi)發(fā)最寶貴的資源和財(cái)富[4-7]。國(guó)土資源部下發(fā)的國(guó)土資源信息化“十三五”規(guī)劃(國(guó)土資廳函〔2017〕229號(hào))中第24項(xiàng)工作是：“構(gòu)建全國(guó)地質(zhì)信息協(xié)同服務(wù)體系”，要求：“開(kāi)展地質(zhì)信息服務(wù)聚合、數(shù)據(jù)資源描述與發(fā)現(xiàn)、大數(shù)據(jù)知識(shí)服務(wù)等理論技術(shù)研究；基本構(gòu)建多層次、網(wǎng)格化地質(zhì)信息協(xié)同服務(wù)體系；初步實(shí)現(xiàn)在地質(zhì)大數(shù)據(jù)支撐平臺(tái)框架下資源的統(tǒng)一匯集、互聯(lián)互通[8]。”山東省絕大部分地質(zhì)資料成果存儲(chǔ)于山東省國(guó)土資源資料檔案館，但仍有部分地質(zhì)資料成果存儲(chǔ)于地勘單位中，并且各單位地質(zhì)數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，成果格式多樣。山東省重視地質(zhì)資料成果應(yīng)用，山東省國(guó)土資源廳已完成多項(xiàng)地質(zhì)資料成果應(yīng)用系統(tǒng)，各局、院也開(kāi)發(fā)了許多地質(zhì)勘查、地質(zhì)災(zāi)害、三維地質(zhì)填圖等應(yīng)用系統(tǒng)，但這些系統(tǒng)多為試點(diǎn)項(xiàng)目或?qū)ｍ?xiàng)應(yīng)用系統(tǒng)，沒(méi)有大范圍展開(kāi)，也未相互建立聯(lián)系并集成提供綜合性的地學(xué)應(yīng)用服務(wù)。山東省TB級(jí)的地質(zhì)成果資料因?yàn)閷I(yè)化的表達(dá)形式，使得地質(zhì)成果資料只能服務(wù)于專業(yè)技術(shù)領(lǐng)域。有限的地質(zhì)成果資料的信息服務(wù)對(duì)象和服務(wù)領(lǐng)域，不能很好的發(fā)揮地質(zhì)成果資料的潛在價(jià)值。

1 研究目的與工作方法

隨著社會(huì)經(jīng)濟(jì)的飛速發(fā)展，對(duì)地質(zhì)資料的利用需求也隨之大大增加[9-10]，利用大數(shù)據(jù)、云計(jì)算等技術(shù)，對(duì)地質(zhì)成果資料進(jìn)行分析挖掘，生成特色地質(zhì)成果產(chǎn)品，更好地為國(guó)家、政府、民眾提供服務(wù)，發(fā)揮地質(zhì)成果資料的最大效能。

山東省地質(zhì)資料集成應(yīng)用工作方法見(jiàn)表1。

2 系統(tǒng)設(shè)計(jì)

地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)是地質(zhì)資料大數(shù)據(jù)存儲(chǔ)、計(jì)算平臺(tái)，結(jié)合云平臺(tái)的設(shè)計(jì)思路，采用SOA架構(gòu)，實(shí)現(xiàn)基于數(shù)據(jù)服務(wù)的系統(tǒng)功能設(shè)計(jì)[14]。系統(tǒng)基于Hadoop和Spark進(jìn)行搭建，支持?jǐn)?shù)據(jù)庫(kù)、文件等多源數(shù)據(jù)導(dǎo)入，可以進(jìn)行分析代碼和算法的導(dǎo)入，監(jiān)控計(jì)算分析作業(yè)的執(zhí)行，完成分析結(jié)果展現(xiàn)，實(shí)現(xiàn)完全平臺(tái)化監(jiān)控。地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)共分為五個(gè)層次(圖1)。

表1 地質(zhì)資料集成應(yīng)用工作方法

圖1 總體框架設(shè)計(jì)

從底層到頂層依次可分為資源層、存儲(chǔ)層、計(jì)算層、服務(wù)層和應(yīng)用層。資源層包含礦產(chǎn)地質(zhì)、基礎(chǔ)地質(zhì)、農(nóng)業(yè)地質(zhì)、海洋地質(zhì)、水文地質(zhì)、工程地質(zhì)、環(huán)境地質(zhì)、地面沉降等地質(zhì)成果數(shù)據(jù)和圖件、相關(guān)科研報(bào)告和論文等；經(jīng)ETL(Extract-Transform-Load)工具進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換和裝載，形成標(biāo)準(zhǔn)化的地質(zhì)資料成果數(shù)據(jù)，按照數(shù)據(jù)類型不同，分別存入HDFS、Hbase和Redis，地質(zhì)成果資料分別存儲(chǔ)在不同結(jié)點(diǎn)，利用Hadoop本地計(jì)算的特性，減少數(shù)據(jù)的網(wǎng)絡(luò)傳輸，充分發(fā)揮并行計(jì)算能力；數(shù)據(jù)計(jì)算分析和挖掘，采用MapReduce、Spark、Hive和Pig ，采用關(guān)鍵字生成算法，提供高效的地質(zhì)資料成果檢索查詢；為方便數(shù)據(jù)共享和應(yīng)用服務(wù)，提供REST API服務(wù)，方便應(yīng)用系統(tǒng)調(diào)用。

3 關(guān)鍵技術(shù)

3.1 運(yùn)用ETL工具完成多源異構(gòu)地質(zhì)資料數(shù)據(jù)集成整合

通過(guò)數(shù)據(jù)集成服務(wù)中的數(shù)據(jù)抽取引擎和數(shù)據(jù)計(jì)算引擎等對(duì)獲得的源數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，并對(duì)數(shù)據(jù)進(jìn)行規(guī)范化，完成向地質(zhì)資料數(shù)據(jù)中心的數(shù)據(jù)輸送[15]。實(shí)現(xiàn)多源、異構(gòu)數(shù)據(jù)源集成，并支持系統(tǒng)接口的動(dòng)態(tài)擴(kuò)展以及熱部署，從而保證系統(tǒng)的靈活配置及擴(kuò)展性需求。

數(shù)據(jù)集成服務(wù)的邏輯結(jié)構(gòu)如圖2所示：

圖2 數(shù)據(jù)集成服務(wù)的邏輯結(jié)構(gòu)

3.1.1 數(shù)據(jù)源管理

配置、管理和監(jiān)測(cè)分布的數(shù)據(jù)源。描述每一個(gè)數(shù)據(jù)源的位置(IP)、接口適配器類型(文件方式、Web服務(wù)方式、中間數(shù)據(jù)庫(kù)方式等)、通信協(xié)議(FTP、HTTP等)。

對(duì)于造成數(shù)據(jù)無(wú)法進(jìn)行采集、數(shù)據(jù)采集不完整或不正確的數(shù)據(jù)采集方式的原因有：在數(shù)據(jù)源配置完成后，接口服務(wù)存在異常、通信異常、采集通道阻塞，數(shù)據(jù)源配置的方式不正確等情況。為解決上述問(wèn)題，應(yīng)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)源(圖3)。

圖3 數(shù)據(jù)源監(jiān)測(cè)

3.1.2 ETL描述

ETL是指數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)加載[16]，提取、轉(zhuǎn)換源系統(tǒng)中的數(shù)據(jù)成為一個(gè)標(biāo)準(zhǔn)的格式，并把數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)存儲(chǔ)區(qū)的過(guò)程。對(duì)于ETL的過(guò)程描述采用可視化ETL配置工具，利用可視化的配置界面，通過(guò)拖拽操作及簡(jiǎn)單配置操作，完成各種數(shù)據(jù)源的配置操作及數(shù)據(jù)關(guān)系映射，可以以國(guó)際化標(biāo)準(zhǔn)的XML文件格式對(duì)ETL過(guò)程描述進(jìn)行保存。

(1)資料檔案ETL抽取描述

資料檔案數(shù)據(jù)的特點(diǎn)是更新頻率慢，抽取過(guò)程中需要進(jìn)行代碼轉(zhuǎn)換、編碼影射等過(guò)程。主要處理步驟為：

①去除重復(fù)記錄，保證對(duì)象在系統(tǒng)中唯一性；

②編碼映射：抽取過(guò)程中需要將數(shù)據(jù)源中的本地編碼通過(guò)編碼映射到地質(zhì)資料數(shù)據(jù)中心中，保證各項(xiàng)數(shù)據(jù)的統(tǒng)一；

③字段選擇：過(guò)濾符合要求的屬性，去除數(shù)據(jù)源中非標(biāo)準(zhǔn)數(shù)據(jù)屬性。

(2)負(fù)載均衡

數(shù)據(jù)源可能處于不同的網(wǎng)絡(luò)區(qū)域，負(fù)載均衡能夠有效的平衡各個(gè)接口服務(wù)器之間的負(fù)載壓力，有效的提升數(shù)據(jù)采集效率。負(fù)載均衡使用基于輪轉(zhuǎn)周期的動(dòng)態(tài)反饋負(fù)載均衡算法，該算法結(jié)合了靜態(tài)加權(quán)輪轉(zhuǎn)算法的簡(jiǎn)單性、高效性和動(dòng)態(tài)反饋機(jī)制的實(shí)時(shí)性等優(yōu)點(diǎn)[17]。

3.2 采用關(guān)鍵字生成算法實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)分析

有效收集和管理地質(zhì)資料結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，以此為基礎(chǔ)進(jìn)行統(tǒng)一的集成深度分析，通過(guò)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的邏輯關(guān)聯(lián)來(lái)獲得更多的有效知識(shí)[18]。

在研究結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)動(dòng)態(tài)分析技術(shù)研究中，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)一體化管理和分析的關(guān)鍵技術(shù)之一便是采用關(guān)聯(lián)查詢與檢索的技術(shù)，這種有機(jī)的統(tǒng)一查詢分析處理，能夠帶給用戶良好的數(shù)據(jù)分析體驗(yàn)。

在傳統(tǒng)工作中，查詢返回的結(jié)果是嚴(yán)格的精確的，查詢對(duì)象限于結(jié)構(gòu)化數(shù)據(jù)(使用SQL)或半結(jié)構(gòu)化XML數(shù)據(jù)(使用XQuery)；與此相對(duì)，信息檢索常用于對(duì)無(wú)結(jié)構(gòu)化的文本或半結(jié)構(gòu)化的Web網(wǎng)頁(yè)數(shù)據(jù)的檢索，檢索結(jié)果是非精確的。為實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)分析，要擴(kuò)展信息檢索能力，能夠?qū)Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一的基于關(guān)鍵詞的檢索，將檢索結(jié)果融合展現(xiàn)，在元數(shù)據(jù)支持下，能夠支持基于概念的檢索。

(1)基本框架

擴(kuò)展信息檢索能力，利用SQL檢索出結(jié)構(gòu)化信息，并從中自動(dòng)提取出相應(yīng)的關(guān)鍵詞，然后利用這些關(guān)鍵詞檢索出非結(jié)構(gòu)化信息，擴(kuò)展了結(jié)構(gòu)化查詢能力，通過(guò)查詢的方式，實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)分析(圖4)。

圖4 基本框架

(2)關(guān)鍵字生成算法

關(guān)鍵字生成算法是系統(tǒng)的核心部分，它有2個(gè)主要任務(wù)：一個(gè)是數(shù)據(jù)的范圍，即從哪些表中選取關(guān)鍵詞；二是逐步構(gòu)造整個(gè)關(guān)鍵詞表，即制定策略將新的數(shù)據(jù)加入進(jìn)來(lái)。對(duì)于數(shù)據(jù)的范圍，盡可能多地利用數(shù)據(jù)庫(kù)中數(shù)據(jù)，因此不能僅限于SQL查詢語(yǔ)句中指定的表的范圍。可以利用數(shù)據(jù)庫(kù)中表之間的主外鍵聯(lián)系，將新的表添加進(jìn)來(lái)，這樣就大大擴(kuò)展了可以選擇的數(shù)據(jù)的范疇，所得到的關(guān)鍵詞也會(huì)更加豐富，且和查詢請(qǐng)求具有相關(guān)性。另一個(gè)是逐步構(gòu)造關(guān)鍵詞表。表之間的主外鍵聯(lián)系比較復(fù)雜，一個(gè)表存在多個(gè)外鍵，和多個(gè)表相連。算法實(shí)現(xiàn)中利用了貪心算法的思想，在每一步添加新的表的時(shí)候，只選擇一個(gè)與查詢最相關(guān)的外鍵，并將該外鍵指向表包含進(jìn)來(lái)。如此這樣遞歸執(zhí)行下去，直到?jīng)]有新的表添加進(jìn)來(lái)或者已經(jīng)達(dá)到預(yù)先設(shè)定的最大遞歸深度。

4 功能及應(yīng)用

地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)提供地質(zhì)資料空間數(shù)據(jù)查詢檢索、按時(shí)間軸瀏覽資料數(shù)據(jù)，資料數(shù)據(jù)統(tǒng)計(jì)、空間分析、數(shù)據(jù)發(fā)布等功能，為不同專題的地質(zhì)系統(tǒng)產(chǎn)品提供基礎(chǔ)服務(wù)。系統(tǒng)還提供云平臺(tái)狀態(tài)、文件管理、數(shù)據(jù)管理、平臺(tái)服務(wù)等功能。

服務(wù)聚合——提供目錄服務(wù)、地圖服務(wù)、文檔瀏覽、數(shù)據(jù)下載等在線數(shù)字資源服務(wù)聚合。

數(shù)據(jù)挖掘——建立地質(zhì)成果圖譜，關(guān)注地質(zhì)成果資料的位置和時(shí)序變化，以三個(gè)空間維度和一個(gè)時(shí)間維度概念進(jìn)行數(shù)據(jù)挖掘分析，描述不同時(shí)期地質(zhì)空間的差異化形態(tài)，動(dòng)態(tài)展現(xiàn)地質(zhì)資料的空間形態(tài)結(jié)構(gòu)和時(shí)空變化規(guī)律，賦予地質(zhì)資料圖形和譜系雙重特性, “圖”是指地質(zhì)圖、地質(zhì)礦產(chǎn)勘查規(guī)劃、地質(zhì)項(xiàng)目范圍等專題地圖；“譜”是指按項(xiàng)目特性、時(shí)間序列所建立的資料成果體系。以地學(xué)知識(shí)、海量地質(zhì)成果數(shù)據(jù)為驅(qū)動(dòng)，堅(jiān)持技術(shù)服務(wù)于業(yè)務(wù)的原則，通過(guò)數(shù)據(jù)計(jì)算、分析、挖掘，為地質(zhì)找礦，城市地質(zhì)、土地利用等提供科學(xué)數(shù)據(jù)支撐，從而滿足政府、專業(yè)人員和社會(huì)公眾的需求。

數(shù)據(jù)建模——建立地質(zhì)項(xiàng)目卡片，縱向覆蓋地質(zhì)項(xiàng)目實(shí)施過(guò)程的各主要環(huán)節(jié)，橫向覆蓋到進(jìn)度安排、人員投入、資金監(jiān)管、照片記錄、資料上報(bào)、預(yù)警提醒等內(nèi)容，構(gòu)建項(xiàng)目信息卡片。以卡片形式提供可視化、圖形化、扁平化方式的地質(zhì)資料快捷檢索，根據(jù)用戶檢索熱度和下載關(guān)注度模型進(jìn)行卡片權(quán)重調(diào)整，能夠主動(dòng)推送信息到前端，方便用戶使用。

建立玻璃地球應(yīng)用，應(yīng)用三維技術(shù)，搭建可視、多維、精確的山東地質(zhì)三維模型；實(shí)現(xiàn)山東地質(zhì)成果多維一體化存儲(chǔ)、管理。

5 結(jié)論

(1)通過(guò)山東省地質(zhì)資料集成應(yīng)用，全面收集山東省分散存儲(chǔ)的地質(zhì)資料成果，梳理山東省地質(zhì)資料成果和現(xiàn)存系統(tǒng)的關(guān)聯(lián)關(guān)系，建立開(kāi)放可擴(kuò)展的山東省地質(zhì)資料數(shù)據(jù)體系。

(2)運(yùn)用大數(shù)據(jù)、云計(jì)算技術(shù)，搭建集約管理、資源共享、低耗拓展、應(yīng)用創(chuàng)新于一體的“地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)”，完成海量地質(zhì)資料的快速瀏覽和便捷查詢。

(3)“地質(zhì)資料數(shù)據(jù)服務(wù)系統(tǒng)”為建立山東省“地質(zhì)云”奠定基礎(chǔ)。

(4)為山東省各市、區(qū)地質(zhì)災(zāi)害調(diào)查、城市地質(zhì)、土壤污染防治、群測(cè)群防、搬遷避讓、治理工程等提供地質(zhì)信息支撐。

[1] 梁其華.對(duì)原始地質(zhì)資料立卷歸檔與匯交問(wèn)題的研究[J].中國(guó)國(guó)土資源經(jīng)濟(jì),2016,(3):6-13.

[2] 王成鋒,王丹輝,李喬喬,等.基于GIS的地質(zhì)成果資料匯交管理系統(tǒng)研究及應(yīng)用[J].山東國(guó)土資源,2017,33(7):82-85.

[3] 高延梅.現(xiàn)階段原始地質(zhì)資料立卷歸檔問(wèn)題之我見(jiàn)[J].黑龍江國(guó)土資源,2005，(5):38-39.

[4] 袁宏,賴德軍.可視化地質(zhì)資料管理與共享平臺(tái)研究[J].計(jì)算機(jī)與數(shù)字工程,2013,41(3):420-422.

[5] 黨杰.廣東省地質(zhì)資料自動(dòng)化管理系統(tǒng)建設(shè)探討[J].山東國(guó)土資源,2012,28(7):66-68.

[6] 孫麗華,李樹(shù)輝.淺議地質(zhì)檔案資料的專業(yè)化管理[J].吉林地質(zhì),2013,31(3):134-136.

[7] 張書(shū)波,張引,張斌,等.成果地質(zhì)資料檢索系統(tǒng)研究與實(shí)現(xiàn)[J].國(guó)土資源信息化,2016，(2):38-44.

[8] 葉愷,楊昊.淺析地質(zhì)資料管理系統(tǒng)的建立與應(yīng)用[J].中國(guó)化工貿(mào)易,2012,4(4):27-28.

[9] 李東風(fēng).淺析遼寧省地質(zhì)資料管理信息服務(wù)系統(tǒng)建設(shè)[J].中國(guó)科技成果,2012，(18):34-37.

[10] 楊麗君.上海地質(zhì)資料數(shù)據(jù)中心的構(gòu)建與運(yùn)行體系[J].上海國(guó)土資源,2012,33(3):79-84.

[11] 李軍.信息資源規(guī)劃在國(guó)土信息化中的重要作用[J].信息技術(shù)與信息化,2015，(3)：142-143.

[12] 馮永玉.省級(jí)國(guó)土資源“一張圖”數(shù)據(jù)中心建設(shè)探討[J].山東國(guó)土資源,2014,30(11):67-70.

[13] 冀正強(qiáng).基于Web數(shù)據(jù)分析的就業(yè)信息服務(wù)平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)[D].濟(jì)南：山東大學(xué),2013:18-44.

[14] 王芳,劉偉,吳紅梅.建設(shè)項(xiàng)目壓覆礦業(yè)權(quán)及礦產(chǎn)地應(yīng)用研究與系統(tǒng)實(shí)現(xiàn)[J].山東國(guó)土資源,2016,32(1):66-70.

[15] 尤玉林,張憲民.一種可靠的數(shù)據(jù)倉(cāng)庫(kù)中ETL策略與架構(gòu)設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(10):172-174.

[16] 許少華,夏智偉.基于輪轉(zhuǎn)周期的動(dòng)態(tài)反饋負(fù)載均衡算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013,23(6):63-66.

[17] 邢勝南.基于MDA的數(shù)據(jù)分析過(guò)程研究[D].濟(jì)南：山東大學(xué),2010:31-44.

StudyonIntegrationandApplicationofGeologicalDatainShandongProvince

WU Hongmei1, WANG Zhiqiang2, WU Youzhang3, BI Tingting1

(1.Shandong Branch Corporation of Zhengyuan Geographical Information Limited Corporation, Shandong Jinan 250101, China; 2.Qingzhou Bureau of Land and Resources, Shandong Qingzhou 262500, China; 3.Shandong Zhongji Geographic Information Science and Technology Limited Corporation, Shandong Jinan 250101, China)

Geological data is not only rare information resource, but also the basis for carrying out geological work. Based on big data and cloud computing technology, integration and application of geological data have been carried out. It can elaborate the best efficiency of geological information. Through systematic and comprehensive collection of all kinds of geological data, achievements, maps, related scientific research reports and geological papers of Shandong province, paper data scanning database construction has been carried out. Based on ETL tools, integration of multi-source heterogeneous geological data can be realized, and geological data and geological achievements can be collected. Study and development on the "service system of geological data" can realize the sharing of geological information. This systm is set up combining with the design idea of cloud platform, using SOA, and based on Hadoop and Spark. It can support multi-source data import of database and files, provide spatial data query, data statistics, spatial analysis, data release and other functions, and provide basic services for products of different special geological system. Geological data service system lays the foundation for the establishment of "geological cloud" in Shandong province.

Geological data; integration; application; ETL; Shandong province

2017-07-17；

2017-09-12；

王敏

吳紅梅(1978—)，女，黑龍江牡丹江人，高級(jí)工程師，從事于研發(fā)設(shè)計(jì)、項(xiàng)目管理等工作；E-mail:18653112787@163.com

P208

B

吳紅梅，王志強(qiáng)，吳友章，等.山東省地質(zhì)資料集成與應(yīng)用研究[J].山東國(guó)土資源， 2017,33(12)：70-74.WU Hongmei, WANG Zhiqiang, WU Youzhang,etc.Study on Integration and Application of Geological Data in Shandong Province[J].Shandong Land and Resources, 2017,33(12)：70-74.