程世秀

（1.山東省第四地質(zhì)礦產(chǎn)勘查院，山東 濰坊 261021；2.山東省地礦局海岸帶地質(zhì)環(huán)境保護(hù)重點(diǎn)實(shí)驗(yàn)室，山東 濰坊 261021）

進(jìn)入新世紀(jì)后，國(guó)際上主要的經(jīng)濟(jì)體均已信息技術(shù)為抓手，開(kāi)始了新一輪的技術(shù)革命，力圖掌握發(fā)展的主動(dòng)權(quán)和新的技術(shù)制高點(diǎn)。我國(guó)大數(shù)據(jù)技術(shù)起步較晚，但是發(fā)展迅速，數(shù)字強(qiáng)國(guó)和數(shù)據(jù)治國(guó)戰(zhàn)略已經(jīng)成為了國(guó)家發(fā)展和治理的主要戰(zhàn)略之一。在此背景下，信息行業(yè)迎來(lái)了發(fā)展的黃金機(jī)遇期，但是在具體應(yīng)用層面，還有諸多需要解決的問(wèn)題。實(shí)施信息化的基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)的高效整合和利用是信息化發(fā)展的必然要求。以信息化和數(shù)字化為標(biāo)志的高新技術(shù)極大地促進(jìn)了地球物理技術(shù)的發(fā)展。

1 地質(zhì)與地球物理數(shù)據(jù)分類

隨著地質(zhì)調(diào)查工作和調(diào)查技術(shù)的發(fā)展，分析測(cè)試手段逐漸增多，積累的數(shù)據(jù)要素和格式也隨之增加。高效處理和利用來(lái)源廣泛、時(shí)間跨度大、格式不一的數(shù)據(jù)技術(shù)，為資源的開(kāi)發(fā)提供數(shù)據(jù)支撐，是解決數(shù)據(jù)快速積累與充分挖掘之間矛盾的最佳手段。調(diào)研中發(fā)現(xiàn)，現(xiàn)階段制約地質(zhì)與地球物理數(shù)據(jù)分析的主要問(wèn)題包括數(shù)據(jù)分類不統(tǒng)一、數(shù)據(jù)來(lái)源復(fù)雜、異構(gòu)性突出、組織方式多樣等。在開(kāi)展地質(zhì)與地球物理數(shù)據(jù)分類與組織研究時(shí)，需要建立數(shù)據(jù)體系，最終實(shí)現(xiàn)海量數(shù)據(jù)的有序化存儲(chǔ)與處理。地質(zhì)與地球物理數(shù)據(jù)涉及現(xiàn)場(chǎng)采集、室內(nèi)測(cè)試分析、處理解釋和研究等環(huán)節(jié)。數(shù)據(jù)分類一般先根據(jù)流轉(zhuǎn)和加工程度劃分，然后再根據(jù)數(shù)據(jù)類型進(jìn)行細(xì)分。以地質(zhì)與地球物理數(shù)據(jù)加工程度和數(shù)據(jù)流轉(zhuǎn)為依據(jù)，可分為以下幾類：

（1）任務(wù)文檔類：主要包括任務(wù)合同、實(shí)施方案等，以pdf或word格式存儲(chǔ)；任務(wù)文檔屬于調(diào)查和勘測(cè)之前的文檔，可為后續(xù)的數(shù)據(jù)處理提供依據(jù)。

（2）原始數(shù)據(jù)類：包括勘測(cè)儀器數(shù)據(jù)和現(xiàn)場(chǎng)原位測(cè)試數(shù)據(jù)，儲(chǔ)存格式各異；數(shù)據(jù)多數(shù)是未經(jīng)處理的。

（3）整編數(shù)據(jù)類：按照規(guī)范要求整理的分析測(cè)試數(shù)據(jù)和勘測(cè)儀器數(shù)據(jù)，質(zhì)量評(píng)估報(bào)告等，以txt/excel格式存儲(chǔ)；整編數(shù)據(jù)集是根據(jù)《地球物理資料整編技術(shù)規(guī)程》有關(guān)要求，對(duì)地質(zhì)采樣樣品分析測(cè)試數(shù)據(jù)和地球物理后處理成果數(shù)據(jù)進(jìn)行整理分析形成。一般樣品室內(nèi)分析測(cè)試整編數(shù)據(jù)以excel形式存儲(chǔ)，儀器獲取處理成果數(shù)據(jù)以文本文件形式存儲(chǔ)。地質(zhì)與地球物理數(shù)據(jù)按樣品類型又可分為巖石、沉積物等類型。巖石測(cè)試數(shù)據(jù)包括物性測(cè)試、成分測(cè)試和化學(xué)測(cè)試等；沉積物數(shù)據(jù)包括古生物、沉積礦物、沉積物粒度及工程力學(xué)數(shù)據(jù)等是多種細(xì)分類型。整編數(shù)據(jù)類也可以按照調(diào)查手段進(jìn)行分類，分為磁力調(diào)查數(shù)據(jù)、地震勘測(cè)數(shù)據(jù)、重力勘測(cè)數(shù)據(jù)、地層剖面、電磁探測(cè)數(shù)據(jù)等。

（4）標(biāo)準(zhǔn)數(shù)據(jù)集：標(biāo)準(zhǔn)數(shù)據(jù)集指的是按照規(guī)范的轉(zhuǎn)碼格式和質(zhì)量控制手段，重新排列后的文件集合，處理后的數(shù)據(jù)格式相對(duì)統(tǒng)一，可直接導(dǎo)入數(shù)據(jù)庫(kù)中使用。在這一過(guò)程中，標(biāo)準(zhǔn)化發(fā)揮著重要的作用，標(biāo)準(zhǔn)數(shù)據(jù)集是地質(zhì)與地球物理數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)工作。

（5）項(xiàng)目成果。報(bào)告專著類：課題研究報(bào)告、發(fā)表的專著、專利和論文，以pdf或word格式存儲(chǔ)；圖片圖像類：專業(yè)拍攝設(shè)備獲取的視頻及圖像，jpg、MP4、wmv、img等，可直觀表示地質(zhì)地球成果，主要有重力分布圖、沉積物類型圖等；軟件類：軟件及相應(yīng)說(shuō)明，軟件是進(jìn)行數(shù)據(jù)處理和管理的主要工具，屬于技術(shù)支撐范疇。

2 數(shù)據(jù)標(biāo)準(zhǔn)化

由于地質(zhì)與地球物理數(shù)據(jù)來(lái)源、時(shí)期和單位各不相同，導(dǎo)致數(shù)據(jù)的組織結(jié)構(gòu)和表現(xiàn)方式不統(tǒng)一，在部分特殊地質(zhì)與地球物理數(shù)據(jù)中，數(shù)據(jù)的處理參數(shù)和處理方法也各不相同。這在一定程度上影響了同一地區(qū)地質(zhì)與地球物理數(shù)據(jù)的綜合分析和應(yīng)用，數(shù)據(jù)的價(jià)值無(wú)法體現(xiàn)。從這一角度分析，實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化是挖掘數(shù)據(jù)價(jià)值的重要前提。

在數(shù)據(jù)標(biāo)準(zhǔn)化的處理過(guò)程中，需要保證數(shù)據(jù)的真實(shí)性、一致性和完整性。與此同時(shí)，為處理海量的地質(zhì)與地球物理數(shù)據(jù)，需借助于相應(yīng)的處理軟件開(kāi)展工作。按照數(shù)據(jù)的獲取方式不同，地質(zhì)與地球物理數(shù)據(jù)可分為室內(nèi)測(cè)試數(shù)據(jù)和儀器直接獲取數(shù)據(jù)兩類，其中儀器直接獲取數(shù)據(jù)包括重力/磁場(chǎng)/電場(chǎng)分布、地震及淺層剖面數(shù)據(jù)等，室內(nèi)分析測(cè)試數(shù)據(jù)包括礦物成分、巖石粒度和微量元素含量等。

（1）文件命名標(biāo)準(zhǔn)化。在統(tǒng)一的命名規(guī)則下，地質(zhì)與地球物理數(shù)據(jù)名稱通常包括項(xiàng)目編號(hào)、區(qū)塊編號(hào)和數(shù)據(jù)類型三部分。對(duì)于同一個(gè)區(qū)塊開(kāi)展多次勘測(cè)時(shí)，不同時(shí)期數(shù)據(jù)可在一個(gè)區(qū)塊下進(jìn)行合并。地質(zhì)與地球物理數(shù)據(jù)的文件劃分以測(cè)線為依據(jù)，文件名稱中可直接反映測(cè)線。區(qū)塊編碼和項(xiàng)目編碼信息可在文件夾名稱中體現(xiàn)。

（2）數(shù)據(jù)完整性檢查。數(shù)據(jù)完整性檢查主要針對(duì)數(shù)據(jù)是否存在缺失及缺失的程度，對(duì)于數(shù)據(jù)不完整的數(shù)據(jù)文件，應(yīng)在第一時(shí)間通過(guò)對(duì)比原始數(shù)據(jù)和資料處理報(bào)告，確定數(shù)據(jù)缺失的部分，并進(jìn)行補(bǔ)充。尤其應(yīng)注意，地質(zhì)與地球物理數(shù)據(jù)中的經(jīng)緯度等關(guān)鍵數(shù)據(jù)及字段信息必須完整，關(guān)鍵數(shù)據(jù)缺失將導(dǎo)致整體無(wú)法應(yīng)用。

（3）數(shù)據(jù)代碼統(tǒng)一。在地質(zhì)與地球物理數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程中，經(jīng)常會(huì)涉及公共字段的編碼，主要是區(qū)塊、項(xiàng)目和勘測(cè)時(shí)間信息等。不同的項(xiàng)目或者勘測(cè)時(shí)間產(chǎn)生的數(shù)據(jù)在編碼上可能存在差異，這就需要在數(shù)據(jù)代碼統(tǒng)一環(huán)節(jié)中進(jìn)行統(tǒng)一編碼和規(guī)范管理。

（4）格式轉(zhuǎn)換。地質(zhì)與地球物理數(shù)據(jù)由于來(lái)源不同、采集人員不同、處理單位不同，導(dǎo)致數(shù)據(jù)格式不同意。對(duì)異構(gòu)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)化，能夠?yàn)楹罄m(xù)數(shù)據(jù)的利用奠定基礎(chǔ)，促進(jìn)數(shù)據(jù)的共享。格式轉(zhuǎn)化的過(guò)程，需要解析源文件，將格式不同的源文件轉(zhuǎn)化為統(tǒng)一格式的數(shù)據(jù)。磁力、重力數(shù)據(jù)的標(biāo)準(zhǔn)格式為文本格式，關(guān)鍵字段和數(shù)據(jù)的位置相對(duì)固定，為后續(xù)查找和處理提供了便利條件。淺層剖面和地震剖面數(shù)據(jù)處理后轉(zhuǎn)化為標(biāo)準(zhǔn)格式的數(shù)據(jù)，便于通過(guò)測(cè)線進(jìn)行數(shù)據(jù)調(diào)用。

（5）數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)質(zhì)量控制可結(jié)合人工和計(jì)算機(jī)管理實(shí)現(xiàn)，為保證地質(zhì)與地球物理數(shù)據(jù)標(biāo)準(zhǔn)化的可靠性，在預(yù)處理階段和處理后數(shù)據(jù)的抽檢階段，主要采用人工抽檢的方式。對(duì)于標(biāo)準(zhǔn)數(shù)據(jù)集等大型文件，則需要專業(yè)化的計(jì)算機(jī)軟件進(jìn)行，常用的質(zhì)量控制方法包括以下幾種：①站位一致性檢查：將站位表中的字段與數(shù)據(jù)中的站位信息核對(duì)，并做到一一對(duì)應(yīng)；②數(shù)值范圍檢查：確定范圍檢查的經(jīng)驗(yàn)值，并與數(shù)據(jù)中的要素對(duì)比；③著陸點(diǎn)檢查等：核對(duì)數(shù)據(jù)的空間分布是否與調(diào)查區(qū)塊對(duì)應(yīng)；④邏輯一致性檢查：判斷數(shù)據(jù)之間的邏輯關(guān)系；⑤統(tǒng)計(jì)數(shù)據(jù)檢查：依據(jù)統(tǒng)計(jì)學(xué)基本規(guī)則，檢查統(tǒng)計(jì)數(shù)據(jù)的合理性，如百分比含量之和是否為100%。

3 數(shù)據(jù)組織

按照一定的規(guī)則或者方式，對(duì)采集或者處理的數(shù)據(jù)進(jìn)行分類，存儲(chǔ)，管理就是數(shù)據(jù)組織。高效的數(shù)據(jù)組織形式能夠在數(shù)據(jù)的管理應(yīng)用過(guò)程中起到積極作用。在數(shù)據(jù)組織架構(gòu)的確定中，應(yīng)結(jié)合數(shù)據(jù)本身特點(diǎn)和需求，建立分層次、成體系的管理框架。

3.1 基于文件的數(shù)據(jù)組織

基于文件的數(shù)據(jù)組織形式是地質(zhì)與地球物理數(shù)據(jù)最常用的形式之一，在各種數(shù)據(jù)類型的備份存檔和組織管理中都可應(yīng)用。依據(jù)管理目的的不同和管理需求的各異，可使用不同的邏輯關(guān)系，建立分層次的文件組織形式?，F(xiàn)實(shí)中地質(zhì)與地球物理勘探通常以項(xiàng)目為主線，建議在資源匯集過(guò)程中按照項(xiàng)目進(jìn)行分類并建立組織管理，實(shí)現(xiàn)數(shù)據(jù)對(duì)象的分類和抽象。對(duì)于同一個(gè)項(xiàng)目，可按照不同的勘測(cè)時(shí)間或者是區(qū)塊進(jìn)行分類。在同一行次范疇內(nèi)，可依據(jù)數(shù)據(jù)的種類進(jìn)行再次劃分。在此基礎(chǔ)上，根據(jù)每次任務(wù)取得的成果不同，可在文件組織架構(gòu)下進(jìn)行相應(yīng)的擴(kuò)充，通常情況下文件放置于專門的服務(wù)器中，并建立相應(yīng)的索引表，便于后期文件調(diào)閱?？傮w來(lái)看，基于文件的組織形式管理較為便捷，后期擴(kuò)充較為快捷，但是這種方式只針對(duì)于規(guī)范文件，并且對(duì)于組織結(jié)構(gòu)和分類體系要求較高，否則將會(huì)導(dǎo)致后期檢索和應(yīng)用非常繁瑣。

3.2 基于數(shù)據(jù)庫(kù)的數(shù)據(jù)組織

3.2.1 基礎(chǔ)數(shù)據(jù)庫(kù)

使用事務(wù)型數(shù)據(jù)庫(kù)管理系統(tǒng)，對(duì)地質(zhì)與地球物理數(shù)據(jù)進(jìn)行分類和管理，可按照方法和勘測(cè)專業(yè)的不同，建立地球物理基礎(chǔ)數(shù)據(jù)庫(kù)和海底地質(zhì)基礎(chǔ)數(shù)據(jù)庫(kù)。在數(shù)據(jù)庫(kù)的建立過(guò)程中，應(yīng)深入對(duì)象之間的邏輯關(guān)系和映射關(guān)系，建立關(guān)聯(lián)規(guī)則。在數(shù)據(jù)庫(kù)中又包含很多個(gè)數(shù)據(jù)庫(kù)表，每個(gè)數(shù)據(jù)庫(kù)表中包含若干信息。對(duì)于日常數(shù)據(jù)管理和目錄發(fā)布等基礎(chǔ)應(yīng)用，可建立結(jié)構(gòu)化的事務(wù)性數(shù)據(jù)庫(kù)。

3.2.2 綜合數(shù)據(jù)庫(kù)

以要素管理為主體，依托于分布式并行數(shù)據(jù)庫(kù)集群儲(chǔ)存技術(shù)，可建立數(shù)據(jù)庫(kù)綜合管理系統(tǒng)。在綜合數(shù)據(jù)庫(kù)中可進(jìn)行數(shù)據(jù)抽取、清洗等復(fù)雜操作，同時(shí)綜合數(shù)據(jù)庫(kù)中的最小組成單元是列。以可視化展示和統(tǒng)計(jì)分析為基礎(chǔ)的超大規(guī)模數(shù)據(jù)庫(kù)，可為各類數(shù)據(jù)的分析研究提供助力。

3.2.3 成果數(shù)據(jù)庫(kù)

成果數(shù)據(jù)庫(kù)主要存儲(chǔ)非結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)階段最主要的框架使用的是Hadoop，Hadoop是一個(gè)開(kāi)源的分布式計(jì)算框架，可在大量廉價(jià)硬件基礎(chǔ)上組成集群，構(gòu)建一個(gè)易擴(kuò)展、高可用的并行分布系統(tǒng)，該系統(tǒng)既可以從非結(jié)構(gòu)化數(shù)據(jù)文件，也可以存儲(chǔ)半結(jié)構(gòu)化的數(shù)據(jù)文件。其中非結(jié)構(gòu)化數(shù)據(jù)庫(kù)具有高靈活、易擴(kuò)展、高讀寫(xiě)優(yōu)勢(shì)，可快速建立數(shù)據(jù)之間的關(guān)聯(lián)，并結(jié)合深度分析進(jìn)行趨勢(shì)預(yù)測(cè)，滿足數(shù)據(jù)深度挖掘的應(yīng)用需求。

4 結(jié)語(yǔ)

借助于國(guó)家重大專項(xiàng)的研究和應(yīng)用推廣，我國(guó)在近海、大陸架和遠(yuǎn)洋深海等不同區(qū)域開(kāi)展了大量的地質(zhì)及地球物理勘測(cè)工作，積累了大量的地質(zhì)地球物理數(shù)據(jù)。數(shù)據(jù)是管理的基礎(chǔ)，也是應(yīng)用的根本條件，良好的數(shù)據(jù)分類與組織架構(gòu)能夠?yàn)閿?shù)據(jù)應(yīng)用提供便捷條件。本文在深入分析地質(zhì)與地球物理數(shù)據(jù)特性的基礎(chǔ)上介紹了數(shù)據(jù)分類的基礎(chǔ)知識(shí)，并結(jié)合質(zhì)量控制和標(biāo)準(zhǔn)化處理，確定了數(shù)據(jù)存儲(chǔ)策略，在此基礎(chǔ)上探討了非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的組織架構(gòu)，對(duì)于地質(zhì)，地球物理數(shù)據(jù)管理和應(yīng)用具有重要意義。