宋 坤,周 雪

(1.國(guó)家海洋技術(shù)中心 天津 300112;2.國(guó)家海洋信息中心 天津 300171)

元數(shù)據(jù)技術(shù)在海洋觀測(cè)數(shù)據(jù)集成中的應(yīng)用研究*

宋 坤1,周 雪2

(1.國(guó)家海洋技術(shù)中心 天津 300112;2.國(guó)家海洋信息中心 天津 300171)

文章分析、研究了元數(shù)據(jù)技術(shù)及其發(fā)展情況和元數(shù)據(jù)在數(shù)據(jù)管理、交換中的應(yīng)用,并對(duì)國(guó)際上幾種海洋元數(shù)據(jù)的特點(diǎn)進(jìn)行了歸納、分析和比較。并在此基礎(chǔ)上針對(duì)海洋環(huán)境觀測(cè)數(shù)據(jù)的多源性、多態(tài)性、多樣性以及其分散性等特點(diǎn),依托重大項(xiàng)目 “赤潮監(jiān)測(cè)與預(yù)警系統(tǒng)集成與示范”對(duì)數(shù)據(jù)通信與集成的需求,分析了元數(shù)據(jù)在海洋環(huán)境觀測(cè)數(shù)據(jù)集成中的應(yīng)用,以實(shí)現(xiàn)對(duì)海洋觀測(cè)數(shù)據(jù)有效的、合理的集成管理及共享。

元數(shù)據(jù);數(shù)據(jù)集成;核心元數(shù)據(jù);海洋觀測(cè)數(shù)據(jù)

1 引言

當(dāng)代海洋科學(xué)技術(shù)的發(fā)展明顯呈現(xiàn)出大科學(xué)、定量化、重過程研究等特點(diǎn),越來越依賴于系統(tǒng)的、高可信度的、長(zhǎng)時(shí)間序列的基本科學(xué)數(shù)據(jù)及其衍生的數(shù)據(jù)產(chǎn)品。海洋科學(xué)的基本科學(xué)數(shù)據(jù)來源于海洋科學(xué)調(diào)查及海洋觀測(cè),獲取數(shù)據(jù)的背后是艱苦的工作和高昂的成本,非常珍貴。海洋觀測(cè)數(shù)據(jù)作為國(guó)家基礎(chǔ)性公益科學(xué)數(shù)據(jù)資源的重要組成部分,是國(guó)家海洋維權(quán)、國(guó)民經(jīng)濟(jì)建設(shè)、海洋生態(tài)保護(hù)和防災(zāi)減災(zāi)等領(lǐng)域的科研、規(guī)劃的基礎(chǔ)依據(jù)。

海洋觀測(cè)數(shù)據(jù)和相關(guān)信息包括海洋水文、海洋表面氣象、海洋生物、海洋化學(xué)、海洋環(huán)境質(zhì)量、海洋地質(zhì)、海洋地球物理、海洋基礎(chǔ)物理、海洋航空與遙感、海洋經(jīng)濟(jì)、海洋資源等,數(shù)據(jù)總量大、涉及范圍廣。由于數(shù)據(jù)觀測(cè)、獲取的手段不同,以及其在精度、格式、表述形式、數(shù)據(jù)結(jié)構(gòu)等方面的差異,海洋觀測(cè)數(shù)據(jù)及資料與其他的數(shù)據(jù)資料相比呈現(xiàn)出了多源性、多態(tài)性和多樣性等特點(diǎn)。

元數(shù)據(jù)是對(duì)信息資源的規(guī)范化描述,是按照一定標(biāo)準(zhǔn),從信息資源中抽取出相應(yīng)的特征,組成的一個(gè)特征元素集合。這種規(guī)范化描述可以準(zhǔn)確和完備地說明信息資源的各項(xiàng)特征?？紤]到海洋觀測(cè)數(shù)據(jù)包含的數(shù)據(jù)結(jié)構(gòu)復(fù)雜,觀測(cè)要素種類繁多,涉及不同的時(shí)間尺度、空間參照系統(tǒng)、坐標(biāo)系統(tǒng)等特殊性,為有效、合理地實(shí)現(xiàn)對(duì)數(shù)據(jù)的集成與管理,引入元數(shù)據(jù)技術(shù)是需求的必然。

2 元數(shù)據(jù)技術(shù)

元數(shù)據(jù)(metadata)是用于描述要素、數(shù)據(jù)集或數(shù)據(jù)集系列的內(nèi)容、覆蓋范圍、質(zhì)量、管理方式、數(shù)據(jù)的所有者、數(shù)據(jù)的提供方式等有關(guān)的信息[1]。其最本質(zhì)、最抽象的定義是關(guān)于數(shù)據(jù)的數(shù)據(jù)(data about data)。元數(shù)據(jù)為各種形態(tài)的數(shù)字化信息單元和資源集合提供規(guī)范、普遍的描述方法和檢索工具;為分布的、由多種數(shù)字化資源有機(jī)構(gòu)成的信息體系提供整合的工具和紐帶,實(shí)現(xiàn)簡(jiǎn)單高效地管理大量網(wǎng)絡(luò)化數(shù)據(jù)。其主要功能有如下幾方面。

(1)元數(shù)據(jù)是對(duì)信息資源的描述,能比較完整地反映出資源的全貌,并為數(shù)字化信息資源建立一種機(jī)器可理解框架。

(2)元數(shù)據(jù)能夠很好地組織信息資源,建立各信息資源間的關(guān)系,為用戶提供多層次、多途徑的檢索體系。

(3)元數(shù)據(jù)能讓用戶在不必瀏覽信息資源本身的情況下,對(duì)信息資源有基本的了解和認(rèn)識(shí),從而決定信息的取舍。

3 國(guó)際上幾種海洋元數(shù)據(jù)

國(guó)際上已經(jīng)有一些專門用于海洋領(lǐng)域的元數(shù)據(jù),如國(guó)際海洋資料和信息交換IODE的MEDI(海洋環(huán)境數(shù)據(jù)目錄),歐洲的EDIOS (歐洲海洋觀測(cè)系統(tǒng)數(shù)據(jù)目錄)以及ODAS(海洋數(shù)據(jù)獲取系統(tǒng))元數(shù)據(jù)等[2]。下面具體分析、比較一下這三種海洋元數(shù)據(jù)。

MEDI(Marine Enviromental Data Inventory)是IODE資料交換系統(tǒng)采用的元數(shù)據(jù)格式。其使用目錄交換格式(Directory InterChange Format),描述對(duì)象是數(shù)據(jù)集,共包括33項(xiàng),其中目錄標(biāo)識(shí)、目錄名稱、參數(shù)、數(shù)據(jù)中心以及數(shù)據(jù)集概要描述是必須提供的,其他都是可選項(xiàng)。在MEDI元數(shù)據(jù)項(xiàng)中,雖然有些是可選項(xiàng),但是需要提供內(nèi)容的要求比較高,覆蓋面廣而細(xì)。

ODAS(Ocean Data Acquisition System)元數(shù)據(jù)是由海洋氣候?qū)W小組(Commission of Marine Meteorology,CMM)為了建立數(shù)據(jù)獲取系統(tǒng)(包括系泊浮標(biāo)、漂流浮標(biāo)、海上平臺(tái)等)綜合元數(shù)據(jù)庫(kù)而開發(fā)的。其內(nèi)容從結(jié)構(gòu)上分為標(biāo)題信息(對(duì)整個(gè)觀測(cè)平臺(tái)的描述,提供明確的平臺(tái)類型和浮標(biāo)類型等)和數(shù)據(jù)描述信息 (對(duì)觀測(cè)平臺(tái)上不同測(cè)量參數(shù)所用的傳感器特征的描述)。ODAS元數(shù)據(jù)主要針對(duì)海洋觀測(cè)數(shù)據(jù)獲取系統(tǒng),以觀測(cè)平臺(tái)為描述對(duì)象,側(cè)重于觀測(cè)平臺(tái)的特征和一些技術(shù)參數(shù),缺少對(duì)應(yīng)用元素的描述。

EDIOS(European Directory of the Initial Ocean-observing System)是在歐洲海洋觀測(cè)、測(cè)量和監(jiān)測(cè)系統(tǒng)中投入運(yùn)行的元數(shù)據(jù),以描述原始資料為主,側(cè)重對(duì)觀測(cè)方法、觀測(cè)內(nèi)容和使用儀器的精度相關(guān)信息的描述。其主要包括觀測(cè)平臺(tái)、地理位置、儀器、調(diào)查參數(shù)、觀測(cè)計(jì)劃信息和質(zhì)量管理體系和有關(guān)數(shù)據(jù)的聯(lián)系信息等。EDIOS元數(shù)據(jù)側(cè)重描述調(diào)查資料、重視資料的質(zhì)量,地理位置的描述也比較全面。

4 海洋核心元數(shù)據(jù)應(yīng)用

4.1 海洋核心元數(shù)據(jù)組成

元數(shù)據(jù)可以分為兩個(gè)層次,即全集元數(shù)據(jù)和核心元數(shù)據(jù)。全集元數(shù)據(jù)是對(duì)數(shù)據(jù)集進(jìn)行的全面描述。核心元數(shù)據(jù)是表示唯一標(biāo)識(shí)信息單元文檔所需要基本的最少數(shù)量的元數(shù)據(jù)元素和元數(shù)據(jù)實(shí)體。核心元數(shù)據(jù)在基本的最少元數(shù)據(jù)元素集合的基礎(chǔ)上,完整地描述數(shù)據(jù)集最重要的信息,滿足元數(shù)據(jù)的完整性。

本研究所設(shè)計(jì)的海洋觀測(cè)數(shù)據(jù)核心元數(shù)據(jù)模型主要根據(jù)國(guó)家海洋局發(fā)布的海洋行業(yè)標(biāo)準(zhǔn)《海洋信息元數(shù)據(jù)》并依托 “赤潮監(jiān)測(cè)與預(yù)警數(shù)據(jù)通信與集成系統(tǒng)”所需集成數(shù)據(jù)的特點(diǎn)以及后端赤潮預(yù)警預(yù)報(bào)應(yīng)用系統(tǒng)及用戶對(duì)數(shù)據(jù)的需求設(shè)計(jì)的。“赤潮監(jiān)測(cè)與預(yù)警數(shù)據(jù)通信與集成系統(tǒng)”是實(shí)時(shí)獲取并收集、集成船載現(xiàn)場(chǎng)監(jiān)測(cè)系統(tǒng)、浮標(biāo)監(jiān)測(cè)系統(tǒng) (大型深海浮標(biāo)、生態(tài)浮標(biāo)、哈希浮標(biāo)、光學(xué)浮標(biāo)等)、岸基站監(jiān)測(cè)系統(tǒng)等海洋環(huán)境觀測(cè)數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行初步質(zhì)量控制建立原始數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù),為赤潮預(yù)警預(yù)報(bào)系統(tǒng)提供實(shí)時(shí)數(shù)據(jù)并集成、管理赤潮預(yù)報(bào)產(chǎn)品、數(shù)據(jù)分析產(chǎn)品和遙感監(jiān)測(cè)產(chǎn)品等。最終實(shí)現(xiàn)對(duì)長(zhǎng)江口區(qū)域的赤潮預(yù)警、監(jiān)控為赤潮災(zāi)害應(yīng)急處置提供有效的信息服務(wù)并豐富赤潮監(jiān)控區(qū)的監(jiān)測(cè)手段。

本研究設(shè)計(jì)的海洋觀測(cè)數(shù)據(jù)核心元數(shù)據(jù)打破了以數(shù)據(jù)的獲取手段及觀測(cè)平臺(tái)為基礎(chǔ)的習(xí)慣數(shù)據(jù)集成方式,針對(duì)赤潮監(jiān)測(cè)、預(yù)報(bào)的需求,該元數(shù)據(jù)以觀測(cè)站位為基礎(chǔ)粒度,所以該核心元數(shù)據(jù)主要由數(shù)據(jù)標(biāo)識(shí)信息、數(shù)據(jù)內(nèi)容信息、數(shù)據(jù)質(zhì)量信息、數(shù)據(jù)發(fā)布信息和元數(shù)據(jù)信息等5個(gè)部分組成。此核心元數(shù)據(jù)能夠?yàn)楹蠖藬?shù)據(jù)應(yīng)用、分析處理系統(tǒng)明確的提供數(shù)據(jù)集覆蓋的區(qū)域、時(shí)間范圍;數(shù)據(jù)集質(zhì)量;數(shù)據(jù)集內(nèi)容及數(shù)據(jù)集存在形式、獲取方法等主要信息。圖1為海洋核心元數(shù)據(jù)基本組成圖。

圖1 海洋核心元數(shù)據(jù)基本組成

4.2 海洋核心元數(shù)據(jù)描述

海洋核心元數(shù)據(jù)主要由數(shù)據(jù)標(biāo)識(shí)信息、數(shù)據(jù)內(nèi)容信息、數(shù)據(jù)質(zhì)量信息、數(shù)據(jù)發(fā)布信息和元數(shù)據(jù)信息等5個(gè)元數(shù)據(jù)子集組成,既描述了數(shù)據(jù)集的主要信息、數(shù)據(jù)質(zhì)量信息和發(fā)布信息,又提供了元數(shù)據(jù)的格式和創(chuàng)建時(shí)間等相關(guān)信息[3]。

4.2.1 數(shù)據(jù)標(biāo)識(shí)信息

標(biāo)識(shí)信息是唯一標(biāo)識(shí)數(shù)據(jù)集的信息,包括數(shù)據(jù)集引用、摘要、關(guān)鍵字、數(shù)據(jù)集安全限制、數(shù)據(jù)分類和觀測(cè)站位等。引用、摘要和關(guān)鍵字等元素是顯示數(shù)據(jù)集內(nèi)容的主要信息;數(shù)據(jù)分類是對(duì)數(shù)據(jù)所屬觀測(cè)要素類別的說明,如生態(tài)、動(dòng)力、水文、氣象等;觀測(cè)站位明確了觀測(cè)數(shù)據(jù)獲取的站位信息由設(shè)定的站代碼表示,每個(gè)站位都對(duì)應(yīng)著一個(gè)明確的地理位置;用途限制是對(duì)數(shù)據(jù)集適用性的說明;考慮海洋觀測(cè)數(shù)據(jù)的敏感性,安全限制用于描述數(shù)據(jù)集使用的限制,明確哪些用戶有權(quán)限使用該數(shù)據(jù)集及使用該數(shù)據(jù)集需要遵守的相關(guān)規(guī)定。數(shù)據(jù)標(biāo)識(shí)信息描述了數(shù)據(jù)集的基本信息,是元數(shù)據(jù)的重要組成部分。圖2為數(shù)據(jù)標(biāo)識(shí)信息UML類圖。

圖2 數(shù)據(jù)標(biāo)識(shí)信息UML類圖

4.2.2 數(shù)據(jù)內(nèi)容信息

數(shù)據(jù)內(nèi)容信息是提供數(shù)據(jù)集內(nèi)容特征的描述信息,關(guān)于數(shù)據(jù)要素的說明,如數(shù)據(jù)集包含海洋觀測(cè)要素的類型以及相應(yīng)要素的名稱、單位、精確度等相關(guān)內(nèi)容特征信息。圖3為數(shù)據(jù)內(nèi)容信息UML類圖。

圖3 數(shù)據(jù)內(nèi)容信息UML類圖

4.2.3 數(shù)據(jù)質(zhì)量信息

數(shù)據(jù)質(zhì)量信息是對(duì)數(shù)據(jù)集質(zhì)量的總體評(píng)價(jià),包括數(shù)據(jù)覆蓋范圍、數(shù)據(jù)質(zhì)控方法、數(shù)據(jù)質(zhì)控標(biāo)識(shí)等。數(shù)據(jù)覆蓋范圍是對(duì)數(shù)據(jù)集的時(shí)間范圍和空間范圍的描述,由于連續(xù)、長(zhǎng)期的海洋觀測(cè)數(shù)據(jù)才能被應(yīng)用于海洋預(yù)報(bào)等數(shù)據(jù)分析中,所以需要明確數(shù)據(jù)集的時(shí)間序列及采樣頻率等;考慮到海洋觀測(cè)數(shù)據(jù)的地理空間分布性,空間范圍用于描述觀測(cè)數(shù)據(jù)的地理位置、采樣深度等。數(shù)據(jù)質(zhì)控方法是為甄別異常數(shù)據(jù)所采用的數(shù)據(jù)質(zhì)量控制方法;數(shù)據(jù)質(zhì)控標(biāo)識(shí)則是在該種質(zhì)控方法下數(shù)據(jù)的質(zhì)控結(jié)果的標(biāo)識(shí)。圖4為數(shù)據(jù)質(zhì)量信息UML類圖。

圖4 數(shù)據(jù)質(zhì)量信息UML類圖

4.2.4 數(shù)據(jù)發(fā)布信息

數(shù)據(jù)發(fā)布信息主要描述數(shù)據(jù)的格式及獲取數(shù)據(jù)的渠道等,包括數(shù)據(jù)量、數(shù)據(jù)傳輸選項(xiàng)和發(fā)布單位。數(shù)據(jù)格式是對(duì)數(shù)據(jù)集文件格式及其所占存儲(chǔ)空間大小的說明;數(shù)據(jù)傳輸選項(xiàng)則是獲取數(shù)據(jù)的傳輸路徑及方式的說明;發(fā)布單位描述了該數(shù)據(jù)集發(fā)布單位及相關(guān)責(zé)任人的基本信息。圖5為數(shù)據(jù)發(fā)布信息UML類圖。

圖5 數(shù)據(jù)發(fā)布信息UML類圖

4.2.5 元數(shù)據(jù)信息

元數(shù)據(jù)信息主要用于描述元數(shù)據(jù)使用的語種、字符集、創(chuàng)建時(shí)間以及所依據(jù)的標(biāo)準(zhǔn)等關(guān)于元數(shù)據(jù)的主要信息。圖6為元數(shù)據(jù)信息UML類圖。

圖6 元數(shù)據(jù)信息UML類圖

4.3 海洋元數(shù)據(jù)應(yīng)用

本研究的海洋環(huán)境數(shù)據(jù)核心元數(shù)據(jù)是在“赤潮監(jiān)測(cè)與預(yù)警數(shù)據(jù)通信與集成系統(tǒng)”的研發(fā)過程中設(shè)計(jì)的,并在該系統(tǒng)數(shù)據(jù)集成、管理、共享中得到了有效地應(yīng)用。該系統(tǒng)涉及了船載現(xiàn)場(chǎng)監(jiān)測(cè)、岸基站監(jiān)測(cè)、浮標(biāo)監(jiān)測(cè)等多種觀測(cè)平臺(tái)獲取的實(shí)時(shí)數(shù)據(jù),主要的觀測(cè)要素包括海洋動(dòng)力環(huán)境觀測(cè)要素、生態(tài)觀測(cè)要素、水文氣象觀測(cè)要素等。根據(jù)后端赤潮預(yù)警、數(shù)據(jù)應(yīng)用等對(duì)觀測(cè)數(shù)據(jù)的需求,本系統(tǒng)基于觀測(cè)站點(diǎn)為基礎(chǔ)粒度的核心元數(shù)據(jù)實(shí)現(xiàn)對(duì)海洋環(huán)境觀測(cè)數(shù)據(jù)的抽取。

在數(shù)據(jù)處理中心站建立實(shí)時(shí)數(shù)據(jù)庫(kù)服務(wù)器、元數(shù)據(jù)服務(wù)器以及數(shù)據(jù)共享服務(wù)器。后端應(yīng)用系統(tǒng)首先根據(jù)數(shù)據(jù)集的站位代碼和數(shù)據(jù)分類,確定數(shù)據(jù)標(biāo)識(shí),進(jìn)而明確數(shù)據(jù)集的時(shí)間和空間覆蓋范圍,數(shù)據(jù)質(zhì)量信息等,并通過數(shù)據(jù)發(fā)表信息獲得可用數(shù)據(jù)[4]。圖7為海洋元數(shù)據(jù)應(yīng)用流程。

圖7 海洋元數(shù)據(jù)應(yīng)用流程

5 結(jié)束語

海洋核心元數(shù)據(jù)是海洋環(huán)境觀測(cè)數(shù)據(jù)集成、管理及應(yīng)用、共享的基礎(chǔ)。本研究所設(shè)計(jì)的核心元數(shù)據(jù)是依據(jù)海洋行業(yè)標(biāo)準(zhǔn) 《海洋信息元數(shù)據(jù)》,主要為滿足 “赤潮監(jiān)測(cè)與預(yù)警數(shù)據(jù)通信與集成系統(tǒng)”的需求,作為一種精簡(jiǎn)的海洋元數(shù)據(jù)模型,為元數(shù)據(jù)在海洋觀測(cè)數(shù)據(jù)集成、管理、共享等領(lǐng)域中的應(yīng)用提供了一個(gè)框架。隨著項(xiàng)目的進(jìn)展、信息產(chǎn)品等不斷的集成,還將不斷地完善、擴(kuò)充該元數(shù)據(jù)以實(shí)現(xiàn)各種形式數(shù)據(jù)、信息產(chǎn)品的集成,并滿足更為廣泛的數(shù)據(jù)應(yīng)用的需求。

[1] 趙文濤,郭曉利.元數(shù)據(jù)技術(shù)研究[J].船舶科學(xué)技術(shù),2011,33(增刊):88-99.

[2] 薛惠芬.國(guó)際上幾種海洋元數(shù)據(jù)內(nèi)容剖析[J].國(guó)外海洋信息技術(shù),2004(3):25-28.

[3] 孟令奎,李三霞,張文,等.面向水文數(shù)據(jù)共享的水文核心元數(shù)據(jù)模型研究及應(yīng)用[J].水文,2012,32 (1):1-12.

[4] 張英俊,謝斌紅,郭勇義.元數(shù)據(jù)技術(shù)在科學(xué)數(shù)據(jù)共享平臺(tái)中的應(yīng)用[J].太原理工大學(xué)學(xué)報(bào),2009, 40(4):341-344.

國(guó)家高技術(shù)研究發(fā)展技術(shù)(“863”計(jì)劃)“赤潮監(jiān)測(cè)與預(yù)警系統(tǒng)集成與示范”項(xiàng)目(2007AA092004).