宋坤

（國家海洋技術(shù)中心 天津 300112）

1 引言

海洋是關(guān)系國家領(lǐng)土、海洋權(quán)益和軍事對抗的戰(zhàn)略空間和主題，其具有重要的政治、經(jīng)濟和軍事意義。海洋環(huán)境是指以人類生存與發(fā)展為中心，相對其存在并產(chǎn)生直接或間接影響的海洋自然和非自然全部要素的整體。海洋環(huán)境數(shù)據(jù)來源于人們對海洋環(huán)境的了解、觀測和掌握，是人類進行海洋開發(fā)、海洋環(huán)境保護、軍事保障和海洋管理的主要決策依據(jù)。

海洋環(huán)境數(shù)據(jù)覆蓋了水文、氣象、化學、生物、地質(zhì)、地球物理等多個學科，主要包括大氣（氣溫、風、雨、云、霧等）、水文（海水溫度、鹽度、深度、潮汐、海浪、海流等）以及海底地形、地貌、地質(zhì)、重力、磁力、海底擴張等各種數(shù)據(jù)信息［1］。由于數(shù)據(jù)采集的分布性、多源性和多樣性等，海洋環(huán)境觀測數(shù)據(jù)具有類型復雜、結(jié)構(gòu)多樣等顯著特征。有效地組織管理數(shù)據(jù)信息，實現(xiàn)觀測數(shù)據(jù)共享，對海洋環(huán)境科學研究和應(yīng)用具有重要的意義和價值。

大數(shù)據(jù)（Big Data）是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。而海洋環(huán)境觀測數(shù)據(jù)的多樣性、多源性、復雜性與大數(shù)據(jù)的主要特征數(shù)據(jù)量巨大（Volume）、數(shù)據(jù)類型多（Variety）、數(shù)據(jù)流動快（Velocity）和數(shù)據(jù)潛在價值（Value）相一致。在海洋環(huán)境觀測數(shù)據(jù)共享應(yīng)用中引入大數(shù)據(jù)的理念不止是為了更好地組織管理龐大的數(shù)據(jù)信息，其主要意義還在于更大地挖掘其潛在的應(yīng)用價值。

2 大數(shù)據(jù)理念

當氣象學家在做氣象地圖分析、物理學家在建立大物理仿真模型等過程中，由于數(shù)據(jù)量巨大而不能再用傳統(tǒng)的計算技術(shù)來實現(xiàn)時，大數(shù)據(jù)的概念在這些科學研究領(lǐng)域首先被提出來。隨著互聯(lián)網(wǎng)和電子商務(wù)的快速發(fā)展，大數(shù)據(jù)的理念和技術(shù)開始被實際應(yīng)用。大數(shù)據(jù)的新技術(shù)和新架構(gòu)也在面臨解決數(shù)據(jù)量大、數(shù)據(jù)種類多、數(shù)據(jù)流動速度快、數(shù)據(jù)不完備甚至不可理解等問題中得以不斷開發(fā)出來。

大數(shù)據(jù)應(yīng)用真正要實現(xiàn)的是“用數(shù)據(jù)說話”，而不再是直覺或者經(jīng)驗。其主要包括以下3 個方面：一是發(fā)現(xiàn)過去沒有發(fā)現(xiàn)的數(shù)據(jù)潛在價值；二是通過不同數(shù)據(jù)集的整合創(chuàng)造新的數(shù)據(jù)價值；三是把在一個領(lǐng)域已經(jīng)發(fā)揮過價值的數(shù)據(jù)再次應(yīng)用在新的領(lǐng)域創(chuàng)造出新的價值［2］。

3 海洋環(huán)境觀測數(shù)據(jù)共享需求

（1）隨著國家對海洋科學研究重視程度的提高，國家公益性專項、“863”計劃等的支持創(chuàng)建了許多海洋工程項目，對海洋生物、化學、物理等各領(lǐng)域進行了探究，同時也產(chǎn)生了許多的數(shù)據(jù)資料。但由于我國海洋觀測平臺的條塊管理模式使得觀測數(shù)據(jù)具有分布式、區(qū)域化的特征，很多數(shù)據(jù)只在某一個領(lǐng)域或某一個課題中得以利用，并未能充分挖掘數(shù)據(jù)的價值?？紤]到數(shù)據(jù)資源的分布式特征需要引入大數(shù)據(jù)的理念，建立數(shù)據(jù)共享機制，實現(xiàn)數(shù)據(jù)的重復利用，挖掘數(shù)據(jù)的潛在價值。

（2）由于海洋環(huán)境觀測數(shù)據(jù)獲取的手段不同、表述的方式不同，使得數(shù)據(jù)的類型多樣。按照數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化數(shù)據(jù)即存儲在數(shù)據(jù)庫中、可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)即格式較為規(guī)范的，可以通過某種方式解析得到每項的數(shù)據(jù)；無結(jié)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)是指非純文本類數(shù)據(jù)，沒有標準格式，無法直接解析出來相應(yīng)的值，如圖像、視頻等?；诤Ｑ蟓h(huán)境觀測數(shù)據(jù)的異構(gòu)性特征，需要借鑒大數(shù)據(jù)的數(shù)據(jù)存儲理念對異構(gòu)數(shù)據(jù)進行整合、對其存儲進行重新的規(guī)劃和部署。

（3）在傳感器技術(shù)、海洋觀測技術(shù)、通信技術(shù)的飛速發(fā)展形勢下，海洋環(huán)境觀測數(shù)據(jù)的獲取頻率在不斷提高，如何快速地完成數(shù)據(jù)的更新、分析并提供相應(yīng)的應(yīng)用及產(chǎn)品，是實現(xiàn)數(shù)據(jù)共享需要解決的重要問題。在數(shù)據(jù)存儲和計算中，可以采用大數(shù)據(jù)的分布式存儲＋計算平臺的模式，以滿足觀測數(shù)據(jù)的快速流動性。

4 海洋環(huán)境觀測數(shù)據(jù)共享平臺框架設(shè)計

依據(jù)海洋環(huán)境觀測數(shù)據(jù)共享的需求，結(jié)合近年來蓬勃發(fā)展的大數(shù)據(jù)的概念和技術(shù)，本研究提出了一種基于大數(shù)據(jù)理念的海洋環(huán)境觀測數(shù)據(jù)共享平臺框架，如圖1所示。

該框架主要由數(shù)據(jù)源、數(shù)據(jù)操作、數(shù)據(jù)存儲、數(shù)據(jù)訪問、數(shù)據(jù)分析、應(yīng)用服務(wù)以及相關(guān)數(shù)據(jù)共享管理制度和安全機制等組成。各層相對獨立，層間的耦合性比較小。

數(shù)據(jù)源處于框架的最底層主要包括需要共享的基礎(chǔ)數(shù)據(jù)、各類歷史資料、各項目和區(qū)域獲得的實時數(shù)據(jù)和延時數(shù)據(jù)，以及獲取和制作的信息產(chǎn)品等，作為整個平臺運行的基礎(chǔ)。

數(shù)據(jù)操作是對異構(gòu)的多源數(shù)據(jù)進行抽取、排序／過濾、轉(zhuǎn)換等處理，以實現(xiàn)數(shù)據(jù)的重新整合、部署，完成數(shù)據(jù)的規(guī)范化存儲。

數(shù)據(jù)訪問是各數(shù)據(jù)集與數(shù)據(jù)分析之間的橋梁，實現(xiàn)數(shù)據(jù)的提取以及分析信息的加載。

數(shù)據(jù)分析是根據(jù)應(yīng)用的需要對存儲的數(shù)據(jù)進行檢索、統(tǒng)計分析、信息產(chǎn)品制作、數(shù)據(jù)同化融合等分析處理，為應(yīng)用服務(wù)提供后臺并行計算。數(shù)據(jù)的操作、存儲、訪問及分析都要以元數(shù)據(jù)管理為依托。

應(yīng)用服務(wù)是平臺最終能提供給用戶的功能以及與用戶交互的接口，包括數(shù)據(jù)查詢、信息可視化、信息共享及數(shù)據(jù)評價與反饋等。

數(shù)據(jù)管理、安全和備份恢復是幫助進行數(shù)據(jù)治理、實現(xiàn)數(shù)據(jù)保護。

數(shù)據(jù)共享管理制度是指與海洋環(huán)境觀測數(shù)據(jù)共享相關(guān)的各種法律、法規(guī)和文件。

整個框架以多源數(shù)據(jù)為基礎(chǔ)，以提供各類應(yīng)用服務(wù)為目標，以數(shù)據(jù)管理、安全和共享管理制度為運行保障，最終實現(xiàn)海洋環(huán)境觀測數(shù)據(jù)的共享。

圖1 海洋環(huán)境觀測數(shù)據(jù)共享平臺框架

4．1 分布式數(shù)據(jù)存儲

為了有效地避免數(shù)據(jù)重復建設(shè)和信息孤島，以及海洋環(huán)境觀測數(shù)據(jù)異構(gòu)性的特征，需要基于基礎(chǔ)數(shù)據(jù)和元數(shù)據(jù)對多源異構(gòu)海洋環(huán)境觀測數(shù)據(jù)信息進行整合，并對信息資源的存儲進行重新部署［3］。根據(jù)數(shù)據(jù)涉及學科的不同、安全等級的不同和應(yīng)用需求的不同，將海洋觀測數(shù)據(jù)分為多個數(shù)據(jù)集，并通過關(guān)鍵數(shù)據(jù)集來維護其間的關(guān)系。關(guān)鍵數(shù)據(jù)集主要包括元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等。結(jié)合觀測數(shù)據(jù)應(yīng)用的情況，從管理和應(yīng)用效率的角度出發(fā)，采用數(shù)據(jù)集中存儲與分散存儲相結(jié)合的方式，共享頻率高公開數(shù)據(jù)存放在本地數(shù)據(jù)庫中。對于某項目或地區(qū)的非公開數(shù)據(jù)則存儲在數(shù)據(jù)生產(chǎn)者的數(shù)據(jù)庫中，其數(shù)據(jù)源的生產(chǎn)、維護更新和所有權(quán)歸數(shù)據(jù)生產(chǎn)者。該平臺只在元數(shù)據(jù)的描述中提供該類數(shù)據(jù)的數(shù)據(jù)標志信息、內(nèi)容信息及發(fā)布信息等。

4．2 信息共享機制

根據(jù)共享內(nèi)容的粒度差異，信息共享需求分為數(shù)據(jù)級共享和應(yīng)用級共享［4］。數(shù)據(jù)級共享指共享的內(nèi)容為數(shù)據(jù)，是粒度較低的共享，主要是純數(shù)據(jù)庫級的數(shù)據(jù)提取和發(fā)送。在該共享平臺中體現(xiàn)為以元數(shù)據(jù)為核心建立信息目錄，通過數(shù)據(jù)檢索提供數(shù)據(jù)查詢、信息共享等服務(wù)。應(yīng)用級共享指從應(yīng)用層面依據(jù)用戶需求提供經(jīng)數(shù)據(jù)統(tǒng)計分析、同化融合和科學計算等處理分析后的信息產(chǎn)品及資料，雖然展示的是信息產(chǎn)品，但實質(zhì)提供的是在Web Services技術(shù)規(guī)范下的與邏輯相關(guān)的通用服務(wù)共享功能，是粒度較高的共享。

4．3 數(shù)據(jù)更新和維護策略

海洋環(huán)境觀測數(shù)據(jù)的流動速度很快，數(shù)據(jù)的更新和維護關(guān)系到共享平臺的運行效果。在海洋信息交換領(lǐng)域數(shù)據(jù)源非常廣泛，新數(shù)據(jù)源的添加也是不可避免的，所以該平臺對數(shù)據(jù)的更新和維護采用動態(tài)管理的方式，對數(shù)據(jù)的加載、檢索、分析等，使用數(shù)據(jù)配置的關(guān)聯(lián)方式和管理方式，以適應(yīng)海洋數(shù)據(jù)源的變動，提高平臺對數(shù)據(jù)的支持能力。

5 結(jié)束語

所謂信息共享指信息的雙向流動，即任何單位或個人履行了把所掌握的全部或部分數(shù)據(jù)貢獻出來作為社會發(fā)展之用的義務(wù)，就有權(quán)利獲得其他人提供的數(shù)據(jù)或信息，只有形成信息的雙向流動才能促進海洋事業(yè)的發(fā)展［5］。本研究以海洋觀測數(shù)據(jù)共享的需求為依托，引入了大數(shù)據(jù)的理念，提出了一種海洋環(huán)境觀測數(shù)據(jù)共享平臺的框架，在理論與技術(shù)層面上為海洋觀測數(shù)據(jù)的共享提供了一種模型，以實現(xiàn)數(shù)據(jù)的共享及其潛在價值的挖掘。該平臺的搭建和運行還需要海洋信息管理制度的完善和海洋信息共享相關(guān)法律的建立，以保障數(shù)據(jù)生產(chǎn)者的利益和敏感數(shù)據(jù)的安全。

［1］李琳，郝建新，湯曉安，等．基于GML的海洋空間數(shù)據(jù)共享研究［J］．現(xiàn)代電子技術(shù)，2009（6）：147－153．

［2］趙剛．大數(shù)據(jù)技術(shù)與應(yīng)用實踐指南［M］．北京：電子工業(yè)出版社，2013：1－21．

［3］丁火平，陳建平，余劍平，等．基于SOA 架構(gòu)的數(shù)字城市信息共享方法研究［J］．計算機工程與設(shè)計，2009，30（20）：4632－4625．

［4］錢大君，吳建平，余柏蒗，等．上海市資源與環(huán)境數(shù)據(jù)共享平臺的實現(xiàn)［J］．計算機工程，2008，34（10）：283－285．

［5］常虹，于華明，鮑獻文，等．我國海洋數(shù)據(jù)信息共享現(xiàn)狀及立法建議［J］．海洋開發(fā)與管理，2008，25（1）：134－138．