耿姍姍,劉振民,梁建峰,楊錦坤,姜效典,張峰
(1.國家海洋信息中心 天津 300171;2.中國海洋大學 青島 266100)
多年來,我國已投入了巨額資金對管轄海域及國際海底的部分海域資源和環(huán)境進行了多次大規(guī)模的調(diào)查研究,獲得了大量的海洋科學數(shù)據(jù)。然而,由于歷史原因,不同歷史時期、不同業(yè)務體系的海洋資料存儲標準、調(diào)查儀器設備(觀測精度、訂正、校正值)、采用的計算公式、基準點、基準面及坐標系統(tǒng)等不統(tǒng)一,從而造成不同區(qū)塊、不同年代和不同項目獲取的海洋資料難以融合使用,海洋資料的整體應用價值得不到充分的發(fā)揮。為此有必要開展統(tǒng)一規(guī)范的海洋資料整合技術(shù),但海洋資料整合工作涉及多個管理部門和業(yè)務單位以及多類型的海洋資料,是一項復雜的系統(tǒng)工程。
與此同時,我國相關(guān)行業(yè)對海洋環(huán)境、資源、管理和海洋經(jīng)濟開發(fā)利用等海洋科學數(shù)據(jù)的需求也將越來越大,如何實現(xiàn)海量數(shù)據(jù)的集中管理與高效共享使用已經(jīng)成為海洋工作者亟須解決的重要任務。
為此,國家海洋局啟動了海洋公益性行業(yè)科研專項經(jīng)費項目——“基于數(shù)字海洋的資料整合與共享應用服務示范”,旨在解決上述問題,開展技術(shù)和服務模式的探索。
“基于數(shù)字海洋的資料整合與共享應用服務示范”公益項目正是立足于解決海洋資料整合技術(shù)與實現(xiàn)高效統(tǒng)一的數(shù)據(jù)管理與共享,利用先進的信息技術(shù),以我國數(shù)字海洋框架為基礎,實現(xiàn)海洋資料的整合和共享應用,充分發(fā)揮海洋資料在海洋經(jīng)濟、海洋綜合管理、海洋科研、社會公眾以及各類專題應用等領(lǐng)域的服務保障能力和對我國社會經(jīng)濟發(fā)展的支撐作用。
該項目的主要目的:一是為了研究我國歷史上多種來源、不同觀測手段、不同坐標基準的海洋環(huán)境調(diào)查資料以及目前我國業(yè)務化觀測的海洋環(huán)境資料整合處理方法,建立海洋環(huán)境資料整合技術(shù)體系,為全面開展我國海洋環(huán)境資料整合奠定技術(shù)基礎;二是為了進一步檢驗資料整合處理的技術(shù)水平,開展整合處理資料成果的環(huán)境信息產(chǎn)品研制;三是利用并行、虛擬化等新技術(shù),嘗試解決大數(shù)據(jù)量訪問效率低和資料共享使用的問題;四是利用目前我國數(shù)字海洋信息基礎框架建設成果,開展信息共享服務示范,進一步發(fā)揮我國數(shù)字海洋建設成果在海洋綜合管理和科學研究中的重要作用。
“基于數(shù)字海洋的資料整合與共享應用服務示范”項目的研究內(nèi)容主要包括以下幾方面。
針對現(xiàn)有的海洋水體環(huán)境資料,充分考慮其來源、獲取手段等特點,編制覆蓋面廣、可操作性強、規(guī)范性嚴的海洋資料的整合技術(shù)標準。在此基礎上開展海洋水體環(huán)境資料整合處理技術(shù)研究,包括海洋水文、海洋氣象資料的標準化,排重,各類質(zhì)量控制方法研究,訂正、平差計算,數(shù)據(jù)質(zhì)量評價及檢驗評估,要素抽取、轉(zhuǎn)換等整合處理技術(shù)研究,以及原始數(shù)據(jù)集、基礎數(shù)據(jù)集和要素數(shù)據(jù)集的整合處理。同時開展海洋環(huán)境地理產(chǎn)品研制,包括西北太平洋區(qū)域海洋水體環(huán)境基本場信息產(chǎn)品的研制、山東近岸區(qū)域基礎地理數(shù)據(jù)、水深數(shù)據(jù)更新及重點區(qū)域的三維全景產(chǎn)品制作。形成較為完善的海洋水體環(huán)境資料整合處理和應用技術(shù)方法體系以及各類海洋水體環(huán)境與基礎地理信息產(chǎn)品,為海洋綜合管理、應急指揮、科研等提供海洋環(huán)境地理基礎數(shù)據(jù)和產(chǎn)品支撐。
根據(jù)現(xiàn)有海底資料特點,開展海洋地質(zhì)、地球物理調(diào)查資料處理技術(shù)的標準化建設,包括建立和完善海洋沉積物粒度分析、黏土礦物分析、年齡測定的標準化技術(shù)、多源異構(gòu)的原始船測信息到基礎地球物理數(shù)據(jù)轉(zhuǎn)換的標準化技術(shù)等。同時開展海洋沉積物地質(zhì)數(shù)據(jù)分析技術(shù)標準化研發(fā)和示范性數(shù)據(jù)產(chǎn)品構(gòu)建、海洋多波束測量信息水深地形轉(zhuǎn)換的處理技術(shù)標準化研發(fā)和示范性數(shù)據(jù)產(chǎn)品構(gòu)建、海洋重力測量信息布格異常轉(zhuǎn)換的處理技術(shù)標準化研發(fā)和示范性數(shù)據(jù)產(chǎn)品構(gòu)建、海洋磁力測量信息異常轉(zhuǎn)換的處理技術(shù)標準化研發(fā)和示范性數(shù)據(jù)產(chǎn)品構(gòu)建、多源多時空海洋地球物理資料融合處理技術(shù)標準化研發(fā)和示范性數(shù)據(jù)產(chǎn)品構(gòu)建。旨在完善構(gòu)建覆蓋海洋地質(zhì)、地球物理各類調(diào)查資料采集處理技術(shù)體系,為今后相關(guān)數(shù)據(jù)的處理建立依據(jù)。
海洋資料管理和共享服務系統(tǒng)是實現(xiàn)海洋資料高效管理與有效服務的重要方式,因此建立一套基于并行數(shù)據(jù)庫和虛擬化工作空間的海洋資料管理和共享服務系統(tǒng),以適應海量數(shù)據(jù)的管理應用需求,同時滿足用戶對海洋資料的高效、安全的應用服務需求,并達到在科研用戶中示范應用的目的。通過建立安全、有效的數(shù)據(jù)庫,實現(xiàn)海洋數(shù)據(jù)在原始數(shù)據(jù)庫層、基礎數(shù)據(jù)庫層、要素數(shù)據(jù)庫層、產(chǎn)品數(shù)據(jù)庫層間的順暢流轉(zhuǎn)和有效存儲管理。同時用戶可通過海洋數(shù)據(jù)門戶網(wǎng)站進入虛擬化工作空間,使用系統(tǒng)數(shù)據(jù)進行模型運算、產(chǎn)品制作等,在提供高效數(shù)據(jù)應用服務的同時保障數(shù)據(jù)安全。
用戶通過該系統(tǒng)在數(shù)字海洋專網(wǎng)節(jié)點遠程檢索,使用該系統(tǒng)提供的全部海洋基礎資料。同時,用戶可利用系統(tǒng)的計算環(huán)境,制作專屬數(shù)據(jù)成果和產(chǎn)品,并通過系統(tǒng)向管理員提交下載申請,審核通過后,可將成果和產(chǎn)品下載到本地客戶端使用。
開展各類海洋資料共享服務建設,需要建立有效的數(shù)據(jù)交換渠道?;跀?shù)字海洋框架的互聯(lián)技術(shù),使多個業(yè)務節(jié)點實現(xiàn)即時資料的共享服務。通過已建設的數(shù)字海洋框架的系統(tǒng)接口、數(shù)據(jù)接口和應用服務接口,集成海洋環(huán)境與地理信息、要素數(shù)據(jù)庫和產(chǎn)品數(shù)據(jù)庫,開發(fā)具有并行數(shù)據(jù)高速檢索、ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、加載)、可視化表達和產(chǎn)品、在線即時分發(fā)服務等功能的海洋信息共享服務系統(tǒng),并基于此系統(tǒng)開發(fā)海洋災害應急專題信息服務系統(tǒng),為海洋災害(突發(fā)事件及自然災害)應急提供綜合信息產(chǎn)品服務[1]。
根據(jù)山東省海洋管理部門應用示范的需求,首先開展基于“數(shù)字海洋”信息基礎框架和海洋信息共享服務系統(tǒng)服務接口改建工作,進行應用中間件開發(fā)或業(yè)務系統(tǒng)改造,實現(xiàn)山東省海洋綜合管理業(yè)務系統(tǒng)自動化獲取海洋環(huán)境與基礎地理數(shù)據(jù);再通過數(shù)字海洋信息基礎框架、海洋信息共享服務系統(tǒng)和海洋防災減災專題應用,獲取數(shù)據(jù)產(chǎn)品和服務。由此實現(xiàn)在海域管理、海洋經(jīng)濟、海洋環(huán)保、防災減災等海洋管理業(yè)務工作中對海洋環(huán)境與基礎地理數(shù)據(jù)的共享應用,并對系統(tǒng)運行及共享應用效果進行評估,為其他沿海省、市、自治區(qū)海洋管理部門海洋環(huán)境與基礎地理信息共享提供示范(圖1)。
圖1 海洋資料整合與共享服務研究內(nèi)容
(1)建立完善海洋資料整合處理標準規(guī)范,按照面向應用服務的數(shù)據(jù)組織模式,改造現(xiàn)有檔案式管理模式的數(shù)據(jù),建立以要素為索引的整合數(shù)據(jù)和信息產(chǎn)品。
(2)建立基于并行數(shù)據(jù)庫的海量數(shù)據(jù)存儲、查詢和運算體系,提高大數(shù)據(jù)量快速處理能力。
(3)采用虛擬化技術(shù)為用戶提供海洋綜合管理和科研的數(shù)據(jù)應用工作空間,在滿足數(shù)據(jù)安全的基礎上為用戶提供高效的數(shù)據(jù)共享服務。
(4)建立海岸帶全景三維模型,實現(xiàn)基于三維球體模型的高分辨率和多視角實景影像以及背景場、實時數(shù)據(jù)的網(wǎng)絡化快速調(diào)用和訪問。
通過海洋資料整合技術(shù)研究,研制資料整合管理制度和海洋水文、氣象、地質(zhì)、地球物理資料的整合技術(shù)規(guī)程。基于數(shù)字海洋信息基礎框架,結(jié)合現(xiàn)有的業(yè)務體系,利用網(wǎng)絡互聯(lián)互通技術(shù),建立統(tǒng)一的數(shù)據(jù)通信網(wǎng)絡,對匯集、接收的海洋環(huán)境和基礎地理資料開展數(shù)據(jù)整合處理技術(shù)研究和應用,在資料整合的基礎上,初步形成原始數(shù)據(jù)、基礎數(shù)據(jù)、要素數(shù)據(jù)集和產(chǎn)品數(shù)據(jù)的數(shù)據(jù)庫管理體系,并構(gòu)建海洋環(huán)境與基礎地理資料共享服務示范系統(tǒng),面向政府機構(gòu)、高校單位等用戶開展示范應用??傮w流程如圖2所示。
圖2 海洋資料整合與共享服務總體技術(shù)流程
從項目內(nèi)容結(jié)構(gòu)和各項工作之間的前后邏輯關(guān)系上,總體技術(shù)流程包括以下幾個環(huán)節(jié)。
(1)開展資料整合技術(shù)研究,包括資料的標準化處理、排重技術(shù)的研制、數(shù)據(jù)質(zhì)量控制技術(shù)研究、訂正平差計算、數(shù)據(jù)質(zhì)量評價及檢驗評估、要素抽取轉(zhuǎn)換技術(shù)研究。開展示范性海洋信息產(chǎn)品的研制工作,包括插值方法、統(tǒng)計分析方法、客觀分析方法等統(tǒng)計方法的研制,以及不同類型不同分辨率產(chǎn)品的制作。建立海洋資料整合標準規(guī)范體系。對整合處理后資料,按照級別,分別建成原始數(shù)據(jù)、基礎數(shù)據(jù)、要素數(shù)據(jù)和產(chǎn)品數(shù)據(jù)庫。
(2)基于并行數(shù)據(jù)庫技術(shù)以及虛擬化應用研究,建立多層次海洋環(huán)境與地理信息數(shù)據(jù)庫系統(tǒng),研發(fā)海洋資料共享門戶軟件,為科研用戶搭建一個包括原始數(shù)據(jù)集、基礎數(shù)據(jù)集、要素數(shù)據(jù)集、產(chǎn)品數(shù)據(jù)集,訪問高效、安全可控,又方便共享使用的用戶工作空間。
(3)通過研究并引入當今最新的數(shù)據(jù)集成管理與數(shù)據(jù)共享技術(shù),連接數(shù)字海洋信息基礎框架現(xiàn)有數(shù)據(jù)倉庫作為信息共享服務系統(tǒng)數(shù)據(jù)庫的主要數(shù)據(jù)來源,并集成資料整合的要素數(shù)據(jù)庫和產(chǎn)品數(shù)據(jù)庫,通過系統(tǒng)集成,實現(xiàn)信息產(chǎn)品在線申請、審批、下載功能模式的整合,建立信息共享服務系統(tǒng)[2]。
(4)開展海洋業(yè)務網(wǎng)絡互連技術(shù)研究和網(wǎng)絡通信系統(tǒng)研發(fā),調(diào)研試點專網(wǎng)的網(wǎng)絡結(jié)構(gòu)、網(wǎng)絡技術(shù)、設備、節(jié)點接入等情況,對網(wǎng)間互連技術(shù)進行研究。以數(shù)字海洋專網(wǎng)為基礎,配置網(wǎng)間互聯(lián)設備,設置網(wǎng)間互聯(lián)管理節(jié)點,實現(xiàn)業(yè)務化海洋觀測、監(jiān)測資料的匯集、接收,為海洋資料整合工作提供資料基礎[3]。
(5)利用信息共享服務系統(tǒng),以山東省內(nèi)海洋業(yè)務系統(tǒng)為試點開展海洋綜合管理應用示范,并根據(jù)試點節(jié)點反饋意見,對海洋信息共享服務系統(tǒng)運行效果進行評估,改進應用方式手段,提高數(shù)據(jù)共享效率,為全國其他沿海省、市、自治區(qū)海洋管理部門使用海洋信息共享系統(tǒng)提供示范。
(1)本項目建立了規(guī)范的多源海洋資料整合技術(shù)體系,首先從資料整合技術(shù)與管理的標準規(guī)范入手,著重開展了各類典型的海洋環(huán)境與地理信息數(shù)據(jù)整合技術(shù)的研究,同時對海洋資料進行了系統(tǒng)的分類,包括原始數(shù)據(jù)、基礎數(shù)據(jù)、要素數(shù)據(jù)和產(chǎn)品數(shù)據(jù)。對于科學、合理的管理我國海洋資料具有較高的借鑒意義。
(2)將并行數(shù)據(jù)庫技術(shù)運用到海量海洋環(huán)境與地理信息數(shù)據(jù)的處理與管理工作中,并利用虛擬技術(shù)構(gòu)建用戶虛擬運行環(huán)境,用戶利用遠程虛擬桌面在服務器提供的虛擬空間進行數(shù)據(jù)應用,既保證了所有數(shù)據(jù)均未脫離服務器,又使用戶在授權(quán)后可方便地獲取運行結(jié)果。這是有效實現(xiàn)我國海洋資料集中管理、充分共享的新模式,對于發(fā)揮資料的應用價值具有重要意義。
(3)基于數(shù)字海洋球體系統(tǒng)建立高精度、大區(qū)域海岸帶三維全景數(shù)據(jù)模型,使海洋綜合管理者脫離傳統(tǒng)抽象的二維海岸帶場景,真正具有現(xiàn)場感、臨近感的工作狀態(tài),大大提高海洋綜合管理的有效性、準確性和時效性。這是實現(xiàn)我國精細化海洋綜合管理的有效途徑。
(4)該項目構(gòu)建基于數(shù)字海洋框架的海洋資料共享服務示范系統(tǒng)將有效推進我國海洋數(shù)據(jù)共享服務,其工作思路與運用的技術(shù)手段,可為同行業(yè)相關(guān)研究起到示范與參考作用。
[1]蔣冰,高通,冷科明,等.深圳市數(shù)字海洋建設淺析[J].海洋開發(fā)與管理,2013,30(7):40-42.
[2]石綏祥,雷波.中國數(shù)字海洋:理論與實踐[M].北京:海洋出版社,2011.
[3]張峰,金繼業(yè).我國數(shù)字海洋信息基礎框架建設進展[J].海洋信息,2012(2):1.