吳向榮,李郅明,余肖翰,張旭龍,賈峰
(1.中國海洋大學(xué),山東 青島 266100;2.國家海洋局廈門海洋預(yù)報(bào)臺,福建 廈門 361008)
海洋觀測預(yù)報(bào)數(shù)據(jù)信息是地方經(jīng)濟(jì)建設(shè)和社會發(fā)展重要基礎(chǔ)數(shù)據(jù)之一,也是海洋觀測預(yù)報(bào)業(yè)務(wù)機(jī)構(gòu)服務(wù)政府和社會公眾的一項(xiàng)重要內(nèi)容。經(jīng)濟(jì)的持續(xù)快速發(fā)展同時(shí)也對本地區(qū)防災(zāi)減災(zāi)、城市突發(fā)公共事件應(yīng)急保障、生態(tài)文明建設(shè)提出更高要求。近期國務(wù)院出臺的《海洋觀測預(yù)報(bào)管理?xiàng)l例》也體現(xiàn)了國家對海洋觀測預(yù)報(bào)工作的重視。
近年來,隨著各種新興技術(shù)的崛起和數(shù)據(jù)通訊技術(shù)的不斷完善,海洋觀測要素已由單一的數(shù)據(jù)類型發(fā)展為數(shù)據(jù)、視頻、遙感影像、地理信息等多種形式并存(張峰等,2009),而海洋預(yù)報(bào)產(chǎn)品也有文本文件、三維動(dòng)畫、音視頻等多種類型。由于各數(shù)據(jù)信息的來源不同,所采用的傳輸通訊方式也不盡相同,如數(shù)值預(yù)報(bào)所需的日本氣象廳JMAT213、美國NCEP-AVN 等再分析格點(diǎn)信息通過Internet 傳輸,實(shí)時(shí)觀測數(shù)據(jù)通過點(diǎn)對點(diǎn)傳輸,音視頻信息從視頻服務(wù)器共享等,如何對這些數(shù)據(jù)信息進(jìn)行有效集成分析(劉金等,2011),使多項(xiàng)業(yè)務(wù)間可以方便地相互配合、輔助、調(diào)用和校準(zhǔn),加快信息傳遞速度,同時(shí)又能提高自動(dòng)化程度。
目前常見的海洋觀測預(yù)報(bào)業(yè)務(wù)所涉及到的數(shù)據(jù)信息主要包括海洋觀測數(shù)據(jù)、海洋預(yù)報(bào)基礎(chǔ)信息、海洋數(shù)值預(yù)報(bào)初始條件及邊界條件數(shù)據(jù)、海洋環(huán)境預(yù)警報(bào)產(chǎn)品信息、海洋災(zāi)害信息數(shù)據(jù)、視頻監(jiān)控信息、地理信息數(shù)據(jù)等七大部分,具體如下:
海洋觀測數(shù)據(jù)分為實(shí)時(shí)觀測數(shù)據(jù)和非實(shí)時(shí)觀測數(shù)據(jù)。實(shí)時(shí)海洋環(huán)境監(jiān)測數(shù)據(jù)主要包括常規(guī)水文要素(潮汐、海浪、海表溫度、海表鹽度)、氣象要素(氣溫、氣壓、風(fēng)、相對濕度、降水、能見度)和海流、浮標(biāo)資料等;非實(shí)時(shí)數(shù)據(jù)包含各觀測要素的月報(bào)表、年報(bào)表數(shù)據(jù)。
海洋預(yù)報(bào)基礎(chǔ)信息主要有氣象圖片資料信息、臺風(fēng)資料信息以及其他相關(guān)信息。氣象圖片資料信息包括:衛(wèi)星云圖、雷達(dá)圖、高空及地面天氣圖,天氣預(yù)報(bào)圖等;臺風(fēng)資料信息包括臺風(fēng)路徑、臺風(fēng)中心氣壓、風(fēng)速、大風(fēng)半徑和臺風(fēng)登陸地點(diǎn)、時(shí)間等。
海洋數(shù)值預(yù)報(bào)初始條件及邊界條件數(shù)據(jù)主要包括日本氣象廳JMA-T213、美國NCEP 的再分析格點(diǎn)信息、國家海洋環(huán)境預(yù)報(bào)中心下發(fā)的大區(qū)域預(yù)報(bào)場。
海洋環(huán)境預(yù)警報(bào)產(chǎn)品主要有海洋環(huán)境日常預(yù)報(bào)、海水浴場環(huán)境預(yù)報(bào)、濱海旅游度假區(qū)環(huán)境預(yù)報(bào)、專項(xiàng)預(yù)報(bào)以及海洋預(yù)警報(bào)信息等。海洋環(huán)境日常預(yù)報(bào)包括潮汐、海浪、海表溫度、風(fēng)等要素;海水浴場環(huán)境預(yù)報(bào)包括水溫、海浪、游泳適宜度、最佳游泳時(shí)段、海氣溫差、沙灘娛樂指數(shù)、礁石淹沒時(shí)段;濱海旅游度假區(qū)環(huán)境預(yù)報(bào)包括海面狀況指數(shù)、海上觀光指數(shù)、海濱觀光指數(shù);專項(xiàng)預(yù)報(bào)包括潮汐、海表面風(fēng)速、視程、海流等;風(fēng)暴潮、災(zāi)害性海浪、海冰警報(bào)、海洋數(shù)值預(yù)報(bào)等海洋預(yù)警報(bào)信息。
海洋災(zāi)害信息主要有歷史上發(fā)生的風(fēng)暴潮、災(zāi)害性海浪、海冰、赤潮、海嘯等,包括其災(zāi)害成因、性質(zhì),災(zāi)害發(fā)生的時(shí)間、地點(diǎn)、影響區(qū)域、人員傷亡和對農(nóng)業(yè)、漁業(yè)資源、海岸工程、臨港工業(yè)、濱海旅游業(yè)等造成的經(jīng)濟(jì)損失等相關(guān)信息。
視頻監(jiān)控信息包括海水浴場、保護(hù)區(qū)、風(fēng)險(xiǎn)區(qū)、國管項(xiàng)目等實(shí)時(shí)視頻監(jiān)控信息。
地理信息數(shù)據(jù)包括海岸帶、近海最新的基礎(chǔ)地理信息GIS(遙感影像、地形圖點(diǎn)、線、面數(shù)據(jù)、DEM 數(shù)據(jù)等) 和區(qū)域、岸線的高程數(shù)據(jù)。
由于海洋觀測預(yù)報(bào)數(shù)據(jù)信息來源和展示的多樣性,海洋觀測與預(yù)報(bào)業(yè)務(wù)相互間的配合與調(diào)用很大程度上受到了阻礙。為了更好地應(yīng)用海洋觀測預(yù)報(bào)數(shù)據(jù)信息,拓展海洋觀測預(yù)報(bào)業(yè)務(wù),有必要對各項(xiàng)數(shù)據(jù)信息進(jìn)行集成,建立海洋環(huán)境數(shù)據(jù)倉庫(Data Warehouse,DW) (何偉 等,2009;胡金龍 等,2011)。海洋環(huán)境數(shù)據(jù)倉庫的主要功能設(shè)計(jì),是對不同來源、不同類型的各種數(shù)據(jù)信息進(jìn)行實(shí)時(shí)統(tǒng)計(jì)、同步分析與自動(dòng)入庫,并針對各數(shù)據(jù)信息進(jìn)行優(yōu)化存儲、安全管理,實(shí)現(xiàn)數(shù)據(jù)信息的存儲管理、更新維護(hù)、查詢與顯示、導(dǎo)入導(dǎo)出和數(shù)據(jù)信息分析調(diào)用等功能,同時(shí)也可以很方便地對海洋觀測數(shù)據(jù)與預(yù)報(bào)結(jié)果進(jìn)行比對,提升預(yù)報(bào)準(zhǔn)確性。
要進(jìn)行數(shù)據(jù)信息集成,首先需要對數(shù)據(jù)源與信息源進(jìn)行分析(李揚(yáng)等,2009)。數(shù)據(jù)信息的多源性體現(xiàn)在數(shù)據(jù)信息以Internet 網(wǎng)絡(luò)、專線(VPDN、幀中繼電路、SDH)、VSAT、局域網(wǎng)等多種不同網(wǎng)絡(luò)為載體進(jìn)行傳輸;數(shù)據(jù)信息的異構(gòu)性則表現(xiàn)為各數(shù)據(jù)信息以數(shù)據(jù)庫、文本文件、圖片、視頻文件等多種不同結(jié)構(gòu)的形式進(jìn)行存儲(劉偉等,2005)。具體如表1 所示。
從數(shù)據(jù)信息安全性考慮,如何有效地將這些不同來源、不同通訊方式的數(shù)據(jù)信息集成到統(tǒng)一的平臺上,將是解決多源數(shù)據(jù)信息集成的關(guān)鍵,分析目前國內(nèi)外相關(guān)的數(shù)據(jù)交換技術(shù),考慮采用安全隔離網(wǎng)閘完成數(shù)據(jù)交換(董保國,2004;張震,2002)。
安全隔離網(wǎng)閘由內(nèi)網(wǎng)主機(jī)系統(tǒng)、外網(wǎng)主機(jī)系統(tǒng)、隔離交換矩陣三部分組成(聯(lián)想安全隔離網(wǎng)閘產(chǎn)品特性與功能,2012)。內(nèi)/外網(wǎng)主機(jī)系統(tǒng)分別具有獨(dú)立的運(yùn)算和存儲單元,通過隔離交換矩陣完成應(yīng)用數(shù)據(jù)的封包、擺渡、拆包。內(nèi)外網(wǎng)主機(jī)系統(tǒng)的任一網(wǎng)絡(luò)接口與隔離交換矩陣的一個(gè)或多個(gè)固化通道綁定,實(shí)現(xiàn)多網(wǎng)接入功能。
在海洋觀測預(yù)報(bào)系統(tǒng)中采用外網(wǎng)主機(jī)系統(tǒng)的多個(gè)網(wǎng)口通過隔離交換矩陣與內(nèi)網(wǎng)主機(jī)系統(tǒng)的一個(gè)網(wǎng)口建立多對一的多網(wǎng)隔離交換方式完成數(shù)據(jù)交換與通訊。
表1 信息源通訊方式與存儲方式分析
通過安全隔離網(wǎng)閘的雙擺渡技術(shù),各個(gè)網(wǎng)絡(luò)不會直接連接,由于網(wǎng)閘采用硬件加速隔離交換卡進(jìn)行數(shù)據(jù)交換,沒有任何管理接口,因此內(nèi)外網(wǎng)主機(jī)系統(tǒng)之間無法進(jìn)行基于網(wǎng)絡(luò)協(xié)議的數(shù)據(jù)交換,從而從硬件層面保證了在海洋觀測預(yù)報(bào)數(shù)據(jù)信息集成中各數(shù)據(jù)源與信息源的安全隔離(陳舒,2010)。
在經(jīng)過數(shù)據(jù)源與信息源分析和網(wǎng)絡(luò)集成之后,海洋觀測預(yù)報(bào)各項(xiàng)數(shù)據(jù)信息的網(wǎng)絡(luò)情況與數(shù)據(jù)存儲形式已確認(rèn),開始著手海洋環(huán)境數(shù)據(jù)倉庫的數(shù)據(jù)信息匯總。
為實(shí)現(xiàn)數(shù)據(jù)信息匯總,首先要將各項(xiàng)數(shù)據(jù)信息同步傳輸?shù)街付ǚ?wù)器上統(tǒng)一操作。安全隔離網(wǎng)閘自帶的同步程序包含了客戶端與服務(wù)端,客戶端安裝在各個(gè)不同網(wǎng)絡(luò)數(shù)據(jù)源與信息源的機(jī)器上,服務(wù)端安裝在要做數(shù)據(jù)信息匯總的指定服務(wù)器上,并在網(wǎng)閘上配置相應(yīng)規(guī)則,可實(shí)現(xiàn)數(shù)據(jù)庫和文件夾同步更新,從而實(shí)現(xiàn)信息匯總。
安全隔離網(wǎng)閘自帶的數(shù)據(jù)庫同步功能提供了多種控制策略,支持“覆蓋文件”、“丟棄文件”、“重命名文件”等多種方式,可實(shí)現(xiàn)數(shù)據(jù)庫同步更新功能,實(shí)現(xiàn)對Oracle/SQLServer/DB2/Sybase 等多種主流數(shù)據(jù)庫系統(tǒng)的安全訪問控制。海洋預(yù)報(bào)基礎(chǔ)資料數(shù)據(jù)、海洋環(huán)境預(yù)警報(bào)產(chǎn)品信息、地理信息數(shù)據(jù)庫和部分海洋觀測數(shù)據(jù)都是基于SQLServer 2000/2005 數(shù)據(jù)庫存儲(Ramez et al,2002),應(yīng)用安全隔離網(wǎng)閘的數(shù)據(jù)庫同步功能進(jìn)行相關(guān)庫表的同步更新,其效果與本地局域網(wǎng)間數(shù)據(jù)庫的訂閱與發(fā)布相似。
安全隔離網(wǎng)閘的文件夾同步采用數(shù)字證書方式,實(shí)現(xiàn)雙向身份認(rèn)證,支持通信SSL 加密,實(shí)現(xiàn)密文傳輸,提供了強(qiáng)化的訪問用戶控制機(jī)制,對發(fā)送用戶、接收用戶的權(quán)限進(jìn)行單獨(dú)控制,同時(shí)支持Windows、Linux 等多種文件服務(wù)器平臺。通過文件夾同步功能,海洋觀測預(yù)報(bào)數(shù)據(jù)信息的文本、圖片、預(yù)警報(bào)單、音視頻文件等,都可以同步更新到指定服務(wù)器上。
至此,所有的海洋觀測預(yù)報(bào)數(shù)據(jù)信息都匯總到了指定的同一臺服務(wù)器上。
使用數(shù)據(jù)庫技術(shù)進(jìn)行數(shù)據(jù)信息集成,可為后期系統(tǒng)開發(fā)提供廣闊的應(yīng)用支持空間。本文選擇數(shù)據(jù)庫軟件SQLServer 2005 作為海洋環(huán)境數(shù)據(jù)倉庫的載體。新建一個(gè)數(shù)據(jù)庫取名SeaServer,使用網(wǎng)閘數(shù)據(jù)庫同步功能的海洋預(yù)報(bào)基礎(chǔ)資料數(shù)據(jù)、海洋環(huán)境預(yù)警報(bào)產(chǎn)品信息、地理信息數(shù)據(jù)庫和部分海洋觀測數(shù)據(jù)等數(shù)據(jù),可直接將相關(guān)庫表同步至SeaServer中,在此不再具體展開介紹。
通過文件夾同步功能,傳輸至服務(wù)器的數(shù)據(jù)信息有如下形式:
1、文本文件:海洋預(yù)報(bào)基礎(chǔ)資料數(shù)據(jù)、海洋環(huán)境預(yù)警報(bào)產(chǎn)品信息和部分海洋觀測數(shù)據(jù);
2、圖片文件:主要是各數(shù)值模式的海洋數(shù)值預(yù)報(bào)結(jié)果;
3、視頻文件:包括海水浴場、保護(hù)區(qū)、風(fēng)險(xiǎn)區(qū)、國管項(xiàng)目等實(shí)時(shí)視頻監(jiān)控信息。
要對這些文件進(jìn)行入庫管理,首先要對這些指定的同步文件夾進(jìn)行實(shí)時(shí)監(jiān)控。利用C#語言調(diào)用ICopyHook 編寫一個(gè)文件夾鉤子,用來實(shí)時(shí)監(jiān)控文件夾。ICopyHook 是一個(gè)用于創(chuàng)建拷貝鉤子處理程序COM 接口,可監(jiān)控文件夾內(nèi)對象是否被移動(dòng),拷貝,重命名或刪除等操作動(dòng)作。
文本文件入庫較易實(shí)現(xiàn),在數(shù)據(jù)庫中設(shè)計(jì)創(chuàng)建相對應(yīng)的庫表,定義相關(guān)要素,使用文件夾鉤子程序監(jiān)控收到的文本文件,使用C#語言定義對應(yīng)的二維數(shù)組進(jìn)行數(shù)據(jù)提取,并導(dǎo)入到對應(yīng)字段中。值得注意的是,海洋觀測數(shù)據(jù)的文本為分鐘級數(shù)據(jù),在設(shè)計(jì)數(shù)據(jù)庫表時(shí),必須設(shè)計(jì)好主鍵和唯一標(biāo)識,做好主鍵覆蓋和丟棄的策略,以避免文本文件重傳造成數(shù)據(jù)重復(fù)錄入,減少數(shù)據(jù)庫冗余度。
圖片文件主要是各數(shù)值模式的海洋數(shù)值預(yù)報(bào)結(jié)果,每個(gè)數(shù)值預(yù)報(bào)圖片展示了未來72 h 的計(jì)算結(jié)果,各模式圖片數(shù)量不盡相同,24 張、36 張、72張都有,每天分上午和下午兩次數(shù)值預(yù)報(bào)。其格式與命名都有非常固定的格式,如每天兩次的風(fēng)場數(shù)值模式的圖片以 windYYYYMMDD00.png 和windYYYY-MMDD12.png 為命名方式,00 和12 為世界時(shí),代表每天北京時(shí)08 時(shí)和20 時(shí)。在各數(shù)值模式中,首張圖片為實(shí)測資料,需保留,之后的圖片為高性能計(jì)算機(jī)計(jì)算出來的,僅作為預(yù)報(bào)的參考,保留三天后自動(dòng)刪除。
從入庫方面,建立一張數(shù)值預(yù)報(bào)庫表,建立字段“模式名稱”和“時(shí)間”,保存各數(shù)值模式第一張圖片的時(shí)間(展示時(shí)選擇起始時(shí)間即可)。各數(shù)值模式的結(jié)果都以獨(dú)立文件夾形式存在,通過文件夾鉤子監(jiān)控,入庫第一張圖片的時(shí)間點(diǎn),三天后將該圖片移動(dòng)至指定位置存儲,剩余圖片則刪除。
由于網(wǎng)絡(luò)并非直連,無法接收實(shí)時(shí)視頻,只能通過文件夾同步存儲的視頻文件。視頻文件為每半小時(shí)接收一個(gè),由于視頻文件占用空間較大,且過了預(yù)報(bào)時(shí)效沒有保存價(jià)值,所以設(shè)計(jì)保留近三天的視頻文件。
視頻文件的命名較有規(guī)律,為“地名簡寫”+“YYYYMMDDhhmm”的格式。設(shè)計(jì)對應(yīng)庫表,添加字段“地點(diǎn)名稱”和“時(shí)間”,通過文件夾鉤子讀取相應(yīng)信息,當(dāng)時(shí)效超過三天時(shí)則刪除視頻,并刪除數(shù)據(jù)庫對應(yīng)記錄。
海洋環(huán)境數(shù)據(jù)倉庫的構(gòu)建,是建設(shè)科學(xué)客觀的、可以業(yè)務(wù)化運(yùn)行的實(shí)時(shí)在線觀測預(yù)報(bào)集成服務(wù)系統(tǒng)的前提。目前,系統(tǒng)構(gòu)建的海洋數(shù)據(jù)倉庫共15 張庫表,涵蓋近百萬條不同結(jié)構(gòu)的數(shù)據(jù)記錄,業(yè)務(wù)化運(yùn)行正常。
海洋環(huán)境數(shù)據(jù)倉庫的搭建,為海洋觀測預(yù)報(bào)信息服務(wù)展示系統(tǒng)的研發(fā)提供廣闊的應(yīng)用支持空間。下一步將開展基于海洋環(huán)境數(shù)據(jù)信息的應(yīng)用分析及展示。
圖2 海洋環(huán)境數(shù)據(jù)倉庫構(gòu)建結(jié)果
圖3 觀測預(yù)報(bào)信息服務(wù)展示系統(tǒng)框架圖
圖4 廈門海域海洋觀測預(yù)報(bào)信息服務(wù)系統(tǒng)
基于多源異構(gòu)海洋環(huán)境數(shù)據(jù)與信息集成的海洋觀測預(yù)報(bào)信息服務(wù)系統(tǒng)研發(fā)主要包含觀測數(shù)據(jù)質(zhì)控及實(shí)時(shí)數(shù)據(jù)展示、預(yù)報(bào)制作與發(fā)布以及視頻信息在線三個(gè)功能模塊,通過B/S 架構(gòu),在GIS 平臺進(jìn)行展示。借助該系統(tǒng),社會公眾通過網(wǎng)絡(luò)訪問將很方便地實(shí)時(shí)了解觀測海域的海洋觀測基礎(chǔ)數(shù)據(jù)、預(yù)警報(bào)產(chǎn)品信息,并可通過視頻查看海水浴場衛(wèi)生環(huán)境、海面漂浮物、游泳人數(shù),對海面狀況一目了然,大大提升海洋預(yù)報(bào)信息的普及性、實(shí)用性。
廈門海域海洋觀測預(yù)報(bào)信息服務(wù)展示系統(tǒng)的建成將為防災(zāi)減災(zāi)工作提供基礎(chǔ)能力支撐,為涉海工程和資源規(guī)劃提供基礎(chǔ)數(shù)據(jù),為海上工程、交通運(yùn)輸、濱海旅游等涉海產(chǎn)業(yè)提供信息安全保障,為地方經(jīng)濟(jì)社會及民眾生活提供更多的海洋信息服務(wù)。
今后,隨著觀測預(yù)報(bào)業(yè)務(wù)的不斷發(fā)展,我們將不斷豐富觀測預(yù)報(bào)集成服務(wù)系統(tǒng)的內(nèi)容,繼續(xù)完善數(shù)據(jù)信息源,改進(jìn)系統(tǒng)數(shù)據(jù)信息集成方式,以期提供一個(gè)更加完善、實(shí)用的系統(tǒng),更好地為海洋防災(zāi)減災(zāi)指揮工作提供技術(shù)支撐。
Ramez Elmasri,Shamkant B Navathe,著.邵佩英,張坤龍,等,譯,2002.數(shù)據(jù)庫系統(tǒng)基礎(chǔ)(第三版).北京:人民郵電出版社.
陳舒,2010.異構(gòu)數(shù)據(jù)庫同步模型的研究與實(shí)現(xiàn).上海:華東師范大學(xué).
董保國,2004.網(wǎng)絡(luò)安全的物理隔離技術(shù).計(jì)算機(jī)與自動(dòng)化,23(2):108-110.
何偉,郝雅青,2009.一種網(wǎng)絡(luò)隔離環(huán)境下數(shù)據(jù)庫同步方法的實(shí)踐.計(jì)算機(jī)安全,(12):15-21.
胡金龍,許衛(wèi),等,2011.異構(gòu)數(shù)據(jù)庫同步復(fù)制技術(shù)研究與實(shí)現(xiàn).長江科學(xué)院報(bào),28(6):71-75.
聯(lián)想安全隔離網(wǎng)閘產(chǎn)品特性與功能,2012. http://www.leadsec.com.cn/Product/Default.aspx@RootID=80&ParentID=164&ClassID=179.
李楊,李文天,2009.多源空間數(shù)據(jù)集成技術(shù)綜述與前景展望,測繪與空間地理信息,32(1):09-14.
劉偉,佟俐鵑,2005.異構(gòu)數(shù)據(jù)庫集成中的變化捕獲方案設(shè)計(jì).計(jì)算機(jī)應(yīng)用研究,22(7):213-215.
劉金,朱吉才,姜曉軼,等,2011.海洋信息組織與存儲模型研究及其在“數(shù)字海洋”中的應(yīng)用.海洋通報(bào),30(1):73-80.
張震,2002.網(wǎng)絡(luò)隔離的技術(shù)分析與安全模型的應(yīng)用.數(shù)據(jù)通信,(3):22-28.
張峰,石綏祥,殷汝廣,等,2009.數(shù)字海洋中數(shù)據(jù)體系結(jié)構(gòu)研究.海洋通報(bào),28(4):1-8.
周順平,魏利萍,2008.多源異構(gòu)空間數(shù)據(jù)集成的研究.測繪通報(bào),(5):11-15.