李 璟 ， 吳 萍

（1.中國(guó)海洋大學(xué) 青島 266100；2.國(guó)家海洋局東海預(yù)報(bào)中心 上海 200081）

隨著海洋經(jīng)濟(jì)的高速發(fā)展，各級(jí)部門、各涉海行業(yè)以及社會(huì)公眾對(duì)預(yù)報(bào)服務(wù)質(zhì)量越發(fā)重視。區(qū)域范圍內(nèi)海洋預(yù)報(bào)質(zhì)量評(píng)估是提升各機(jī)構(gòu)的預(yù)警報(bào)能力和服務(wù)水平的有效途徑，同時(shí)還有助于預(yù)報(bào)減災(zāi)部門有效管理預(yù)報(bào)服務(wù)質(zhì)量，對(duì)防災(zāi)減災(zāi)具有積極的意義。

海洋預(yù)報(bào)質(zhì)量評(píng)估最直接的方法是將海洋預(yù)報(bào)數(shù)據(jù)與海洋觀測(cè)實(shí)況數(shù)據(jù)進(jìn)行比較。海洋觀測(cè)數(shù)據(jù)來(lái)源廣泛，如岸基站、浮標(biāo)、雷達(dá)等。隨著通訊技術(shù)的發(fā)展和數(shù)據(jù)處理技術(shù)的廣泛應(yīng)用，實(shí)況觀測(cè)數(shù)據(jù)通過(guò)傳輸和處理后實(shí)時(shí)錄入到數(shù)據(jù)庫(kù)中，為預(yù)報(bào)和實(shí)況數(shù)據(jù)的比對(duì)提供及時(shí)有效的數(shù)據(jù)。但如何集中、有效地獲取區(qū)域內(nèi)各預(yù)報(bào)機(jī)構(gòu)的海洋預(yù)報(bào)產(chǎn)品是當(dāng)前亟待解決的問題。

本文旨在通過(guò)分析區(qū)域內(nèi)各機(jī)構(gòu)海洋預(yù)報(bào)產(chǎn)品的數(shù)據(jù)源和提供方式，采用數(shù)據(jù)同步、Web service和數(shù)據(jù)抓取3種方式獲取預(yù)報(bào)產(chǎn)品，經(jīng)抽取和清洗等處理后將預(yù)報(bào)區(qū)域、預(yù)報(bào)要素、預(yù)報(bào)值、預(yù)報(bào)時(shí)效等信息錄入數(shù)據(jù)庫(kù)中，為預(yù)報(bào)質(zhì)量評(píng)估提供數(shù)據(jù)。

1 研究對(duì)象分析

本研究的對(duì)象為東海區(qū)7家預(yù)報(bào)機(jī)構(gòu)在網(wǎng)站上發(fā)布的海洋預(yù)報(bào)產(chǎn)品。從各預(yù)報(bào)產(chǎn)品涉及的要素以及是否有符合比對(duì)條件的實(shí)況資料兩方面進(jìn)行分析。例如：預(yù)報(bào)產(chǎn)品有預(yù)報(bào)要素（如水溫），但可供對(duì)比的測(cè)點(diǎn)的實(shí)況數(shù)據(jù)里沒有該要素或是數(shù)據(jù)的連續(xù)性較差，無(wú)法進(jìn)行比對(duì)，因此，不選取該產(chǎn)品的此項(xiàng)要素作為提取對(duì)象。同時(shí)，綜合考慮預(yù)報(bào)產(chǎn)品多要素提取的復(fù)雜性，此次研究?jī)H選取浪高作為提取對(duì)象，由此確定從各機(jī)構(gòu)提取的預(yù)報(bào)產(chǎn)品的預(yù)報(bào)區(qū)域和預(yù)報(bào)時(shí)效如表1所示。

表1 預(yù)報(bào)產(chǎn)品提取列表

綜合表1分析結(jié)果，本次研究提取的對(duì)象符合下述條件：預(yù)報(bào)區(qū)域?yàn)楦鳈C(jī)構(gòu)轄區(qū)內(nèi)1個(gè)以上的預(yù)報(bào)區(qū)域，預(yù)報(bào)要素為浪高，預(yù)報(bào)時(shí)效為24 h。

2 研究方法

根據(jù)確定的研究對(duì)象，分析其所在網(wǎng)站發(fā)布預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源和提供方式，從而得出數(shù)據(jù)提取的方法。

通常情況下，網(wǎng)站發(fā)布數(shù)據(jù)的來(lái)源主要有兩類：（1）后臺(tái)有數(shù)據(jù)庫(kù)服務(wù)，發(fā)布頁(yè)面直接從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)并顯示在頁(yè)面上；（2）后臺(tái)通過(guò)對(duì)指定文件內(nèi)容進(jìn)行解析并在頁(yè)面發(fā)布所得的預(yù)報(bào)數(shù)據(jù)，或是通過(guò)頁(yè)面編輯器直接將數(shù)據(jù)寫入頁(yè)面相應(yīng)位置實(shí)現(xiàn)預(yù)報(bào)發(fā)布。

對(duì)于通過(guò)數(shù)據(jù)庫(kù)發(fā)布預(yù)報(bào)產(chǎn)品的，如果開放數(shù)據(jù)庫(kù)或是提供Web service接口，則可根據(jù)訪問說(shuō)明文檔，直接讀取數(shù)據(jù)并寫入本地?cái)?shù)據(jù)庫(kù)。對(duì)于通過(guò)文檔上傳或網(wǎng)頁(yè)編輯器方式發(fā)布預(yù)報(bào)產(chǎn)品的，由于后臺(tái)不具備數(shù)據(jù)庫(kù)，無(wú)法通過(guò)直接訪問的方式獲取數(shù)據(jù)。因此，需要研究其他的數(shù)據(jù)提取方法，能夠既不增加預(yù)報(bào)機(jī)構(gòu)工作量同時(shí)又不影響預(yù)報(bào)發(fā)布。數(shù)據(jù)抓取在數(shù)據(jù)提取方面是一種常見的方法，技術(shù)也較為成熟，不需要發(fā)布端提供額外的數(shù)據(jù)服務(wù)，可以有效地解決如何從無(wú)數(shù)據(jù)庫(kù)的頁(yè)面獲取數(shù)據(jù)的問題。

綜上所述，結(jié)合數(shù)據(jù)來(lái)源和技術(shù)實(shí)現(xiàn)兩方面因素，本研究采用數(shù)據(jù)同步、Web service、數(shù)據(jù)抓取3種方式，分別針對(duì)提供數(shù)據(jù)庫(kù)開放、提供數(shù)據(jù)接口和上述兩者均不提供的3種情況，實(shí)現(xiàn)提取預(yù)報(bào)產(chǎn)品中的預(yù)報(bào)要素值。各機(jī)構(gòu)預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源和本次研究的數(shù)據(jù)獲取方式如表2所示。

表2 預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源和獲取方式列表

3 實(shí)現(xiàn)過(guò)程

本研究通過(guò)搭建一個(gè)預(yù)報(bào)產(chǎn)品集成系統(tǒng)（包含一組程序和服務(wù)以及一個(gè)集成數(shù)據(jù)庫(kù)）實(shí)現(xiàn)預(yù)報(bào)數(shù)據(jù)的自動(dòng)化提取和入庫(kù)，如圖1所示。其中，程序和服務(wù)用于實(shí)現(xiàn)數(shù)據(jù)的同步、訪問、抓取以及錄入動(dòng)作的周期性和自動(dòng)化；數(shù)據(jù)庫(kù)則接收和存儲(chǔ)經(jīng)由程序處理過(guò)的各類數(shù)據(jù)。

3.1 集成數(shù)據(jù)庫(kù)

本研究采用主流的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)Microsoft SQL Server搭建數(shù)據(jù)庫(kù)，用于存儲(chǔ)各機(jī)構(gòu)的預(yù)報(bào)數(shù)據(jù)。數(shù)據(jù)庫(kù)主要包含兩張數(shù)據(jù)表：基礎(chǔ)信息表和預(yù)報(bào)信息表。前者用于存儲(chǔ)各機(jī)構(gòu)預(yù)報(bào)產(chǎn)品的基本信息，關(guān)鍵字段包括：基礎(chǔ)信息編號(hào)、預(yù)報(bào)機(jī)構(gòu)名稱、預(yù)報(bào)名稱、預(yù)報(bào)區(qū)域、預(yù)報(bào)要素、預(yù)報(bào)時(shí)效。后者用于存儲(chǔ)通過(guò)程序提取的所有預(yù)報(bào)數(shù)據(jù)，關(guān)鍵字段包括：記錄編號(hào)、預(yù)報(bào)產(chǎn)品編號(hào)、發(fā)布時(shí)間、預(yù)報(bào)值。兩者通過(guò)基礎(chǔ)信息表的基礎(chǔ)信息編號(hào)進(jìn)行關(guān)聯(lián)，如圖2所示。

圖2 預(yù)報(bào)產(chǎn)品集成數(shù)據(jù)庫(kù)示意圖

3.2 數(shù)據(jù)提取程序

根據(jù)各機(jī)構(gòu)提供預(yù)報(bào)數(shù)據(jù)的方式，本研究采用數(shù)據(jù)同步、Web service、數(shù)據(jù)抓取3種方式，分別開發(fā)數(shù)據(jù)提取和入庫(kù)程序，并通過(guò)建立對(duì)應(yīng)的Windows服務(wù)進(jìn)行周期性運(yùn)行，實(shí)現(xiàn)自動(dòng)化和長(zhǎng)期化的效果。

3.2.1 數(shù)據(jù)同步方式

根據(jù)對(duì)廈門預(yù)報(bào)機(jī)構(gòu)網(wǎng)站發(fā)布的預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源進(jìn)行分析可知，其后臺(tái)具備數(shù)據(jù)庫(kù)，并且開放數(shù)據(jù)庫(kù)訪問，因而采取數(shù)據(jù)同步的方式就可提取所需預(yù)報(bào)數(shù)據(jù)，過(guò)程如下：

1） 根據(jù)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的地址、用戶名、密碼、數(shù)據(jù)庫(kù)名分別建立與兩者的連接。

2） 使用SQL語(yǔ)句從源數(shù)據(jù)庫(kù)表中查詢得出預(yù)報(bào)日期、發(fā)布時(shí)間、預(yù)報(bào)時(shí)效、預(yù)報(bào)區(qū)域、要素值的數(shù)據(jù)集。

3） 根據(jù)數(shù)據(jù)集中的預(yù)報(bào)時(shí)效、預(yù)報(bào)區(qū)域連同預(yù)報(bào)機(jī)構(gòu)在目標(biāo)數(shù)據(jù)庫(kù)中的基礎(chǔ)信息表得出預(yù)報(bào)產(chǎn)品編號(hào)，連同數(shù)據(jù)集中的發(fā)布時(shí)間和要素值寫入預(yù)報(bào)信息表。

程序采用的是ADO.NET實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀、寫操作編程。

3.2.2 Web service方式

根據(jù)對(duì)福建和溫州兩家預(yù)報(bào)機(jī)構(gòu)網(wǎng)站發(fā)布的預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源進(jìn)行分析可知，兩者均具備數(shù)據(jù)庫(kù)基礎(chǔ)，且均提供Web service接口。因此，可以通過(guò)采用Web service方式，分別訪問兩個(gè)機(jī)構(gòu)的數(shù)據(jù)接口提取到的所需預(yù)報(bào)數(shù)據(jù)。

Web service技術(shù)目前已廣泛地應(yīng)用于各類信息系統(tǒng)開發(fā)的數(shù)據(jù)集成環(huán)節(jié)。Web service是一個(gè)可編程的Web應(yīng)用程序，直觀地表現(xiàn)為向外部提供出一個(gè)可以被調(diào)用的API[1]。Web service的協(xié)議、接口和注冊(cè)服務(wù)可以使用松散耦合的方式協(xié)調(diào)工作[2]。服務(wù)描述自身接口的特性、參數(shù)、數(shù)據(jù)類型等但對(duì)于服務(wù)用戶而言，隱藏了實(shí)現(xiàn)服務(wù)的細(xì)節(jié)[2]，便于程序語(yǔ)言、中間層組件或平臺(tái)的整合[3]。因此，Web service的實(shí)現(xiàn)和其所需的軟硬件平臺(tái)以及編寫服務(wù)所用的編程語(yǔ)言是相對(duì)獨(dú)立的。

由于本研究涉及的網(wǎng)站的開發(fā)語(yǔ)言、數(shù)據(jù)庫(kù)環(huán)境不盡相同，因此，在確定數(shù)據(jù)獲取方式時(shí)需要考慮如何規(guī)避由于網(wǎng)站異構(gòu)造成的復(fù)雜性。Web service的應(yīng)用程序具有松散耦合的特性[4]，支持跨平臺(tái)和跨語(yǔ)言。同時(shí)，該技術(shù)具有很好的封裝性、集成性，傳輸透明，框架穩(wěn)定，且發(fā)展也比較成熟。因此，采用Web service方式既可以穩(wěn)定地從福建和溫州發(fā)布的數(shù)據(jù)服務(wù)中獲取到預(yù)報(bào)產(chǎn)品，又能夠規(guī)避由于網(wǎng)站異構(gòu)造成的復(fù)雜性。

通過(guò)Web service方式提取產(chǎn)品的實(shí)現(xiàn)過(guò)程包括：根據(jù)兩家機(jī)構(gòu)提供的接口說(shuō)明文檔對(duì)訪問方法的描述，編寫程序?qū)崿F(xiàn)預(yù)報(bào)數(shù)據(jù)集提取和對(duì)原始數(shù)據(jù)進(jìn)行抽取、清理、轉(zhuǎn)換后寫入本地?cái)?shù)據(jù)庫(kù)，流程如3所示。

圖3 Web Service方式提取數(shù)據(jù)流程圖

上述過(guò)程主要包括4個(gè)步驟：

1）獲取原始數(shù)據(jù)集：創(chuàng)建訪問Web service接口的實(shí)例，通過(guò)循環(huán)得到某預(yù)報(bào)單的包含所有預(yù)報(bào)區(qū)域的數(shù)據(jù)集。

2）篩選數(shù)據(jù)集：在原始數(shù)據(jù)集范圍內(nèi)通過(guò)匹配預(yù)報(bào)區(qū)域關(guān)鍵字，提取目標(biāo)區(qū)域的數(shù)據(jù)子集。

3）解析數(shù)據(jù)集：依次將預(yù)報(bào)區(qū)域、預(yù)報(bào)時(shí)間、預(yù)報(bào)時(shí)效、預(yù)報(bào)要素值、預(yù)報(bào)單信息等值綁定到實(shí)體并追加入目標(biāo)數(shù)據(jù)集。其中預(yù)報(bào)要素值提取時(shí)需要使用正規(guī)表達(dá)式將要素?cái)?shù)值從數(shù)據(jù)子集中解析出來(lái)。

4）寫入數(shù)據(jù)庫(kù)：將目標(biāo)數(shù)據(jù)集寫入本地?cái)?shù)據(jù)庫(kù)的預(yù)報(bào)信息表內(nèi)。

3.2.3 數(shù)據(jù)抓取方式

根據(jù)對(duì)浙江、江蘇、閩東、寧波4家預(yù)報(bào)機(jī)構(gòu)網(wǎng)站發(fā)布的預(yù)報(bào)產(chǎn)品的數(shù)據(jù)來(lái)源進(jìn)行分析可知，其發(fā)布后臺(tái)均不具備數(shù)據(jù)庫(kù)。對(duì)于上述4家機(jī)構(gòu)采用的數(shù)據(jù)獲取方式需綜合考慮對(duì)預(yù)報(bào)工作量和數(shù)據(jù)安全兩方面的影響。本研究采用的數(shù)據(jù)抓取技術(shù)可以解決此類問題。

數(shù)據(jù)抓取是搜索引擎常用的一種技術(shù)，可以智能地從網(wǎng)絡(luò)資源上提取可用的數(shù)據(jù)[6]，為從海量的互聯(lián)網(wǎng)數(shù)據(jù)中獲取有用信息提供了一種便捷的途徑。數(shù)據(jù)抓取程序的基本原理是分析網(wǎng)頁(yè)的內(nèi)容和屬性，并建立一個(gè)內(nèi)容索引用于提供搜索查詢服務(wù)。程序運(yùn)行過(guò)程中，逐一對(duì)網(wǎng)頁(yè)分析文檔內(nèi)容進(jìn)行信息抽取的同時(shí)，將發(fā)現(xiàn)的新鏈接歸入待分析隊(duì)列中，迭代遍歷預(yù)設(shè)范圍內(nèi)的所有頁(yè)面[7]。抓取過(guò)程一般包括：確定抓取目標(biāo)網(wǎng)址、分析頁(yè)面內(nèi)容和結(jié)構(gòu)并確定抓取規(guī)則以及借助爬網(wǎng)程序根據(jù)規(guī)則抓取數(shù)據(jù)3個(gè)步驟[5]。

由于數(shù)據(jù)抓取技術(shù)可以直接解析發(fā)布頁(yè)面進(jìn)而獲得預(yù)報(bào)信息，不需發(fā)布方提供額外的接口或產(chǎn)品，因此，不會(huì)影響工作量和后臺(tái)數(shù)據(jù)安全。

通過(guò)分析4家機(jī)構(gòu)預(yù)報(bào)頁(yè)面的結(jié)構(gòu)和內(nèi)容，確定需要抓取的發(fā)布頁(yè)面的地址形式（即固定的還是動(dòng)態(tài)的）以及需要抓取的預(yù)報(bào)信息所在位置的標(biāo)記特點(diǎn)，然后通過(guò)編程實(shí)現(xiàn)抓取動(dòng)作，流程如圖4所示。

圖4 數(shù)據(jù)抓取方式提取數(shù)據(jù)流程圖

要實(shí)現(xiàn)數(shù)據(jù)抓取需要對(duì)各個(gè)頁(yè)面進(jìn)行不同的數(shù)據(jù)匹配，主要包括3個(gè)步驟：

1）確定發(fā)布地址：如果地址是固定的（如：江蘇預(yù)報(bào)發(fā)布頁(yè)面），直接利用該地址進(jìn)行請(qǐng)求解析；如果地址不是固定的（如：浙江預(yù)報(bào)發(fā)布頁(yè)面），就通過(guò)解析該頁(yè)面的上一層地址。根據(jù)時(shí)間或其他關(guān)鍵字確定當(dāng)天是否有最新預(yù)報(bào)單發(fā)布，如果存在則將該地址確定為最新發(fā)布地址。

2） 獲取發(fā)布內(nèi)容：為了方便數(shù)據(jù)的解析，以及保證其準(zhǔn)確性，使用AJAX的請(qǐng)求方式，直接對(duì)發(fā)布地址進(jìn)行請(qǐng)求，再將反饋內(nèi)容動(dòng)態(tài)寫入指定的容器內(nèi)，讓瀏覽器自動(dòng)進(jìn)行解析，從而得到標(biāo)準(zhǔn)的文件內(nèi)容，即像操作本地源代碼一樣對(duì)其解析的內(nèi)容進(jìn)行操作。

3）寫入數(shù)據(jù)庫(kù)：將解析后的數(shù)據(jù)集寫入本地?cái)?shù)據(jù)庫(kù)的預(yù)報(bào)信息表內(nèi)。

4 研究應(yīng)用

隨機(jī)選取2012年5月10日至6月28日為統(tǒng)計(jì)日期區(qū)間，對(duì)東海區(qū)7家機(jī)構(gòu)的預(yù)報(bào)產(chǎn)品分別連續(xù)獲取49次。統(tǒng)計(jì)通過(guò)數(shù)據(jù)同步、Web service接口、數(shù)據(jù)抓取3種方式獲取產(chǎn)品的平均成功率如表3所示。

表3 預(yù)報(bào)產(chǎn)品獲取情況統(tǒng)計(jì)表

結(jié)果分析：

1）可能造成Web service接口獲取數(shù)據(jù)失敗的原因主要是被訪的服務(wù)發(fā)布不穩(wěn)定或是網(wǎng)絡(luò)擁堵。

2）可能造成頁(yè)面數(shù)據(jù)抓取失敗的原因包括：a）被訪網(wǎng)站服務(wù)繁忙，引起頁(yè)面訪問超時(shí)，程序無(wú)法獲取地址或無(wú)法解析頁(yè)面，導(dǎo)致抓取失敗。b） 頁(yè)面文本的格式不規(guī)范或結(jié)構(gòu)有變動(dòng)，程序無(wú)法按原定的規(guī)則解析頁(yè)面，導(dǎo)致抓取失敗。

3） 3種方式各有特點(diǎn)：a） 數(shù)據(jù)庫(kù)直接讀取方式雖能穩(wěn)定地獲取數(shù)據(jù)，但開放數(shù)據(jù)庫(kù)存在數(shù)據(jù)安全隱患。b）頁(yè)面數(shù)據(jù)抓取雖然不影響數(shù)據(jù)安全性，但欠缺靈活性，不僅要求頁(yè)面發(fā)布的格式必須規(guī)范，而且如果頁(yè)面結(jié)構(gòu)改變，需要對(duì)程序進(jìn)行相應(yīng)調(diào)整，否則無(wú)法得到正確的數(shù)據(jù)。c） Web service接口方式既可以較穩(wěn)定地獲取數(shù)據(jù)，同時(shí)也能保證數(shù)據(jù)傳輸?shù)陌踩?/p>

5 結(jié)論與展望

通過(guò)使用數(shù)據(jù)同步、Web service接口、數(shù)據(jù)抓取技術(shù)可以初步實(shí)現(xiàn)對(duì)東海區(qū)范圍內(nèi)多家機(jī)構(gòu)的海洋預(yù)報(bào)產(chǎn)品的集成，為今后預(yù)報(bào)質(zhì)量評(píng)估所需的預(yù)報(bào)和實(shí)況集成數(shù)據(jù)庫(kù)提供預(yù)報(bào)數(shù)據(jù)來(lái)源。

數(shù)據(jù)同步和數(shù)據(jù)抓取2種方式存在一定的局限性。在今后的預(yù)報(bào)制作和發(fā)布平臺(tái)建設(shè)過(guò)程中，如果采用統(tǒng)一的預(yù)報(bào)發(fā)布規(guī)范和數(shù)據(jù)接口規(guī)范，既有利于域內(nèi)各預(yù)報(bào)機(jī)構(gòu)海洋預(yù)報(bào)產(chǎn)品的集成與共享，又能為海洋預(yù)報(bào)質(zhì)量評(píng)估提供穩(wěn)定可靠的數(shù)據(jù)來(lái)源。

[1]尹建鋒，胡宏濤.基于Web Services的數(shù)據(jù)整合在企業(yè)中的應(yīng)用[J].電腦開發(fā)與應(yīng)用，2010，23（1）：23-24，27.

[2]龔玲，張?jiān)茲?Web服務(wù)：原理和技術(shù)[M].北京：機(jī)械工業(yè)出版社，2010.

[3]周長(zhǎng)勝.J2EE與.NET在建置XML Web Services方面的比較[J].黑龍江信息，2008，23（3）：69.

[4]文求實(shí)，陳光忠.基于Web Services的數(shù)據(jù)庫(kù)中間件在電網(wǎng)信息管理系統(tǒng)數(shù)據(jù)庫(kù)中的應(yīng)用 [J].自動(dòng)化技術(shù)與應(yīng)用，2007，（2）：71-73.

[5]蘭秋軍.互聯(lián)網(wǎng)金融數(shù)據(jù)抓取方法研究 [J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，（5）：1 829-1 832.

[6]劉志輝，許捍衛(wèi).基于Google Maps API和網(wǎng)絡(luò)數(shù)據(jù)抓取技術(shù)的 Web GIS 開發(fā)[J].測(cè)繪通報(bào)，2009，（3）：68-70.

[7]劉繼紅，吳軍華，任明鑫.基于改進(jìn)的網(wǎng)絡(luò)蜘蛛算法抽取Web站點(diǎn)結(jié)構(gòu)的方法[J].江南大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，（5）：555-559.