張金華，尹小磊，朱萬里

（1.海南省海洋監(jiān)測預(yù)報中心?？?570206；2.黃河勘測規(guī)劃設(shè)計有限公司鄭州 450008）

海南省數(shù)字海洋數(shù)據(jù)庫建設(shè)總結(jié)與探討

張金華1，尹小磊2，朱萬里1

（1.海南省海洋監(jiān)測預(yù)報中心海口 570206；2.黃河勘測規(guī)劃設(shè)計有限公司鄭州 450008）

2011年5月海南省“數(shù)字海洋”908-03項目通過了國家海洋局908項目辦組織的會議驗(yàn)收，整體工作有了一個階段性的完結(jié)。在國家908項目統(tǒng)一的信息標(biāo)準(zhǔn)規(guī)范下，海南省省級節(jié)點(diǎn)建設(shè)了一系列海洋相關(guān)數(shù)據(jù)庫，符合海洋信息基礎(chǔ)平臺建設(shè)要求，為海洋綜合管理與服務(wù)信息應(yīng)用系統(tǒng)的開發(fā)奠定了堅實(shí)的數(shù)據(jù)基礎(chǔ)。本篇文章主要是以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫的建設(shè)作為示例，說明該省數(shù)據(jù)庫建設(shè)的經(jīng)驗(yàn)，并探討不足之處，以便改進(jìn)后續(xù)的工作。

數(shù)字海洋；908-03項目；海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫

海南省“數(shù)字海洋”信息基礎(chǔ)框架建設(shè)是我國“數(shù)字海洋”工程建設(shè)的重要組成部分，通過“數(shù)字海洋”建設(shè)使該省的海洋信息化能力和水平適應(yīng)海洋事業(yè)發(fā)展的需要，與國內(nèi)相關(guān)行業(yè)領(lǐng)域的信息化建設(shè)相接軌，為該省海洋行政管理事業(yè)服務(wù)。海南省“數(shù)字海洋”建設(shè)始終以保護(hù)海洋環(huán)境、提高海洋管理水平、促進(jìn)海洋經(jīng)濟(jì)發(fā)展為目標(biāo)，緊緊圍繞海域使用管理、海洋防災(zāi)減災(zāi)和海洋環(huán)境保護(hù)等業(yè)務(wù)工作開展實(shí)施。在數(shù)據(jù)庫建設(shè)方面相繼建設(shè)了基礎(chǔ)地理信息庫、海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫、專題信息庫等各有特色的數(shù)據(jù)庫系統(tǒng)。其中，海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)是任務(wù)最重、規(guī)模最大，也相對復(fù)雜的數(shù)據(jù)庫系統(tǒng)，因此主要對其進(jìn)行探討研究。該數(shù)據(jù)庫包括海洋水文、海洋氣象、海洋物理、海洋化學(xué)、海洋生物生態(tài)、海洋底質(zhì)、懸浮體、海洋地球物理、海洋地形地貌9個方面的內(nèi)容，形成了一個涵蓋眾多海洋相關(guān)調(diào)查資料的數(shù)據(jù)系統(tǒng)，為后續(xù)的應(yīng)用程序開發(fā)、數(shù)據(jù)查詢、分析提供基礎(chǔ)數(shù)據(jù)平臺。

1 數(shù)據(jù)庫建設(shè)過程

海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫的建設(shè)主要包括建空庫、數(shù)據(jù)審核整理、數(shù)據(jù)錄入3個方面的工作。詳細(xì)流程如圖1所示。

圖1 海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)流程圖

1.1 檢查數(shù)據(jù)庫模型

首先在服務(wù)器上安裝好oracle數(shù)據(jù)庫管理系統(tǒng)[1]，以國家下發(fā)的物理數(shù)據(jù)模型PDM[2]為基礎(chǔ)進(jìn)行建庫，并以國家下發(fā)的建庫標(biāo)準(zhǔn)和相關(guān)技術(shù)方案作為這一模型檢查的依據(jù)。雖然物理數(shù)據(jù)模型是嚴(yán)格按照建庫標(biāo)準(zhǔn)和相關(guān)技術(shù)方案建立的，但是在對整個模型進(jìn)行檢查的過程中仍發(fā)現(xiàn)存在些許錯誤，并進(jìn)行最后改正，同時通過檢查也更進(jìn)一步了解整個數(shù)據(jù)庫模型。其中物理數(shù)據(jù)模型PDM（Physical Data Model）是由Powerdesigner軟件建立的數(shù)據(jù)庫物理實(shí)現(xiàn)模型，包括軟件和數(shù)據(jù)存儲結(jié)構(gòu)，其對象主要有：表（Table）、表中的列（Table column）、主碼和外碼（Primary key and Foreign key），參照（Reference）、索引（Index）、視圖（View）等。它用圖形的形式表示數(shù)據(jù)的物理組織，并生成數(shù)據(jù)庫的創(chuàng)建和修改腳本，定義完整性觸發(fā)器和約束，生成擴(kuò)展屬性，使得數(shù)據(jù)在數(shù)據(jù)庫中能夠保持完整性和一致性[3]。通過Powerdesigner軟件，把改正后的PDM物理數(shù)據(jù)模型轉(zhuǎn)化成SQL數(shù)據(jù)庫腳本文件。以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫中的生物數(shù)據(jù)PDM模型為例，如圖2所示，主要表示出各個數(shù)據(jù)表之間的關(guān)系。其中1∶n表示的一對多的關(guān)系，一個生物采樣航次信息對應(yīng)多個站位，同時一個站位又采集多種類別水樣等原始資料，通過試驗(yàn)得到浮游動物和葉綠素等多種類別信息數(shù)據(jù)，而一個采樣信息，如微生物采樣信息又分別對應(yīng)一個測定信息和一個鑒定信息，當(dāng)然有的只有其中的一項。

圖2 數(shù)據(jù)表結(jié)構(gòu)示例圖

1.2 建設(shè)空庫

通過已安裝好的oracle數(shù)據(jù)庫管理軟件，運(yùn)行生成的SQL腳本，生成各個表及相關(guān)的約束條件等，建設(shè)空庫。利用oracle數(shù)據(jù)庫管理系統(tǒng)，對建立的數(shù)據(jù)庫系統(tǒng)進(jìn)行檢查，查看表格完整性、約束完整性、表格字段及相關(guān)屬性信息，達(dá)到完全符合國家此項目的建庫要求。

1.3 數(shù)據(jù)分析

由于收集到的數(shù)據(jù)格式不能直接導(dǎo)入數(shù)據(jù)庫，要對數(shù)據(jù)進(jìn)行審核，數(shù)據(jù)文件類型有txt和excel兩種形式。格式上總體結(jié)構(gòu)按照國家的標(biāo)準(zhǔn)執(zhí)行，但是具體要求則完全沒有按照標(biāo)準(zhǔn)。由于國家規(guī)定的標(biāo)準(zhǔn)數(shù)據(jù)格式經(jīng)過一次大的改動，所以一些收集的數(shù)據(jù)是按照舊的格式要求處理的數(shù)據(jù)，收集的數(shù)據(jù)無法直接利用國家下發(fā)的數(shù)據(jù)導(dǎo)入軟件導(dǎo)入。因此要對數(shù)據(jù)進(jìn)行整理，采用了兩種方法處理：第一，把數(shù)據(jù)加工成國家軟件要求的格式；第二，把數(shù)據(jù)加工成自己規(guī)定的數(shù)據(jù)格式。

1.4 數(shù)據(jù)錄入

將數(shù)據(jù)加工成國家下發(fā)錄入軟件要求格式的數(shù)據(jù)，可以直接利用此軟件錄入；加工成自定義數(shù)據(jù)格式，通過計算機(jī)和人工處理生成與數(shù)據(jù)庫表相對應(yīng)的文本文件，使用SQLLoader編寫代碼有很強(qiáng)的靈活性，正好適合現(xiàn)有數(shù)據(jù)格式多樣[6]的特點(diǎn)，因此采用SQLLoader自由格式數(shù)據(jù)的裝載[4]方式，編寫代碼導(dǎo)入文本文件數(shù)據(jù)。SQLLoader是Oracle提供的一個將外部文本文件的數(shù)據(jù)裝載到表中的工具，該工具可以在一個裝載會話中將數(shù)據(jù)裝載到多張表中，也可以從多個文件中讀取數(shù)據(jù)，并且可以有選擇地裝載數(shù)據(jù)[4]。同時SQLLoader在裝載數(shù)據(jù)時會形成輸出文件，包括日志文件、壞文件和丟棄文件，從中我們可以清楚地查看數(shù)據(jù)的錄入情況，對不能錄入的數(shù)據(jù)查找錯誤，修改后重新裝載，避免了數(shù)據(jù)的丟失。生物微生物采樣數(shù)據(jù)錄入部分代碼如下：

OPTIONS（ERRORS=-1）

LOAD DATA

INFILE'C：shengwuweishengwushuju.txt'

INTO TABLE shengwuweishengwutable APPEND

TRAILING NULLCOLS

（

字段1 TERMINATED BY"，"，

字段2 TERMINATED BY"，"，

字段3 TERMINATED BY"，"，

...

字段4 TERMINATED BY"，"）

2 海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)探討

探討了國家數(shù)據(jù)庫模型建設(shè)的依據(jù)和方法，以及在錄入數(shù)據(jù)時的經(jīng)驗(yàn)和不足。

2.1 數(shù)據(jù)庫模型建設(shè)依據(jù)探討

國家數(shù)據(jù)庫建設(shè)模型主要是依據(jù)《海洋數(shù)據(jù)應(yīng)用記錄格式》GB/T12460-2006[5]國家標(biāo)準(zhǔn)建立。仍以生物為例，其包括初級生產(chǎn)力、葉綠素、微生物等多個類別的采樣信息、測定信息、鑒定信息等。在國標(biāo)中對于生物的每一類信息都分別有一個航次站位信息表，一個測定數(shù)據(jù)表和一個說明記錄表，但是在實(shí)際情況中一個航次不可能只做一個類別的采樣，比如只做微生物或初級生產(chǎn)力采樣，更多的情況是多個類別在一個航次一起采樣，這種情況下航次站位表對于這幾個類別就會基本相同，因此為避免數(shù)據(jù)冗余，國家數(shù)據(jù)庫建模專家采用了把生物各個類別的航次站位表抽取其中共同的字段建立了航次表和站位表兩個表，同時根據(jù)各個類別采樣的特殊性結(jié)合測定數(shù)據(jù)表建立各個類別采樣信息表，再根據(jù)測定數(shù)據(jù)表建立了測定信息表，一些類別再加一個鑒定信息表。最后抽象成了多個生物類別共有一個航次信息表和一個站位表，有自己的采樣信息表和測定信息表及鑒定信息表，如圖2，其中箭頭是外鍵表指向主鍵表。這種處理方式雖然避免了數(shù)據(jù)冗余，在數(shù)據(jù)庫建模上是最好的一種方式，能夠使整個數(shù)據(jù)入庫后形成一個相互聯(lián)系的整體，有助于后續(xù)的應(yīng)用開發(fā)，但是在約束完整性上提出了更高的要求，數(shù)據(jù)的格式更加復(fù)雜，對數(shù)據(jù)錄入也提出了更高的要求。

2.2 數(shù)據(jù)庫主外鍵設(shè)計探討

雖然有了圖2中的一種關(guān)系，但是如何在數(shù)據(jù)庫中體現(xiàn)這種關(guān)系，把不在一個數(shù)據(jù)表中但在一個航次中的數(shù)據(jù)組成一個整體，方便查詢、修改等操作，這就引入了數(shù)據(jù)庫中一個非常重要的概念主外鍵[2]，而在數(shù)據(jù)庫模型中很難且沒有必要用有實(shí)際意義的字段設(shè)置為主外鍵來完成約束完整性，所以專家在建模時采用了加一個沒有實(shí)際意義的虛字段作為主外鍵字段，目的就是完整性約束，達(dá)到目的。如圖3中PKEY字段和FKEY字段，分別是該表的主鍵字段和外鍵字段。另外主鍵字段也作為首鍵字段，類型是NUMBER，同時也作為索引字段，可以大副提高數(shù)據(jù)的查詢效率。

2.3 數(shù)據(jù)錄入探討

一部分?jǐn)?shù)據(jù)是國家下發(fā)的軟件完成入庫的，但是國家下發(fā)的軟件格式要求苛刻，把數(shù)據(jù)加工成符合國家軟件的要求再錄入費(fèi)時長，效率低，所以對數(shù)據(jù)進(jìn)行了另外的格式處理，用SQLloader編寫代碼導(dǎo)入數(shù)據(jù)，不斷完善數(shù)據(jù)錄入代碼，方便及時地錄入數(shù)據(jù)。但是這也存在一定的問題，就是匯交上的數(shù)據(jù)呈多源性、多態(tài)性和多樣性特點(diǎn)[7]，整理數(shù)據(jù)很難有一種統(tǒng)一的模式，在自動化處理方面很難實(shí)現(xiàn)。同時無論是國家下發(fā)軟件錄入，還是編寫代碼錄入，都要進(jìn)行數(shù)據(jù)整理，數(shù)據(jù)重復(fù)加工必然有數(shù)據(jù)丟失的問題。

圖3 約束完整性示例圖

3 總結(jié)與展望

各項數(shù)據(jù)庫已經(jīng)建立完成，部分?jǐn)?shù)據(jù)已經(jīng)錄入，但是整個“數(shù)字海洋”系統(tǒng)是一個要長期運(yùn)行的系統(tǒng)，后續(xù)數(shù)據(jù)的收集入庫將是一個非常重要的工作，如何使數(shù)據(jù)準(zhǔn)確、格式明確、數(shù)據(jù)錄入方便是整個系統(tǒng)豐富充實(shí)的前提。對于整個系統(tǒng)，數(shù)據(jù)是基礎(chǔ)，應(yīng)用是目標(biāo)。第一，在數(shù)據(jù)上應(yīng)該理清以下工作思路，首先是明確數(shù)據(jù)來源：哪些數(shù)據(jù)是一次性的數(shù)據(jù)，哪些是定期數(shù)據(jù)，找到數(shù)據(jù)來源，理順數(shù)據(jù)提交制度；其次是規(guī)范數(shù)據(jù)格式，與數(shù)據(jù)制作單位溝通好確定一種合理的數(shù)據(jù)格式，一方以此制作數(shù)據(jù)，一方以此驗(yàn)收，避免多方加工數(shù)據(jù)造成數(shù)據(jù)丟失和扭曲；最后是數(shù)據(jù)錄入，這一項與前兩項環(huán)環(huán)相扣，做到數(shù)據(jù)及時有效錄入。第二，明確數(shù)據(jù)的開發(fā)應(yīng)用方向，首先清晰認(rèn)識數(shù)據(jù)的性質(zhì)，做到定期更新的數(shù)據(jù)動態(tài)應(yīng)用，一次性的數(shù)據(jù)得到合理展示；其次明確服務(wù)對象，加深對服務(wù)對象需求的分析，同時清楚數(shù)據(jù)的功能，做到對服務(wù)對象確實(shí)起到服務(wù)作用；第三，開發(fā)海南特色，以有利于自身和相關(guān)應(yīng)用部門的工作開展為目標(biāo)，開發(fā)實(shí)用的應(yīng)用系統(tǒng)。海南省節(jié)點(diǎn)系統(tǒng)是一個數(shù)據(jù)不斷充實(shí)、功能不斷完善、新功能逐步添加、在很長一段時間內(nèi)動態(tài)改進(jìn)的系統(tǒng)。主要以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫為例，論述了海南省“數(shù)字海洋”節(jié)點(diǎn)數(shù)據(jù)庫建設(shè)的過程和對一些問題的解決方法，因知識有限，可能所采用的方法不是最好的，一些地方的處理有不適當(dāng)?shù)那闆r，望批評指正。

[1]路川，胡欣杰.oracle 10g寶典[M].北京：電子工業(yè)出版社，2008.

[2]趙韶平，徐茂生，周勇華，等.PowerDesigenr系統(tǒng)分析與建模[M].北京：清華大學(xué)出版社，2010.

[3]劉紅玉，杜清運(yùn)，蔡忠亮.基于PowerDesigner的空間數(shù)據(jù)庫建庫技術(shù)[J].測繪信息與工程，2001，32（3）：24-26.

[4]張巖，趙霽.Oracle中數(shù)據(jù)裝載與數(shù)據(jù)重組的研究[J].計算機(jī)應(yīng)用，2004，24（4）：185-187.

[5]GB/T 12460-2006.海洋數(shù)據(jù)應(yīng)用記錄格式[S].北京：中國標(biāo)準(zhǔn)出版社，2006.

[6]薛惠芬，張義鈞.海洋資料基礎(chǔ)數(shù)據(jù)庫模式設(shè)計技術(shù)[J].海洋信息，2003（2）：1-4.

[7]張峰，石綏祥，殷汝廣，等.數(shù)字海洋中數(shù)據(jù)體系結(jié)構(gòu)研究[J].海洋通報，2009，28（4）：1-8.

2011-10-24