趙晶東

（吉林省水文水資源局（吉林省水環(huán)境監(jiān)測中心），吉林 長春 130022）

吉林省水文數(shù)據(jù)庫系統(tǒng)設(shè)計與開發(fā)

趙晶東

（吉林省水文水資源局（吉林省水環(huán)境監(jiān)測中心），吉林 長春 130022）

根據(jù)吉林省水文數(shù)據(jù)中心建設(shè)的需要，吉林省開展水文數(shù)據(jù)庫系統(tǒng)的設(shè)計與開發(fā)，主要從數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)和數(shù)據(jù)共享等 3 方面進(jìn)行設(shè)計。根據(jù)吉林省水文數(shù)據(jù)的分類、數(shù)據(jù)庫的組成，分析水文數(shù)據(jù)管理平臺、信息資源目錄的設(shè)計情況，從數(shù)據(jù)的抽取、轉(zhuǎn)換、加載闡述吉林省數(shù)據(jù)倉庫系統(tǒng)的建立。利用設(shè)計與開發(fā)的水文數(shù)據(jù)庫系統(tǒng)，可實現(xiàn)省級水文局與部水文局、下屬各水文分局、其他單位數(shù)據(jù)中心的數(shù)據(jù)匯集和交換，保證數(shù)據(jù)在各部門、機構(gòu)之間的正確地傳遞，為當(dāng)?shù)胤姥床块T提供準(zhǔn)確的水文信息。

水文數(shù)據(jù)庫；數(shù)據(jù)倉庫；設(shè)計與開發(fā)；應(yīng)用平臺；資源共享

0 引言

水文工作是國民經(jīng)濟建設(shè)和社會發(fā)展中的基礎(chǔ)，負(fù)責(zé)水文水資源、水環(huán)境監(jiān)測和行業(yè)管理等工作。只有充分利用現(xiàn)代化信息技術(shù)開發(fā)和利用水文信息資源，提高水文信息資源的應(yīng)用水平和共享程度，才能進(jìn)一步提升水文行業(yè)的技術(shù)和管理水平，適應(yīng)和滿足國民經(jīng)濟建設(shè)、社會發(fā)展及新時期治水思路對水文行業(yè)的新要求。近年來，隨著水文投入的不斷增加，吉林省水文水資源局堅持實踐科學(xué)發(fā)展觀，積極推進(jìn)水文信息化建設(shè)工作，不斷進(jìn)行技術(shù)改革，水文信息化手段和技術(shù)有了較大發(fā)展，但由于水文信息化基礎(chǔ)薄弱，已建立的水文業(yè)務(wù)應(yīng)用信息系統(tǒng)較少，水文信息技術(shù)應(yīng)用零散，缺乏統(tǒng)一性、協(xié)調(diào)性，因此，目前吉林省水文信息化建設(shè)仍處于起步階段。

為推進(jìn)吉林省水文信息化的建設(shè)[1-2]，建設(shè)吉林省水文數(shù)據(jù)庫系統(tǒng)可以讓決策者們更直觀地獲得決策所需的常規(guī)水文及水資源數(shù)據(jù)，為防汛抗旱決策提供及時、準(zhǔn)確的信息支撐。

1 水文數(shù)據(jù)庫系統(tǒng)設(shè)計

水文數(shù)據(jù)庫系統(tǒng)的設(shè)計與開發(fā)首先要解決水文數(shù)據(jù)資源分類的問題。為了便于管理和使用，把具有共同業(yè)務(wù)屬性或特征的水文數(shù)據(jù)資源歸并在一起，通過類別的屬性或特征對水文數(shù)據(jù)資源進(jìn)行區(qū)別，以建立水文數(shù)據(jù)資源目錄分類體系，實現(xiàn)水文數(shù)據(jù)資源采集、管理、查詢服務(wù)及共享，以便有序地管理和開發(fā)利用水文數(shù)據(jù)資源。

1.1 水文數(shù)據(jù)分類

根據(jù)吉林省水文數(shù)據(jù)的業(yè)務(wù)特點，分為水文、多媒體、空間、資料檔案、基礎(chǔ)信息和行政管理等6 大類基礎(chǔ)數(shù)據(jù)。

水文數(shù)據(jù)又包括實時雨水情、監(jiān)測預(yù)警、洪水預(yù)報、旱情墑情、水環(huán)境和地下水等專用數(shù)據(jù)；多媒體數(shù)據(jù)包括音頻、視頻等多媒體流數(shù)據(jù)；空間數(shù)據(jù)包括行政區(qū)、城鎮(zhèn)與農(nóng)村居民點、地形、河流、水庫、水系等國家基礎(chǔ)層面數(shù)據(jù)，以及遙測站點、重點區(qū)域等水文業(yè)務(wù)層面數(shù)據(jù)；資料檔案數(shù)據(jù)包括水文資料目錄數(shù)據(jù)、業(yè)務(wù)日常辦公文件、檔案數(shù)據(jù)和相應(yīng)的管理數(shù)據(jù)；基礎(chǔ)信息數(shù)據(jù)包括行政區(qū)劃、水系流域、水庫基礎(chǔ)、河道閘壩基礎(chǔ)等數(shù)據(jù)；行政管理類數(shù)據(jù)可分為自動化辦公、人事、財務(wù)等專用數(shù)據(jù)。

1.2 水文數(shù)據(jù)庫組成

數(shù)據(jù)庫群由元數(shù)據(jù)庫（資源目錄數(shù)據(jù)庫）、主題數(shù)據(jù)庫（數(shù)據(jù)倉庫重構(gòu)），以及基礎(chǔ)和專用數(shù)據(jù)庫4 部分組成[3-6]。

ETL（Extract-Transform-Load，抽取、轉(zhuǎn)換、裝載）負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)（如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等）抽取到臨時中間層后，進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。吉林省水文數(shù)據(jù)的 ETL 過程如圖1 所示。

圖1 數(shù)據(jù)庫組成（ETL）

1.3 水文數(shù)據(jù)管理平臺設(shè)計

數(shù)據(jù)管理平臺主要由信息資源目錄管理和數(shù)據(jù)倉庫系統(tǒng) 2 部分功能構(gòu)成，通過對信息資源目錄管理實現(xiàn)部門間數(shù)據(jù)資源的共享和管理；數(shù)據(jù)倉庫存儲詳細(xì)數(shù)據(jù)及必要的匯總數(shù)據(jù)，支持水文水資源局所屬各個部門的業(yè)務(wù)處理與分析。

數(shù)據(jù)管理平臺總體架構(gòu)如圖2 所示。

1.4 水文信息資源目錄管理

1.4.1 水文元數(shù)據(jù)庫設(shè)計

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述性數(shù)據(jù)信息，是實現(xiàn)數(shù)據(jù)共享的核心內(nèi)容之一，因此應(yīng)當(dāng)盡可能多地反映數(shù)據(jù)集自身的特征規(guī)律，以便用戶通過元數(shù)據(jù)檢索、訪問數(shù)據(jù)庫，可以更有效地利用數(shù)據(jù)資源，對數(shù)據(jù)進(jìn)行加工處理和二次開發(fā)，以促進(jìn)數(shù)據(jù)集高效利用和充分開發(fā)，采集或共享的實時雨水情、水環(huán)境、墑情及站網(wǎng)等水文業(yè)務(wù)基礎(chǔ)數(shù)據(jù)統(tǒng)一作為整個系統(tǒng)的元數(shù)據(jù)。

1.4.2 水文元數(shù)據(jù)分類

1）技術(shù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是存儲關(guān)于商業(yè)智能系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是對商業(yè)智能系統(tǒng)結(jié)構(gòu)的描述，包括對數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、抽取過程、數(shù)據(jù)加載策略及對目標(biāo)數(shù)據(jù)庫的定義等內(nèi)容，還包括數(shù)據(jù)倉庫使用的模式、視圖、維度、層次結(jié)構(gòu)、類別和屬性的定義，以及立方體的存儲模式等信息。

總之，技術(shù)元數(shù)據(jù)提供給系統(tǒng)管理和數(shù)據(jù)倉庫開發(fā)人員使用，管理人員需要了解操作環(huán)境到商業(yè)智能環(huán)境的映射關(guān)系（即 ETL 數(shù)據(jù)抽取的映射關(guān)系），數(shù)據(jù)的刷新規(guī)則，數(shù)據(jù)的安全性，數(shù)據(jù)庫優(yōu)化和任務(wù)調(diào)度等內(nèi)容；數(shù)據(jù)倉庫開發(fā)人員需要了解度量值和維度定義的算法。在實際商業(yè)智能開發(fā)過程中，業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)是相互關(guān)聯(lián)的，對元數(shù)據(jù)的深刻理解是數(shù)據(jù)倉庫應(yīng)用和維護的基礎(chǔ)。

2）水文業(yè)務(wù)元數(shù)據(jù)。將水情、雨情、墑情、水環(huán)境、地下水等水文日常業(yè)務(wù)辦公的數(shù)據(jù)作為業(yè)務(wù)元數(shù)據(jù)。從業(yè)務(wù)角度描述數(shù)據(jù)倉庫中的數(shù)據(jù)，提供介于使用者和實際系統(tǒng)之間的語義層，使水文業(yè)務(wù)人員能夠理解數(shù)據(jù)倉庫中的數(shù)據(jù)。

圖2 數(shù)據(jù)管理平臺結(jié)構(gòu)

3）內(nèi)聯(lián)映射元數(shù)據(jù)。內(nèi)聯(lián)映射元數(shù)據(jù)從技術(shù)上為業(yè)務(wù)需求、企業(yè)數(shù)據(jù)驅(qū)動的雙驅(qū)動建設(shè)模型提供重要保證，使信息系統(tǒng)的建設(shè)具有更高的靈活性與適應(yīng)性。

1.4.3 水文元數(shù)據(jù)組織框架

依據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)，元數(shù)據(jù)內(nèi)容包括 8 個不重復(fù)使用的主要子集和 5 個可重復(fù)使用的次要子集，用于全面描述數(shù)據(jù)集、數(shù)據(jù)集系列、要素和屬性。元數(shù)據(jù)的標(biāo)準(zhǔn)體系結(jié)構(gòu)如圖3 所示。

1.4.4 水文元數(shù)據(jù)更新維護管理

水文業(yè)務(wù)涉及多個應(yīng)用系統(tǒng)，這些應(yīng)用系統(tǒng)具有多樣性，每一個系統(tǒng)對數(shù)據(jù)的要求有很大的差異。這就要求數(shù)據(jù)中心需在滿足信息通用規(guī)范的基礎(chǔ)之上，開發(fā)一整套包含對基礎(chǔ)數(shù)據(jù)的加工、整理和綜合模型或算法的數(shù)據(jù)整合系統(tǒng)。

在建立水文元數(shù)據(jù)服務(wù)體系的基礎(chǔ)上，實現(xiàn)各部門級數(shù)據(jù)的自動更新機制。對于集中存放的水文數(shù)據(jù)集在責(zé)任部門維護后，水文數(shù)據(jù)自動上傳到制定目標(biāo)位置，并且自動更新水文元數(shù)據(jù)編目，形成完整的水文數(shù)據(jù)流，為應(yīng)用系統(tǒng)建立起高性能的水文數(shù)據(jù)基礎(chǔ)。

圖3 水文元數(shù)據(jù)組織框架

1.5 水文信息資源目錄設(shè)計

水文數(shù)據(jù)資源目錄分為以下 3 個目錄：

1）業(yè)務(wù)目錄。用于指明業(yè)務(wù)類別，按單位、部門劃分，然后以各自的業(yè)務(wù)事項、業(yè)務(wù)子項、辦理過程中的主要流程節(jié)點逐級展開。

2）資源目錄。用于指明各業(yè)務(wù)類別所需自有數(shù)據(jù)資源，為了便于管理和使用，也按照單位、部門劃分，然后以各自的業(yè)務(wù)事項、一級子項，將數(shù)據(jù)資源歸并在一起，通過類別的屬性或特征對資源進(jìn)行區(qū)別，以建立水文數(shù)據(jù)資源目錄分類體系，具體實現(xiàn)水文數(shù)據(jù)資源采集、管理、查詢服務(wù)及共享，以便有序地管理和開發(fā)利用水文數(shù)據(jù)資源。

3）共享需求目錄。指明本單位或部門的實際業(yè)務(wù)工作中，需要由其他部門、單位提供的數(shù)據(jù)資源。

2 水文數(shù)據(jù)倉庫系統(tǒng)開發(fā)

數(shù)據(jù)倉庫系統(tǒng)根據(jù)應(yīng)用主題，按中間或?qū)ｎ}數(shù)據(jù)方式，對所需信息進(jìn)行重組與管理。數(shù)據(jù)倉庫開發(fā)，要求首先通過中間數(shù)據(jù)的建設(shè)，實現(xiàn)數(shù)據(jù)的合理重構(gòu)，消除過多的冗余，并且保證不同應(yīng)用使用的數(shù)據(jù)是一致的；進(jìn)而構(gòu)建專題數(shù)據(jù)庫（數(shù)據(jù)集市），提供統(tǒng)一的、高度集成的水文數(shù)據(jù)資源支持水文業(yè)務(wù)管理。

2.1 水文數(shù)據(jù)倉庫系統(tǒng)建立

建立水文數(shù)據(jù)倉庫系統(tǒng)主要的實現(xiàn)技術(shù)為 ETL技術(shù)。

水文基礎(chǔ)和專用數(shù)據(jù)來自不同的途徑，其數(shù)據(jù)內(nèi)容、格式和質(zhì)量有所差別，而且主要支持日常的業(yè)務(wù)應(yīng)用，對一些高級的分析和決策支持不夠。因此，在水文數(shù)據(jù)倉庫建設(shè)過程中，需要實現(xiàn)數(shù)據(jù)模型的重新構(gòu)造，并將基礎(chǔ)和專用數(shù)據(jù)庫層數(shù)據(jù)轉(zhuǎn)換、裝載到不同結(jié)構(gòu)的數(shù)據(jù)倉庫的主數(shù)據(jù)庫中，基于主數(shù)據(jù)，還要進(jìn)一步面向決策分析，生成主題數(shù)據(jù)，構(gòu)建水文數(shù)據(jù)集市。

2.2 水文數(shù)據(jù)抽取

數(shù)據(jù)抽取是指將水文業(yè)務(wù)數(shù)據(jù)從基礎(chǔ)和專用數(shù)據(jù)庫中，或者備份在磁帶/光盤上的大量歷史數(shù)據(jù)、文件、外部數(shù)據(jù)等數(shù)據(jù)，抽取到吉林省水文局專項數(shù)據(jù)庫的過程。在水文信息數(shù)據(jù)抽取過程中，對于不同水文數(shù)據(jù)平臺、水文源數(shù)據(jù)形式、性能要求的業(yè)務(wù)系統(tǒng)及不同數(shù)據(jù)量的水文源數(shù)據(jù)，須采用不同的接口方式。為保證抽取效率，保障生產(chǎn)系統(tǒng)水文數(shù)據(jù)庫的安全，在具體實施過程中不贊成采取與生產(chǎn)系統(tǒng)數(shù)據(jù)庫直連的方式。

2.3 水文數(shù)據(jù)轉(zhuǎn)換

水文數(shù)據(jù)轉(zhuǎn)換是指對抽取的水文源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求，將數(shù)據(jù)從一種表示形式變?yōu)榱硪环N表現(xiàn)形式的過程。

2.4 水文數(shù)據(jù)加載

按照加載的目標(biāo)表，將轉(zhuǎn)換過的水文數(shù)據(jù)輸入到目標(biāo)表中。若目標(biāo)表中已有數(shù)據(jù)，裝載時會先刪除這些數(shù)據(jù)，再裝入新數(shù)據(jù)。對不同水文業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采用不同的加載周期，但必須保持同一時間業(yè)務(wù)數(shù)據(jù)的完整性和一致性。

3 水文數(shù)據(jù)共享

3.1 水文數(shù)據(jù)交換系統(tǒng)

吉林省水文數(shù)據(jù)交換系統(tǒng)是利用吉林省水文水資源局的數(shù)據(jù)存貯、管理中心的基本架構(gòu)，實現(xiàn)省級水文局與水利部水文局、下屬各水文分局、其他單位數(shù)據(jù)中心的數(shù)據(jù)匯集和交換，保證數(shù)據(jù)在各部門、機構(gòu)之間的正確傳遞。

水文數(shù)據(jù)交換系統(tǒng)通過統(tǒng)一的規(guī)范和標(biāo)準(zhǔn)，交換的數(shù)據(jù)格式和本身都采用統(tǒng)一的數(shù)據(jù)文件格式進(jìn)行描述，消除由于應(yīng)用范圍、構(gòu)建方式、系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)資源等方面產(chǎn)生的各機關(guān)系統(tǒng)間的差異，實現(xiàn)信息的高度共享，保證數(shù)據(jù)交換的透明、簡便、可靠、安全。

水文數(shù)據(jù)交換系統(tǒng)與各數(shù)據(jù)中心的關(guān)系如圖4所示。

圖4 水文數(shù)據(jù)交換平臺關(guān)系

由于各級部門水文數(shù)據(jù)采取分布式的方式進(jìn)行存儲，所以必須進(jìn)行數(shù)據(jù)交換體系的建設(shè)。數(shù)據(jù)交換平臺采用先進(jìn)的中間件技術(shù)實現(xiàn)不同應(yīng)用之間的信息交換與共享，保證各系統(tǒng)之間信息交換的暢通。數(shù)據(jù)交換平臺的建設(shè)過程中還需制定統(tǒng)一的數(shù)據(jù)交換規(guī)范或標(biāo)準(zhǔn)，由數(shù)據(jù)交換管理平臺完成。

3.2 水文數(shù)據(jù)安全

為保證水文系統(tǒng)及數(shù)據(jù)的安全，應(yīng)選擇具有較高安全性的操作系統(tǒng)，作為數(shù)據(jù)倉庫和數(shù)據(jù)庫服務(wù)器的操作系統(tǒng)。在此操作系統(tǒng)中，進(jìn)行備份與恢復(fù)設(shè)計，建立對系統(tǒng)內(nèi)部軟件和數(shù)據(jù)的定期備份制度，具有數(shù)據(jù)自檢查能力。對于錯誤的數(shù)據(jù)輸入，系統(tǒng)會顯示警告信息，使用戶重新輸入直到正確為止。對于非法用戶或非法篡改的數(shù)據(jù)，系統(tǒng)在每次啟動前將予以檢查，自動排除或提示用戶排除。

4 結(jié)語

吉林省通過開展水文數(shù)據(jù)庫系統(tǒng)的設(shè)計與開發(fā)，建立綜合水文信息數(shù)據(jù)匯集中心。通過遙測數(shù)據(jù)接收、人工錄入、數(shù)據(jù)上傳、數(shù)據(jù)交換、數(shù)據(jù)共享等手段將全省各種水文信息匯集到一個數(shù)據(jù)平臺下，實現(xiàn)統(tǒng)一標(biāo)準(zhǔn)、格式、管理。同時整合現(xiàn)有水文數(shù)據(jù)庫、水文站網(wǎng)信息、水文測驗信息等各分散孤立的信息到一個綜合數(shù)據(jù)平臺下，建立水文水資源信息服務(wù)體系。建立水文信息資源中心，構(gòu)建水文水資源信息綜合平臺，初步實現(xiàn)互聯(lián)互通和資源共享的信息服務(wù)系統(tǒng)，提升水文的決策支持和公眾服務(wù)能力。

由于水文信息化還處于起步階段，各種信息基礎(chǔ)設(shè)施與共享機制仍不配套，導(dǎo)致有限的信息資源共享困難。在信息共享方面，沒有將本系統(tǒng)監(jiān)測到的雨水情實時信息通過公網(wǎng)或?qū)Ｓ镁W(wǎng)絡(luò)通道傳輸?shù)綒庀蟆?、財政、地震等部門及當(dāng)?shù)卣?，如這些單位暫時不能接受本系統(tǒng)雨水情數(shù)據(jù)，可保留軟件的信息共享接口，有待其他部門開發(fā)完成后實現(xiàn)共享。

[1] 艾萍，唐燕，黃藏青.水利信息化標(biāo)準(zhǔn)體系建設(shè)探討[J].水利信息化，2013 (2): 1-5.

[2] 艾萍.水信息工程引論[M].武漢：長江出版社，2010: 123-138.

[3] 成建國，錢峰，艾萍.國家水利數(shù)據(jù)中心建設(shè)方案研究[J].中國水利，2008 (19): 32-34.

[4] 張錦珠.數(shù)據(jù)中心平臺的一種設(shè)計與實現(xiàn)[J].信息安全與技術(shù)，2011 (12): 46-49.

[5] 莫渭濃.水利數(shù)據(jù)中心建設(shè)初探[J].中國水利，2002 (8): 57-58.

[6] 莫榮強，艾萍，吳禮福，等.一種支持大數(shù)據(jù)的水利數(shù)據(jù)中心基礎(chǔ)框架[J].水利信息化，2013 (3): 16-20.

Design and Development of Hydrologic Database System of Jilin Province

ZHAO Jingdong
(Jilin Provincial Bureau of hydrology and water resources (Jilin Provincial water environment monitoring center), Changchun 130022, China)

According to the need of Jilin province hydrology data center construction, it carries out the design and development of hydrologic database system of Jilin Province.It mainly carries on the design from three aspects of the database system, data warehouse and data sharing.According to the classification, the hydrological data of Jilin province database, the article analyzes the design of hydrologic data management platform and information resource catalog.From data extraction, conversion, loading, the data warehouse system is established in Jilin province.Using the system, it can realize data collection and exchange between the provincial hydrological bureau and ministry hydrology bureau, subordinate to the hydrological bureaus and other unit data centers.It ensures correct transmission of hydrological information between departments, agencies, and provides accurate information for local flood control departments.

hydrological database; data warehouse; design and development; application platform; resource sharing

TP39；P331

A

1674-9405(2014)05-0021-05

2014-07-18

趙晶東（1973－），吉林長春人，高級工程師，主要從事水文監(jiān)測和站網(wǎng)評價及水文資料整編工作。