臧 敏，李 凱

（北京市水文總站，100089，北京）

多異構(gòu)數(shù)據(jù)庫環(huán)境下的北京水文集成系統(tǒng)研究與實(shí)現(xiàn)

臧 敏，李 凱

（北京市水文總站，100089，北京）

針對(duì)水文數(shù)據(jù)分散管理、各個(gè)專業(yè)系統(tǒng)自成體系等問題，結(jié)合水文產(chǎn)品服務(wù)需求和構(gòu)建智慧水務(wù)等要求，開發(fā)了面向管理層用戶的北京市水文集成系統(tǒng),形成為防汛指揮、地下水管理、水環(huán)境保護(hù)、水質(zhì)水量考核、水資源管理等服務(wù)的專業(yè)平臺(tái)。系統(tǒng)為水務(wù)事業(yè)提供了專業(yè)性、實(shí)時(shí)性、可視性的水文產(chǎn)品，解決了多異構(gòu)數(shù)據(jù)庫環(huán)境下的水文數(shù)據(jù)集成問題。系統(tǒng)本身具有良好的擴(kuò)展性，可為后續(xù)水務(wù)大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)等提供接口，有很好的示范性和創(chuàng)新性。

水利信息化；系統(tǒng)設(shè)計(jì)；水文數(shù)據(jù)；集成平臺(tái)；北京

一、北京市水文集成系統(tǒng)開發(fā)研究背景

在“大水文”發(fā)展戰(zhàn)略引領(lǐng)下，北京市不斷優(yōu)化水文站網(wǎng)布局，推進(jìn)水文站網(wǎng)建設(shè)，布設(shè)了滿足防洪、水資源、水環(huán)境、水生態(tài)等各種不同需求的水文站點(diǎn)，形成數(shù)量上千的水文站網(wǎng)，并且建設(shè)了各專業(yè)的水文監(jiān)測(cè)和管理業(yè)務(wù)系統(tǒng)。經(jīng)過多年的運(yùn)行，北京水文積累了龐大的實(shí)時(shí)數(shù)據(jù)、歷史整編數(shù)據(jù)以及階段數(shù)據(jù)分析成果，形成了不同管理軟件、庫表結(jié)構(gòu)不同的多異構(gòu)數(shù)據(jù)庫。這些水文數(shù)據(jù)分散管理，各個(gè)專業(yè)系統(tǒng)自成體系，未與水文行業(yè)管理和服務(wù)體系等工作進(jìn)行融合，不能形成統(tǒng)一專業(yè)的水文服務(wù)產(chǎn)品。

隨著現(xiàn)代通信、計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，信息化項(xiàng)目建設(shè)對(duì)于提升效率和效能作用越來越明顯，這也是物聯(lián)網(wǎng)、云計(jì)算等新一代信息技術(shù)發(fā)展應(yīng)用的趨勢(shì)。北京水文是支撐首都水務(wù)事業(yè)發(fā)展的基礎(chǔ)，根據(jù)水文服務(wù)的需求和智慧水務(wù)構(gòu)建的要求，需要解決多異構(gòu)數(shù)據(jù)庫環(huán)境下的水文數(shù)據(jù)集成問題，形成地表水、地下水、水環(huán)境、水生態(tài)等統(tǒng)一的專業(yè)體系，開發(fā)出基于水文數(shù)據(jù)分析的水利信息化產(chǎn)品。該水文產(chǎn)品要達(dá)到實(shí)時(shí)感知和全面感知，做到為水務(wù)管理決策提供可視化的數(shù)據(jù)展示，為防汛抗旱指揮調(diào)度、水資源配置、水環(huán)境治理、水生態(tài)修復(fù)等提供全面的、精準(zhǔn)的決策服務(wù)，這也是目前水文行業(yè)在服務(wù)方式方面需要轉(zhuǎn)變和加強(qiáng)的工作內(nèi)容。

二、水文集成系統(tǒng)技術(shù)

積極研究大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)等技術(shù)應(yīng)用是全國水利信息化“十三五”規(guī)劃提出的具體任務(wù)。北京水文集成系統(tǒng)首次嘗試使用大數(shù)據(jù)、云平臺(tái)等技術(shù)，并且基于.NET平臺(tái)、Oracle數(shù)據(jù)庫和GIS技術(shù)，開發(fā)了Browser/Server模式的、面向管理層用戶的水文集成系統(tǒng),形成為防汛指揮、地下水管理、水環(huán)境保護(hù)、水質(zhì)水量考核、水資源管理等服務(wù)的專業(yè)平臺(tái)。在實(shí)施上從三方面進(jìn)行了突破，一是物聯(lián)網(wǎng)框架下的水文信息采集、傳輸、交互等關(guān)鍵技術(shù)，集成融合后形成水文大數(shù)據(jù)；二是面向在線服務(wù)的虛擬化云平臺(tái)建設(shè)，保證系統(tǒng)運(yùn)行高效、快捷；三是形成水文特點(diǎn)的數(shù)據(jù)可視化分析和展示，提供動(dòng)態(tài)、全面的水情新視野，最終實(shí)現(xiàn)水文數(shù)據(jù)向水文產(chǎn)品的轉(zhuǎn)化。

1.多異構(gòu)數(shù)據(jù)庫交換架構(gòu)實(shí)現(xiàn)水文大數(shù)據(jù)的交互和存儲(chǔ)

水文數(shù)據(jù)來源多樣化，主要為實(shí)時(shí)遙測(cè)數(shù)據(jù)、階段成果數(shù)據(jù)、外單位業(yè)務(wù)數(shù)據(jù)等。數(shù)據(jù)存儲(chǔ)方式差異化，采用格式為關(guān)系數(shù)據(jù)庫存儲(chǔ)（Oracle或SQL Server或DB2）、文件數(shù)據(jù)庫存儲(chǔ) （Excel文件）。數(shù)據(jù)庫表結(jié)構(gòu)也不統(tǒng)一，同一指標(biāo)的字段名稱、類型、長度都不一致?；谝陨蠑?shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，需要提升開放和易于擴(kuò)展的異構(gòu)數(shù)據(jù)集成能力。

研究采用可提供Web Service服務(wù)的中間件，解決不同格式數(shù)據(jù)資源的綜合利用問題，具體是通過建立關(guān)系型數(shù)據(jù)庫之間、關(guān)系型數(shù)據(jù)與系統(tǒng)數(shù)據(jù)之間的轉(zhuǎn)換映射機(jī)制，實(shí)現(xiàn)各種主流數(shù)據(jù)庫間的類型轉(zhuǎn)換。通過創(chuàng)建可重復(fù)使用的數(shù)據(jù)交換方案，記錄源和目的數(shù)據(jù)庫對(duì)象映射、相關(guān)數(shù)據(jù)表映射、相關(guān)字段映射等信息，實(shí)現(xiàn)了所有水文數(shù)據(jù)的交換融合，并具有很好的通用性和兼容性，數(shù)據(jù)同步延遲保持在5秒以內(nèi)。

2.虛擬化云平臺(tái)服務(wù)水文大數(shù)據(jù)的存儲(chǔ)和應(yīng)用

水文數(shù)據(jù)涉及地表水、地下水、水環(huán)境、水生態(tài)等多個(gè)領(lǐng)域，據(jù)統(tǒng)計(jì)，水文行業(yè)自身監(jiān)測(cè)的數(shù)據(jù)占水務(wù)行業(yè)可利用數(shù)據(jù)總量的70%以上，提升水文的綜合服務(wù)能力在于水文數(shù)據(jù)的有效融合。通過近幾年水文數(shù)據(jù)的交互融合，本地?cái)?shù)據(jù)庫條數(shù)達(dá)6 500萬條，預(yù)計(jì)每年還將以近百萬條的速度增長，僅依托硬件的高配置遠(yuǎn)遠(yuǎn)不能解決水文大數(shù)據(jù)的快速查詢、展示等功能。為解決這一問題，水文集成系統(tǒng)利用虛擬化云平臺(tái)技術(shù)，減少物理服務(wù)器的數(shù)量，并按需生成虛擬云計(jì)算主機(jī)，最大化利用并提高硬件資源利用率，對(duì)大數(shù)據(jù)的存儲(chǔ)和使用進(jìn)行有效管理。

建立了基于虛擬化技術(shù)，由多臺(tái)高性能的服務(wù)器組成的云平臺(tái)，采用Active/Active模式設(shè)計(jì)，虛擬機(jī)分別在各臺(tái)主機(jī)上運(yùn)行，進(jìn)行高效、動(dòng)態(tài)資源分配。同時(shí)虛擬化云平臺(tái)具有可擴(kuò)展特性，可以在現(xiàn)有資源池中繼續(xù)添加物理資源，更大提高資源的使用率和云計(jì)算平臺(tái)的服務(wù)能力。虛擬化云平臺(tái)技術(shù)的應(yīng)用，極大提升了平臺(tái)運(yùn)行速度，用戶體驗(yàn)實(shí)時(shí)、快捷。

對(duì)于系統(tǒng)癱瘓恢復(fù)問題，傳統(tǒng)的雙機(jī)熱備架構(gòu)在設(shè)備故障或系統(tǒng)宕機(jī)的情況下，完成系統(tǒng)恢復(fù)一般需要2～3天，遠(yuǎn)不能滿足水文應(yīng)急服務(wù)的要求。利用虛擬化技術(shù)可實(shí)現(xiàn)快速恢復(fù)，一般故障10分鐘內(nèi)恢復(fù)，嚴(yán)重故障1～2小時(shí)內(nèi)恢復(fù)，末端光纖存儲(chǔ)設(shè)備在虛擬化基礎(chǔ)上又增加了保險(xiǎn)系數(shù)，可為虛擬化平臺(tái)中的所有業(yè)務(wù)系統(tǒng)進(jìn)行服務(wù)。同時(shí)為了徹底解決宕機(jī)的可能性，增加了具備實(shí)時(shí)同步和集群功能的緊急備份設(shè)備，從而保證整個(gè)系統(tǒng)運(yùn)行穩(wěn)定，避免宕機(jī)的風(fēng)險(xiǎn)，提高系統(tǒng)在極端環(huán)境下的抗風(fēng)險(xiǎn)能力。水文集成系統(tǒng)具體部署見圖1。

圖1 水文集成系統(tǒng)部署物理圖

圖2 水文集成系統(tǒng)應(yīng)用架構(gòu)圖

3.融合水文特點(diǎn)的數(shù)據(jù)可視化分析和展示

水是基礎(chǔ)性自然資源和戰(zhàn)略性經(jīng)濟(jì)資源，是生態(tài)環(huán)境的控制性要素，弄清水的特征和規(guī)律，必須運(yùn)用大量水文數(shù)據(jù)進(jìn)行支撐和分析研究。監(jiān)測(cè)對(duì)于水文行業(yè)來說，是一項(xiàng)最基礎(chǔ)的工作，最基本的水文要素包括降水量、水位、流量、蓄水量、地下水埋深、水質(zhì)以及水資源量、富營養(yǎng)化程度、水生態(tài)健康指標(biāo)等，這些專業(yè)數(shù)據(jù)支撐著全市地表水、地下水、外調(diào)水等的資源化管理。

水文數(shù)據(jù)展示的設(shè)計(jì)，需要以管理層用戶等為中心，定位于服務(wù)功能，從防汛指揮、水資源管理、水環(huán)境保護(hù)、水生態(tài)修復(fù)以及各項(xiàng)指導(dǎo)意見和辦法等方面出發(fā)，利用時(shí)間、空間等維度進(jìn)行動(dòng)態(tài)展示，形成一種基于數(shù)據(jù)查詢使用的高級(jí)形態(tài)產(chǎn)品。該系統(tǒng)除了進(jìn)行水文基礎(chǔ)信息管理外，更是展現(xiàn)全市水文水資源情勢(shì)的新視野。

通過開發(fā)建設(shè)，北京市水文集成系統(tǒng)實(shí)現(xiàn)水文站網(wǎng)的統(tǒng)一管理功能，綜合展示站網(wǎng)規(guī)劃和布局，并與其他水專項(xiàng)規(guī)劃建設(shè)進(jìn)行銜接。系統(tǒng)實(shí)現(xiàn)防汛指揮的多維需求功能，從點(diǎn)到面（全市）、從點(diǎn)到線（流域）全面展示降雨時(shí)空分布、洪水過程、視頻監(jiān)控、洪水預(yù)報(bào)、洪水預(yù)警等多維的水文信息和成果。該系統(tǒng)實(shí)現(xiàn)了水資源管理的支撐功能，全面展現(xiàn)平原區(qū)、各行政區(qū)、各點(diǎn)的地下水埋深情況和變幅，實(shí)時(shí)監(jiān)視水功能區(qū)、地下水、黑臭水體等水質(zhì)狀況，反映全市水環(huán)境現(xiàn)狀與目標(biāo)。系統(tǒng)還實(shí)現(xiàn)了京津冀水文信息的共享功能，實(shí)現(xiàn)京津冀報(bào)汛站點(diǎn)數(shù)據(jù)等信息的統(tǒng)一展示。水文集成系統(tǒng)應(yīng)用架構(gòu)見圖2。

三、結(jié)語

伴隨著信息通信技術(shù)的迅猛推進(jìn)，水文數(shù)據(jù)的融合、互通、應(yīng)用是智慧水務(wù)帶來的高級(jí)形態(tài)。

通過對(duì)水文數(shù)據(jù)的集成融合工作，實(shí)現(xiàn)水文數(shù)據(jù)可視的全新視角，利用網(wǎng)頁、手機(jī)APP的雙軌應(yīng)用，北京水文服務(wù)能力將得到又一次提升，既能使全市水務(wù)行業(yè)的管理人員和技術(shù)人員了解水的基本情勢(shì)，對(duì)水文水資源信息進(jìn)行自動(dòng)、實(shí)時(shí)、全面、精準(zhǔn)的感知，又能滿足于本單位技術(shù)人員對(duì)資料的使用管理，提高工作效率和質(zhì)量，發(fā)揮信息化系統(tǒng)的整體效能，這也是智慧水務(wù)理念在水文行業(yè)內(nèi)的一次創(chuàng)新嘗試。

[1]楊明祥，蔣云鐘，田雨，等.智慧水務(wù)建設(shè)需求探析[J].清華大學(xué)學(xué)報(bào)，2014（1）.

[2]中華人民共和國水利部.全國水利信息化“十三五”規(guī)劃[R].2016.

責(zé)任編輯 張金慧

Formation of an integrated hydrological system with multiple heterogeneous databases in Beijing

Zang Min,Li Kai

In order to improve hydrological service and satisfy needs of smart-hydrology,an integrate hydrological system especially for managers has been developed in Beijing,so as to overcome deficiency caused by separate collection of hydrological information and individual database owned by various agencies.Now a professionalized system is employed for flood control commanding,groundwater management,environment protection,assessment of water quality and quantity management.The system can be used for integration of hydrological data under the condition of multi-heterogeneous database,with provision of professional,real-time and visible products.Having features of demonstration and innovative,the system can be widely extended by providing interface for the application of big data, cloud computing and mobile internet in the next stage.

water resources informatization;system design;hydrological database;integration platform;Beijing

P33

B

1000-1123（2016）18-0011-02

2016-08-17

臧敏，高級(jí)工程師。