燕艷 張楠 于紅梅

摘要：由于當(dāng)前科學(xué)技術(shù)發(fā)展的速度進(jìn)一步加快，水務(wù)行業(yè)逐步開(kāi)始趨向于現(xiàn)代化建設(shè)，也不斷的配置各種測(cè)站，全面的對(duì)水文的情況進(jìn)行監(jiān)測(cè)。水文測(cè)站是水文信息采集過(guò)程中最重要的基礎(chǔ)單元，需要將原有的水情信息存儲(chǔ)，并且將模擬記錄向數(shù)字化記錄轉(zhuǎn)變，水情信息數(shù)據(jù)逐步開(kāi)始向大數(shù)據(jù)方向發(fā)展，通過(guò)相關(guān)的軟件配套設(shè)備，保證水文數(shù)據(jù)的有效分析處理和使用。本文重點(diǎn)對(duì)某水文站水情處理大數(shù)據(jù)系統(tǒng)的現(xiàn)狀和策略進(jìn)行分析，以供參考。

Abstract： Due to the speed of the current development of science and technology， the water industry has gradually begun to modernize， and various stations have been continuously deployed to comprehensively monitor the hydrological situation. The hydrological station is the most important basic unit in the process of hydrological information collection. It needs to store the original water information， and transform the analog record to the digital record. The water information data gradually develops toward the big data direction， and the relevant software supporting equipment ensures the effective analysis， processing and use of the hydrological data. This paper focuses on the analysis of the status quo and strategy of a hydrological station big data system for a hydrological station for reference.

關(guān)鍵詞：水文;大數(shù)據(jù);水情信息

Key words： hydrology;big data;water information

中圖分類(lèi)號(hào)：TV12? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1006-4311（2019）25-0288-02

1? 水文水情信息概述

水文指的主要是自然界水的運(yùn)動(dòng)以及變化，也被叫做是水的波紋。當(dāng)前主要是對(duì)自然界水的變化以及時(shí)空分布情況進(jìn)行專(zhuān)門(mén)研究的一門(mén)邊緣學(xué)科。國(guó)家越來(lái)越重視連續(xù)動(dòng)態(tài)的監(jiān)測(cè)江河湖泊的水文狀況，進(jìn)行了很多水文測(cè)站的布設(shè)，專(zhuān)門(mén)用于對(duì)水情信息進(jìn)行收集和發(fā)布，為國(guó)民經(jīng)濟(jì)建設(shè)與發(fā)展打下堅(jiān)實(shí)的基礎(chǔ)，相關(guān)的水文信息數(shù)據(jù)是水文行業(yè)發(fā)展過(guò)程中值得積累和應(yīng)用的有價(jià)值的財(cái)富。

2? 水文水情信息大數(shù)據(jù)處理現(xiàn)狀

水文測(cè)站監(jiān)測(cè)的內(nèi)容很多，主要有含沙量、水的流量、蒸發(fā)量、降水量以及河水的水位等，基本可以實(shí)現(xiàn)自記化。水情信息可以向水情信息中心實(shí)時(shí)的傳輸，讓用戶(hù)通過(guò)手機(jī)、電腦等設(shè)備隨時(shí)對(duì)水情信息進(jìn)行查看。相關(guān)部門(mén)研發(fā)了自動(dòng)測(cè)報(bào)系統(tǒng)，可以有效的按照一定的時(shí)間間隔，通過(guò)相關(guān)的傳感器對(duì)信息進(jìn)行采集，并且對(duì)水位、雨量等信息進(jìn)行存儲(chǔ)，通過(guò)編譯之后向測(cè)站水情中心進(jìn)行傳遞，測(cè)報(bào)系統(tǒng)信息中心終端在獲取數(shù)據(jù)之后，可以對(duì)這些數(shù)據(jù)進(jìn)行分析、檢查、反饋，并且將測(cè)站現(xiàn)場(chǎng)水情信息處理工作完成，自動(dòng)測(cè)報(bào)采集終端可以現(xiàn)場(chǎng)進(jìn)行數(shù)據(jù)的轉(zhuǎn)發(fā)、采集、存儲(chǔ)等，另外可以通過(guò)編碼的相關(guān)技術(shù)，實(shí)現(xiàn)一定周期內(nèi)的采集，周期可以設(shè)定為5分鐘、10分鐘等，將數(shù)據(jù)是通過(guò)ASCII的格式向Excel、office等文件導(dǎo)出。在實(shí)時(shí)進(jìn)行降水、水位、流量數(shù)據(jù)采集的過(guò)程中，可以將水文的要素變化情況準(zhǔn)確的反映出來(lái)，通常條件下可以將這些數(shù)據(jù)進(jìn)行整理、匯編之后產(chǎn)生報(bào)表，供用戶(hù)進(jìn)行查閱使用。為了保證水情信息的時(shí)效性、準(zhǔn)確性，各水文測(cè)站還可以通過(guò)相關(guān)的軟件來(lái)處理、轉(zhuǎn)發(fā)數(shù)據(jù)，保證數(shù)據(jù)采集的準(zhǔn)確性。（圖1）

2.1 數(shù)據(jù)存儲(chǔ)

在進(jìn)行數(shù)據(jù)存儲(chǔ)的過(guò)程中，主要是有機(jī)的結(jié)合分布式文件系統(tǒng)和關(guān)系型數(shù)據(jù)，將水文大數(shù)據(jù)進(jìn)行有效的存儲(chǔ)，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，保證質(zhì)量管控?cái)?shù)據(jù)和元數(shù)據(jù)利用關(guān)系型數(shù)據(jù)庫(kù)服務(wù)RDS得到有效的管理，而對(duì)于一些文件數(shù)據(jù)、歷史數(shù)據(jù)以及圖像數(shù)據(jù)等，通過(guò)分布式文件存儲(chǔ)服務(wù)OSS以及大數(shù)據(jù)表格存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ)。兩種數(shù)據(jù)在存儲(chǔ)的過(guò)程中是統(tǒng)一的并非獨(dú)立存在的，而是通過(guò)數(shù)據(jù)集成服務(wù)或裝載工具進(jìn)行有效的控制和互補(bǔ)，讓彈性擴(kuò)容實(shí)現(xiàn)，符合海量數(shù)據(jù)持續(xù)增長(zhǎng)的需要，保證數(shù)據(jù)結(jié)構(gòu)朝多樣性的方向發(fā)展。

在進(jìn)行水文數(shù)據(jù)中心建設(shè)的過(guò)程中，對(duì)所有結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行了描述和定義。在水文系統(tǒng)當(dāng)中，可以提高數(shù)據(jù)的可用性和易用性。

2.2 數(shù)據(jù)分析

在獲取水文數(shù)據(jù)之后需要通過(guò)大數(shù)據(jù)分析，主要是依照主題化的應(yīng)用需求合理的分析和處理數(shù)據(jù)。在此過(guò)程中，需要通過(guò)云計(jì)算引擎和并行計(jì)算系統(tǒng)將分布式海量水文數(shù)據(jù)通過(guò)集成系統(tǒng)在云端進(jìn)行高速交換，并且通過(guò)MaxCompute進(jìn)行并行MapReduce計(jì)算，讓多點(diǎn)高效數(shù)據(jù)處理實(shí)現(xiàn)，將傳統(tǒng)水文數(shù)據(jù)處理過(guò)程中計(jì)算能力不足等問(wèn)題有效的解決。在進(jìn)行云平臺(tái)使用的過(guò)程中，可以通過(guò)線性、非線性的統(tǒng)計(jì)方法充分的挖掘水文數(shù)據(jù)，并且形成高效的數(shù)據(jù)分析平臺(tái)。對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)更新和計(jì)算，進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)的有效利用，實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行展示，有效的對(duì)災(zāi)情進(jìn)行調(diào)度并且告警，另外可以利用深度學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、決策樹(shù)等對(duì)數(shù)據(jù)間的內(nèi)在聯(lián)系進(jìn)行探索，將數(shù)據(jù)當(dāng)中的隱含內(nèi)容挖掘出來(lái)，為后續(xù)進(jìn)行跨行業(yè)的數(shù)據(jù)共享和融合打下堅(jiān)實(shí)的基礎(chǔ)。具體分析一些視頻、圖片、文本等非結(jié)構(gòu)性數(shù)據(jù)，通過(guò)分析可以自動(dòng)形成摘要和關(guān)鍵詞，并且依照主題完成分類(lèi)工作，為后續(xù)進(jìn)行水文資料的快速瀏覽和檢索打下堅(jiān)實(shí)的基礎(chǔ)。

2.3 數(shù)據(jù)分發(fā)

在進(jìn)行數(shù)據(jù)分發(fā)系統(tǒng)建設(shè)的過(guò)程中，可以有效的保障云計(jì)算的實(shí)現(xiàn)，可以讓水文數(shù)據(jù)端到端的及時(shí)分發(fā)得到有效的實(shí)現(xiàn)，確保各個(gè)業(yè)務(wù)部門(mén)都能有效的進(jìn)行快速聯(lián)動(dòng)。與此同時(shí)，數(shù)據(jù)服務(wù)對(duì)象除了服務(wù)單位、值班系統(tǒng)、預(yù)報(bào)系統(tǒng)等水文專(zhuān)業(yè)系統(tǒng)外，還可以面對(duì)普通的蕓蕓大眾。云平臺(tái)在進(jìn)行大數(shù)據(jù)計(jì)算之后，可以將獲得的水文數(shù)據(jù)分析的結(jié)果以及一些專(zhuān)業(yè)的客戶(hù)信息，通過(guò)API接口向公眾統(tǒng)一發(fā)放，可以讓民眾在生活的過(guò)程中更好的對(duì)水文知識(shí)進(jìn)行利用，保證從行業(yè)水平逐步向社會(huì)水文發(fā)展，做到立足專(zhuān)業(yè)處理，面向社會(huì)服務(wù)。

2.4 統(tǒng)一的門(mén)戶(hù)管理

水文大數(shù)據(jù)平臺(tái)建設(shè)的過(guò)程中，需要利用簡(jiǎn)潔的界面統(tǒng)一的門(mén)戶(hù)，直觀的向用戶(hù)進(jìn)行歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)分析報(bào)告的展示，讓用戶(hù)更好的對(duì)結(jié)果進(jìn)行分析和利用，利用大數(shù)據(jù)可以有效的將各個(gè)服務(wù)組件合并起來(lái)，利用API調(diào)用的方式進(jìn)行運(yùn)維界面和監(jiān)控界面的統(tǒng)一設(shè)置，這樣可以讓平臺(tái)的運(yùn)維效果和易用性大幅度提高。

3? 水文水情信息大數(shù)據(jù)處理的展望和策略

3.1 加強(qiáng)多庫(kù)合一的建設(shè)

在水文數(shù)據(jù)庫(kù)發(fā)展的過(guò)程中，一定要對(duì)大數(shù)據(jù)和云計(jì)算進(jìn)行合理利用，保證數(shù)據(jù)獲取的通道通暢，通過(guò)多庫(kù)合一的方式加強(qiáng)水文數(shù)據(jù)的收集。在數(shù)據(jù)庫(kù)建設(shè)的過(guò)程中需要合理的對(duì)數(shù)據(jù)庫(kù)進(jìn)行分類(lèi)，形成整編庫(kù)、預(yù)報(bào)庫(kù)、歷史庫(kù)、實(shí)時(shí)庫(kù)等。這些數(shù)據(jù)庫(kù)在構(gòu)建的過(guò)程中各個(gè)側(cè)重點(diǎn)各不相同，通過(guò)多庫(kù)合一之后可以讓數(shù)據(jù)維護(hù)的任務(wù)大幅度的減輕，利用統(tǒng)一的數(shù)據(jù)更好的為客戶(hù)服務(wù)。多庫(kù)合一具有較大的優(yōu)勢(shì)，也具有較深遠(yuǎn)的影響，然而再操作起來(lái)具有一定的難度，水利部需要出臺(tái)相關(guān)的表結(jié)構(gòu)標(biāo)準(zhǔn)，合理的進(jìn)行數(shù)據(jù)的整理，這也是非常艱巨的任務(wù)。

3.2 重視糾錯(cuò)和攔截機(jī)制的建設(shè)

當(dāng)前在數(shù)據(jù)交互的過(guò)程中，各個(gè)功能已經(jīng)越來(lái)越成熟，但是因?yàn)闆](méi)有攔截和糾錯(cuò)的機(jī)制導(dǎo)致數(shù)據(jù)處理的過(guò)程中一旦產(chǎn)生錯(cuò)誤，數(shù)據(jù)無(wú)法及時(shí)的進(jìn)行糾正。在未來(lái)水情傳輸?shù)倪^(guò)程中具有更高的自動(dòng)化水平，所以一定要合理的進(jìn)行攔截錯(cuò)誤數(shù)據(jù)功能的設(shè)置，在發(fā)覺(jué)錯(cuò)誤數(shù)據(jù)的過(guò)程中，一定要注意在接收數(shù)據(jù)入庫(kù)之后形成邏輯判斷程序，對(duì)數(shù)據(jù)的合理性進(jìn)行判斷，如果數(shù)據(jù)無(wú)法達(dá)到要求，則不予入庫(kù)，并且發(fā)出警告和提醒，進(jìn)行人工處理。

3.3 逐步強(qiáng)化對(duì)基礎(chǔ)信息的管理實(shí)行站點(diǎn)注冊(cè)制度

在進(jìn)行水情數(shù)據(jù)管理的過(guò)程中需要對(duì)報(bào)汛站點(diǎn)的管理進(jìn)行強(qiáng)化，避免出現(xiàn)站點(diǎn)基礎(chǔ)信息缺失，賬號(hào)重復(fù)，對(duì)報(bào)訊工作產(chǎn)生影響。在未來(lái)進(jìn)行報(bào)汛通信系統(tǒng)設(shè)置的過(guò)程中需要對(duì)水站的管理進(jìn)行強(qiáng)化，進(jìn)行站點(diǎn)注冊(cè)管理體系。每個(gè)報(bào)訊站都需要在國(guó)家水情中心進(jìn)行注冊(cè)，在完成站點(diǎn)注冊(cè)之后才能進(jìn)行水情的報(bào)訊和傳輸，對(duì)數(shù)據(jù)的來(lái)源進(jìn)行統(tǒng)一化的管理，防止數(shù)據(jù)之間產(chǎn)生沖突。防汛和水調(diào)部門(mén)一定要及時(shí)的進(jìn)行決策軟件的編制，在站點(diǎn)注冊(cè)的時(shí)候一定要著重進(jìn)行站點(diǎn)基礎(chǔ)信息的登記，特別是經(jīng)緯度信息的管理。

4? 結(jié)束語(yǔ)

當(dāng)前水情處理已經(jīng)經(jīng)歷了很長(zhǎng)的時(shí)間，積累了很多水文信息數(shù)據(jù)，由于水情數(shù)據(jù)，不斷的更新一定要加強(qiáng)水情信息的處理，通過(guò)大數(shù)據(jù)有效的展開(kāi)水文測(cè)驗(yàn)的創(chuàng)新工作，有效的對(duì)水情信息進(jìn)行維護(hù)和管理，讓水文監(jiān)測(cè)能力提高，保障水文數(shù)據(jù)獲取過(guò)程中的有效性和數(shù)據(jù)處理的合理性。

參考文獻(xiàn)：

[1]高軍，王立海.大數(shù)據(jù)環(huán)境下長(zhǎng)江水文信息與網(wǎng)絡(luò)安全防技術(shù)探[C]//大數(shù)據(jù)時(shí)代的信息化建設(shè)，2015.

[2]劉予偉，劉東潤(rùn)，陳獻(xiàn)耘.大數(shù)據(jù)在水資源管理中的應(yīng)用展望[J].水資源研究，2015，04（5）：470-476.

[3]李文俊，趙文煥，楊鵬，等.長(zhǎng)江流域控制性水利工程綜合調(diào)度系統(tǒng)研究[J].中國(guó)防汛抗旱，2018，28（6）：25-28.