蔣云鐘，冶運(yùn)濤，趙紅莉

（中國(guó)水利水電科學(xué)研究院水資源研究所，北京 100038）

0 引言

2008 年，“大數(shù)據(jù)”被《自然》雜志刊登專題，引發(fā)了全球各國(guó)的重點(diǎn)關(guān)注[1-2]，美國(guó)、英國(guó)等發(fā)達(dá)國(guó)家及我國(guó)先后發(fā)布大數(shù)據(jù)的相關(guān)研究和發(fā)展計(jì)劃[3]，將其上升為國(guó)家層面的戰(zhàn)略資源。隨著“物物皆能被感知，人人成為傳感器”的愿景日益變?yōu)楝F(xiàn)實(shí)，人類面臨著呈爆炸式增長(zhǎng)的數(shù)據(jù)信息，這無(wú)疑向我們昭示——大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)[4-6]。隨之而來(lái)的是大數(shù)據(jù)概念的不斷發(fā)展完善[4,7-8]，它被認(rèn)為是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合[9]1。各行業(yè)利用對(duì)大數(shù)據(jù)的采集、存儲(chǔ)和關(guān)聯(lián)分析發(fā)現(xiàn)新知識(shí)，創(chuàng)造新價(jià)值，提升新能力，重塑新一代信息技術(shù)和服務(wù)業(yè)態(tài)[9]1。

變化環(huán)境下水安全問題已成為人類可持續(xù)發(fā)展面臨的新的重大挑戰(zhàn)[10]，同時(shí)是國(guó)際上普遍關(guān)心的全球性和重大戰(zhàn)略問題[11]，涉及領(lǐng)域廣泛，過(guò)程復(fù)雜，驅(qū)動(dòng)因素眾多，在“自然-人工”耦合的復(fù)雜水系統(tǒng)運(yùn)行中產(chǎn)生了海量的、多源的、異構(gòu)的涉水?dāng)?shù)據(jù)，這給水安全問題的監(jiān)測(cè)分析和管理決策帶來(lái)很大難題。融合新資源、新技術(shù)和新理念的水利大數(shù)據(jù)為解決水安全問題開辟了新的途徑和指明了新的方向，對(duì)認(rèn)識(shí)水規(guī)律、強(qiáng)化水管理、謀劃水未來(lái)均有重要價(jià)值。作為大數(shù)據(jù)關(guān)鍵組成部分的水利大數(shù)據(jù)具備大數(shù)據(jù)的一般特征[12]1，[13]2。水利部《關(guān)于推進(jìn)水利大數(shù)據(jù)的指導(dǎo)意見》的印發(fā)標(biāo)志著水利大數(shù)據(jù)發(fā)展進(jìn)入一個(gè)新階段[12]1，[14]。

隨著我國(guó)智慧水利建設(shè)工作的推進(jìn)，智慧水利建設(shè)目標(biāo)是應(yīng)用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)，圍繞洪水、干旱、水工程安全運(yùn)行、水利工程建設(shè)、水資源開發(fā)利用、城鄉(xiāng)供水、節(jié)水、江河湖泊、水土流失等 9 個(gè)方面，形成融合高效、智能分析、實(shí)時(shí)便捷的智慧水利應(yīng)用大系統(tǒng)[15]，促進(jìn)水治理體系和能力現(xiàn)代化[16]。國(guó)內(nèi)外對(duì)水利大數(shù)據(jù)研究進(jìn)行了有益嘗試，但從總體上看，這些研究還處在起步階段，主要存在以下問題[13]2，[17]：1）大數(shù)據(jù)的理論技術(shù)尚未成熟和大規(guī)模應(yīng)用；2）水利信息系統(tǒng)仍沒有統(tǒng)一的數(shù)據(jù)存儲(chǔ)與共享模型；3）水利行業(yè)在大數(shù)據(jù)的理論、研究方法和應(yīng)用價(jià)值等方面存在思想認(rèn)識(shí)落后，技術(shù)儲(chǔ)備不足的問題；4）水利大數(shù)據(jù)既缺少戰(zhàn)略性研究，又沒有能夠應(yīng)用的頂層設(shè)計(jì)指導(dǎo)。這些問題的存在影響和制約了水利大數(shù)據(jù)的研究和應(yīng)用工作的有序推進(jìn)。尤其是水利大數(shù)據(jù)概念內(nèi)涵不清晰，架構(gòu)體系不統(tǒng)一，標(biāo)準(zhǔn)規(guī)范不完善，業(yè)務(wù)應(yīng)用不明確等基礎(chǔ)問題仍沒有得到解決，無(wú)法回答“是什么”“怎么做”“如何用”等命題，這就導(dǎo)致在水利大數(shù)據(jù)建設(shè)中，基礎(chǔ)設(shè)施建設(shè)蓬勃發(fā)展，但是成功應(yīng)用案例不多，與大數(shù)據(jù)建設(shè)的“初心”仍有較大差距。以探索解決這些基礎(chǔ)問題為出發(fā)點(diǎn)，致力于實(shí)現(xiàn)大數(shù)據(jù)技術(shù)能夠廣泛應(yīng)用在治水實(shí)踐[18]，開展了如下工作：1）基于對(duì)大數(shù)據(jù)的認(rèn)知，解析水利大數(shù)據(jù)的內(nèi)涵特征；2）將成熟先進(jìn)的大數(shù)據(jù)產(chǎn)品、開源軟件框架及傳統(tǒng)數(shù)據(jù)處理組件相結(jié)合，設(shè)計(jì)一整套水利大數(shù)據(jù)混合體系架構(gòu)；3）提出符合水利業(yè)務(wù)和大數(shù)據(jù)特點(diǎn)的數(shù)據(jù)管理規(guī)范和應(yīng)用標(biāo)準(zhǔn)；4）研究總結(jié)水利大數(shù)據(jù)應(yīng)用場(chǎng)景。

1 對(duì)大數(shù)據(jù)的認(rèn)知

1.1 對(duì)大數(shù)據(jù)概念的理解

國(guó)內(nèi)外研究機(jī)構(gòu)和企業(yè)雖然已對(duì)大數(shù)據(jù)的定義、內(nèi)涵和標(biāo)準(zhǔn)進(jìn)行了大量的探索和研究，但是仍沒有達(dá)成一致共識(shí)。劉麗香等[19]根據(jù)不同定義的側(cè)重點(diǎn)，將大數(shù)據(jù)概念分為 3 類理解方式，第 1 類主要突出“大”[20-21]，第 2 類主要突出“功能和作用”[22]，第 3 類主要突出“價(jià)值觀和方法論”[23]。目前能被普遍認(rèn)可的大數(shù)據(jù)具有“5 V”特點(diǎn)[24-27]：數(shù)據(jù)規(guī)模巨大；數(shù)據(jù)種類繁雜多樣；數(shù)據(jù)產(chǎn)生快，數(shù)據(jù)處理能力快速實(shí)時(shí)；數(shù)據(jù)價(jià)值密度低，應(yīng)用價(jià)值高；真實(shí)性低。

大數(shù)據(jù)技術(shù)及應(yīng)用流程主要包括以下技術(shù)[28]：

1）大數(shù)據(jù)采集技術(shù)。是大數(shù)據(jù)技術(shù)及應(yīng)用的重要基礎(chǔ)，其智能感知主要包括數(shù)據(jù)傳感、網(wǎng)絡(luò)通信、傳感適配、智能識(shí)別等體系，以及軟硬件資源接入系統(tǒng)，同時(shí)能夠把復(fù)雜且不易處理的數(shù)據(jù)轉(zhuǎn)化處理為簡(jiǎn)單且易處理的數(shù)據(jù)結(jié)構(gòu)類型，另外能夠支持?jǐn)?shù)據(jù)清洗去噪和校核處理，甄別過(guò)濾掉無(wú)用或錯(cuò)誤的離群數(shù)據(jù)，提取有應(yīng)用價(jià)值的數(shù)據(jù)。

2）大數(shù)據(jù)存儲(chǔ)及管理技術(shù)。需要用存儲(chǔ)設(shè)備存儲(chǔ)采集的數(shù)據(jù)，并根據(jù)數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化結(jié)構(gòu)類型及業(yè)務(wù)需求特點(diǎn)，建立相應(yīng)的并行、高效的大數(shù)據(jù)數(shù)據(jù)庫(kù)系統(tǒng)，以統(tǒng)一管理、檢索、調(diào)用和互聯(lián)共享海量數(shù)據(jù)。

3）大數(shù)據(jù)分析及挖掘技術(shù)。是大數(shù)據(jù)處理流程最核心的部分，基于對(duì)象的數(shù)據(jù)、相似性連接等大數(shù)據(jù)融合技術(shù)，融合機(jī)器語(yǔ)言、人工智能、統(tǒng)計(jì)分析和系統(tǒng)建模等新型數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)技術(shù)，改進(jìn)現(xiàn)有的數(shù)據(jù)挖掘技術(shù)及算法，突破面向特定領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。

4）大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)。將大數(shù)據(jù)分析及挖掘的信息和知識(shí)用多種可視化手段展現(xiàn)，提高各行業(yè)各領(lǐng)域的運(yùn)轉(zhuǎn)效率和集約化水平。

1.2 對(duì)大數(shù)據(jù)研究方法的理解

1.2.1 傳統(tǒng)研究方法

傳統(tǒng)研究方法是基于機(jī)理的研究方法，分為以下 4 個(gè)步驟[29]5：

1）步驟 1，合理假設(shè)，適當(dāng)簡(jiǎn)化。根據(jù)大量的先驗(yàn)知識(shí)，盡可能地深入了解研究對(duì)象的物理本質(zhì)，在此基礎(chǔ)上做出合理的假設(shè)和適當(dāng)?shù)暮?jiǎn)化，建立物理試驗(yàn)或數(shù)學(xué)等模型。

2）步驟 2，遵循機(jī)理，建立模型。物理模型的建立常需要做出一定的等值或縮微處理；數(shù)學(xué)模型的建立需要線性化、離散化處理；若缺少詳細(xì)數(shù)據(jù)選擇參數(shù)，就需采用一些典型參數(shù)參與后續(xù)計(jì)算。

3）步驟 3，模型實(shí)驗(yàn)，仿真計(jì)算。對(duì)水利系統(tǒng)來(lái)說(shuō)，相關(guān)的研究包括物理模型實(shí)驗(yàn)、水利系統(tǒng)安全穩(wěn)定仿真、水文模擬計(jì)算等，數(shù)模混合試驗(yàn)在研究大壩、水閘等水利工程建設(shè)，水循環(huán)演變規(guī)律和機(jī)理等方面發(fā)揮了重要作用。

4）步驟 4，分析結(jié)果，機(jī)理解釋。針對(duì)實(shí)驗(yàn)研究、仿真和計(jì)算結(jié)果，需要做出機(jī)理性解釋，有時(shí)為了支持機(jī)理解釋的正確性，需要對(duì)仿真計(jì)算結(jié)果再次進(jìn)行可重現(xiàn)的科學(xué)實(shí)驗(yàn)。

1.2.2 大數(shù)據(jù)研究方法

大數(shù)據(jù)研究方法是以多源數(shù)據(jù)融合為基礎(chǔ)，采取數(shù)據(jù)驅(qū)動(dòng)的研究方法，包含以下 4 個(gè)步驟[29]6：

1）步驟 1，構(gòu)建應(yīng)用場(chǎng)景，提取合適用例。數(shù)據(jù)驅(qū)動(dòng)方法通常將研究對(duì)象看作一個(gè)黑匣子，只需要了解輸入和輸出數(shù)據(jù)，便可通過(guò)一定的數(shù)據(jù)分析方法開展研究。依據(jù)一定的先驗(yàn)知識(shí)，對(duì)需要研究的對(duì)象或問題進(jìn)行分析，建立應(yīng)用場(chǎng)景，分解成用例，明確所需要的數(shù)據(jù)。

2）步驟 2，采集多源數(shù)據(jù)，強(qiáng)化數(shù)據(jù)融合。大數(shù)據(jù)分析方法強(qiáng)調(diào)數(shù)據(jù)的整體性。大數(shù)據(jù)是由大量的個(gè)體數(shù)據(jù)組成的一個(gè)整體，其中各個(gè)數(shù)據(jù)不是孤立存在，而是有機(jī)地結(jié)合在一起。如果把整體數(shù)據(jù)割裂開來(lái)，將會(huì)極大地削弱大數(shù)據(jù)的實(shí)際應(yīng)用價(jià)值，而將零散的數(shù)據(jù)加以整理，形成一個(gè)整體，通常會(huì)釋放出巨大的價(jià)值。數(shù)據(jù)融合是大數(shù)據(jù)研究過(guò)程的難點(diǎn)。

3）步驟 3，面向具體對(duì)象，多維數(shù)據(jù)分析。對(duì)基于融合后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，需針對(duì)應(yīng)用場(chǎng)景和用例，選擇合適的分析方法。數(shù)據(jù)分析是大數(shù)據(jù)研究過(guò)程的關(guān)鍵環(huán)節(jié)。

4）步驟 4，解讀關(guān)聯(lián)特性，解釋水利規(guī)律。研究結(jié)果反映研究對(duì)象的內(nèi)在規(guī)律性、因素的相互關(guān)聯(lián)性或發(fā)展趨勢(shì)，應(yīng)對(duì)研究結(jié)果給予解釋，需要時(shí)進(jìn)行靈敏性分析。

1.2.3 2 種方法對(duì)比

物理概念清晰的傳統(tǒng)研究方法已形成了較為系統(tǒng)的方法論，在科學(xué)技術(shù)發(fā)展中發(fā)揮了重要作用，但對(duì)于一個(gè)復(fù)雜的系統(tǒng)，存在以下局限性：1）在建立復(fù)雜系統(tǒng)的模型時(shí)，需要做出一些理想的假設(shè)和簡(jiǎn)化，在某些情況下存在著較大的誤差甚至錯(cuò)誤；2）對(duì)于難以基于機(jī)理建模的系統(tǒng)，不具有適用性；3）分析較片面、局部，難以反映宏觀的時(shí)空關(guān)聯(lián)特征。

大數(shù)據(jù)方法不依賴機(jī)理，可將歷史和現(xiàn)在的數(shù)據(jù)綜合進(jìn)行分析，得到多維度宏觀的時(shí)空關(guān)聯(lián)特性。大數(shù)據(jù)方法目前還不成熟，尚未形成系統(tǒng)性方法論，需經(jīng)過(guò)長(zhǎng)期的發(fā)展完善才能發(fā)揮應(yīng)有的作用[29]7。需要強(qiáng)調(diào)的是，大數(shù)據(jù)的出現(xiàn)并不意味著要取代傳統(tǒng)業(yè)務(wù)數(shù)據(jù)，傳統(tǒng)業(yè)務(wù)數(shù)據(jù)是大數(shù)據(jù)的重要數(shù)據(jù)來(lái)源，大數(shù)據(jù)方法能夠挖掘提升傳統(tǒng)業(yè)務(wù)數(shù)據(jù)的價(jià)值。

2 水利大數(shù)據(jù)內(nèi)涵特征

以“自然-社會(huì)”二元水循環(huán)及其伴生的水生態(tài)、水環(huán)境、經(jīng)濟(jì)社會(huì)等過(guò)程為對(duì)象的水利多維立體感知網(wǎng)絡(luò)的日益完善，一直在持續(xù)提升水利行業(yè)數(shù)據(jù)采集的能力，形成了能夠獲取時(shí)空連續(xù)的多源異構(gòu)、分布廣泛、動(dòng)態(tài)增長(zhǎng)的水利大數(shù)據(jù)集合，在解決水安全問題時(shí)具備了水利行業(yè)的特征，具體如下：

1）水利大數(shù)據(jù)的體量巨大。各類傳感器、衛(wèi)星遙感、雷達(dá)、全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）、視頻感知、手機(jī)終端等形成了“空-天-地-網(wǎng)”信息獲取的水聯(lián)網(wǎng)體系[30]。全國(guó)水利行業(yè)目前擁有超過(guò) 14 萬(wàn)處的雨量、河湖水位、流量、水質(zhì)及地下水水位等各類水利信息采集點(diǎn)，自動(dòng)采集點(diǎn)所占比例超過(guò)了 80%，當(dāng)前省級(jí)以上水利部門存儲(chǔ)數(shù)據(jù)資源近 2.5 PB[31]，構(gòu)成了海量水利數(shù)據(jù)集，如果加上與水利相關(guān)的氣象、生態(tài)環(huán)境、農(nóng)村農(nóng)業(yè)等行業(yè)外數(shù)據(jù)，水利大數(shù)據(jù)的規(guī)模更加龐大，而且數(shù)據(jù)量增加速度很快。

2）水利大數(shù)據(jù)的復(fù)雜多樣。a. 從數(shù)據(jù)類別看，既有來(lái)自物聯(lián)網(wǎng)設(shè)備的水文氣象、水位流量、水質(zhì)水生態(tài)、水利工程等大量的監(jiān)測(cè)信息，還有全國(guó)水利普查、水資源調(diào)查評(píng)價(jià)、水資源承載能力監(jiān)測(cè)預(yù)警等成果，以及與水利相關(guān)的社會(huì)經(jīng)濟(jì)信息、生態(tài)環(huán)境數(shù)據(jù)、地質(zhì)災(zāi)害數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等各類輔助信息，其中不完全相互獨(dú)立的水利數(shù)據(jù)之間有著復(fù)雜的業(yè)務(wù)和邏輯關(guān)系。b. 從數(shù)據(jù)格式看，除了對(duì)傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)類型的處理分析外，大數(shù)據(jù)技術(shù)能夠應(yīng)用與分析水利領(lǐng)域產(chǎn)生的文本（如項(xiàng)目報(bào)告）、圖片（如衛(wèi)星遙感圖像）、位置（如業(yè)務(wù)人員的巡查路線）、視頻（如河湖監(jiān)管視頻）、日志等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；來(lái)源不同領(lǐng)域、行業(yè)、部門、系統(tǒng)的水利數(shù)據(jù)具有多樣的格式，尚無(wú)統(tǒng)一標(biāo)準(zhǔn)規(guī)范這些數(shù)據(jù)的整合和合并[13]1-2。

3）水利大數(shù)據(jù)的新老結(jié)合。水利管理決策不僅需要了解水利系統(tǒng)的歷史演變規(guī)律，還要能夠預(yù)測(cè)未來(lái)發(fā)展的趨勢(shì)，同時(shí)還需要能夠?qū)崟r(shí)處理動(dòng)態(tài)連續(xù)觀測(cè)的數(shù)據(jù)，對(duì)當(dāng)前狀態(tài)進(jìn)行預(yù)警監(jiān)控。歷史演變規(guī)律為預(yù)測(cè)預(yù)警和實(shí)時(shí)管理決策提供先驗(yàn)知識(shí)，在此基礎(chǔ)上，結(jié)合實(shí)時(shí)監(jiān)測(cè)的流式數(shù)據(jù)，快速挖掘出有用的信息，能夠提高預(yù)測(cè)的準(zhǔn)確性和管理決策的科學(xué)性。

4）水利大數(shù)據(jù)的價(jià)值很高。水聯(lián)網(wǎng)體系能夠感知無(wú)處不在的巨量水利信息的價(jià)值密度可能相對(duì)較低，需要發(fā)展從這些數(shù)據(jù)中快速地提取有用信息的模型算法，能夠通過(guò)對(duì)海量涉水?dāng)?shù)據(jù)的挖掘，實(shí)現(xiàn)從價(jià)值密度低的數(shù)據(jù)中獲取最有用的高價(jià)值信息。有的水利業(yè)務(wù)，如洪水、內(nèi)澇災(zāi)害預(yù)測(cè)預(yù)警和水利工程安全運(yùn)行，要求很高的時(shí)效性，需要利用大數(shù)據(jù)技術(shù)對(duì)這類數(shù)據(jù)進(jìn)行高效處理和及時(shí)反饋。

5）水利大數(shù)據(jù)的模糊很大。雖然各種水利傳感器設(shè)備監(jiān)測(cè)精度較高，但由于監(jiān)測(cè)指標(biāo)之間存在關(guān)聯(lián)性，或者設(shè)備運(yùn)行過(guò)程中可能產(chǎn)生噪聲數(shù)據(jù)，以及不同設(shè)備性能導(dǎo)致記錄的相同對(duì)象的數(shù)據(jù)差異較大，從而導(dǎo)致關(guān)注的數(shù)據(jù)可能會(huì)淹沒在數(shù)據(jù)海洋中，因此，需要利用大數(shù)據(jù)技術(shù)對(duì)多途徑獲取的海量水利數(shù)據(jù)進(jìn)行甄別篩選、過(guò)濾清洗、去偽存真，提高獲取數(shù)據(jù)的精準(zhǔn)度，使數(shù)據(jù)更加接近或描述真實(shí)的情況[32-34]。

6）水利大數(shù)據(jù)的交互性。水利大數(shù)據(jù)以其與國(guó)民經(jīng)濟(jì)社會(huì)廣泛而緊密的聯(lián)系，具有無(wú)可倫比的正外部性，價(jià)值不局限在水利行業(yè)內(nèi)部，更能體現(xiàn)在國(guó)民經(jīng)濟(jì)運(yùn)行、社會(huì)進(jìn)步等方方面面，而發(fā)揮更大價(jià)值的前提和關(guān)鍵是水利行業(yè)數(shù)據(jù)同行業(yè)外數(shù)據(jù)的交互融合，以及在此基礎(chǔ)上全方位的挖掘、分析和再現(xiàn)。這也能夠有效地改善當(dāng)前水利行業(yè)“重建不實(shí)用”的行業(yè)短板，真正體現(xiàn)“反饋經(jīng)濟(jì)”帶來(lái)的價(jià)值增長(zhǎng)。

7）水利大數(shù)據(jù)的效能性。提高效率、增長(zhǎng)效益是水利大數(shù)據(jù)服務(wù)于治水事業(yè)的目標(biāo)，沒有效率和效益的水利大數(shù)據(jù)建設(shè)是沒有生命力的。與電力大數(shù)據(jù)一樣[35]，水利大數(shù)據(jù)具有無(wú)磨損、無(wú)消耗、無(wú)污染、易傳輸?shù)奶匦裕⒃谑褂眠^(guò)程中不斷精煉而增值，在水利各個(gè)環(huán)節(jié)的低能耗、可持續(xù)發(fā)展方面發(fā)揮獨(dú)特巨大的作用，從而達(dá)到節(jié)約水資源、高效利用水資源、保障水安全的目的。

8）水利大數(shù)據(jù)的共情性。水利發(fā)展的目的在于服務(wù)公眾。水利大數(shù)據(jù)天然聯(lián)系千家萬(wàn)戶、政府和企業(yè)，推動(dòng)治水思路轉(zhuǎn)變的本質(zhì)是體現(xiàn)以人為本，通過(guò)人們對(duì)高品質(zhì)水需求的充分挖掘和滿足，為人民群眾提供更加優(yōu)質(zhì)、安全、可靠的水服務(wù)，從而改善人類生存環(huán)境，提高人們生活質(zhì)量。

在實(shí)際應(yīng)用中，水利大數(shù)據(jù)的“大”是一個(gè)相對(duì)概念，除了“大”到傳統(tǒng)數(shù)據(jù)工具無(wú)法處理分析水利數(shù)據(jù)的規(guī)模和復(fù)雜度外，水利數(shù)據(jù)還要能夠全面描述水利對(duì)象的時(shí)空特征或者變化規(guī)律。水利大數(shù)據(jù)以水利數(shù)據(jù)資產(chǎn)管理為基礎(chǔ)，以水利大數(shù)據(jù)平臺(tái)為載體，通過(guò)新的多元水利數(shù)據(jù)集成、多類型水利數(shù)據(jù)存儲(chǔ)、高性能水利計(jì)算和多維水利分析挖掘等技術(shù)，實(shí)現(xiàn)跨部門、行業(yè)、領(lǐng)域、系統(tǒng)的水利行業(yè)內(nèi)外部數(shù)據(jù)的關(guān)聯(lián)分析，滿足水利行業(yè)的政府監(jiān)管、江河調(diào)度、工程運(yùn)行、應(yīng)急處置、公眾服務(wù)等方面的管理效率提升和業(yè)務(wù)創(chuàng)新需求。

由于水利大數(shù)據(jù)具有上述特征，其研究方法與傳統(tǒng)水利數(shù)據(jù)分析方法也有所不同：1）傳統(tǒng)水利業(yè)務(wù)數(shù)據(jù)。以抽樣方式獲取的結(jié)構(gòu)化數(shù)據(jù)為主，利用統(tǒng)計(jì)學(xué)方法分析水利規(guī)律，從而實(shí)現(xiàn)對(duì)水利對(duì)象或事件的特征和性質(zhì)的描述；一般基于水利行業(yè)或部門內(nèi)部的數(shù)據(jù)進(jìn)行分析，以少量的水利數(shù)據(jù)描述水利事件，更多追求合理性的抽樣、準(zhǔn)確性的計(jì)算和科學(xué)性分析。2）水利大數(shù)據(jù)方法。以水問題為導(dǎo)向，在跨行業(yè)、部門、系統(tǒng)的基礎(chǔ)上，以相關(guān)的涉水?dāng)?shù)據(jù)形成對(duì)水利對(duì)象或事件的全景式描述，以數(shù)據(jù)的關(guān)聯(lián)和趨勢(shì)全方位地描述水利對(duì)象或事件，更多追求數(shù)據(jù)的大樣本、多結(jié)構(gòu)和實(shí)時(shí)性。傳統(tǒng)的水利數(shù)據(jù)分析強(qiáng)調(diào)的是分析計(jì)算的精確性和事件現(xiàn)象的因果關(guān)系，水利大數(shù)據(jù)強(qiáng)調(diào)的水利數(shù)據(jù)的全面性、混雜性和關(guān)聯(lián)性，同時(shí)允許數(shù)據(jù)存在一定的誤差和模糊性。從廣義上講，傳統(tǒng)的水利數(shù)據(jù)分析方法是水利大數(shù)據(jù)的重要組成部分，實(shí)際應(yīng)用時(shí)要擯棄掉為“大數(shù)據(jù)”而“大數(shù)據(jù)”的片面思想，應(yīng)以能夠解決水問題為選擇數(shù)據(jù)分析方法的首要原則。

3 水利大數(shù)據(jù)基礎(chǔ)體系架構(gòu)

3.1 水利大數(shù)據(jù)總體架構(gòu)

建立水利大數(shù)據(jù)的體系架構(gòu)需要從數(shù)據(jù)“產(chǎn)生、流動(dòng)、消亡”全生命周期出發(fā)[36]2，基于 DIKW 概念鏈模式[37]，根據(jù)數(shù)據(jù)的精煉化和價(jià)值化過(guò)程分析水利大數(shù)據(jù)的分析流程，主要由水利數(shù)據(jù)的集成、存儲(chǔ)、計(jì)算及業(yè)務(wù)應(yīng)用等 4 個(gè)階段組成。該流程將水利數(shù)據(jù)的治理與分布式存儲(chǔ)、高性能混合計(jì)算與智能信息處理、探索與一體化搜索、可視化展現(xiàn)、安全治理等信息技術(shù)進(jìn)行融合，能夠形成支撐水利數(shù)據(jù)分析與處理、安全防護(hù)的基礎(chǔ)平臺(tái)。通過(guò)水利領(lǐng)域內(nèi)外學(xué)科交叉融合的研究，建立水利領(lǐng)域智能化建模分析和數(shù)據(jù)服務(wù)模式，支撐水利業(yè)務(wù)管理和應(yīng)用場(chǎng)景需求，總體架構(gòu)如圖1 所示。

圖1 水利大數(shù)據(jù)總體架構(gòu)

1）水利數(shù)據(jù)源層。水利數(shù)據(jù)源層主要負(fù)責(zé)數(shù)據(jù)的供給和清洗，就水利行業(yè)而言，主要包括以下數(shù)據(jù)[12]1-2：a. 水利業(yè)務(wù)數(shù)據(jù)。目前水利業(yè)務(wù)數(shù)據(jù)的產(chǎn)生和積累主要來(lái)自重大水利信息化項(xiàng)目、專項(xiàng)和日常工作 3 個(gè)方面，重大水利信息化項(xiàng)目包括國(guó)家防汛抗旱指揮系統(tǒng)工程、國(guó)家水資源監(jiān)控能力建設(shè)、全國(guó)水土保持監(jiān)測(cè)網(wǎng)絡(luò)和信息系統(tǒng)等，水利專項(xiàng)工作包括全國(guó)水利普查、全國(guó)水資源調(diào)查評(píng)價(jià)等，日常工作主要指水利行業(yè)不同部門根據(jù)其職責(zé)開展的水利業(yè)務(wù)工作。b. 其他行業(yè)數(shù)據(jù)。主要包括氣象、自然資源、生態(tài)環(huán)境、住房和城鄉(xiāng)建設(shè)、農(nóng)村農(nóng)業(yè)、統(tǒng)計(jì)、工業(yè)和信息化、稅務(wù)等部門收集整理的數(shù)據(jù)和產(chǎn)品。c. 衛(wèi)星遙感影像數(shù)據(jù)。包括高分、環(huán)境、資源等國(guó)內(nèi)衛(wèi)星遙感影像，以及 Landsat，MODIS，Sentinel 等國(guó)外衛(wèi)星遙感影像。d. 媒體數(shù)據(jù)。包括傳統(tǒng)和新媒體中所涉及的水利領(lǐng)域的民生需求、公眾意見、輿論熱點(diǎn)等信息。這些數(shù)據(jù)類型包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)的時(shí)間維度包括離線、準(zhǔn)實(shí)時(shí)和實(shí)時(shí)。這 4 類數(shù)據(jù)共同構(gòu)成了數(shù)據(jù)海洋，是水利大數(shù)據(jù)分析與應(yīng)用的數(shù)據(jù)基礎(chǔ)和來(lái)源。

2）水利數(shù)據(jù)管理層。水利數(shù)據(jù)管理層負(fù)責(zé)對(duì)轉(zhuǎn)換和清洗后的水利大數(shù)據(jù)進(jìn)行存儲(chǔ)、組織、管理。目前采用的全國(guó)水利普查[38]1-5和山洪災(zāi)害調(diào)查評(píng)價(jià)結(jié)果[39]2 種數(shù)據(jù)模型屬于準(zhǔn)動(dòng)態(tài)實(shí)時(shí) GIS 時(shí)空數(shù)據(jù)模型，在應(yīng)對(duì)高速度大數(shù)據(jù)量的水利數(shù)據(jù)流的存儲(chǔ)、管理方面則顯得無(wú)能為力，無(wú)法支持水利多傳感器的快速接入，不能有效描述水利對(duì)象多粒度時(shí)空變化，更不能很好地對(duì)水利對(duì)象的多過(guò)程、多層次復(fù)合進(jìn)行精確的語(yǔ)義表達(dá)，也沒有具備支撐水利多過(guò)程、多尺度耦合的動(dòng)態(tài)建模和實(shí)時(shí)模擬的能力。因此，將實(shí)時(shí) GIS 時(shí)空數(shù)據(jù)模型[40]與水利數(shù)據(jù)模型[38]2的概念和方法相結(jié)合，發(fā)展一種包含業(yè)務(wù)屬性、時(shí)空過(guò)程、幾何特征、尺度和語(yǔ)義的“多領(lǐng)域、多業(yè)務(wù)、多層次、多粒度、多版本”的水利實(shí)時(shí)時(shí)空數(shù)據(jù)模型。基于改進(jìn)的水利實(shí)時(shí)動(dòng)態(tài)的時(shí)空數(shù)據(jù)模型，通過(guò)水利消息總線、關(guān)系數(shù)據(jù)庫(kù)、文件等接入方式將數(shù)據(jù)采集到數(shù)據(jù)源層，再利用統(tǒng)一的水利數(shù)據(jù)模型實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)與集成管理。水利消息總線接入是采集如傳感器監(jiān)測(cè)的流式水利和日常管理產(chǎn)生的水利日志等數(shù)據(jù)，水利關(guān)系數(shù)據(jù)庫(kù)接入是將結(jié)構(gòu)化的水利數(shù)據(jù)從關(guān)系型水利數(shù)據(jù)庫(kù)遷移到水利大數(shù)據(jù)平臺(tái)，水利文件接入是向上傳輸與水利相關(guān)的衛(wèi)星遙感、社交媒體、文檔、圖像、視頻等半結(jié)構(gòu)化和非結(jié)構(gòu)化文件。

3）水利數(shù)據(jù)計(jì)算層。水利數(shù)據(jù)計(jì)算層提供水利大數(shù)據(jù)運(yùn)算所需要的水利計(jì)算框架、資源任務(wù)調(diào)度、模型計(jì)算等功能，負(fù)責(zé)對(duì)水利領(lǐng)域大數(shù)據(jù)的計(jì)算、分析和處理等。融合傳統(tǒng)的批數(shù)據(jù)處理體系和面向大數(shù)據(jù)的新型計(jì)算方法，通過(guò)數(shù)據(jù)的查詢分析、高性能與批處理、流式與內(nèi)存、迭代與圖等計(jì)算，構(gòu)建高性能、自適應(yīng)的具有彈性的數(shù)據(jù)計(jì)算框架；遴選可以業(yè)務(wù)化的水利專業(yè)模型，整合現(xiàn)有成熟的基于概率論的、擴(kuò)展集合論的、仿生學(xué)的及其他定量等數(shù)據(jù)挖掘算法，以及文本數(shù)據(jù)的數(shù)據(jù)挖掘算法[41]，形成可定制、組合、調(diào)配的分析模型組件庫(kù)，有效支持水利模型網(wǎng)[42]的構(gòu)建和并行化計(jì)算。

4）水利數(shù)據(jù)應(yīng)用層。水利數(shù)據(jù)應(yīng)用層是以水利大數(shù)據(jù)存儲(chǔ)和計(jì)算架構(gòu)為支撐，基于微服務(wù)架構(gòu)，開發(fā)的面向我國(guó)水資源、水災(zāi)害、水生態(tài)、水環(huán)境、水工程等治水實(shí)踐需求的水利大數(shù)據(jù)應(yīng)用系統(tǒng)的集合。應(yīng)用系統(tǒng)利用虛擬化方法和多租戶模式構(gòu)建滿足水利大數(shù)據(jù)平臺(tái)多用戶的使用，不僅能夠提供結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各種類型的水利數(shù)據(jù)訪問的控制方式，而且還提供直觀友好的水利數(shù)據(jù)圖形化的編程框架，為我國(guó)水利的政府監(jiān)管、江河調(diào)度、工程運(yùn)行、應(yīng)急處置和公共服務(wù)中的規(guī)律分析，異常診斷，趨勢(shì)預(yù)測(cè)，決策優(yōu)化等提供全方位的技術(shù)支撐。此外，還能向第三方提供安全可控的水利數(shù)據(jù)開放等功能。

3.2 水利大數(shù)據(jù)平臺(tái)功能架構(gòu)

水利大數(shù)據(jù)平臺(tái)功能架構(gòu)設(shè)計(jì)可用于規(guī)范和定義水利大數(shù)據(jù)平臺(tái)在運(yùn)行時(shí)的整體功能流程及技術(shù)選型，水利大數(shù)據(jù)平臺(tái)可整合水利行業(yè)數(shù)據(jù)，融合相關(guān)行業(yè)和社會(huì)數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)資源池，通過(guò)多元化采集、主體化匯聚構(gòu)建全域化原始數(shù)據(jù)，基于“一數(shù)一源、一源多用”原則，匯聚全域數(shù)據(jù)，開展數(shù)據(jù)治理，形成標(biāo)準(zhǔn)一致的基礎(chǔ)數(shù)據(jù)資源。在此基礎(chǔ)上，構(gòu)建具備開放性、可擴(kuò)展性、個(gè)性化、安全可靠、成熟先進(jìn)的水利大數(shù)據(jù)分析服務(wù)體系，并具備面向社會(huì)的公共服務(wù)能力。

圍繞水利大數(shù)據(jù)分析應(yīng)用生態(tài)圈，從底層基礎(chǔ)設(shè)施，水利數(shù)據(jù)集成、處理、分析、可視化 5 個(gè)層面，以及水利系統(tǒng)運(yùn)維和安全 2 個(gè)保障功能，將先進(jìn)的技術(shù)、工具、算法、產(chǎn)品無(wú)縫集成，構(gòu)建水利大數(shù)據(jù)分析與應(yīng)用平臺(tái)功能架構(gòu)，如圖2 所示。

有效生成是培養(yǎng)學(xué)生創(chuàng)新品質(zhì)的最佳策略。教學(xué)是一個(gè)變化的過(guò)程，會(huì)有很多意想不到的事情發(fā)生，而這些意想不到的事情的發(fā)生，常常是學(xué)生在老師的某種啟迪之下的頓悟或另類思考，是學(xué)生靈感的迸發(fā)和創(chuàng)新思維的展現(xiàn)，只要教師有意地引導(dǎo)生成，嫻熟地應(yīng)對(duì)學(xué)生的生成，就能夠有效地培養(yǎng)學(xué)生的創(chuàng)新品質(zhì)。

具體功能架構(gòu)分析如下：

1）水利數(shù)據(jù)集成。如果對(duì)極其廣泛來(lái)源和極為復(fù)雜類型的水利大數(shù)據(jù)進(jìn)行處理，首先必須從源數(shù)據(jù)體系中抽取出水利對(duì)象的實(shí)體及它們之間的關(guān)系，依據(jù)時(shí)空一致性原則，按照水利對(duì)象實(shí)體將不同來(lái)源的數(shù)據(jù)進(jìn)行關(guān)聯(lián)和聚合，并能利用統(tǒng)一定義的數(shù)據(jù)結(jié)構(gòu)對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)。數(shù)據(jù)集成和提取的數(shù)據(jù)源可能來(lái)自多個(gè)業(yè)務(wù)系統(tǒng)，則避免不了有的數(shù)據(jù)是錯(cuò)誤數(shù)據(jù)，有的數(shù)據(jù)之間存在沖突，需要通過(guò)檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等數(shù)據(jù)清洗流程，將存在的“臟數(shù)據(jù)”清洗掉，以保證數(shù)據(jù)具有很高的質(zhì)量和可信性。在實(shí)際操作中，通過(guò)改進(jìn)現(xiàn)有 ETL 采集技術(shù)，融合傳感器、衛(wèi)星遙感、無(wú)人機(jī)遙感、網(wǎng)絡(luò)數(shù)據(jù)獲取、媒體流獲取、日志信息獲取等新型采集技術(shù)，完成水利行業(yè)、行業(yè)外和日常業(yè)務(wù)產(chǎn)生的數(shù)據(jù)等多源多元多維數(shù)據(jù)的解析，轉(zhuǎn)換與轉(zhuǎn)載。

2）水利數(shù)據(jù)存儲(chǔ)?？梢岳靡殉蔀榇髷?shù)據(jù)磁盤存儲(chǔ)事實(shí)標(biāo)準(zhǔn)的分布式文件系統(tǒng)（HDFS）存儲(chǔ)智慧水利中的海量數(shù)據(jù)[43]。水利行業(yè)數(shù)據(jù)在應(yīng)用中具有其業(yè)務(wù)特點(diǎn)，有的業(yè)務(wù)對(duì)數(shù)據(jù)的實(shí)時(shí)性要求很高，而有的業(yè)務(wù)的數(shù)據(jù)更新頻次不高，有的業(yè)務(wù)產(chǎn)生的數(shù)據(jù)可能以結(jié)構(gòu)化數(shù)據(jù)為主，有的業(yè)務(wù)產(chǎn)生的數(shù)據(jù)可能以半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)為主，因此，需要根據(jù)水利業(yè)務(wù)的性能和分析要求對(duì)水利數(shù)據(jù)進(jìn)行分類存儲(chǔ)。實(shí)時(shí)性要求高的水利數(shù)據(jù)，可以選用實(shí)時(shí)或內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行存儲(chǔ)；核心水利業(yè)務(wù)數(shù)據(jù)，可以選用傳統(tǒng)的并行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行存儲(chǔ)；水利業(yè)務(wù)中積累的長(zhǎng)系列歷史和非結(jié)構(gòu)化的數(shù)據(jù)，可以選用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)；半結(jié)構(gòu)化的水利數(shù)據(jù)，可以選用列式或鍵值數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)；水利行業(yè)的知識(shí)圖譜，選用圖數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

3）水利數(shù)據(jù)計(jì)算。根據(jù)水利業(yè)務(wù)應(yīng)用需求，通過(guò)從查詢分析，以及高性能與批處理、流式與內(nèi)存、迭代與圖等計(jì)算中對(duì)計(jì)算模式進(jìn)行選擇或組合，能夠提供面向水利業(yè)務(wù)的大數(shù)據(jù)挖掘分析應(yīng)用所需要的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)或離線計(jì)算[44]。

圖2 水利大數(shù)據(jù)平臺(tái)功能架構(gòu)

4）水利數(shù)據(jù)分析。水利數(shù)據(jù)分析是智慧水利大數(shù)據(jù)的核心引擎，水利大數(shù)據(jù)價(jià)值能否最大化取決于對(duì)水利數(shù)據(jù)分析的準(zhǔn)確與否。水利數(shù)據(jù)分析方法包括傳統(tǒng)的數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、文本挖掘及其他新興方法（如深度學(xué)習(xí)）等方法。需要利用水利大數(shù)據(jù)分析方法建立模型，發(fā)揮關(guān)聯(lián)分析能力，還得建立水利行業(yè)機(jī)理模型，充分發(fā)揮因果分析能力，實(shí)現(xiàn)兩者的相互校驗(yàn)、補(bǔ)充，共同構(gòu)成水利數(shù)據(jù)分析的基礎(chǔ)。通過(guò)融合、集成開源分析挖掘工具和分布式算法庫(kù)，實(shí)現(xiàn)水利大數(shù)據(jù)分析建模、挖掘和展現(xiàn)，支撐業(yè)務(wù)系統(tǒng)實(shí)時(shí)和離線的分析挖掘應(yīng)用。

5）水利數(shù)據(jù)可視。利用圖形圖像處理、計(jì)算機(jī)視覺、虛擬現(xiàn)實(shí)設(shè)備等，對(duì)查詢或挖掘分析的水利數(shù)據(jù)加以可視化解釋，在保證信息傳遞準(zhǔn)確、高效的前提下，以新穎、美觀的方式，將復(fù)雜高維的數(shù)據(jù)投影到低維的空間畫面上，并提供交互工具，有效利用人的視覺系統(tǒng)，允許實(shí)時(shí)改變數(shù)據(jù)處理和算法參數(shù)，對(duì)數(shù)據(jù)進(jìn)行觀察和定性及定量分析，獲得大規(guī)模復(fù)雜數(shù)據(jù)集隱含的信息。按照不同的類型，數(shù)據(jù)可視化技術(shù)分為文本、網(wǎng)絡(luò)（圖）數(shù)據(jù)、時(shí)空數(shù)據(jù)、多維數(shù)據(jù)的可視化等[45]。

6）水利系統(tǒng)安全。解決從水利大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用等過(guò)程中產(chǎn)生的，諸如身份驗(yàn)證、用戶授權(quán)和輸入檢驗(yàn)等大量安全問題；由于在數(shù)據(jù)分析、挖掘過(guò)程中涉及各業(yè)務(wù)的核心數(shù)據(jù)，防止數(shù)據(jù)泄露和控制訪問權(quán)限等安全措施在大數(shù)據(jù)應(yīng)用中尤為關(guān)鍵[46]。

7）水利系統(tǒng)運(yùn)維。通過(guò)水利數(shù)據(jù)平臺(tái)服務(wù)集群進(jìn)行集中式監(jiān)視、管理，對(duì)水利大數(shù)據(jù)平臺(tái)功能采用配置式擴(kuò)展等技術(shù)，可解決大規(guī)模服務(wù)集群軟、硬件的管理難題，并能動(dòng)態(tài)配置調(diào)整水利大數(shù)據(jù)平臺(tái)的系統(tǒng)功能。

3.3 水利大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)

水利大數(shù)據(jù)核心平臺(tái)基于 Hadoop，Spark，Stream 框架的高度融合、深度優(yōu)化，實(shí)現(xiàn)高性能計(jì)算，具有高可用性，技術(shù)架構(gòu)如圖3 所示。

圖3 水利大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)

具體架構(gòu)如下：1）數(shù)據(jù)整合方面，主要采用Hadoop 體系中的 Flume，Sqoop，Kafka 等獨(dú)立組件；2）數(shù)據(jù)存儲(chǔ)方面，在低成本硬件（x86）、磁盤的基礎(chǔ)上，選用分布式文件系統(tǒng)（如 HDFS）、分布式關(guān)系型數(shù)據(jù)庫(kù)（如 MySQL，Oracle 等）、NoSQL 數(shù)據(jù)庫(kù)（如 HBase）、數(shù)據(jù)倉(cāng)庫(kù)（如 Hive）、圖數(shù)據(jù)庫(kù)（如 Neo4J），以及實(shí)時(shí)、內(nèi)存數(shù)據(jù)庫(kù)等業(yè)界典型系統(tǒng)；3）數(shù)據(jù)分析方面，集成 Tableau，Pluto，R，Python 語(yǔ)言環(huán)境，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)分析及挖掘能力；4）應(yīng)用開發(fā)接口方面，集成 Java 編程，CLI，F(xiàn)TP，WebHDFS 文件，ODBC/JDBC 數(shù)據(jù)庫(kù)，R 語(yǔ)言編程，Python 語(yǔ)言編程等接口；5）水利分析模型方面，基于大數(shù)據(jù)和傳統(tǒng)分析方法，建立氣象模擬預(yù)報(bào)、洪水模擬預(yù)報(bào)、干旱模擬預(yù)測(cè)、水資源數(shù)量評(píng)價(jià)、水資源質(zhì)量評(píng)價(jià)、水資源配置和水資源調(diào)度等模型；6）監(jiān)控管理方面，利用 Ganglia，實(shí)現(xiàn)集群、服務(wù)、節(jié)點(diǎn)、性能、告警等監(jiān)控管理服務(wù)[47]；7）可視化展現(xiàn)方面，基于 GIS，F(xiàn)lash，Echart，HTML5 等構(gòu)建可視化展示模塊，還可以結(jié)合虛擬仿真技術(shù)，構(gòu)建基于三維虛擬環(huán)境的可視化模塊。

3.4 水利大數(shù)據(jù)平臺(tái)部署架構(gòu)

在基礎(chǔ)設(shè)施部署架構(gòu)及容量規(guī)劃方面，參考全球能源互聯(lián)網(wǎng)電力大數(shù)據(jù)省級(jí)平臺(tái)的部署模式[36]5，水利大數(shù)據(jù)平臺(tái)集群主要由數(shù)據(jù)存儲(chǔ)、接口、集群管理和應(yīng)用等服務(wù)器組成，支持存儲(chǔ)與計(jì)算混合式架構(gòu)，以及廣域分布的集群部署與管理。對(duì)于七大流域機(jī)構(gòu)和 31 個(gè)省級(jí)行政區(qū)，每個(gè)流域或省級(jí)行政區(qū)的集群由 n 臺(tái) x86 服務(wù)器（數(shù)量 n 可以根據(jù)實(shí)際數(shù)據(jù)量的存儲(chǔ)和分析模型的計(jì)算等需求定）和 1 臺(tái)小型機(jī)組成。其中核心數(shù)據(jù)集群由（n - 5）臺(tái)服務(wù)器構(gòu)成；剩余的 5 臺(tái)服務(wù)器中，3 臺(tái)服務(wù)器組成消息總線集群，部署包括消息隊(duì)列及文件傳輸協(xié)議傳輸入庫(kù)等集群，1 臺(tái)服務(wù)器作為用戶認(rèn)證和訪問節(jié)點(diǎn)，1 臺(tái)服務(wù)器作為 ODBC/JDBC 及 Web HTTP/REST 服務(wù)節(jié)點(diǎn)；小型機(jī)作為關(guān)系型及時(shí)間序列等數(shù)據(jù)庫(kù)的節(jié)點(diǎn)。

3.5 水利大數(shù)據(jù)分析架構(gòu)

3.5.1 實(shí)時(shí)分析架構(gòu)

在水資源、水生態(tài)、水環(huán)境、水災(zāi)害、水工程等監(jiān)測(cè)與狀態(tài)評(píng)估業(yè)務(wù)中，涉及在線監(jiān)測(cè)、試驗(yàn)檢測(cè)、日常巡視、直升機(jī)或無(wú)人機(jī)巡視和衛(wèi)星遙感等數(shù)據(jù)，水利大數(shù)據(jù)實(shí)時(shí)分析框架如圖4 所示，實(shí)時(shí)獲取涉水監(jiān)測(cè)與狀態(tài)的流數(shù)據(jù)，利用分布式存儲(chǔ)系統(tǒng)的高吞吐，實(shí)現(xiàn)海量監(jiān)測(cè)與狀態(tài)數(shù)據(jù)的同步存儲(chǔ)；利用事先定義好的業(yè)務(wù)規(guī)則和數(shù)據(jù)處理邏輯，結(jié)合數(shù)據(jù)檢索技術(shù)對(duì)監(jiān)測(cè)與狀態(tài)數(shù)據(jù)進(jìn)行快速檢索處理；利用流計(jì)算技術(shù)，實(shí)時(shí)處理流監(jiān)測(cè)與狀態(tài)數(shù)據(jù)，根據(jù)流計(jì)算結(jié)果，實(shí)現(xiàn)實(shí)時(shí)評(píng)估和趨勢(shì)預(yù)測(cè)，對(duì)水安全狀態(tài)正確評(píng)價(jià)，指導(dǎo)對(duì)事件狀態(tài)的決策處理，準(zhǔn)確識(shí)別水安全問題，實(shí)現(xiàn)異常狀態(tài)報(bào)警，對(duì)極端條件下水安全進(jìn)行預(yù)警，為水災(zāi)害防治提供決策支撐。

圖4 水利大數(shù)據(jù)實(shí)時(shí)分析框架

3.5.2 離線分析架構(gòu)

針對(duì)水空間規(guī)劃、水工程運(yùn)行過(guò)程中產(chǎn)生的海量異構(gòu)和多態(tài)的數(shù)據(jù)，具有多時(shí)空、多來(lái)源、混雜和不確定性的特點(diǎn)，分析水空間規(guī)劃數(shù)據(jù)的種類和格式多樣性，建立統(tǒng)一的大數(shù)據(jù)存儲(chǔ)接口，實(shí)現(xiàn)水空間規(guī)劃離線數(shù)據(jù)的一體化分布式快速存儲(chǔ)。水利大數(shù)據(jù)離線分析框架如圖5 所示。

在離線數(shù)據(jù)一體化存儲(chǔ)的基礎(chǔ)上，建立數(shù)據(jù)分析接口，提供對(duì)水空間規(guī)劃數(shù)據(jù)統(tǒng)計(jì)處理任務(wù)的支撐，并進(jìn)一步滿足水空間規(guī)劃計(jì)算分析、水安全風(fēng)險(xiǎn)評(píng)估及預(yù)警等高級(jí)應(yīng)用系統(tǒng)的數(shù)據(jù)要求，為管理層制定優(yōu)化的決策方案提供科學(xué)合理的依據(jù)。

圖5 水利大數(shù)據(jù)離線分析框架

4 水利大數(shù)據(jù)標(biāo)準(zhǔn)體系

通過(guò)分析國(guó)內(nèi)外大數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)[48]，并結(jié)合水利大數(shù)據(jù)技術(shù)、產(chǎn)品和應(yīng)用需求，形成能夠全面支撐水利大數(shù)據(jù)的技術(shù)研究、產(chǎn)品研發(fā)、試點(diǎn)建設(shè)的水利大數(shù)據(jù)標(biāo)準(zhǔn)體系，規(guī)范水利系統(tǒng)中的水利大數(shù)據(jù)產(chǎn)生、流動(dòng)、處理和應(yīng)用等過(guò)程，重點(diǎn)涵蓋大數(shù)據(jù)基礎(chǔ)概念、采集、存儲(chǔ)、計(jì)算、分析、展示、質(zhì)量控制、安全防護(hù)、服務(wù)等方面，適用于水利大數(shù)據(jù)平臺(tái)建設(shè)和相關(guān)標(biāo)準(zhǔn)編制。水利大數(shù)據(jù)標(biāo)準(zhǔn)體系如表1 所示。

具體標(biāo)準(zhǔn)分析如下：

1）水利大數(shù)據(jù)的基礎(chǔ)標(biāo)準(zhǔn)。水利大數(shù)據(jù)術(shù)語(yǔ)規(guī)定水利大數(shù)據(jù)相關(guān)的基礎(chǔ)術(shù)語(yǔ)、定義，保證對(duì)水利大數(shù)據(jù)相關(guān)概念理解的一致性；從數(shù)據(jù)生存周期的角度，提出水利大數(shù)據(jù)技術(shù)參考模型，指導(dǎo)水利大數(shù)據(jù)模型搭建。

2）水利大數(shù)據(jù)的采集與轉(zhuǎn)換標(biāo)準(zhǔn)。規(guī)定水利大數(shù)據(jù)平臺(tái)上所采集的水利數(shù)據(jù)的基本內(nèi)容（如水資源、水災(zāi)害、水生態(tài)、水環(huán)境、水工程等）與屬性結(jié)構(gòu)，主要水利數(shù)據(jù)要素的采集方法（如傳感器數(shù)據(jù)、傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)并行、ETL 數(shù)據(jù)、消息集群數(shù)據(jù)等的接入）及其技術(shù)要求，適用于各類水利信息的采集、處理、更新和轉(zhuǎn)換全過(guò)程，規(guī)范水利大數(shù)據(jù)的數(shù)據(jù)采集接口及轉(zhuǎn)換流程。

表1 水利大數(shù)據(jù)標(biāo)準(zhǔn)體系

3）水利大數(shù)據(jù)的傳輸標(biāo)準(zhǔn)。在參考 SL 651—2014《水文監(jiān)測(cè)數(shù)據(jù)通信規(guī)約》、SL 427—2008《水資源管理系統(tǒng)傳輸規(guī)約》等行業(yè)標(biāo)準(zhǔn)的基礎(chǔ)上，考慮衛(wèi)星遙感、移動(dòng)終端、視頻監(jiān)控等新型采集手段，以及已有采集設(shè)備與 IPv6 和 5G 的融合需求，規(guī)定支撐智慧水利的信息通信的傳輸模式和協(xié)議，滿足大數(shù)據(jù)環(huán)境下大容量水利數(shù)據(jù)高實(shí)時(shí)性、高可靠性傳輸?shù)囊蟆?/p>

4）水利大數(shù)據(jù)的存儲(chǔ)與管理標(biāo)準(zhǔn)。在參考水利行業(yè)標(biāo)準(zhǔn) SL 478—2010《水利信息數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符編制規(guī)范》、SL 324—2005《基礎(chǔ)水文數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符標(biāo)準(zhǔn)》、SL 380—2007《水資源監(jiān)控管理數(shù)據(jù)表結(jié)構(gòu)及標(biāo)識(shí)符》等基礎(chǔ)上，對(duì)已有存儲(chǔ)與管理標(biāo)準(zhǔn)的業(yè)務(wù)，需要增加對(duì)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及管理的內(nèi)容；對(duì)沒有存儲(chǔ)與管理標(biāo)準(zhǔn)的業(yè)務(wù)，按照水利大數(shù)據(jù)的特點(diǎn)對(duì)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)與管理提出新的標(biāo)準(zhǔn)。該類標(biāo)準(zhǔn)主要規(guī)范水利大數(shù)據(jù)不同數(shù)據(jù)源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及管理，滿足海量水利數(shù)據(jù)的大規(guī)模存儲(chǔ)、快速查詢和高效計(jì)算分析的讀取需求。

5）水利大數(shù)據(jù)的處理與分析標(biāo)準(zhǔn)。規(guī)定水利大數(shù)據(jù)的商務(wù)智能分析和可視化等工具的技術(shù)及功能的規(guī)范，用于水利大數(shù)據(jù)計(jì)算處理分析過(guò)程中的各項(xiàng)技術(shù)指標(biāo)決策。

6）水利大數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)。規(guī)定水利大數(shù)據(jù)平臺(tái)上水利數(shù)據(jù)采集、傳輸、存儲(chǔ)、交換、處理、展示等全過(guò)程的質(zhì)量控制方法和全面的評(píng)價(jià)指標(biāo)，并提出對(duì)水利大數(shù)據(jù)成果的測(cè)試方法和驗(yàn)收要求。

7）水利大數(shù)據(jù)的安全標(biāo)準(zhǔn)。以數(shù)據(jù)安全為核心，圍繞數(shù)據(jù)安全，需要技術(shù)、系統(tǒng)、平臺(tái)方面的安全標(biāo)準(zhǔn)，以及業(yè)務(wù)、服務(wù)、管理方面的安全標(biāo)準(zhǔn)支撐，提出個(gè)人信息隱私保護(hù)的管理要求和移動(dòng)智能終端個(gè)人信息保護(hù)的技術(shù)要求。

8）水利大數(shù)據(jù)的服務(wù)標(biāo)準(zhǔn)。規(guī)定水利大數(shù)據(jù)平臺(tái)上水利數(shù)據(jù)服務(wù)的模式、內(nèi)容和方式，制定水利數(shù)據(jù)開放的管理辦法，提出水利大數(shù)據(jù)平臺(tái)與外部系統(tǒng)之間交互的數(shù)據(jù)、文件、可視化等服務(wù)接口規(guī)范。

5 水利大數(shù)據(jù)應(yīng)用場(chǎng)景

5.1 水資源智能應(yīng)用

圍繞最嚴(yán)格的水資源管理制度落實(shí)、節(jié)水型社會(huì)建設(shè)、城鄉(xiāng)供水安全保障等重點(diǎn)工作，在國(guó)家水資源監(jiān)控能力建設(shè)、地下水監(jiān)測(cè)工程的基礎(chǔ)上，擴(kuò)展業(yè)務(wù)功能，匯集涉水大數(shù)據(jù)，提升分析評(píng)價(jià)模型智能水平，構(gòu)建水資源智能應(yīng)用，支撐水資源開發(fā)利用、城鄉(xiāng)供水、節(jié)水等業(yè)務(wù)。

5.2 水環(huán)境水生態(tài)智能應(yīng)用

圍繞河湖長(zhǎng)制、水域岸線管理、河道采砂監(jiān)管、水土保持監(jiān)測(cè)監(jiān)督治理等重點(diǎn)需求，在全國(guó)河長(zhǎng)制管理信息、水土保持監(jiān)測(cè)和監(jiān)督管理、重點(diǎn)工程管理等系統(tǒng)基礎(chǔ)上，運(yùn)用高分遙感數(shù)據(jù)解譯、圖像智能、數(shù)據(jù)智能等分析技術(shù)，構(gòu)建水環(huán)境水生態(tài)智能應(yīng)用，支撐江河湖泊、水土流失等業(yè)務(wù)。

5.3 水災(zāi)害智能應(yīng)用

圍繞水情旱情監(jiān)測(cè)預(yù)警、水工程防洪抗旱調(diào)度、應(yīng)急水量調(diào)度、防御洪水應(yīng)急搶險(xiǎn)技術(shù)支持等重點(diǎn)工作，在國(guó)家防汛抗旱指揮、全國(guó)重點(diǎn)地區(qū)洪水風(fēng)險(xiǎn)圖編制與管理應(yīng)用、全國(guó)山洪災(zāi)害防治非工程措施監(jiān)測(cè)預(yù)警、全國(guó)中小河流水文監(jiān)測(cè)等系統(tǒng)基礎(chǔ)上，運(yùn)用分布式洪水預(yù)報(bào)、區(qū)域干旱預(yù)測(cè)等水利專業(yè)模型，提高洪水預(yù)報(bào)能力，開展旱情監(jiān)測(cè)分析，強(qiáng)化水情旱情預(yù)警，強(qiáng)化工程聯(lián)合調(diào)度，構(gòu)建水災(zāi)害智能應(yīng)用，支撐洪水、干旱等業(yè)務(wù)。

5.4 水工程智能應(yīng)用

圍繞工程運(yùn)行管理、運(yùn)維，項(xiàng)目建設(shè)管理、市場(chǎng)監(jiān)督等重點(diǎn)工作，在水利工程運(yùn)行、全國(guó)水庫(kù)大壩基礎(chǔ)數(shù)據(jù)、全國(guó)農(nóng)村水電統(tǒng)計(jì)信息、水利規(guī)劃計(jì)劃等管理系統(tǒng)，以及水利建設(shè)與管理信息系統(tǒng)、全國(guó)水利建設(shè)市場(chǎng)監(jiān)管服務(wù)平臺(tái)、水利安全生產(chǎn)監(jiān)管信息系統(tǒng)的基礎(chǔ)上，強(qiáng)化運(yùn)行全過(guò)程監(jiān)管，推薦建設(shè)全流程管理，加強(qiáng)建設(shè)市場(chǎng)監(jiān)管，構(gòu)建水工程智能應(yīng)用，支撐水利工程安全運(yùn)行、建設(shè)等業(yè)務(wù)。

5.5 水監(jiān)督智能應(yīng)用

圍繞監(jiān)管信息預(yù)處理、行業(yè)監(jiān)督稽查、安全生產(chǎn)監(jiān)管、工程質(zhì)量監(jiān)督、項(xiàng)目稽察和監(jiān)督?jīng)Q策支持等重點(diǎn)工作，在水利安全生產(chǎn)監(jiān)管信息化系統(tǒng)的基礎(chǔ)上，以“水利一張圖”為抓手，提升發(fā)現(xiàn)問題能力，提高問題整改效率，強(qiáng)化行業(yè)風(fēng)險(xiǎn)評(píng)估，構(gòu)建水監(jiān)督智能應(yīng)用，支撐水利監(jiān)督等業(yè)務(wù)。

5.6 水行政智能應(yīng)用

圍繞資產(chǎn)、移民、項(xiàng)目規(guī)劃、財(cái)務(wù)、移民與扶貧、機(jī)關(guān)事務(wù)等行政事務(wù)管理需求，優(yōu)化完善現(xiàn)有系統(tǒng)，利用水利大數(shù)據(jù)的人工智能等技術(shù)支撐，構(gòu)建水行政智能應(yīng)用，實(shí)現(xiàn)智慧資產(chǎn)監(jiān)管，移民、扶貧智能監(jiān)管，項(xiàng)目智能規(guī)劃，智慧機(jī)關(guān)建設(shè)，財(cái)務(wù)智能管理。

5.7 水公共服務(wù)智能應(yīng)用

圍繞政務(wù)服務(wù)全國(guó)“一網(wǎng)通辦”，加快政府供給向公眾需求轉(zhuǎn)變的核心需求，以社會(huì)公眾服務(wù)為導(dǎo)向，做好已取消或下放審批事項(xiàng)的事中事后監(jiān)督，以多元化信息服務(wù)為抓手，構(gòu)建水公共服務(wù)智能應(yīng)用。運(yùn)用移動(dòng)互聯(lián)、虛擬/增強(qiáng)現(xiàn)實(shí)、“互聯(lián)網(wǎng) +”、用戶行為大數(shù)據(jù)分析等技術(shù)，創(chuàng)新構(gòu)建個(gè)性化水信息、動(dòng)態(tài)水指數(shù)、數(shù)字水體驗(yàn)、水智能問答、一站式水行政等服務(wù)，全面提升社會(huì)各界的感水治水能力、節(jié)水護(hù)水素養(yǎng)、管水治水服務(wù)水平。

6 結(jié)語(yǔ)

智慧水利時(shí)代產(chǎn)生的爆炸式水利信息數(shù)據(jù)催生了水利大數(shù)據(jù)。水利大數(shù)據(jù)對(duì)提高水利管理效率和決策水平，發(fā)揮水利在社會(huì)經(jīng)濟(jì)、生態(tài)環(huán)境中的作用和效益，促進(jìn)水利可持續(xù)發(fā)展，具有極其重要的現(xiàn)實(shí)意義。它旨在突破跨部門、領(lǐng)域、業(yè)務(wù)之間的數(shù)據(jù)壁壘，促進(jìn)水利管理業(yè)務(wù)變革，提升治水智能化水平。通過(guò)對(duì)水利大數(shù)據(jù)基礎(chǔ)性問題的研究，得出如下結(jié)論：

1）根據(jù)對(duì)大數(shù)據(jù)的概念理解，以及對(duì)大數(shù)據(jù)研究方法與傳統(tǒng)研究方法的對(duì)比，解析了水利大數(shù)據(jù)的內(nèi)涵特征，為正確認(rèn)識(shí)和使用水利大數(shù)據(jù)提供了思路；

2）提出了集“總體架構(gòu)、功能架構(gòu)、技術(shù)架構(gòu)、部署架構(gòu)與分析架構(gòu)”于一體的水利大數(shù)據(jù)基礎(chǔ)體系架構(gòu)，為指導(dǎo)水利大數(shù)據(jù)的建設(shè)提供頂層參考；

3）結(jié)合數(shù)據(jù)全周期管理，從基礎(chǔ)、技術(shù)、產(chǎn)品、應(yīng)用等方面綜合考慮提出水利大數(shù)據(jù)標(biāo)準(zhǔn)體系，為規(guī)范大數(shù)據(jù)在水利系統(tǒng)中的流動(dòng)和處理過(guò)程提供了依據(jù)；

4）總結(jié)了水利大數(shù)據(jù)在水資源、水環(huán)境水生態(tài)、水災(zāi)害、水工程、水監(jiān)督、水行政、水公共服務(wù)等業(yè)務(wù)管理中的應(yīng)用場(chǎng)景，為水利大數(shù)據(jù)的應(yīng)用指明方向。

水利大數(shù)據(jù)是新型的戰(zhàn)略資源，是水利科學(xué)發(fā)展的趨勢(shì)和新一代引擎，是水信息學(xué)新的發(fā)展方向，也是大數(shù)據(jù)研究的重要領(lǐng)域。國(guó)內(nèi)外對(duì)水利大數(shù)據(jù)理論、方法與技術(shù)的研究仍處于起步階段，水利數(shù)據(jù)壁壘依然存在，大數(shù)據(jù)分析方法不能發(fā)揮“威力”，業(yè)務(wù)應(yīng)用尚未體現(xiàn)其規(guī)?；б妗Ｒ虼?，為全面推動(dòng)水利大數(shù)據(jù)發(fā)展，需要在水利主管部門的組織下，聯(lián)合政府、企業(yè)、高校和科研院所，產(chǎn)、學(xué)、研全方位配合，戮力同心，共謀水利大數(shù)據(jù)健康有序發(fā)展。