陳松

供水調(diào)度大數(shù)據(jù)來(lái)源于供水?dāng)?shù)據(jù)監(jiān)測(cè)和供水調(diào)度業(yè)務(wù)管理，通過(guò)對(duì)這些海量數(shù)據(jù)的分析與挖掘，能發(fā)現(xiàn)很多有價(jià)值的信息與規(guī)律，可應(yīng)用于供水設(shè)備運(yùn)行的精細(xì)化管理、供水管網(wǎng)管損預(yù)警、分析歷史數(shù)據(jù)與優(yōu)化管網(wǎng)系統(tǒng)、進(jìn)行供水管網(wǎng)狀態(tài)評(píng)估與維護(hù)、實(shí)施供水優(yōu)化調(diào)度研究，對(duì)城市供水安全保障具有重要的意義。

一、供水調(diào)度數(shù)據(jù)監(jiān)測(cè)

通過(guò)收集供水信息監(jiān)測(cè)數(shù)據(jù)以及調(diào)度業(yè)務(wù)管理數(shù)據(jù)，將獲得大量與供水安全運(yùn)行數(shù)據(jù)和供水設(shè)施運(yùn)行能耗、設(shè)備運(yùn)行性能有關(guān)的數(shù)據(jù)。目前信息技術(shù)和通信技術(shù)發(fā)展迅速，采集儀器設(shè)備已逐步智能化，通信技術(shù)已經(jīng)比較成熟，為此，通過(guò)對(duì)供水?dāng)?shù)據(jù)的長(zhǎng)期監(jiān)測(cè)，已形成大數(shù)據(jù)的集合，奠定了供水調(diào)度大數(shù)據(jù)的基礎(chǔ)。

1.數(shù)據(jù)采集

最常見(jiàn)的供水?dāng)?shù)據(jù)采集是供水SCADA系統(tǒng)的數(shù)據(jù)采集，主要包括壓力、瞬時(shí)流量、水量、濁度、余氯、機(jī)泵開(kāi)停、電量等，采用的設(shè)備主要是通過(guò)儀器儀表的模擬或者數(shù)字輸出信號(hào)傳輸至PLC設(shè)備，這些數(shù)據(jù)都是實(shí)時(shí)在線的。此外還有檢測(cè)數(shù)據(jù)和審批管理數(shù)據(jù)，如人工水質(zhì)采樣點(diǎn)的水質(zhì)樣本在采樣后，通過(guò)專業(yè)的水質(zhì)化驗(yàn)分析儀表進(jìn)行檢測(cè)后，形成的水質(zhì)化驗(yàn)報(bào)告數(shù)據(jù)，各供水設(shè)施在工況狀況下對(duì)供水規(guī)模和供水能力的影響評(píng)估數(shù)據(jù)等。這些都是構(gòu)成供水調(diào)度運(yùn)行和管理的數(shù)據(jù)的集合。

2.數(shù)據(jù)傳輸

供水調(diào)度數(shù)據(jù)的傳輸目前已比較成熟，一般分為無(wú)線方式傳輸和有線方式傳輸兩種。對(duì)于水廠、泵站的重要供水?dāng)?shù)據(jù)多采用有線方式傳輸。對(duì)于管網(wǎng)監(jiān)測(cè)點(diǎn)數(shù)據(jù)，如管網(wǎng)壓力、管網(wǎng)流量、水量、水質(zhì)數(shù)據(jù)以及二次供水?dāng)?shù)據(jù)多用無(wú)線傳輸。這些供水調(diào)度數(shù)據(jù)在經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后，將按照一定的形式導(dǎo)入數(shù)據(jù)庫(kù)。對(duì)于海量的監(jiān)測(cè)數(shù)據(jù)宜采用分布式數(shù)據(jù)庫(kù)，并注意數(shù)據(jù)庫(kù)優(yōu)化設(shè)計(jì)以及同步策略。

3.數(shù)據(jù)預(yù)處理

無(wú)論是在數(shù)據(jù)采集過(guò)程中采用多么高精度的儀器，還是在數(shù)據(jù)傳輸過(guò)程中采用多么好的傳輸方式，數(shù)據(jù)誤差（即噪聲）總是不可避免的。這種誤差包括各種客觀條件的影響，如測(cè)量過(guò)程、測(cè)量條件和測(cè)量?jī)x器。由于在線監(jiān)測(cè)數(shù)據(jù)的變化性，即可從觀測(cè)數(shù)據(jù)之間變化量判斷造成變形的原因。但對(duì)于變化 很小的數(shù)據(jù)，很難辨別兩次監(jiān)測(cè)獲得的變化量究竟是變形造成的，還是受客觀條件影響造成的，以致不能發(fā)現(xiàn)變形信息或出現(xiàn)假的信息，從而造成漏報(bào)或虛報(bào)。因此，在變形分析和預(yù)報(bào)之前進(jìn)行觀測(cè)數(shù)據(jù)的預(yù)處理工作，來(lái)識(shí)別干擾、排除干擾和突出信息。

對(duì)于采集和傳輸過(guò)程中缺失和失真的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)清洗（Data Cleaning或者Data Scrubbing）的目的是檢測(cè)數(shù)據(jù)中存在的錯(cuò)誤和不一致，剔除或者改正它們，以提高數(shù)據(jù)的質(zhì)量。萊茵達(dá)準(zhǔn)則可將數(shù)值過(guò)高或過(guò)低的數(shù)據(jù)剔除，可提高處理主流程獲取到的數(shù)據(jù)的可利用度。萊茵達(dá)準(zhǔn)則認(rèn)為，在測(cè)量中若已采用措施消除系統(tǒng)誤差，或已將其減至微小量，測(cè)量數(shù)據(jù)中只含隨機(jī)誤差，且服從正態(tài)分布，則可認(rèn)為殘差是以0.9973的概率出現(xiàn)在正常范圍之內(nèi)，出現(xiàn)在正常范圍以外的概率僅為0.0027，相當(dāng)微小，可以認(rèn)為是不可能事件，這就有理由判定它是含有粗差的觀測(cè)值，可將該觀測(cè)值剔除。

對(duì)于供水調(diào)度監(jiān)測(cè)數(shù)據(jù)缺失，視缺失情況可采用不同的方法，如借鑒交通流量數(shù)據(jù)缺失值的插補(bǔ)方法。若某時(shí)刻僅一兩個(gè)信號(hào)無(wú)數(shù)據(jù)，可采用數(shù)據(jù)趨勢(shì)進(jìn)行臨近插補(bǔ)或其他信號(hào)的相關(guān)性進(jìn)行填補(bǔ)；如果一段時(shí)間所有信號(hào)都沒(méi)有數(shù)據(jù)，為了后續(xù)的數(shù)據(jù)分析而又不便舍去該時(shí)間段的值，那么采用基于前后時(shí)間段的數(shù)據(jù)樣本進(jìn)行隨機(jī)插補(bǔ)，并實(shí)現(xiàn)各相關(guān)信號(hào)的一致與統(tǒng)一。

此外對(duì)于信號(hào)失真的數(shù)據(jù)，還需要采用數(shù)據(jù)賦值進(jìn)行預(yù)處理。如對(duì)殘差數(shù)據(jù)、毛刺數(shù)據(jù)需要采用滑動(dòng)開(kāi)窗的方法對(duì)其賦值。即通過(guò)建立一個(gè)長(zhǎng)度為5的滑動(dòng)窗口，對(duì)監(jiān)測(cè)數(shù)據(jù)的序列滑動(dòng)處理后可得到一個(gè)長(zhǎng)度為IV的序列，對(duì)序列進(jìn)行處理后的新序列即為賦值結(jié)果。

二、淺析供水調(diào)度數(shù)據(jù)的挖掘與應(yīng)用

供水調(diào)度數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的數(shù)據(jù)中提取隱含的、未知的，但也是具有潛在價(jià)值的知識(shí)和信息，其方法是統(tǒng)計(jì)分析方法學(xué)的延伸和拓展，可包含分類統(tǒng)計(jì)、關(guān)聯(lián)分析、可視化描述、預(yù)測(cè)、再驗(yàn)證的迭代與逼近等過(guò)程。

通過(guò)收集和對(duì)供水調(diào)度獲取的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析以及價(jià)值挖掘，可以獲得很多有價(jià)值的數(shù)據(jù)信息，如管網(wǎng)的壓力的功率與流量、機(jī)泵能耗數(shù)據(jù)、水壓、水量對(duì)供水區(qū)域的影響、各種節(jié)能措施的節(jié)能效果、氣象資料數(shù)據(jù)和各類設(shè)備運(yùn)行狀態(tài)等數(shù)據(jù)，具有廣泛的用途。

1.設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)

通過(guò)不間斷對(duì)供水調(diào)度數(shù)據(jù)監(jiān)測(cè)和數(shù)據(jù)收集，對(duì)主要監(jiān)測(cè)設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行挖掘，可判斷設(shè)備的運(yùn)行狀態(tài)，結(jié)合設(shè)備的運(yùn)行特性，判別設(shè)備的故障前兆，確定必要的維護(hù)措施等，為設(shè)備日常維護(hù)、安全管理以及成本管理提供支持。

2.水壓與水量以及管損分析

對(duì)于管網(wǎng)水壓、流量的數(shù)據(jù)以及機(jī)泵運(yùn)行狀態(tài)等大量數(shù)據(jù)的監(jiān)測(cè)和采集，可以得知大的數(shù)據(jù)波動(dòng)，通過(guò)對(duì)管網(wǎng)系統(tǒng)進(jìn)行全面的檢查，尋找出現(xiàn)數(shù)據(jù)波動(dòng)的原因，一般情況下，造成壓力和流量發(fā)生變化的主要原因?yàn)楣艿赖谋押吐p，這樣就可以通過(guò)模擬分析技術(shù)，對(duì)管損情況進(jìn)行預(yù)警預(yù)報(bào)，并在對(duì)管道漏損的地方進(jìn)行確定，并且對(duì)漏損的范圍進(jìn)行估算。

3.歷史數(shù)據(jù)分析與系統(tǒng)優(yōu)化

通過(guò)分析最小夜流量等數(shù)據(jù)，從而對(duì)當(dāng)?shù)赜脩舻挠盟窟M(jìn)行確定，另外結(jié)合當(dāng)?shù)鼐用竦恼w用水方式，可以對(duì)居民的用水習(xí)慣進(jìn)行分析，其主要包括用水高峰期和主要用水區(qū)域。在得出用戶的用水習(xí)慣之后，可以對(duì)部分區(qū)域的用水量結(jié)構(gòu)進(jìn)行適當(dāng)?shù)恼{(diào)整，以此來(lái)優(yōu)化供水系統(tǒng)，提高供水企業(yè)的經(jīng)濟(jì)效益。

4.供水管網(wǎng)狀態(tài)評(píng)估

利用對(duì)大量的歷史數(shù)據(jù)進(jìn)行分析和排列，可以對(duì)管道壓力、流量和水質(zhì)的變化情況進(jìn)行確定，并且能夠根據(jù)最終結(jié)果，建立相應(yīng)的變化模型，在其中的數(shù)據(jù)發(fā)生較大波動(dòng)的情況下，可以結(jié)合管網(wǎng)水力、水質(zhì)模擬，來(lái)發(fā)現(xiàn)管網(wǎng)中管道老化、閥門(mén)破損等問(wèn)題，并且對(duì)其進(jìn)行及時(shí)的修復(fù)。

5.優(yōu)化調(diào)度研究

結(jié)合通過(guò)調(diào)度管理系統(tǒng)收集的日常調(diào)度方案和供水監(jiān)測(cè)系統(tǒng)收集的管網(wǎng)中水力數(shù)據(jù)、水質(zhì)數(shù)據(jù)的實(shí)時(shí)狀態(tài)，建立管網(wǎng)的實(shí)時(shí)優(yōu)化調(diào)度模式，以此來(lái)保證供水管網(wǎng)系統(tǒng)管理運(yùn)行的節(jié)能性和安全性，提高供水公司的整體經(jīng)濟(jì)效益。

在這個(gè)信息技術(shù)飛速發(fā)展的時(shí)代，大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)具有無(wú)限的潛能，并且已經(jīng)被各個(gè)行業(yè)所認(rèn)可，通過(guò)供水調(diào)度大數(shù)據(jù)挖掘，可以發(fā)現(xiàn)非常有價(jià)值的供水調(diào)度與安全保障方面的知識(shí)和信息。在未來(lái)，供水行業(yè)借助于對(duì)數(shù)據(jù)統(tǒng)計(jì)分析和挖掘，將實(shí)現(xiàn)管理的智能化，對(duì)城市供水安全保障具有重要的意義。

參考文獻(xiàn)：

[1]（美）維克托·邁爾·舍恩伯格，（英） 肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代[M].盛楊燕，周 濤，譯.杭州：浙江人民出版社，2013.

[2]秦 蕭，甄 峰，熊麗芳，等.大數(shù)據(jù)時(shí)代城市時(shí)空間行為研究方法[J].地理科學(xué)進(jìn)展，2013（9）.