王銘銘，賈 飛

（1.安徽?。ㄋ炕春铀瘑T會）水利科學(xué)研究院（安徽省水利工程質(zhì)量檢測中心站），安徽 合肥 230094；2.安徽省大禹水利工程科技有限公司，安徽 蚌埠 233060）

1 引言

我國淡水資源總量為28000 億立方米，人均水資源量僅為世界平均水平的1/4，屬于全球人均水資源最貧乏的國家之一。工業(yè)的快速發(fā)展伴隨著水資源的粗獷式開采和高耗式利用，我國萬元GDP 耗水量是世界平均水平的4 倍。長期的粗獷式發(fā)展導(dǎo)致可持續(xù)發(fā)展戰(zhàn)略與水資源的矛盾日益凸顯，嚴(yán)重制約社會經(jīng)濟發(fā)展。圍繞國家水資源監(jiān)控能力項目建設(shè)需求，開展水資源監(jiān)管領(lǐng)域技術(shù)研究，是實行最嚴(yán)格的水資源管理制度最重要的技術(shù)保障措施之一。

隨著水資源取水監(jiān)測系統(tǒng)的持續(xù)建設(shè)，安徽省已率先完成3000 余處取水監(jiān)測點的在線監(jiān)測，在系統(tǒng)運行維護管理中，取水監(jiān)測數(shù)據(jù)歸零及畸變問題，已成為影響取水?dāng)?shù)據(jù)統(tǒng)計及應(yīng)用的重難點。據(jù)研究，由于儀表顯示的位數(shù)有限，一些取水大戶計量設(shè)備滿量程后，常出現(xiàn)歸零問題。此外，在取水?dāng)?shù)據(jù)采集、傳輸過程中由于信號干擾等因素的影響，易造成數(shù)據(jù)錯位或畸變現(xiàn)象，嚴(yán)重影響取水戶水量的統(tǒng)計和系統(tǒng)的正常應(yīng)用。

目前，尚無針對取水計量數(shù)據(jù)歸零及畸變問題的專題研究，國家水資源取水監(jiān)控數(shù)據(jù)均采用人工巡查與處理的方式進(jìn)行管理，其時效性與準(zhǔn)確性均難以達(dá)到要求，已嚴(yán)重制約國家水資源監(jiān)控能力建設(shè)項目的效益發(fā)揮。隨著水資源取水監(jiān)測站的持續(xù)建設(shè)，站點數(shù)據(jù)進(jìn)一步增加，僅依靠人工進(jìn)行數(shù)據(jù)巡查及后期處理已不現(xiàn)實，也難以滿足水資源取水?dāng)?shù)據(jù)精細(xì)化管理需求。本文基于安徽省水資源取水計量監(jiān)控項目，為提高取水?dāng)?shù)據(jù)質(zhì)量、降低取水?dāng)?shù)據(jù)巡查與管理難度及減輕取水?dāng)?shù)據(jù)管理的壓力，課題長期對取水?dāng)?shù)據(jù)歸零及畸變數(shù)據(jù)特征進(jìn)行跟蹤研究，最終通過大數(shù)據(jù)挖掘技術(shù)，以對歸零及畸變數(shù)據(jù)自動甄別、及時處理為目的，研究出取水?dāng)?shù)據(jù)歸零與畸變的智能甄別處理系統(tǒng)，以保障取水?dāng)?shù)據(jù)的精確采集、統(tǒng)計及應(yīng)用。

2 數(shù)據(jù)畸變原因分析

基于對已建安徽省水資源取水監(jiān)控數(shù)據(jù)的長期跟蹤研究，歸零數(shù)據(jù)常出現(xiàn)在大型取水監(jiān)測點，作為計量儀表滿量程后出現(xiàn)的累積流量自動歸零的現(xiàn)象，影響取水點流量的正常計算。而畸變數(shù)據(jù)是在數(shù)據(jù)傳輸過程中受到信號干擾因素而產(chǎn)生的。當(dāng)監(jiān)測設(shè)備安裝點有電子類工程施工、電焊施工、變頻干擾或設(shè)備本身故障等一些干擾因素存在時，計量數(shù)據(jù)傳輸易受影響，常導(dǎo)致數(shù)據(jù)丟包、小數(shù)點錯位等畸變現(xiàn)象。

通過對安徽省的3000 余處水資源取用水樣本點開展了調(diào)研，發(fā)現(xiàn)省內(nèi)各取用水戶選用的計量設(shè)備各不相同，其計量設(shè)備顯示方式、計量量程、設(shè)備安裝環(huán)境等各不相同，現(xiàn)場存在的干擾因素亦各有特點，甚至部分企業(yè)本身的生產(chǎn)工作亦存在對計量監(jiān)測設(shè)備的數(shù)據(jù)傳輸造成干擾。經(jīng)研究，取水?dāng)?shù)據(jù)的歸零和畸變的誘因甚多，難以對現(xiàn)場環(huán)境的監(jiān)測進(jìn)行甄別與診斷，故課題采用水資源取水大數(shù)據(jù)分析方法，開展基于數(shù)據(jù)挖掘等技術(shù)手段的取水歸零及畸變數(shù)據(jù)糾錯研究。

3 算法設(shè)計與軟件實現(xiàn)

3.1 研究基礎(chǔ)

數(shù)據(jù)畸變智能分析需要建立在取水戶、行業(yè)取水的多年監(jiān)測數(shù)據(jù)基礎(chǔ)上進(jìn)行，需要具備海量的取水原始數(shù)據(jù)及大量的畸變數(shù)據(jù)處理樣本。安徽省水資源取水監(jiān)控經(jīng)過5 年的建設(shè)，已實現(xiàn)對3000 余處水資源取水點的監(jiān)測，系統(tǒng)已積累約20GB 的原始取水計量數(shù)據(jù)，為取水?dāng)?shù)據(jù)的研究提供原始數(shù)據(jù)基礎(chǔ)。此外，安徽省水資源取水監(jiān)控系統(tǒng)多年的運行管理經(jīng)驗和積累的13000 余條人工處理數(shù)據(jù)歸零及畸變數(shù)據(jù)，提供了充足的研究樣本。

3.2 研究思路

課題研究以取水監(jiān)控系統(tǒng)中原始采集數(shù)據(jù)為基礎(chǔ)，經(jīng)對26000 余組畸變數(shù)據(jù)處理特點的歸納和分析，采用尋找取水?dāng)?shù)據(jù)期望的方法，對取水歷史數(shù)據(jù)進(jìn)行聚類，由正常數(shù)據(jù)和異常數(shù)據(jù)形成多個聚簇，通過確定最新數(shù)據(jù)的水量累計值、小時用水量、日用水量是否命中相對應(yīng)的聚簇內(nèi)，以甄別該數(shù)據(jù)是否為歸零或畸變數(shù)據(jù)，最終根據(jù)對數(shù)據(jù)的甄別結(jié)果，對數(shù)據(jù)進(jìn)行入庫、糾錯或拋棄等處理。

3.3 取水?dāng)?shù)據(jù)糾錯算法設(shè)計

3.3.1 K-Means 算法

K-Means 算法是一種基于樣本間相似性度量的間接聚類方法，其中心思想是通過迭代過程把數(shù)據(jù)集劃分為不同的類別，使得評價聚類性能的準(zhǔn)則函數(shù)達(dá)到最優(yōu)，從而使生成的類聚內(nèi)緊湊，類間獨立。由于其對樣例數(shù)據(jù)量的要求不高，在小規(guī)模數(shù)據(jù)中仍能夠較為準(zhǔn)確地計算出聚類結(jié)果，因此具有簡單、快速等特點，在處理大數(shù)據(jù)集時效率較高，特別當(dāng)結(jié)果聚類密集，且聚類與聚類之間區(qū)別明顯時，該算法應(yīng)用效果明顯。

水資源取水監(jiān)測數(shù)據(jù)站點較多，對數(shù)據(jù)計算時效性要求較高。此外，畸變或歸零數(shù)據(jù)簇與聚類簇之間具有明顯的區(qū)別，因此文章選擇K-Means 算法作為水資源取水畸變數(shù)據(jù)甄別算法的理論基礎(chǔ)。

3.3.2 取水?dāng)?shù)據(jù)糾錯算法實現(xiàn)

在K-Means 算法中唯一需要去確認(rèn)的值為K值，在K 值確定后需通過中心的迭代，以實現(xiàn)中心點收斂。為實現(xiàn)水資源取水畸變數(shù)據(jù)甄別，課題研究隨機選取k 個聚類中心點（clustercentroids）μ1,……,μk，重復(fù)下面過程直到收斂。

對于每一個樣例i，計算其應(yīng)該屬于的聚類：

對于每一個聚類j，重新計算該聚類的質(zhì)心：

基于以上兩步的不斷進(jìn)行數(shù)據(jù)收斂，通過程序遞歸，最終得到唯一的收斂值，以確定最終收斂的k 個中心。當(dāng)?shù)玫绞諗恐行臅r即與之前的中心進(jìn)行比較，從而診斷其是否為畸變數(shù)據(jù)。在程序的不斷應(yīng)用及完善中，我們通過程序經(jīng)驗和結(jié)果分析得到，當(dāng)k 值選取在3 個收斂點時，得到的數(shù)據(jù)較為精準(zhǔn)，且數(shù)據(jù)識別度較高。

由于歸零數(shù)據(jù)為畸變數(shù)據(jù)的一種，當(dāng)確定數(shù)據(jù)畸變后，還需開展歸零數(shù)據(jù)的判斷，若為歸零數(shù)據(jù)則根據(jù)歸零數(shù)據(jù)、計量設(shè)備量基礎(chǔ)程值及歸零前計量數(shù)值進(jìn)行測算與修復(fù)，并將恢復(fù)后的數(shù)據(jù)入庫；若非歸零數(shù)據(jù)，則判定數(shù)據(jù)為畸變，對其進(jìn)行拋棄處理。算法實現(xiàn)的詳細(xì)流程見圖1 所示。

3.4 算法應(yīng)用驗證

通過選取在近5 年內(nèi)的正常數(shù)據(jù)樣本，并分區(qū)間計算樣本數(shù)據(jù)的區(qū)間中心數(shù)據(jù)，形成樣例數(shù)據(jù)的中心點數(shù)據(jù)樣本，此次選擇寧國市眾益水務(wù)有限公司的樣本數(shù)據(jù)進(jìn)行結(jié)果驗證。

提供的樣例中心點數(shù)據(jù)如下：

同過K-Means 算法對樣例數(shù)據(jù)尋找中心點，經(jīng)過計算得到收斂的三個中心點數(shù)據(jù)：[2965,472,5888]。通過對最新的上行的累計數(shù)據(jù)與前兩日的最后一條上行的數(shù)據(jù)計算得到用水差值，并將該差值與三個中心點數(shù)據(jù)進(jìn)行比對，對與大于中心點之和的數(shù)據(jù)進(jìn)行畸變判斷。程序通過判斷將超出中心點數(shù)據(jù)的上行累計數(shù)據(jù)歸納為畸變數(shù)據(jù)。圖2 為對寧國市眾益水務(wù)有限公司取水?dāng)?shù)據(jù)聚類及畸變數(shù)據(jù)的分析示意圖。

圖2 寧國市眾益水務(wù)有限公司取水?dāng)?shù)據(jù)聚類及畸變數(shù)據(jù)分析圖

對于分析出來的正常數(shù)據(jù)和畸變數(shù)據(jù)分別進(jìn)行數(shù)據(jù)存放，并不斷擴充畸變數(shù)據(jù)和正常數(shù)據(jù)樣本庫，程序通過持續(xù)的數(shù)據(jù)學(xué)習(xí)，實現(xiàn)數(shù)據(jù)評價逐步靠近真實。

4 應(yīng)用效果

通過數(shù)據(jù)歸零和畸變的智能處理方法的應(yīng)用，在實際應(yīng)用過程中對異常頻率較高的取水點進(jìn)行數(shù)據(jù)跟蹤，選取其中部分取水點在2022 年年取水量匯總計算的數(shù)據(jù)樣本，得到數(shù)據(jù)糾錯后的正確性達(dá)到100%，部分難以處理的數(shù)據(jù)通過處理告警的方式，提示運維管理人員進(jìn)行人工處理。詳見表1

表1 水資源取水?dāng)?shù)據(jù)糾錯數(shù)據(jù)列表（節(jié)選） （單位：萬方）

5 小結(jié)

水資源取水計量監(jiān)測管理是用水總量紅線控制的基礎(chǔ)，是最嚴(yán)格水資源管理制度的重要支撐平臺。本文深入研究行業(yè)技術(shù)特點，與實際情況有效結(jié)合起來，解決了計量儀表數(shù)據(jù)歸零及畸變處理的問題，保證了監(jiān)測數(shù)據(jù)可用性、可信性，對水資源取水監(jiān)控項目建設(shè)與管理的水平提升具有促進(jìn)作用