方海泉 薛惠鋒 蔣云鐘 周鐵軍 萬(wàn) 毅 王海寧

(1.中國(guó)航天系統(tǒng)科學(xué)與工程研究院研究生部， 北京 100048； 2.中國(guó)水利水電科學(xué)研究院水資源研究所， 北京 100038；3.湖南農(nóng)業(yè)大學(xué)理學(xué)院， 長(zhǎng)沙 410128； 4.水利部水資源管理中心， 北京 100053)

基于EEMD的水資源監(jiān)測(cè)數(shù)據(jù)異常值檢測(cè)與校正

方海泉1薛惠鋒1蔣云鐘2周鐵軍3萬(wàn) 毅4王海寧1

(1.中國(guó)航天系統(tǒng)科學(xué)與工程研究院研究生部， 北京 100048； 2.中國(guó)水利水電科學(xué)研究院水資源研究所， 北京 100038；3.湖南農(nóng)業(yè)大學(xué)理學(xué)院， 長(zhǎng)沙 410128； 4.水利部水資源管理中心， 北京 100053)

提出利用中位數(shù)法與集成經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)相結(jié)合的方法對(duì)時(shí)間序列數(shù)據(jù)的異常值進(jìn)行檢測(cè)，首先通過中位數(shù)法對(duì)明顯異常的數(shù)據(jù)進(jìn)行初步篩選，再用EEMD對(duì)剩余數(shù)據(jù)進(jìn)行分解，通過疊加低頻分量可以擬合出大多數(shù)數(shù)據(jù)的整體變化趨勢(shì)，而不受異常值的影響，從而根據(jù)偏差比率可有效檢測(cè)出異常值。然后根據(jù)異常值檢測(cè)后的時(shí)間序列數(shù)據(jù)的凹凸性變化趨勢(shì)，用分段曲線擬合對(duì)異常值校正。最后，以H1自來(lái)水廠的日取水量數(shù)據(jù)為例進(jìn)行實(shí)證分析。結(jié)果表明：提出的中位數(shù)法與EEMD相結(jié)合的方法能夠有效地檢測(cè)異常值，校正后得到的數(shù)據(jù)能夠真實(shí)反映該水廠取用水情況，可為后續(xù)分析提供更加真實(shí)可靠的數(shù)據(jù)。

水資源； 監(jiān)測(cè)數(shù)據(jù)； 異常值； 集成經(jīng)驗(yàn)?zāi)B(tài)分解； 中位數(shù)； 分段曲線擬合

引言

水資源是人類社會(huì)賴以生存和發(fā)展的基本條件，是一個(gè)國(guó)家經(jīng)濟(jì)社會(huì)發(fā)展的重要戰(zhàn)略資源。2011年中央1號(hào)文件和中央水利工作會(huì)議明確要求實(shí)行最嚴(yán)格水資源管理制度。為支撐最嚴(yán)格水資源管理制度更好地實(shí)施，2012年國(guó)家啟動(dòng)了水資源監(jiān)控能力建設(shè)項(xiàng)目[1-2]。在此之前，國(guó)家也已開展了很多相關(guān)工作，如2005年以來(lái)，各地相繼開展了城市和流域水資源實(shí)時(shí)監(jiān)控與管理系統(tǒng)建設(shè)，為及時(shí)全面準(zhǔn)確掌握水資源信息奠定了良好基礎(chǔ)[3-4]。通過對(duì)水資源在線監(jiān)測(cè)，可以獲取大量寶貴的真實(shí)客觀數(shù)據(jù)。但水資源在線監(jiān)測(cè)數(shù)據(jù)需要經(jīng)歷采集、傳輸、存儲(chǔ)以及數(shù)據(jù)平臺(tái)交換等環(huán)節(jié)，其中任何一個(gè)環(huán)節(jié)出現(xiàn)故障都會(huì)導(dǎo)致數(shù)據(jù)獲取異常。為了更有效利用監(jiān)測(cè)數(shù)據(jù)，需要采用合理的數(shù)據(jù)挖掘方法對(duì)異常值進(jìn)行檢測(cè)與校正。

水資源監(jiān)測(cè)數(shù)據(jù)主要包括水量監(jiān)測(cè)數(shù)據(jù)和水質(zhì)監(jiān)測(cè)數(shù)據(jù)。本文主要討論水量監(jiān)測(cè)數(shù)據(jù)中的取用水戶日取水量監(jiān)測(cè)數(shù)據(jù)，并以自來(lái)水廠的取水量為例進(jìn)行分析。國(guó)內(nèi)對(duì)于水量在線監(jiān)測(cè)數(shù)據(jù)的分析才開始起步，文獻(xiàn)[5]應(yīng)用A-D檢驗(yàn)方法判斷取水戶水量監(jiān)測(cè)數(shù)據(jù)是否符合正態(tài)分布，從而判斷獲取的監(jiān)測(cè)數(shù)據(jù)是否可靠。國(guó)外對(duì)流域水量水質(zhì)監(jiān)測(cè)、農(nóng)業(yè)灌溉用水監(jiān)測(cè)數(shù)據(jù)的研究較多，對(duì)取用水戶取水量監(jiān)測(cè)數(shù)據(jù)的分析也不多。文獻(xiàn)[6]研究了美國(guó)阿肯色州農(nóng)業(yè)灌溉水量問題，文獻(xiàn)[7]應(yīng)用主成分分析法對(duì)希臘東北部Kosynthos河的水量和水質(zhì)數(shù)據(jù)進(jìn)行了分析，文獻(xiàn)[8]對(duì)土耳其流域水量和水質(zhì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析得出流量在逐年減少、水溫在逐年增加的結(jié)論。

異常值目前尚無(wú)公認(rèn)的準(zhǔn)確定義，普遍采用的是HAWKINS[9]給出的定義。HAWKINS認(rèn)為異常值是在數(shù)據(jù)集中與眾不同的數(shù)據(jù)，使人懷疑這些數(shù)據(jù)并非隨機(jī)偏差，而是產(chǎn)生于完全不同的機(jī)制。本文把取用水監(jiān)測(cè)數(shù)據(jù)的異常值定義為對(duì)于任一時(shí)間點(diǎn)的數(shù)據(jù)相對(duì)其鄰域時(shí)間范圍內(nèi)其他數(shù)據(jù)偏差較大的數(shù)據(jù)。該定義不僅考慮了時(shí)間序列數(shù)據(jù)的集合特性，還考慮了任一時(shí)刻點(diǎn)數(shù)據(jù)的時(shí)序變化特性。取用水監(jiān)測(cè)數(shù)據(jù)本質(zhì)上屬于時(shí)間序列數(shù)據(jù)。對(duì)于時(shí)間序列異常值檢測(cè)方法的研究，前人已經(jīng)提出了很多算法，如基于統(tǒng)計(jì)、聚類、距離、密度等異常值檢測(cè)方法[10-13]。文獻(xiàn)[14]對(duì)國(guó)內(nèi)外各種異常檢測(cè)方法進(jìn)行了對(duì)比，分析了每種異常檢測(cè)方法的優(yōu)缺點(diǎn)。近年來(lái)，異常值檢測(cè)在很多領(lǐng)域都得到非常重要的研究和發(fā)展；文獻(xiàn)[15]提出多步異常值檢測(cè)方法應(yīng)用于交通數(shù)據(jù)分析；文獻(xiàn)[16]應(yīng)用基于統(tǒng)計(jì)學(xué)的異常值分析方法對(duì)結(jié)構(gòu)損傷進(jìn)行識(shí)別；文獻(xiàn)[17]應(yīng)用函數(shù)型數(shù)據(jù)分析方法對(duì)水質(zhì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行異常值分析。通過異常值檢測(cè)之后，把檢測(cè)出的異常值替換為0值，然后再對(duì)0值進(jìn)行填補(bǔ)，也就是對(duì)異常值進(jìn)行校正。常用的0值填補(bǔ)方法有均值填補(bǔ)法、回歸填補(bǔ)法、熱平臺(tái)填補(bǔ)、多重填補(bǔ)法、人工神經(jīng)網(wǎng)絡(luò)等[18-21]。

針對(duì)取用水戶日取用水量監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)出季節(jié)波動(dòng)和年度周期變化的特點(diǎn)，本文首先提出中位數(shù)法和集成經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble empirical mode decomposition, EEMD)法相結(jié)合的方法對(duì)異常值進(jìn)行檢測(cè)，再用分段曲線擬合法對(duì)異常值校正。

1 理論方法

1.1 EEMD

經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)方法是由HUANG等[22]于1998年提出。EMD在機(jī)械故障診斷、地球物理探測(cè)、生物醫(yī)學(xué)分析、回波檢測(cè)等方面都得到廣泛的應(yīng)用[23-26]。尚未見有文獻(xiàn)用于時(shí)間序列異常值檢測(cè)。EMD可將不同尺度的波動(dòng)或趨勢(shì)從原信號(hào)中逐級(jí)分離出來(lái)[22]。EMD適用于分析非線性非平穩(wěn)信號(hào)，且具有完全自適應(yīng)性。原始的時(shí)間序列x(t)經(jīng)過EMD分解得到一系列固有模態(tài)函數(shù)(Intrinsic mode function，IMF)和一個(gè)殘余項(xiàng)(residual, 簡(jiǎn)記res)，即

(1)

式中ci——第i個(gè)IMFrn——?dú)堄囗?xiàng)n——分解得到的固有模態(tài)函數(shù)的個(gè)數(shù)

EEMD是EMD的改進(jìn)算法，有效解決了EMD的混頻現(xiàn)象[27]。

1.2 分段曲線擬合

在曲線擬合之前需要判斷時(shí)間序列數(shù)據(jù)的凹凸性。若凹凸性沒有發(fā)生變化，可用直接曲線擬合；若凹凸性發(fā)生變化，需要對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分段，再對(duì)每一段分別進(jìn)行曲線擬合，這就是分段曲線擬合。直接曲線擬合可以視為分段曲線擬合的特殊情況，此時(shí)分為一段。凹凸性可根據(jù)變化趨勢(shì)判斷，EMD是目前提取時(shí)間序列趨勢(shì)的最好方法[30]。

2 異常值檢測(cè)與校正方法

2.1 異常值檢測(cè)與校正模型

面對(duì)大量原始的取用水監(jiān)測(cè)數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行異常值檢測(cè)和校正是后序分析必不可少的重要環(huán)節(jié)，本文建立了取用水監(jiān)測(cè)數(shù)據(jù)的異常值檢測(cè)與校正模型，如圖1所示。該模型不僅適用于取用水監(jiān)測(cè)數(shù)據(jù)，也適用于一般的時(shí)間序列數(shù)據(jù)異常值的檢測(cè)與校正。

圖1 異常值檢測(cè)與校正模型Fig.1 Model of outlier detection and correction

異常值檢測(cè)與校正模型的總體思路：首先，應(yīng)用中位數(shù)法對(duì)原始時(shí)間序列數(shù)據(jù)進(jìn)行異常值初步檢測(cè)，其次，用EEMD法進(jìn)一步精細(xì)檢測(cè)，把檢測(cè)出的異常值替換為0，再通過EEMD判斷凹凸性檢驗(yàn)，根據(jù)凹凸性進(jìn)行分段，最后應(yīng)用分段曲線擬合方法對(duì)0值進(jìn)行填補(bǔ)。經(jīng)過異常值檢測(cè)與校正得到更加接近真實(shí)、有效的時(shí)間序列數(shù)據(jù)。

2.2 異常值檢測(cè)

一般情況下，取用水監(jiān)測(cè)數(shù)據(jù)的異常值包括異常大值、異常小值(大于0)、0值和負(fù)值4種類型。根據(jù)自來(lái)水廠取用水實(shí)際情況，一般水廠每天24 h都在不間斷取水，負(fù)值和0值屬于異常值。因此，本研究主要討論異常大值和異常小值(大于0)2種類型的檢測(cè)，并提出中位數(shù)與EEMD結(jié)合的異常值檢測(cè)方法。

2.2.1中位數(shù)法初步檢測(cè)

2.2.2EEMD法精細(xì)檢測(cè)

(2)

dik越大，則該時(shí)間點(diǎn)的數(shù)據(jù)為異常值的可能性也就越大。

2.3 異常值校正

直接曲線擬合方法是把{gi}中的正數(shù)選出來(lái)，得到一組樣本點(diǎn)(i+,gi+)，i+表示{gi}中出現(xiàn)正數(shù)的位置，采用多項(xiàng)式對(duì)樣本點(diǎn)(i+,gi+)進(jìn)行曲線擬合，得到的多項(xiàng)式記為f(x)。用曲線擬合值f(xi0)替換{gi}中的0值得到校正后的時(shí)間序列數(shù)據(jù)，記為{ki}，這里i0表示{gi}中0值出現(xiàn)的位置。分段曲線擬合就是對(duì)每個(gè)時(shí)間段分別進(jìn)行曲線擬合，對(duì)于每一段曲線擬合方法與直接曲線擬合相同，擬合后再把不同時(shí)間段校正后的結(jié)果按時(shí)間順序拼接起來(lái)得到最后的結(jié)果。

3 實(shí)例研究

3.1 研究對(duì)象

選取H1自來(lái)水廠的日取水量數(shù)據(jù)為研究對(duì)象。監(jiān)測(cè)數(shù)據(jù)來(lái)源于水資源管理系統(tǒng)數(shù)據(jù)庫(kù)。選取時(shí)間范圍為2015年1月1日—2016年12月31日，共計(jì)731 d。

3.2 異常值的檢測(cè)結(jié)果

3.2.1原始監(jiān)測(cè)數(shù)據(jù)時(shí)間序列圖

H1自來(lái)水廠的原始日取水量時(shí)間序列監(jiān)測(cè)數(shù)據(jù)為{ai}，如圖2所示。從圖2中可以看出，存在異常大值、異常小值和0值，并且存在連續(xù)多個(gè)0值。

圖2 原始監(jiān)測(cè)數(shù)據(jù)(2015-01-01—2016-12-31)Fig.2 Original monitoring data

3.2.2中位數(shù)法異常值初步檢測(cè)

設(shè)定異常值初步檢測(cè)的條件為監(jiān)測(cè)數(shù)據(jù)大于中位數(shù)的5倍或者小于中位數(shù)的0.1倍，經(jīng)過初步檢測(cè)后把異常值替換為0。原始的監(jiān)測(cè)數(shù)據(jù)經(jīng)過替換后得到序列{bi}，如圖3所示。

圖3 異常值初步檢測(cè)后的數(shù)據(jù)(2015-01-01—2016-12-31)Fig.3 Data after initial outlier detection

圖4 異常值初步檢測(cè)后集成經(jīng)驗(yàn)?zāi)B(tài)分解(2015-01-01—2016-12-31)Fig.4 EEMD after initial outlier detection

3.2.3EEMD法異常值進(jìn)一步檢測(cè)

圖5 后6個(gè)低頻分量疊加曲線(2015-01-01—2016-12-31)Fig.5 Curve superposed by six low frequency components

圖6 偏差比率(2015-01-01—2016-12-31)Fig.6 Deviation rate

圖7 基于中位數(shù)與EEMD結(jié)合的異常值檢測(cè)(2015-01-01—2016-12-31)Fig.7 Outlier detection based on method of combining median and EEMD

3.3 中位數(shù)-EEMD異常值檢測(cè)優(yōu)勢(shì)

為了體現(xiàn)本文提出方法的優(yōu)勢(shì)，與傳統(tǒng)的異常值檢測(cè)方法箱線圖對(duì)比。箱線圖異常值檢測(cè)方法基于統(tǒng)計(jì)學(xué)原理[31]，能夠檢測(cè)出數(shù)據(jù)集中異常大和異常小值，但是沒有考慮時(shí)序變化特性，與圖7進(jìn)行對(duì)比，圖8中的箭頭標(biāo)出了用箱線圖未能檢測(cè)出的異常值，尤其是第3個(gè)箭頭(從左到右數(shù))標(biāo)出的異常值，該異常值相比臨近時(shí)間點(diǎn)的數(shù)據(jù)異常大，但是從整個(gè)數(shù)據(jù)集中看不屬于異常。證明本文提出檢測(cè)異常值檢測(cè)方法非常有效。

圖8 基于箱線圖的異常值檢測(cè)(2015-01-01—2016-12-31)Fig.8 Outlier detection based on boxplot

3.4 異常值校正結(jié)果

3.4.1用EEMD提取異常值檢測(cè)后的變化趨勢(shì)

圖9 基于EEMD凹凸性檢驗(yàn)(2015-01-01—2016-12-31)Fig.9 Convexity and concavity test based on EEMD

3.4.2用分段曲線擬合法對(duì)異常值校正

把{g1i}中的正數(shù)選出來(lái)進(jìn)行曲線擬合，用曲線擬合的結(jié)果替換相應(yīng)位置的0值，經(jīng)過校正后獲得的時(shí)間序列數(shù)據(jù)記為{k1i}，結(jié)果如圖10左半圖所示。同樣地，對(duì){g2i}的0值進(jìn)行填補(bǔ)，結(jié)果如圖10右半圖所示。把2段時(shí)間序列數(shù)據(jù)校正后得到的結(jié)果按時(shí)間順序拼接起來(lái)得到時(shí)間序列數(shù)據(jù)如圖11所示。

圖10 分段曲線擬合校正異常值(2015-01-01—2016-12-31)Fig.10 Outlier correction by piecewise curve fitting

圖11 經(jīng)過異常值檢測(cè)和校正后得到的數(shù)據(jù)(2015-01-01—2016-12-31)Fig.11 Data after outlier detection and correction

圖12 直接曲線擬合校正異常值(2015-01-01—2016-12-31)Fig.12 Outlier correction by direct curve fitting

3.5 異常值校正結(jié)果對(duì)比

為了與分段曲線擬合對(duì)比，采用直接曲線擬合對(duì)異常值校正，結(jié)果如圖12所示。與圖10對(duì)比可以看出，對(duì)于凹凸性發(fā)生改變的時(shí)間序列數(shù)據(jù)，分段擬合曲線能更好地體現(xiàn)時(shí)序變化趨勢(shì)。因此，對(duì)于凹凸性發(fā)生改變的時(shí)間序列數(shù)據(jù)，對(duì)異常值進(jìn)行校正時(shí)，分段曲線擬合結(jié)果優(yōu)于直接曲線擬合結(jié)果。

3.6 討論

常規(guī)的異常值檢測(cè)與校正方法對(duì)時(shí)間序列數(shù)據(jù)的缺失個(gè)數(shù)有一定的要求，若數(shù)據(jù)缺失嚴(yán)重則難以恢復(fù)，連續(xù)缺失數(shù)據(jù)越多恢復(fù)越困難。本文提出的中位數(shù)-EEMD異常值檢測(cè)和曲線擬合異常值校正方法在使用之前同樣需要考慮數(shù)據(jù)缺失問題。

4 結(jié)束語(yǔ)

隨著水資源監(jiān)控能力建設(shè)項(xiàng)目的不斷完善和發(fā)展，水資源管理系統(tǒng)存儲(chǔ)的水資源監(jiān)測(cè)數(shù)據(jù)逐日遞增，為充分發(fā)揮大量的監(jiān)測(cè)數(shù)據(jù)在水資源管理業(yè)務(wù)上的作用，有效的數(shù)據(jù)預(yù)處理方法至關(guān)重要。對(duì)于時(shí)間跨度大且變化趨勢(shì)復(fù)雜的非線性非平穩(wěn)水資源在線監(jiān)測(cè)數(shù)據(jù)，本文提出了中位數(shù)法與EMMD相結(jié)合的異常值檢測(cè)方法和分段曲線擬合的異常值校正方法。通過以H1自來(lái)水廠的日取水量數(shù)據(jù)為例，并與傳統(tǒng)的異常值檢測(cè)和校正方法進(jìn)行對(duì)比，結(jié)果說(shuō)明本文提出的方法更加優(yōu)越，經(jīng)過異常值檢測(cè)和校正得到更加接近真實(shí)的日取水量數(shù)據(jù)。本文提出的異常值檢測(cè)和校正方法可為監(jiān)測(cè)數(shù)據(jù)服務(wù)于水資源管理業(yè)務(wù)提供參考，并且可推廣應(yīng)用于其他領(lǐng)域的時(shí)間序列數(shù)據(jù)的異常值檢測(cè)和校正。該方法適用于歷史監(jiān)測(cè)數(shù)據(jù)，對(duì)于實(shí)時(shí)在線監(jiān)測(cè)數(shù)據(jù)異常值的檢測(cè)和校正需要以此為基礎(chǔ)，因?yàn)閷?shí)時(shí)在線監(jiān)測(cè)數(shù)據(jù)異常值檢測(cè)和校正必須建立在歷史監(jiān)測(cè)數(shù)據(jù)可靠的基礎(chǔ)上，所以本文提出的方法對(duì)于下一步實(shí)時(shí)在線監(jiān)測(cè)數(shù)據(jù)異常值檢測(cè)和校正也起到很好的理論支撐作用。

1 蔡陽(yáng). 國(guó)家水資源監(jiān)控能力建設(shè)項(xiàng)目及其進(jìn)展[J]. 水利信息化,2013(6): 5-10. CAI Y. National water resources monitoring capacity building project and its progress[J]. Water Resources Informatization, 2013(6): 5-10. (in Chinese)

2 中華人民共和國(guó)水利部，財(cái)政部. 國(guó)家水資源監(jiān)控能力建設(shè)項(xiàng)目實(shí)施方案(2012—2014)(水資源[2012]411號(hào)) [Z]. 北京：中華人民共和國(guó)水利部，2012.

3 蔣云鐘，張小娟，石玉波，等. 水資源實(shí)時(shí)監(jiān)控與管理系統(tǒng)標(biāo)準(zhǔn)體系建設(shè)[J]. 中國(guó)水利，2007(1): 55-58. JIANG Y Z, ZHANG X J, SHI Y B, et al. On the construction of standard system of water resources real-time monitoring and controlling system[J]. China Water Resources, 2007(1): 55-58. (in Chinese)

4 蔣云鐘, 萬(wàn)毅. 水資源監(jiān)控能力建設(shè)功能需求及實(shí)施策略[J]. 中國(guó)水利, 2012(7): 26-30. JIANG Y Z, WAN Y.Demand analysis of water resources monitoring capacity and implementation strategy study[J]. China Water Resources, 2012(7): 26-30. (in Chinese)

5 蔣吉發(fā)，劉飛. A-D檢驗(yàn)在取水戶水量在線監(jiān)測(cè)數(shù)據(jù)穩(wěn)定性分析中的應(yīng)用[J]. 四川水利，2016(2): 53-55. JIANG J F, LIU F.A-D detection in the application of stability analysis on on-line monitoring data about intake water amount [J]. Sichuan Water Conservancy，2016(2): 53-55. (in Chinese)

6 REBA M L, DANIELS M, CHEN Y S, et al. A statewide network for monitoring agricultural water quality and water quantity in Arkansas [J]. Journal of Soil and Water Conservation，2013, 68(2): 45-49.

7 PISINARAS V，PETALAS C，GEMITZI A, et al. Water quantity and quality monitoring of Kosynthos river, North-eastern Greece [J]. Global NEST Journal，2007, 9(3): 259-268.

8 ODEMIS B, EVRENDILEK F. Monitoring water quality and quantity of national watersheds in Turkey [J]. Environmental Monitoring & Assessment, 2007, 133(1-3):215-229.

9 HAWKINS D. Identification of outliers[M]. London: Chapman and Hall, 1980.

10 BARNET V, LEWIS T. Outliers in statistical data[M]. Chichester: John Wiley and Sons, 1994.

11 WANG J S, CHIANG J C. A cluster validity measure with outliers detection for support vector clustering[J]. IEEE Transactions on Systems Man and Cybernetics, Part B-Cybernetics, 2008, 38(1): 78-89.

12 KNORR E M，NG R T. A unified notion of outlierss: properties and computation[C]∥Proceedings of the 3rd International Conference on Knowledge Discovery and Data Mining, 1997: 219-222.

13 BREUNIG M, KRIEGEL H P, NG R, et al. LOF: identifying density-based local outliers[C]∥Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data, 2000: 93-104.

14 陳運(yùn)文，吳飛，吳廬山，等. 基于異常檢測(cè)的時(shí)間序列研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2015, 25(4): 166-170. CHEN Y W, WU F, WU L S, et al. Research on time series based on anomaly detection[J]. Computer Technology and Development, 2015, 25(4): 166-170.(in Chinese)

15 MONOWAR H B, BHATTACHARYYA D K, KALITA J K. A multi-step outlier-based anomaly detection approach to network-wide traffic[J]. Information Sciences, 2016, 348: 243-271.

16 緱百勇，陸秋海，向志海，等. 損傷識(shí)別的模態(tài)數(shù)據(jù)異常值分析方法[J]. 清華大學(xué)學(xué)報(bào)：自然科學(xué)版, 2015, 55(3): 356-360. GOU B Y, LU Q H, XIANG Z H, et al. Damage detection using modal data outlier analysis[J]. Journal of Tsinghua University: Science and Technology, 2015, 55(3): 356-360.(in Chinese)

18 BELLO A L. Imputation techniques in regression analysis: looking closely at their implementation[J]. Computational Statistics and Data Analysis, 1995, 20(1): 45-57.

19 RAO J N K, SHAO J. Jackknife variance estimation with survey data under hot deck imputation[J]. Biometrika, 1992, 79(4): 811-822.

20 RUBIN D B. Multiple imputations in sample surveys [R]. American Statistical Association, 1978: 20-34.

21 AMER S R. Neural network imputation: a new fashion or a good tool[D]. Corvallis, OR:Oregon State University, 2004.

22 HUANG N E, SHEN Z. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]. Proceedings of the Royal Society of London, l998, A454: 903-995.

23 LAU B, RIEMENSCHNEIDER S, XU Y. Gearbox fault diagnosis using empirical mode decomposition and Hilbert spechum [J]. Mechanical Systems and Signal Processing, 2006, 20(3):718-734.

24 ZHANG R R, ASCE M, MA S, et al. Hilbert-Huang transform analysis of dynamic and earthquake motion recordings [J]. Journal of Engineering Mechanics, 2003,129(8):861-875.

25 CHAPPELL M A, PAYNE S J. A method for the automated detection of venous gas bubbles in humans using empirical mode decomposition [J]. Annals of Biomedical Engineering, 2005,33(10):1411-1421.

26 曾祥, 周曉軍, 楊辰龍，等. 基于經(jīng)驗(yàn)?zāi)B(tài)分解和S變換的缺陷超聲回波檢測(cè)方法[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2016, 47(11): 414-420. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20161156&flag=1. DOI：10.6041/j.issn.1000-1298.2016.11.056. ZENG X, ZHOU X J, YANG C L, et al. Ultrasonic defect echoes identification based on empirical mode decomposition and s-transform[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(11): 414-420.(in Chinese)

27 WU Z H, HUANG N E, LONG S R, et al. On the trend, detrending, and the variability of nonlinear and non-stationary time series[J]. Proceedings of the National Academy of Sciences, 2007, 104: 14889-14894.

28 胡守信,李柏年.基于MATLAB的數(shù)學(xué)實(shí)驗(yàn)[M].北京：科學(xué)出版社，2004： 63-65.

29 張霞, 李儒, 岳躍民，等. 諧波改進(jìn)的植被指數(shù)時(shí)間序列重建算法[J]. 遙感學(xué)報(bào), 2010, 14(3): 442-447. ZHANG X, LI R, YUE Y M,et al. Improved algorithm for reconstructing vegetation index image time series based on Fourier harmonic analysis[J]. Journal of Remote Sensing, 2010, 14(3): 442-447. (in Chinese)

30 鄧擁軍，王偉，錢成春，等. EMD方法及Hilbert變換中邊界問題的處理[J]. 科學(xué)通報(bào), 2001, 46(3): 257-263. DENG Y J, WANG W, QIAN C C,et al. EMD method and transact boundary problem of Hilbert transform[J]. Chinese Science Bulletin, 2001, 46(3): 257-263.(in Chinese)

31 盛驟，謝式千，潘承毅. 概率論與數(shù)理統(tǒng)計(jì)[M]. 北京：高等教育出版社，2008： 132-135.

OutlierDetectionandCorrectionforWaterResourcesMonitoringDataBasedonEEMD

FANG Haiquan1XUE Huifeng1JIANG Yunzhong2ZHOU Tiejun3WAN Yi4WANG Haining1

(1.GraduateSchool,ChinaAerospaceAcademyofSystemsScienceandEngineering,Beijing100048,China2.InstituteofWaterResources,ChinaInstituteofWaterResourcesandHydropowerResearch,Beijing100038，China3.CollegeofScience,HunanAgriculturalUniversity,Changsha410128,China4.WaterResourcesManagementCenter,MinistryofWaterResources,Beijing100053,China)

In order to improve the availability and accuracy of online monitoring data of water resources, it is very important to detect and correct the outliers of monitoring data. The water resources monitoring data are non-linear and non-stationary time series data, the outlier detection method of the conventional time series did not take into account the convexity and concavity of time series. A combining median and ensemble empirical mode decomposition (EEMD) method was presented for outlier detection. Firstly, the outliers were preliminarily detected by the median method. And then the remaining data were decomposed by EEMD. The overall trend of most of the data can be fitted by superimposing the low-frequency components, but not affected by outlier, and the outlier can be detected effectively according to the deviation rate. Then, according to change of convexity and concavity of time series data after outlier detection, the method of piecewise curve fitting was used to correct the outliers. Finally, taking the daily water intake data of H1 waterworks as an example, the results showed that the method of combining median and EEMD can detect outliers effectively. The data obtained after correction can truly reflect the actual situation of water intake of waterworks. It can also provide more reliable data for subsequent analysis.

water resources; monitoring data; outliers; ensemble empirical mode decomposition; median; piecewise curve fitting

N945

A

1000-1298(2017)09-0257-07

10.6041/j.issn.1000-1298.2017.09.032

2017-02-02

2017-02-28

國(guó)家自然科學(xué)基金委員會(huì)-廣東聯(lián)合基金項(xiàng)目(U1501253)和廣東省省級(jí)科技計(jì)劃項(xiàng)目(2016B010127005)

方海泉(1985—)，男，博士生，主要從事數(shù)據(jù)分析與系統(tǒng)工程研究，E-mail: fanghaiquan22@126.com