＊雷敏珊張金碧

（ 1.廣州市番禺區(qū)環(huán)境監(jiān)測(cè)站 廣東 511483 2.廣東誠(chéng)浩環(huán)境監(jiān)測(cè)有限公司 廣東 511483）

關(guān)于環(huán)境監(jiān)測(cè)數(shù)據(jù)中的異常數(shù)據(jù)分析與處理

＊雷敏珊1張金碧2

（ 1.廣州市番禺區(qū)環(huán)境監(jiān)測(cè)站 廣東 511483 2.廣東誠(chéng)浩環(huán)境監(jiān)測(cè)有限公司 廣東 511483）

環(huán)境監(jiān)測(cè)數(shù)據(jù)是環(huán)境管理與環(huán)境執(zhí)法的主要依據(jù)，數(shù)據(jù)準(zhǔn)確、可靠與否直接影響環(huán)境執(zhí)法與環(huán)境管理的公正性與合理性，因而正確鑒別和處理異常數(shù)據(jù)是環(huán)境監(jiān)測(cè)工作中的關(guān)鍵環(huán)節(jié)，鑒此，本文對(duì)環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的類型、產(chǎn)生原因、鑒別與處理方法進(jìn)行了分析。

環(huán)境監(jiān)測(cè)數(shù)據(jù)；異常數(shù)據(jù)；分析；處理

引言

環(huán)境監(jiān)測(cè)數(shù)據(jù)是環(huán)境管理、環(huán)境執(zhí)法的基石，離開(kāi)了準(zhǔn)確可靠的數(shù)據(jù)支持，環(huán)境管理與環(huán)境執(zhí)法也失去客觀有效的依據(jù)。但環(huán)境監(jiān)測(cè)數(shù)據(jù)的獲得要經(jīng)歷采樣、運(yùn)輸、儲(chǔ)存、分析、數(shù)據(jù)處理等多個(gè)環(huán)節(jié)，任何一個(gè)環(huán)節(jié)的差錯(cuò)都可能導(dǎo)致監(jiān)測(cè)數(shù)據(jù)異常，所以正確分析和處理異常數(shù)據(jù)在環(huán)境監(jiān)測(cè)工作中非常重要。環(huán)境監(jiān)測(cè)異常數(shù)據(jù)一般是指環(huán)境監(jiān)測(cè)中的失實(shí)數(shù)據(jù)，即顯著偏離環(huán)境實(shí)際質(zhì)量、無(wú)法準(zhǔn)確反映環(huán)境污染狀況的數(shù)據(jù)。但要從大量監(jiān)測(cè)數(shù)據(jù)中鑒別并剔除異常數(shù)據(jù)并非易事，有些看似異常的數(shù)據(jù)背后可能隱藏著不為人知的因素，貿(mào)然剔除會(huì)失去深入了解和挖掘這種因素的機(jī)會(huì)，因此必須從技術(shù)上找到產(chǎn)生異常數(shù)據(jù)的原因，然后再采取正確的處理方法。

1.環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的類型與形成原因

(1)環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的類型

異常數(shù)據(jù)分為離群數(shù)據(jù)、不合理數(shù)據(jù)、不符合實(shí)際的數(shù)據(jù)。所謂離群數(shù)據(jù)是指與全部監(jiān)測(cè)數(shù)據(jù)平均值相差較大、按一定規(guī)則或經(jīng)驗(yàn)判為無(wú)效的數(shù)據(jù)，例如《飲食業(yè)油煙排放標(biāo)準(zhǔn)（試行）》（GB 18483-2001）第6.5節(jié)規(guī)定，5次采樣分析結(jié)果中的任何數(shù)據(jù)小于最大值的1/4，則為無(wú)效數(shù)據(jù)。不合理數(shù)據(jù)是指不符合日常監(jiān)測(cè)邏輯的數(shù)據(jù)，例如環(huán)保治理設(shè)施進(jìn)出口污染物濃度倒置。不符合實(shí)際的數(shù)據(jù)是指與長(zhǎng)期監(jiān)測(cè)結(jié)果形成的共識(shí)差距較大的數(shù)據(jù)，例如環(huán)境質(zhì)量監(jiān)測(cè)中的污染物濃度較高，而排污口濃度卻較低。

(2)環(huán)境監(jiān)測(cè)數(shù)據(jù)異常的原因

如前所述，環(huán)境監(jiān)測(cè)數(shù)據(jù)異常的原因與形成數(shù)據(jù)的過(guò)程有關(guān)，也就是由采樣誤差、運(yùn)輸與存儲(chǔ)過(guò)程中樣品受到污染、分析誤差引起，當(dāng)然也包括其他一些原因。采樣誤差是由采樣不規(guī)范、采樣位置不符合標(biāo)準(zhǔn)引起。運(yùn)輸與存儲(chǔ)過(guò)程中樣品受到污染主要是由存放樣品容器受到污染、樣品存放過(guò)久而變質(zhì)、儲(chǔ)藏條件不符合要求、樣品交叉污染等原因引起。分析誤差包括儀器未檢定、試劑失效、分析過(guò)程受到污染等原因。其他原因如監(jiān)測(cè)工況不符合要求、采樣時(shí)間不符合規(guī)范等。當(dāng)然，異常數(shù)據(jù)有些確實(shí)反映環(huán)境質(zhì)量的實(shí)際變化情況，還有些是由于監(jiān)測(cè)誤差和代表性不足所引起，更有一些無(wú)法明確數(shù)據(jù)異常的確切原因。

2.環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的鑒別與處理

(1)環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的鑒別方法

①基于歷史數(shù)據(jù)的鑒別。各級(jí)環(huán)境監(jiān)測(cè)站會(huì)對(duì)其管理區(qū)域的環(huán)境質(zhì)量進(jìn)行長(zhǎng)期跟蹤監(jiān)測(cè)并積累了大量數(shù)據(jù)，同時(shí)也掌握了各種監(jiān)測(cè)數(shù)據(jù)的規(guī)律，憑此可判斷數(shù)據(jù)是否異常。因?yàn)闅v史數(shù)據(jù)能反映污染物時(shí)空分布與變化規(guī)律、各種污染物與工藝流程的關(guān)系等情況。例如河道閘口下游不遠(yuǎn)處的采樣點(diǎn)，若趕上開(kāi)閘期間采樣就可能導(dǎo)致SS異常偏高。

②基于監(jiān)測(cè)因子之間的邏輯關(guān)系的鑒別。各種監(jiān)測(cè)因子之間存在一定的邏輯關(guān)系，例如污染物處理設(shè)施進(jìn)出口濃度之間正常情況下應(yīng)當(dāng)是出口濃度低于進(jìn)口濃度，如果數(shù)據(jù)倒置就可能存在異常。同一份樣品不同監(jiān)測(cè)指標(biāo)之間也存在一定關(guān)系，例如水環(huán)境監(jiān)測(cè)中各監(jiān)測(cè)項(xiàng)目之間存在比較固定的關(guān)系，DO與CODCr之間為負(fù)相關(guān)，BOD5與CODCr、CODMn與CODCr、NH3-N與CODCr之間均為正相關(guān)，偏離這個(gè)規(guī)律的數(shù)據(jù)可能存在異常。又如空氣自動(dòng)監(jiān)測(cè)系統(tǒng)也存在類似關(guān)系，PM2.5與PM10之間一般有相近的變化規(guī)律，當(dāng)其中一個(gè)站點(diǎn)某一時(shí)段PM2.5突然下降，而PM10并無(wú)明顯變化時(shí)，PM2.5數(shù)據(jù)可能異常，例如下雨使空氣潮濕而堵塞濾芯。

③基于相關(guān)統(tǒng)計(jì)資料和物料衡算的鑒別。受監(jiān)測(cè)條件、技術(shù)手段等因素的限制，加上有些企業(yè)排污設(shè)施不完善，廢水流量測(cè)量不準(zhǔn)確，這種情況下可利用同類監(jiān)測(cè)對(duì)象的統(tǒng)計(jì)資料進(jìn)行類比分析，因?yàn)楫a(chǎn)品相同、工藝條件相似的生產(chǎn)企業(yè)，其排放的污染物成分、數(shù)量及變化趨勢(shì)有相似的規(guī)律可循，再結(jié)合物料衡算和其他環(huán)境要素的分析，則有助于鑒別監(jiān)測(cè)數(shù)據(jù)的準(zhǔn)確性。

④基于數(shù)理統(tǒng)計(jì)方法的鑒別。上述鑒別方法，主要針對(duì)監(jiān)測(cè)數(shù)據(jù)平均值異常或個(gè)別監(jiān)測(cè)數(shù)據(jù)偏離較遠(yuǎn)的情況，當(dāng)監(jiān)測(cè)數(shù)據(jù)平均值正常而個(gè)別監(jiān)測(cè)數(shù)據(jù)有一定偏離時(shí)，這些數(shù)據(jù)是否異?？赏ㄟ^(guò)數(shù)理統(tǒng)計(jì)方法進(jìn)行鑒別。這方面的研究和方法比較多，例如拉依達(dá)（Pauta）法、肖維納（Chauvenet）法、格拉布斯（Grubbs）法、狄克遜（Dixon）法、奈爾（Nair）法、t檢驗(yàn)法、偏度-峰度法等。決定采用哪種方法之前，先應(yīng)確定樣本的分布類型，再采用適當(dāng)?shù)姆椒ㄟM(jìn)行鑒別。一般取樣合理、合乎規(guī)范的數(shù)據(jù)應(yīng)符合正態(tài)分布，否則要考慮取樣問(wèn)題，例如數(shù)據(jù)是否來(lái)自同一樣本、數(shù)據(jù)量是否足夠、監(jiān)測(cè)過(guò)程是否穩(wěn)定等。確定數(shù)據(jù)是否符合正態(tài)分布，《數(shù)據(jù)的統(tǒng)計(jì)處理和解釋正態(tài)性檢驗(yàn)》（GB/T 4882-2001）介紹了圖方法、矩檢驗(yàn)、回歸檢驗(yàn)和特征函數(shù)檢驗(yàn)。圖方法是比較常用的方法，利用正態(tài)概率紙進(jìn)行檢驗(yàn)，如果觀測(cè)值累積分布函數(shù)近似為一條直線，說(shuō)明數(shù)據(jù)符合正態(tài)分布。當(dāng)樣本數(shù)量3≤n≤50時(shí)，可采用Shapiro-Wilk檢驗(yàn)（簡(jiǎn)稱W檢驗(yàn)）；n≥50時(shí)，可采用偏度-峰度（skewness kurtosis）法。下面將結(jié)合實(shí)例介紹數(shù)理統(tǒng)計(jì)方法的應(yīng)用。

(2)環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的處理方法

如果監(jiān)測(cè)數(shù)據(jù)異常是由企業(yè)排污和環(huán)境質(zhì)量變化所引起的，就不能隨便刪除，而應(yīng)就異常原因進(jìn)行分析和說(shuō)明，并將超標(biāo)數(shù)據(jù)反映給環(huán)境管理部門(mén)，以督促企業(yè)進(jìn)行整改。如果由于監(jiān)測(cè)誤差、代表性差而引起數(shù)據(jù)異常，應(yīng)對(duì)數(shù)據(jù)進(jìn)行處理，這些數(shù)據(jù)不能和其他正常數(shù)據(jù)放在一起分析。當(dāng)監(jiān)測(cè)數(shù)據(jù)數(shù)量≥5個(gè)時(shí)，應(yīng)將異常數(shù)據(jù)剔除，只要剩余有效數(shù)據(jù)≮3個(gè)，就用剩余數(shù)據(jù)進(jìn)行分析評(píng)價(jià)；如果剩余有效數(shù)據(jù)＜3個(gè)，應(yīng)采取補(bǔ)充監(jiān)測(cè)措施。如果不能確定監(jiān)測(cè)數(shù)據(jù)異常的原因，就必須對(duì)污染源重新監(jiān)測(cè)，并嚴(yán)格控制監(jiān)測(cè)工況、儀器設(shè)備和環(huán)境因素等條件，以確保監(jiān)測(cè)數(shù)據(jù)可追溯。

(3)環(huán)境監(jiān)測(cè)異常數(shù)據(jù)的數(shù)理統(tǒng)計(jì)分析與處理實(shí)例

表1為某河道天然水樣總氮監(jiān)測(cè)的一組數(shù)據(jù)，試檢驗(yàn)數(shù)據(jù)是否符合正態(tài)分布，然后分別采用拉依達(dá)法、格拉布斯法、狄克遜法、t檢驗(yàn)法判斷離群值。

表1 天然水樣總氮監(jiān)測(cè)數(shù)據(jù)（mg/L）

①正態(tài)性檢驗(yàn)。由于n=10＜50，所以采用W檢驗(yàn)方法。計(jì)算公式如下：

式中xi為按x1≤x2≤…≤xn排序的樣本數(shù)據(jù)；ai為待估常量，可查表計(jì)算；X為樣本數(shù)據(jù)平均值。

經(jīng)計(jì)算W=0.860＞0.842=Wp，P=0.077＞0.05，接受正態(tài)性假設(shè)。

③格拉布斯法。確定置信概率α=0.05。算術(shù)平均值=0.2604，剩余誤差△X7=0.0156，標(biāo)準(zhǔn)偏差σ=0.0071。查表臨界值T0(10,0.05)=2.176，T0σ=0.01546。因△X7＞T0σ，按格拉布斯準(zhǔn)則應(yīng)剔除。對(duì)剩下9個(gè)數(shù)據(jù)進(jìn)行同樣檢驗(yàn)，無(wú)異常值檢出，故只剔除7#數(shù)據(jù)。

④狄克遜法。確定置信概率α=0.05。將10個(gè)數(shù)據(jù)由小到大排列。然后按Dn=(Xn-Xn-1)/(Xn-X2)和Dn＇=(X2-X1)/(Xn-1-X1)計(jì)算高端離群值和低端離群值，結(jié)果Dn=0.3636，=0，即Dn＞Dn＇。查表獲得臨界值D095(10)=0.53。因Dn＜D095(10)，無(wú)異常值檢出。

⑤t檢驗(yàn)法。確定置信概率α=0.05。將10個(gè)數(shù)據(jù)由小到大排列。暫時(shí)去除Xn后算得＇=0.2587，σ＇= 0.004796，∣Xn-＇∣=0.01733。臨界值K(10,0.05)=2.43，所以K(10,0.05)σ＇=0.01165。因∣X1-＇∣＞K(10,0.05) σ＇，所以判定0.276為異常值，應(yīng)予剔除。對(duì)剩下9個(gè)數(shù)據(jù)進(jìn)行檢驗(yàn)，剔除0.268。再對(duì)剩余8個(gè)數(shù)據(jù)進(jìn)行檢驗(yàn)，無(wú)異常值檢出，所以共剔除0.276、0.268兩個(gè)數(shù)據(jù)。

綜上，t檢驗(yàn)法最嚴(yán)格，其次為格拉布斯法，拉依達(dá)法和狄克遜法較寬松。實(shí)際上小樣本時(shí)選擇格拉布斯法和t檢驗(yàn)法較優(yōu)。

3.結(jié)語(yǔ)

“錯(cuò)誤的數(shù)據(jù)比沒(méi)有數(shù)據(jù)更糟糕”，所以提供準(zhǔn)確可靠的環(huán)境監(jiān)測(cè)數(shù)據(jù)遠(yuǎn)比僅僅提供數(shù)據(jù)要重要的多。為了提高環(huán)境監(jiān)測(cè)數(shù)據(jù)質(zhì)量，一方面要提高監(jiān)測(cè)人員的職業(yè)素養(yǎng)，減少技術(shù)誤差；另一方面也要加強(qiáng)數(shù)據(jù)審核工作，并通過(guò)建立數(shù)據(jù)追溯制度，及時(shí)發(fā)現(xiàn)問(wèn)題并找出數(shù)據(jù)異常的原因，以便不斷改進(jìn)和完善監(jiān)測(cè)工作，并為環(huán)境管理和環(huán)境執(zhí)法提供科學(xué)有效的依據(jù)。

[1]李志明．環(huán)境監(jiān)測(cè)數(shù)據(jù)審核及異常數(shù)據(jù)的處理[J]．新疆環(huán)境保護(hù)，2013,35(2)：41-44．

[2]牟永銘．環(huán)保驗(yàn)收監(jiān)測(cè)異常數(shù)據(jù)的分析與處理[J]．環(huán)境監(jiān)測(cè)管理與技術(shù)，2013,25(2)：4-6．

[3]蔡同峰．現(xiàn)場(chǎng)監(jiān)測(cè)數(shù)據(jù)審核方法及異常數(shù)據(jù)的判別研究[J]．環(huán)境科學(xué)與管理，2014,39(10)：60-62．

[4]張發(fā)兵，張明旭，韓中豪等．大樣本水環(huán)境監(jiān)測(cè)數(shù)據(jù)中異常數(shù)據(jù)的篩選方法研究[J]．中國(guó)環(huán)境監(jiān)測(cè)，2007,23(2)：54-57．

[5]管擎宇．環(huán)境空氣自動(dòng)監(jiān)測(cè)數(shù)據(jù)審核中異常數(shù)據(jù)判斷和處理[J]． 環(huán)境監(jiān)控與預(yù)警，2016,8(5)：59-63．

[6]王秋璐,周燕遐,陳斐等．基于SPSS的數(shù)理統(tǒng)計(jì)方法在海洋重金屬環(huán)境背景值計(jì)算中的應(yīng)用[J]．海洋通報(bào),2012,30(1)：100-103．

雷敏珊（1984～），女，廣州市番禺區(qū)環(huán)境監(jiān)測(cè)站，研究方向：環(huán)境監(jiān)測(cè)與監(jiān)測(cè)數(shù)據(jù)綜合分析工作。

張金碧（1985～），女，廣東誠(chéng)浩環(huán)境監(jiān)測(cè)有限公司，研究方向：環(huán)境監(jiān)測(cè)與實(shí)驗(yàn)室管理工作。

(責(zé)任編輯 王恒)

Abnormal Data Analysis and Processing of Environmental Monitoring data

Lei Minshan1,Zhang Jinbi2

(1.Environmental Monitoring Station in Panyu District of Guangzhou,Guangdong,511483 2.Guangdong Chenghao Environmental Monitoring Co.Ltd,Guangdong,511483)

The environmental monitoring data is the main basis of environmental law enforcement and environmental management, whether t he data is accurate and reliable or not directly affect the impartiality and rationality of environmental law enforcement and environmental manageme nt, thus correctly identifying and processing abnormal data is the key link of environmental monitoring work, for which reason, this paper takes analy sis of the types, causes, identification and treatment methods of the environmental monitoring abnormal data.

environmental monitoring data；abnormal data；analysis；processing

T

A