鄔恒東,徐建平
(上海市浦東新區(qū)環(huán)境監(jiān)測站, 上海 200135)
監(jiān)測分析方法驗(yàn)證數(shù)據(jù)異常值的處理
鄔恒東,徐建平
(上海市浦東新區(qū)環(huán)境監(jiān)測站, 上海 200135)
以《固體廢物痕量金屬元素的測定 電感耦合等離子體發(fā)射光譜法》編制說明(征求意見稿)中精密度數(shù)據(jù)為例,方法標(biāo)準(zhǔn)編制單位在處理方法驗(yàn)證數(shù)據(jù)時(shí),應(yīng)按照《GB/T 6379.2—2004》離群值剔除方法處理異常數(shù)據(jù),避免重復(fù)性限r(nóng)和再現(xiàn)性限R計(jì)算錯(cuò)誤。
方法驗(yàn)證;異常值;重復(fù)性限; 再現(xiàn)性限
《環(huán)境監(jiān)測 分析方法標(biāo)準(zhǔn)制修訂技術(shù)導(dǎo)則》(HJ 168—2010)[1]規(guī)定“驗(yàn)證實(shí)驗(yàn)中異常值的剔除方法參考《GB/T 6379》中的相關(guān)內(nèi)容”。驗(yàn)證實(shí)驗(yàn)中異常值的剔除主要涉及《GB/T 6379.2—2004》第2部分:確定標(biāo)準(zhǔn)測量方法的重復(fù)性和再現(xiàn)性的基本方法[2]。
按照《GB/T 6379.2—2004》驗(yàn)證實(shí)驗(yàn)的測試結(jié)果需進(jìn)行一致性和離群值檢查,《HJ 168—2010》僅規(guī)定離群值檢查。離群值檢查首先進(jìn)行柯克倫檢驗(yàn)(對實(shí)驗(yàn)室內(nèi)變異的檢驗(yàn)),然后進(jìn)行格拉布斯檢驗(yàn)(對實(shí)驗(yàn)室間變異的檢驗(yàn))。現(xiàn)應(yīng)用柯克倫檢驗(yàn)和格拉布斯檢驗(yàn)對《固體廢物痕量金屬元素的測定 電感耦合等離子體發(fā)射光譜法》編制說明(征求意見稿)中的部分精密度數(shù)據(jù)進(jìn)行驗(yàn)證。
1.1 柯克倫檢驗(yàn)
柯克倫檢驗(yàn)針對每一個(gè)水平下協(xié)作實(shí)驗(yàn)室室內(nèi)最大方差的檢驗(yàn)。給定p個(gè)實(shí)驗(yàn)室由相同的n次重復(fù)測試結(jié)果計(jì)算的標(biāo)準(zhǔn)偏差Si??驴藗悪z驗(yàn)統(tǒng)計(jì)量C定義為:
式中:Smax是這組標(biāo)準(zhǔn)差中的最大值。
檢驗(yàn)方法為:(1) 如果檢驗(yàn)統(tǒng)計(jì)量≤5%臨界值,則接受被檢驗(yàn)項(xiàng)目為正確值;(2) 如果檢驗(yàn)統(tǒng)計(jì)量>5%臨界值,但≤1%臨界值,則稱被檢驗(yàn)的項(xiàng)目為歧離值;(3) 如果檢驗(yàn)統(tǒng)計(jì)量>1%臨界值,則被檢驗(yàn)項(xiàng)目為統(tǒng)計(jì)離群值。
如最大標(biāo)準(zhǔn)差經(jīng)檢驗(yàn)判為離群值,則應(yīng)將該值及其對應(yīng)的平均值剔除,對剩下的數(shù)據(jù)再次進(jìn)行柯克倫檢驗(yàn),此過程可以重復(fù)進(jìn)行。
1.2 格拉布斯檢驗(yàn)
格拉布斯檢驗(yàn)對每一個(gè)水平試樣分一個(gè)離群觀測值情形和兩個(gè)離群觀測值情形分別檢驗(yàn)。
1.2.1 一個(gè)離群觀測值情形
給定一組數(shù)據(jù)xi,i=1,2,…p,將其按照大小升序排列成x(i),格拉布斯檢驗(yàn)是檢驗(yàn)最大觀測值x(p)是否為離群值,計(jì)算格拉布斯統(tǒng)計(jì)量Gp:
而為檢驗(yàn)最小觀測值x(1)是否為離群值,則計(jì)算檢驗(yàn)統(tǒng)計(jì)量G1:
檢驗(yàn)方法同柯克倫檢驗(yàn)。
1.2.2 二個(gè)離群觀測值情形
為檢驗(yàn)最大的兩個(gè)值是否為離群值,計(jì)算格拉布斯檢驗(yàn)統(tǒng)計(jì)量G:
為檢驗(yàn)最小的兩個(gè)觀測值的顯著性,計(jì)算格拉布斯檢驗(yàn)統(tǒng)計(jì)量G:
檢驗(yàn)方法為:(1) 如果檢驗(yàn)統(tǒng)計(jì)量≥5%臨界值,則接受被檢驗(yàn)項(xiàng)目為正確值;
(2) 如果檢驗(yàn)統(tǒng)計(jì)量<5%臨界值,但≥1%臨界值,則稱被檢驗(yàn)的項(xiàng)目為歧離值;
(3) 如果檢驗(yàn)統(tǒng)計(jì)量<1%臨界值,則被檢驗(yàn)項(xiàng)目為統(tǒng)計(jì)離群值。
柯克倫檢驗(yàn)不是為同時(shí)檢驗(yàn)多個(gè)離群值而設(shè)計(jì)的,下結(jié)論時(shí)需格外小心。當(dāng)有2或3個(gè)實(shí)驗(yàn)室的標(biāo)準(zhǔn)差都比較高,尤其是在一個(gè)水平內(nèi)得出該結(jié)論時(shí),應(yīng)仔細(xì)核查由柯克倫檢驗(yàn)得出的結(jié)論。若在一個(gè)實(shí)驗(yàn)室的不同水平下發(fā)現(xiàn)多個(gè)歧離值和(或)統(tǒng)計(jì)離群值,則表明該實(shí)驗(yàn)室的室內(nèi)方差非常高,來自該實(shí)驗(yàn)室的全部數(shù)據(jù)都應(yīng)該被拒絕。
對一個(gè)水平的各實(shí)驗(yàn)室均值數(shù)據(jù),應(yīng)用一個(gè)離群值情形的格拉布斯檢驗(yàn),若其中最大的或最小的單元平均值經(jīng)檢驗(yàn)為離群值,則將其剔除;對剩下的單元平均值重復(fù)進(jìn)行同樣的檢驗(yàn)。當(dāng)前一檢驗(yàn)結(jié)果無一個(gè)單元均值為離群值時(shí),再進(jìn)行二個(gè)離群值情形的格拉布斯檢驗(yàn)。
以《固體廢物痕量金屬元素的測定 電感耦合等離子體發(fā)射光譜法》編制說明(征求意見稿)中精密度Ag(原表3-3)、Ca(原表3-7)、Fe(原表3-12)、Na(原表3-16)測試數(shù)據(jù)匯總表為例說明。
2.1 精密度Ag測試數(shù)據(jù)匯總表中應(yīng)注意的問題
試樣2中2號實(shí)驗(yàn)室標(biāo)準(zhǔn)差S2=5.22,經(jīng)柯克倫檢驗(yàn)C=0.536 9,C>C0.01(C0.01=0.52),為統(tǒng)計(jì)離群值,剔除(同時(shí)試樣2中2號實(shí)驗(yàn)室的測試均值剔除);對剩下的數(shù)據(jù)再次進(jìn)行柯克倫檢驗(yàn),沒有異常值,且對試樣2的均值用格拉布斯檢驗(yàn)的兩種情形進(jìn)行檢驗(yàn)均無異常值。
剔除異常值后,經(jīng)計(jì)算重復(fù)性限r(nóng)為6.07,再現(xiàn)性限R為7.39,見表1。
表1 精密度Ag 測試數(shù)據(jù)匯總① mg/kg
①**為離群值,括號內(nèi)數(shù)據(jù)為標(biāo)注方差S為負(fù)而取值錯(cuò)誤或未剔除異常值而得到的錯(cuò)誤計(jì)算結(jié)果。
2.2 精密度Ca測試數(shù)據(jù)匯總表中應(yīng)注意的問題
試樣3中6號實(shí)驗(yàn)室標(biāo)準(zhǔn)差S6=7 163,經(jīng)柯克倫檢驗(yàn),C=0.589 8,C>(C0.01=0.52),為統(tǒng)計(jì)離群值,剔除(同時(shí)試樣3中6號實(shí)驗(yàn)室的測試均值剔除);對剩下的數(shù)據(jù)再次進(jìn)行柯克倫檢驗(yàn),沒有異常值,且對試樣3的均值用格拉布斯檢驗(yàn)的兩種情形進(jìn)行檢驗(yàn)均無異常值。剔除異常值后,經(jīng)計(jì)算重復(fù)性限r(nóng)為7 480,再現(xiàn)性限R為10 874(見表2)。
表2 精密度Ca 測試數(shù)據(jù)匯總① mg/kg
①**為離群值,括號內(nèi)數(shù)據(jù)為標(biāo)注方差S為負(fù)而取值錯(cuò)誤或未剔除異常值而得到的錯(cuò)誤計(jì)算結(jié)果。
2.3 精密度Fe測試數(shù)據(jù)匯總表中應(yīng)注意的問題
經(jīng)更正后,再現(xiàn)性限R分別為1 069和9 782(見表3)。
試樣3中2號實(shí)驗(yàn)室標(biāo)準(zhǔn)差S2=1 768經(jīng)柯克倫檢驗(yàn),C=0.461 0,C>C0.05(C0.05=0.445)且 表3 精密度Fe 測試數(shù)據(jù)匯總① mg/kg ①*為歧離值,括號內(nèi)數(shù)據(jù)為標(biāo)注方差S為負(fù)而取值錯(cuò)誤而得到的錯(cuò)誤計(jì)算結(jié)果。 2.4 精密度Na測試數(shù)據(jù)匯總表中應(yīng)注意的問題 試樣1實(shí)驗(yàn)室標(biāo)準(zhǔn)差經(jīng)柯克倫檢驗(yàn)沒有異常值;對試樣1的均值經(jīng)用一個(gè)離群值情形的格拉布斯檢驗(yàn)6號實(shí)驗(yàn)室均值3 175 mg/kg(最小值)的G6=1.955,G0.05=1.887,G0.01=1.973,G0.05 表4 精密度Na測試數(shù)據(jù)匯總① mg/kg ①*為歧離值,括號內(nèi)數(shù)據(jù)為標(biāo)注方差S為負(fù)而取值錯(cuò)誤得到的錯(cuò)誤計(jì)算結(jié)果。 相比較2號實(shí)驗(yàn)室的精密度較差,其次為5號和6號實(shí)驗(yàn)室。監(jiān)測分析方法驗(yàn)證數(shù)據(jù)必須經(jīng)異常值檢驗(yàn),剔除離群值,標(biāo)注異常數(shù)據(jù),再正確計(jì)算重復(fù)性限r(nóng)和再現(xiàn)性限R。一些元素的精密度測試數(shù)據(jù)統(tǒng)計(jì)中的問題不是《HJ 168—2010》規(guī)定的離群值剔除方法有局限性,而是數(shù)據(jù)統(tǒng)計(jì)者沒有理解相關(guān)規(guī)定《GB/T 6379.2—2004》。希望以上經(jīng)驗(yàn)?zāi)軐ΡO(jiān)測分析方法驗(yàn)證實(shí)驗(yàn)中異常值的剔除和標(biāo)示有所幫助。 [1] 環(huán)境保護(hù)部. 環(huán)境監(jiān)測 分析方法標(biāo)準(zhǔn)制修訂技術(shù)導(dǎo)則: HJ 168—2010 [S]. 北京: 中國環(huán)境科學(xué)出版社, 2010. [2] 中華人民共和國國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局, 中國國家標(biāo)準(zhǔn)化管理委員會(huì).測量方法與結(jié)果的準(zhǔn)確度(正確度與精確度) 第2部分:確定標(biāo)準(zhǔn)測量方法的重復(fù)性和再現(xiàn)性的基本方法: GB/T 6379.2—2004 [S]. 北京: 中國標(biāo)準(zhǔn)出版社, 2004. [3] 徐建平. EXCEL在確定監(jiān)測方法重復(fù)性與再現(xiàn)性中的運(yùn)用[J]. 環(huán)境監(jiān)測管理與技術(shù),2010, 22(1): 54-58. Processing and Handling of Abnormal Data in Validating Monitoring Analysis Methods WU Heng-dong, XU Jian-ping (PudongNewAreaEnvironmentalMonitoringStation,Shanghai200135,China) Using an example of data precision from explanation of “Solid waste-Determination of trace metal element by inductively coupled plasma optical emission spectrometry” (Draft), this paper suggests that processing method validation data should follow the outlier elimination method in GB/T 6379.2-2004, in order to avoid repeatability limitrand reproducibility limitRcalculation errors. Method validation; Abnormal value; Repeatability limit; Reproducibility limit 2016-03-12; 2016-06-30 鄔恒東(1978—),男,助理工程師,本科,從事環(huán)境監(jiān)測工作。 X830.3 B 1674-6732(2016)05-0038-043 結(jié)語