周建童 潘祝光 黃虬 / 中國(guó)人民解放軍91656部隊(duì)

0 引言

異常值（abnormal value）又稱離群值，依據(jù)JJF 1001-2011《通用計(jì)量術(shù)語(yǔ)及定義》相關(guān)詞條的解釋，是指在對(duì)一個(gè)被測(cè)量重復(fù)觀測(cè)所獲取的若干觀測(cè)結(jié)果中，出現(xiàn)了與其他值偏離遠(yuǎn)且不符合統(tǒng)計(jì)規(guī)律的個(gè)別值。在正常情況下，一組測(cè)量樣本的分散性合理表征了實(shí)際測(cè)量過(guò)程的隨機(jī)波動(dòng)性，但是當(dāng)測(cè)量?jī)x器技術(shù)狀態(tài)出現(xiàn)不穩(wěn)定時(shí)會(huì)增加測(cè)量樣本中出現(xiàn)異常值的可能性。

考察測(cè)量?jī)x器的測(cè)量值是觀察其技術(shù)狀態(tài)最直觀的方法，如果某個(gè)測(cè)量?jī)x器通過(guò)不間斷的溯源鏈溯源至國(guó)家計(jì)量基準(zhǔn)，并且其示值一直持續(xù)處于可控的狀態(tài)下，一般認(rèn)為該測(cè)量?jī)x器技術(shù)狀態(tài)良好。反之當(dāng)該儀器測(cè)量值呈現(xiàn)出不合理的分散性，異常值頻繁出現(xiàn)，就有理由認(rèn)為該儀器技術(shù)狀態(tài)存疑。當(dāng)排除了因技術(shù)人員和實(shí)驗(yàn)室環(huán)境等原因?qū)е聹y(cè)量過(guò)程中出現(xiàn)異常值的可能性時(shí)，那么測(cè)量值的統(tǒng)計(jì)分析結(jié)果就是該測(cè)量?jī)x器技術(shù)狀態(tài)的直接反映。

本文試圖建立這樣一種模型關(guān)系，即將某個(gè)測(cè)量?jī)x器的重復(fù)觀測(cè)樣本作為輸入量時(shí)，通過(guò)合理的統(tǒng)計(jì)分析過(guò)程得到以該儀器技術(shù)狀態(tài)為目標(biāo)的輸出結(jié)果。

圖1 輸入與輸出關(guān)系

1 異常值檢驗(yàn)常用方法

1.1 格拉布斯準(zhǔn)則

當(dāng)在某組重復(fù)測(cè)量樣本xi中，其殘差vi的絕對(duì)值|vi|的最大者為可疑值xd,在給定的包含概率為p(通常，p= 0.099 或p= 0.095)，也就是顯著性水平α= 1 -p時(shí)，如果該可疑值xd與該測(cè)量樣本的平均值|x|之差的絕對(duì)值除以該組測(cè)量樣本的實(shí)驗(yàn)標(biāo)準(zhǔn)偏差s大于該情況下格拉布斯臨界值，則可判斷該疑值xd為異常值。

格拉布斯檢驗(yàn)方法，在某組重復(fù)測(cè)量樣本（xi|x1，x2，…，xn）中,設(shè)殘差vi的絕對(duì)值|vi|的最大者為可疑值xd，該準(zhǔn)則可用式（1）表示：

式中：—— 該組測(cè)量樣本的算術(shù)平均值；

xi—— 該組重復(fù)測(cè)量樣本中的任意值；s—— 該組測(cè)量樣本的實(shí)驗(yàn)標(biāo)準(zhǔn)偏差；

G(α,n) —— 與顯著性水平α和樣本含量n有關(guān)的格拉布斯臨界值

1.2 狄克遜準(zhǔn)則

當(dāng)在某組重復(fù)測(cè)量樣本xi中，將該樣本中測(cè)量值按照由小到大的規(guī)律重新排列組成新的樣本集合，其中最大者為xn，最小者為x1，根據(jù)樣本容量n計(jì)算統(tǒng)計(jì)量γij和γ'ij，如果γij和γ'ij中的較大值大于該情況下格拉布斯臨界值，則可判斷該疑值為異常值。

狄克遜檢驗(yàn)方法，將該組重復(fù)測(cè)量樣本按照由小到大的順序重新排列形成新的樣本集合（xi|x1，x2，…，xn），

當(dāng)n= 3 ～ 7 時(shí)，

當(dāng)n= 8 ～ 10 時(shí)，

當(dāng)n= 11 ～ 13 時(shí)，

當(dāng)n≥ 14 時(shí)，

當(dāng)γij＞γ'ij且γij＞D(α,n)，則xn為異常值；

當(dāng)γij＜γ'ij且γij＞D(α,n)，則x1為異常值。

1.3 拉依達(dá)準(zhǔn)則

當(dāng)在某組重復(fù)測(cè)量樣本xi中，當(dāng)重復(fù)測(cè)量樣本充分大的前提下（n＞＞10），若某個(gè)可疑值與該組測(cè)量樣本的平均值之差的絕對(duì)值大于或等于該組測(cè)量樣本試驗(yàn)標(biāo)準(zhǔn)偏差的三倍時(shí)，依據(jù)拉依達(dá)準(zhǔn)則判斷該可疑值為異常值。

拉依達(dá)檢驗(yàn)方法，在某組重復(fù)測(cè)量樣本（xi|x1，x2，…，xn），對(duì)組測(cè)量集合中的任意測(cè)量樣本xi，

則可以判定xi為異常值。

2 異常值檢驗(yàn)應(yīng)用案例

在對(duì)某組被測(cè)量進(jìn)行重復(fù)性觀察時(shí)，通常情況下要對(duì)被測(cè)量進(jìn)行多次的重復(fù)性采樣，而這些重復(fù)性采樣樣本，會(huì)因?yàn)闇y(cè)量采樣過(guò)程中各種各樣的原因出現(xiàn)，與其他正常值偏離較遠(yuǎn)，且不符合統(tǒng)計(jì)規(guī)律的個(gè)別值，這些異常值的出現(xiàn)會(huì)導(dǎo)致對(duì)樣本數(shù)據(jù)進(jìn)行算術(shù)平均值和實(shí)驗(yàn)標(biāo)準(zhǔn)偏差估計(jì)時(shí)發(fā)生偏差，而往往這些偏差值僅憑計(jì)量技術(shù)人員的簡(jiǎn)單計(jì)算和經(jīng)驗(yàn)判斷是無(wú)法正確發(fā)現(xiàn)的，因此需要講前面所討論的方法在案例中進(jìn)行靈活的運(yùn)用。

2.1 常見(jiàn)情況案例

這情況常見(jiàn)于實(shí)驗(yàn)室日常工作的計(jì)量技術(shù)工作，在對(duì)某一組樣本容量不是非常巨大的被測(cè)量進(jìn)行簡(jiǎn)單分析時(shí)這種異常值檢驗(yàn)的應(yīng)用方法常常使用到。

比如，計(jì)量技術(shù)人員在對(duì)某型數(shù)字多用表的1A典型點(diǎn)進(jìn)行重復(fù)性觀察時(shí)獲取了表1 所示的一組重復(fù)性觀察值，假設(shè)在對(duì)這組數(shù)據(jù)進(jìn)行重復(fù)性分析時(shí)發(fā)現(xiàn)了重復(fù)性偏差較大的情況，計(jì)量技術(shù)人員懷疑這組觀察值中存在導(dǎo)致重復(fù)性偏離較大的異常值。

表1 一組重復(fù)性觀察值

對(duì)該組數(shù)據(jù)的統(tǒng)計(jì)處理如下：

該組測(cè)量樣本的算術(shù)平均值，

該組測(cè)量樣本的實(shí)驗(yàn)標(biāo)準(zhǔn)偏差，

比較計(jì)算各個(gè)觀察值的殘差，

發(fā)現(xiàn)當(dāng)x4= 0.91 A 時(shí)，存在vmax= 0.10 A，則有：

按照p= 95%，即α= 1 - 0.95 = 0.05，n= 6，查格拉布斯臨界值表有：

可以判定，x4= 0.91 A 為異常值，應(yīng)當(dāng)予以剔除；

當(dāng)剔除x4后，對(duì)剩下的5 個(gè)重復(fù)觀測(cè)值繼續(xù)進(jìn)行統(tǒng)計(jì)分析；

該組測(cè)量樣本的算術(shù)平均值，

該組測(cè)量樣本的實(shí)驗(yàn)標(biāo)準(zhǔn)偏差，

比較計(jì)算各個(gè)觀察值的殘差，

發(fā)現(xiàn)當(dāng)x5= 0.76 A 時(shí)，存在vmax= 0.03 A,則有：

按照p= 95%,即α= 1 - 0.95 = 0.05，n= 5，查格拉布斯臨界值表有：

可以判斷剩下的5 個(gè)重復(fù)觀測(cè)值不存在異常值。

2.2 復(fù)雜情況案例

然而，在實(shí)際工作中，經(jīng)常碰到一些較為復(fù)雜的情況。在這些情況下，進(jìn)行的重復(fù)性觀察采樣的樣本數(shù)較多，而且對(duì)數(shù)據(jù)統(tǒng)計(jì)的嚴(yán)謹(jǐn)性有著較高的要求時(shí)，簡(jiǎn)單的運(yùn)用某一種異常值檢驗(yàn)方法并不能完全覆蓋所有的日常計(jì)量檢定情況。當(dāng)遇到這種較為復(fù)雜的情況時(shí)，不僅需要計(jì)量工作人員在對(duì)被測(cè)對(duì)象進(jìn)行觀測(cè)時(shí)有良好的專業(yè)素養(yǎng)，還要求計(jì)量檢定人員在梳理統(tǒng)計(jì)數(shù)據(jù)時(shí)具備靈活的處理能力。

例如，某計(jì)量工作人員在重復(fù)測(cè)量某電阻器共10 次，將測(cè)量結(jié)果從小到大依次排序?yàn)椋?0.000 3 Ω，10.000 4 Ω，10.000 4 Ω，10.000 5 Ω，10.000 5 Ω，10.000 5 Ω，10.000 6 Ω，10.000 6 Ω，10.000 7 Ω，10.001 2 Ω。

首先，使用狄克遜準(zhǔn)則判別：

選取選取顯著性水平α= 0.05，測(cè)量次數(shù)n=10，根據(jù)狄克遜準(zhǔn)則有狄克遜檢驗(yàn)臨界值：

可發(fā)現(xiàn)：

γ11＞γ'11且γ'11＞D(0.05,10)

因而在狄克遜檢驗(yàn)條件下，x10為異常值。

采用格拉布斯準(zhǔn)則判別：

該組測(cè)量樣本的算術(shù)平均值

該組測(cè)量樣本的實(shí)驗(yàn)標(biāo)準(zhǔn)偏差

根據(jù)格拉布斯準(zhǔn)則有該組測(cè)量樣本的格拉布斯臨界值

G(α,n) =G(0.05,10) = 2.18，最大殘差絕對(duì)值，

|vi| = |v10| = 0.000 63 Ω

G(α,n)·s=G(0.05,10)×0.000 25 Ω = 0.000 55 Ω|v10| ＞G(α,n)·s

因而在格拉布斯準(zhǔn)則下，x10為異常值。

通過(guò)兩種檢驗(yàn)準(zhǔn)則的判斷能得到相同的結(jié)論，即x10屬于異常值。

3 三種異常值檢驗(yàn)準(zhǔn)則比較

3.1 拉依達(dá)檢驗(yàn)準(zhǔn)則

拉依達(dá)準(zhǔn)則是三種異常值檢驗(yàn)準(zhǔn)則中相對(duì)比較直觀且操作簡(jiǎn)單的一種方法。這種檢驗(yàn)準(zhǔn)則的優(yōu)勢(shì)在于，首先，該準(zhǔn)則適用于測(cè)量樣本中的任意值而非某個(gè)懷疑的特定值，即當(dāng)任意測(cè)量樣本與該組測(cè)量的平均值滿足檢驗(yàn)準(zhǔn)則時(shí)，就可以依據(jù)拉依達(dá)準(zhǔn)則判斷該值為異常值；其次，拉依達(dá)檢驗(yàn)的臨界值是一個(gè)相對(duì)確定的固定值，即當(dāng)已知某組測(cè)量值的全部測(cè)量樣本時(shí)，就可以確定該組測(cè)量值的拉依達(dá)臨界值為三倍的該組測(cè)量值的實(shí)驗(yàn)室標(biāo)準(zhǔn)偏差，這也是拉依達(dá)檢驗(yàn)準(zhǔn)則又被稱為3S準(zhǔn)則的原因。

但是拉依達(dá)檢驗(yàn)準(zhǔn)則在應(yīng)用中也有兩點(diǎn)需要注意的事項(xiàng)，首先，拉依達(dá)檢驗(yàn)準(zhǔn)則對(duì)重復(fù)測(cè)量集合中的樣本容量有較高要求，一般來(lái)說(shuō)當(dāng)樣本容量n＞＞10；其次，部分場(chǎng)合通常不使用拉依達(dá)準(zhǔn)則，例如，在GB/T 4883-2008《數(shù)據(jù)的統(tǒng)計(jì)處理和解釋正態(tài)樣本離群值的判斷和處理》中已不采用這種方法，因此在使用拉依達(dá)檢驗(yàn)準(zhǔn)則時(shí)應(yīng)該持謹(jǐn)慎的態(tài)度。

3.2 格拉布斯與狄克遜驗(yàn)準(zhǔn)則

從統(tǒng)計(jì)學(xué)的上說(shuō)，兩種檢驗(yàn)準(zhǔn)則在本質(zhì)上存在著相通性，他們從兩種角度對(duì)異常值檢驗(yàn)給出了不同的觀點(diǎn)，在實(shí)際運(yùn)用過(guò)程中也存在著一些細(xì)微的差別，當(dāng)樣本數(shù)3＜n＜50，格拉布斯準(zhǔn)則運(yùn)用效果較好，適用于單個(gè)異常值，當(dāng)存在多于一個(gè)的異常值時(shí)狄克遜準(zhǔn)則較好。

在實(shí)際工作中，有較高要求的情況下，可以選用多種準(zhǔn)則同時(shí)進(jìn)行檢驗(yàn)的方法，如果結(jié)論相同，那么檢驗(yàn)可信度較高，如果結(jié)論出現(xiàn)矛盾時(shí)，即某可疑值既可能是異常值也可能非異常值時(shí)，通常情況下以不是異常值處理較為謹(jǐn)慎。

4 異常值檢驗(yàn)應(yīng)用在測(cè)量?jī)x器質(zhì)量控制中的意義

測(cè)量標(biāo)準(zhǔn)技術(shù)狀態(tài)的質(zhì)量控制通常建立在對(duì)測(cè)量標(biāo)準(zhǔn)的測(cè)量重復(fù)性的統(tǒng)計(jì)分析的基礎(chǔ)上，依據(jù)國(guó)家計(jì)量技術(shù)規(guī)范JJF 1033-2016《計(jì)量標(biāo)準(zhǔn)考核技術(shù)規(guī)范》相關(guān)條款的要求，測(cè)量標(biāo)準(zhǔn)的重復(fù)性通常用實(shí)驗(yàn)標(biāo)準(zhǔn)偏差來(lái)表示。測(cè)量標(biāo)準(zhǔn)的重復(fù)性指的是在重復(fù)性測(cè)量條件下(相同的測(cè)量程序、相同的觀測(cè)者、相同的條件下使用相同測(cè)量標(biāo)準(zhǔn))，測(cè)量標(biāo)準(zhǔn)所復(fù)現(xiàn)的量值的一致性程度。

一般情況下，普遍持這種觀點(diǎn)，即測(cè)量標(biāo)準(zhǔn)的重復(fù)性是測(cè)量標(biāo)準(zhǔn)不確定的一個(gè)重要分量，它是獲得測(cè)量結(jié)果時(shí)，各種隨機(jī)影響因素耦合疊加的綜合反映，它包括了測(cè)量標(biāo)準(zhǔn)、配套儀器、環(huán)境條件、技術(shù)人員等因素隨機(jī)影響。由于測(cè)量標(biāo)準(zhǔn)所復(fù)現(xiàn)的標(biāo)準(zhǔn)值也在合理區(qū)間內(nèi)存在著分散性。所以理論上來(lái)講當(dāng)一段重復(fù)性測(cè)量周期內(nèi)，測(cè)量標(biāo)準(zhǔn)所復(fù)現(xiàn)的量值分布在一個(gè)合理的區(qū)間內(nèi)時(shí)，認(rèn)為該測(cè)量標(biāo)準(zhǔn)技術(shù)狀態(tài)穩(wěn)定，反之則認(rèn)對(duì)該測(cè)量標(biāo)準(zhǔn)技術(shù)狀態(tài)存在疑問(wèn)。

本文中所采納的異常值檢驗(yàn)就是基于對(duì)測(cè)量標(biāo)準(zhǔn)的測(cè)量重復(fù)性的數(shù)據(jù)統(tǒng)計(jì)分析進(jìn)而實(shí)現(xiàn)對(duì)測(cè)量標(biāo)準(zhǔn)的技術(shù)狀態(tài)質(zhì)量控制的一種方法。以每一個(gè)重復(fù)測(cè)量周期的重復(fù)測(cè)量樣本集合為基礎(chǔ)，當(dāng)由于新引入的測(cè)量樣本引起了整個(gè)重復(fù)測(cè)量樣本集合的實(shí)驗(yàn)室測(cè)量重復(fù)性發(fā)生可疑變化時(shí)，就可以通過(guò)異常值檢驗(yàn)的方法來(lái)分析判斷所獲取的測(cè)量樣本是否存在異常值。在對(duì)測(cè)量標(biāo)準(zhǔn)進(jìn)行重復(fù)性測(cè)量時(shí)，當(dāng)排除了測(cè)量人員和環(huán)境條件等導(dǎo)致異常值出現(xiàn)的原因時(shí)，那么就可以通過(guò)異常值的檢驗(yàn)和處理來(lái)實(shí)現(xiàn)對(duì)測(cè)量標(biāo)準(zhǔn)技術(shù)狀態(tài)的質(zhì)量控制。