饒?jiān)品澹籽啵?

一種基于一階差分的野值類型判別及處理方法1

饒?jiān)品?，2，白燕1，2，3

（1.中國科學(xué)院 國家授時(shí)中心，西安 710600；2.中國科學(xué)院大學(xué)，北京 100049；3.中國科學(xué)院 精密導(dǎo)航定位與定時(shí)技術(shù)重點(diǎn)實(shí)驗(yàn)室，西安 710600）

為了剔除違反規(guī)律的異常測(cè)量值，采用一種基于一階差分的野值類型判別及處理方法。仿真結(jié)果表明，該算法能準(zhǔn)確地判別野值類型及其位置，尤其是對(duì)于斑點(diǎn)型野值具有較好的效果，同時(shí)可以提高數(shù)據(jù)處理精度，縮短數(shù)據(jù)處理時(shí)間。

斑點(diǎn)型野值；散點(diǎn)型野值；一階差分；判別和修正

0　引言

測(cè)量設(shè)備記錄的測(cè)量數(shù)據(jù)往往包含較大的隨機(jī)誤差，個(gè)別值可能與其他值截然不同，違反了數(shù)據(jù)的整體變化規(guī)律，這些異常測(cè)量值就是野值[1]。工程測(cè)量中不可避免地存在野值，其對(duì)測(cè)量精度和數(shù)據(jù)處理的結(jié)果都會(huì)帶來嚴(yán)重的影響[2]，在數(shù)據(jù)處理過程中必須對(duì)這這些違反測(cè)量規(guī)律的野值進(jìn)行修正和剔除。野值的表現(xiàn)形式主要有以下2種[3]：

①散點(diǎn)型野值：野值以孤立點(diǎn)的形式出現(xiàn)。具體表現(xiàn)是：i時(shí)刻的觀測(cè)數(shù)據(jù)為野值，而在包含i時(shí)刻的某一時(shí)段內(nèi)其他觀測(cè)數(shù)據(jù)是正常的。

②斑點(diǎn)型野值：因相關(guān)性影響，野值成片出現(xiàn)，若i時(shí)刻的觀測(cè)數(shù)據(jù)為野值，其后一段時(shí)間內(nèi)的值或絕大部分值也是異常的。

野值點(diǎn)的成因、野值類型、野值模型等可參見文獻(xiàn)[1]～[3]。野值類型不同，剔除方法也不同。很多野值識(shí)別或剔除方法實(shí)現(xiàn)起來較復(fù)雜，如文獻(xiàn)[1]～[6]中提到的方法；有些方法只對(duì)散點(diǎn)型野值有很好的處理結(jié)果，而對(duì)斑點(diǎn)型野值的處理結(jié)果卻并不是很理想，如文獻(xiàn)[7]中提到的統(tǒng)計(jì)學(xué)方法和一些非統(tǒng)計(jì)學(xué)方法（Tukey53H法和灰自助法）、文獻(xiàn)[8]中提到的相位空間法。文獻(xiàn)[7]～[8]中提到的方法能很好地剔除散點(diǎn)型野值，而對(duì)于斑點(diǎn)型野值就很難剔除，尤其是文獻(xiàn)[8]中提到的相位空間法，它能很好地剔除散點(diǎn)型野值，且相比于其他野值剔除算法其最大優(yōu)勢(shì)是不需要設(shè)定門限值[7-8]，但當(dāng)工程實(shí)踐中的測(cè)量數(shù)據(jù)出現(xiàn)大量斑點(diǎn)型野值時(shí)，即使多次利用相位空間法也無法剔除斑點(diǎn)型野值。為了解決此問題，本文提出一種基于一階差分的野值類型判別及處理方法。該方法可以判別數(shù)據(jù)中是否存在斑點(diǎn)型野值，精確找出斑點(diǎn)型野值在原始數(shù)據(jù)中的位置并加以剔除。

1　野值類型判別及處理算法

1.1野值類型判別算法

當(dāng)測(cè)量數(shù)據(jù)中存在野值，則該數(shù)據(jù)序列的一階差分序列會(huì)出現(xiàn)明顯的函數(shù)跳躍點(diǎn)（通過與經(jīng)驗(yàn)閾值比較后確定是否為跳躍點(diǎn)）。若出現(xiàn)單點(diǎn)跳躍點(diǎn)，表明此點(diǎn)前后數(shù)據(jù)中至少有一段數(shù)據(jù)是斑點(diǎn)型野值；若出現(xiàn)連續(xù)2個(gè)以上的跳躍點(diǎn)，表明這段連續(xù)跳躍點(diǎn)的第一個(gè)和最后一個(gè)跳躍點(diǎn)的前后數(shù)據(jù)中至少有一段數(shù)據(jù)是斑點(diǎn)型野值；若僅出現(xiàn)2個(gè)連續(xù)的跳躍點(diǎn)，表明原始數(shù)據(jù)中對(duì)應(yīng)2跳躍點(diǎn)后者的點(diǎn)為散點(diǎn)。這些跳躍點(diǎn)把原始數(shù)據(jù)分成若干數(shù)據(jù)段和散點(diǎn)型野值點(diǎn)，求每段數(shù)據(jù)的均值，并將得到的均值與對(duì)應(yīng)擬合數(shù)據(jù)段的均值進(jìn)行比較，兩者之差超過經(jīng)驗(yàn)閾值的這段數(shù)據(jù)即為斑點(diǎn)型野值。這樣就確定了野值類型及野值在原始數(shù)據(jù)中的位置。設(shè)原始數(shù)據(jù)序列為 u（i），1≤i≤n，n為原始測(cè)量數(shù)據(jù)的總長度。判斷原始數(shù)據(jù)中野值類型及位置的具體步驟如下：

①求 u（i）的一階差分：Δu（i）=u（i+1）-u（i），1≤i≤n；

③散點(diǎn)型野值類型判斷：若Mark中的某段相鄰元素有且只有2個(gè)元素值是連續(xù)的，則后一個(gè)元素對(duì)應(yīng)的原始數(shù)據(jù)為散點(diǎn)型野值；

④數(shù)據(jù)分段：根據(jù)Mark中相鄰元素值是否連續(xù)，可將原始數(shù)據(jù)分段。具體分段方法為：當(dāng)Mark中某個(gè)元素的值與其后一個(gè)元素的值不連續(xù)時(shí)，取該元素加入數(shù)列End；當(dāng)Mark中某段元素僅有2個(gè)值連續(xù)時(shí)，取前一個(gè)元素加入End，后一個(gè)元素作為散點(diǎn)型野值點(diǎn)；當(dāng)Mark中某段元素有2個(gè)以上的值連續(xù)時(shí)，取該段連續(xù)值的第一個(gè)元素和最后一個(gè)元素加入End；另外將原始數(shù)據(jù)的最后一個(gè)數(shù)據(jù)點(diǎn)的序數(shù)也作為最后一個(gè)元素加入End；所構(gòu)成的數(shù)列End的長度為m，此時(shí)就將原始數(shù)據(jù)分為了m段。對(duì)于Mark中僅有2個(gè)值連續(xù)的情況，若放入End的元素對(duì)應(yīng)為End（j），則其對(duì)應(yīng)的第j+1段數(shù)據(jù)的起點(diǎn)為End（j）+2，終點(diǎn)為End（j+1）；其余情況時(shí)，若第j個(gè)數(shù)據(jù)段的終止點(diǎn)為End（j），起始點(diǎn)為End（j -1）+1；另外對(duì)于第一個(gè)數(shù)據(jù)段，其終止點(diǎn)為End中的第一個(gè)元素，起始點(diǎn)為原始數(shù)據(jù)的第一個(gè)數(shù)據(jù)；

⑥對(duì)判斷出的野值進(jìn)行修正。

通過上述步驟①～⑤就可識(shí)別出原始數(shù)據(jù)中的斑點(diǎn)型野值和散點(diǎn)型野值，并精確定位其在原始數(shù)據(jù)中的位置。

1.2野值修正

在進(jìn)行野值修正時(shí)，若原始數(shù)據(jù)量大，則可直接剔除野值點(diǎn)，但這樣會(huì)導(dǎo)致數(shù)據(jù)的不連續(xù)；也可將野值用一定值替代，其他正常值保持不變。一般有以下幾種替代方法[8]：

④擬合值；

⑤根據(jù)野值兩端的數(shù)值做插值。

對(duì)于靜態(tài)數(shù)據(jù)（無運(yùn)動(dòng)趨勢(shì)的測(cè)量數(shù)據(jù)），上述5種野值替代的方法都可使用，但對(duì)于動(dòng)態(tài)數(shù)據(jù)（數(shù)據(jù)有明顯的運(yùn)動(dòng)趨勢(shì)），方法①～③反而會(huì)使數(shù)據(jù)處理精度變得更差，所以對(duì)于動(dòng)態(tài)數(shù)據(jù)可使用方法④～⑤進(jìn)行野值修正，也可以把動(dòng)態(tài)數(shù)據(jù)的運(yùn)動(dòng)趨勢(shì)去除[9]后，再用上述5種方法中的任意一種替代野值，野值剔除后再把該運(yùn)動(dòng)趨勢(shì)加回至剔除野值后的數(shù)據(jù)中。當(dāng)野值對(duì)整體數(shù)據(jù)影響比較大時(shí)，可多次使用本文提出的野值判別及修正方法，直至數(shù)據(jù)中無明顯的粗大值。

2　數(shù)據(jù)處理及結(jié)果分析

2.1仿真數(shù)據(jù)處理

為了進(jìn)一步說明不同類型的野值判別方法，模擬仿真了一組帶有白噪聲的數(shù)據(jù)，其長度n=1000，均值為500，在此基礎(chǔ)上將點(diǎn)80，150，500，760改為散點(diǎn)型野值，點(diǎn)[20，35]，[255，285]改為斑點(diǎn)型野值，野值總數(shù)為51，占總數(shù)據(jù)的5.1%，記該組仿真數(shù)據(jù)為data。仿真數(shù)據(jù)data如圖1所示。

圖1原始數(shù)據(jù)

對(duì)原始數(shù)據(jù)data求一階差分，一階差分的絕對(duì)值與閾值1R比較，得到一階差分函數(shù)中的跳躍點(diǎn)。本文設(shè)跳躍點(diǎn)的判決閾值113Rσ=，1σ為一階差分的標(biāo)準(zhǔn)方差。原始數(shù)據(jù)的一階差分如圖2所示。圖2中，實(shí)線代表原始數(shù)據(jù)的一階差分，虛線代表跳躍點(diǎn)的判決閾值。

圖2　原始數(shù)據(jù)的一階差分及其閾值

圖3為2種類型野值的一階差分局部放大圖，由于篇幅限制，此處只給出其中2段存在野值的數(shù)據(jù)（19，35），（499，500）的情況。一階差分與閾值1R比較，跳躍點(diǎn)的位置為Mark={19，35，79，80，149，150，254，285，499，500，759，760}，其中[79，80]，[149，150]，[499，500]，[759，760]是2個(gè)連續(xù)跳躍的點(diǎn)（圖3（b）所示），根據(jù)2.1節(jié)中的步驟③可知，原始數(shù)據(jù)data中的點(diǎn)80，150，500，760為散點(diǎn)型野值。一階差分在點(diǎn)19，35，254，285處為單個(gè)的跳躍點(diǎn)（圖3（a）所示），由步驟④可得，原始數(shù)據(jù)被分為[1，19]，[20，35]，[36，79]，[81，149]，[151，254]，[255，285]，[286，499]，[501，759]，[761，1000]9段數(shù)據(jù)和散點(diǎn)80，150，500，760，需進(jìn)一步對(duì)數(shù)據(jù)組判斷，判斷其是否為斑點(diǎn)型的野值。

圖3　一階差分對(duì)應(yīng)野值的局部放大圖

根據(jù)步驟⑤判斷上述9段數(shù)據(jù)是否為斑點(diǎn)型野值，設(shè)斑點(diǎn)型野值判決閾值為各數(shù)據(jù)段的均值減去對(duì)應(yīng)擬合數(shù)據(jù)段的均值的標(biāo)準(zhǔn)方差，即為求標(biāo)準(zhǔn)方差函數(shù)。經(jīng)過比較，只有數(shù)據(jù)組[20，35]，[255，285]滿足條件，所以數(shù)據(jù)組[20，35]，[255，285]為斑點(diǎn)型野值。

綜上可得，點(diǎn)80，150，500，760被識(shí)別為散點(diǎn)型野值，數(shù)據(jù)組[20，35]，[255，285]被識(shí)別為斑點(diǎn)型野值，該判別結(jié)果與仿真數(shù)據(jù)中的野值類型及位置一致。

由于該組仿真數(shù)據(jù)為靜態(tài)數(shù)據(jù)，所以這里用原始數(shù)據(jù)的均值代替野值，其他數(shù)據(jù)保持不變。野值修正結(jié)果如圖4所示。

圖4　原始數(shù)據(jù)與野值剔除結(jié)果比較圖

圖4中，實(shí)線代表原始數(shù)據(jù)，帶“*”的曲線為使用一次本文提出算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，[20，35]，[255，285]中的斑點(diǎn)型野值被完全修正，點(diǎn)80，150，500，760處的散點(diǎn)型野值也被完全修正。所以本文提出的算法能準(zhǔn)確判別野值類型，并精確定位野值在原始數(shù)據(jù)中的位置。

2.2實(shí)測(cè)數(shù)據(jù)處理結(jié)果

為了驗(yàn)證本文提出的算法的可行性和有效性，將本文提出的算法應(yīng)用于處理一組實(shí)際無線環(huán)境中的測(cè)距數(shù)據(jù)，并將經(jīng)過該算法處理后的數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行比較。同時(shí)利用本文提出的算法與相位空間法分別對(duì)該組實(shí)測(cè)數(shù)據(jù)進(jìn)行處理，并比較2種算法對(duì)于測(cè)距精度的影響。

1）基于一階差分的野值類型判別及處理結(jié)果

圖5為中國科學(xué)院國家授時(shí)中心2015年1月的某次無線綜合試驗(yàn)中一組偽距測(cè)量原始數(shù)據(jù)。從圖5可知，該段測(cè)量數(shù)據(jù)在點(diǎn)（250，410）之間明顯包含數(shù)段斑點(diǎn)型野值，整段數(shù)據(jù)中也包含一些散點(diǎn)型野值。根據(jù)2.1節(jié)所述步驟對(duì)該組數(shù)據(jù)進(jìn)行處理，取為一階差分的標(biāo)準(zhǔn)方差；σ2為所分?jǐn)?shù)據(jù)段的均值減去對(duì)應(yīng)段擬合數(shù)據(jù)的均值的標(biāo)準(zhǔn)方差，即，野值用6階最小二乘擬合值代替。

圖6給出利用本文提出的算法對(duì)野值進(jìn)行修正后的結(jié)果，實(shí)線代表原始數(shù)據(jù)，帶“*”的曲線表示本文提出的算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，原始數(shù)據(jù)中的點(diǎn)（250，410）內(nèi)的野值被完全修正，處理結(jié)果達(dá)到了預(yù)期的目的。

圖5　實(shí)測(cè)原始數(shù)據(jù)

圖6　基于一階差分的野值類型判別及處理方法

2）相位空間法野值修正結(jié)果

相位空間法[8]：以原始數(shù)據(jù) u（i）的殘差及原始數(shù)據(jù)的二階導(dǎo)為軸畫一個(gè)橢圓，其中，的一階導(dǎo)。若數(shù)據(jù)點(diǎn)在橢圓外，則判為野值，用修正值代替；若數(shù)據(jù)點(diǎn)在橢圓內(nèi)，則判為正常的測(cè)量數(shù)據(jù)，不處理。

為了與基于一階差分的野值類型判別及處理方法比較，此方法中的野值也用6階最小二乘擬合值代替。

圖7為循環(huán)使用相位空間法4次修正后的數(shù)據(jù)，實(shí)線代表原始數(shù)據(jù)，帶“o”的曲線代表循環(huán)使用相位空間法4次的野值剔除結(jié)果。對(duì)該組數(shù)據(jù)，循環(huán)使用相位空間法4次后，所有的數(shù)據(jù)都滿足在橢圓內(nèi)的條件，即該組數(shù)據(jù)最多只能循環(huán)使用相位空間法4次。從圖中可以看出，原始數(shù)據(jù)中的點(diǎn)（250，410）內(nèi)的斑點(diǎn)型野值只有部分被修正，處理結(jié)果并不是很理想，但數(shù)據(jù)中的部分散點(diǎn)型野值得到相應(yīng)的修正。

圖7　循環(huán)使用相位空間法4次修正后的數(shù)據(jù)

3）2種方法的比較

圖8給出了采用2種方法處理后的數(shù)據(jù)與原始數(shù)據(jù)的比對(duì)結(jié)果，實(shí)線代表原始數(shù)據(jù)，帶“o”的曲線代表循環(huán)使用相位空間法4次的野值剔除結(jié)果，帶“*”的曲線代表本文提出的算法的數(shù)據(jù)處理結(jié)果。從圖中可以看出，2種方法都能修正數(shù)據(jù)中的散點(diǎn)型野值，但是對(duì)（250，410）區(qū)間內(nèi)的斑點(diǎn)型野值，相位空間法處理結(jié)果并不是很好，而采用本文提出的方法能判斷出該部分的斑點(diǎn)型野值并能很好地修正該部分斑點(diǎn)型野值。

圖8　2種方法處理結(jié)果與原始數(shù)據(jù)的比較

另外，不同的數(shù)據(jù)處理方法對(duì)測(cè)量數(shù)據(jù)的精度會(huì)產(chǎn)生不同的影響。對(duì)采用上述2種算法進(jìn)行處理后的數(shù)據(jù)分別求取其均值和標(biāo)準(zhǔn)方差，結(jié)果如表1所示。從表中可看出，采用2種算法分別對(duì)該組數(shù)據(jù)進(jìn)行預(yù)處理后再求其測(cè)距精度，相比對(duì)沒有經(jīng)過處理的原始數(shù)據(jù)直接求得的測(cè)距精度，均有明顯提高；另外，當(dāng)處理次數(shù)相同（1次）的情況下，經(jīng)過本文提出的算法處理后求得的測(cè)距精度要比經(jīng)過相位空間法處理后的測(cè)距精度高出0.0115；即使循環(huán)使用4次相位空間法，其野值修正后的測(cè)距精度也沒有使用本文算法（1次）后得到的測(cè)距精度高。因此，本文提出的算法在處理速度上要快于相位空間法，且數(shù)據(jù)處理后的精度也明顯優(yōu)于相位空間法。

表 1　實(shí)測(cè)數(shù)據(jù)的處理結(jié)果

3　結(jié)論

野值的判別及剔除是測(cè)量數(shù)據(jù)處理過程中非常重要的一個(gè)環(huán)節(jié)，本文提出了一種基于一階差分的野值類型判別及處理方法，該方法能準(zhǔn)確判別數(shù)據(jù)中的野值類型及其在原數(shù)據(jù)中的位置，相比相位空間法，該算法具有更高的數(shù)據(jù)處理精度和數(shù)據(jù)處理速度，可為有關(guān)工程實(shí)踐中的數(shù)據(jù)處理提供一定的參考。

[1]黃家貴,呂紅寧,王安麗.斑點(diǎn)型野值的進(jìn)一步識(shí)別與處理[J].裝備指揮技術(shù)學(xué)院學(xué)報(bào),2002,13(6):56-59.

[2]胡紹林,孫國基.靶場(chǎng)外測(cè)數(shù)據(jù)野值點(diǎn)的統(tǒng)計(jì)診斷技術(shù)[J].宇航學(xué)報(bào),1999,20(2):68-73.

[3]祝轉(zhuǎn)明,秋宏興,李濟(jì)生,等.動(dòng)態(tài)測(cè)量數(shù)據(jù)野值的辨識(shí)與剔除[J].系統(tǒng)工程與電子技術(shù),2004,26(2):147-149,190.

[4]胡峰,孫國基.Kalman濾波的抗野值修正[J].自動(dòng)化學(xué)報(bào),1999,25(5):694-695.

[5]王佳,王敏,徐曉輝.一種干涉儀數(shù)據(jù)斑點(diǎn)型野值修正方法[J].彈箭與制導(dǎo)學(xué)報(bào),2013,33(2):106-108.

[6]卓寧.靶場(chǎng)外彈道數(shù)據(jù)處理中野值點(diǎn)剔除方法[J].測(cè)試技術(shù)學(xué)報(bào),2008,22(4):313-317.

[7]楊筱.衛(wèi)星導(dǎo)航系統(tǒng)數(shù)據(jù)與信號(hào)質(zhì)量評(píng)估技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué),2009.

[8]GORING D G.NIKORA V I.Despiking acoustic doppler velocimeter data[J].Journal of Hydraulic Engineering,2002,128(1): 117-126.

[9]BAHAER.趨勢(shì)項(xiàng)提取+萊特準(zhǔn)則的野值剔除方法[EB/OL].(2010-10-10)[2015-01-13].http://blog.sina.com.cn/s/blog_5de f5a660100m3mr.html.

Amethod based on first-order difference for type-judging and processing of outliers

RAO Yun-feng1，2，BAI Yan1，2，3
（1.National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；2.University of ChineseAcademy of Sciences，Beijing 100049，China；3.Key Laboratory of Precision Navigation and Timing Technology，National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China）

For eliminating the abnormal measured values，a method based on the first-order difference is adopted for judging the types of the outliers and processing them.The simulation results show that the type of outliers can be accurately differentiated and the location of outliers in the original data can be precisely pinpointed by using this algorithm，especially for the spotted outliers the processing result is rather good.At the same time，processing precision can be improved and the processing time can be reduced.

spotted outliers；isolated outliers；first-order difference；differentiation and correction

TP274

A

1674-0637（2015）04-0227-08

10.13875/j.issn.1674-0637.2015-04-0227-08

2015-06-25

國家自然科學(xué)基金資助項(xiàng)目（11203027）

饒?jiān)品?，女，碩士研究生，主要從事Ka頻段星間鏈路信號(hào)質(zhì)量性能評(píng)估方法的研究。