王勇　董欣悅　劉先林　劉定祥

摘要：文章以滑坡變形監(jiān)測(cè)中最常見的位移實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)為例，采用卡爾曼濾波、拉依達(dá)準(zhǔn)則、最小二乘法等方式對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)現(xiàn)異常值的識(shí)別與數(shù)據(jù)的波動(dòng)平滑，以減少數(shù)據(jù)的異常波動(dòng)干擾，更準(zhǔn)確反映滑坡變形過程，為預(yù)警系統(tǒng)提供更科學(xué)有效的數(shù)據(jù)。

關(guān)鍵詞：滑坡;拉依達(dá)準(zhǔn)則;卡爾曼濾波;數(shù)據(jù)預(yù)處理

中圖分類號(hào)：U416.1+63

0 引言

滑坡是常見的地質(zhì)災(zāi)害，在我國(guó)山區(qū)，每年都有滑坡災(zāi)害發(fā)生，造成巨大的生命財(cái)產(chǎn)損失。為減少滑坡災(zāi)害影響，實(shí)現(xiàn)提前感知與防范，可對(duì)滑坡進(jìn)行實(shí)時(shí)自動(dòng)化變形監(jiān)測(cè)。但在實(shí)際監(jiān)測(cè)過程中，有許多客觀環(huán)境和人為因素導(dǎo)致測(cè)量數(shù)據(jù)有各類誤差因而使得預(yù)測(cè)結(jié)果出現(xiàn)偏差。因此，為了保證滑坡災(zāi)害預(yù)測(cè)的準(zhǔn)確性，應(yīng)該先對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理，從而達(dá)到更為理想的數(shù)據(jù)曲線，提高預(yù)警的準(zhǔn)確率。本文針對(duì)滑坡自動(dòng)化監(jiān)測(cè)中的位移數(shù)據(jù)，采用拉依達(dá)準(zhǔn)則來判斷數(shù)據(jù)采集過程中所出現(xiàn)的粗大誤差，進(jìn)行異常數(shù)據(jù)剔除，再利用卡爾曼濾波對(duì)數(shù)據(jù)進(jìn)行去噪，使得數(shù)據(jù)的噪聲減小，從而降低擬合時(shí)的誤差，最終將數(shù)據(jù)用最小二乘法進(jìn)行擬合，得到更為準(zhǔn)確、平滑的數(shù)據(jù)曲線，能夠直觀地為預(yù)警系統(tǒng)提供更科學(xué)的數(shù)據(jù)，提高預(yù)警的準(zhǔn)確率。

1 異常數(shù)據(jù)識(shí)別

1.1 基于拉依達(dá)準(zhǔn)則的識(shí)別方法

在對(duì)滑坡進(jìn)行實(shí)時(shí)監(jiān)測(cè)時(shí)獲取的數(shù)據(jù)往往會(huì)因?yàn)楦鞣N客觀和人為因素導(dǎo)致異常值，例如設(shè)備本身會(huì)產(chǎn)生一定的誤差，也可能因環(huán)境、氣溫的變化產(chǎn)生誤差。而在數(shù)據(jù)采集時(shí)，若監(jiān)測(cè)體系被破壞、人為操作誤差或者碰動(dòng)儀器也會(huì)引起監(jiān)測(cè)序列中產(chǎn)生較大異常值。對(duì)于數(shù)據(jù)樣本中的異常偏離點(diǎn)，在預(yù)處理中往往會(huì)采取剔除處理。常用的異常數(shù)據(jù)判別法則有拉依達(dá)準(zhǔn)則、肖維勒準(zhǔn)則、格拉布斯準(zhǔn)則、狄克遜準(zhǔn)則、t檢驗(yàn)和極差法等。拉伊達(dá)準(zhǔn)則，又稱3σ準(zhǔn)則，其適用于樣本數(shù)量n≥10并且可以計(jì)算樣本數(shù)據(jù){X}（i=1，2，…，n）的算術(shù)平均值X—和標(biāo)準(zhǔn)差的情況。針對(duì)服從正態(tài)分布的測(cè)量時(shí)間序列，對(duì){X}以30為控制限構(gòu)建控制限區(qū)間 （μ-3σ ，μ+3σ）進(jìn)行異常值識(shí)別。本次試驗(yàn)所采用的數(shù)據(jù)體量足夠大且數(shù)據(jù)總體服從正態(tài)分布，故采用無須查表的簡(jiǎn)便的拉依達(dá)準(zhǔn)則。拉依達(dá)準(zhǔn)則將在區(qū)間內(nèi)的數(shù)據(jù)定義為正常數(shù)據(jù)，將不屬于區(qū)間內(nèi)的數(shù)據(jù)定義為變形數(shù)據(jù)。

由于此時(shí)的置信概率為99.73%，基本滿足統(tǒng)計(jì)特性，因此可以有效地判別大偏移數(shù)據(jù)在監(jiān)測(cè)序列中的異常值存在情況。

對(duì)于裂縫計(jì)所給定的測(cè)量次數(shù)充分大的樣本數(shù)據(jù)，可以采取拉依達(dá)準(zhǔn)則來判斷殘余誤差，從而進(jìn)行異常值剔除。

通過計(jì)算出樣本標(biāo)準(zhǔn)差σ后，根據(jù)拉伊達(dá)準(zhǔn)則確定一個(gè)控制限區(qū)間（μ-3σ，μ+3σ），對(duì)超出該區(qū)間的數(shù)據(jù)認(rèn)為是粗大誤差予以剔除。

1.2 異常位移數(shù)據(jù)識(shí)別

以滑坡監(jiān)測(cè)中常見的裂縫計(jì)實(shí)時(shí)數(shù)據(jù)為例。該原始數(shù)據(jù)中存在某些數(shù)據(jù)因客觀環(huán)境、人為因素等原因所造成的裂縫計(jì)位移，從而導(dǎo)致某些采集值異常偏大。這種在觀測(cè)過程中所產(chǎn)生的不符合正態(tài)分布的粗大誤差，會(huì)導(dǎo)致在對(duì)數(shù)據(jù)進(jìn)行擬合時(shí)的均值產(chǎn)生整體偏移。而使用拉依達(dá)準(zhǔn)則進(jìn)行判別，可對(duì)數(shù)據(jù)中的異常值進(jìn)行剔除。某滑坡隱患點(diǎn)的裂縫原始監(jiān)測(cè)數(shù)據(jù)如圖1所示。

如圖2所示，為經(jīng)過拉依達(dá)算法剔除異常數(shù)據(jù)后的效果圖，可以看到在82 500次、87 500次、92 500次和97 500次附近的特小和特大異常數(shù)據(jù)均被識(shí)別且剔除，并保持了正常數(shù)據(jù)的完整性。

2 數(shù)據(jù)平滑與擬合

2.1 卡爾曼濾波去噪方法

卡爾曼濾波是一種軟件濾波方法，其基本思想是以信號(hào)和噪聲狀態(tài)空間模型作為最佳估計(jì)標(biāo)準(zhǔn)，利用前一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測(cè)值來更新狀態(tài)向量的估計(jì)值，找出當(dāng)前時(shí)刻的估計(jì)值，并根據(jù)既定的系統(tǒng)方程和觀測(cè)方程對(duì)最小平均方差進(jìn)行估計(jì)。

傳統(tǒng)濾波算法有中位值濾波、算數(shù)平均濾波等。本次采用卡爾曼濾波是由于滑坡位移數(shù)據(jù)的實(shí)時(shí)變化性，卡爾曼濾波的核心是預(yù)測(cè)和更新，與傳統(tǒng)的頻域?yàn)V波不同，其為一種狀態(tài)預(yù)測(cè)的時(shí)域?yàn)V波，對(duì)于滑坡的監(jiān)測(cè)有一定的時(shí)效性，監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)出一種動(dòng)態(tài)的過程。采用卡爾曼濾波去噪可以使數(shù)據(jù)更加精準(zhǔn)，從而更客觀地反映滑坡變形過程，為預(yù)警系統(tǒng)提供更科學(xué)有效的數(shù)據(jù)。卡爾曼濾波的兩個(gè)基本方程為：

通過計(jì)算k時(shí)刻噪聲協(xié)方差矩陣Qk，觀測(cè)矩陣Hk及觀測(cè)噪聲協(xié)方差矩陣Rk來達(dá)到預(yù)測(cè)k時(shí)刻狀態(tài)向量估計(jì)值及其協(xié)方差矩陣、更新k時(shí)刻濾波增益矩陣Kk+，從而以“預(yù)測(cè)-更新”的周期來實(shí)現(xiàn)。接著構(gòu)建出觀測(cè)向量yk，可以達(dá)到更新k時(shí)刻狀態(tài)向量估計(jì)值及其協(xié)方差矩陣的目的。

式中：Rk[DW]——第k時(shí)刻觀測(cè)噪聲協(xié)方差矩陣。

卡爾曼濾波的估計(jì)值要通過反向?yàn)V波進(jìn)行最優(yōu)的固定區(qū)間平滑處理，需要計(jì)算出k時(shí)刻反向?yàn)V波增益矩陣Kk-和反向?yàn)V波狀態(tài)向量估計(jì)值及其協(xié)方差矩陣。

式中：

K——用于加權(quán)平均的平滑增益矩陣;

x+和P+——正向?yàn)V波估計(jì)中的xk和Pk;

x-和P-——反向?yàn)V波估計(jì)中的xk+1和Pk+1;

xs和Ps——平滑后的待估參數(shù)估計(jì)值及其協(xié)方差矩陣。

2.2 去噪方法應(yīng)用

算法中通過在實(shí)例變量中存儲(chǔ)各種矩陣來實(shí)現(xiàn)過濾器，所有卡爾曼濾波器都以“預(yù)測(cè)-更新”周期運(yùn)行。使用方法或函數(shù) “predict（）” 實(shí)現(xiàn)的 predict 步驟使用狀態(tài)轉(zhuǎn)換矩陣F來預(yù)測(cè)下一個(gè)時(shí)間段（epoch）的狀態(tài)。狀態(tài)存儲(chǔ)為高斯 （x，P），其中x是狀態(tài)（列）向量，P是其協(xié)方差。協(xié)方差矩陣Q指定過程協(xié)方差。使用方法或函數(shù)“update（）”實(shí)現(xiàn)的更新步驟將具有協(xié)方差的測(cè)量值z(mì)合并到狀態(tài)估計(jì)值（x，P） 中。

圖3所示為裂縫數(shù)據(jù)通過卡爾曼濾波去噪算法后的效果，能明顯看出數(shù)據(jù)噪聲減小，濾波后曲線更加平滑。

2.3 最小二乘擬合方法

最小二乘法通過最小化真實(shí)值和預(yù)測(cè)值的誤差（殘差）的平方和來尋找數(shù)據(jù)的最佳函數(shù)匹配，利用最小二乘法可以較好地進(jìn)行數(shù)據(jù)擬合。

對(duì)于在時(shí)間x得到的觀測(cè)值y，假設(shè)存在以下的函數(shù)關(guān)系：

式中：c1，c2，…，cm——m個(gè)需要通過實(shí)驗(yàn)來確定的參數(shù)。

對(duì)于n>m，設(shè)測(cè)量過程中的系統(tǒng)誤差可忽略或已修正，則在xi時(shí)的觀測(cè)值yi圍繞著期望值f（xi;c1，c2，…，cm） 波動(dòng)，其分布可認(rèn)為符合正態(tài)分布，則yi的概率密度為：

式中：σ——正態(tài)分布標(biāo)準(zhǔn)誤差。

對(duì)于n組觀測(cè)數(shù)據(jù)（xi，yi），i=1，2，3，…，n，若n≤m，則將數(shù)據(jù)代入式（14），無法確定所有參數(shù)。

考慮到各次測(cè)量相互獨(dú)立，則yi的似然函數(shù)為：

2.4 數(shù)據(jù)擬合實(shí)現(xiàn)

由于在濾波去噪后的數(shù)據(jù)仍然較為跳動(dòng)，故而在卡爾曼濾波去噪的基礎(chǔ)下對(duì)算法進(jìn)行了改進(jìn)，添加了最小二乘法的曲線擬合，選取擬合曲線時(shí)按照偏差平方和最小的原則，并且采用二項(xiàng)式方程為擬合曲線。

圖4所示為使用了最小二乘法擬合后的數(shù)據(jù)曲線圖。由圖4可見擬合后的曲線相比于使用單一卡爾曼濾波去噪后的曲線更加平滑。

3 結(jié)語

為給滑坡預(yù)警系統(tǒng)提供更準(zhǔn)確、平滑的數(shù)據(jù)，本文探究了利用拉依達(dá)準(zhǔn)則剔除異常數(shù)據(jù)、卡爾曼濾波去除數(shù)據(jù)中噪聲與最小二乘法對(duì)數(shù)據(jù)曲線進(jìn)行擬合的數(shù)據(jù)預(yù)處理方法。在實(shí)際監(jiān)測(cè)現(xiàn)場(chǎng)裂縫數(shù)據(jù)上進(jìn)行試驗(yàn)并取得了不錯(cuò)的效果，能夠使數(shù)據(jù)曲線更加平滑，從而達(dá)到提升滑坡預(yù)警模型準(zhǔn)確率的目的。

參考文獻(xiàn)

[1][ZK（#]張振慧，張正江，胡桂廷，等. 基于拉依達(dá)準(zhǔn)則與線性擬合的改進(jìn)型無跡卡爾曼濾波粗大誤差補(bǔ)償算法[J]. 計(jì)算機(jī)測(cè)量與控制，2019，27（11）：153-156，162.

[2]盛敏漢，儲(chǔ)日升，危自根. 四川理縣西山村滑坡微震探測(cè)[C]. 2016中國(guó)地球科學(xué)聯(lián)合學(xué)術(shù)年會(huì)論文集，2016.

[3]王 振，白星振，馬夢(mèng)白，等. 一種基于數(shù)據(jù)預(yù)處理和卡爾曼濾波的溫室監(jiān)測(cè)數(shù)據(jù)融合算法[J]. 傳感技術(shù)學(xué)報(bào)，2017，30（10）：1 525-1 530.

[4]張 敏，袁 輝. 拉依達(dá)（PauTa）準(zhǔn)則與異常值剔除[J]. 鄭州工業(yè)大學(xué)學(xué)報(bào)，1997，18（1）：84-88.

[5]龍 悅，徐光黎，高幼龍，等. 數(shù)據(jù)預(yù)處理在滑坡位移相關(guān)分析中的應(yīng)用[J]. 地質(zhì)科技情報(bào)，2012（2）：125-130.

[6]李華清，張志雄. 地形變測(cè)量誤差分析與處理[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2021（4）：102-103.

作者簡(jiǎn)介：

王 勇（1973—），高級(jí)工程師，主要從事工程項(xiàng)目管理工作;

董欣悅（2000—），主要從事數(shù)字信號(hào)處理相關(guān)工作;

劉先林（1982—），碩士，高級(jí)工程師，主要從事巖土工程勘察設(shè)計(jì)與科研工作;

劉定祥（1999—），主要從事數(shù)值分析與算法類研究工作。