楊 鴿,范振東,傅春江,劉 陽(yáng)
(1.杭州國(guó)家水電站大壩安全和應(yīng)急工程技術(shù)中心有限公司,浙江 杭州 311122;
2.中國(guó)電建華東勘測(cè)設(shè)計(jì)研究院有限公司,浙江 杭州 311122;
3.中國(guó)電力技術(shù)裝備有限公司,北京 100052)
近年來(lái)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的快速發(fā)展使實(shí)現(xiàn)大壩安全實(shí)時(shí)診斷成為可能。目前應(yīng)用較為成功的大壩安全診斷信息系統(tǒng)[1-4]都是對(duì)大壩安全監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析、實(shí)時(shí)識(shí)別異常數(shù)據(jù),據(jù)此識(shí)別大壩異常運(yùn)行狀況。因此,及時(shí)有效地識(shí)別異常監(jiān)測(cè)數(shù)據(jù)是大壩安全實(shí)時(shí)診斷的基礎(chǔ)。
目前,在大壩監(jiān)控領(lǐng)域可見(jiàn)的異常值識(shí)別方法按照其原理可以被分為基于包絡(luò)域的識(shí)別法、基于條件相似性的識(shí)別法以及基于數(shù)學(xué)模型的識(shí)別法3類(lèi)。其中,基于統(tǒng)計(jì)回歸數(shù)學(xué)模型的異常值識(shí)別方法通常能夠達(dá)到較高的敏感度,同時(shí)也不容易將正常值誤判為異常,因此應(yīng)用最為廣泛。但是,回歸模型的建立通常需要有豐富數(shù)據(jù)分析經(jīng)驗(yàn)的人操作完成。當(dāng)對(duì)監(jiān)測(cè)點(diǎn)極多的高壩或群壩進(jìn)行監(jiān)控時(shí),人力成本巨大;同時(shí),不同的操作人員可能出現(xiàn)標(biāo)準(zhǔn)不一致、甚至不準(zhǔn)確的情況。此外,統(tǒng)計(jì)模型中通常還包括水位、溫度等環(huán)境量,而在實(shí)際工程中經(jīng)常出現(xiàn)環(huán)境量與效應(yīng)量不同時(shí)報(bào)送的情況,這時(shí)將無(wú)法采用統(tǒng)計(jì)模型得出效應(yīng)量預(yù)測(cè)值,因而也就無(wú)法判斷實(shí)測(cè)值是否異常。
奇異譜分析(Singular Spectrum Analysis,SSA)是一種融合了傳統(tǒng)時(shí)間序列分析、多元統(tǒng)計(jì)、動(dòng)力系統(tǒng)以及信號(hào)處理等多領(lǐng)域方法的技術(shù)。由于無(wú)需先驗(yàn)信息和正弦波假定,且具有時(shí)間序列趨勢(shì)分析、周期提取、噪聲去除以及預(yù)報(bào)功能,目前已被廣泛應(yīng)用于氣候?qū)W、氣象學(xué)、地球物理以及海洋科學(xué)等學(xué)科,在機(jī)械工程、經(jīng)濟(jì)學(xué)、勘測(cè)等領(lǐng)域也有所應(yīng)用[5-9]?;谄娈愖V分析的預(yù)測(cè)過(guò)程對(duì)人工操作的依賴極低,因而很容易通過(guò)計(jì)算機(jī)語(yǔ)言實(shí)現(xiàn)自動(dòng)化;此外,基于奇異譜分析的預(yù)測(cè)值是對(duì)歷史數(shù)據(jù)序列規(guī)律的反映,并不需要提供環(huán)境量即可得出,因而在環(huán)境量沒(méi)有及時(shí)上報(bào)時(shí)也可進(jìn)行預(yù)測(cè)分析。
為此,本文了構(gòu)建基于奇異譜分析的大壩安全監(jiān)測(cè)異常值識(shí)別方法,對(duì)該方法對(duì)各類(lèi)型大壩安全監(jiān)測(cè)數(shù)據(jù)的分析能力進(jìn)行論證,探討基于奇異譜的異常值識(shí)別技術(shù)在大壩安全診斷領(lǐng)域的適用性。
基于奇異譜分析的異常值識(shí)別的基本流程為:采用奇異譜分析法對(duì)歷史數(shù)據(jù)序列進(jìn)行分析重構(gòu)后得出預(yù)測(cè)值,然后,通過(guò)檢驗(yàn)實(shí)測(cè)值與預(yù)測(cè)值之間的殘差是否在合理范圍內(nèi)來(lái)判斷測(cè)值是否正常。
對(duì)于長(zhǎng)度為n的一維時(shí)間序列f0,f1,f2,k…,fn-1,為了了解隱含的時(shí)間演變結(jié)構(gòu),把該序列在時(shí)間上滯后排列,得到軌跡矩陣X
(1)
式中,l為窗口長(zhǎng)度,且1 然后,對(duì)軌跡矩陣進(jìn)行奇異值分解。令S=XXT,其特征值為λ1,λ2,λ3,…,λl(λ1≥λ2≥λ3,…,λl≥0),對(duì)應(yīng)的標(biāo)準(zhǔn)正交化的特征向量為U1,U2,U3,…,Ul。令 (2) 其中,d為非零特征值總數(shù)。于是,軌跡矩陣的奇異值分解為 X=X1+X2+X3+…+Xd (3) (4) 可以證明V1,V2,V3,…,Vl是矩陣ST=XTX的對(duì)應(yīng)于特征值λ1,λ2,λ3,…,λL的標(biāo)準(zhǔn)正交化特征向量;矩陣Xi的秩為1,稱為基本矩陣,或稱第i個(gè)重構(gòu)成分;稱(λi,Ui,Vi)為第i個(gè)特征組。 可將d個(gè)基本矩陣分為m組,各組分別包括I1,I2,…,Im個(gè)基本矩陣。于是,可將軌跡矩陣可以寫(xiě)作: X=XI1+XI2+…+XIm (5) 分組的規(guī)則與序列分析的具體目的有關(guān),例如,對(duì)序列進(jìn)行去噪處理時(shí)需將特征值較大的基本矩陣分為一組,進(jìn)行周期成分提取時(shí)可將呈現(xiàn)周期特征的基本矩陣分為一組。 最后,對(duì)分解或分組后的矩陣進(jìn)行重構(gòu),得到新的數(shù)據(jù)系列。具體的,對(duì)于L×K的矩陣Y,令其元素為yij,L*=min(L,K),K*=max(L,K),N=L+K-1;若L (6) 式中,gk為Y中元素的對(duì)角平均化,例如,當(dāng)k=1時(shí),g1=(y12+y21)/2??梢钥吹?,如果Y是某個(gè)序列h0,h1,h2,…,hN-1的軌跡矩陣時(shí),得到的序列g(shù)k=hk。 (7) 如果式(7)近似成立,則稱X“近似可分”。 對(duì)于軌跡矩陣X,第k個(gè)重構(gòu)成分的貢獻(xiàn)率CRk為 (8) 表征序列主要特征的成分的貢獻(xiàn)率顯著大于噪聲及粗差的貢獻(xiàn)率。因而,可選用貢獻(xiàn)率顯著較大的主要成分重構(gòu)數(shù)據(jù)序列,然后求出重構(gòu)序列與實(shí)測(cè)值的殘差,再通過(guò)對(duì)殘差的分析即可識(shí)別異常值。一般可選用累積貢獻(xiàn)率約為85%的的前k個(gè)成分重構(gòu)數(shù)據(jù)序列。 殘差的判別方法可采用拉依達(dá)準(zhǔn)則,但為了避免偏離較嚴(yán)重的粗差對(duì)均值和標(biāo)準(zhǔn)差的估計(jì)造成影響,此處建議采用穩(wěn)健估計(jì)粗差探測(cè)的IQR準(zhǔn)則。具體的,將殘差序列按從小到大排列,求出四分位數(shù)Q1,Q2及Q3,對(duì)于每個(gè)殘差Δi,其IQR準(zhǔn)則下的穩(wěn)健比分?jǐn)?shù)統(tǒng)計(jì)量Z為[8-9] (9) 其中,IQR′=0.741 3×(Q3-Q1)。可以認(rèn)為當(dāng)|Z|≥3時(shí)為異常值,對(duì)應(yīng)的置信水平為99%。 奇異譜分析最早是針對(duì)寬平穩(wěn)過(guò)程開(kāi)發(fā)[10-11],而大多數(shù)大壩安全監(jiān)測(cè)數(shù)據(jù)序列都具有較強(qiáng)的趨勢(shì)性或周期性,并非簡(jiǎn)單的平穩(wěn)過(guò)程。因此,對(duì)奇異譜分析在大壩安全監(jiān)測(cè)數(shù)據(jù)分析中的適用性進(jìn)行驗(yàn)證。 具體為分別用指數(shù)函數(shù)和線性函數(shù)與噪聲信號(hào)構(gòu)造數(shù)據(jù)序列,如圖1所示,然后采用奇異譜分析對(duì)其進(jìn)行分析。取序列長(zhǎng)度N=500,時(shí)間窗口L=100。由圖1可知,奇異譜分析能夠?qū)Ψ瞧椒€(wěn)數(shù)據(jù)序列進(jìn)行分解和重構(gòu)。圖2為重構(gòu)成分的貢獻(xiàn)率,由圖2可知,重構(gòu)成分的貢獻(xiàn)率隨階次的增加急劇下降,并未出現(xiàn)“多個(gè)相近的特征值”的情況。前4階重構(gòu)成分及其貢獻(xiàn)率如圖3所示,兩個(gè)時(shí)間序列的第1階重構(gòu)成分的貢獻(xiàn)率就分別達(dá)到了約90%和96%,前4階重構(gòu)成分的累積貢獻(xiàn)率約達(dá)98%和99%;而并未出現(xiàn)需要多個(gè)類(lèi)正弦曲線才能很好重構(gòu)原序列的情況。 圖1 原始及重構(gòu)數(shù)據(jù)序列 圖2 重構(gòu)成分貢獻(xiàn)率 圖3 主要重構(gòu)成分 綜上所述,從實(shí)際案例分析結(jié)果來(lái)看,雖然奇異譜分析最早是針對(duì)寬平穩(wěn)過(guò)程開(kāi)發(fā),但這一方法也將適用于非平穩(wěn)過(guò)程,因而也可以被用于大壩監(jiān)測(cè)數(shù)據(jù)的分析。 圖4中細(xì)線所示為某高拱壩的上下游位移監(jiān)測(cè)成果,采用奇異譜分析對(duì)該數(shù)據(jù)序列進(jìn)行分解重構(gòu)和異常值識(shí)別,以驗(yàn)證基于奇異譜分析的異常值識(shí)別方法對(duì)復(fù)雜數(shù)據(jù)序列的有效。所分析數(shù)據(jù)序列的N=6 800,頻率為1次/d,序列的變化周期約為1 a,因而取時(shí)間滯后窗口L=400。如圖5及圖6所示,前3階重構(gòu)成分的貢獻(xiàn)率顯著大于之后的成分,且累積貢獻(xiàn)率大于90%。于是選擇前3階成分重構(gòu)原數(shù)據(jù)序列,如圖4中粗線所示。實(shí)測(cè)值與重構(gòu)序列的殘差頻率分布圖所示,計(jì)算殘差序列的四分位數(shù)并利用IQR準(zhǔn)則進(jìn)行判別,取|Z|≥3,對(duì)應(yīng)置信度為99%,得到正常測(cè)值的取值范圍如圖7中虛線及圖8中灰色陰影所包圍的區(qū)域,在上述區(qū)域以外的測(cè)值即為異常值。 圖4 原監(jiān)測(cè)數(shù)據(jù)及重構(gòu)數(shù)據(jù)序列 圖5 奇異譜分析主要重構(gòu)成分 圖6 貢獻(xiàn)率 圖7 殘差的頻率分布 圖8 殘差序列及異常值 本文對(duì)基于奇異譜分析的大壩安全監(jiān)測(cè)數(shù)據(jù)異常值識(shí)別技術(shù)進(jìn)行了研究,證明了該技術(shù)可對(duì)趨勢(shì)性或周期性數(shù)據(jù)序列進(jìn)行分析,驗(yàn)證了基于奇異譜分析的異常監(jiān)測(cè)數(shù)據(jù)識(shí)別技術(shù)在大壩安全診斷領(lǐng)域的適用性和有效性。與基于回歸模型、確定性以及混合模型的異常值識(shí)別技術(shù)相比,基于奇異譜分析的技術(shù)不需要預(yù)先人工建立數(shù)學(xué)模型,在測(cè)點(diǎn)數(shù)量較多且需要及時(shí)反饋的大壩安全智能診斷領(lǐng)域中有較大優(yōu)勢(shì)。此外,由于奇異譜分析不涉及對(duì)環(huán)境量的考察,因此,可用于環(huán)境量缺失情況下的大壩安全監(jiān)測(cè)數(shù)據(jù)檢驗(yàn)分析。1.2 基于奇異譜分析的異常值識(shí)別
2 奇異譜分析的適用性研究
3 基于奇異譜分析的大壩異常監(jiān)測(cè)數(shù)據(jù)識(shí)別技術(shù)應(yīng)用
4 總 結(jié)