封焯文， 朱世平， 趙志華， 孫銘仁， 董 密， 宋冬然

(1. 中國能源建設(shè)集團湖南省電力設(shè)計院有限公司， 湖南 長沙 410007； 2.中南大學(xué)自動化學(xué)院， 湖南 長沙 410083)

1 引言

風(fēng)能利用是國家發(fā)展綠色經(jīng)濟的重要標(biāo)志，其發(fā)展受到世界各國的重視。風(fēng)電機組容量不斷增大，結(jié)構(gòu)愈加柔性化，依靠人力運維的維護成本也越來越高?；跉v史數(shù)據(jù)對風(fēng)機運行狀態(tài)進行分析可提高分析效率，節(jié)省大量人力物力。例如，基于風(fēng)功率歷史數(shù)據(jù)可開展風(fēng)電機組風(fēng)速預(yù)測和功率曲線建模等工作[1]。然而，受環(huán)境變化和機組故障等異常因素影響，風(fēng)電機組在實際運行過程中經(jīng)常產(chǎn)生大量的異常功率數(shù)據(jù)，給后續(xù)數(shù)據(jù)挖掘工作造成干擾。因此，需要對風(fēng)功率歷史數(shù)據(jù)中的異常數(shù)據(jù)進行準(zhǔn)確識別和處理，進而獲得有效數(shù)據(jù)集。

目前，異常值檢測主要有三種基本方法：①基于風(fēng)機運行機理簡單剔除；②基于突變點特征進行異常檢測，如密度、距離等；③基于概率模型建立邊界，剔除邊界外異常值，如設(shè)置閾值或建立風(fēng)功率曲線等效模型等。文獻[2]提出將Thompson-tau與四分位法相結(jié)合建立邊界的清洗方法，該方法清洗時間短，在數(shù)據(jù)樣本較多下有較好的效果。文獻[3]提出了用于識別異常數(shù)據(jù)的云分段最優(yōu)熵算法，通過比較每個數(shù)據(jù)的熵與閾值來判斷異常數(shù)據(jù)。異常數(shù)據(jù)點偏離正常數(shù)據(jù)集較遠時，導(dǎo)致數(shù)據(jù)集方差較大。文獻[4]提出最優(yōu)組內(nèi)方差算法，通過對比每個風(fēng)速區(qū)間內(nèi)數(shù)據(jù)點與前面數(shù)據(jù)點的方差來判斷異常點。然而，上述方法易受到偏離程度較大的點影響，難以去除正常數(shù)據(jù)集周圍的異常數(shù)據(jù)。文獻[5]提出基于密度的聚類算法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)進行異常值檢測，然而在異常數(shù)據(jù)聚集時識別效果不好。針對上述缺點，文獻[6]提出將DBSCAN與四分位法結(jié)合，獲得了較好的檢測結(jié)果。文獻[7]采用基于密度的局部離群因子(Local Outlier Factor，LOF)算法，把具有足夠高密度的區(qū)域劃分為簇，實現(xiàn)了分散型異常數(shù)據(jù)的有效識別。文獻[8]提出基于DBSCAN和LOF的DLOF算法，該方法相比于上述兩種算法精度更高，但是所需時間更長，因此不適用于處理實時數(shù)據(jù)。文獻[9]在檢測異常數(shù)據(jù)時同時考慮風(fēng)向數(shù)據(jù)的正確性，將二維異常檢測擴展至三維，通過更多的判定條件達到更好的檢測效果。文獻[10]采用四分位法與變點分組算法結(jié)合的方法，但清洗后數(shù)據(jù)存在明顯的階梯狀使功率曲線模型失真。在更改分組寬度后雖然會得到改善，但對于不同的機組清洗效果差別較大，泛用性低。文獻[11]提出一種新穎的異常檢測方法，該方法將風(fēng)速功率散點圖轉(zhuǎn)化為灰度圖像，通過判斷功率曲線的形狀來識別異常數(shù)據(jù)。文獻[12]結(jié)合風(fēng)機運行過程與數(shù)據(jù)不確定性統(tǒng)計，提出一種基于置信等效邊界模型的風(fēng)功率數(shù)據(jù)清洗方法，但需要針對不同數(shù)據(jù)集調(diào)整單一或混合模型。文獻[13]采用孤立森林(Isolated Forest，IF)算法，通過在二叉樹模型中分離單個數(shù)據(jù)所用的步數(shù)來計算該數(shù)據(jù)的異常評分，并結(jié)合等效邊界對異常數(shù)據(jù)進行識別。雖然上述方法已經(jīng)較為成熟，但是目前對它們的清洗效果與優(yōu)缺點還缺少整體認知。

因此，本文系統(tǒng)地對比研究了主流數(shù)據(jù)清洗方法，并得到了一些有益結(jié)論。本文其余部分安排如下：第2節(jié)詳述了異常數(shù)據(jù)產(chǎn)生原因，第3節(jié)介紹了四種數(shù)據(jù)清洗方法并給出了評價指標(biāo)，第4節(jié)是方法應(yīng)用與實例分析，第5節(jié)給出了結(jié)論。

2 異常數(shù)據(jù)產(chǎn)生原因

在運行過程中，風(fēng)電機組受到多種不利因素的影響會采集到大量異常數(shù)據(jù)。根據(jù)文獻[10]，異常數(shù)據(jù)可分為四類，如圖1所示。

圖1 異常數(shù)據(jù)分布情況Fig.1 Abnormal data distribution

針對這四類異常數(shù)據(jù)，各自的分布特征以及產(chǎn)生原因可表述如下。

(1)聚集分布在曲線底部的數(shù)據(jù)。曲線底部有大量功率為0或負值的點，這些異常數(shù)據(jù)的可能原因是機組故障導(dǎo)致機組處于計劃或非計劃關(guān)閉狀態(tài)。采集到的功率值小于零的情況，這是由風(fēng)電機組此時處于停機狀態(tài)，而機組測控系統(tǒng)自耗電所導(dǎo)致。

(2)零散或聚集分布在曲線中部的數(shù)據(jù)。此時風(fēng)電機組可以正常運作，但由于電網(wǎng)消納能力不足、風(fēng)力發(fā)電不穩(wěn)定、建設(shè)工期不匹配等原因而出現(xiàn)棄風(fēng)限電，使得此時的輸出功率低于額定功率。

(3)零散分布在曲線四周的數(shù)據(jù)。功率曲線數(shù)據(jù)呈現(xiàn)零散或聚集性的隨機分布，源于信號噪聲、傳感器失靈等因素影響產(chǎn)生的分布隨機不固定偏差。

(4)零散或聚集分布在曲線的頂部的數(shù)據(jù)。由于機艙風(fēng)速傳感器或通訊故障，導(dǎo)致監(jiān)控系統(tǒng)采集的風(fēng)速測量數(shù)據(jù)異常。

3 異常值檢測方法與評價指標(biāo)

基于風(fēng)機運行機理簡單剔除的方法通常與基于突變點特征進行異常檢測或基于概率模型建立邊界剔除邊界外異常值的方法結(jié)合使用。因此，本文選擇基于突變點特征異常檢測的DBSCAN與LOF方法，以及基于概率模型建立邊界，剔除邊界外異常值的Thompson-tau四分位法與IF四種方法進行對比研究?？紤]正常數(shù)據(jù)集中于功率曲線周圍，而異常數(shù)據(jù)通常偏離功率曲線，清洗后的數(shù)據(jù)與參考功率曲線之間的誤差，即清洗結(jié)果在功率曲線周圍的集中程度，能間接反映清洗效果。因此，本文采用基于標(biāo)準(zhǔn)功率曲線的評價指標(biāo)，用于評價不同異常值檢測方法的優(yōu)劣。

3.1 常見異常值檢測方法

3.1.1 DBSCAN

基于密度的聚類算法(DBSCAN)通過判斷點P周圍半徑為eps內(nèi)點的個數(shù)是否小于某個值minpts，從而判斷點P是否為核心對象。

若集合中存在一點O同時在核心對象p和q的鄰域內(nèi)，則核心對象p和q密度相連。DBSCAN的目的便是找到所有密度相連的數(shù)據(jù)點，以此建立正常數(shù)據(jù)集[5，6]。

3.1.2 LOF

局部離群因子算法(LOF)將與點P第K遠的點之間的距離定義為點P的第K距離記為Nk(P)。第K距離內(nèi)的所有點為點P的第K鄰域。定義點P的局部可達密度為：

(1)

式中，D(O,P)為P第K鄰域內(nèi)點O與P的距離。由式(1)，得到所有點第K鄰域的局部可達密度，并據(jù)此計算點P的局部離群因子：

(2)

式中，lrdk(O)為點P第K鄰域內(nèi)某一點O的第K鄰域局部可達密度。若點P局部離群因子接近1則說明點P與周圍點的密度接近，如果大于1點P周圍點的密度小于其他點即異常值。因此若LOFk(P)大于1，則點P為稀疏點即異常點[7]。

3.1.3 Thompson-tau四分位法

Thompson-tau四分位法將風(fēng)速分區(qū)，分別計算每個區(qū)間的功率平均值Pi與標(biāo)準(zhǔn)差Si。由功率平均值Pi得到每個區(qū)間功率樣本數(shù)據(jù)偏差的絕對值δi,j=∣Pi,j-Pi∣。當(dāng)區(qū)間內(nèi)某個數(shù)據(jù)點偏差絕對值較大時，表明該點在此區(qū)間內(nèi)過大或過小，由此判斷該點是否為異常點。Thompson-tau法中τ值的計算如下：

(3)

式中，t為功率樣本數(shù)據(jù)的t分布值；α為顯著性水平，其值影響功率數(shù)據(jù)的充裕度，通常取顯著水平α=0.01。

當(dāng)某一點δi,j>τSi時，該點為異常數(shù)據(jù)；反之，該點為正常數(shù)據(jù)。在第一步使用Thompson-tau判斷后，再結(jié)合四分位法進行二次檢測。首先找到每個風(fēng)速區(qū)間內(nèi)功率數(shù)據(jù)的上四分位數(shù)Q3,i與下四分位數(shù)Q1,i，然后得到四分位距Ii=Q3,i-Q1,i。四分位法中四分位上限Wu,i與下限Wd,i計算公式為：

(4)

功率在四分位上下限之間的數(shù)據(jù)為最后的正常數(shù)據(jù)[2]。

3.1.4 孤立森林

孤立森林算法(IF)的主要思想是：給定n個樣本數(shù)據(jù)X={X1…Xn}，特征維度為d，隨機選擇特征q和其分隔值p，遞歸分割數(shù)據(jù)集X來構(gòu)建孤立樹，直到無法繼續(xù)分割或達到預(yù)設(shè)最大高度。

孤立樹中樣本點x的路徑長度h(x)定義為從iTree的根節(jié)點到葉子節(jié)點所經(jīng)過的邊的數(shù)量。由n個樣本組成的數(shù)據(jù)集，生成模型樹的平均路徑長度c(n)定義如式(5)所示，其中H(i)為調(diào)和數(shù)，通常設(shè)置為ln(i)+ 0.577 215 664 9。

(5)

樹中每個樣本x的異常得分定義為：

(6)

當(dāng)E(h(x))接近0時，s靠近1，即x的異常得分接近1時樣本x被判定為異常。當(dāng)E(h(x))接近n-1時，s靠近0，樣本x被判定為正常[13]。

3.2 評價指標(biāo)

由圖1中異常數(shù)據(jù)分布可知，正常數(shù)據(jù)集中在功率曲線周圍，異常值明顯偏離功率曲線。因此，通過比較不同方法清洗后的結(jié)果與廠家提供的標(biāo)準(zhǔn)功率曲線之間的誤差能夠判斷不同清洗方法的性能[14]。清洗后的數(shù)據(jù)在標(biāo)準(zhǔn)功率曲線周圍集中程度高，表明清洗效果好；反之，清洗效果差。

針對標(biāo)準(zhǔn)功率曲線中0.5 m/s的區(qū)間(區(qū)間按照廠商提供的標(biāo)準(zhǔn)功率曲線上的數(shù)據(jù)點的風(fēng)速間隔來選擇)劃分清洗后的數(shù)據(jù)集，計算每個區(qū)間內(nèi)數(shù)據(jù)與標(biāo)準(zhǔn)功率曲線之間的離散程度：

(7)

(8)

式中，AADi與RMSEi分別為第i個風(fēng)速區(qū)間的平均絕對誤差和均方根誤差；Ni為第i區(qū)間內(nèi)數(shù)據(jù)量；Pi為第i區(qū)間標(biāo)準(zhǔn)功率曲線的值；Pi,j為第i區(qū)間內(nèi)第j個功率數(shù)據(jù)。

4 實例分析

本節(jié)選擇3個風(fēng)場實際風(fēng)電機組運行數(shù)據(jù)進行方法應(yīng)用，并基于所提出的評價指標(biāo)對不同異常值檢測方法進行性能對比。具體為：扶余三井子風(fēng)場#2機組，青徑云霄風(fēng)場#11機組與祥云天峰山風(fēng)場#5機組，采樣間隔均為10 min。本次實驗軟件平臺為Matlab2020a，硬件平臺為CPU：AMD 4800U 主頻1.8 GHz，內(nèi)存16 G。

4.1 數(shù)據(jù)描述

不同清洗方法效果可能受數(shù)據(jù)樣本量的影響。當(dāng)樣本量過少時，數(shù)據(jù)無法體現(xiàn)風(fēng)電機組的風(fēng)速-功率分布特性[15]；反之，清洗時間長且清洗效果不會有明顯提升。在參考其他風(fēng)功率數(shù)據(jù)清洗的文獻后，本文研究選擇了半年的數(shù)據(jù)樣本。3個風(fēng)場不同風(fēng)電機組歷史數(shù)據(jù)原始散點如圖2(a)～圖2(c)所示，其中灰色數(shù)據(jù)點為原始數(shù)據(jù)散點圖，曲線為廠家提供的標(biāo)準(zhǔn)功率曲線。從圖2可見，三臺機組異常數(shù)據(jù)分布差異明顯。

圖2 原始數(shù)據(jù)散點圖Fig.2 Scatter plot of raw data

4.2 異常值檢測結(jié)果

根據(jù)經(jīng)驗與現(xiàn)有文獻[2,5，6，7,13]，將四種方法的參數(shù)限定在一定范圍內(nèi)，然后在范圍內(nèi)多次實驗得到每種方法的最優(yōu)參數(shù)。四種方法的參數(shù)分別設(shè)置為：Thompson-tau四分位法風(fēng)速區(qū)間長度取0.1 m/s[2]。DBSCAN中兩次四分位法區(qū)間間隔分別取0.1 m/s和1.25%額定功率，minpts設(shè)置為5，eps設(shè)置為2.5%額定功率[5]。LOF中第K距離選擇10，LOF閾值選擇1.5。IF異常數(shù)據(jù)量設(shè)定為20%，樹的數(shù)量為100，樹枝為256。

清洗結(jié)果分別如圖3～圖5所示。其中，淺灰色點為原始數(shù)據(jù)集，灰色點為剔除異常數(shù)據(jù)后的正常數(shù)據(jù)集。不同清洗方法之間的效果差異明顯。

圖3 三井子#2機組清洗結(jié)果Fig.3 Cleaning results of #2 plant in Sanjingzi wind farm

圖4 云霄風(fēng)場#11機組清洗結(jié)果Fig.4 Cleaning results of #11 plant in Yunxiao wind farm

圖5 天峰山#5機組清洗結(jié)果Fig.5 Cleaning results of #5 plant in Tianfengshan wind farm

從圖3和圖5可見，三井子#2機組和天峰山#5機組異常數(shù)據(jù)分布廣，同一風(fēng)速區(qū)間下有多個異常數(shù)據(jù)與正常數(shù)據(jù)偏差較大，并且有很多聚集的異常數(shù)據(jù)，Thompson-tau四分位法(后文簡稱T-四分位法)、DBSCAN和LOF無法完全準(zhǔn)確識別這些異常數(shù)據(jù)。T-四分位法需要計算一段風(fēng)速區(qū)間內(nèi)功率的上下邊界，當(dāng)區(qū)間內(nèi)有多個異常數(shù)據(jù)與正常數(shù)據(jù)相差較大時，下四分位數(shù)變小，上四分位數(shù)變大，相同顯著性水平下數(shù)據(jù)區(qū)間變大。因此，功率的邊界范圍被拉大，導(dǎo)致部分異常數(shù)據(jù)落入邊界內(nèi)而被誤識別為正常數(shù)據(jù)。LOF與DBSCAN都通過判斷數(shù)據(jù)周圍的密度來區(qū)分異常數(shù)據(jù)和正常數(shù)據(jù)，其中LOF計算局部離群因子時不但要計算自身的密度，還要計算周圍數(shù)據(jù)點的密度，因此若一個區(qū)域內(nèi)異常數(shù)據(jù)與正常數(shù)據(jù)密度的差距不明顯就會有大量異常數(shù)據(jù)誤識別為正常數(shù)據(jù)或大量正常數(shù)據(jù)被誤刪除，所以這兩種算法更適合處理異常數(shù)據(jù)分布稀疏的情況(見圖4)。而當(dāng)異常數(shù)據(jù)在一定區(qū)域內(nèi)分布密集時，這兩種方法無法區(qū)分異常數(shù)據(jù)和正常數(shù)據(jù)的密度差別。IF在二叉樹中對原數(shù)據(jù)集進行多次劃分將所有數(shù)據(jù)分離，偏離較遠的數(shù)據(jù)在樹中的孤立程度十分明顯。但是從圖4可見，邊緣的正常數(shù)據(jù)也容易被孤立而出現(xiàn)誤刪除。

不同清洗方法的數(shù)據(jù)刪除率和清洗時間如表1～表3所示。其中數(shù)據(jù)刪除率D%為：

表1 三井子風(fēng)場#2機組數(shù)據(jù)清洗結(jié)果Tab.1 Cleaning results of #2 plant in Sanjingzi wind farm

表2 云霄風(fēng)場#11機組數(shù)據(jù)清洗結(jié)果Tab.2 Cleaning results of #11 plant in Yunxiao wind farm

表3 天峰山風(fēng)場#5機組數(shù)據(jù)清洗結(jié)果Tab.3 Cleaning results of #5 plant in Tianfengshan wind farm

(9)

式中,S0為原數(shù)據(jù)集的數(shù)據(jù)量；S1為使用數(shù)據(jù)清洗方法剔除異常數(shù)據(jù)后剩余數(shù)據(jù)集的數(shù)據(jù)量。

根據(jù)表1～表3可知，IF的數(shù)據(jù)刪除率最低，對原數(shù)據(jù)集完整性的破壞最小。T-四分位法的清洗時間最短。雖然DBSCAN和LOF都是基于密度的方法，但DBSCAN的時間復(fù)雜度通常小于O(N2)，LOF的時間復(fù)雜度為O(N3)。因此，LOF的清洗時間遠大于DBSCAN。

四種方法具有不同的數(shù)據(jù)刪除率。對于三井子風(fēng)場#2機組與天峰山風(fēng)場#5機組，DBSCAN與LOF的數(shù)據(jù)刪除率較高，分別在46%與40%左右。這兩種方法的數(shù)據(jù)刪除率明顯高于T-四分位法與IF，原因在于這兩臺機組的異常數(shù)據(jù)分布范圍廣，且密度較大。由前文分析可知，DBSCAN與LOF對這類異常數(shù)據(jù)分布情況的清洗效果較差；為了獲得更好的異常數(shù)據(jù)清洗效果，只能將閾值的范圍設(shè)置得更小，進而導(dǎo)致了更多正常數(shù)據(jù)被誤刪除。在云霄風(fēng)場#11機組上，LOF的數(shù)據(jù)刪除率遠高于其他三種方法，主要原因是該機組異常數(shù)據(jù)分布更稀疏。根據(jù)前文分析，LOF在計算局部離群因子時更易受到數(shù)據(jù)疏密程度的影響；要獲得和DBSCAN相近的清洗效果，閾值的設(shè)定要比DBSCAN更嚴格，這就導(dǎo)致了LOF的數(shù)據(jù)刪除率更大。為進一步分析四種方法的清洗效果，4.3節(jié)對比分析了不同方法下的檢測精度。

4.3 不同方法檢測精度對比

檢測并剔除異常數(shù)據(jù)后，分別計算不同方法清洗結(jié)果與標(biāo)準(zhǔn)功率曲線之間的離散程度，以此評價不同方法清洗性能?；谑?7)和式(8)，得到計算結(jié)果如表4～表6所示。

表4 三井子風(fēng)場#2機組清洗結(jié)果與標(biāo)準(zhǔn)功率曲線的誤差Tab.4 Error between cleaning result and ideal power curve of #2 plant in Sanjingzi wind farm

表5 云霄風(fēng)場#11機組清洗結(jié)果與標(biāo)準(zhǔn)功率曲線的誤差Tab.5 Error between cleaning result and ideal power curve of #11 plant in Yunxiao wind farm

表6 天峰山風(fēng)場#5機組清洗結(jié)果與標(biāo)準(zhǔn)功率曲線的誤差Tab.6 Error between cleaning result and ideal power curve of #5 plant in Tianfengshan wind farm

由表4～表6能夠明顯看出，由IF得到的三臺機組的清洗結(jié)果與標(biāo)準(zhǔn)功率曲線的誤差也是最小的，即異常數(shù)據(jù)清洗更徹底。LOF和T-四分位法的誤差明顯高于另外兩種方法。

綜合來看，IF雖然誤刪除了部分邊緣的正常數(shù)據(jù)，但在四種方法中數(shù)據(jù)刪除率最低，對機組數(shù)據(jù)完整性的破壞最小，清洗后的結(jié)果與標(biāo)準(zhǔn)功率曲線之間誤差最小，在標(biāo)準(zhǔn)功率曲線附近最集中，并且對不同機組通用性高；T-四分位法更適用于對時間敏感的情況；DBSCAN與LOF在異常數(shù)據(jù)分布稀疏時有更好的效果。

5 結(jié)論

本文基于實際機組運行數(shù)據(jù)對現(xiàn)有的四種方法開展了對比研究，并得出各自優(yōu)缺點：

(1)IF算法具有最好的清洗效果，其次是DBSCAN；Thompson-tau四分位法程序運行時間最短；LOF檢測效果最差。

(2)DBSCAN與LOF等基于突變點特征檢測的方法受到異常數(shù)據(jù)分布情況影響較為嚴重，這兩種適用于異常數(shù)據(jù)分布稀疏的情況。

(3)IF與Thompson-tau四分位法等基于建立等效邊界的方法會受到邊界數(shù)據(jù)的影響。Thompson-tau四分位法容易受到偏離程度大的異常數(shù)據(jù)影響，從而使閾值被拉大，導(dǎo)致部分異常數(shù)據(jù)落入閾值中，適用于對時間敏感或異常數(shù)據(jù)距功率曲線較近的情況。IF對密集的異常數(shù)據(jù)具有良好的分離效果，并且對于不同機組的通用性高，但易將邊緣的正常數(shù)據(jù)誤刪除，適用于大多數(shù)異常數(shù)據(jù)清洗的場合。