何逸茹，劉 晨，楊中國

(北方工業(yè)大學(xué) 大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點實驗室，北京 100144)

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

1 引 言

預(yù)測性維護的目的是預(yù)測設(shè)備故障，提前安排糾正性維護，提高工業(yè)設(shè)備的可靠性.隨著物聯(lián)網(wǎng)的飛速發(fā)展，工業(yè)設(shè)備上部署了大量傳感器來監(jiān)控其健康狀況.異常檢測技術(shù)是預(yù)測性維護的重要手段，能夠監(jiān)視來自多變量時間序列的傳感器數(shù)據(jù)或異常事件[1].

單個變量的異常檢測被稱為“單變量異常”，近些年來，已經(jīng)有學(xué)者進行了廣泛的研究[2，3].但是，在實際應(yīng)用中，挖掘和分析“單變量異常”事件之間的時序依賴關(guān)系是一個更值得研究的問題.因為可以從事件間的依賴關(guān)系中發(fā)現(xiàn)新的異常類型或找到異常發(fā)生的根本原因[4，5].

第2節(jié)展示了一個“單變量異?！笔录械臅r序依賴關(guān)系的簡單示例.實際上，在復(fù)雜的工業(yè)系統(tǒng)中，異?；蚬收喜⒉豢偸仟毩⒋嬖诘?由于物理相互作用的模糊性，微小的異常會在不同的傳感器和設(shè)備之間傳播，并逐漸演變?yōu)槟承┰O(shè)備中的嚴重故障[6].挖掘此類問題的時序依賴關(guān)系非常有價值，它可以幫助提前預(yù)測未來的異常或者故障，并識別設(shè)備異常和故障的原因.

本文提出一種新的預(yù)測異常的方法.首先，從多源傳感器數(shù)據(jù)中檢測“單變量異?！笔录?，并輸出異常事件序列.然后，通過識別異常事件序列之間的頻繁共現(xiàn)模式，提出一種新的時序依賴挖掘算法.最后在實驗中，將挖掘出的時序依賴關(guān)系連接起來，形成基于圖的異常預(yù)測模型.實驗結(jié)果表明，該方法基于燃煤電廠的真實數(shù)據(jù)集有效.

2 問題定義

異常事件攜帶許多有關(guān)異常的信息，如發(fā)生時間，來源和類型.這里使用一個4元組來描述一個異常事件：f=(timestamp，eventid，sourceid，eventtype)，其中timestamp是事件f發(fā)生的時間；eventid是事件f的唯一標識符；sourceid是源傳感器的唯一標識符；eventtype是異常事件的類型.

表1為一個電廠發(fā)生的幾個異常事件.來自同一個傳感器的事件按照時間順序構(gòu)造了一個事件序列Fi={f1，f2，…，fm}.所有事件序列構(gòu)成事件空間Θ={F1，F(xiàn)2，…，F(xiàn)n}.這些事件并不是彼此獨立的，它們之間有著復(fù)雜的時序依賴關(guān)系.

表1 事件信息

圖1 事件序列之間的時序依賴關(guān)系

因此，如果可以發(fā)現(xiàn)多個事件之間的時序依賴關(guān)系，就可以預(yù)測異常事件發(fā)生的根本原因.

3 時序依賴關(guān)系的挖掘

為了從多個事件序列中發(fā)現(xiàn)事件的時序依賴關(guān)系，提出了本文的框架，如圖2所示.

圖2 本文方法框架

目前許多研究人員已經(jīng)研究了單變量事件的檢測技術(shù)[8].常見的方法包括基于范圍的檢測方法，異常點檢測方法和異常序列檢測方法[3].基于范圍的檢測方法是基于人工經(jīng)驗、傳感器和設(shè)備的說明書等為單個傳感器定義值邊界，超出值邊界的值被視為異常事件.異常點檢測方法將傳感器值中與大多數(shù)值偏離較大的值定義為離群值[9].異常序列檢測方法是找出序列中與其他序列最不相似的子序列[10].利用這些成果，可以從傳感器數(shù)據(jù)中生成異常事件.

挖掘時序依賴關(guān)系的主要思想是將時序依賴關(guān)系轉(zhuǎn)換為跨多個事件序列的頻繁共現(xiàn)模式.本質(zhì)上來說，時序依賴關(guān)系是指在事件集A發(fā)生后的時間間隔Δt內(nèi)發(fā)生事件集B的現(xiàn)象頻繁發(fā)生.換句話說，時序依賴關(guān)系是對象和對象之間，在一定的時間間隔內(nèi)，以頻繁共現(xiàn)的模式出現(xiàn)的關(guān)系.因此，可以通過挖掘事件序列的頻繁共現(xiàn)模式，來發(fā)現(xiàn)事件之間的時序依賴關(guān)系.

3.1 頻繁共現(xiàn)模式挖掘

首先列出一些與頻繁共現(xiàn)模式挖掘相關(guān)的概念.

傳統(tǒng)的頻繁共現(xiàn)模式挖掘算法只關(guān)注一組無序?qū)ο蟮某霈F(xiàn)頻率[11，12]，不能識別具有時序依賴關(guān)系的兩個事件集之間的時間延遲.因此設(shè)計一個算法來發(fā)現(xiàn)有時間約束的頻繁共現(xiàn)模式.該模式由兩個對象組組成，這兩個對象組組內(nèi)對象無序，組間對象按照時間排序，所有對象之間的時間跨度不超過Δt，這種模式稱為跨多事件序列的頻繁共現(xiàn)模式.

跨多事件序列的頻繁共現(xiàn)模式.對于在一組事件序列l(wèi){F1，F(xiàn)2，…，F(xiàn)l}中發(fā)生的共現(xiàn)模式E={Epre∪Epost}，當E滿足以下條件時，Epre和Epost將形成多維共現(xiàn)模式(Multi-dimensional co-occurrence mode)，寫成MCM(Epre，Epost)：1)每一個對象ei∈Epre∪Epost來自不同的事件序列；2)Epost中的對象總是在Epre中的對象出現(xiàn)之后出現(xiàn)；3)max{T(Epost)}-min{T(Epre)}≤Δt，其中Δt為滯后時間，Epre包含m個事件，Epost包含n個事件，因此，MCM(Epre，Epost) 又可以寫成MCMm，n(Epre，Epost).如果在事件序列l(wèi){F1，F(xiàn)2，…，F(xiàn)l}中，MCMm，n(Epre，Epost)出現(xiàn)次數(shù)超過k次，則將MCMm，n(Epre，Epost)視為多維頻繁共現(xiàn)模式(Multi-dimensional frequent co-occurrence mode)，表示為MFCM(Epre，Epost)或MFCMm，n(Epre，Epost).其中，Epre是前因事件，Epost是后果事件，Δt是事件之間的時間差.

3.2 MFCM挖掘算法

本文用γ(A，B)表示事件序列之間的時序依賴關(guān)系，用γ(A，B).sup表示在已知A發(fā)生的情況下B的發(fā)生概率.

其中，freq(Epost|Epre)是Epost在Epre出現(xiàn)之后出現(xiàn)的頻率，freq(E)是E出現(xiàn)的頻率.

假設(shè)出現(xiàn)閾值freqmin=supmin(supmin為支持閾值)，并假設(shè)FP是Θ中所有MFCM構(gòu)造的集合.集合R是所有滿足sup>supmin的時序依賴關(guān)系集合.對于?γ(Fi，F(xiàn)j)∈R，如果有且僅有一個MFCM(Epre，Epost)∈FP與之對應(yīng)，則Epre和Epost的時序依賴關(guān)系為γ(Fi，F(xiàn)j)，反之亦然.同時可以證明，對于?γ(Fi，F(xiàn)j)∈R，有且只有一個MFCM(Epre，Epost)∈FP滿足γ(Fi，F(xiàn)j)，則γ(Fi，F(xiàn)j)為Epre和Epost的時序依賴關(guān)系.

因此，如果能得到Θ中的所有的MFCM，就可以計算出時序依賴的支持度，并篩選出滿足條件的候選時序依賴集.所以，在傳統(tǒng)的頻繁共現(xiàn)模式挖掘方法的基礎(chǔ)上，本文提出了一種“GFE挖掘”方法(Generation-Filter-Extension Mining)，該過程分為3個階段，即“生成-過濾-擴展”的MFCM挖掘方法.

給定頻繁共現(xiàn)模式MFCM(Epre，Epost)，頻數(shù)為freq(MFCM(Epre，Epost))，滿足freq(MCM(Epre，Epost))=γ(Epre，Epost).sup.如果freqmin=supmin，則對于滿足γ(Fi，F(xiàn)j).sup>supmin的任何時序依賴關(guān)系γ(Fi，F(xiàn)j)，都存在freq(MCM(Fi，F(xiàn)j))≥freqmin，說明MCM(Fi，F(xiàn)j)是MFCM.因此，對于任何事件f∈Fi∪Fj，它以某種順序出現(xiàn)的次數(shù)都滿足freq(f)≥freqmin.因此，挖掘MFCM的第一步是找到所有出現(xiàn)次數(shù)超過freqmin的事件，表示為F1.該步驟與頻繁共現(xiàn)模式挖掘的傳統(tǒng)方法一致.

根據(jù)以上分析，事件集和目標事件集中任何支持度大于事件關(guān)聯(lián)閾值的事件，只能由F1中的事件組成.因此，可以組合F1中事件集和目標事件集中的事件，然后過濾得到支持度大于事件時序依賴閾值的事件.

因此，基于以下定理，設(shè)計一個擴展策略來避免這個問題.

根據(jù)定理，可以推斷出對于任何γ(Fi，F(xiàn)j)(支持度超過閾值)，假設(shè)|Fi|>1，|Fi|>1，可以通過擴展一些MFCM({εα}，{εβ})(εα∈Fi，εβ∈Fj)，來得到MFCM(Fi，F(xiàn)j)的γ(Fi，F(xiàn)j).

將F1中的事件組合成({εα}，{εβ})的模式，然后驗證該模式是否滿足γ({εα}，{εβ}).sup≥supmin，并過濾得到支持程度超過閾值的時序依賴關(guān)系MFCM({εα}，{εβ}).然后選擇F1中的剩余事件來擴展MFCM({εα}，{εβ}) 的前因事件和后果事件.同時，驗證前因事件和后果事件的時序依賴支持度是否大于閾值.

基于以上階段，挖掘全過程如下：

·計算每個序列中事件的發(fā)生次數(shù)freq(e)，如果freq(e)>freqmin，則將對應(yīng)的事件插入F1；

·將F1中的事件組成如 ({εα}，{εβ})的模式，保留滿足條件({εα}，{εβ}).sup≥supmin的模式，即MFCM({εα}，{εβ})；

·選擇F1中的剩余事件分別擴展所保留模式的前因事件和后果事件；

·重復(fù)過濾和擴展階段，直到過濾結(jié)果為空或擴展了F1中的所有事件.

算法1是挖掘時序依賴關(guān)系的偽代碼.

算法1.GFE挖掘算法

輸入：Θ：包含多個事件序列的事件空間

δt∈[Δtmin，Δtmax]：時間滯后跨度

supmin：支持度閾值

輸出：R：Θ中所有的時序依賴關(guān)系

1. for eachseqi∈Θ //生成階段

2. put the events intoF1//出現(xiàn)次數(shù)超過supmin的事件；

3. for eachεα，εβ∈F1

4. initialize theFi={εα}，F(xiàn)j={εβ} andP=φ；//P是 MFCM

5. if(isMFCM(Fi，F(xiàn)j，δt))//過濾階段

6.P←TFCM(Fi，F(xiàn)j)；

7. for eachε∈F1&&ε>Fi//ε大于Fi

8. extend(Fi，ε，δt)；//擴展階段，擴展前因事件

9. for eachMFCM(Fp，F(xiàn)q)∈P

10. for eachε″∈F1&&ε″>Fj

11. extend(Fq，ε″，δt)；//擴展后果事件

12. For eachMFCM(Fu，F(xiàn)v)∈P

13.R←(Fu，F(xiàn)v，MFCM(Fu，F(xiàn)v).Δt，MFCM(Fu，F(xiàn)v).freq)；//P中MFCM的前因事件和后果事件構(gòu)成集

14. returnR；

15. isMFCM(Fi，F(xiàn)j，δt)：//判斷Fi和Fj是否以δt為條件構(gòu)造MFCM(Fi，F(xiàn)j)；

16. if(MFCM(Fi，F(xiàn)j).Δt=max{MCM(Fi，F(xiàn)j).Δt}&&MFCM(Fi，F(xiàn)j).Δt≤δt)

17. return true；

18.extend((Fi，F(xiàn)j)，target，ε，δt)：

20.Fi←ε；

22.Fj←ε；

23. IF(isTFCM(Fi，F(xiàn)j，δt))

24.P←TFCM(Fi，F(xiàn)j)；

25. for eachε′∈F1&&ε′>Fi

26.extend((Fi，F(xiàn)j)，target，ε′，δt)；

GFE挖掘算法：首先從事件空間Θ中找出發(fā)生次數(shù)超過supmin的事件，并將其放入F1(第1-2行).然后，將任意兩個事件以模式(εα，εβ)來建模，并驗證該模式是否為MFCM(第3-6行).然后使用extend()函數(shù)(第18-26行)遞歸地擴展MFCM1，1的前因事件(第7-8行).直到擴展的模式不是MFCM或者F1中沒有對象可以擴展時，擴展過程中斷.然后再使用extend()函數(shù)遞歸地擴展MFCM1，1的后果事件(第9-11行).最后，將所有的MFCM放入集合P中，P中前因和后果事件之間的事件關(guān)系構(gòu)成集合R.

4 實驗與評價

4.1 實驗環(huán)境與數(shù)據(jù)

本節(jié)用實際電廠生產(chǎn)中的真實數(shù)據(jù)集，來驗證本文方法的有效性.

實驗是在裝有4個Intel Core i5-6300HQ CPU 2.30GHz和16.00 GB RAM的PC上完成的.操作系統(tǒng)是Centos 6.4.所有算法均使用JDK 1.8.5在Java中實現(xiàn).

實驗數(shù)據(jù)詳細信息見表2.在8個設(shè)備上總共部署了357個傳感器.每個傳感器每秒生成一條，記錄.

表2 實驗中的真實傳感器數(shù)據(jù)

數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集.訓(xùn)練時間為2018-11-01 00：00：00-2019-04-28 23：59：59.測試時間為2019-05-01 00：00：00-2019-05-31 23：59：59.

使用2018-07-01 00：00：00-2019-06-30 23：59：59電廠電力維護記錄中的實際故障來做驗證實驗.

4.2 實驗過程與指標

首先對訓(xùn)練集進行挖掘，找出時序依賴關(guān)系，得到從訓(xùn)練數(shù)據(jù)中挖掘出的的時序依賴關(guān)系數(shù)量(TDQ).在不同的參數(shù)和不同的數(shù)據(jù)集時間下，觀察TDQ的變化趨勢.

然后，選擇和連接挖掘出的時序依賴關(guān)系，建立異常事件的有向圖預(yù)測模型.該圖定義為G=，其中V是異常事件集，E?V×V是非空邊集.每條邊vi→vj上的權(quán)重是時滯Δt，表示可以預(yù)測在異常事件vi發(fā)生的Δt后發(fā)生異常事件vj.

當一個異常發(fā)生時，首先使用BFS算法[13]對圖進行搜索，找到與之直接或間接連接的鄰域異常事件.輸出一組異常事件的預(yù)測.

基于異常預(yù)測圖，將異常預(yù)測模型與基于距離的異常檢測方法和離群點異常檢測方法兩種典型的方法進行了比較.采用以下性能指標對實驗進行評估.

時序依賴關(guān)系數(shù)量(TDQ)：從數(shù)據(jù)集中挖掘出的時序依賴關(guān)系的數(shù)量；

警告時間：警告時間是一個方法對一個故障發(fā)出維修警告的時間戳與該故障發(fā)生的時間之間的差；

準確率：對照故障記錄，精度表示有多少異常是準確的；

召回率：召回率代表有多少正確的故障被預(yù)測出.

4.3 實驗結(jié)果與討論

4.3.1 不同參數(shù)的TDQ

首先研究關(guān)鍵參數(shù)supmin和時間閾值Δt是如何影響時序依賴關(guān)系數(shù)量的.

對于不同的supmin和Δt值，使用時序依賴挖掘算法對訓(xùn)練數(shù)據(jù)集進行挖掘，并計算TDQ.其中，supmin的值設(shè)置為：supmin∈{0.5，0.6，0.7，0.8}，Δt的值從5min增加到60min.圖3展示了不同參數(shù)下TDQ的平均值.

圖3 不同參數(shù)下TDQ的實驗結(jié)果

從圖中可知，TDQ的平均值是隨著supmin的增加而降低的.正常情況下，在每一個Δt值下，相鄰的supmin值之間的降數(shù)有一個增長的趨勢.異常情況下，遞減數(shù)在supmin=0.6-0.7之間達到最小值.此外，對于每兩個相鄰的值的supmin，隨著Δt的增長，遞減數(shù)略有增加.

從圖中還可以看出，平均TDQ是隨著Δt的增加而增加的.相鄰的Δt值之間的升序值總體上變小.在每個supmin的值下，升序值的峰值出現(xiàn)在Δt=10min-15min之間.最小值可能出現(xiàn)在Δt=55min和60min之間，Δt=50min和55min之間，或者Δt=40min和45min之間.

然后進行實驗來驗證當參數(shù)supmin=0.8，Δt=35min時，在不同數(shù)據(jù)量和不同的時間范圍里，TDQ值是如何變化的.數(shù)據(jù)量從1個月遞增到6個月的數(shù)據(jù)集，每次增加1個月.本實驗以不小于0.8的概率(即supmin=0.8)挖掘時序依賴關(guān)系.表3顯示了TDQ的結(jié)果.

表3 不同數(shù)據(jù)量下TDQ的實驗結(jié)果(supmin=0.8，Δt=35min)

表3顯示，隨著數(shù)據(jù)集大小的增加，總TDQ也呈上升趨勢.但是，TDQ與數(shù)據(jù)集大小之間沒有線性相關(guān)性.數(shù)據(jù)集的規(guī)模從1個月上升到6個月，產(chǎn)生的TDQ相對接近，總是在4000到5000之間.結(jié)果表明，隨著時間的推移，TDQ緩慢上升，并且可以控制在一定范圍內(nèi).原因在于，隨著時間的推移，時序依賴關(guān)系的種類逐漸增加，但增長速度是穩(wěn)定的.結(jié)果表明，該算法具有一定的魯棒性.

4.3.2 不同方法的對比

表4為不同方法的異常預(yù)警時間的實驗結(jié)果.通常，基于范圍的檢測方法最先發(fā)出警告.因為如果傳感器數(shù)據(jù)超出一個范圍，故障會立即發(fā)生.但是，有些故障是由多個不超過范圍的異常形成的.因此它大多數(shù)時候都沒有發(fā)出預(yù)警.

表4 異常預(yù)警時間(單位：分鐘)

異常點檢測方法有時也無法發(fā)出警告，因為該方法不能檢測出傳感器數(shù)據(jù)緩慢地上升或下降的這種異常行為.另外，如果傳感器數(shù)據(jù)序列具有類似的子序列，當數(shù)據(jù)突然下降時，異常序列檢測方法無法檢測出此類子序列.

此外，還比較了不同方法的準確率結(jié)果和召回率結(jié)果(本文只考慮在訓(xùn)練集和測試集中都發(fā)生最終失敗的預(yù)測事件).

由圖4可以看出，本文方法在這3種方法中達到了最高的準確率和召回率.準確率和召回率分別為89.87%和83.67%.不準確的部分一方面是由于訓(xùn)練過程中挖掘出的一些異常傳播路徑在測試集中無法檢測到.另一方面，由于流數(shù)據(jù)的不確定性，對于同一類型的故障，測試數(shù)據(jù)集中挖掘出的異常傳播路徑與訓(xùn)練集相比發(fā)生了變化，因此沒有檢出.

圖4 不同方法下的準確率和召回率實驗結(jié)果

基于范圍的檢測方法和異常點檢測方法的準確率分別為62.56%和83.32%，召回率分別為76.34%和76.68%.這兩種方法都是基于單傳感器數(shù)據(jù)的檢測方法.無法檢測出由多個異常引起的故障.而本文方法能發(fā)現(xiàn)多個傳感器之間的相關(guān)性，形成異常傳播路徑，發(fā)現(xiàn)更多的隱藏異常.

以上結(jié)果表明，時序依賴關(guān)系在構(gòu)建故障預(yù)測邏輯和故障檢測中有著有效的作用.

5 相關(guān)工作

近年來，研究人員已經(jīng)提出了多種方法來解決預(yù)測性維護中的異常預(yù)測問題.目前，一些學(xué)者提出了幾種定量模型，包括簡單的線性判別分析，更復(fù)雜的邏輯回歸分析和神經(jīng)網(wǎng)絡(luò)[14].文獻[15]提出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測IT系統(tǒng)故障的系統(tǒng)，該系統(tǒng)可自動分析流式控制臺日志并檢測預(yù)警信號.文獻[16]提出了一種基于Spark平臺的并行KNN異常檢測算法，提高KNN算法在大規(guī)模數(shù)據(jù)上的異常檢測效率.文獻[17]提出一種基于深度信念網(wǎng)絡(luò)的高維傳感器數(shù)據(jù)異常檢測算法，該方法首先將原始數(shù)據(jù)降維，然后將QSSVM(Quarter-Sphere Support Vector Machine)與滑動窗口模型相結(jié)合，實現(xiàn)了在線的異常檢測.文獻[18]提出了一種利用短時傅立葉變換(STFT)對傳感器信號進行預(yù)處理的方法.

上述工作對于單變量異常的檢測具有良好的效果.但是，越來越多的物聯(lián)網(wǎng)應(yīng)用，特別是工業(yè)生產(chǎn)，需要分析和識別異常的根本原因，而這些方法并不能從根本上解決問題.

挖掘時序依賴關(guān)系為識別異常之間的因果關(guān)系提供了重要線索.從實際問題出發(fā)，研究人員歸納并研究了幾種依賴模式挖掘任務(wù).Song等人挖掘活動依賴項(即控制依賴項和數(shù)據(jù)依賴項)，當事件日志無法滿足完整性標準時能發(fā)現(xiàn)流程實例[4].但是作者沒有考慮事件之間的依賴關(guān)系.Plantevit等人提出了一種基于區(qū)間的事件流之間的時序依賴關(guān)系挖掘方法[5].

6 結(jié) 論

本文提出了一種基于多源傳感器事件序列時序依賴關(guān)系挖掘的異常預(yù)測方法.首先，從多源傳感器數(shù)據(jù)中檢測“單變量異常”事件，并輸出多源傳感器事件序列.然后，將時序依賴關(guān)系挖掘問題轉(zhuǎn)化為頻繁共現(xiàn)模式挖掘問題.然后，選擇和連接挖掘出的時序依賴關(guān)系，建立異常事件的有向圖預(yù)測模型，并通過大量的實驗驗證了該方法的有效性.未來將研究并行優(yōu)化算法，來加快本文方法.