張 錦，程良倫

廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院，廣州 510006

1 引言

得益于泛在感知、先進(jìn)計(jì)算以及超強(qiáng)連接，現(xiàn)代分布式信息物理融合系統(tǒng)（CPS）如交通網(wǎng)絡(luò)[1]、電廠、電網(wǎng)[2]均表現(xiàn)有強(qiáng)大的高效率、魯棒性以及靈活性的潛力。這一事實(shí)在世界各地以及一般工業(yè)[3]的研究當(dāng)中都有提及。然而要實(shí)現(xiàn)這樣的潛力，針對(duì)CPS的有效建模及分析方法必須具備這樣的性質(zhì)：可擴(kuò)展、魯棒性、靈活性以及適應(yīng)性。目前大多數(shù)分析方法是在很大程度上依賴(lài)于領(lǐng)域知識(shí)的需要細(xì)致校準(zhǔn)和驗(yàn)證的基于規(guī)則的模型[4]。

從性能監(jiān)控和分布式CPS診斷的角度來(lái)看，技術(shù)上的挑戰(zhàn)來(lái)自于分布式CPS有著巨大數(shù)量的強(qiáng)偶合子系統(tǒng)[5]，同時(shí)這些子系統(tǒng)存在不同的操作模式。要對(duì)各個(gè)子系統(tǒng)分別建模來(lái)捕獲其復(fù)雜的交互作用非常的棘手，但是基于數(shù)據(jù)驅(qū)動(dòng)的建模方式可以有效地緩解這樣的問(wèn)題[6]。然而，大多數(shù)基于數(shù)據(jù)驅(qū)動(dòng)的建模方式需要大量的正樣本（無(wú)故障）及所有可能的負(fù)樣本（如，物理故障或網(wǎng)絡(luò)異常），負(fù)樣本在現(xiàn)實(shí)系統(tǒng)的生命周期中是很難獲取到的。因此，異常檢測(cè)方法應(yīng)該有具備如下性質(zhì)：（1）在沒(méi)有真正出現(xiàn)故障時(shí)識(shí)別大多數(shù)操作模式的潛力；（2）具備無(wú)監(jiān)督學(xué)習(xí)能力從標(biāo)稱(chēng)模式中識(shí)別異常模式。此外，物理空間產(chǎn)生的主要是從傳感器和執(zhí)行器而來(lái)的連續(xù)時(shí)間信息，而網(wǎng)絡(luò)空間主要是處理物理信息而產(chǎn)生離散事件驅(qū)動(dòng)的數(shù)據(jù)。這種基本屬性的差別和信息本質(zhì)性質(zhì)的差別，使得目前大多數(shù)的方法在處理網(wǎng)絡(luò)空間和物理空間時(shí)，分別進(jìn)行建模及分析（具體細(xì)節(jié)可以參考文獻(xiàn)[7]）。

在這種背景下，本文提出一種用于分布式CPS在整個(gè)系統(tǒng)上異常檢測(cè)的框架，該框架采用表征CPS各個(gè)子系統(tǒng)間相互作用的基于符號(hào)動(dòng)力學(xué)的時(shí)空特征提取方案。符號(hào)動(dòng)態(tài)過(guò)濾（SDF）是一種復(fù)雜系統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)建模方式，其采用一種稱(chēng)為數(shù)據(jù)抽象的統(tǒng)一表示描述不同類(lèi)型的數(shù)據(jù)，在描述不同類(lèi)型的數(shù)據(jù)方面具有優(yōu)勢(shì)。數(shù)據(jù)抽象預(yù)處理及對(duì)相關(guān)變量（如，傳感器的時(shí)間序列）進(jìn)行數(shù)據(jù)空間劃分有助于對(duì)網(wǎng)絡(luò)和物理子系統(tǒng)進(jìn)行統(tǒng)一建模。由SDF捕獲的特征用于構(gòu)造時(shí)空模式網(wǎng)絡(luò)（STPN）[8]——最近提出的一種因果關(guān)系圖模型概念。通過(guò)訓(xùn)練這樣的模型，本文為檢測(cè)低概率事件或異常模式提出了一個(gè)推理方案。

2 背景及基本理論

2.1 時(shí)空模式網(wǎng)絡(luò)

符號(hào)動(dòng)態(tài)過(guò)濾（SDF）已被證明從異常檢測(cè)和模式分類(lèi)的時(shí)間序列數(shù)據(jù)中提取關(guān)鍵詞是非常有效的[9]。其核心思想是，從一個(gè)過(guò)程發(fā)出的符號(hào)序列（如，離散時(shí)間序列）可近似為D階馬爾可夫模型（D-Markov model），用于捕獲過(guò)程當(dāng)中潛在的關(guān)鍵行為。離散化或符號(hào)化的過(guò)程成為分區(qū)[9]?；诓煌哪繕?biāo)函數(shù)，一些研究當(dāng)中提出了不同的分區(qū)方法：如均勻分區(qū)（UP）、最大熵分區(qū)（MEP）、最大目標(biāo)離散化（MBD）等[10]。本文采用的是均勻分區(qū)方式。D階馬爾可夫模型本質(zhì)上是一個(gè)概率有限狀態(tài)自動(dòng)機(jī)（PFSA），可以由狀態(tài)（表示數(shù)據(jù)空間的各個(gè)部分）以及狀態(tài)之間的轉(zhuǎn)換概率（可從數(shù)據(jù)中學(xué)習(xí)得到）描述。

時(shí)空模式網(wǎng)絡(luò)（STPN）可定義如下：

一個(gè)STPN可以由一個(gè)四元組表示W(wǎng)D=(Qa,Σb,Πab,Λab)，a,b表示STPN的節(jié)點(diǎn)。

（1）Qa={q1,q2,…,是與符號(hào)序列Sa相對(duì)應(yīng)的狀態(tài)集。

（2）是符號(hào)序列Sa的集合。

（3）Πab是一個(gè)| Qa|×| Σb|的符號(hào)生成矩陣，第ij個(gè)元素表示在符號(hào)序列中從狀態(tài)qi轉(zhuǎn)變時(shí)在符號(hào)序列中找到符號(hào)σi的概率。自身符號(hào)生成矩陣稱(chēng)為原子模式（APs），當(dāng)a=b時(shí)；交叉符號(hào)生成矩陣稱(chēng)為交互模式（RPs），當(dāng)a!=b時(shí)。

（4）Λab表示一個(gè)交互模式重要性指標(biāo)（或因果關(guān)系的程度），可以采用基于信息論的指標(biāo)，如傳遞熵或互信息來(lái)定義。

一個(gè)STPN可以用圖1描述。

圖1 子系統(tǒng)自身行為及子系統(tǒng)間交互行為的原子模式（APs）和交互模式（RPs）提取

2.2 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)（RBM）近期在深度學(xué)習(xí)領(lǐng)域的無(wú)監(jiān)督特征提取中受到了很大的關(guān)注[11-12]。受限玻爾茲曼機(jī)的基本結(jié)構(gòu)如圖2的無(wú)監(jiān)督學(xué)習(xí)層（左上角）。作為基于能量的模型，通過(guò)學(xué)習(xí)權(quán)重和偏執(zhí)，使得系統(tǒng)在正常執(zhí)行期間觀察到的特征屬性獲得低能量（或高概率）?？紤]由一組可見(jiàn)變量v=(v1,v2,…,vD)和一組隱藏變量h=(h1,h2,…,hF)描述的系統(tǒng)狀態(tài)。變量的值根據(jù)實(shí)際需求可以是二值變量或?qū)崝?shù)變量。這些變量確定了系統(tǒng)的一個(gè)特定狀態(tài)和與其相關(guān)的能量值E(v,h)。能量值是變量之間連接權(quán)重的函數(shù)（對(duì)于RBM內(nèi)部連續(xù)僅考慮可見(jiàn)變量，不考慮隱藏變量），偏執(zhí)則是變量的函數(shù)。

圖2 一個(gè)基于數(shù)據(jù)驅(qū)動(dòng)的分布式CPS系統(tǒng)異常檢測(cè)框架

通過(guò)以上描述可得到，狀態(tài) p(v,h)的概率僅依賴(lài)于連接(v,h)的能量，同時(shí)滿(mǎn)足玻爾茲曼分布：

在訓(xùn)練過(guò)程當(dāng)中，通常最大化訓(xùn)練數(shù)據(jù)的似然函數(shù)來(lái)得到權(quán)重和偏置。

3 提出模型

圖2描述了以上提出的基于數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)異常檢測(cè)框架。在訓(xùn)練階段，學(xué)習(xí)STPN+RBM模型的步驟如下：

（1）從多元訓(xùn)練符號(hào)序列中學(xué)習(xí)APs和RPs（單節(jié)點(diǎn)行為和節(jié)點(diǎn)對(duì)的交互行為）。

（2）考慮來(lái)自訓(xùn)練樣本的短符號(hào)子序列，同時(shí)對(duì)其進(jìn)行評(píng)估求得Λij，i和 j對(duì)應(yīng)每一個(gè)子序列。

（3）對(duì)于每個(gè)子序列，基于在Λij中用戶(hù)設(shè)定的閾值，為每個(gè)AP和RP分配狀態(tài)0或1；從而每個(gè)子序列轉(zhuǎn)換成一個(gè)長(zhǎng)為L(zhǎng)的二值向量，L=#AP+#RP。

（4）然后使用RBM對(duì)APs和RPs對(duì)應(yīng)的可見(jiàn)層的節(jié)點(diǎn)進(jìn)行系統(tǒng)行為建模。

（5）將從子序列生成的二值向量作為特征進(jìn)行訓(xùn)練RBM模型。

3.1 訓(xùn)練STPN+RBM模型

考慮訓(xùn)練一個(gè)多元時(shí)間序列（上文提到的標(biāo)稱(chēng)操作數(shù)據(jù)），X={XA(t)},t∈N,A=1,2,…,f,f是時(shí)間序列變量的個(gè)數(shù)或維數(shù)。首先，執(zhí)行符號(hào)化及學(xué)習(xí)PFSA來(lái)抽取原子模式及交互模式，將其用于對(duì)應(yīng)的 f個(gè)頂點(diǎn)和 f2條邊的時(shí)空模式網(wǎng)絡(luò)（STPN）。在這種情形下，定義符號(hào)序列集為S={SA}。然后，定義一個(gè)短序列X={XA(t)},t∈N*,A=1,2,…,f，其中 N*是 N 的子集。本質(zhì)上講，從整體訓(xùn)練數(shù)據(jù)中按不同的時(shí)窗（由N*表示）抽出的序列均可視為短序列。類(lèi)似之前的定義，通過(guò)不同時(shí)間窗抽取的一組符號(hào)子序列可以定義為S={SA}。

下一步是為從整個(gè)時(shí)間序列提取的每個(gè)短子序列計(jì)算Λij。雖然基于信息論的度量是一個(gè)非常好的選擇，但這種度量方式需要大量的樣本點(diǎn)，因此在異常檢測(cè)這種缺乏負(fù)樣本的場(chǎng)景當(dāng)中不太適用。本文中采用文獻(xiàn)[13-14]中提到的統(tǒng)計(jì)推理策略度量方式，該度量的計(jì)算步驟分兩個(gè)階段：建模過(guò)程、預(yù)測(cè)過(guò)程。

建模過(guò)程：對(duì)整個(gè)訓(xùn)練數(shù)據(jù)的一個(gè)STPN可以描述為WD=(Qa,Σb,Πab,Λab)。整個(gè)符號(hào)序列集合定義為S；整個(gè)序列的狀態(tài)表示產(chǎn)為Q={Qa,a=1,2,…,f}；一個(gè)模式的狀態(tài)Πab取決于符號(hào)序列Qa及序列的狀態(tài)Sb。在該步驟，Πab的每一行都初始化為一個(gè)隨機(jī)向量。對(duì)于第m行，隨機(jī)向量的先驗(yàn)概率密度函數(shù)| {Qa,Sb}由聯(lián)合狀態(tài)符號(hào)序列{Qa,Sb}決定，并且服從狄利克雷分布。概率密度函數(shù)如下：

其中是隨機(jī)向量的一個(gè)實(shí)現(xiàn)：

其中

符號(hào)序列的時(shí)間長(zhǎng)度；是在狀態(tài)之后估計(jì)的。

Qa(k)是狀態(tài)序列Qa的第k個(gè)狀態(tài)；Sb(k +1)是符號(hào)序列Sb的第k+1個(gè)符號(hào)。

從而公式（3）可以改寫(xiě)為：

其中T(n)=(n-1)!。

根據(jù)馬爾可夫的屬性可知的行向量之間統(tǒng)計(jì)意義上相互獨(dú)立。通過(guò)公式（2）、（5）可以求得概率轉(zhuǎn)換矩陣關(guān)于狀態(tài)符號(hào)序列{Qa,Sb}的條件聯(lián)合概率密函數(shù)：

其中

預(yù)測(cè)過(guò)程：在對(duì)整個(gè)訓(xùn)練序列集建完模之后，預(yù)測(cè)的主要目的是計(jì)算給定的子序列（由Q和S描述）的度量Λab(Q)。度量的值大小表示模式Πab的重要度或短子序列a→b的因果關(guān)系。根據(jù)這一觀點(diǎn)，可以用公式表示如下：

當(dāng)轉(zhuǎn)換矩陣是已知的情況下，聯(lián)合狀態(tài)符號(hào)子序列的概率是獨(dú)立多項(xiàng)式分布的乘積：

的定義與上文對(duì)子序列的定義一致。

做與文獻(xiàn)[13]中類(lèi)似的推導(dǎo)，可以得到度量矩陣：

其中K是一個(gè)常量系數(shù)。

根據(jù)公式（9）可以對(duì)相應(yīng)短子序列獲得 APs和RPs重要性指標(biāo)。為了訓(xùn)練整個(gè)系統(tǒng)的RBM模型，可進(jìn)一步將APs和RPs的度量指標(biāo)標(biāo)準(zhǔn)化為二值狀態(tài)（低值置0，高值置1）。注意到，每個(gè)子序列所有的APs和RPs一起形成長(zhǎng)度為L(zhǎng)=f2的二值向量(L=#AP+#RP，其中：#AP=f,#RP=f*(f-1))。一個(gè)這樣的二值向量就是一條用于訓(xùn)練系統(tǒng)級(jí)RBM的樣本（有f2個(gè)可見(jiàn)單元），從不同子序列抽取的許多這樣的樣本則構(gòu)成了整個(gè)訓(xùn)練樣本集。然后如圖2所示，使用最大似然估計(jì)來(lái)訓(xùn)練RBM。本文采用的方式是將度量矩陣強(qiáng)制轉(zhuǎn)換成二值向量來(lái)簡(jiǎn)化RBM的訓(xùn)練，對(duì)于訓(xùn)練來(lái)說(shuō)，這一過(guò)程是非必須的。

說(shuō)明：在STPN學(xué)習(xí)過(guò)程中，加入一個(gè)滯后時(shí)間，STPN+RBM可以處理可變時(shí)滯系統(tǒng)，同時(shí)會(huì)大降低整個(gè)學(xué)習(xí)過(guò)程的復(fù)雜性。這與遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）類(lèi)似。

3.2 異常檢測(cè)過(guò)程

異常檢測(cè)過(guò)程采用RBM——一個(gè)基于能量的概率圖模型的自由能概念。RBM的能量函數(shù)可以定義如下：

W是隱藏單元的權(quán)重，b和c分別是可見(jiàn)單元和隱藏單元的偏置。

利用RBM的權(quán)重和偏置，可以獲得自由能的表示：

自由能的另一種表達(dá)可以是[8]：

在訓(xùn)練階段，最小化能量函數(shù)則可以得到模型的權(quán)重和偏置。通常異常模式應(yīng)該表現(xiàn)為低概率（高能量）的狀態(tài)。因此，在測(cè)試階段，可以根據(jù)模型對(duì)樣本的概率估計(jì)來(lái)檢測(cè)異常模式。在做異常檢測(cè)的過(guò)程中，測(cè)試子序列按照訓(xùn)練數(shù)據(jù)的轉(zhuǎn)換方式，將其轉(zhuǎn)換為 f2維二值向量。對(duì)多個(gè)測(cè)試子序列進(jìn)行估計(jì)，則可以得到自收能的分布情況。對(duì)于標(biāo)稱(chēng)模式，自由能的分布應(yīng)該與訓(xùn)練數(shù)據(jù)的分布比較接近，對(duì)于異常模式，自由能的分布將不同于訓(xùn)練數(shù)據(jù)的分布。

對(duì)比訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的分布，可以采用KL散度這一指標(biāo)[15]。因?yàn)镵L散度是一個(gè)非對(duì)稱(chēng)的描述兩個(gè)分布P和Q的指標(biāo)，是一種非對(duì)稱(chēng)的信息度量。因此這里可以采用一種對(duì)稱(chēng)KL距離的度量，即：

4 實(shí)驗(yàn)與討論

4.1 數(shù)據(jù)生成

向量自回歸（VAR）是處理多個(gè)相關(guān)指標(biāo)分析與預(yù)測(cè)最易操作的模型之一，在多元時(shí)間序列數(shù)據(jù)中非常的靈活與簡(jiǎn)單，在經(jīng)濟(jì)學(xué)等學(xué)科中得到了廣泛的應(yīng)用[16]。向量自回歸的基本模型(Y(t)=yi,j,i=(1,2,…,f),t∈N)可以用如下公式表示：其中 p是時(shí)間滯后階數(shù)，Ai,j是第 j個(gè)時(shí)間序列對(duì)第i個(gè)時(shí)間序列的影響系數(shù)，μt是均值E()μt=0；協(xié)方差矩陣E( )

μtμt=Σμ的噪聲。在本文中，將使用VAR模型生成多變量數(shù)據(jù)用于異常檢測(cè)模型的仿真。5個(gè)頂點(diǎn)的層次結(jié)構(gòu)表示各個(gè)頂點(diǎn)之間不同的相互作用。各種相互作用表示分布式CPS中的標(biāo)稱(chēng)條件和異常條件。生成兩組數(shù)據(jù)用于兩種情況的分析工作：（1）定義6種模式，第1種屬于標(biāo)稱(chēng)模式，其余5種為異常模式；（2）定義8種模式，前3種屬于標(biāo)稱(chēng)模式，其余5種為異常模式。第2種情況用于模擬CPS中多個(gè)標(biāo)稱(chēng)操作模式的情形。

然后從VAR生成的代表不同交互模式的原始數(shù)據(jù)中訓(xùn)練得到模型STPN。對(duì)于無(wú)監(jiān)督RBM的訓(xùn)練過(guò)程，僅僅從標(biāo)稱(chēng)模式中學(xué)習(xí)權(quán)重和偏置。訓(xùn)練好的RBM模型將用來(lái)對(duì)所有操作模式的數(shù)據(jù)計(jì)算關(guān)于不同模式輸入的自由能。最終對(duì)多個(gè)服從高斯分布的測(cè)試數(shù)據(jù)進(jìn)行自由能的評(píng)估，對(duì)比評(píng)估結(jié)果。

4.2 實(shí)驗(yàn)一分析：?jiǎn)螛?biāo)稱(chēng)模式

圖3中表示了預(yù)定義的圖模型，異常發(fā)生的情況是一個(gè)頂點(diǎn)出錯(cuò)并且與其連接的邊丟失。在實(shí)驗(yàn)中，采用標(biāo)稱(chēng)條件的原子模式和交互模式數(shù)據(jù)訓(xùn)練RBM模型。然后將訓(xùn)練好的RBM模型用于6個(gè)模式的所有測(cè)試數(shù)據(jù)，產(chǎn)生各個(gè)自由能的概率分布，如圖4。從圖中可以看出，標(biāo)稱(chēng)模式的自由能分布與訓(xùn)練數(shù)據(jù)自由能分布非常接近，其他模式的自由能分布則非常的不同。這表明異常模式具有高自由能，同時(shí)發(fā)生的概率低。計(jì)算分布之間的相關(guān)性得到，訓(xùn)練/標(biāo)稱(chēng)模式的自由能分布與所有其他測(cè)試模式的自由能分布之間的KLD指標(biāo)分別為：

圖3 合成數(shù)據(jù)的圖模型

圖4 合成數(shù)據(jù)的圖模型

4.3 實(shí)驗(yàn)二分析：多標(biāo)稱(chēng)模式

與先前的情況類(lèi)似，預(yù)定義的圖模型如圖5，自由能的分布如圖6。與預(yù)期的一致前三種模式的自由能分布類(lèi)似于訓(xùn)練數(shù)據(jù)的自由能分布。KLD分別為0.052、0.263、0.639。該圖還顯示，對(duì)于4至8，KLD值分別為5.06、5.46、6.24、4.91、9.97可以清楚地鑒定異常模式。總體上，結(jié)果清晰地表明，所提出的框架可以捕獲在一個(gè)模型內(nèi)的多個(gè)標(biāo)稱(chēng)模式，同時(shí)還可以有效地檢測(cè)因果關(guān)系模式的輕微變化。

圖5 RBM模型對(duì)各種模式（單標(biāo)稱(chēng)模式）的自由能分布

圖6 RBM模型對(duì)各種模式（多標(biāo)稱(chēng)模式）的自由能分布

4.4 討論

在分布式CPS當(dāng)中，其異常機(jī)制、特點(diǎn)和持續(xù)時(shí)間各不相同，這使得異常檢測(cè)非常困難，特別是對(duì)所有可能的異常標(biāo)記數(shù)據(jù)的收集。本文提出的框架中只需要正例樣本，異常檢測(cè)則看作是以標(biāo)稱(chēng)數(shù)據(jù)為條件的低概率事件。從實(shí)驗(yàn)的結(jié)果可以看出，異常條件下的自由能分布不同于標(biāo)稱(chēng)條件下自由能的分布，可以使用諸如KLD的變化來(lái)度量。此外，它有潛力監(jiān)控從小的物理退化到嚴(yán)重故障或網(wǎng)絡(luò)攻擊，其中小KLD表示因果模式的輕微變化，可預(yù)示早期退化或故障前兆。

5 結(jié)束語(yǔ)

本文提出了一個(gè)系統(tǒng)級(jí)的CPS異常檢測(cè)框架，該框架是一種基于數(shù)據(jù)驅(qū)動(dòng)的方法，但不同于監(jiān)督學(xué)習(xí)方法，不需要標(biāo)記好的正負(fù)樣本。該框架包括了一個(gè)時(shí)空特征提取方法用于發(fā)現(xiàn)和表征CPS各子系統(tǒng)之間相互作用的因果關(guān)系，以及使用RBM的全系統(tǒng)模式的自由能估計(jì)。以上實(shí)驗(yàn)表明，本文所提出的方法可以在單個(gè)概率圖模型中捕獲多個(gè)不同的標(biāo)稱(chēng)模式，并通過(guò)識(shí)別低概率事件來(lái)檢測(cè)異常模式。同時(shí)準(zhǔn)確性和魯棒性方面也表現(xiàn)良好。

目前的工作重點(diǎn)主要集中在檢測(cè)異常情況以及量化假警報(bào)，進(jìn)一步的工作將擴(kuò)展到：（1）將圖模型應(yīng)用到各種異常情況的根本原因分析上；（2）采用疊加RBM的方法捕獲更復(fù)雜的標(biāo)稱(chēng)模式；（3）檢測(cè)分布式CPS中同時(shí)出現(xiàn)的多個(gè)故障。

[1]Work D，Bayen A.Impacts of the mobile internet on transportation cyber-physical systems：Traffic monitoring using smartphones[C]//National Workshop for Research on High-Confidence Transportation Cyber-Physical Systems：Automotive，Aviation，and Rail，2008：18-29.

[2]趙慶周，李勇，田世明，等.基于智能配電網(wǎng)大數(shù)據(jù)分析的狀態(tài)監(jiān)測(cè)與故障處理方法[J].電網(wǎng)技術(shù)，2016，40（3）：774-780.

[3]Bradley J，Barbier J，Handler D.Embracing the Internet of everything to capture your share of$14.4 trillion[D].CISCO White Paper，2013.

[4]文成林，呂菲亞，包哲靜，等.基于數(shù)據(jù)驅(qū)動(dòng)的微小故障診斷方法綜述[J].自動(dòng)化學(xué)報(bào)，2016，42（9）：1285-1299.

[5]Sanislav T，Miclea L.Cyber-physical systems concept，challenges and research areas[J].Control Engineering&Applied Informatics，2012，14（2）：28-33.

[6]Choi A，Zheng L，Darwiche A，et al.A tutorial on Bayesian networks for system health management[J].Machine Learning and Knowledge Discovery for Engineering Systems Health Management，2011，10（1）：1-29.

[7]Krishnamurthy S，Sarkar S.Scalable anomaly detection and isolation in Cyber-physical systems using Bayesian networks[C]//Proceedings of ASME Dynamical Systems and Control Conference，2014.

[8]Jiang Z，Sarkar S.Understanding wind turbine interactions using spatiotemporal pattern network[C]//Proceedings of ASME Dynamical Systems and Control Conference，2015.

[9]Rao C，Sarkar S，Ray A，et al.Comparative evaluation of symbolic dynamic filtering for detection of anomaly patterns[J].Signal，Image and Video Processing，2009，3（2）：101-114.

[10]Sarkar S，Srivastav A，Shashanka M.Maximally bijective discretization for data-driven modeling of complex systems[C]//American Control Conference，2013：2674-2679.

[11]Hinton G，Salakhutdinov R.Supporting online material for reducing the dimensionality of data with neural networks[J].Science，2006，313：504-507.

[12]Roux N，Bengio Y.Representational power of restricted boltzmann machines and deep belief networks[J].Neural Computation，2008，20（6）：1631-1649.

[13]Akintayo A，Sarkar S.A symbolic dynamic filtering approach to unsupervised hierarchical feature extraction from time Series data[C]//American Control Conference，2015：5824-5829.

[14]Sarkar S，Mukherjee K，Sarkar S，et al.Symbolic dynamic analysis of transient time series for fault detection in gas turbine engines[J].Journal of Dynamic Systems Measurement&Control，2012，135（1）.

[15]Kullback S，Leibler R A.On information and sufficiency[J].The Annals of Mathematical Statistics，1951，22（22）：79-86.

[16]Goebel R，Roebroeck A，Kim D，et al.Investigating directed cortical interactions in time-resolved FMRI data using vector autoregressive modeling and Granger causality mapping[J].Magnetic Resonance Imaging，2003，21（10）：1251-1261.