薄翠梅，韓曉春，易輝，李俊（南京工業(yè)大學(xué)電氣工程與控制科學(xué)學(xué)院，江蘇 南京 211816）

?

基于聚類選擇k近鄰的LLE算法及故障檢測

薄翠梅，韓曉春，易輝，李俊
（南京工業(yè)大學(xué)電氣工程與控制科學(xué)學(xué)院，江蘇 南京 211816）

摘要：針對化工過程在多種運(yùn)行模式下多種流形結(jié)構(gòu)具有不同最優(yōu)近鄰數(shù)問題，提出了基于聚類選擇k近鄰的局部線性嵌入（LLE）過程監(jiān)控方法。使用LLE算法提取高維數(shù)據(jù)的低維子流形，通過局部線性回歸得到高維數(shù)據(jù)空間到特征空間的映射矩陣；選擇Silhouette指標(biāo)作為聚類有效性指標(biāo)評估嵌入空間樣本信息的相似性，進(jìn)而確定最優(yōu)近鄰數(shù)，根據(jù)映射矩陣構(gòu)建故障監(jiān)控統(tǒng)計量及其控制限,進(jìn)行故障檢測。最后將所提算法與其他經(jīng)典算法應(yīng)用于TE化工過程對比分析，驗證了算法的有效性。

關(guān)鍵詞：局部線性嵌入；最近鄰數(shù)；子流形；故障檢測；聚類指標(biāo)

2015-12-24收到初稿，2016-01-06收到修改稿。

聯(lián)系人及第一作者：薄翠梅（1973—），女，教授。

引 言

現(xiàn)代化工過程中存在強(qiáng)非線性、強(qiáng)耦合性和多模態(tài)等特性，使得過程數(shù)據(jù)不能直接反映其運(yùn)行狀態(tài)，需要提取有效數(shù)據(jù)進(jìn)行分析[1]。傳統(tǒng)的線性降維算法，如PCA[2]，保持了數(shù)據(jù)集的全局距離結(jié)構(gòu)不變，不能保持非線性數(shù)據(jù)結(jié)構(gòu)的內(nèi)在流形?；诤撕瘮?shù)的非線性降維算法，如KPCA[3]，采用核函數(shù)將數(shù)據(jù)映射到非線性空間，增加了計算復(fù)雜度?；诹餍蔚姆蔷€性降維算法，如等距映射（ISOMAP）[4]、局部線性嵌入（LLE）[5]、鄰域保持嵌入（NPE）[6]等，通過保持?jǐn)?shù)據(jù)的幾何結(jié)構(gòu)，發(fā)現(xiàn)嵌入在高維數(shù)據(jù)中的低維特征，引起了廣泛的關(guān)注。

在LLE算法[7]中，需要人為設(shè)定兩個自由參數(shù)，即嵌入空間的維數(shù)d和最近鄰個數(shù)k，其中后者的選擇對嵌入結(jié)果和映射質(zhì)量有很大影響[8]。在故障診斷過程中，由于故障類別的多樣性，原始數(shù)據(jù)集在空間中呈間斷性分布[9]，在用k近鄰構(gòu)建鄰域圖時，如果數(shù)據(jù)集的近鄰數(shù)選取不當(dāng)，將導(dǎo)致投影到低維空間的故障信息不能保持原始數(shù)據(jù)的幾何結(jié)構(gòu)的完整性[10]。當(dāng)k較小時，數(shù)據(jù)將會被分割成多個較小的鄰域而無法反映數(shù)據(jù)連續(xù)的局部幾何特征，k較大時，會將不相關(guān)的數(shù)據(jù)點(diǎn)劃分到一個鄰域內(nèi)[11]。

本文針對非線性化工過程中數(shù)據(jù)類型的多樣性，提出了基于聚類算法選擇最近鄰數(shù)k的LLE算法，并將其應(yīng)用到故障檢測中。

1 基于聚類選擇k近鄰的局部線性嵌入算法

局部線性嵌入算法是流形學(xué)習(xí)算法中非線性降維算法，其基本思想是采用局部線性化方法，構(gòu)建局部線性超平面，將高維數(shù)據(jù)空間映射到低維空間中，保持局部流形結(jié)構(gòu)不變，通過相互重疊的局部鄰域信息來表達(dá)整體集合性質(zhì)[12]。

不同類別模式的數(shù)據(jù)位于不同的流形結(jié)構(gòu)上，當(dāng)選擇相同的近鄰數(shù)時，其降維的效果不同[13]。本文對Swiss Roll、Sphere、Twin Peaks數(shù)據(jù)集及當(dāng)k取不同值時進(jìn)行LLE降維后的投影流形進(jìn)行仿真研究，如圖1所示。圖1(a)為Swiss Roll數(shù)據(jù)集及當(dāng)k= 6，16，20時，通過LLE降維后的投影流形，圖1(b)為Sphere數(shù)據(jù)集及當(dāng)k = 2，6，16時的投影流形，圖1(c)為Twin Peaks數(shù)據(jù)集及當(dāng)k = 6，16，20時的投影流形。從圖中可以看出，當(dāng)k分別為16、6、20時，Swiss Roll、Sphere、Twin Peaks的降維效果最好。

1.1 局部線性嵌入算法

圖1 人工數(shù)據(jù)集及其LLE降維Fig.1 Artificial datasets and projection performed LLE algorithm

（1）構(gòu)造鄰域連接圖：對于每個樣本點(diǎn)，采用歐式距離確定它k個近鄰。

（2）重構(gòu)權(quán)值矩陣W：在每個樣本點(diǎn)及它的鄰域點(diǎn)之間重構(gòu)權(quán)向量，使誤差函數(shù)ε(Wi)達(dá)到最小。

如果xj不屬于xi的近鄰，則。

（3）計算嵌入矩陣：通過權(quán)值矩陣W使損失函數(shù)ε(Y)最小化計算嵌入矩陣Y。損失函數(shù)及其約束條件為

1.2 LLE投影

局部線性嵌入算法不能直接將高維數(shù)據(jù)空間投影到低維空間中，新的樣本數(shù)據(jù)要通過映射矩陣投影到低維空間中。映射矩陣可以通過求解線性平方回歸問題得到[15]

其中1≤ j≤ d，yi是低維空間的嵌入坐標(biāo)，yij是yi的第j個變量。

新的樣本數(shù)據(jù)xnew可以通過ynew= Axnew計算新的嵌入坐標(biāo)ynew。

1.3 基于聚類算法選擇k近鄰

針對不同數(shù)據(jù)結(jié)構(gòu)最優(yōu)近鄰數(shù)不同的問題，將選擇k近鄰數(shù)看作選取最優(yōu)聚類數(shù)[16]。根據(jù)系統(tǒng)模型的聚類有效性指標(biāo)確定最優(yōu)聚類結(jié)果所對應(yīng)的聚類數(shù)目，即最佳聚類數(shù)kopt[17]。Silhouette指標(biāo)反映了聚類結(jié)構(gòu)的類內(nèi)緊密性和類間分離性。

圖2 故障4的監(jiān)控結(jié)果Fig.2 Monitoring results of fault 4

Silhouette指標(biāo)Sil可以表示如下

所有樣本的平均Silhouette指標(biāo)值越大表示聚類質(zhì)量越好，其最大值對應(yīng)的類數(shù)為最佳聚類數(shù)，即kopt可以通過式（6）確定

式中，N為所有樣本的個數(shù)，Ni是類別i中訓(xùn)練樣本的個數(shù)，。

2 過程監(jiān)控

2.1 構(gòu)造故障監(jiān)控統(tǒng)計量

將LLE算法應(yīng)用到故障監(jiān)控中，分別對低維數(shù)據(jù)空間的特征空間和殘差空間構(gòu)造T2和Q統(tǒng)計量[18]，T2和Q統(tǒng)計量的定義公式為

式中，ynew為觀測數(shù)據(jù)xnew在LLE空間的投影，可以通過ynew= Axnew計算得到；S是正常狀態(tài)下嵌入矩陣Y的協(xié)方差矩陣，即T/(N 1)=? S Y Y。T2和Q統(tǒng)計量的控制限為

式中，F(xiàn)( d , N? d , α )為自由度為d和N? d置信水平為α的F分布。λ為協(xié)方差矩陣S的特征值，cα是正態(tài)分布在檢驗水平為α下的臨界值。當(dāng)或者Q＞ Qucl時，檢測故障發(fā)生。

2.2 故障檢測步驟

圖3 故障5的監(jiān)控結(jié)果Fig.3 Monitoring results of fault 5

利用監(jiān)控統(tǒng)計量對故障數(shù)據(jù)集的特征空間和殘差空間進(jìn)行在線監(jiān)控。

2.2.1 離線建模

（1）選擇最優(yōu)聚類數(shù)k的搜索范圍[kmin, kmax]，其中kmin= 2，kmax= int(N )，確定固有維數(shù)d，并設(shè)Sil= 0。

（2）對數(shù)據(jù)樣本X進(jìn)行標(biāo)準(zhǔn)化處理，根據(jù)LLE算法計算嵌入矩陣Y和投影矩陣A。

（3）對故障觀測數(shù)據(jù)集X'進(jìn)行標(biāo)準(zhǔn)化處理，根據(jù)Y'= AX'計算其嵌入坐標(biāo)Y'。

（4）根據(jù)式（5）計算Y'所有樣本Silhouette指標(biāo)Sil。

2.2.2 在線檢測

（1）確定kopt，根據(jù)正常數(shù)據(jù)的均值和方差對Xnew進(jìn)行標(biāo)準(zhǔn)化處理。

（2）采用LLE算法進(jìn)行特征提取及投影。

（3）計算T2和Q統(tǒng)計量，判斷是否超過其相應(yīng)的控制限。

3 TE過程仿真研究

Tennessee-Eastman（TE）[19]過程是一個實際工藝流程的標(biāo)準(zhǔn)測試過程，運(yùn)行代碼和故障數(shù)據(jù)來源于http://depts.washington.edu/control/LARRY/TE/down load.html#Topics。本文選取40個測量變量和12個操作變量用于過程監(jiān)控，將所提算法與PCA、KPCA 和LLE算法相對比，采用方差貢獻(xiàn)度確定主元個數(shù)，設(shè)定方差貢獻(xiàn)率為0.85。在LLE模型中，設(shè)定近鄰個數(shù)選為k = 33，低維特征空間的維數(shù)為d= 14，統(tǒng)計量置信度為0.99[20]。

圖2和圖3分別繪出了這4種方法對故障4、5的監(jiān)控圖。故障4和5分別為反應(yīng)器和冷凝器冷卻水入口溫度階躍擾動。從這3個故障監(jiān)控圖中可以看出所提算法的檢測得到了非常明顯的提升，特別是特征空間上的T2統(tǒng)計量與其他算法相對比具有較好的監(jiān)控效果。

表1 TE過程故障數(shù)據(jù)集的誤報率Table 1 False alarm rate of fault database in TE process

本文將這4種算法對TE過程的21種故障進(jìn)行了測試，采用誤報率作為故障檢測效果的評價標(biāo)準(zhǔn)，計算了TE過程的21種故障的誤報率，結(jié)果見表1。從表中可以看出，對于故障4、5、8、9、10、19、20、21，與其他3種算法相對比，本文所提算法具有更好的檢測效果。針對每一個故障，誤報率最低的值用粗體表示，所提算法的最優(yōu)檢測率最多，而且T2統(tǒng)計量的平均誤報率（average）及排除故障3、9、15之后的平均誤報率（average*）在這4種算法中最小，說明檢測效果較好。

4 結(jié) 論

復(fù)雜化工過程具有多種的運(yùn)行模式，不同流形的數(shù)據(jù)樣本結(jié)構(gòu)具有不同的最優(yōu)近鄰數(shù)，本文根據(jù)不同的數(shù)據(jù)類型，把選擇k近鄰數(shù)看作選取最優(yōu)聚類數(shù)，根據(jù)聚類有效性指標(biāo)計算合適的聚類數(shù)，通過映射矩陣降到低維空間，構(gòu)建T2和Q統(tǒng)計量模型進(jìn)行故障監(jiān)控。在TE化工過程采用4種過程監(jiān)控方法進(jìn)行對比，結(jié)果表明所提算法比其他算法具有更好的故障檢測性能。

References

[1] 王健, 馮健, 韓志艷. 基于流形學(xué)習(xí)的局部保持PCA算法在故障檢測中的應(yīng)用 [J]. 控制與決策, 2013, 28 (5): 683-687. DOI:10.13195/ j.cd.2013.05.46.wangj.025.

WANG J, FENG J, HAN Z Y. Locally preserving PCA method based on manifold learning and its application in fault detection [J]. Control and Decision, 2013, 28 (5): 683-687. DOI: 10.13195/j.cd.2013.05.46. wangj.025.

[2] 王晶, 劉莉, 曹柳林, 等. 基于核Fisher包絡(luò)分析的間歇過程故障診斷 [J]. 化工學(xué)報, 2014, 65 (4): 1317-1326. DOI: 10.3969/j.issn.0438-1157.2014.04.023.

WANG J, LIU L, CAO L L, et al. Fault diagnosis based on kernel Fisher envelope surface for batch processes [J]. CIESC Journal, 2014, 65 (4): 1317-1326. DOI: 10.3969/j.issn.0438-1157.2014.04.023.

[3] JIANG Q C, YAN X F. Nonlinear plant-wide process monitoring using MI-spectral clustering and Bayesian inference- based multiblock KPCA [J]. Journal of Process Control, 2015, 32 (1): 38-50. DOI: 10.1016/j.jprocont.2015.04.014

[4] 張妮, 田學(xué)民, 蔡連芳. 基于RISOMAP的非線性過程故障檢測方法 [J]. 化工學(xué)報, 2013, 64 (6): 2125-2130. DOI: 10.3969/j.issn.0438-1157.2013.06.031.

ZHANG N, TIAN X M, CAI L F. Non-linear process fault detection method based on RISOMAP [J]. CIESC Journal, 2013, 64 (6): 2125-2130. DOI: 10.3969/j.issn.0438-1157.2013.06.031.

[5] YANG X F, GOH A, QIU A Q. Locally linear diffeomorphic metric embedding (LLDME) for surface-based anatomical shape modeling [J]. Neuroimage, 2011, 56 (1): 149-161. 10.1016/j.neuroimage.2011.01.069.

[6] MIAO A M, GE Z Q, SONG Z H, et al. Nonlocal structure constrained neighborhood preserving embedding model and Its application for fault detection [J]. Chemometrics and Intelligent Laboratory Systems, 2015, 142: 184-196. DOI:10.1016/j.chemolab. 2015.01.010.

[7] JING C, YANG L. Locally linear embedding: a survey [J]. Artificial Intelligence Review, 2011, 36 (1): 29-48. DOI: 10.1007/s10462-010-9200-z.

[8] SHAN R F, CAI W S, SHAO X G. Variable selection based on locally linear embedding mapping for near-infrared spectral analysis [J]. Chemometrics and Intelligent Laboratory Systems, 2014, 131: 31-36. DOI:10.1016/j.chemolab.2013.12.002.

[9] SLUBAN B, LAVRA? N. Relating ensemble diversity and performance: a study in class noise detection [J]. Neurocomputing, 2015, 160: 120-131. DOI: 10.1016/j.neucom.2014.10.086.

[10] XIE X X, HU J Z, XU F Y, et al. A fault diagnosis method using multi-manifold learning based on locally linear embedding [J]. Chinese Journal of Mechanical Engineering, 2013, 49 (11): 79-83. DOI: 10.3901/JME.2013.11.079.

[11] ANDRéS á-M, JULIANA V-A, GENARO D-S, et al. Global and local choice of the number of nearest neighbors in locally linear embedding [J]. Pattern Recognition Letters, 2011, 32 (16): 2171-2177. DOI: 10.1016/j.patrec.2011.05.011.

[12] WANG J. Real local-linearity preserving embedding [J]. Neurocomputing, 2014, 136 (20): 7-13. DOI: 10.1016/j.neucom.2014. 01.040.

[13] HETTIARACHCHI R, PETERS J F. Multi-manifold LLE learning in pattern recognition [J]. Pattern Recognition, 2015, 48 (9): 2947-2960. DOI: 10.1016/j.patcog.2015.04.003.

[14] 馬玉鑫, 王夢靈, 侍洪波. 基于局部線性嵌入算法的化工過程故障檢測 [J]. 化工學(xué)報, 2012, 63 (7): 2121-2127. DOI: 10.3969/j.issn. 0438-1157.2012.07.018.

MA Y X, WANG M L, SHI H B. Fault detection for chemical process based on locally linear embedding [J]. CIESC Journal, 2012, 63 (7): 2121-2127. DOI: 10.3969/j.issn.0438-1157. 2012.07.018.

[15] LI B W, ZHANG Y. Supervised locally linear embedding projection (SLLEP) for machinery fault diagnosis [J]. Mechanical Systems and Signal Processing, 2011, 25 (8): 3125-3134. DOI: 10.1016/j.ymssp. 2011.05.001.

[16] 周世兵, 徐振源, 唐旭清. 新的k均值算法最佳聚類數(shù)確定方法[J]. 計算機(jī)工程與應(yīng)用, 2010, 46 (16): 27-31. DOI: 10.3778/j.issn.1002-8331.2010.16.008.

ZHOU S B, XU Z Y, TANG X Q. New method for determining optimal number of clusters in k-means clustering algorithm [J]. Computer Engineering and Applications, 2010, 46 (16): 27-31. DOI: 10.3778/j.issn.1002-8331.2010.16.008.

[17] ZHOU C Y, CHEN Y Q. Improving nearest neighbor classification with cam weighted distance [J]. Pattern Recognition, 2006, 39 (4): 635-645. DOI: 10.1016/j.patcog.2005.09.004.

[18] SAKTHIVEL N R, NAIR B B, ELANGOVAN M, et al. Full length article: comparison of dimensionality reduction techniques for the fault diagnosis of mono block centrifugal pump using vibration signals [J]. Engineering Science and Technology, 2014, 17 (1): 30-38. DOI: 10.1016/j.jestch.2014.02.005.

[19] CHEN H H, TI?O P, YAO X. Cognitive fault diagnosis in Tennessee Eastman process using learning in the model space [J]. Computers and Chemical Engineering, 2014, 67: 33-42. DOI: 10.1016/j.compchemeng. 2014.03. 015.

[20] 宋冰, 馬玉鑫, 方永鋒, 等. 基于LSNPE 算法的化工過程故障檢測 [J]. 化工學(xué)報, 2014, 65 (2): 620-627. DOI: 10.3969/j.issn.0438-1157.2014.02.036.

SONG B, MA Y X, FANG Y F, et al. Fault detection for chemical process based on LSNPE method [J]. CIESC Journal, 2014, 65 (2): 620-627. DOI: 10.3969/j.issn.0438-1157.2014.02.036.

研究論文

Received date: 2015-12-24.

Foundation item: supported by the National Natural Science Foundation of China (61203020, 61503181) and the Natural Science Foundation of Jiangsu Province (BK20141461, BK20140953).

Neighborhood selection of LLE based on cluster for fault detection

BO Cuimei, HAN Xiaochun, YI Hui, LI Jun
(College of Electrical Engineering and Control Sciences, Nanjing Tech University, Nanjing 211816, Jiangsu, China)

Abstract:In the process of chemical engineering, multiple manifold structures has different optimal number of nearest neighborhood under various operating modes. Locally linear embedding (LLE) algorithm based on clustering to select the nearest neighborhood is proposed for nonlinear monitoring. LLE algorithm was performed for dimensionality reduction and extract the available information in high-dimensional data. The mapping matrix from data space to feature space was obtained by local linear regression. The Silhouette index was selected as the clustering validity index to estimate the similarity between the embedded sample information, and further determine the optimal number of neighbors. Process monitoring statistics and its control limits were built based on the mapping matrix. Finally, the feasibility and efficiency of the proposed method were illustrated through the Tennessee Eastman process.

Key words:locally linear embedding; the number of nearest neighbor; sub-manifold; fault detection; clustering index

DOI：10.11949/j.issn.0438-1157.20151963

中圖分類號：TP 277

文獻(xiàn)標(biāo)志碼：A

文章編號：0438—1157（2016）03—0925—06

基金項目：國家自然科學(xué)基金項目（61203020，61503181）；江蘇省自然科學(xué)基金項目（BK20141461，BK20140953）。

Corresponding author:Prof. BO Cuimei, lj_bcm@163.com