張漢元，田學(xué)民（中國石油大學(xué)（華東）信息與控制工程學(xué)院， 山東 青島 266580）

?

基于KSFDA-SVDD的非線性過程故障檢測方法

張漢元，田學(xué)民
（中國石油大學(xué)（華東）信息與控制工程學(xué)院， 山東 青島 266580）

摘要：慢特征分析（SFA）是一種無監(jiān)督的線性學(xué)習(xí)算法，沒有考慮過程數(shù)據(jù)的類別信息和非線性特征。針對此問題，提出一種基于核慢特征判別分析（KSFDA）和支持向量數(shù)據(jù)描述（SVDD）的非線性過程故障檢測方法KSFDA-SVDD。該方法首先利用核技巧將數(shù)據(jù)從原始空間映射到高維空間，然后通過最大化正常工況數(shù)據(jù)和故障模式數(shù)據(jù)之間偽時間序列的時間變化同時最小化正常工況數(shù)據(jù)內(nèi)部偽時間序列的時間變化計算判別矩陣，最后利用SVDD描述采用判別矩陣降維后的正常工況數(shù)據(jù)的分布域，構(gòu)建監(jiān)控統(tǒng)計量檢測過程故障。在連續(xù)攪拌反應(yīng)器（CSTR）過程上的仿真結(jié)果表明所提出方法的故障檢測性能優(yōu)于傳統(tǒng)的KPCA方法。

關(guān)鍵詞：慢特征分析；判別分析；支持向量數(shù)據(jù)描述；非線性過程；故障檢測

2015-12-10收到初稿，2015-12-19收到修改稿。

聯(lián)系人：田學(xué)民。第一作者：張漢元（1991—），男，博士研究生。

引 言

近年來，基于數(shù)據(jù)驅(qū)動的過程監(jiān)控方法逐漸成為過程監(jiān)控領(lǐng)域中的研究熱點，其中主元分析（PCA）、偏最小二乘（PLS）和獨立元分析（ICA）等是研究較多的方法[1-3]。研究者們圍繞工業(yè)過程的非線性特征，提出了一系列改進的非線性PCA方法[4-5]。與其他的非線性方法相比，核主元分析法（KPCA）[5]使用核技巧計算非線性主元，不承擔(dān)任何非線性的優(yōu)化問題。但是KPCA是一種無監(jiān)督的學(xué)習(xí)方法，它僅僅根據(jù)正常工況數(shù)據(jù)建立統(tǒng)計模型而無法利用歷史故障數(shù)據(jù)的信息。因此在過程監(jiān)控時，KPCA不能從歷史故障數(shù)據(jù)中提取出重要的故障判別信息[6-7]。

慢特征分析（SFA）能夠從快速變化的輸入信號中提取出變化較慢的特征，它作為一種新的數(shù)據(jù)特征提取方法受到廣泛關(guān)注[8]。文獻[9-10]應(yīng)用SFA提取不變特征解決模式分類和圖像處理問題。考慮到數(shù)據(jù)的非線性特征，Bohmer等[11]采用核技巧構(gòu)建非線性SFA方法。在SFA的基礎(chǔ)上，Huang等[12]提出一種無監(jiān)督的非線性近鄰保持算法，保持原始空間中近鄰點之間的距離在投影空間中盡可能小。為了同時考慮同類數(shù)據(jù)的相似性和不同類數(shù)據(jù)的差異性，文獻[13-14]在SFA方法中引入了監(jiān)督學(xué)習(xí)的思想。

為了從非線性數(shù)據(jù)中提取不變特征同時保持數(shù)據(jù)的類判別信息，本文提出基于核慢特征判別分析和支持向量數(shù)據(jù)描述（KSFDA-SVDD）的故障檢測方法。從正常工況數(shù)據(jù)集和故障模式數(shù)據(jù)集中提取出判別矩陣后，利用判別矩陣對正常工況數(shù)據(jù)降維，采用SVDD描述降維后正常工況數(shù)據(jù)的分布域，建立監(jiān)控指標檢測故障。以連續(xù)攪拌反應(yīng)器（CSTR）過程為對象對所提方法的有效性進行了驗證。

1 慢特征分析

約束函數(shù)

通常情況下，原始的輸入數(shù)據(jù)在預(yù)處理階段會進行歸一化處理，因此約束函數(shù)（2）自動滿足。目標函數(shù)（1）和約束函數(shù)（3）重新表述為

求解式（7）中的廣義特征值問題獲得式（6）的解。

對于非線性數(shù)據(jù)的情況，非線性SFA首先將輸入數(shù)據(jù)非線性映射到高維特征空間，然后在特征空間中實施線性SFA變換。

2 KSFDA-SVDD故障檢測方法

2.1 核慢特征判別分析

受到將數(shù)據(jù)的類判別信息融入到SFA中思想的啟發(fā)[15]，本文提出核慢特征判別分析（KSFDA）方法，在高維特征空間中采用K-近鄰方法構(gòu)造類內(nèi)和類間偽時間序列，根據(jù)最小化類內(nèi)偽時間序列的時間變化同時最大化類間偽時間序列的時間變化準則求解判別矩陣。

考慮到數(shù)據(jù)的非線性特點，采用非線性映射函數(shù)Φ(?)分別將S和N映射到高維特征空間。用矩陣Sφ和Nφ分別表示特征空間中的故障模式數(shù)據(jù)集和正常工況數(shù)據(jù)集。

對于Nφ中的每一個數(shù)據(jù)點在中與近鄰的k個數(shù)據(jù)點表示為對于中的數(shù)據(jù)點與遠鄰的p個數(shù)據(jù)點表示為。

為了盡可能多地保持類判別信息，KSFDA的優(yōu)化目標是最大化正常工況數(shù)據(jù)φN和故障模式數(shù)據(jù)φ

S間偽時間序列的時間變化同時最小化正常工況數(shù)據(jù)φ

N內(nèi)偽時間序列的時間變化

將式（10）代入式（8），獲得

在本文中，核函數(shù)選擇使用高斯核函數(shù)

其中，σ表示核寬度參數(shù)。

式（17）中的最小化問題可以轉(zhuǎn)換成以下的廣義特征值分解問題

2.2 支持向量數(shù)據(jù)描述

支持向量數(shù)據(jù)描述（SVDD）的基本思想是尋找一個最小體積的超球體包含全部或絕大部分的訓(xùn)練數(shù)據(jù)[16]。在本文中，使用SVDD監(jiān)控正常工況數(shù)據(jù)的投影矩陣Y中數(shù)據(jù)的分布，構(gòu)建監(jiān)控統(tǒng)計量檢測故障。對于正常數(shù)據(jù)的投影矩陣，SVDD解決以下的最優(yōu)化問題

其中，b是超球體的球心，C是超球體的體積和誤差數(shù)量之間的權(quán)衡因子。iξ是松弛因子，它表示一些訓(xùn)練樣本被錯誤分類的概率。

應(yīng)用拉格朗日乘子法后，SVDD優(yōu)化問題的對偶形式如下

判定測試點xt是否是故障樣本，計算其投影向量yt到球心b的距離D作為監(jiān)控統(tǒng)計量

監(jiān)控統(tǒng)計量D的控制限D(zhuǎn)limt定義為球面上任何支持向量到球心b的距離。如果則判定測試點xt是正常樣本點，如果則判定測試點xt是故障樣本點。

2.3 KSFDA-SVDD故障檢測步驟

（1）離線建模階段

② 對標準化后的數(shù)據(jù)集N和S采用高斯核函數(shù)變換到高維特征空間，獲得數(shù)據(jù)集。

④ 根據(jù)式（19）計算高維空間中正常工況數(shù)據(jù)的投影矩陣Y，采用SVDD描述Y中數(shù)據(jù)的分布，建立監(jiān)控統(tǒng)計量的控制限D(zhuǎn)limt。

（2）在線檢測階段

① 將當(dāng)前測試數(shù)據(jù)xt進行標化后變換到高維特征空間，采用式（20）計算投影向量yt。

② 將投影向量yt代入式（23）計算當(dāng)前監(jiān)控統(tǒng)計量D，與控制限D(zhuǎn)limt比較，判斷是否出現(xiàn)故障。

3 仿真分析

本文以連續(xù)攪拌反應(yīng)釜（CSTR）系統(tǒng)作為仿真研究對象，其結(jié)構(gòu)圖參考文獻[17]。在CSTR的仿真過程中加入服從高斯分布的測量噪聲，采集900個正常工況下的樣本。模擬7類故障的發(fā)生，在每一類故障中分別采集300個樣本點，故障類型見表1。測試集數(shù)據(jù)采集900個樣本點，在第201個采樣時刻添加故障。

表1 故障類型Table 1 Fault pattern of CSTR system

在KPCA中，選取主元模型的階數(shù)依據(jù)主元方差的貢獻率在95%以上的原則，選用99%的置信上限來確定監(jiān)控統(tǒng)計量2T和SPE的閾值，選取核參數(shù)σ=90。為了公平比較，在KSFDA-SVDD中選擇矩陣A中特征向量的個數(shù)n與KPCA的主元個數(shù)一致，同樣選取σ=90，近鄰點個數(shù)k和遠鄰點個數(shù)p均取為6。

圖1 KPCA對故障F3的監(jiān)控圖Fig.1 KPCA monitoring chart for Fault F3

故障F3為冷卻水調(diào)節(jié)閥出現(xiàn)階躍故障，KPCA 和KSFDA-SVDD的故障檢測效果見圖1和圖2。在圖1中，KPCA的2T和SPE監(jiān)控統(tǒng)計量在各自的控制限上下波動，不能有效地檢測出故障。在圖2中，KSFDA-SVDD方法的D統(tǒng)計量在第201個采樣點處檢測出故障，故障檢出率為100%。

圖2 KSFDA-SVDD對故障F3的監(jiān)控圖Fig.2 KSFDA-SVDD monitoring chart for Fault F3

圖3 KPCA對故障F6的監(jiān)控圖Fig.3 KPCA monitoring chart for Fault F6

故障F6為進料溫度斜坡上升，圖3顯示KPCA 的SPE統(tǒng)計量在第266個采樣點檢測出故障，然而T2統(tǒng)計量在第307個采樣點檢測出故障，監(jiān)控結(jié)果相對較差。在圖4中，KSFDA-SVDD的D統(tǒng)計量在第209個采樣點檢測出故障。通過近一步的分析，KPCA的T2和SPE統(tǒng)計量故障檢出率分別為83.31%和84.60%，KSFDA-SVDD的D統(tǒng)計量故障檢出率為97.86%。

圖4 KSFDA-SVDD對故障F6的監(jiān)控圖Fig.4 KSFDA-SVDD monitoring chart for Fault F6

表2給出了KPCA和KSFA-SVDD方法對7種故障的檢測率。KPCA方法對于階躍故障F3的故障檢出率較低，不到50%，對于斜坡故障F1、F5、F6和F7的故障檢出率在85%左右。而KSFA-SVDD方法對于所有階躍故障的故障檢出率均為100%，對于所有斜坡故障的故障檢出率均在90%以上。綜合以上分析，本文提出的KSFA-SVDD方法故障檢測效果明顯優(yōu)于KPCA方法。

表2 KPCA和KSFDA-SVDD的故障檢出率Table 2 Fault detection rate of two methods

4 結(jié) 論

本文提出了基于KSFDA-SVDD的非線性過程故障檢測方法。KSFDA將正常工況數(shù)據(jù)和故障模式數(shù)據(jù)的類判別信息融入到SFA中并利用核技巧處理過程數(shù)據(jù)的非線性特征。利用從KSFDA方法

中求出的判別矩陣對正常工況數(shù)據(jù)降維后，采用SVDD描述正常數(shù)據(jù)的分布域，建立監(jiān)控統(tǒng)計量。通過在CSTR過程上進行仿真證明所提出算法的故障檢測效果優(yōu)于傳統(tǒng)的KPCA方法。

References

[1] GARCIA-ALVAREZ D, FUENTE M J, SAINZ G I. Fault detection and isolation in transient states using principal component analysis [J]. Journal of Process Control, 2012, 22 (3): 551-563.

[2] QIN S J. Survey on data-driven industrial process monitoring and diagnosis [J]. Annual Reviews in Control, 2012, 36 (2): 220-234.

[3] CAI L F, TIAN X M, CHEN S. A process monitoring method based on noisy independent component analysis [J]. Neurocomputing, 2014, 127 (3): 231-246.

[4] GENG Z Q, ZHU Q X. Multiscale nonlinear principal component analysis and its application for chemical process monitoring [J]. Industrial and Engineering Chemistry Research, 2005, 44 (10): 3585-3593.

[5] NGUYEN V H, GOLINVAL J C. Fault detection based on kernel principal component analysis [J]. Engineering Structures, 2010, 32 (11): 3683-3691.

[6] ZHAO C H, GAO F R. Fault-relevant principal component analysis (FPCA) method for multivariate statistical modeling and process monitoring [J]. Chemometrics and Intelligent Laboratory Systems, 2014, 133 (6): 1-16.

[7] ZHANG Y W, ZHANG L J, ZHANG H L. Fault detection for industrial processes [J]. Mathematical Problems in Engineering, 2012, 2012 (1): 1-18.

[8] WISKOTT L, SEJNOWSKI T J. Slow feature analysis: unsupervised learning of invariances [J]. Neural Computation, 2002, 14 (4): 715-770.

[9] WISKOTT L. How to solve classification and regression problems on high-dimensional data with a supervised extension of slow feature analysis [J]. The Journal of Machine Learning Research, 2013, 14 (1): 3683-3719.

[10] WU C, DU B, ZHANG L. Slow feature analysis for change detection in multispectral imagery [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52 (5): 2858-2874.

[11] BOHMER W, GRUNEWALDER S, NICKISCH H, et al. Regularized sparse kernel slow feature analysis[C]//Proceedings of the 2011 European Conference on Machine Learning and Knowledge Discovery in Databases. Athens, 2011: 235-248.

[12] HUANG Y P, ZHAO J L, LIU Y H, et al. Nonlinear dimensionality reduction using a temporal coherence principle [J]. Information Science, 2011, 181 (16): 3284-3307.

[13] ZHANG Z, TAO D. Slow feature analysis for human action recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34 (3): 436-450.

[14] ZHANG H Y, TIAN X M, CAI L F. Nonlinear process fault diagnosis using kernel slow feature discriminant analysis[C]//The 9th IFAC Symposium on Fault Detection, Supervision and Safety for Technical Processes. Paris, 2015, 48 (21): 607-612.

[15] HUANG Y P, ZHAO J L, TIAN M, et al. Slow feature discriminant analysis and its application on handwritten digit recognition[C]// Proceedings of International Joint Conference on Neural Networks. Atlanta, 2009: 1294-1297.

[16] SRIVASTAVA C. Support vector data description [J]. Machine Learning, 2004, 54 (1): 45-66.

[17] CAI L F, TIAN X M. A new fault detection method for non-Gaussian process based on robust independent component analysis [J]. Process Safety and Environmental Protection, 2014, 92 (6): 645-658.

研究論文

Received date: 2015-12-10.

Foundation item: supported by the National Natural Science Foundation of China (61273160, 61403418), the Natural Science Foundation of Shandong Province (ZR2014FL016) and the Fundamental Research Funds for the Central Universities (14CX06132A).

Nonlinear process fault detection based on KSFDA and SVDD

ZHANG Hanyuan, TIAN Xuemin
(College of Information and Control Engineering, China University of Petroleum (East China), Qingdao 266580, Shandong, China)

Abstract:Slow feature analysis (SFA) is an unsupervised liner learning algorithm and lacks the ability to consider class label information and data nonlinearity. In order to solve this problem, a novel nonlinear process fault detection method is proposed based on kernel slow feature discriminant analysis and support vector data description (KSFDA-SVDD). Firstly, process data is mapped from the original space into a high dimension feature space via kernel trick. Then, the discriminant matrix that maximizes the temporal variation of between-class pseudo-time series and minimizes the temporal variation of within-class pseudo-time series simultaneously is calculated. Finally, SVDD is applied to describe the distribution region of normal operation data which is projected to the discriminant matrix and one monitoring index is constructed to indicate the occurrence of the abnormal event. Simulation results on the continuous stirring tank reactor (CSTR) process show that the proposed method is more effective than the traditional KPCA method in terms of detecting faults.

Key words:slow feature analysis; discriminant analysis; support vector data description; nonlinear process; fault detection

DOI：10.11949/j.issn.0438-1157.20151875

中圖分類號：TP 277

文獻標志碼：A

文章編號：0438—1157（2016）03—0827—06

基金項目：國家自然科學(xué)基金項目（61273160，61403418）；山東省自然科學(xué)基金項目（ZR2014FL016）；中央高校基本科研業(yè)務(wù)費專項資金（14CX06132A）。

Corresponding author:Prof. TIAN Xuemin, tianxm@upc.edu.cn