于春梅

西南科技大學(xué)信息工程學(xué)院，四川綿陽(yáng) 621010

稀疏特征選擇在過(guò)程工業(yè)故障診斷中的應(yīng)用

于春梅

西南科技大學(xué)信息工程學(xué)院，四川綿陽(yáng) 621010

從一定意義上講，故障診斷可以看成是用模式識(shí)別或者模式分類(lèi)方法來(lái)解決故障的分類(lèi)問(wèn)題[1]。作為一種有效的降維手段，多元統(tǒng)計(jì)類(lèi)方法在大規(guī)模工業(yè)系統(tǒng)，如過(guò)程工業(yè)的故障檢測(cè)和診斷中發(fā)揮了重要作用。已經(jīng)證明，如果直接對(duì)被測(cè)量采用主元分析法（Principal Component Analysis，PCA）或者Fisher判據(jù)分析法（Fisher Discriminant Analysis，F(xiàn)DA），得出的故障診斷結(jié)果并不理想。特征選擇方法從原始空間選擇子集，不僅可以降低數(shù)據(jù)維數(shù)，減少計(jì)算量；還可以去除冗余信息，有效提高故障診斷效果[2]。

影響特征選擇的兩個(gè)主要因素一是選擇準(zhǔn)則（影響精度），二是搜索算法（影響速度）。對(duì)于選擇準(zhǔn)則，一般采用可分性準(zhǔn)則或基于時(shí)頻分析的方法；搜索算法一般分為窮盡搜索、順序搜索和隨機(jī)搜索。對(duì)特征選擇的改進(jìn)要么在選擇準(zhǔn)則上有所創(chuàng)新，要么在搜索算法上下功夫，又或者二者兼而有之。隨著對(duì)壓縮傳感研究的深入，不少學(xué)者意識(shí)到特征選擇問(wèn)題也可以表示成壓縮傳感的優(yōu)化問(wèn)題求解；這時(shí)，選擇準(zhǔn)則為優(yōu)化目標(biāo)函數(shù)，而搜索算法則是優(yōu)化問(wèn)題的求解算法。Yang等[3]將識(shí)別問(wèn)題轉(zhuǎn)化為尋找訓(xùn)練集中圖像特征的稀疏表達(dá)問(wèn)題；Cao等[4]利用稀疏優(yōu)化問(wèn)題選擇基因SNP數(shù)據(jù)中的關(guān)鍵部分；二者均取得了較好的效果；但所采用的特征并不適用于過(guò)程工業(yè)數(shù)據(jù)。如何基于稀疏優(yōu)化來(lái)選擇過(guò)程工業(yè)數(shù)據(jù)的關(guān)鍵特征，使其利于對(duì)特定故障的診斷？基于稀疏表達(dá)的特征選擇與傳統(tǒng)的基于小波包和B距離的方法相比是否有優(yōu)勢(shì)？是本文的一個(gè)關(guān)鍵問(wèn)題。

另外，近年來(lái)還有其他一些基于稀疏優(yōu)化的算法在模式識(shí)別等領(lǐng)域取得了不錯(cuò)的效果。Zou等[5]基于PCA可以寫(xiě)成回歸類(lèi)型的優(yōu)化問(wèn)題，將1范數(shù)項(xiàng)加入優(yōu)化準(zhǔn)則，以得到PCA負(fù)荷向量的稀疏解，即為SPCA（sparsePCA）[6]；趙忠蓋等[7]則引入了稀疏核主元分析（SKPCA），提高了監(jiān)控的實(shí)時(shí)性。這兩種方法雖然適用于過(guò)程工業(yè)數(shù)據(jù)，但只進(jìn)行了故障監(jiān)測(cè)的驗(yàn)證，沒(méi)有相關(guān)故障診斷的結(jié)果。Qiao等[8-9]將稀疏保持投影（Sparsity Preserving Projection，SPP）應(yīng)用于人臉識(shí)別，其思想是在低維空間保持稀疏重構(gòu)關(guān)系。Wright等[10]采用稀疏表達(dá)分類(lèi)器（Sparse Representation Classifier，SRC）進(jìn)行人臉識(shí)別，取得了較好的效果，并被推廣應(yīng)用于其他應(yīng)用[11-13]。以上方法雖然取得了不錯(cuò)的效果，但均缺乏過(guò)程工業(yè)故障診斷的有力例證。那么這些方法是否適用于過(guò)程工業(yè)的故障診斷？與特征選擇后再進(jìn)行故障診斷的方法相比，結(jié)果怎樣？是本文的另一個(gè)關(guān)鍵。

本文接下來(lái)將首先介紹基于小波包和B距離的特征提取方法在故障診斷中的應(yīng)用，接著從SRC、SPP和SPCA，引入本文所提出的基于稀疏表達(dá)的特征提取方法，并給出算法步驟。選擇出關(guān)鍵變量后，再采用Bayes分類(lèi)器診斷田納西一伊斯曼（TE）過(guò)程的三類(lèi)故障（http：// brahms.scs.uiuc.edu），最后給出本文方法與小波包分解和B距離方法，以及SRC、SPP、SPCA方法的比較結(jié)果。

1 基于小波包分解和B距離的特征選擇

基于小波包分解和B距離的特征選擇為特征選擇的經(jīng)典方法，本文將它們作為比較算法。下面簡(jiǎn)單介紹將它們用于TE過(guò)程特征選擇的實(shí)施方法。

Bhattacharyya距離提供了一種兩類(lèi)數(shù)據(jù)的可分性測(cè)度，簡(jiǎn)稱(chēng)B距離，其定義為：

其中，(μ1，Σ1)，(μ2，Σ2)，分別為兩類(lèi)數(shù)據(jù)的均值和方差。特征選擇即選擇B距離大的變量而舍棄B距離小的變量。由于要測(cè)試的是三類(lèi)故障，因此在排序時(shí)，對(duì)兩兩數(shù)據(jù)分別進(jìn)行變量排序，以和作為每個(gè)變量的總排名依據(jù)。

與B距離不同，小波包分解考慮數(shù)據(jù)的時(shí)頻域特性，由小波包分解系數(shù)的大小來(lái)確定哪些變量為重要變量。設(shè)xj(i)，i=1，2，…，l，j=1，2，…，52為T(mén)E過(guò)程的第j個(gè)檢測(cè)變量的離散采樣序列，選擇二進(jìn)小波包變換，在2N分辨率下分析，分解后的信號(hào)用xj(n，k)表示，這里n= 0，1，…，N表示分解的層數(shù)，k=1，2，…，2n代表頻段。

定義原信號(hào)能量（第j個(gè)變量）：

由于各測(cè)量量具有不同的量程，為了避免大信號(hào)占絕對(duì)主導(dǎo)，定義分解后的能量和為：

設(shè)第j個(gè)測(cè)量量在正常模式下分解后的能量和為(j)，故障情況下分解后的能量和為(j)。計(jì)算各變量在不同模式下的能量差向量：

按照能量差的大小排序，并記下每個(gè)變量對(duì)應(yīng)的序號(hào)。與B距離方法相同，在排序時(shí)，對(duì)兩兩數(shù)據(jù)分別進(jìn)行變量排序，以和作為每個(gè)變量的總排名依據(jù)。

2 基于稀疏表達(dá)的特征提取

2.1 基于稀疏表達(dá)的模式識(shí)別方法

近年來(lái)，基于稀疏表達(dá)的方法在模式識(shí)別領(lǐng)域已經(jīng)取得了不少成果，其中應(yīng)用最為廣泛的是稀疏表達(dá)分類(lèi)SRC和稀疏投影保持SPP。這兩者的核心均為求解典型的稀疏優(yōu)化問(wèn)題：

對(duì)于SPP，A為訓(xùn)練樣本組成的矩陣，但每次抽出一列作為y，得到一個(gè)對(duì)應(yīng)的s，設(shè)共有N個(gè)訓(xùn)練樣本，則共進(jìn)行N次優(yōu)化求解，得到N個(gè)稀疏向量，這些稀疏向量在對(duì)應(yīng)位置填充0以擴(kuò)充向量，并組成稀疏權(quán)重矩陣；以此為基礎(chǔ)，求降維矩陣，使稀疏重構(gòu)誤差最小，將降維的測(cè)試樣本與降維的訓(xùn)練樣本比較距離，即可實(shí)現(xiàn)歸類(lèi)。

除了這兩種方法之外，還有一種PCA的稀疏版本，將PCA問(wèn)題轉(zhuǎn)化為回歸問(wèn)題，并增加1范數(shù)項(xiàng)。

其中，A為訓(xùn)練樣本，Ai為A的第i行，n為樣本數(shù)，β?為所求的稀疏負(fù)荷向量，k為主元數(shù)量。

以上三種方法中，SPP計(jì)算比較麻煩，且不能求解樣本數(shù)大于變量數(shù)的情形；SRC已經(jīng)被成功用于模式識(shí)別，但對(duì)于過(guò)程工業(yè)的故障診斷還沒(méi)有例證；SPCA可以方便地實(shí)現(xiàn)檢測(cè)，尚沒(méi)有作者實(shí)現(xiàn)識(shí)別或診斷。將提出基于稀疏優(yōu)化的特征提取方法，并與以上方法比較。

2.2 基于稀疏表達(dá)的特征提取

與以上方法不同，本文目的是從眾多測(cè)量變量中選擇出最利于分類(lèi)的變量，然后采用Bayes分類(lèi)器對(duì)測(cè)試樣本進(jìn)行分類(lèi)。為了得到關(guān)鍵變量，對(duì)于A(yíng)矩陣，不是直接由樣本構(gòu)成，而是分別用幾類(lèi)訓(xùn)練樣本的均值和方差作為樣本的特征來(lái)構(gòu)成，其形式為：

表1 各種算法故障識(shí)別錯(cuò)誤率（%）

其中，meani，vari，i=0，1，2分別代表故障i的均值和方差。對(duì)于輸出y，參考用于分類(lèi)判別的部分最小二乘（Partial Least Squares，PLS）的輸出定義，3類(lèi)共定義3列；第一列僅與故障0對(duì)應(yīng)的元素為1，其余為0，第二列僅與故障1對(duì)應(yīng)的元素為1，第三列僅與故障2對(duì)應(yīng)的元素為1，形如：

在滿(mǎn)足Y=AS的條件下，為了得到稀疏解，求解l1范數(shù)約束的最小二乘擬合問(wèn)題，并轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題。

所求稀疏矩陣分別由與Y的各列對(duì)應(yīng)的稀疏向量構(gòu)成：

其中S表示不同變量對(duì)幾類(lèi)的貢獻(xiàn)。如果所得的S是稀疏的，則表明少數(shù)不為0的元素對(duì)應(yīng)的變量對(duì)分類(lèi)起主導(dǎo)作用，將選擇這些變量作為關(guān)鍵變量用于故障分類(lèi)。

2.3 算法步驟

采用同倫算法來(lái)求解式（10）。同倫是指隨著λ增大，目標(biāo)函數(shù)從l2懲罰轉(zhuǎn)為l1懲罰。式（10）λ≥0的解路徑{λ:λ∈[0，∞)}是多邊形的，而且，解路徑的頂點(diǎn)對(duì)應(yīng)解子集。子集為關(guān)于λ的分段常數(shù)，僅在λ的關(guān)鍵值（對(duì)應(yīng)解路徑的頂點(diǎn)）發(fā)生變化。這個(gè)演變的子集（evolving subset）叫做有效集（active set），基于此提出的同倫算法沿著解路徑從一個(gè)頂點(diǎn)跳到另一個(gè)頂點(diǎn)，開(kāi)始于空的有效集λ=0(λ→∞)，在每個(gè)頂點(diǎn)，通過(guò)添加或移出變量來(lái)迭代更新有效集。對(duì)于k稀疏問(wèn)題，同倫算法在k步找到最優(yōu)解[14]，其算法步驟如下：

3 仿真比較

采用田納西-伊斯曼（TE）過(guò)程數(shù)據(jù)為仿真數(shù)據(jù)源，以故障0、1、2的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)來(lái)進(jìn)行仿真實(shí)驗(yàn)，故障0指正常工況，故障1和故障2均在第160個(gè)采樣周期后引入；訓(xùn)練樣本從第70個(gè)開(kāi)始取，幾種方法所選的關(guān)鍵變量均為6個(gè)，SPCA、SPP以及SRC的稀疏度為6。

根據(jù)前述的過(guò)程，采用小波包分解方法得到的關(guān)鍵變量為50，19，37，10，47，1；采用B距離方法得到的關(guān)鍵變量為18，19，1，50，47，44；采用本文方法得到的關(guān)鍵變量為44，47，19，16，3，2。提取完成后采用Bayes分類(lèi)器進(jìn)行分類(lèi)，得到了不同訓(xùn)練樣本的情形各種算法的識(shí)別錯(cuò)誤率比較如表1。表中識(shí)別錯(cuò)誤率是指故障1和故障2的漏報(bào)、誤警和錯(cuò)分率之和的平均，由于故障1和故障2起始時(shí)均無(wú)故障，而是在第160個(gè)采樣周期加入故障，因而這里的識(shí)別錯(cuò)誤率也包含了對(duì)于故障0的識(shí)別，也即故障的檢測(cè)。

由表1可以看出，多數(shù)情況下，SPCA比PCA效果要好，也比SRC和SPP好；無(wú)論是小波包、B距離還是本文方法，特征選擇后的效果都要明顯好于PCA和FDA，也普遍好于SPCA；在小樣本情形，基于稀疏選擇的診斷效果與其他兩種選擇方法相差不大，樣本數(shù)大于50時(shí)，基于稀疏選擇的效果明顯好于其他兩種。

4 結(jié)論

本文提出一種基于稀疏優(yōu)化的方法來(lái)選擇過(guò)程工業(yè)數(shù)據(jù)的關(guān)鍵特征，使其利于故障診斷?；赥E過(guò)程數(shù)據(jù)進(jìn)行了仿真，一方面比較其與傳統(tǒng)的PCA、FDA、基于小波包和B距離的特征選擇方法；另一方面，將近年來(lái)常用的SRC、SPP和SPCA用于TE過(guò)程的故障診斷，與本文提出的特征選擇方法后再用Bayes分類(lèi)器進(jìn)行故障診斷的方法相比較。從仿真結(jié)果可以得出以下結(jié)論：（1）幾種稀疏算法中，SRC和SPP效果甚至不如普通PCA，SPCA則優(yōu)勢(shì)較為明顯，可以說(shuō)除SPCA外，其余兩種并不適用于過(guò)程工業(yè)數(shù)據(jù)。（2）特征選擇確實(shí)是提高故障診斷效果的有效手段，與傳統(tǒng)的基于時(shí)頻域和基于距離準(zhǔn)則的變量選擇方法相比，基于稀疏選擇的診斷效果更好。（3）從算法的角度看，基于稀疏優(yōu)化的方法還存在所需的訓(xùn)練樣本少、計(jì)算簡(jiǎn)單的優(yōu)點(diǎn)。綜上所述，本文提出的稀疏方法可以勝任故障診斷前期的特征選擇工作。

[1]于春梅.過(guò)程工業(yè)核化多元統(tǒng)計(jì)故障診斷方法研究[D].西安：西北工業(yè)大學(xué)，2010.

[2]吳斌，于春梅，李強(qiáng).過(guò)程工業(yè)故障診斷[M].北京：科學(xué)出版社，2011.

[3]Yang A Y，John W，Ma Yi，et al.Feature selection in face recognition：a sparse representation perspective，Technical Report No.UCB/EECS-2007-99[R/OL].California：University of California at Berkeley 2007.http：//www.eecs.berkeley. edu/Pubs/TechRpts/2007/EECS-2007-99.html.

[4]Cao Hongbao，Wang Yuping.Integrated analysis of gene expression and copy number data using sparse representation based clustering model[C]//Proceedings of the ISCA 3rd International Conference on Bioinformatics and Computational Biology，BICoB-2011，New Orleans，Louisiana，USA，2011：172-177.

[5]Zou Hui，Trevor H，Robert T.Sparse Principal Component Analysis[J].Journal of Computational and Graphical Statistics，2006，15（2）：265-286.

[6]Lee S，Epstein M P，Duncan R，et al.Sparse Principal Component Analysis for identifying ancestry-informative markers in genome-wide association studies[J].Genet Epidemiol，2012，36（4）：293-302.

[7]趙忠蓋，劉飛.基于稀疏核主元分析的在線(xiàn)非線(xiàn)性過(guò)程監(jiān)控[J].化工學(xué)報(bào)，2008，59（7）：1773-1777.

[8]Qiao L，Chen S，Tan X.Sparsity preserving projections with applications to face recognition[J].Pattern Recognition，2010，43（1）：331-341.

[9]相文楠，趙建立.監(jiān)督型稀疏保持投影[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（29）：186-188.

[10]Wright J，Yang A Y，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Trans on Pattern Anal Mach Intell，2009，31（2）：210-227.

[11]董麗夢(mèng)，李鏘，關(guān)欣.基于稀疏表示分類(lèi)器的和弦識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（29）：133-136.

[12]李心潔，王春恒.基于稀疏表達(dá)的視頻文字檢測(cè)[J].計(jì)算機(jī)工程，2011，37（6）：145-147.

[13]Gao Shenghua，Tsang Ivor Wai-Hung，Chia Liang-Tien. Kernel sparse representation for image classification and face recognition[C]//Proceedings of the 11th European Conference on Computer Vision：Part IV.Berlin Heidelberg：Springer-Verlag，2010：1-14.

[14]Donoho D L，Yaakov T.Fast solution of l1-norm minimization problems when the solution may be sparse[J]. IEEE Transactions on Information Theory，2008，54（11）：4789-4812.

YU Chunmei

School of Information Engineering,Southwest University of Science and Technology,Mianyang,Sichuan 621010,China

In this paper,a new sparse representation based feature selection method is proposed,in which the sample matrix is composed of the mean and variant of training sample,and testing sample is the index vector responding to sample matrix. Homotopy algorithm is used to solve the optimization problem.Traditional selecting methods based on wavelet package decomposition and Bhattacharyya distance methods,and recently used sparse methods,sparse representation classifier, sparsity preserving projection and sparse principal component analysis,are compared to the proposed method.Simulations show the proposed selecting method gives the improved performance on fault diagnosis with Tennessee Eastman Process data.

sparse representation;feature selection;fault diagnosis;process industry

提出一種基于稀疏表達(dá)的特征選擇方法，用訓(xùn)練樣本的均值和方差組成優(yōu)化算法的樣本矩陣，測(cè)試樣本采用與樣本矩陣對(duì)應(yīng)的指示向量，采用同倫算法求解優(yōu)化問(wèn)題。給出了算法的詳細(xì)流程，并與傳統(tǒng)的B距離法和小波包變換特征選擇方法以及近年來(lái)常用的稀疏表達(dá)分類(lèi)、稀疏投影保持和稀疏主元分析針對(duì)田納西-伊斯曼過(guò)程進(jìn)行故障診斷結(jié)果比較，結(jié)果表明所提出的方法故障診斷的誤報(bào)率較低。

稀疏表達(dá)；特征選擇；故障診斷；過(guò)程工業(yè)

A

TP277

10.3778/j.issn.1002-8331.1210-0318

YU Chunmei.Sparse feature selection method for fault diagnosis of process industry.Computer Engineering and Applications,2014,50（18）：257-260.

國(guó)家自然科學(xué)基金（No.60802040）。

于春梅（1970—），女，博士，教授，主要研究方向?yàn)橄到y(tǒng)辨識(shí)，故障診斷，模式識(shí)別等。

2012-10-30

2012-12-20

1002-8331（2014）18-0257-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-01-15，http://www.cnki.net/kcms/detail/11.2127.TP.20130115.1140.008.html