劉玉敏，張 帥

LIU Yu-min, ZHANG Shuai

(鄭州大學(xué) 商學(xué)院，鄭州 450001)

0 引言

現(xiàn)代工業(yè)不斷向復(fù)雜化和連續(xù)化方向發(fā)展，自動化生產(chǎn)及加工過程會產(chǎn)生大量的實時動態(tài)數(shù)據(jù)。隨著信息技術(shù)的進(jìn)步，對動態(tài)數(shù)據(jù)實時采集進(jìn)而實現(xiàn)質(zhì)量監(jiān)控已成為可能。以控制圖為代表的傳統(tǒng)質(zhì)量監(jiān)控方法在對動態(tài)過程監(jiān)控中無法有效利用實時數(shù)據(jù)，因此，基于人工智能的動態(tài)過程質(zhì)量異常模式識別方法引起了愈來愈多學(xué)者的關(guān)注。而如何有效地提高智能監(jiān)控的識別精度以及減少模型計算復(fù)雜度是動態(tài)過程質(zhì)量診斷的核心問題[1,2]。

目前，國內(nèi)外學(xué)者對動態(tài)過程質(zhì)量異常模式識別的研究主要集中在基于特征提取和分類器優(yōu)化兩個方面[3～7]。在特征提取方面，很多學(xué)者使用數(shù)據(jù)的原始特征對異常模式進(jìn)行識別和診斷，但是由于數(shù)據(jù)中往往包含大量噪聲，使用原始數(shù)據(jù)并不能取得很好的識別效果。Susanta等人提出了用9種幾何圖形特征的提取方法對原始樣本數(shù)據(jù)進(jìn)行特征提取，取得了不錯的識別效果[8]。Vahid等利用小波特征和統(tǒng)計特征結(jié)合作為分類器的輸入，對控制圖模式進(jìn)行識別[6]。在分類器優(yōu)化方面，學(xué)者們嘗試著將SVM算法與其他方法相結(jié)合來實現(xiàn)對生產(chǎn)動態(tài)過程的質(zhì)量異常模式識別[7,9,10]。肖應(yīng)旺提出一種多支持向量機(jī)的方法，對生產(chǎn)過程進(jìn)行監(jiān)控和診斷[7]。蔣少華等構(gòu)建了基于四個高斯核函數(shù)支持向量機(jī)的MSVM識別模型，用于識別鼓風(fēng)爐冶煉過程的質(zhì)量異常模式[11]。吳常坤等通過多支持向量機(jī)的異常模式識別框架，分別對趨勢、階躍、趨勢階躍混合和周期等控制圖異常模式進(jìn)行識別[12]。

綜上所述，雖然現(xiàn)有特征提取方法可以在一定程度上提高識別效率，但是未能考慮到動態(tài)數(shù)據(jù)的實際特點，提取、識別過程中耗時較多，不能滿足對動態(tài)過程的實時監(jiān)控。在分類器優(yōu)化中，由于SVM的核函數(shù)及其參數(shù)對識別效果有著較大影響，對于SVM參數(shù)的選取仍沒有權(quán)威的方法，所以當(dāng)前分類器很難在實際生產(chǎn)過程中得到廣泛的推廣和應(yīng)用。因此，本文提出了一種基于主元分析的SVM質(zhì)量異常模式識別模型。首先運用主元分析對原始數(shù)據(jù)進(jìn)行特征提取，繼而，采用PSO算法對SVM分類器參數(shù)進(jìn)行全局尋優(yōu)，接著，采用優(yōu)化后的SVM分類器對生產(chǎn)過程的質(zhì)量異常模式進(jìn)行識別。最后，通過仿真實驗對模型加以驗證，并與其它識別模型進(jìn)行識別精度的對比。

1 動態(tài)過程質(zhì)量異常模式

在連續(xù)生產(chǎn)加工的動態(tài)過程中，由于受到諸多因素的交互影響，基本的質(zhì)量異常模式主要有以下六種，分別為正常模式（NOR）、向上趨勢模式（IT）、向下趨勢模式（DT）、向上階躍模式（US）、向下階躍模式（DS）和周期模式（CC）。具體表現(xiàn)形式如圖1所示。

圖1 質(zhì)量異常模式

圖1（a）為正常模式，其主要表現(xiàn)形式為質(zhì)量特性值在設(shè)計均值附近隨機(jī)波動。圖1（b）為周期模式，其表現(xiàn)為質(zhì)量特性值以一定周期進(jìn)行波動，通常加工部件松動或者電控設(shè)備電壓不穩(wěn)定會造成這種模式地出現(xiàn)。當(dāng)質(zhì)量特性值隨時間地推移出現(xiàn)逐漸上升或者下降的現(xiàn)象時，動態(tài)過程被認(rèn)為處于向上趨勢或向下趨勢模式如圖1（c）、（d）中所示，通常由于設(shè)備老化造成這類模式。階躍模式則表現(xiàn)為在某一時刻質(zhì)量特性值突然出現(xiàn)大幅上升或者下降如圖1（e）、（f）中所示，通常由更換部件等因素造成。動態(tài)過程只有在正常模式下才可以使生產(chǎn)成本達(dá)到最小化，其他五種質(zhì)量異常模式都會造成動態(tài)過程的異常波動，引起生產(chǎn)成本的增加。

上述六種模式基本代表了動態(tài)過程的異常情況，通常被作為異常模式研究的對象。因此，對動態(tài)過程的質(zhì)量異常模式識別與診斷能夠?qū)崟r監(jiān)控生產(chǎn)過程，及時發(fā)現(xiàn)異常因素，減少異常波動對生產(chǎn)的影響，從而減少生產(chǎn)成本，提高生產(chǎn)效率。

2 基于PCA的SVM動態(tài)過程質(zhì)量異常模式識別模型

在進(jìn)行動態(tài)過程質(zhì)量異常模式識別時，通常需要對樣本數(shù)據(jù)進(jìn)行預(yù)處理，以消除樣本數(shù)據(jù)中存在的大量噪聲，提高識別精度；接著選用合適的分類器優(yōu)化方法，對分類器的結(jié)構(gòu)、參數(shù)進(jìn)行優(yōu)化；最后，提出質(zhì)量異常模式識別的方法。本文首先運用主元分析方法對樣本數(shù)據(jù)進(jìn)行特征提取，將數(shù)據(jù)特征進(jìn)行降維、去噪處理；接著，利用PSO算法對支持向量機(jī)的參數(shù)進(jìn)行全局優(yōu)化，得到五個基于PSO算法的SVM分類器；最后，提出一種基于PCA的SVM動態(tài)過程質(zhì)量異常模式識別方法。

2.1 基于PCA的數(shù)據(jù)特征提取

圖2 原始樣本數(shù)據(jù)投影

在生產(chǎn)過程中，質(zhì)量特性值之間無法避免地會存在較大的相關(guān)性，這導(dǎo)致樣本數(shù)據(jù)特征被反復(fù)使用[13]。運用PCA方法對樣本數(shù)據(jù)進(jìn)行特征提取，可以極大地消除原始樣本數(shù)據(jù)中存在的多重共線性，有效地去除了數(shù)據(jù)中的冗余信息和噪聲。主成分分析的基本思路是借助一個正交變換，將分量相關(guān)的原隨機(jī)變量轉(zhuǎn)換成分量不相關(guān)的新變量。從幾何角度，將原變量系統(tǒng)變換成新的正交系統(tǒng)，使之指向樣本點散布最開的正交方向，進(jìn)而對多維變量系統(tǒng)進(jìn)行降維和去噪處理[13]。

本文將原始數(shù)據(jù)進(jìn)行PCA特征提取前后數(shù)據(jù)分布情況進(jìn)行對比，由于版面原因，不能將所有數(shù)據(jù)特征分布展示，所以只是有選擇地將原始樣本數(shù)據(jù)的第1、30、55維原始特征進(jìn)行投影和特征提取后的第一、二、三主元特征的投影進(jìn)行說明。如圖2所示，未進(jìn)行PCA特征提取時的原始樣本數(shù)據(jù)中，六種基本模式的投影相互重疊，難以區(qū)分。

然而，通過對原始樣本數(shù)據(jù)進(jìn)行PCA特征提取，我們可以從圖3中發(fā)現(xiàn)，樣本數(shù)據(jù)在第一主元和第二主元建立的特征空間上的投影能夠明顯地區(qū)分周期模式和趨勢模式，但是正常模式和階躍模式還有部分重疊。我們引入第三主元進(jìn)行投影發(fā)現(xiàn)向上趨勢模式、向下趨勢模式、向上階躍模式和向下階躍模式已經(jīng)完全區(qū)分開，沒有重疊。由此可知，對原始樣本數(shù)據(jù)進(jìn)行PCA預(yù)處理后，不僅降低了數(shù)據(jù)維數(shù)，減少模型復(fù)雜程度，而且還將原始樣本數(shù)據(jù)的特征突出出來，為后續(xù)的分類器分類創(chuàng)造了良好的條件。

2.2 基于SVM的分類器設(shè)計

SVM是一種能夠有效解決針對小樣本數(shù)據(jù)的分類器。支持向量機(jī)的核心思想是通過建立線性的超平面來解決線性可分問題。在線性可分的情況下，利用Lagrnage乘子法可以將尋求最優(yōu)分類面轉(zhuǎn)化為其對偶問題，求解該問題可得到最優(yōu)分類函數(shù)：

針對生產(chǎn)動態(tài)過程質(zhì)量異常模式所涉及的非線性問題，通過引入核函數(shù)，將樣本數(shù)據(jù)映射到高維特征空間，使原本線性不可分的問題 ，在高維特征空間轉(zhuǎn)化為線性可分的問題，這樣就可以對其進(jìn)行分類[14]。核函數(shù)k(xi, x)的引入，可得到SVM的分類函數(shù)為：

根據(jù)其他一些學(xué)者的研究發(fā)現(xiàn)，用支持向量機(jī)做分類時，最大的問題就是如何選取模型的參數(shù)[15]。在進(jìn)行模式識別時，一旦參數(shù)選取不合理，識別精度就會受到很大影響。所以，對SVM分類器進(jìn)行參數(shù)尋優(yōu)是在質(zhì)量異常模式識別的一個十分關(guān)鍵的步驟。由于粒子群算法無需編碼，操作實現(xiàn)比較簡單，另外其收斂速度快，使得粒子群算法在優(yōu)化SVM參數(shù)方面得到了廣泛應(yīng)用。本文在進(jìn)行SVM分類器參數(shù)尋優(yōu)時采用粒子群算法，以期能夠快速地找到合適的參數(shù)，幫助分類器提高其識別性能。

2.3 動態(tài)過程質(zhì)量異常模式識別流程

從支持向量機(jī)的識別原理上可以發(fā)現(xiàn)，SVM是專門用于解決二分類問題的。然而，不考慮混合模式情況下，質(zhì)量異常模式就有6種基本模式，顯然屬于多分類問題。用SVM來解決質(zhì)量異常模式識別時，就必須建立多個SVM分類器進(jìn)行分層次分階段識別。因此，本文將“一對一”和“一對多”分類方法結(jié)合起來，提出了一種新的識別方法，如圖4所示，其中SVM1-3為“一對多”分類器用于識別正常模式和周期模式；SVM4-5為“一對一”分類器用于識別上升趨勢模式和向下趨勢模式以及向上階躍模式和向下階躍模式。

圖3 特征數(shù)據(jù)投影

圖4 質(zhì)量異常模式識別模型

如圖4所示，本文動態(tài)過程質(zhì)量異常模式識別方法可以概括為如下三步：

首先，在進(jìn)行分類前，先對原始樣本數(shù)據(jù)進(jìn)行PCA預(yù)處理提取出來樣本數(shù)據(jù)的特征，將訓(xùn)練樣本和測試樣本的數(shù)據(jù)進(jìn)行降維，形成新的訓(xùn)練樣本和測試樣本作為分類器的輸入向量。

其次，通過分類器SVM1判斷樣本數(shù)據(jù)是否屬于正常模式（NOR）。當(dāng)分類器輸出為1是，表示該模式為正常。若分類器輸出為-1，利用SVM2分類器進(jìn)行識別。同樣地，當(dāng)分類器輸出為1時，判斷該模式為周期模式。

最后，用SVM3分類器識別趨勢模式和階躍模式。將識別出來的趨勢模式放入SVM4分類器進(jìn)行識別向上趨勢和向下趨勢模式；將識別出來的階躍模式放入SVM5分類器中識別向上階躍和向下階躍模式。

利用該識別方法，可以在第一次分類時檢驗出樣本數(shù)據(jù)是否正常，這在實際生產(chǎn)過程中極大地提高了識別效率。不僅如此，生產(chǎn)動態(tài)過程質(zhì)量模式主要集中于正常模式、周期模式、趨勢模式和階躍模式，本文針對這四種模式建立了三個“一對多”分類器就可以全部識別，對趨勢模式和階躍模式建立了兩個“一對一”分類器，這樣極大地避免了六種模式混在一起錯分的情況，提高了識別精度。

3 仿真分析

本文通過Monte Carlo方法對動態(tài)過程的質(zhì)量異常模式進(jìn)行仿真，并與其他識別方法的結(jié)果進(jìn)行對比，驗證了所提出的方法的有效性。

3.1 實驗設(shè)計

根據(jù)其他學(xué)者的研究經(jīng)驗，采用Monte Carlo仿真方法來獲得生產(chǎn)動態(tài)過程中的仿真數(shù)據(jù)，即：

其中，Y(t)為t時刻的動態(tài)數(shù)據(jù)質(zhì)量特性值；μ為質(zhì)量特性的均值，為簡化仿真實驗，通常取為在t時刻下，由偶然因素造成的隨機(jī)干擾，通常為服從的高斯白噪聲；d(t)為異常因素干擾項。動態(tài)數(shù)據(jù)的各種模式主要就是依靠d(t)的變化而形成的，模式數(shù)據(jù)如下表所示。

在進(jìn)行數(shù)據(jù)仿真的時候，利用上述公式對生產(chǎn)動態(tài)過程的六種基本模式進(jìn)行仿真，每組數(shù)據(jù)均為60維（60個數(shù)據(jù)點），每種模式生成100組數(shù)據(jù)，共生成600組數(shù)據(jù)，總計仿真36000個質(zhì)量特性值。每種模式的前40組數(shù)據(jù)作為支持向量機(jī)的訓(xùn)練樣本，后60組數(shù)據(jù)作為測試樣本。質(zhì)量異常模式識別的基本規(guī)則就是分類器根據(jù)訓(xùn)練樣本的數(shù)據(jù)特征，總結(jié)和計算出分類的規(guī)律進(jìn)而建立一定的判斷規(guī)則，然后在遇到新的質(zhì)量特性值時，可以根據(jù)已經(jīng)建立的判斷規(guī)則對其進(jìn)行分類[11]。通過對生產(chǎn)動態(tài)過程的樣本數(shù)據(jù)進(jìn)行對比實驗發(fā)現(xiàn)，選取高斯核為核函數(shù)時，六種模式的整體識別效果較高，因此仿真實驗選取高斯核作為分類器的核函數(shù)。

表1 樣本數(shù)據(jù)仿真參數(shù)

表2 識別結(jié)果

3.2 實驗結(jié)果及分析

為驗證所提出的基于主元分析的PSO-SVM識別模型的性能，分別采用SVM和PSO-SVM與本文提出的方法做對比，采用同樣的樣本數(shù)據(jù)進(jìn)行測試。得到的結(jié)果如表1所示。從表1可以看出，未經(jīng)PCA特征提取，直接用原始樣本數(shù)據(jù)進(jìn)行訓(xùn)練、分類時，是識別精度達(dá)到91.5%，對正常模式和周期模式的識別有很大誤差。采用PSO-SVM分類方法，整體識別精度有所提高，但是也很難發(fā)現(xiàn)有實質(zhì)性地提高。然而，利用本文所提出的方法，對正常模式的識別，識別精度從82.1%提升到98.3%,效果十分明顯。此外，利用所提出的識別方法可以使平均識別精度達(dá)到97.5%，識別結(jié)果要優(yōu)于其他常用的分類方法，特別是對趨勢模式的識別能夠達(dá)到100%，驗證了本文提出的識別方法的有效性，為生產(chǎn)動態(tài)過程的質(zhì)量異常模式識別提供了新的方法。

4 結(jié)論

動態(tài)過程的質(zhì)量異常模式識別為生產(chǎn)自動化過程在線監(jiān)控和診斷提供了必要支持，針對動態(tài)過程的實際特點，提出了的一種基于主元分析的SVM質(zhì)量異常模式識別方法。該方法具有以下兩個特點，一是運用PCA方法對原始樣本數(shù)據(jù)進(jìn)行降維處理，發(fā)揮了PCA特征提取的優(yōu)勢，消除了原始數(shù)據(jù)中包含的大量噪聲，避免了復(fù)雜的計算，簡化了后續(xù)分類器識別的復(fù)雜性；二是利用PSO算法對SVM進(jìn)行參數(shù)尋優(yōu)，優(yōu)化后可極大提高分類器的性能，同時保證了分類器具有很好的泛化能力。仿真實驗結(jié)果表明，這種動態(tài)過程質(zhì)量異常模式識別方法是有效的，并通過與其他識別方法對比發(fā)現(xiàn)其具有較高的識別精度，為生產(chǎn)動態(tài)過程實現(xiàn)在線監(jiān)控和診斷提供了一種新的思路。

[1]Shewhart M. Interpreting Statistical Process Control(SPC)Charts Using Machine Learning and Expert System Techniques[A].Aerospace and Electronics Conference[C].Processing of the IEEE1992 National,1992.

[2]Chen, N., Zhou,S.Delectability study for statistical monitoring of multivariate dynamic processes[J].IIE Transactions,2009, 41(7),593-604.

[3]Cheng C S. A Multi-layer Neural Network Model for Detecting Changes in the Process Mean[J].Computers&Industrial Engineering(S0360-8352),1995,28(1):51-61.

[4]Guh R S, Hsich Y C.A Neural Network Based Model for Abnormal Pattern Recognition of Control Charts[J].Computer & Industrial Engineering (S0360-8352),1999,36(1):97-108.

[5]Guh R S, Zorriassatine F.On Line Control Chart Pattern Detection and Discrimination—A Neural Network Approach[J].Arti fi cial Intelligence in Engineering(S0954-1810),1999,13(4):413-425.

[6]Vahid R, Reza G. Application of the PSO-SVM Model for Recognition of Control Chart Patterns[J].ISA Transactions,2010, 49:577-586.

[7]肖應(yīng)旺.基于小波變換核主元分析和多支持向量機(jī)的過程監(jiān)控[J].小型微型計算機(jī)系統(tǒng),2011,32(7):1348-1353.

[8]Susanta K, Shankar C. Feature-based recognition of control chart patterns[J].Computers & Industrial Engineering,2006,51(5):726-742.

[9]Wang C H, Kuo W. identi fi cation of control chart patterns using wavelet filtering and robust fuzzy clustering[J].Journal of Intelligent Manufacturing, 2007,18(3):343-350.

[10]Cherkassky V,Ma Y.Practical selection of SVM parameters and noise estimation for SVM regression [J]. Neural Networks,2004,17(1):113-126.

[11]蔣少華,桂衛(wèi)華,陽春花,等.基于核主元分析與多支持向量機(jī)的監(jiān)控診斷方法及其應(yīng)用[J].系統(tǒng)工程理論與實踐,2009,29(9):153-159.

[12]吳常坤,趙麗萍.基于小波分析和SVM的控制圖模式識別[J].中國機(jī)械工程,2010, 21(13):1572-1576.

[13]楊世元,吳德會.基于PCA和SVM的控制圖失控模式智能識別方法[J].系統(tǒng)仿真學(xué)報,2006,18(5):1314–1318.

[14]王萌, 孫樹棟. 基于相異度核空間的支持向量機(jī)算法[J].系統(tǒng)工程理論與實踐,2013,33(6):1596-1600.

[15]張敏,程文明.基于自適應(yīng)粒子群算法和支持向量機(jī)的控制圖模式識別[J].工業(yè)工程,2012,15(5):125-129.