蔡宏斌 蘇成利

(遼寧石油化工大學(xué)信息與控制工程學(xué)院，遼寧 撫順 113001)

PCA-LSSVM方法的控制系統(tǒng)性能評估

蔡宏斌 蘇成利

(遼寧石油化工大學(xué)信息與控制工程學(xué)院，遼寧 撫順 113001)

為了準(zhǔn)確地評價多變量控制系統(tǒng)的性能，并簡化其評價過程的計算復(fù)雜度，提出了基于主元分析(PCA)與最小二乘支持向量機(LSSVM)相結(jié)合的多變量控制系統(tǒng)性能評價方法。該方法將原始自變量數(shù)據(jù)通過PCA方法進(jìn)行降維處理，利用二次損失函數(shù)取代支持向量機中的不敏感損失函數(shù)，將不等式約束變?yōu)榈仁郊s束，從而將二次規(guī)劃問題轉(zhuǎn)變?yōu)榫€性方程組的求解，并對LSSVM的參數(shù)選取做了改進(jìn)。該方法在性能評價過程中不需要求解系統(tǒng)關(guān)聯(lián)矩陣，簡化了求解的復(fù)雜性。仿真實例驗證了PCA-LSSVM性能評價方法更能反映控制系統(tǒng)真實性能。

最小二乘支持向量機 多變量控制系統(tǒng) 主元分析 關(guān)聯(lián)矩陣 性能指標(biāo) 性能評價

0 引言

評估控制系統(tǒng)的性能對于企業(yè)的發(fā)展具有重大意義。目前，相繼出現(xiàn)了不少新的研究成果［1］。工業(yè)控制回路大多是多變量的，因此研究多變量控制系統(tǒng)的性能評估方法具有更長遠(yuǎn)的意義［2］。

在使用最小方差控制(minimum variance control，MVC)基準(zhǔn)方法進(jìn)行控制系統(tǒng)性能評價時，需要完整的過程模型和關(guān)聯(lián)矩陣的信息［3－4］。有學(xué)者采用一個實用的次優(yōu)多變量MVC控制基準(zhǔn)，即只需要關(guān)聯(lián)矩陣的階次而不必構(gòu)造出關(guān)聯(lián)矩陣［5］。利用Markov參數(shù)和閉環(huán)運行數(shù)據(jù)的性能評估方法也只需要獲知過程的時滯階次信息［6］。

本文研究了主元分析(principal component analysis，PCA)與最小二乘支持向量機相結(jié)合的性能評價算法。該方法先將原始數(shù)據(jù)通過主元分析方法進(jìn)行降維處理;再把獲得的新主成分使用最小二乘支持向量機進(jìn)行訓(xùn)練;然后再通過建立新模型計算出控制系統(tǒng)性能指標(biāo)，得到更為準(zhǔn)確的性能評價指標(biāo)。

1 主元分析

主元分析的對象是樣本點×定/變量類型的數(shù)據(jù)表，其目標(biāo)是對這種多變量的平面數(shù)據(jù)作最佳綜合簡化。也就是說，要在力保數(shù)據(jù)信息丟失最少的原則下，對高維變量空間進(jìn)行降維處理。

設(shè)Xn×m為數(shù)據(jù)矩陣、n為樣本數(shù)、m為變量個數(shù)，矩陣的每一列對應(yīng)于一個變量，每一行對應(yīng)于一個樣本。矩陣X可以分解為m個向量的乘積之和，即:

式中:ti為得分向量，也稱主元;pi為負(fù)荷向量。式(1)也可以寫成以下矩陣形式:

式中:T為得分矩陣，T= t1t2… tm[

];P為負(fù)荷矩陣，P= [p1p2… pm]。

當(dāng)矩陣X的變量間存在一定程度的線性相關(guān)時，X的變化將主要體現(xiàn)在最前面的幾個負(fù)荷向量方向上，X在最后面的幾個負(fù)荷向量上的投影將會很小，它們主要是由測量噪聲引起的。這樣就可以將X進(jìn)行主元分解后寫成式(3)的形式:

式中:E為誤差矩陣。忽略E，往往會起到清除測量噪聲的效果。

對X進(jìn)行主元分析實際上等效于對X的協(xié)方差矩陣XTX進(jìn)行特征向量分析。將協(xié)方差矩陣的特征值做如下排列:λ1≥λ2≥…≥λm，那么與這些特征值對應(yīng)的特征向量P1，P2，…，Pm即為矩陣的負(fù)荷向量。特征值的大小反映了對應(yīng)的主成分樣本的離差程度，所選主元個數(shù)可通過累積方差百分比(comulative percent variance，CPV)來確定。采用這種方法，需要人為選定一個期望的CPV(如85%)作為準(zhǔn)則，當(dāng)CPV大于期望值時，對應(yīng)的k值就是應(yīng)保留的主元個數(shù)。在實際應(yīng)用中，可根據(jù)實際情況，以能反映對象的絕大部分動態(tài)信息來決定主元的個數(shù)［7－8］。

2 最小二乘支持向量機

支持向量機的基本思想為:給定l個樣本數(shù)據(jù)( x1，y1)，( x2，y2)，…，( xl，yl)∈Rn×R，其中 x為樣本輸入，y為樣本輸出。首先，利用非線性映射φ(· )，將輸入向量從原空間Rn映射到一個高維特征空間(Hibert空間);然后，在這個高維特征空間中，采用結(jié)構(gòu)風(fēng)險最小化的原則構(gòu)造最優(yōu)決策函數(shù)，并利用原空間的核函數(shù)取代高維特征空間的點積運算以避免復(fù)雜運算，從而將非線性函數(shù)估計問題轉(zhuǎn)化為高維特征空間中的線性函數(shù)問題。設(shè)構(gòu)造的最優(yōu)決策函數(shù)具有如下形式:

求解式(4)的目的就是利用結(jié)構(gòu)風(fēng)險最小化原則，尋找參數(shù)ωT和b。尋找ωT和b等價于求解下面的優(yōu)化問題:

通過式(5)的對偶形式，可以求出它的最優(yōu)解。式(5)的對偶形式可以根據(jù)目標(biāo)函數(shù)和約束條件建立Lagarangian函數(shù)，并對建立的Lagarangian函數(shù)進(jìn)行求偏導(dǎo)。根據(jù)其偏導(dǎo)方程，可將求解的優(yōu)化問題轉(zhuǎn)化為求解線性方程，定義核函數(shù)代替非線性映射，最后得到最小二乘支持向量機的估計函數(shù)(即系統(tǒng)模型)為［8］:

式中:K( x ，xi)為滿足Mercer條件的任意對稱函數(shù)。

3 性能評估算法

對于多變量控制系統(tǒng)，先取一組長度為n、輸入變量個數(shù)為m的數(shù)據(jù)，再取一組長度為n的輸出數(shù)據(jù)。在對主成分進(jìn)行計算時，首先必須對輸入矩陣X的數(shù)據(jù)進(jìn)行歸一化處理，以消除指標(biāo)量綱的影響。由標(biāo)準(zhǔn)化公式所計算得到的輸入數(shù)據(jù)x′ij的標(biāo)準(zhǔn)化值為:

本文采用由式(7)所得標(biāo)準(zhǔn)化值來計算標(biāo)準(zhǔn)化處理后的數(shù)據(jù)變量間的相關(guān)矩陣，從整體上研究因變量Y和自變量數(shù)組X之間的相關(guān)性。其相關(guān)矩陣R表示如下:

定義前k個主成分的累積貢獻(xiàn)率為:

式中:k＜m。當(dāng)CPV(k)≥85%時，說明前k項主元已達(dá)到輸入數(shù)據(jù)信息總量的要求，那么前k項主元也就可以代表原來m項輸入變量。

本文利用主元分析方法進(jìn)行數(shù)據(jù)壓縮和信息抽取，消除變量之間的相關(guān)性;再利用最小二乘支持向量機對提取的PCA主成分進(jìn)行訓(xùn)練，獲得其系統(tǒng)模型。

在進(jìn)行支持向量機訓(xùn)練之前，首先需要選定核函數(shù)的形式，本文選用高斯核函數(shù)。在選定核函數(shù)后，還要選擇合適的核參數(shù)σ和誤差懲罰參數(shù)c。關(guān)于這兩個參數(shù)的選擇，由于不同樣本集的最優(yōu)參數(shù)值是變化的，這可能影響評估結(jié)果，因此本文計算時對參數(shù)進(jìn)行動態(tài)選取。

動態(tài)選取時，首先規(guī)定誤差懲罰參數(shù)集和核參數(shù)集，從參數(shù)集中選取參數(shù)分別進(jìn)行組合;然后對最小二乘支持向量機進(jìn)行訓(xùn)練;最后采用測試集檢驗，選出最佳的參數(shù)組合作為模型的最終參數(shù)。

最小二乘支持向量機考慮采用下式對未知模型進(jìn)行辨識。

式中:φ ( ·)為非線性函數(shù)，它把數(shù)據(jù)集從輸入空間Rn映射到特征空間R，使輸入空間中的非線性擬合問題變?yōu)楦呔S特征空間中的線性擬合問題;ω和β為待求參數(shù)。

根據(jù)結(jié)構(gòu)風(fēng)險最小化原則，上述擬合問題可表示為如下約束優(yōu)化問題:

式中:ωTω為控制模型的復(fù)雜度;λ為正規(guī)化參數(shù);ei為誤差項。

為求解式(11)，可把約束優(yōu)化問題轉(zhuǎn)變?yōu)闊o約束優(yōu)化問題，建立拉格朗日函數(shù)，得:

式中:αi為拉格朗日乘子。

求解上述優(yōu)化問題又可轉(zhuǎn)換為解線性方程:

采用最小二乘法求出α與β，可得未知模型的擬合函數(shù)，即訓(xùn)練數(shù)據(jù)集的逼近為:

根據(jù)式(14)求得的輸入輸出間的系統(tǒng)模型，可求得殘差的方差為:

由式(15)可以求出方差σ2e的估計值。方差σ2e和實際輸出數(shù)據(jù)方差σ2y的比值，就是所求控制器的性能指標(biāo)η(d)，其表達(dá)式為:

通過對η(d)值的大小變化進(jìn)行分析，便可對當(dāng)前控制器的實際運行性能進(jìn)行評價。

基于PCA-LSSVM的辨識模型步驟如下。

③找出所有累積方差百分比大于給定值(85%)的主元個數(shù)k，從而求出主元。這樣通過主元分析可將n維輸入變量轉(zhuǎn)變?yōu)閗維主元變量。

④尋找誤差懲罰參數(shù)集和核參數(shù)集。

⑤從誤差懲罰參數(shù)集和核參數(shù)集這兩個參數(shù)集中選取參數(shù)分別進(jìn)行組合，并利用所選的參數(shù)，進(jìn)行最小二乘支持向量機訓(xùn)練。

⑥利用最小二乘支持向量機辨識模型，并用辨識好的模型進(jìn)行性能評估。

4 仿真驗證

控制系統(tǒng)的各函數(shù)定義如下，其過程控制模型為:

式中:k為過程模型變化量。干擾模型為:

干擾為二維零均值、協(xié)方差矩陣為Σa=1.36I的白噪聲序列。

系統(tǒng)采用PI控制器，可得:式中:q－1為后移算子。

為了驗證PCA-LSSVM性能評價方法的有效性，將本文方法與基于最小方差的性能評估方法進(jìn)行對比研究。系統(tǒng)白噪聲干擾信號如圖1所示。

圖1 系統(tǒng)白噪聲干擾信號Fig.1 White noise interference signal of the system

①過程模型參數(shù)k固定時的評價驗證

當(dāng)k=1時，從仿真系統(tǒng)中采集2 000個仿真數(shù)據(jù)，然后將該數(shù)據(jù)按時間分成10組，每組包含200個數(shù)據(jù)點，分別采用最小方差(MVC)和本文提出的PCALSSVM性能評價方法評價控制器的性能。

控制器的基準(zhǔn)性能指標(biāo)如圖2所示。

圖2 輸出Y性能指標(biāo)基準(zhǔn)圖(k=1)Fig.2 Reference figure of the output Y performance indexes(when k=1)

性能評價效果如圖3所示。由圖3可以看出，在這個系統(tǒng)中，采用本文評價方法得出的評價結(jié)果比最小方差(MVC)評價結(jié)果誤差小，貼近基準(zhǔn)值;而最小方差評價結(jié)果忽大忽小，波動較大，致使評價結(jié)果不準(zhǔn)確，并且突然對系統(tǒng)施加擾動時，相對而言本文提出的性能評價方法要比最小方差(MVC)性能評價方法更敏感些。由此可以得出，當(dāng)對同一系統(tǒng)不同時間段的控制器進(jìn)行性能評估時，使用PCA-LSSVM性能評價方法得到的評價結(jié)果要優(yōu)于最小方差(MVC)性能評價方法，性能指標(biāo)變化幅度比較小，更貼近實際情況。

圖3 輸出Y性能評價結(jié)果圖(k=1)Fig.3 Evaluation results of the output Y performance(when k=1)

②過程模型參數(shù)k變化時的評價驗證

當(dāng)參數(shù)k從1變化到10時，在這10個不同參數(shù)情況下，從仿真系統(tǒng)中各采集200個數(shù)據(jù)點，同樣采用最小方差(MVC)和PCA-LSSVM兩種性能評價方法，評價控制器在不同過程模型下的性能。控制器的基準(zhǔn)性能指標(biāo)如圖4所示。

圖4 輸出Y性能指標(biāo)基準(zhǔn)圖(k變化時)Fig.4 Reference figure of the output Y performance indexes(when k changes)

性能評價結(jié)果如圖5所示。從圖5可以看出，當(dāng)增大系統(tǒng)過程模型參數(shù)k時，整個系統(tǒng)性能呈現(xiàn)下降趨勢，當(dāng)k取10時，性能指標(biāo)急劇下降到50%左右。此外，當(dāng)系統(tǒng)過程模型對象參數(shù)變化時，同時采用最小方差(MVC)性能評價方法和PCA-LSSVM性能評價方法對系統(tǒng)進(jìn)行評價。最小方差(MVC)評價方法錯估了系統(tǒng)真實性能，對模型參數(shù)變化不是很敏感;而本文方法的評價結(jié)果比較接近真實基準(zhǔn)值，誤差很小，可以反映出系統(tǒng)的真實性能。同時本文性能評價方法不需要求解系統(tǒng)關(guān)聯(lián)矩陣，大大簡化了計算的復(fù)雜度。因此，采用PCA-LSSVM性能評價方法對多變量系統(tǒng)進(jìn)行性能評估具有一定的真實性和可靠性。

圖5 輸出Y性能評價結(jié)果(k變化時)Fig.5 Evaluation results of the output Y performance(when k changes)

5 結(jié)束語

本文研究了基于PCA-LSSVM方法的多變量控制系統(tǒng)性能評價方法，通過仿真驗證了PCA-LSSVM方法對于多變量控制系統(tǒng)的性能評估。該方法計算得出的性能指標(biāo)誤差小，接近真實基準(zhǔn)值，對系統(tǒng)變化敏感，指標(biāo)變化曲線比較平穩(wěn)。該性能評價指標(biāo)不但可以反映系統(tǒng)的真實性能，而且不需要求解相關(guān)方程，就可以計算得出評價結(jié)果。

［1］ Sun Z，Qin S，Singhal A，et al.Performance monitoring of modelpredictive controllers via model residual assessment［J］.Journal of Process Control，2013(23):473－482.

［2］ Harris T，Yu W.Variance decompositions of nonlinear dynamic stochastic systems［J］.Journal of Process Control，2010，20(2):195－205.

［3］ Yuan Q L，Lennox B.Control performance assessment for multivariable systems based on a modified relative variance technique［J］.Journal of Process Control，2009(19):489－497.

［4］ Fu R，Xie L，Song Z，et al.PID control performance assessment using iterative convex programming［J］.Journal of Process Control，2012(22):1793－1799.

［5］ Tian X M，Chen G Q，Chen S.A data-based approach for multivariate model predictive control performance monitoring［J］.Neuro computing，2011(74):588－597.

［6］ Jelali M.An overview of control performance assessment technology and industrial applications［J］.Control Engineering Practice，2006，14(5):441－466.

［7］ Jeng J.Adaptive process monitoring using efficient recursive PCA and moving window PCA algorithms［J］.Journal of the Taiwan Institute of Chemical Engineers，2010，41(4):475－481.

［8］ Hu M Q，Chen Y Q，Kwok J.Building sparse multiple-kernel SVM classifiers［J］.IEEE Transactions on Neural Networks，2009，20(5):827－839.

Performance Assessment Based on PCA-LSSVM for Control System

In order to evaluate accurately the performance of multi-variable control system and simplify the computational complexity of the evaluation process，the performance assessment method based on the combination of principal component analysis(PCA)and least square support vector machine(LSSVM)for multi-variable control system is proposed.The dimension reduction of the original independent variables is conducted by PCA method;the insensitive loss function in SVM is replaced by quadratic loss function，and the inequality constraints is replaced by equality constraints，thus the quadratic programming is converted into the solution of linear equations;in addition，the selection of parameters of LSSVM is improved.The solving of system associated matrix is not necessary with this method for performance assessment，and the solving complexity is simplified.The practical example of simulation verifies that the PCA-LSSVM method better reflects the real performance of the control system.

Least square support vector machine Multi-variable control system Principal component analysis Associated matrix Performance indexes Performance evaluation

TP13

A

遼寧省科技攻關(guān)基金資助項目(編號:2011216011)。

修改稿收到日期:2013－04－10。

蔡宏斌(1987－)，男，現(xiàn)為遼寧石油化工大學(xué)控制理論與控制工程專業(yè)在讀碩士研究生;主要從事工業(yè)過程的先進(jìn)控制與優(yōu)化、控制器性能評估方面的研究。

行業(yè)信息