劉毅，金福江，高增梁

（1.特種裝備制造與先進(jìn)加工技術(shù)教育部／浙江省重點(diǎn)實(shí)驗(yàn)室 浙江工業(yè)大學(xué)化工機(jī)械設(shè)計(jì)研究所，杭州310032；2.華僑大學(xué)信息科學(xué)與工程學(xué)院，福建廈門(mén)361021）

隨著DCS在化工過(guò)程的普遍應(yīng)用，數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量建模方法被廣泛用于估計(jì)產(chǎn)物等難以在線(xiàn)測(cè)量的質(zhì)量信息。常用的方法有偏最小二乘回歸等多變量統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)回歸SVR（Support Vector Regression）等［1－2］。在解決小樣本情況下的非線(xiàn)性建模問(wèn)題方面，SVR等稀疏核學(xué)習(xí)SKL（Sparse Kernel Learning）方法的推廣性能更好［3］，是目前化工過(guò)程軟測(cè)量建模較為有效的途徑之一［1，4－9］。

大部分化工過(guò)程都是非線(xiàn)性的，過(guò)程變量間相關(guān)且含有噪聲［1－2］。因此，建模前進(jìn)行有效的變量選擇和信息提取能降低模型的復(fù)雜度。常用的方法有用于提取高斯信息的主元分析PCA（Principal Component Analysis）；用于提取非高斯信息的獨(dú)立成分分析ICA（Independent Component Analysis）；在高維特征空間處理高斯信息的核主元分析KPCA（Kernel PCA）等［7－9］。文獻(xiàn)［7］指出變量間的相關(guān)性會(huì)降低SVR的推廣能力，并比較了這三種方法在SVR降維預(yù)處理的應(yīng)用，結(jié)果表明KPCA和ICA能提取更高階的信息，效果優(yōu)于PCA，仿真結(jié)果表明KPCA結(jié)果最好。文獻(xiàn)［8—9］將KPCA或ICA等方法用于SVR軟測(cè)量模型的輸入變量選擇，也提高了模型的預(yù)報(bào)精度。然而，KPCA只能在高維特征空間提取二階統(tǒng)計(jì)量等高斯信息，ICA只能在原變量空間提取非高斯信息。因此，為了在高維特征空間提取高階統(tǒng)計(jì)量等非高斯信息，文獻(xiàn)［10］提出了核獨(dú)立成分分析KICA（Kernel ICA）。最近，KICA被引入化工過(guò)程監(jiān)控和故障診斷等領(lǐng)域，以求獲得更好的監(jiān)測(cè)效果［11－14］。

近年來(lái)，為適應(yīng)多品種、小批量和高質(zhì)量的市場(chǎng)競(jìng)爭(zhēng)需求，間歇過(guò)程在精細(xì)化工和生物制藥等行業(yè)得到廣泛應(yīng)用［15］。間歇過(guò)程為非穩(wěn)態(tài)操作，其動(dòng)態(tài)和非線(xiàn)性特性較連續(xù)過(guò)程更為顯著。同時(shí)，間歇過(guò)程的很多重要變量通常無(wú)法在線(xiàn)測(cè)量，且沒(méi)有準(zhǔn)確的機(jī)理模型可利用，研究如何及時(shí)獲得間歇過(guò)程的狀態(tài)信息對(duì)保障其產(chǎn)品質(zhì)量具有重要意義。因此，筆者將KICA用于間歇過(guò)程軟測(cè)量建模輸入變量的特征提取，以在高維特征空間提取更能反映過(guò)程特征的非高斯信息，從而為進(jìn)一步建立更為簡(jiǎn)單和有效的軟測(cè)量模型奠定基礎(chǔ)。

1 SKL軟測(cè)量建模方法

一大類(lèi)非線(xiàn)性過(guò)程可表示為［5－6］

式中：uk，yk——k時(shí)刻過(guò)程的調(diào)節(jié)變量和被控變量；nu，ny——相應(yīng)階次；f（·）——未知的非線(xiàn)性函數(shù)；xk——過(guò)程的廣義輸入變量。

與神經(jīng)網(wǎng)絡(luò)相比，以SVR為代表的SKL辨識(shí)方法采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，能夠保證在小樣本情況下建立的非線(xiàn)性辨識(shí)模型推廣性能較好，且模型較容易獲得［3－9］。根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論［2］，采用SKL辨識(shí)模型獲得f（·）的預(yù)測(cè)輸出：

式中：αk——SKL模型的參數(shù)，可離線(xiàn)學(xué)習(xí)得到固定的參數(shù)，或在線(xiàn)自適應(yīng)調(diào)整參數(shù)［4］，亦可兩者相結(jié)合。SKL的主要方法包括SVR或稀疏最小二乘SVR（Sparse Least Squares－SVR，SLSSVR）［9］或關(guān)聯(lián)向量機(jī)［2］等，可統(tǒng)一表示為［5］

式中：NSV——支持向量個(gè)數(shù)；K〈xi，xk〉——滿(mǎn)足Mercer定理的核函數(shù)［2］；b——偏置。為便于和文獻(xiàn)［7—9］等提出的建模方法比較，筆者在具體的應(yīng)用中采用常用的離線(xiàn)SVR算法。

2 KICA信息提取方法

2.1 ICA信息提取算法

ICA作為一種新的統(tǒng)計(jì)信號(hào)處理方法，較PCA更有效利用了高階信息統(tǒng)計(jì)量，可在統(tǒng)計(jì)獨(dú)立意義下分離混合信號(hào)。因此，ICA在盲源信號(hào)分離、混合語(yǔ)音分離、生物醫(yī)學(xué)信號(hào)處理、圖像處理、人臉識(shí)別等領(lǐng)域已獲得了成功的應(yīng)用［7］，但在化工過(guò)程的應(yīng)用還相對(duì)較少。

ICA的基本思想是假設(shè)過(guò)程測(cè)量信號(hào)是由一些相互獨(dú)立的信號(hào)源、過(guò)程噪聲及干擾混合疊加而成的，依照信息論準(zhǔn)則從中分離或提取出盡可能相互獨(dú)立的特征信號(hào)。假設(shè)k時(shí)刻的輸入變量xk＝［xk，1，…，xk，n］T∈Rn×1（數(shù)據(jù)已經(jīng)過(guò)白化處理［7］）是m 個(gè)非高斯分布的獨(dú)立源信號(hào)sk＝［sk，1，…，sk，m］T∈Rm×1的線(xiàn)性組合，即：

式中：A＝［a1，…，an］T∈Rn×m——混疊系數(shù)矩陣。ICA主要思想是在盡量少的假設(shè)條件下（假設(shè)各成分均統(tǒng)計(jì)獨(dú)立且服從非高斯分布）估計(jì)出A和sk。在A和獨(dú)立成分向量sk都未知的情況下，求取一分離矩陣W，以便從觀測(cè)信號(hào)中分離出源信號(hào)，即：

式中：z——概率密度函數(shù)為f（z）的隨機(jī)變量；zG——與z具有相同方差特性的高斯變量；H（·）——隨機(jī)變量的微分熵；η——正常數(shù)；G（·）——非二次函數(shù)［7］。為得到所有獨(dú)立成分，需最大化函數(shù)JG［7］，即：

區(qū)別于傳統(tǒng)的PCA等多變量統(tǒng)計(jì)方法，ICA提取的獨(dú)立成分不僅是不相關(guān)的，而且是統(tǒng)計(jì)獨(dú)立的。此外，它提取了過(guò)程的高階統(tǒng)計(jì)量信息，從而能更好描述過(guò)程變量的特征。

2.2 高維特征空間的ICA算法

ICA本質(zhì)上是一種線(xiàn)性變換方法，KICA［10－14］等核方法的主要思想是通過(guò)非線(xiàn)性映射Ф（·）將原空間中的向量xk映射到高維特征空間H，然后在H里構(gòu)建線(xiàn)性算法以解決非線(xiàn)性問(wèn)題。如果xk各坐標(biāo)分量間的相互作用僅限于內(nèi)積＜·，·＞，就可使用滿(mǎn)足Mercer條件的核函數(shù)來(lái)代替內(nèi)積運(yùn)算，即K（xi，xj）＝〈Φ（xi），Φ（xj）〉，從而無(wú)需計(jì)算Ф（·）以避免維數(shù)災(zāi)難。

將訓(xùn)練樣本集S中的N個(gè)輸入變量xi∈Rn×1（i＝1，…，N）通過(guò)非線(xiàn)性映射Ф（·）映射到高維特征空間H，先利用KPCA進(jìn)行白化處理，即在特征空間H對(duì)協(xié)方差矩陣進(jìn)行PCA處理［10－14］。定義Θ＝［Ф（x1），…，Ф（xN）］，則相應(yīng)的協(xié)方差矩陣如下［12］：

采用核函數(shù)來(lái)代替內(nèi)積運(yùn)算以避免維數(shù)災(zāi)難，即定義核矩陣K，其元素可表示為Ki，j＝K（xi，xj）＝〈Ф（xi），Ф（xj）〉，?i，j＝1，…，N，則對(duì)CH特征值分解可轉(zhuǎn)化為對(duì)核矩陣K進(jìn)行。首先需要對(duì)K進(jìn)行標(biāo)準(zhǔn)化處理，即中心化［12］：

其次，進(jìn)行壓縮處理［12］：

對(duì)某一映射到特征空間的測(cè)試變量xq，經(jīng)過(guò)標(biāo)準(zhǔn)化處理后，可按照如下白化處理［12］：

數(shù)據(jù)變量在H中白化后，按照2.1節(jié)的ICA處理方法獲得分離矩陣W，即可獲得H中的獨(dú)立成分。ICA在處理接近高斯分布的觀測(cè)數(shù)據(jù)時(shí)性能下降，且對(duì)于離群點(diǎn)較敏感。KICA從近高斯分布的數(shù)據(jù)中提取獨(dú)立成分的能力較強(qiáng)，因而對(duì)各種非高斯分布（尤其是近高斯分布）具有魯棒性。此外，KICA在高維空間的白化處理采用的是KPCA算法。因此，在一定程度上可以認(rèn)為，KICA的信息提取能力相當(dāng)于KPCA與ICA的綜合。

3 間歇過(guò)程軟測(cè)量建模仿真研究

3.1 用于過(guò)程軟測(cè)量建模的KICA－SKL方法

KICA在化工過(guò)程的應(yīng)用還較少，主要限于過(guò)程監(jiān)測(cè)與故障診斷領(lǐng)域［11－14］。筆者以常見(jiàn)的發(fā)酵過(guò)程為例，將其用于間歇過(guò)程軟測(cè)量建模輸入變量的信息提取，目的是為了在簡(jiǎn)化輸入變量后，提高后續(xù)軟測(cè)量模型的性能。所提出的軟測(cè)量建模方法稱(chēng)為KICA－SKL（相應(yīng)的，以下仿真中采用SVR模型的方法記為KICA－SVR），其流程如圖1所示。

圖1 KICA－SKL軟測(cè)量建模方法流程

從圖1給出的流程可知，所提出的KICASKL建模方法分成兩個(gè)階段：先將輸入變量的信息在高維特征空間有效地提取出來(lái)，去除輸入變量的相關(guān)性；然后再進(jìn)行建模，最終可以獲得更好的建模效果。

3.2 鏈激酶流加發(fā)酵過(guò)程

鏈激酶SK（streptokinase）是β－溶血性鏈球菌的一些菌株產(chǎn)生的血纖維蛋白酶原的活化劑之一，在臨床上用于溶血栓藥物時(shí)有廣闊前景，也是歐洲主要使用的溶血栓藥物。由于發(fā)酵過(guò)程的復(fù)雜性，且缺乏關(guān)鍵生化變量的在線(xiàn)檢測(cè)儀器，對(duì)SK流加發(fā)酵過(guò)程進(jìn)行有效的在線(xiàn)控制存在一定的困難［4］。因此，建立活性菌體質(zhì)量分?jǐn)?shù)（Xa）和SK產(chǎn)物質(zhì)量分?jǐn)?shù)（P）的在線(xiàn)預(yù)報(bào)模型，能夠給SK流加發(fā)酵過(guò)程的在線(xiàn)控制和優(yōu)化提供重要的信息［4，15］。

SK流加發(fā)酵過(guò)程的數(shù)學(xué)模型和補(bǔ)料策略詳見(jiàn)文獻(xiàn)［4］。在此基礎(chǔ)上，對(duì)仿真實(shí)驗(yàn)進(jìn)行如下設(shè)計(jì)，以更加符合實(shí)際的發(fā)酵過(guò)程：

a）將批次反應(yīng)時(shí)間由默認(rèn)的12h變?yōu)?0h～13h，Xa和P每1h化驗(yàn)一次。

b）每批次設(shè)置的初始條件不同，補(bǔ)料策略亦有相應(yīng)變化以增強(qiáng)批次間的不確定性，所以過(guò)程變量均包含白噪聲。

c）考慮的輸入變量包括發(fā)酵罐體積、底物質(zhì)量分?jǐn)?shù)、總菌體質(zhì)量分?jǐn)?shù)以及它們相應(yīng)的滯后［4］；

d）只考慮8批次培養(yǎng)以檢驗(yàn)KICA－SVR對(duì)小樣本的建模能力，其中前5批次訓(xùn)練，后3批次測(cè)試。

3.3 仿真結(jié)果及討論

為了驗(yàn)證KICA對(duì)帶有噪聲的輸入變量的信息提取能力，并和文獻(xiàn)［7—9］的方法比較，同時(shí)構(gòu)造了ICA－SVR，KPCA－SVR，PCA－SVR等軟測(cè)量模型。值得指出的是，由于考慮了輸入變量的滯后，故所比較的實(shí)際上是文獻(xiàn)［9］提出的動(dòng)態(tài)ICASVR和動(dòng)態(tài)PCA－SVR等方法。如圖1所示，所有相應(yīng)的SVR軟測(cè)量模型都采用常用的交叉驗(yàn)證法進(jìn)行訓(xùn)練。

表1給出了KICA－SVR，ICA－SVR，KPCASVR，PCA－SVR，SVR共5種建模方法針對(duì)SK發(fā)酵過(guò)程Xa和P的在線(xiàn)預(yù)報(bào)性能比較。以預(yù)報(bào)的均方誤差RMSE（Root Mean Squares Error， RMSE作為性能指標(biāo)，最小的誤差以粗體并加下劃線(xiàn)表示。

從表1可知采用信息提取的模型都比普通的SVR方法預(yù)報(bào)精度更高，KICA－SVR都能夠獲得比KPCA－SVR，ICA－SVR和PCA－SVR更好的效果，這和文獻(xiàn)［7］指出的結(jié)論類(lèi)似（即核信息提取方法優(yōu)于普通低維空間的信息提取方法）。其中，KPCA－SVR和ICA－SVR的效果差不多，這是由于不同批次反映出來(lái)的非線(xiàn)性特性和非高斯特性并不一致。針對(duì)非線(xiàn)性特性表現(xiàn)較強(qiáng)而非高斯特性表現(xiàn)較弱的批次時(shí)，KPCA會(huì)優(yōu)于ICA；反之，ICA會(huì)優(yōu)于KPCA。然而，在實(shí)際過(guò)程中，間歇過(guò)程的非線(xiàn)性特性以及批次與批次間的不確定性等信息并無(wú)法得到，變量的噪聲特性往往比較復(fù)雜且事先很難知道。由于KICA可大致等同于在KPCA處理后再進(jìn)行ICA信息提取，因而能夠更有效處理未知噪聲情況下的輸入變量。

表1 不同方法對(duì)SK發(fā)酵過(guò)程生化變量的建模性能比較

圖2和圖3分別給出了5種方法在預(yù)測(cè)第8批次（該批次發(fā)酵時(shí)間最長(zhǎng)）Xa的結(jié)果，圖2為預(yù)測(cè)結(jié)果，圖3為預(yù)測(cè)絕對(duì)誤差結(jié)果比較。

圖2 KICA－SVR和其他方法預(yù)報(bào)Xa的比較

圖3 KICA－SVR和其他方法預(yù)報(bào)Xa誤差的比較

從圖中可知沒(méi)有預(yù)處理的結(jié)果最差，尤其是在發(fā)酵過(guò)程的后半階段。PCA－SVR波動(dòng)較大，沒(méi)有明顯的規(guī)律。KPCA－SVR和ICA－SVR總體的預(yù)測(cè)情況較好，其中KPCA－SVR在終點(diǎn)處預(yù)測(cè)結(jié)果較好；ICA－SVR則在前期和中期預(yù)測(cè)結(jié)果較好。這是因?yàn)樵撆伍L(zhǎng)度最長(zhǎng)，終點(diǎn)處的樣本點(diǎn)和訓(xùn)練樣本差異較大，表現(xiàn)出來(lái)的非線(xiàn)性程度也較大，故而核方法處理非線(xiàn)性的優(yōu)勢(shì)能夠體現(xiàn)。KICA－SVR的預(yù)測(cè)結(jié)果總體是較穩(wěn)定的，且在發(fā)酵過(guò)程末端的預(yù)測(cè)結(jié)果最好，這能為實(shí)際發(fā)酵過(guò)程的放罐提供有用的信息。該批次預(yù)報(bào)P也有類(lèi)似的結(jié)果，限于篇幅不再列出。以上分析進(jìn)一步驗(yàn)證了使用KICA進(jìn)行預(yù)處理是一種比較好的選擇，更加符合化工過(guò)程，尤其是間歇過(guò)程的實(shí)際情況。

4 結(jié) 論

有效選擇輸入變量能夠建立更好的軟測(cè)量模型。筆者將KICA用于間歇過(guò)程軟測(cè)量建模輸入變量的信息提取，便于在高維空間提取它們的高階統(tǒng)計(jì)信息，從而消除輸入變量中的自相關(guān)與互相關(guān)等特性。在發(fā)酵過(guò)程軟測(cè)量建模的結(jié)果表明，KICA優(yōu)于傳統(tǒng)ICA或KPCA等其他信息提取方法，所提出的KICA－SKL建模方法也更加適合間歇過(guò)程的軟測(cè)量建模。

［1］ KADLEC P，GABRYS B，STRANDT S.Data－driven Soft Sensors in the Process Industry［J］.Computers and Chemical Engineering，2009（33）：795－814.

［2］ 金福江，周麗春.化工軟測(cè)量技術(shù)研究與進(jìn)展［J］.化工進(jìn)展，2005，24（12）：1379－1383.

［3］ BISHOP C M.Pattern Recognition and Machine Learning［M］.New York：Springer，2006.

［4］ DESAI K，BADHE Y，TAMBE S S，et al.Soft－sensor Development for Fed－batch Bioreactors Using Support Vector Regression［J］.Biochemical Engineering Journal，2006，27（03）：225－239.

［5］ LIU Yi，GAO Yanchen，GAO Zengliang，et al.Simple Nonlinear Predictive Control Strategy for Chemical Processes Using Sparse Kernel Learning with Polynomial Form［J］.Industrial ＆Engineering Chemistry Research，2010，49（17）：8209－8218.

［6］ LIU Yi，WANG Haiqing，YU Jiang，et al.Selective Recursive Kernel Learning for Online Identification of Nonlinear Systems with NARX Form［J］.Journal of Process Control，2010，20（02）：181－194.

［7］ CAO Lijia，CHUA K S，CHONG W K，et al.A Comparison of PCA，KPCA and ICA for Dimensionality Reduction in Support Vector Machine［J］.Neurocomputing，2003，55（01）：321－336.

［8］ 李哲，田學(xué)民.基于輔助變量KNN分析的軟測(cè)量建模方法［J］.化工學(xué)報(bào)，2008，59（04）：941－946.

［9］ 陳愛(ài)軍.最小二乘支持向量機(jī)及其在工業(yè)過(guò)程建模中的應(yīng)用［D］.杭州：浙江大學(xué)，2006.

［10］ BACH F R，JORDAN M I.Kernel Independent Component Analysis［J］.Journal of Machine Learning Research，2002（03）：1－48.

［11］ LEE J M，QIN S J，LEE I B.Fault Detection of Non－linear Processes Using Kernel Independent Component Analysis［J］.The Canadian Journal of Chemical Engineering，2007，85（08）：526－536.

［12］ ZHANG Yingwei，QIN S J.Fault Detection of Nonlinear Processes Using Multiway Kernel Independent Component Analysis［J］.Industrial and Engineering Chemistry Research，2007，46（23）：7780－7787.

［13］ ZHANG Yingwei.Fault Detection and Diagnosis of Nonlinear Processes Using Improved Kernel Independent Component Analysis（KICA）and Support Vector Machine（SVM）［J］.Industrial and Engineering Chemistry Research，2008，47（18）：6961－6971.

［14］ 鄧曉剛，田學(xué)民.基于SKICA的非線(xiàn)性過(guò)程緩變故障檢測(cè)方法研究［J］.儀器儀表學(xué)報(bào)，2009，30（07）：1359－1362.

［15］ ALFORD J S.Bioprocess Control：Advances and Challenges［J］.Computers and Chemical Engineering，2006，30（10）：1464－1475.