朱雨婷，田 穎

（1.上海理工大學機械工程學院；2.上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

在工業(yè)生產過程中，關鍵產品質量指標測定對于提高生產效率、保障生產安全具有重要作用［1］。軟測量技術主要通過建立一定的數學模型，利用易于獲得的過程變量估計難以測得的關鍵變量［2］。軟測量建模是該技術的核心內容。

貝葉斯網絡［3-5］（Bayesian Network，BN）是一種基于概率建立的數學模型，對于解決工業(yè)生產工程中變量不確定性與不完整性問題具有很強優(yōu)勢。因而貝葉斯網絡在質量變量預測中的應用成為研究熱點。本文利用最大期望（Expectation Maximization，EM）算法對高斯混合模型［6-8］中的未知參數進行估計，以獲得高斯混合模型逼近貝葉斯網絡聯合概率，降低網絡訓練過程復雜度，實現質量變量預測。EM 算法作為一種迭代算法，被用于帶有隱變量的概率參數模型最大似然估計，其最大不足在于不能自動調整混合模型中單高斯模型數量，只能事先賦予初值，導致難以選擇最優(yōu)的模型數值，且會導致混合模型中參數估計產生偏差。針對該問題，已有研究從不同方面提供了較合適的解決方案，其中最經典的是由Figueiredo 等［9］提出的F-J算法，但該算法不能解決自動消除權值過小的單高斯模型問題。因此，為了優(yōu)化高斯模型結構，可引入帶有合并算子的F-J 算法。

另一方面，當過程變量之間存在線性關系時，將對基于貝葉斯網絡的質量變量預測模精度和泛化能力造成一定影響。因此有必要在訓練網絡前，對過程變量進行主成分特征提?。?0-12］。這不僅可以解決過程變量之間的線性問題，對數據降維，還能將提取的主元作為網絡輸入變量，降低網絡訓練難度。

再者，在實際工業(yè)生產過程中，機器老化、工作環(huán)境等因素變化會導致模型退化問題［13-15］。因此，進一步引入即時學習這一自適應策略［16-18］，對于實時的待測樣本，通過比對數據庫已知的有標簽樣本，選擇相似度最高的一組訓練質量變量預測模型，可提高模型預測精度和泛化能力。為了提高樣本選擇速度，本文認為由于在較短的時間內獲得的有標簽樣本具有同一性。基于該思想，對數據庫樣本進行分組可在一定程度上縮短網絡訓練時間。

由此，本文提出基于PCA-BN 的自適應質量變量預測模型。首先，對于數據庫中的有標簽樣本進行分塊，當待測樣本出現時，將待測樣本過程變量與各組過程變量均值進行相似度計算，將相似度極高的幾組有標簽樣本融合成訓練樣本；其次，將獲得的訓練樣本先通過主成分特征提取，取消變量之間關聯性，將提取得到的特征變量作為貝葉斯網絡的輸入建立質量變量模型，提高模型精度；第三，在通過高斯混合模型逼近貝葉斯網絡獲得參數估計的過程中，利用帶有合并算子的F-J 算法自動消除權值過小的單高斯模型問題，使EM 算法順利收斂，獲得結構清晰簡化的GMM 模型；最后，利用基于PCA-BN 的自適應質量變量預測模型，估計待測樣本。該方法綜合利用即時學習提高模型泛化能力與BN 強大的函數逼近能力，基于田納西伊斯曼（Tennessee Eastman，TE）仿真過程獲得的數據可驗證方法可行性及有效性。

1 基于即時學習的快速訓練樣本選取

即時學習（Just-in-time learnnig，JITL）可以同時處理非線性和時變性問題，其優(yōu)勢在于可建模提供準確的訓練樣本集。但是在樣本選取過程中，需將待測樣本與數據庫中的每一個樣本進行相似度對比，時耗很大。為了進一步提高樣本選擇速度，本文認為在一定時間間隔內，工業(yè)過程狀態(tài)不發(fā)生漂移等變化，獲取的數據樣本應具有同一性。因此，將數據庫X總=[x1,x2,x3,…xN]劃分成小的塊S=[s1,s2,s3,…sM]，計算每個塊均值U=[u1,u2,u3,…uM]，選擇均值與待測樣本xq相似度較高的一組作為訓練子集，建立待測樣本最優(yōu)局部模型。

余弦距離是典型的相似度計算方法之一，利用空間中兩個向量之間的夾角余弦值作為衡量標準，其度量準則如式（1）所示。

其中，θi表示數據庫中第i個塊均值與待測樣本xq的夾角，uij表示第i個塊均值的第j個變量，d為總變量個數。

余弦值越大，即越接近1，則表示夾角越接近0°，相似程度越高。計算出m個塊與待測樣本余弦值，選擇一組較大值，將其對應的樣本子集合成為1 個訓練集。

2 主成分分析

主成分分析（Principal Component Analysis，PCA）能夠通過線性變換，用少數幾個主成分解釋多個變量之間的內部結構。本文對于獲得的訓練樣本集，利用PCA 進行線性變換，一方面可對數據降維，降低后續(xù)網絡訓練復雜度；另一方面可消除變量之間的相關性，提高模型預測精度。

首先，對樣本x=[x1,x2,x3,…xd]進行線性變換。

其中，d表示變量個數，zi是由過程變量通過線性變換獲得的中間變量，aij表示變量x-j對成分zi的貢獻。

將有n個樣本的訓練集X=[X1,X2,X3,…,Xn] 進行標準化，得到相關系數R。

其次，根據協方差矩陣計算特征值、主成分貢獻率和累積方差貢獻率，確定主成分個數。因為R是正定矩陣，特征值為正，即λ1＞λ2＞...＞λn＞0，v1,v2,v3,…,vn為對應的歸一化特征向量。特征值表示各主成分方差，其值反映了各主成分影響。主成分貢獻率計算方式為：

其中，φi是成分zi的貢獻率。

3 基于貝葉斯網絡的質量變量預測模型

3.1 模型結構

貝葉斯網絡（BN）又被稱為信念網絡，是一種概率圖模型，可以模擬人類處理推理過程中不確定因果關系，其拓撲結構本質是一個有向無環(huán)圖，由隨機變量為節(jié)點及連接節(jié)點的有向弧構成。本文為簡化網絡訓練過程，選擇原因節(jié)點時，盡可能滿足兩個條件：一是變量滿足條件獨立，二是各節(jié)點間不存在父節(jié)點。對于數據變量組合x=[x1,x2,x3,…xd,y]，本文用于質量變量預測的貝葉斯網絡模型如圖1 所示。

Fig.1 Quality variable prediction model based on Bayesian network圖1 基于貝葉斯網絡的質量變量預測模型

其中，原因節(jié)點x1,x2,…xd表示過程變量，結果節(jié)點y表示質量變量，即模型獲得的估計值。進而，過程變量的聯合概率分布可表示為：

其中，p(xi|parents(xi)) 表示xi的條件概率分布，p(y|parents(y))表示y的條件概率分布。

3.2 貝葉斯網絡聯合概率密度的近似求解

貝葉斯網絡結構復雜，不易于求解，故而通過建立高斯混合模型近似求解貝葉斯網絡聯合概率密度，可以得到結構相對簡化的網絡模型。

3.2.1 高斯混合模型

高斯混合模型（Gaussian mixture model，GMM）由多個單高斯混合而成，數據中的每1 個樣本都能被分到對應的高斯元中。設訓練樣本集X=[X1,X2,X3,…,Xn]，樣本數為m，維數為d。若這組數據共由M 個不同的單高斯分布生成，則Xi的混合概率可表示為：

其中，αl是第l 個高斯元Cl的混合系數，滿足，μl和σl分別是Cl的均值和協方差，θl=(μl,σl)。需注意兩個問題：①當σl是奇異的，則而且σl是不可逆的；②當pl(Xi|θl)=0，則pl(Xi|θl)不能為分母。這兩個問題均會導致算法終止，故將式（7）改寫成式（8）。

其中，η1、η2、η3是非常小的數值，I是單位矩陣。

因此，GMM 模型可對未知參數Θ={(α1,θ1),(α2,θ2),...,(αM,θM)}進行估計。

3.2.2 基于改進F-J 算法的EM 算法

EM 算法常用于GMM 參數Θ的估計，假設樣本X=[X1,X2,X3,…,Xn]，將作為GMM 模型參數初始值，將高斯元數量初始設為M0，則混合系數初始值定為1/M0。

首先進行基于改進F-J 算法的EM 算法運算，如式（9）所示。

其中，p(s)(Ck(s)|Xj)表示第s次迭代時第j個樣本屬于第k個高斯元Ck(s)的后驗概率。

運算第二步驟為：

其中，μk(s+1)、σk(s+1)、αk(s+1)分別表示第s+1 次迭代中高斯元Ck(s+1)的均值、協方差和混合系數，V=(d2+3d)/2，d是過程變量個數。

在進行步驟二時，合并算子過程為：令Ci(s)為第s次迭代時，混合系數值最小成分，并且值為αi(s)，相應由Ms個成分混合組成。

（1）當αi(s)＜1/M0，則計算Ci(s)和其他各成分的距離，將成分Ci(s)與其距離最近的Cj(s)合并，獲取更新后的混合系數后重復該步驟。

（2）當所有αi(s)＞1/M0，則需要檢查兩次迭代中參數是否發(fā)生變化，如果超出特定的1 個非常小的范圍，重復上一步驟；否則，停止迭代。

按照上述步驟更新高斯模型參數，可以保證每個高斯成分具有顯著的占比。

3.3 模型構建

本文針對一非線性多輸入單輸出系統(tǒng)，采用高斯混合分布近似求得貝葉斯網絡聯合概率密度后，可根據原因節(jié)點（過程變量）的值預測結果節(jié)點（質量變量）值。

設p(x;μ,σ)為多維正態(tài)密度函數，μ，σ分別為均值、協方差矩陣，如果xT=(x1T,x2T)，μ=(μ1T,μ2T)且σ=，其中，x1表示過程變量，x2表示質量變量，則貝葉斯網絡聯合概率密度由式（5）可進一步表示為：

對于第l個高斯元可得：

則對于混合模型有：

進而，根據貝葉斯公式推導可得：

最后，根據x2的估計值可得：

4 基于PCA-BN 的自適應策略建模及仿真

4.1 基于PCA-BN 的自適應策略建模

依據建模原理，建立基于PCA-BN 的自適應策略模型，其結構如圖2 所示。首先，將現有數據庫數據分塊，產生多個局部數據子集，將查詢樣本與這些數據子集進行相似度對比，選擇最具有相似性的一組數據子集構建訓練集；然后，對訓練集的過程變量進行主元提取，并將提取的變量作為貝葉斯網絡輸入，最后對查詢樣本進行質量變量預測輸出。

Fig.2 Process of adaptive strategy prediction model based on PCA-BN圖2 基于PCA-BN 的自適應策略預測模型流程

4.2 工業(yè)應用

Downs 等［19］依據實際化工過程建立了Tenessee East?man（TE）仿真系統(tǒng)，詳細流程結構如圖3 所示。在過程控制的研究領域中，由于TE 過程可較好地體現實際工業(yè)生產過程中的許多典型特征，因此常應用于質量變量預測、過程監(jiān)控與故障檢測研究。

Fig.3 Flow of TE porcess圖3 TE 過程流程

TE 仿真主要由反應器、冷凝器、壓縮機、氣液分離器和汽提塔5 個模塊構建而成［19］。數據集由測量變量和操作變量兩部分組成。整個反應過程涉及XA、XB、XC、XD、XE、XF、XG、XH 等8 種物質，其中XG、XH 為最終產品，牽涉的反應如式（19）所示。

TE 過程涉及到11 個操作變量、41 個測量變量，其中測量變量可再細分為22 個連續(xù)過程變量和19 個非連續(xù)組分變量［20］。其中，對最終產品XG、XH 的實時監(jiān)測為有效提高輸出產品質量控制系統(tǒng)奠定了基礎。本文主要研究多輸入單輸出的非線性系統(tǒng)，利用成分分析儀分析獲得19 個非連續(xù)組分變量，該過程相對較為復雜，故選擇33 維變量作為輸入，即由11 個操作變量和22 個連續(xù)過程變量組成輸入，并選擇最終的XG 成分含量作為輸出變量，進而建立預測模型。具體步驟為：①將數據庫數據進行分塊，將大的數據集分成若干個局部數據子集；②對于待測樣本，先篩選出這些數據子集中與之相似度較高的一組有標簽樣本作為模型訓練集；③利用主成分分析對輸入變量作特征提取，消除變量之間的相關性，降低數據維數，簡化貝葉斯網絡復雜度；④利用獲得的主成分變量作為貝葉斯網絡原因節(jié)點，對應的XG 成分作為結果節(jié)點，建立TE 過程的自適應PCA-BN 質量變量預測模型。

本文共有960 組數據，選擇60 組作為測試樣本，900組作為數據庫，鑒于主元個數設定為17，所以每次從中選擇600 組作為訓練樣本。若測試樣本數量過少，算法將無法正常運行［6］。

為了證明本文方法可行性，將其與同等情況下的PCR和PCA-BN 的預測結果相對比，如圖4-圖6 所示（彩圖掃OSID 碼可見），MAE 分別降低了26.2% 和14.4%，RMSE 分別降低了10.3% 和7.5%，RE 分別降低了11.5% 和8.3%。MAE（Maximum Relative Error）表示最大相對誤差，RMSE（Root Mean Square error）表示均方根誤差，RM（Relative Er?ror）表示相對誤差。經對比可以看出基于JITL 的PCA-BN預測精度比傳統(tǒng)方法更高，可有效解決軟測量過程中時變性問題。

Fig.4 Prediction curve based on PCR圖4 基于PCR 的預測曲線

Fig.5 Prediction curve based on pca-bn圖5 基于PCA-BN 的預測曲線

Fig.6 Prediction curve based on adaptive strategy in Bayesian framework圖6 貝葉斯框架下基于自適應策略下的預測曲線

5 結語

本文將JITL 與PCA-BN 結合，提出了基于PCA-BN的自適應質量變量預測模型。首先利用JITL 從分塊好的數據庫數據集中，選出與待測樣本相似度較高的1 組局部模塊作為訓練樣本，縮短樣本篩選時間；再利用PCA 提取過程變量主元，借此作為原因節(jié)點進行降維并簡化BN 網絡；接著利用帶有合并算子的F-J 算法改善EM 算法，從而獲得高斯混合模型參數估計；最后基于高斯混合模型逼近貝葉斯網絡聯合概率密度的思想，訓練得到清晰簡化的網絡模型，進而估計質量變量值。使用該方法建立TE 過程的成分XG 預測模型與PCR，PCA-BN 等方法相比，預測精度更高。但該方法仍存在不足之處，對于每一個查詢樣本，都需重新選取訓練樣本從而建立一個新的貝葉斯網絡，較之傳統(tǒng)方法雖然預測精度有所改善，但是計算時耗也會更大。如何在提高精度的基礎上，還能控制計算時長，仍需進一步研究。