高學(xué)金，劉騰飛，徐子?xùn)|，高慧慧，于涌川

（1 北京工業(yè)大學(xué)信息學(xué)部，北京100124； 2 數(shù)字社區(qū)教育部工程研究中心，北京100124； 3 城市軌道交通北京實驗室，北京100124； 4 計算智能與智能系統(tǒng)北京市重點實驗室，北京100124）

引 言

間歇過程因其小批量、可操作性強、產(chǎn)品附加值高等特點，在化工生產(chǎn)中被廣泛應(yīng)用[1]。多向主成分分析[2](multiway principal component analysis,MPCA)和多向偏最小二乘[3](multiway partical least squares, MPLS)最早被提出用于間歇過程的故障監(jiān)測，已得到了較大發(fā)展[4-7]。間歇過程本身反應(yīng)復(fù)雜多變，通常具有較強的非線性和動態(tài)性，增加了故障監(jiān)測的難度[8-9]。

傳統(tǒng)方法中通常使用核方法解決過程非線性，取得了較好的效果[10-12]。進一步，為同時處理間歇過程中的非線性和動態(tài)性，Wang 等[13]提出了雙向動態(tài)核PCA(two-dimensional dynamic kernel PCA, 2DDKPCA)方法，通過構(gòu)造支持域(region of support,ROS)捕捉批次內(nèi)和批次間兩個方向的動態(tài)性，但支持域難以確定。Jia 等[14]提出了批動態(tài)核PCA(batch dynamic kernel PCA, BDKPCA)方法，通過增廣時滯數(shù)據(jù)的方式處理動態(tài)性，而后使用所有批次數(shù)據(jù)的平均核矩陣進行PCA 建模。但增廣時滯數(shù)據(jù)并不能有效提取過程數(shù)據(jù)間的時序關(guān)聯(lián)關(guān)系，對動態(tài)性的處理仍有不足。Zhang 等[15]提出了遞歸核PCA 方法，在核空間遞歸更新樣本協(xié)方差矩陣的特征值分解，考慮了歷史信息對當(dāng)前時刻的影響。Zhang 等[16]提出了全局保持核慢特征分析方法，在處理非線性和動態(tài)性的同時考慮了全局數(shù)據(jù)結(jié)構(gòu)信息。然而，核空間不可知，在線更新困難，當(dāng)訓(xùn)練數(shù)據(jù)增加時，核矩陣所需的計算和存儲需求都急劇增大，這些缺陷使同時處理過程動態(tài)性的難度大大增加。

自動編碼器（autoencoder,AE）是一種用于無監(jiān)督特征提取的神經(jīng)網(wǎng)絡(luò)，因深度學(xué)習(xí)的熱潮而備受關(guān)注[17]。Yan等[18]將自動編碼器應(yīng)用于過程監(jiān)測，在解決非線性問題的同時考慮了過程監(jiān)控的魯棒性。但AE 同樣假設(shè)過程變量是獨立同分布的，忽略了過程數(shù)據(jù)的時序相關(guān)性，容易導(dǎo)致較高的漏報率和誤報率。

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)對處理非線性時間序列有著較強的適用性，能較好地學(xué)習(xí)和利用時序樣本間的動態(tài)關(guān)聯(lián)信息。長短時記憶(long short-term memory, LSTM)網(wǎng)絡(luò)是RNN的一種典型改進形式[19]，改善了RNN 的梯度消失問題，在學(xué)習(xí)新信息的同時能夠動態(tài)記憶長時間的歷史信息[20]。然而在過程監(jiān)測領(lǐng)域，LSTM 還少有應(yīng)用。基于此，本文提出一種基于循環(huán)自動編碼器(recurrent autoencoder,RAE)的間歇過程故障監(jiān)測方法。首先，利用AT[21]展開方法將間歇過程數(shù)據(jù)展開成二維，通過滑動窗采樣得到模型輸入序列；之后采用LSTM 網(wǎng)絡(luò)構(gòu)建自動編碼器，將輸入序列作為期望輸出進行網(wǎng)絡(luò)訓(xùn)練，通過隱藏層的循環(huán)連接提取過程數(shù)據(jù)的動態(tài)關(guān)聯(lián)信息。最后，通過青霉素發(fā)酵過程和實際的工業(yè)過程驗證了所提算法優(yōu)越性和有效性。

1 循環(huán)自動編碼器

1.1 傳統(tǒng)自動編碼器

傳統(tǒng)自動編碼器是一個三層前饋神經(jīng)網(wǎng)絡(luò)，它由編碼器和解碼器兩部分構(gòu)成，通過最小化重構(gòu)誤差學(xué)習(xí)到原始數(shù)據(jù)的特征表達[22]。編碼器f(x)將輸入x∈Rn映射到隱含層特征h∈Rm，可表示為

式中，W'∈Rn×Rm與b'∈Rn分別為解碼器的權(quán)重矩陣和偏置向量；sg為解碼器激活函數(shù)。重構(gòu)誤差L(x,y)為輸入x與重構(gòu)y之間的差異，可表示為

1.2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM 網(wǎng)絡(luò)是由Hochreiter 等[23]提出的一種改進RNN。傳統(tǒng)RNN 雖然適用于處理非線性時間序列，但其存在梯度消失問題，即無法學(xué)習(xí)到較為久遠的序列信息。因此，LSTM 網(wǎng)絡(luò)將RNN 的隱含層改進為存儲單元，以提升其保持長期歷史信息的能力。圖1所示為LSTM存儲單元結(jié)構(gòu)。

圖1 存儲單元結(jié)構(gòu)Fig.1 Structure of memory cell

存儲單元中使用記憶細胞保存信息，通過輸入門、遺忘門和輸出門來控制細胞狀態(tài)。其中，輸入門控制信息流對細胞狀態(tài)的更新，遺忘門決定從細胞狀態(tài)中丟棄的信息，而輸出門最終確定存儲單元的輸出。存儲單元的計算流程可以由以下復(fù)合函數(shù)表示[20]

式中，it、ft、ot、ct分別為t時刻的輸入門、遺忘門、輸出門和細胞狀態(tài)，W和b分別為其對應(yīng)的權(quán)重矩陣和偏置向量；ht為t時刻存儲單元的輸出；σ為sigmoid函數(shù)。

LSTM 網(wǎng)絡(luò)輸出的計算方式與傳統(tǒng)RNN 相同，可表示為

式中，yt為t時刻LSTM 網(wǎng)絡(luò)的輸出，Why和by為隱含層到輸出層的權(quán)重矩陣和偏置向量；由此，給定一個輸入序列，LSTM 網(wǎng)絡(luò)可得到同樣長度的輸出序列。

2006年博湖縣建立了“非遺”保護中心，確定了博湖縣文化館為開展“非物質(zhì)文化遺產(chǎn)保護工作”具體實施單位，近年來，縣委、縣政府團結(jié)和帶領(lǐng)全縣各族人民，大力實施“水陸并進”戰(zhàn)略，但博湖縣非遺資源的有效利用方面存在以下問題：

1.3 循環(huán)自動編碼器

針對間歇過程數(shù)據(jù)的非線性和動態(tài)性特征，將傳統(tǒng)AE 使用LSTM 網(wǎng)絡(luò)擴展為RAE，即將LSTM 網(wǎng)絡(luò)替換為傳統(tǒng)AE 的隱含層，LSTM 將輸入序列輸出為重構(gòu)序列，以此來計算重構(gòu)誤差。克服了LSTM只能用于分類，無法進行監(jiān)測的問題，并使其在處理時序數(shù)據(jù)中性能較好的優(yōu)勢引入間歇過程中，其展開結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)中隱含層特征不僅傳遞到了輸出層，同時傳遞到了下一時刻的隱含層。因此，RAE 有效考慮了歷史序列對當(dāng)前狀態(tài)的影響，并且LSTM 賦予了模型保留長期時序信息的能力。此外，隱含層的循環(huán)連接使RAE 可以表達出一個過程狀態(tài)到另一個過程狀態(tài)的轉(zhuǎn)移關(guān)系，從而提取時序樣本間的動態(tài)關(guān)聯(lián)信息。

圖2 RAE展開結(jié)構(gòu)Fig.2 Unfold structure of RAE

給定輸入序列X =(x1,…,xT)，其與輸出序列Y =(y1,…,yT)間的誤差為所有時間步誤差之和，可以表示為

式中，Lt為t時刻的重構(gòu)誤差，f(·)為編碼器，如式(5)～式(8)所示；g(·)為解碼器，如式(9)所示。

2 基于RAE的過程監(jiān)測策略

2.1 數(shù)據(jù)預(yù)處理

間歇過程原始數(shù)據(jù)可表示為X(I×J×K)，其中I為批次個數(shù)，J為變量個數(shù)，K為采樣點個數(shù)。由于LSTM 需要輸入為時間序列，所以使用批次展開和變量展開結(jié)合的AT[21]方法將三維過程數(shù)據(jù)展開成二維，然后對每批次數(shù)據(jù)以窗寬為d的滑動窗進行連續(xù)采樣，提取出時間序列。數(shù)據(jù)展開采樣過程如圖3所示。

首先，按批次方向?qū)v史數(shù)據(jù)X(I×J×K)展開成二維矩陣X(I×KJ)進行標準化處理，降低了過程變量的非線性。接著將數(shù)據(jù)重新排列成三維形式，然后按變量方向展開成二維矩陣X(IK×J)。最后，對展開后的每個批次數(shù)據(jù)采用滑動窗將其采樣為序列形式，其中第i個批次第k個時刻滑動窗采樣得到的序列為

圖3 數(shù)據(jù)預(yù)處理Fig.3 Data preprocessing

2.2 故障監(jiān)測指標

為監(jiān)控過程變化，在殘差空間中構(gòu)建SPE 統(tǒng)計量?；赗AE 的重構(gòu)誤差，其SPE 統(tǒng)計量計算方式為

其中，d為采樣滑動窗的窗寬，e是一個時刻的輸入與輸出間的誤差。由于難以確定SPE統(tǒng)計量的數(shù)學(xué)分布，因此采用核密度估計[24]方法獲取統(tǒng)計量控制限，其形式[25]為

式中，fk(x)為概率密度，x為觀測樣本，K為核函數(shù)，h為窗寬，N為觀測樣本數(shù)目。

2.3 離線建模

(1）將正常間歇過程的三維歷史數(shù)據(jù)X(I×J×K)按照2.1 節(jié)所述方式展開標準化并使用窗寬為d的滑動窗對各批次進行連續(xù)采樣，得到訓(xùn)練所用的樣本序列。

（2）使用基于時間的反向傳播算法訓(xùn)練RAE，直到模型收斂。

（3）根據(jù)式(12)求取全部建模序列的SPE 統(tǒng)計量。

（4）根據(jù)式(13)使用核密度估計方法計算得到SPE統(tǒng)計量的控制限[26-29]。

2.4 在線監(jiān)測

（2）計算輸入序列的SPE 統(tǒng)計量,通過判斷其是否超過控制限來確定生產(chǎn)過程是否發(fā)生故障。

3 青霉素發(fā)酵過程仿真研究

青霉素（penicillin）是一種常見的臨床抗菌藥品，其生產(chǎn)制備過程是典型的間歇過程，具有較強的非線性和動態(tài)性。本文使用Birol 等[30]研究開發(fā)的青霉素發(fā)酵基準仿真平臺Pensim2.0 進行在線監(jiān)控仿真研究。設(shè)定每批次發(fā)酵時間為400 h，采樣間隔為1 h。共產(chǎn)生40 批次正常工況數(shù)據(jù)，每個批次的初始條件均在允許的范圍內(nèi)稍加改變。選取10個過程變量用于建模和監(jiān)控，如表1 所示。為較好模擬實際生產(chǎn)狀況，對訓(xùn)練樣本加入一定量的高斯噪聲干擾。

表1 青霉素發(fā)酵過程主要變量Table 1 The main variables of penicillin fermentation process

為驗證所提方法用于過程監(jiān)控的有效性，本文選取了三組故障批次樣本進行測試驗證，如表2所示。

表2 故障批次設(shè)置情況Table 2 Fault batch settings

RAE 模型需要設(shè)定的主要參數(shù)有隱含層節(jié)點數(shù)目和采樣時間窗口大小，本文采用網(wǎng)格搜索法對兩個參數(shù)進行交替尋優(yōu)確定。其中RAE 模型的序列平均重構(gòu)誤差-L作為參數(shù)選擇標準，計算方式如式（14）所示

式中,d為滑動窗寬，Li為序列中第i個時刻的重構(gòu)誤差，xi和yi分別為模型第i個時刻的輸入和重構(gòu)向量。序列隱含層節(jié)點數(shù)選擇16、32、64、128，采樣窗寬d選擇2、4、8、16、32，共計20 組參數(shù)進行搜索尋優(yōu)，得到模型的序列平均重構(gòu)誤差值如表3所示，重構(gòu)誤差值越小，模型越精確。最終選擇隱含層節(jié)點數(shù)目為64，采樣窗寬為8。為進一步表明本文方法的優(yōu)越性，本文將所提方法與傳統(tǒng)方法進行了對比分析，對比方法選擇BDKPCA[14]、AE 以及增廣時滯數(shù)據(jù)的滑動窗AE(move window AE,MWAE)方法。為進行更合理的分析對比，將BDKPCA 的T2和SPE統(tǒng)計量進行融合得到C統(tǒng)計量，如式（15）所示

表3 不同參數(shù)下模型的平均重構(gòu)誤差值Table 3 Mean reconstruction error values of models with different parameters

圖4 所示分別為BDKPCA、AE、MWAE 與本文所提RAE 方法對故障1 的在線監(jiān)測圖,虛線為99%的控制限?？梢钥闯龉收习l(fā)生后，所有方法的監(jiān)測統(tǒng)計量指標均立刻超出控制限，但BDKPCA 仍存在一定的漏報警現(xiàn)象。從圖4(a)～(c)的對比可以看出，AE 方法誤報率最高，BDKPCA 和MWAE 由于考慮了過程動態(tài)性，誤報警有所減少。相比之下，RAE 方法誤報警最少且故障幅度上升更為明顯，監(jiān)測到的故障工況與正常工況間的數(shù)據(jù)分布差異更大。

圖5 分別為BDKPCA、AE、MWAE 與RAE 方法對故障2的監(jiān)測結(jié)果。BDKPCA 的C統(tǒng)計量在218 h監(jiān)測到故障。AE對故障的檢測存在一定的延遲，在221 h監(jiān)測到故障，且存在較多誤報警。MWAE相比AE 誤報警較少，且可以在215 h 監(jiān)測到故障。從圖5(d)中可以看出，本文所提RAE 方法沒有誤報警，且在208 h 監(jiān)測到故障，故障檢測的實時性有了明顯提高。

圖4 故障1的監(jiān)測結(jié)果Fig.4 Monitoring results of fault 1

圖6 分別為四種方法對故障3 的監(jiān)測結(jié)果。BDKPCA 的C統(tǒng) 計 量 在189 h 監(jiān) 測 到 故 障。AE 在195 h 監(jiān)測到故障，而MWAE 在184 h 監(jiān)測到故障。圖6(d)中，RAE 方 法 在175 h 監(jiān) 測 到 故 障，比BDKPCA 和MWAE 方法分別提前了14 h 和9 h。相比其他三種方法，本文所提方法對于該幅值較小的緩變故障更為敏感，表現(xiàn)出更好的監(jiān)控效果。

圖5 故障2的監(jiān)測結(jié)果Fig.5 Monitoring results of fault 2

表4 四種方法的故障檢測率Table 4 Fault detection rate of four methods/%

圖6 故障3的監(jiān)測結(jié)果Fig.6 Monitoring results of fault 3

四種方法對三個故障批次的詳細故障檢測率和誤警率分別如表4 和表5 所示。由故障檢測率和誤警率的對比可知，BDKPCA 和MWAE 比AE 方法具有更強的故障檢出能力以及更低的誤警率，說明處理過程動態(tài)性是必要的。而RAE 相比于其他三種方法故障檢測率最高，且誤警率明顯降低，可靠性較好。RAE 使用LSTM 網(wǎng)絡(luò)建立基于時間序列的AE，具有較好的非線性表達能力，且能動態(tài)記憶歷史信息，有利于故障監(jiān)測。綜上可知，對于非線性和動態(tài)性較強的間歇過程，本文所提出的基于RAE的監(jiān)測方法是有效的。

表5 四種方法的誤警率Table 5 False alarm rate of four methods/%

4 算法實際驗證

實驗數(shù)據(jù)來源于北京某生物制藥公司，該公司主要以基因重組大腸桿菌外源蛋白質(zhì)表達制備白介素-2。該公司提供了30 批正常工況大腸桿菌發(fā)酵生產(chǎn)歷史數(shù)據(jù)，選取用于進行監(jiān)測的7 個主要過程變量如表6所示。本次實驗中的發(fā)酵批次持續(xù)時間6～7 h。數(shù)據(jù)從菌體接種入罐開始采集，每5 min采樣一次，30個批次三維數(shù)據(jù)集為X(30×7×72)。

表6 大腸桿菌發(fā)酵過程主要變量Table 6 The main variables of recombinant Escherichia coli fermentation process

故障批次為，在第38 個采樣時刻引起的，表現(xiàn)為斜率2%的斜坡故障。圖7 分別為AE 和RAE 對故障批次的監(jiān)測結(jié)果。傳統(tǒng)AE 方法在發(fā)酵開始階段出現(xiàn)了誤報警，SPE 統(tǒng)計量在第42 個采樣時刻超過控制限，存在一定延遲。RAE 方法的監(jiān)測統(tǒng)計在第40 個采樣時刻超出控制限，不存在故障的漏報警和誤報警現(xiàn)象。通過以上分析，監(jiān)測方法可以有效檢測出生產(chǎn)過程中的故障，具有較大的實用價值。

5 結(jié) 論

本文針對間歇過程的非線性和動態(tài)性問題,提出了基于RAE 的過程監(jiān)測方法。該方法利用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建自動編碼器，解決過程非線性的同時可以有效學(xué)習(xí)時序樣本間的動態(tài)關(guān)聯(lián)信息。青霉素發(fā)酵仿真和重組大腸桿菌實際生產(chǎn)過程案例研究表明，相比傳統(tǒng)方法，RAE 能更及時地檢測到過程故障，誤警率較低，具有一定應(yīng)用價值。

圖7 故障監(jiān)測結(jié)果Fig.7 Monitoring results of fault