王雅琳，潘雨晴，劉晨亮

（中南大學(xué)自動化學(xué)院，湖南 長沙 410083）

引 言

隨著多品種、小規(guī)模、個性化、高附加值等特點成為制造業(yè)的發(fā)展趨勢，間歇過程受到越來越多的重視。憑借其靈活和高效的生產(chǎn)方式，批處理方式已被廣泛應(yīng)用于鋼鐵、化工、生物制藥、塑料加工等工業(yè)過程[1]。然而，間歇過程所處環(huán)境惡劣，涉及的電子和機械零件易發(fā)生故障，這些會導(dǎo)致產(chǎn)品質(zhì)量受到影響，甚至?xí)l(fā)安全生產(chǎn)事故，危及現(xiàn)場工人生命安全[2-3]。因此，對間歇過程實時在線監(jiān)測和故障診斷、及時地發(fā)現(xiàn)生產(chǎn)過程中的異常變化、指導(dǎo)現(xiàn)場操作工人消除異?；蛱崆敖K止反應(yīng)具有重要意義。隨著傳感器裝置和數(shù)據(jù)存儲技術(shù)的快速發(fā)展，大量生產(chǎn)過程數(shù)據(jù)被保留下來，這些數(shù)據(jù)中蘊含著豐富的過程狀態(tài)信息，使得數(shù)據(jù)驅(qū)動的過程監(jiān)測方法成為國內(nèi)外學(xué)者研究的重點。

近年來，基于批次展開的間歇過程監(jiān)測方法，如多向主成分分析(multiway principal component analysis, MPCA)[4]、多向偏最小二乘(multiway partial least squares, MPLS)[5]、多向獨立成分分析(multiway independent component analysis, MICA)[6]和多向局部保持投影(multiway locality preserving projection,MLPP)[7]，已被廣泛應(yīng)用于解決間歇過程中的在線監(jiān)測問題。然而在實際生產(chǎn)過程中，由于間歇過程每個階段的操作時間因批次不同而異，使得展開后每個批次的變量維數(shù)不同。因此常采用變量展開的方式來分析不同批次數(shù)據(jù)隨時間的變化趨勢，然后借助對二維數(shù)據(jù)的分析方法實現(xiàn)過程監(jiān)測。由于典型相關(guān)分析(canonical correlation analysis, CCA)可以充分挖掘變量間的相關(guān)性，因此Chen 等[8]利用CCA 方法構(gòu)建殘差信號進行故障檢測，成功應(yīng)用于氧化鋁蒸發(fā)過程的仿真實驗。此外，由于工業(yè)過程反應(yīng)復(fù)雜導(dǎo)致數(shù)據(jù)呈現(xiàn)出非線性特征，導(dǎo)致大多數(shù)傳統(tǒng)線性方法并不適用于非線性動態(tài)工業(yè)過程。受核方法[9-11]有效解決非線性問題的啟發(fā)，Samuel 等[12]提出了基于核典型變量分析方法用于非線性動態(tài)過程監(jiān)測。Jiang 等[13]提出了一種局部加權(quán)CCA 模型，通過將非線性過程分解為多個線性過程，分別對每個獨立的線性過程構(gòu)建局部CCA 模型實現(xiàn)在線監(jiān)測。然而，隨著數(shù)據(jù)規(guī)模增加和核矩陣計算困難等問題的出現(xiàn)，上述分段線性逼近的方法無法從本質(zhì)上解決工業(yè)過程數(shù)據(jù)非線性動態(tài)特征的問題。

深度學(xué)習(xí)技術(shù)憑借其強大的非線性表示能力得到了極大的關(guān)注[14-17]，基于深度神經(jīng)網(wǎng)絡(luò)的CCA(deep canonical correlation analysis, DCCA)方法得到廣泛研究。不同于核方法，DCCA 避免了大量矩陣乘積運算，更好地平衡了數(shù)據(jù)規(guī)模與運算時間。Jiang 等[18]通過結(jié)合深度置信網(wǎng)絡(luò)(deep belief networks,DBN)[19-20]和CCA提出了一種正則化深度相關(guān)表示方法。Chen 等[21]討論了不同神經(jīng)網(wǎng)絡(luò)輔助CCA 方法對過程監(jiān)測任務(wù)的影響。雖然上述方法取得了一定效果，但都應(yīng)用在連續(xù)過程，沒有考慮間歇過程的數(shù)據(jù)結(jié)構(gòu)特征。對于間歇過程而言，雖然變量展開的方法可將三維數(shù)據(jù)結(jié)構(gòu)形式轉(zhuǎn)化為二維形式提取數(shù)據(jù)特征，但是在展開的過程中會丟失原有三維數(shù)據(jù)內(nèi)的結(jié)構(gòu)關(guān)系，使得建立的在線監(jiān)測模型精度較低。由于圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)[22-24]可以通過構(gòu)造關(guān)聯(lián)圖的方式捕捉數(shù)據(jù)內(nèi)的結(jié)構(gòu)關(guān)系，已經(jīng)成功應(yīng)用于工業(yè)過程的過程監(jiān)測和故障診斷領(lǐng)域。Chen 等[25]提出一種同時考慮系統(tǒng)拓?fù)浣Y(jié)構(gòu)和多測量值的GCN 方法用于配電網(wǎng)的故障定位，獲得較好的故障定位精度。Zhang等[26]通過將聲信號轉(zhuǎn)化為圖結(jié)構(gòu)，并利用深度GCN的數(shù)據(jù)結(jié)構(gòu)提取能力實現(xiàn)了滾動軸承的聲學(xué)故障診斷。Chen 等[27]提出一種融合測量值和先驗知識的GCN 方法用于工業(yè)過程故障分類。然而，上述方法并沒有考慮工業(yè)過程的動態(tài)時變特征。

為了同時考慮數(shù)據(jù)內(nèi)在結(jié)構(gòu)特征和時變特征對在線監(jiān)測的影響，本研究提出一種融合圖神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)(GSA-LSTM)的典型相關(guān)分析方法用于間歇過程的在線監(jiān)測。首先，根據(jù)數(shù)據(jù)的相似性，利用K近鄰方法將過程數(shù)據(jù)構(gòu)造成圖結(jié)構(gòu)形式，以補充批次數(shù)據(jù)變量展開時丟失的結(jié)構(gòu)信息。然后，采用圖采樣聚合網(wǎng)絡(luò)(GraphSAGE)[28]提取數(shù)據(jù)的結(jié)構(gòu)特征。為了充分考慮工業(yè)過程的動態(tài)時變特性，在提取結(jié)構(gòu)特征的基礎(chǔ)上，采用LSTM 網(wǎng)絡(luò)進一步提取數(shù)據(jù)的非線性時變特征，并將時變特征與結(jié)構(gòu)特征進行加權(quán)融合，以得到更有意義的批次數(shù)據(jù)特征。最后，將得到的數(shù)據(jù)特征構(gòu)造殘差發(fā)生器，并利用CCA方法實現(xiàn)過程監(jiān)測。

1 相關(guān)工作

1.1 GraphSAGE

GraphSAGE 是Halmilton 等[28]為 解 決GCN 由 于轉(zhuǎn)導(dǎo)式學(xué)習(xí)限制無法快速表達(dá)新節(jié)點的缺陷而提出的一種深度學(xué)習(xí)方法。GraphSAGE 方法主要包括兩個過程：節(jié)點采樣和聚合。首先針對圖中每個節(jié)點進行采樣，從該節(jié)點的鄰居節(jié)點中均勻挑選K個節(jié)點作為其待聚合鄰居節(jié)點。然后根據(jù)聚合函數(shù)計算所有待聚合鄰居節(jié)點的信息，進而得到當(dāng)前節(jié)點的表示。隨著網(wǎng)絡(luò)層數(shù)及迭代次數(shù)的增加，當(dāng)前節(jié)點會包含越來越多遠(yuǎn)距離節(jié)點的信息。圖1展示了待采樣節(jié)點個數(shù)為2時的GraphSAGE方法流程圖。從圖中可以看出，在第1 層，7 號節(jié)點聚合了第0 層中5、9 兩個節(jié)點的信息。而在第2 層，4 號節(jié)點由于聚合了7 號節(jié)點的信息，因此也包含了5、9 兩個二階鄰居節(jié)點的信息。

圖1 GraphSAGE示意圖Fig.1 Schematic of GraphSAGE

1.2 LSTM

長短期記憶網(wǎng)絡(luò)(long-short term memory, LSTM)是Hochreiter 等[29]為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)處理長時間序列時出現(xiàn)梯度消失和爆炸問題而提出的。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似，LSTM 也包括輸入層、隱層和輸出層。不同的是，LSTM 的隱層通過三個門結(jié)構(gòu)實現(xiàn)信息的傳遞，即遺忘門、輸入門和輸出門，并定義細(xì)胞狀態(tài)用于自適應(yīng)的保留重要信息，剔除冗余信息。具體而言，遺忘門用于選擇性丟棄上一節(jié)點的信息，輸入門用于選擇性保留當(dāng)前信息，輸出門決定了輸出信息量。LSTM的結(jié)構(gòu)如圖2所示。

圖2 LSTM細(xì)胞單元Fig.2 LSTM cell unit

1.3 CCA

CCA 的核心是學(xué)習(xí)兩組變量的相關(guān)關(guān)系[30]。假設(shè)u∈Rm，y∈Rl分別是兩個隨機變量，且Σu，Σy，Σuy分別為u和y的協(xié)方差矩陣及二者的互協(xié)方差矩陣。CCA 方法尋求一組線性映射(J,L)，使得u和y在映射空間的相關(guān)性最大。CCA 的求解問題可表示為如下優(yōu)化問題。

式中，U和V為正交矩陣；Λ為對角陣；r為非零奇異值；Ur和Vr分別表示U和V的前r列。

2 基于GSA-LSTM的過程監(jiān)測方法

為了同時考慮間歇過程數(shù)據(jù)的非線性時變特性和批次三維數(shù)據(jù)因變量展開丟失的結(jié)構(gòu)特性，本文提出一種基于GSA-LSTM 的典型相關(guān)性分析方法(GSA-LSTM-CCA)用于間歇過程的在線監(jiān)測，模型的總體結(jié)構(gòu)如圖3所示。本節(jié)將詳細(xì)介紹所提方法的組成及其在過程監(jiān)測中的應(yīng)用。

圖3 GSA-LSTM-CCA模型總體框架Fig.3 The framework of GSA-LSTM-CCA

2.1 GSA-LSTM 模型

2.1.1 KNN 圖 當(dāng)對批次數(shù)據(jù)展開后，可以得到數(shù)據(jù)矩陣X(J×IK)。首先根據(jù)樣本間相似度找到與其最相近的樣本作為其鄰居，并用邊連接每個數(shù)據(jù)樣本和它對應(yīng)的鄰域樣本。國內(nèi)外學(xué)者已針對樣本間相似性的度量做了大量工作[9,22,25]，本文采取熱核函數(shù)作為判斷樣本相似性的依據(jù)。相似性矩陣表示為S∈RIK×IK，樣本i和j的相似性可根據(jù)式(6)計算。

式中，t表示時間參數(shù)。得到相似性矩陣S后，對每個數(shù)據(jù)樣本，選擇與其相似性排名前K的樣本作為鄰居構(gòu)造K近鄰圖。通過這種方式，實現(xiàn)了間歇過程數(shù)據(jù)從二維矩陣到圖結(jié)構(gòu)的轉(zhuǎn)化。

2.1.2 LSTM 模塊 由于間歇過程數(shù)據(jù)具有強非線性及時變的特點，對數(shù)據(jù)進行高效精準(zhǔn)的表示是數(shù)據(jù)驅(qū)動過程監(jiān)測的基本前提。鑒于LSTM 方法對長時變數(shù)據(jù)的高效特征表示能力，本文采用LSTM 模型學(xué)習(xí)批次數(shù)據(jù)時變特征。對每個時刻t，LSTM 的遺忘門決定舍棄上一細(xì)胞狀態(tài)的信息。

式中，σ( · )為sigmoid 函數(shù)；Wf和bf分別表示遺忘門的權(quán)重矩陣和偏差向量；ht-1為上一時刻輸出的隱層狀態(tài)；xt為當(dāng)前時刻的輸入。由于σ( · )的值域為( )0,1 ，因此，當(dāng)ft的值接近0 時，大部分來源于上一細(xì)胞狀態(tài)的信息將被遺忘。與此同時，LSTM通過一個新的向量c?t決定哪些信息被保留。

LSTM 通過門結(jié)構(gòu)可以更有效地提取批次數(shù)據(jù)的非線性時變特征。此外，由于LSTM 建立的是動態(tài)模型，因此可以通過堆疊LSTM 單元的方式深度跟蹤變量展開后批次數(shù)據(jù)的時變特征。

2.1.3 GSA-LSTM 模塊 LSTM 雖然可有效提取數(shù)據(jù)的非線性時變特征，但是它忽略了三維批次數(shù)據(jù)變量展開后的結(jié)構(gòu)特征。針對上述問題，本文將LSTM 學(xué)習(xí)到的特征集成到GraphSAGE 中，使得學(xué)習(xí)到的特征包含兩部分信息：數(shù)據(jù)的非線性時變特性、變量展開時的結(jié)構(gòu)特征信息。

GraphSAGE 主要分為節(jié)點采樣和聚合兩個步驟。在每次迭代中，GraphSAGE 對每個節(jié)點的鄰居節(jié)點進行隨機采樣，得到待聚合的節(jié)點集合，然后通過聚合器更新節(jié)點的表示。具體地，首先定義KNN 圖G=(V,E)鄰居個數(shù)k，其中V和E分別代表頂點集和邊集。對圖中每個節(jié)點v進行隨機采樣，得到節(jié)點v的待聚合鄰居節(jié)點集合N(v)。然后在前向傳播的過程中，對每一層中的所有節(jié)點通過如下公式進行聚合，得到該層的特征表示。

2.2 基于GSA-LSTM-CCA 的過程監(jiān)測

本節(jié)介紹將學(xué)習(xí)到的樣本特征與典型過程監(jiān)測方法CCA 相結(jié)合實現(xiàn)間歇過程的在線監(jiān)測。由于CCA 的目標(biāo)是尋求一組映射，使兩組輸入變量在映射空間內(nèi)的相關(guān)性最大。因此，本文首先將變量展開后的過程數(shù)據(jù)X(J×IK)標(biāo)準(zhǔn)化后分為U(J1×IK) 和Y(J2×IK) 兩 組，其 中J1+J2=J。GSALSTM 模型可分別對U和Y進行高效表示，因此基于GSA-LSTM-CCA 模型的目標(biāo)為兩個相同結(jié)構(gòu)的參數(shù)ΘZU和ΘZY，使得U和Y的非線性動態(tài)表示ZU和ZY具有最大的相關(guān)性。

網(wǎng)絡(luò)的訓(xùn)練過程在無故障數(shù)據(jù)集上，通過以下目標(biāo)函數(shù)進行。

圖4 GSA-LSTM-CCA過程監(jiān)測流程圖Fig.4 Flow chart of GSA-LSTM-CCA based process monitoring

3 實驗與結(jié)果分析

將所提方法分別應(yīng)用于數(shù)值例子和注塑過程驗證其有效性。

3.1 數(shù)值例子

由于本文所提模型對間歇過程每個階段分別建立監(jiān)測模型，本節(jié)以一個階段為例，驗證所提方法的有效性。該階段共包括兩組變量，分別按如下方式設(shè)置。

式中，t1= 0.05i，i為生成樣本序號；t2～U(0,2)；ej～N(0,0.1)(j= 1,2,3,4,5)。

在本文構(gòu)造的數(shù)值例子中，每個批次有50個樣本點，通過重復(fù)生成上述數(shù)據(jù)的方式，共構(gòu)造了100個批次的數(shù)據(jù)，得到生成數(shù)據(jù)集X∈R100×5×50。然后通過變量展開的方式，得到了可輸入所提模型的數(shù)據(jù)集U∈R3×5000、Y∈R2×5000。本文為數(shù)值例子分別設(shè)置了三種故障，故障描述如表1所示。

表1 數(shù)值例子故障設(shè)置Table 1 Fault setting for numerical example

網(wǎng)絡(luò)訓(xùn)練階段中有許多超參數(shù)需要設(shè)置，本文利用試錯法選取超參數(shù)值。設(shè)置網(wǎng)絡(luò)層數(shù)L= 3，構(gòu)圖的最近鄰個數(shù)K= 7，GraphSAGE 的采樣個數(shù)k= 5，權(quán)重系數(shù)ε= 0.8，l= 0.005，批處理大小batch_size =256，KDE方法中的置信度α= 5%，網(wǎng)絡(luò)的優(yōu)化采用Adam 算法，迭代次數(shù)為20。本文通過過程監(jiān)測的常用指標(biāo)誤報率(false alarm rate, FAR)以及故障檢測率(fault detection rate,FDR)來評價模型的性能。

為了驗證GSA-LSTM-CCA 的在線監(jiān)測性能，將所提方法與主元分析(PCA)、核主元分析(KPCA)、動態(tài)主元分析(DPCA)以及基于長短期記憶網(wǎng)絡(luò)的CCA 過程監(jiān)測方法(LSTM-CCA)進行對比。其中LSTM-CCA 方法先通過兩個結(jié)構(gòu)相同而參數(shù)不同的LSTM網(wǎng)絡(luò)分別提取U和Y的非線性時變特征，然后對提取出的兩部分特征應(yīng)用CCA 實現(xiàn)在線監(jiān)測。五種方法在數(shù)值例子上的FAR 和FDR 值如表2所示。

表2 數(shù)值例子實驗結(jié)果對比Table 2 Comparison of experimental results on numerical examples

從表2可以看出，雖然PCA 與KPCA 在故障1和故障3 的監(jiān)測中具有較高的故障檢測率，但其對故障2仍然難以監(jiān)測。相對于其他方法，PCA 和KPCA具有更高的誤報率，這說明面對動態(tài)數(shù)據(jù)監(jiān)測問題時，傳統(tǒng)的靜態(tài)模型效果欠佳，難以保證其適用性。DPCA 與LSTM-CCA 通過引入樣本間的動態(tài)關(guān)系，有效提升了平均故障監(jiān)測率，這也證明動態(tài)特征的引入有利于故障監(jiān)測，但DPCA 與LSTM-CCA 的誤報率很高。相比之下，本文所提出的GSA-LSTMCCA 方法的實驗結(jié)果在提升故障檢測率的同時有效地降低了故障的誤報率，這主要是因為其在考慮間歇過程非線性時變特征的基礎(chǔ)上，同時考慮了變量展開后的批次數(shù)據(jù)的結(jié)構(gòu)特征信息。

3.2 注塑過程

注塑過程是用于生產(chǎn)塑料制品的一個典型多階段間歇過程，主要包括注射、熔膠、保壓以及冷卻等階段。該過程中所涉及的溫度、壓力、螺桿位置等變量大多可通過傳感器采集，并通過計算機進行存儲，為間歇過程的監(jiān)測任務(wù)提供了豐富的數(shù)據(jù)信息。本文選取了如表3所示的五個典型過程變量并分為兩組，用于在線監(jiān)測模型的構(gòu)建。

表3 注塑過程故障變量描述Table 3 Description of fault variables during injection molding

本文所應(yīng)用的注塑過程數(shù)據(jù)集包含81個批次，以注射階段為例進行驗證，提取所有批次中注射階段的數(shù)據(jù)并進行變量展開，得到建模過程中使用的兩組數(shù)據(jù)集U∈R5022×3和Y∈R5022×2。離線訓(xùn)練過程中，設(shè)置網(wǎng)絡(luò)層數(shù)L= 3，構(gòu)圖的最近鄰個數(shù)K= 7，GraphSAGE的采樣個數(shù)k= 5，權(quán)重系數(shù)ε= 0.8，學(xué)習(xí)率l= 0.1，批處理大小batch_size = 256，KDE方法中的置信度α= 5%，網(wǎng)絡(luò)的優(yōu)化采用Adam 算法，迭代次數(shù)為20。表4 提供了該數(shù)據(jù)集的3 種故障描述。

表4 注塑過程故障設(shè)置Table 4 Fault setting during injection molding

同樣地，將所提方法與PCA、PCA、DPCA、LSTM-CCA 方法在注塑過程數(shù)據(jù)集的過程監(jiān)測性能進行對比，所有方法在3 個故障上詳細(xì)的FAR 和FDR值如表5所示。

從表5 的實驗結(jié)果可以看出，PCA 方法由于僅考慮數(shù)據(jù)的線性關(guān)系，僅在故障3 上獲得了高故障檢測率，但是針對故障1 和故障2 的故障檢測率極低，幾乎無法對故障進行監(jiān)測。KPCA 方法通過引入核矩陣的方式在一定程度上緩解了數(shù)據(jù)強非線性帶來的影響，對過程監(jiān)測效果起到了積極作用。DPCA 方法在PCA 的基礎(chǔ)上，通過傳遞函數(shù)矩陣提取與測量向量相關(guān)的潛在變量，對原數(shù)據(jù)矩陣進行了增廣，考慮了數(shù)據(jù)的動態(tài)特征，也在一定程度上提升了過程監(jiān)測模型的性能，但同時也帶來了矩陣維度增加的問題。然而，上述三種僅基于統(tǒng)計學(xué)的過程監(jiān)測方法難以在間歇過程的過程監(jiān)測問題中取得良好的效果。LSTM-CCA 方法由于引入了LSTM 網(wǎng)絡(luò)的強非線性動態(tài)特征提取能力，提高了整體故障監(jiān)測能力，但該模型效果的進一步提升依賴于網(wǎng)絡(luò)層數(shù)與訓(xùn)練次數(shù)的增加。本文所提出的GSA-LSTM-CCA 方法在較少的網(wǎng)絡(luò)層數(shù)與訓(xùn)練次數(shù)的情況下在3種故障上均得到了最高的故障檢測率與最低的誤報率，這得益于所提方法提取數(shù)據(jù)的動態(tài)結(jié)構(gòu)特征，也證明了GraphSAGE 的引入有利于間歇過程數(shù)據(jù)特征的提取。

表5 注塑過程的實驗結(jié)果對比Table 5 Comparison of experimental results on injection molding process

為了直觀地反映所提方法在線監(jiān)測的優(yōu)勢，圖5給出了不同方法對故障2的監(jiān)測統(tǒng)計圖，其中圖5(a)、(b)、(c)、(d)和(e)分別表示PCA、KPCA、DPCA、LSTMCCA 和GSA-LSTM-CCA 的監(jiān)測結(jié)果。圖中橫坐標(biāo)表示樣本點，縱坐標(biāo)表示監(jiān)測統(tǒng)計量的值，藍(lán)色曲線表示監(jiān)測統(tǒng)計量的變化，橙色虛線表示控制限，紅色豎線表示故障發(fā)生點。通過實驗結(jié)果圖可以看出，在相同實驗條件下，所提方法在保證誤報率不增加的同時，對故障更為敏感。

圖5 五種方法對故障2的監(jiān)測結(jié)果對比Fig.5 Comparison of monitoring results of fault 2 by five methods

4 結(jié) 論

本文深入分析了間歇過程的數(shù)據(jù)特性，在建立間歇過程監(jiān)測模型的同時，充分考慮間歇過程中數(shù)據(jù)的非線性時變特征和三維數(shù)據(jù)因變量展開丟失的結(jié)構(gòu)特征。提出了一種基于GSA-LSTM-CCA 的間歇過程在線監(jiān)測方法，通過提取間歇過程數(shù)據(jù)的非線性時變特征和結(jié)構(gòu)特征建立回歸模型，并以殘差為監(jiān)測對象，解決了間歇過程數(shù)據(jù)特征無法充分表達(dá)的問題。將所提方法應(yīng)用于數(shù)值例子和實際注塑過程，實驗結(jié)果表明本文所提方法在FAR 和FDR 指標(biāo)上均具有一定的提升。GSA-LSTM-CCA方法綜合考慮了間歇過程數(shù)據(jù)的結(jié)構(gòu)特征及非線性時變特征，為間歇過程的過程監(jiān)測問題提供了一種新思路。然而除批次內(nèi)的動態(tài)特性外，批次過程的各個批次間也存在一定的動態(tài)關(guān)系，如何引入合適的度量學(xué)習(xí)方法衡量批次間樣本的距離、提取動態(tài)結(jié)構(gòu)關(guān)系并進一步提高模型性能是后續(xù)應(yīng)該考慮的問題。另外，在實際應(yīng)用中，如何集成不同階段的模型對在線樣本所處階段進行判斷也是值得研究的問題之一。