陳紅花，岑 健，劉 溪，楊卓洪

1.廣東技術(shù)師范大學(xué) 自動(dòng)化學(xué)院，廣州 510665

2.廣州市智慧建筑設(shè)備信息集成與控制重點(diǎn)實(shí)驗(yàn)室，廣州 510665

3.廣東技術(shù)師范大學(xué) 電子與信息學(xué)院，廣州 510665

流程工業(yè)是通過一系列的物理變化和化學(xué)變化進(jìn)行的生產(chǎn)過程，具有設(shè)備關(guān)聯(lián)復(fù)雜、過程變量之間耦合性強(qiáng)的特點(diǎn)，是典型的復(fù)雜工業(yè)系統(tǒng)，其中囊括了化工、煉鋼、冶金、制藥、電力等多種工業(yè)[1]。

伴隨著工業(yè)4.0 的到來，目前大多數(shù)工業(yè)生產(chǎn)過程正在轉(zhuǎn)變?yōu)橹悄芑⒋笮突膹?fù)雜工業(yè)生產(chǎn)過程。在智能工業(yè)制造過程中，不管是對(duì)工業(yè)流程還是生產(chǎn)設(shè)備的全生命周期管理都提出了更高的要求和更嚴(yán)格的標(biāo)準(zhǔn)。特別是由于化學(xué)工業(yè)過程的復(fù)雜性和環(huán)境的不確定性，故障的發(fā)生總是由多種因素的耦合引起的。故障診斷技術(shù)在全生命周期管理占據(jù)重要地位，需要匹配智能制造的升級(jí)而進(jìn)行同步的提升，實(shí)現(xiàn)提高工業(yè)生產(chǎn)的安全性與可靠穩(wěn)定性，降低工業(yè)過程的維護(hù)成本，減少非計(jì)劃性的產(chǎn)線停工檢修時(shí)間的目標(biāo)[2]。

如今現(xiàn)代化工業(yè)過程利用先進(jìn)的集散控制系統(tǒng)、工業(yè)互聯(lián)網(wǎng)和智能儀器儀表等信息技術(shù)，使工業(yè)過程中的海量數(shù)據(jù)得以采集和存儲(chǔ)。其中包含過程狀態(tài)信息的數(shù)據(jù)呈現(xiàn)出非高斯、非線性、強(qiáng)耦合、動(dòng)態(tài)等大數(shù)據(jù)的特點(diǎn)。多元統(tǒng)計(jì)分析方法和淺層機(jī)器學(xué)習(xí)方法被認(rèn)為是化學(xué)流程工業(yè)過程故障診斷的經(jīng)典研究方法，這些方法將相同故障根源的異常樣本劃分為同一種故障類別，將故障診斷問題轉(zhuǎn)化為多分類的問題，可有效地進(jìn)行故障診斷?；诙嘣y(tǒng)計(jì)分析方法的有主成分分析（principal component analysis，PCA）[3]、偏最小二乘（partial least square，PLS）[4]和獨(dú)立分析方法（independent component analysis，ICA）[5-6]以及相應(yīng)的改進(jìn)算法[7-9]。由于這些方法不需要過多的先驗(yàn)知識(shí)，在一定程度上優(yōu)于傳統(tǒng)的專家系統(tǒng)方法[10]。Zhang等[11]將多尺度核PCA（KPCA）和核PLS（KPLS）結(jié)合，以捕獲在不同尺度上的過程變量相關(guān)性，并在此基礎(chǔ)上，提出多尺度貢獻(xiàn)圖的非線性故障診斷新方法，解決了PCA 和PLS 不能用于非線性觀測(cè)數(shù)據(jù)的問題。Ajami等[12]提出基于ICA的火電廠汽輪機(jī)故障檢測(cè)與診斷的方法，該方法能夠有效實(shí)現(xiàn)在噪聲狀態(tài)下對(duì)多部件的故障檢測(cè)和診斷。Stefators等[13]提出動(dòng)態(tài)ICA方法，將當(dāng)前的數(shù)據(jù)矩陣與歷史數(shù)據(jù)矩陣連接，形成增強(qiáng)的數(shù)據(jù)矩陣，解決非高斯過程的動(dòng)態(tài)問題。雖然基于統(tǒng)計(jì)分析方法在故障診斷領(lǐng)域取得了良好的成果。但是這些統(tǒng)計(jì)分析方法通常依賴于人工選取的閾值來檢測(cè)故障的發(fā)生，并進(jìn)一步診斷故障變量，因此選取不同的閾值將導(dǎo)致不同的故障診斷結(jié)果和精度。此外，實(shí)際的化學(xué)工業(yè)由于環(huán)境和操作條件的不同，產(chǎn)生的過程數(shù)據(jù)具有強(qiáng)動(dòng)態(tài)性。對(duì)于這種現(xiàn)象，多元統(tǒng)計(jì)分析的基本方法通常假設(shè)數(shù)據(jù)在平穩(wěn)理想的運(yùn)行條件下獲取，因此這將導(dǎo)致多元統(tǒng)計(jì)分析方法難以成功應(yīng)用[14]。淺層機(jī)器學(xué)習(xí)故障診斷方法包括支持向量機(jī)（support vector machine，SVM）[15-16]、K近鄰（K-nearest neighbor，KNN）[17-19]、高斯混合模型（Gaussian mixture model，GMM）[20]、人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）[21]等。如He等[22]利用最小二乘支持向量機(jī)的故障診斷方法，用于處理過程故障數(shù)據(jù)小樣本和非線性分區(qū)數(shù)據(jù)的問題。該方法進(jìn)一步采用粒子群算法確定懲罰因子和高斯核函數(shù)的重要參數(shù)，提高了診斷田納西-伊士曼化學(xué)過程（Tennessee-Eastman process，TEP）數(shù)據(jù)的性能。然而，淺層的網(wǎng)絡(luò)結(jié)構(gòu)無法表征高維和抽象的判別特征，并且在網(wǎng)絡(luò)輸入特征數(shù)據(jù)前，需要對(duì)原始數(shù)據(jù)進(jìn)行人工的特征提取、選擇以及優(yōu)化[23]。所以，基于淺層機(jī)器學(xué)習(xí)方法的故障診斷能力與提取特征的質(zhì)量相關(guān)，當(dāng)面對(duì)更加龐大和復(fù)雜的數(shù)據(jù)時(shí)候，此類方法因?yàn)樾枰~外的人為特征提取而難以實(shí)現(xiàn)快速的故障診斷。

面對(duì)著化學(xué)流程工業(yè)中診斷新舊故障特征的難題，需要迫切地探索和研究出新的工業(yè)過程故障診斷的方法，以高效處理大數(shù)據(jù)中的特征提取與識(shí)別，提高工業(yè)過程安全生產(chǎn)性能與工業(yè)生產(chǎn)質(zhì)量，檢測(cè)和識(shí)別所有類型潛在的微小故障等。

2006年，Hinton等[24]首次提出的深度學(xué)習(xí)打破了淺層學(xué)習(xí)訓(xùn)練不足的壁壘。在2013年之前深度學(xué)習(xí)主要應(yīng)用于語音識(shí)別、圖像分類等領(lǐng)域，2013年，Tamilselvan等[25]拓展深度學(xué)習(xí)的應(yīng)用領(lǐng)域，將基于深度置信網(wǎng)絡(luò)（deep belief network，DBN）的深度學(xué)習(xí)方法應(yīng)用于多傳感器健康狀態(tài)分類的故障診斷，填補(bǔ)了基于深度學(xué)習(xí)的故障診斷的空白，為故障診斷領(lǐng)域提供了新的研究思路。2015 年，Xie 等[26]首次提出將深度學(xué)習(xí)用于TEP 工業(yè)過程故障診斷，構(gòu)建分層深度神經(jīng)網(wǎng)絡(luò)，通過有監(jiān)督DBN對(duì)故障進(jìn)行分組，然后觸發(fā)下一個(gè)針對(duì)特定故障進(jìn)行專門訓(xùn)練的DBN 模型，最終實(shí)現(xiàn)分層故障診斷。由于深度學(xué)習(xí)以“端到端”的方式完成復(fù)雜識(shí)別分類任務(wù)，展現(xiàn)出處理大數(shù)據(jù)的優(yōu)越性能，因此各領(lǐng)域的學(xué)者積極利用深度學(xué)習(xí)理論去開拓解決各自領(lǐng)域難題中的新方法。同樣，基于深度學(xué)習(xí)的復(fù)雜CPIFD研究也掀起了智能制造時(shí)代下過程控制領(lǐng)域的浪潮。與基于淺層機(jī)器學(xué)習(xí)方法的CPIFD對(duì)比（如圖1所示），基于深度學(xué)習(xí)方法的CPIFD通過構(gòu)建多隱藏層連接結(jié)構(gòu)模型，實(shí)現(xiàn)“端到端”的特征提取與模式識(shí)別，替代了人工挑選特征的過程。

圖1 基于淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法的CPIFD對(duì)比Fig.1 Comparison of CPIFD based on shallow machine learning and deep learning

1 化學(xué)流程工業(yè)故障診斷的部分相關(guān)綜述

在表1 的流程工業(yè)過程故障診斷綜述中[27-33]，大部分文獻(xiàn)都是基于模型、信號(hào)、知識(shí)和傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)方法展開論述。雖然有小部分綜述文章是基于深度學(xué)習(xí)對(duì)關(guān)于CPIFD 的探討，然而，這些綜述主要集中在淺層的機(jī)器學(xué)習(xí)，對(duì)基于深度學(xué)習(xí)方法在CPIFD 的應(yīng)用研究還不夠。為了彌補(bǔ)現(xiàn)有的研究，本文擬對(duì)基于深度學(xué)習(xí)的CPIFD 方法進(jìn)行更全面的綜述，同時(shí)為希望了解和推動(dòng)深度學(xué)習(xí)方法在CPIFD 中發(fā)展的研究者提供參考。

表1 部分相關(guān)綜述Table 1 Part of relevant reviews

2 深度學(xué)習(xí)在化學(xué)流程工業(yè)故障診斷的應(yīng)用

從理論和實(shí)際應(yīng)用角度出發(fā)，基于深度學(xué)習(xí)的CPIFD中具有代表性的模型可分為卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、堆疊自動(dòng)編碼器、長(zhǎng)短期記憶網(wǎng)絡(luò)和其他新興的深度學(xué)習(xí)模型（遷移學(xué)習(xí)、注意力機(jī)制和圖卷積網(wǎng)絡(luò)）。本章將對(duì)以上模型的基本理論及其在化學(xué)工業(yè)過程領(lǐng)域的研究進(jìn)展進(jìn)行詳細(xì)論述。

2.1 卷積神經(jīng)網(wǎng)絡(luò)理論及其在CPIFD的應(yīng)用

2.1.1 卷積神經(jīng)網(wǎng)絡(luò)理論

卷積神經(jīng)網(wǎng)絡(luò)在圖像分割、識(shí)別分類、檢測(cè)和檢索相關(guān)的任務(wù)中表現(xiàn)優(yōu)異，因此，將卷積神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域的應(yīng)用引起了學(xué)者的關(guān)注，特別是工業(yè)故障診斷領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)特點(diǎn)在于它能夠充分利用輸入數(shù)據(jù)的空間相關(guān)性。卷積神經(jīng)網(wǎng)絡(luò)通過使用多個(gè)構(gòu)建模塊（如卷積層、池化層以及全連接層）進(jìn)行反向傳播以自適應(yīng)地學(xué)習(xí)數(shù)據(jù)的空間層次結(jié)構(gòu)[34]，CNN 結(jié)構(gòu)如圖2 所示。CNN的顯著特性是局部稀疏連接、權(quán)值共享、降采樣和端到端[35]。在模擬人的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，CNN 通過局部稀疏連接將上下兩層的神經(jīng)元節(jié)點(diǎn)連接，建立輸入圖像的局部感受野。CNN通過權(quán)值共享使得每一張輸入圖像共享卷積核的各個(gè)參數(shù)，即每張輸入圖像具有相同的權(quán)重矩陣和偏置項(xiàng)，這不僅減少了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度，還有效地降低了過擬合的風(fēng)險(xiǎn)。降采樣的計(jì)算層也被稱為池化層，CNN 通過降采樣對(duì)卷積層輸出的特征圖進(jìn)行聚合計(jì)算，保留了有效信息的同時(shí)還降低特征的維度，從而實(shí)現(xiàn)輸入圖像的旋轉(zhuǎn)、平移和伸縮不變性。端到端的卷積神經(jīng)網(wǎng)絡(luò)是將原始數(shù)據(jù)輸入到模型，直接輸出分類結(jié)果而無需進(jìn)行特征工程的方法，這種學(xué)習(xí)方式具有協(xié)同增效的優(yōu)勢(shì)，更加有利于獲得全局最優(yōu)解[36]。

圖2 CNN的基本結(jié)構(gòu)Fig.2 Basic structure of CNN

卷積層（convolution layer）是CNN結(jié)構(gòu)體系最核心的組成部分，由卷積運(yùn)算和激活函數(shù)運(yùn)算組成。該層主要用于提取輸入數(shù)據(jù)的局部特征[37]。卷積層的數(shù)學(xué)模型可表示為：

其中xi?1和xi分別表示第i層的輸入和輸出特征圖；ωi和bi分別表示第i層的卷積核和偏置。f(·)表示激活函數(shù)，對(duì)卷積操作學(xué)習(xí)到的特征進(jìn)行非線性變換。由于修正線性單元ReLU 函數(shù)能夠很好的提高CNN 的非線性能力以及有效防止梯度爆炸的問題，因此被廣泛采用以替代早期的sigmoid 和tanh 激活函數(shù)。ReLU 激活函數(shù)的數(shù)學(xué)模型可表示為：

池化層（pooling layer）通常置于卷積層之后，目的是降低數(shù)據(jù)的冗余度，保留特征圖的關(guān)鍵要素以及控制過擬合。常見的池化操作有最大池化、平均池化和隨機(jī)池化。通常最大池化是人們首選的池化操作。池化操作的數(shù)學(xué)模型可表示為：

其中xm,n和xm′,n′分別表示的是卷積層輸出特征圖中點(diǎn)(m,n)進(jìn)行池化操作前后的值；pool(·)代表的是池化函數(shù)。

全連接層則將卷積層提取和池化層降采樣到的特征映射到樣本標(biāo)記空間。接著，輸出層通常采用Softmax分類器，其在解決多分類的問題具有優(yōu)勢(shì)，特別是針對(duì)故障診斷分類問題。

卷積神經(jīng)網(wǎng)絡(luò)屬于有監(jiān)督的深度學(xué)習(xí)模型，利用BP 算法實(shí)現(xiàn)誤差反向傳播，使用梯度下降法優(yōu)化各層參數(shù)。它有著出色的自學(xué)習(xí)能力及逐層對(duì)輸入數(shù)據(jù)進(jìn)行特征抽象轉(zhuǎn)換和高層表示的能力，卷積神經(jīng)網(wǎng)絡(luò)在故障診斷識(shí)別分類有很大的應(yīng)用前景和潛力。

2.1.2 卷積神經(jīng)網(wǎng)絡(luò)在CPIFD的應(yīng)用

化學(xué)工業(yè)過程中故障的本質(zhì)是過程變量偏離其正常狀態(tài)的故障狀態(tài)。不同設(shè)備中狀態(tài)偏差的數(shù)據(jù)可用于診斷不同的故障類型。2018 年，Wu 等[38]提出采用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）進(jìn)行化學(xué)工業(yè)過程的故障診斷，將過程變量的時(shí)頻域特征轉(zhuǎn)化為二維矩陣，并將二維矩陣輸入到DCNN中，提取變量的空間特征進(jìn)而分類故障，該方法取得了88.2%的分類準(zhǔn)確率。2019 年，針對(duì)大多數(shù)傳統(tǒng)方法不考慮化學(xué)工業(yè)過程的頻率變化而影響檢測(cè)性能問題，Zhang 等[39]提出基于幅頻圖像的卷積神經(jīng)網(wǎng)絡(luò)故障診斷方法，并使用ConvNet作為二元分類器進(jìn)行故障的分類，該方法在數(shù)值過程（NP）和化學(xué)過程中得到了驗(yàn)證。2020 年，基于傳統(tǒng)CNN 的故障診斷方法通常使用相同長(zhǎng)度的過程數(shù)據(jù)，從而限制模型對(duì)數(shù)據(jù)動(dòng)態(tài)特性的表達(dá)的問題，Gao等[40]提出基于CNN的多時(shí)間尺度動(dòng)態(tài)特征提取方法并將其應(yīng)用于TEP，該方法采用CNN中Resnet網(wǎng)絡(luò)結(jié)構(gòu)并在機(jī)構(gòu)中添加固定的多采樣層，提取了不同時(shí)間長(zhǎng)度的過程數(shù)據(jù)的動(dòng)態(tài)特性，因此無論是在較多數(shù)據(jù)量還是較小的數(shù)據(jù)量的前提下，多時(shí)間尺度模型的平均故障診斷率都高達(dá)95%以上。2021年，針對(duì)以上過程變量需要轉(zhuǎn)化為二維矩陣或者復(fù)雜圖像數(shù)據(jù)作為CNN 的輸入，而導(dǎo)致大量消耗計(jì)算資源的問題，Yu等[41]提出基于小波變換的多通道一維卷積神經(jīng)網(wǎng)絡(luò)模型（MC1-DCNN）并應(yīng)用于TEP和補(bǔ)料分批發(fā)酵青霉素工藝（FBFP），該模型通過一維卷積核學(xué)習(xí)過程變量時(shí)頻域上具有代表性的特征，然后進(jìn)行多通道信號(hào)的特征融合。研究結(jié)果證明，MC1-DCNN 具有學(xué)習(xí)高維過程信號(hào)特征的能力和良好的故障診斷性能。大多傳統(tǒng)CPIFD 技術(shù)在建立診斷模型時(shí)沒有考慮不同異常之間的故障傾向，Yu 和Zhao[42]設(shè)計(jì)了一個(gè)具有增量學(xué)習(xí)能力的廣義卷積神經(jīng)網(wǎng)絡(luò)（BCNN），利用卷積運(yùn)算從數(shù)據(jù)矩陣提取故障趨勢(shì)和非線性結(jié)構(gòu)，并添加新生成的附加特征提高了BCNN 在CPIFD 的診斷性能。所提出的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)W習(xí)不同樣本之間的信息，更重要的是具有增量學(xué)習(xí)能力，能將新采集的故障樣本納入診斷模型，而不需要完全的模型再訓(xùn)練即可實(shí)現(xiàn)自我更新，從而對(duì)新故障也能進(jìn)行有效的診斷。CNN 通常假設(shè)訓(xùn)練和測(cè)試數(shù)據(jù)來自相同的分布，但是由于實(shí)際制造工藝的變化，所采集的數(shù)據(jù)在不同的操作條件下通常具有不同的分布。因此，Azamfar等[43]提出基于CNN的半導(dǎo)體制造故障診斷域自適應(yīng)方法（DACNN），在標(biāo)記的源域數(shù)據(jù)和未標(biāo)記的目標(biāo)域數(shù)據(jù)之間建立了跨域模型。對(duì)DCNN學(xué)習(xí)到的高級(jí)特征進(jìn)行優(yōu)化，在全連接層后最小化訓(xùn)練和測(cè)試數(shù)據(jù)分布之間的最大平均差異（MMD）度量，以實(shí)現(xiàn)域不變特征。研究結(jié)果證實(shí)了該方法具有較高的交叉域診斷性能。

就現(xiàn)有文獻(xiàn)，圖3 給出了基于CNN 的CPIFD 的一般流程圖。基于CNN的流程工業(yè)故障診斷的起步時(shí)間相對(duì)基于CNN的機(jī)械故障診斷較晚。雖然其研究已初見成效，但仍需研究人員繼續(xù)挖掘流程工業(yè)的故障機(jī)理，探索CNN在CPIFD領(lǐng)域的自適應(yīng)性。

圖3 基于CNN的CPIFD一般流程圖Fig.3 General flow chart of CPIFD based on CNN

2.2 深度置信網(wǎng)絡(luò)理論及其在CPIFD的應(yīng)用

2.2.1 深度置信網(wǎng)絡(luò)理論

為解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練成本的問題并推動(dòng)深度學(xué)習(xí)的快速發(fā)展，Hinton等[24]提出了新的生成式神經(jīng)網(wǎng)絡(luò)模型——深度置信網(wǎng)絡(luò)。DBN模型由堆疊的受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）和分類器構(gòu)成。堆疊的RBM 逐層提取故障特征，分類器（如Softmax分類器等）對(duì)故障進(jìn)行識(shí)別分類[44]。

玻爾茲曼機(jī)（BM）是隨機(jī)神經(jīng)網(wǎng)絡(luò)，它的每個(gè)神經(jīng)元都是雙向連接的[45]。而與BM不同之處在于，RBM包含的是單向連接的輸入和輸出層，且同一層的神經(jīng)元之間沒有連接以保證它們之間的相互獨(dú)立性，以學(xué)習(xí)其輸入集合的概率分布。圖4（a）和（b）給出了二者的結(jié)構(gòu)模型，RBM 中輸入和輸出層之間明確的關(guān)系減少了訓(xùn)練參數(shù)，這意味著RBM 比BM 會(huì)擁有更快的訓(xùn)練速度。結(jié)構(gòu)的易擴(kuò)展性是RBM的又一優(yōu)勢(shì)。 RBM輸出層的神經(jīng)元（隱藏單元）可以作為下一個(gè)RBM輸入層的神經(jīng)元（可視單元）[46]，以這種方式將多個(gè)RBM 級(jí)聯(lián)起來將產(chǎn)生一個(gè)具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，即深度置信網(wǎng)絡(luò)。如圖4（c）所示，雖然DBN 從結(jié)構(gòu)的表面上看這類似于一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)，但其在網(wǎng)絡(luò)上的訓(xùn)練方式有所不同。具體來說，DBN 的訓(xùn)練過程分為無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的反向傳播微調(diào)兩個(gè)階段。在2010年，Erhan等[47]的研究表明：無監(jiān)督的預(yù)訓(xùn)練會(huì)引導(dǎo)學(xué)習(xí)朝著極小吸引域的方向發(fā)展，從而提高網(wǎng)絡(luò)結(jié)構(gòu)的泛化性能。因此，無監(jiān)督逐層的預(yù)訓(xùn)練是DBN 區(qū)別于其他模型的主要特點(diǎn)，同時(shí)這也是DBN 具有強(qiáng)大特征提取能力的關(guān)鍵所在[48]。

圖4 BM、RBM和DBN的基本結(jié)構(gòu)Fig.4 Basic structures of BM，RBM and DBN

給定模型參數(shù)θ=[W,b,a]，DBN 的能量函數(shù)可表示為[49]：

其中，δ(?)為激活函數(shù)，通常選用sigmoid函數(shù)。以此訓(xùn)練RBM 使得聯(lián)合概率最大化。完成了RBM 的訓(xùn)練之后，利用BP 算法整體微調(diào)DBN 的網(wǎng)絡(luò)參數(shù)，因此DBN 能夠自行選擇相關(guān)的特征進(jìn)行分析，又不受用BP算法微調(diào)多層之間權(quán)值而導(dǎo)致網(wǎng)絡(luò)嚴(yán)重長(zhǎng)時(shí)間收斂的影響。

2.2.2 深度置信網(wǎng)絡(luò)在CPIFD的應(yīng)用

DBN 最初的目的是為圖像識(shí)別而開發(fā)的，現(xiàn)已成熟的應(yīng)用于具有二值類型變量的系統(tǒng)。但是由于大多數(shù)的復(fù)雜工業(yè)過程變量為連續(xù)性變量，因此DBN 應(yīng)用于該領(lǐng)域的報(bào)道目前為數(shù)不多，仍在探索階段。2017年，Zhang 等[50]將DBN 引入TEP 化工過程，利用互信息技術(shù)選擇較優(yōu)變量作為OCON 網(wǎng)絡(luò)的輸入，DBN 作為子網(wǎng)絡(luò)提取時(shí)空域的故障特征，實(shí)現(xiàn)診斷故障分類。通常標(biāo)記故障數(shù)據(jù)集耗時(shí)費(fèi)力，且需要具體詳細(xì)的實(shí)驗(yàn)設(shè)置，2018 年，張祥等[51]提出變分自動(dòng)編碼器和深度置信網(wǎng)絡(luò)的復(fù)合故障診斷方法（VAE-DBN）應(yīng)用于化工過程故障診斷，利用VAE 無監(jiān)督學(xué)習(xí)原始數(shù)據(jù)中的隱變量抽象特征，DBN作為分類器，在TEP過程重疊數(shù)據(jù)較多的故障診斷任務(wù)中獲得了良好的分類效果。同年，Tang等[52]針對(duì)統(tǒng)計(jì)模型方法的準(zhǔn)確度很大程度上取決于閾值和統(tǒng)計(jì)模型選取的問題，提出基于DBN的Fisher判別稀疏表示（DBN-FDSR）用于過程故障診斷，利用DBN對(duì)過程變量進(jìn)行降維并提取特征，再引入Fisher判別稀疏表示完成故障分類任務(wù)，研究結(jié)果表明，由于FDSR添加的約束限制了類內(nèi)樣本的分散，并使類間樣本的分散最大化，因此，DBN-FDSR 能夠獲得良好的故障診斷性能。2020年，Wang等人[53]針對(duì)DBN逐層提取層次特征中連續(xù)的特征壓縮會(huì)導(dǎo)致原始數(shù)據(jù)有價(jià)值的信息會(huì)丟失，進(jìn)而導(dǎo)致不利于微調(diào)階段的問題，構(gòu)建了可擴(kuò)展的深度置信網(wǎng)絡(luò)（EDBN），將原始數(shù)據(jù)和不同層的隱藏特征相結(jié)合作為每個(gè)擴(kuò)展RBM 在訓(xùn)練階段的輸入，充分捕獲了原始數(shù)據(jù)的有用信息。此外，還考慮了過程數(shù)據(jù)的動(dòng)態(tài)性，構(gòu)造基于EDBN 的動(dòng)態(tài)故障分類器，結(jié)果表明EDBN比傳統(tǒng)DBN具有更好的特征提取能力和故障分類性能。2020 年，Wei 等[54]為了減少DBN 模型的過擬合和提高模型的泛化性能，構(gòu)建了DBN-dropout模型用于化工過程故障診斷，且dropout 技術(shù)僅用于模型的訓(xùn)練，但測(cè)試階段模型的所有神經(jīng)元仍工作。結(jié)果證明，DBN-dropout 模型的準(zhǔn)確率和召回率的加權(quán)調(diào)和平均（F1-score）優(yōu)于CNN、DBN等。Akagekar等[55]提出基于量子計(jì)算的深度學(xué)習(xí)方法（QC-DBN）用于工業(yè)過程故障診斷，將DBN集成到故障診斷模型中，對(duì)正常和故障過程變量進(jìn)行不同級(jí)別的特征提取。該模型采用量子計(jì)算輔助生成訓(xùn)練有助于在局部域定位最優(yōu)解，解決DBN存在局部最小值問題。

與其他深度學(xué)習(xí)模型不同，基于DBN 的CPIFD 主要有兩種方式：一是直接利用DBN 模型作為特征提取與故障識(shí)別[53]，二是在其他方法提取過程變量特征的基礎(chǔ)上，利用DBN作為故障分類器[51]，如圖5所示。

圖5 基于DBN實(shí)現(xiàn)CPIFD的兩種不同方法Fig.5 Two different methods to implement CPIFD based on DBN

2.3 堆疊自動(dòng)編碼器理論及其在CPIFD的應(yīng)用

2.3.1 堆疊自動(dòng)編碼器基本理論

自動(dòng)編碼器（autoencoder，AE）是由編碼器和解碼器組成的三層前饋神經(jīng)網(wǎng)絡(luò)，屬于無監(jiān)督學(xué)習(xí)方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。編碼器將輸入數(shù)據(jù)從高維空間映射到低維特征空間，實(shí)現(xiàn)輸入數(shù)據(jù)的壓縮表示以及提取特征向量；同時(shí)通過解碼器盡可能多地重構(gòu)輸入數(shù)據(jù)的低維特征。通常，用均方誤差（MSE）評(píng)估AE 表達(dá)數(shù)據(jù)特征的能力，當(dāng)MSE 的值最小時(shí)，AE 的表達(dá)性能最優(yōu)。AE 經(jīng)典的數(shù)學(xué)模型可描述為[56]：將輸入數(shù)據(jù)樣本x∈Rm通過編碼器映射到具有非線性函數(shù)f(?)的低維特征空間Rn中：

圖6 自動(dòng)編碼器網(wǎng)絡(luò)的基本結(jié)構(gòu)Fig.6 Basic structure of autoencoder network

其中a為輸入樣本的數(shù)量。AE通常使用隨機(jī)梯度下降算法訓(xùn)練網(wǎng)絡(luò)參數(shù)[57]。堆疊自動(dòng)編碼器（SAE）是由多個(gè)自動(dòng)編碼器模塊疊加而成的深度神經(jīng)網(wǎng)絡(luò)。這種深層結(jié)構(gòu)能逐層降低輸入數(shù)據(jù)的維數(shù)，提取輸入數(shù)據(jù)的高級(jí)抽象特征，改善AE 泛化性能差和無法精確擬合大多數(shù)復(fù)雜高維函數(shù)的不良現(xiàn)象[58]。2008年，Vincent等[59]提出降噪自動(dòng)編碼器，首先對(duì)輸入數(shù)據(jù)添加隨機(jī)噪聲，然后對(duì)加噪數(shù)據(jù)進(jìn)行編碼和解碼操作，旨在通過降噪建立訓(xùn)練準(zhǔn)則找出更具魯棒性的特征。2011年，文獻(xiàn)[60]提出稀疏自動(dòng)編碼器學(xué)習(xí)算法，該算法將KL 散度作為稀疏懲罰項(xiàng)添加到AE 的損失函數(shù)中約束隱藏層，因而保證了隱藏層的稀疏性。算法的優(yōu)勢(shì)在于即使隱藏層節(jié)點(diǎn)數(shù)量遠(yuǎn)大于輸出層節(jié)點(diǎn)數(shù)時(shí)，仍能發(fā)現(xiàn)輸入數(shù)據(jù)內(nèi)部結(jié)構(gòu)特征。文獻(xiàn)[61]設(shè)計(jì)了卷積自動(dòng)編碼器。與其他的自動(dòng)編碼器不同，卷積自動(dòng)編碼器可以在不使用任何約束項(xiàng)下就有稀疏作用，有效解決圖像數(shù)據(jù)的池化問題，且能夠?qū)崿F(xiàn)完整保存圖像數(shù)據(jù)受局部空間限制的邊緣特征達(dá)。

2.3.2 堆疊自動(dòng)編碼器在CPIFD的應(yīng)用

被調(diào)整、改進(jìn)后的自動(dòng)編碼器能夠根據(jù)不同的條件和任務(wù)需求，展現(xiàn)從大量無標(biāo)記樣本中提取復(fù)雜輸入數(shù)據(jù)本質(zhì)特征的強(qiáng)大能力，在工業(yè)過程故障診斷的應(yīng)用領(lǐng)域中具有巨大的潛力。2016 年，Lv 等[62]首次將堆疊稀疏自編碼器（SSAE）應(yīng)用到化工過程系統(tǒng)的故障診斷中，提取了故障數(shù)據(jù)深層結(jié)構(gòu)的特征，檢測(cè)早期故障，提高了正常與故障過程的可分性，實(shí)現(xiàn)該系統(tǒng)的實(shí)時(shí)在線診斷。2017 年，Lv 等[63]提出基于堆疊稀疏自編碼器的加權(quán)時(shí)間序列故障診斷方法（WTDL），解決了大多數(shù)統(tǒng)計(jì)分析技術(shù)無法有效表征故障特征的問題，該框架考慮對(duì)過程變量時(shí)間相關(guān)性和歷史樣本的判別，以SVM 作為分類器，實(shí)現(xiàn)早期故障的檢測(cè)與診斷。針對(duì)實(shí)際生產(chǎn)過程通常缺乏有標(biāo)記的歷史數(shù)據(jù)，而導(dǎo)致有監(jiān)督診斷方法不適用于工業(yè)過程的問題，Zheng 等[64]提出了基于堆疊自動(dòng)編碼器的無監(jiān)督數(shù)據(jù)挖掘方法（UDM-SAE）進(jìn)行故障診斷，通過SAE 無監(jiān)督方式提取特征，t-SEN 算法可視化后的特征聚類得到數(shù)據(jù)挖掘的結(jié)果，建立了偽標(biāo)記數(shù)據(jù)庫，構(gòu)建了偽監(jiān)督模型的在線故障診斷，取得了與使用實(shí)際標(biāo)記數(shù)據(jù)集訓(xùn)練效果相當(dāng)?shù)慕Y(jié)果。另外，CNN 中有監(jiān)督學(xué)習(xí)機(jī)制需要足夠的標(biāo)記數(shù)據(jù)，會(huì)增加時(shí)間和人力成本。為此，Chen等人[65]提出用于多變量工業(yè)過程故障診斷的一維卷積自動(dòng)編碼器（1D-CAE）。1D-CAE在自動(dòng)編碼器中融合卷積和池化層，構(gòu)建堆疊深度特征提取器，以無監(jiān)督的方式從非線性過程信號(hào)中學(xué)習(xí)分層特征表示，在標(biāo)簽信息的指導(dǎo)下微調(diào)網(wǎng)絡(luò)提高系統(tǒng)魯棒性。研究結(jié)果表明，1D-CAE具有優(yōu)于其他傳統(tǒng)分類器的性能。針對(duì)單一模型無法有效表征所有故障的特征信息，Li等人[66]提出基于深度學(xué)習(xí)和多模型特征融合的故障診斷方法（MMFF-FD）用于復(fù)雜工業(yè)過程，首先采用最小冗余最大相關(guān)性方法選擇每個(gè)故障最相關(guān)的過程變量，再為每個(gè)故障建立屬于自己的SAE模型，最后利用每個(gè)SAE模型得到高階特征和殘差構(gòu)造新的輸入矩陣，使用輸入矩陣和標(biāo)簽信息訓(xùn)練故障分類器。MMFF-FD的平均故障診斷率為88.04%，有效提高了特征提取的魯棒性。為實(shí)現(xiàn)多變量制造過程的故障檢測(cè)與診斷，Zhang 等[67]設(shè)計(jì)了1-DCNN 與SDAE 混合的深度學(xué)習(xí)方法，首先通過多次卷積運(yùn)算得到一維處理信號(hào)的特征抽象，在全連通層之后嵌入SDAE進(jìn)一步構(gòu)造深度網(wǎng)絡(luò)，對(duì)復(fù)雜過程信號(hào)降噪并從中提取判別特征，1-DCNN+SDAE的識(shí)別效果明顯優(yōu)于其他的深度網(wǎng)絡(luò)模型，對(duì)TEP的平均診斷準(zhǔn)確率為99.84%。因此，基于堆疊自動(dòng)編碼器的工業(yè)過程故障診斷有著其獨(dú)特的特征提取優(yōu)勢(shì)。如圖7給出了堆疊自動(dòng)編碼器在CPIFD的基本流程圖。

圖7 基于堆疊自動(dòng)編碼器在CPIFD的基本流程圖Fig.7 Basic flow chart of CPIFD based on stacked autoencoders

2.4 長(zhǎng)短期記憶網(wǎng)絡(luò)及其在CPIFD的應(yīng)用

2.4.1 長(zhǎng)短期記憶網(wǎng)絡(luò)基本理論

遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）通過鏈?zhǔn)骄W(wǎng)絡(luò)結(jié)構(gòu)傳遞歷史信息。當(dāng)RNN的當(dāng)前神經(jīng)元處理輸入信息時(shí)，既考慮了輸入信息，又考慮了神經(jīng)元上一時(shí)刻的信息，因此RNN 具有處理時(shí)間序列的優(yōu)勢(shì)[68]。然而，當(dāng)時(shí)間序列不斷累計(jì)并達(dá)到一定長(zhǎng)度是，由于梯度消失的出現(xiàn)，RNN 不能很好地學(xué)習(xí)歷史信息。為了克服RNN的缺點(diǎn)，Hochreiter和Schmidhuber[69]提出了長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），該網(wǎng)絡(luò)在長(zhǎng)時(shí)間跨度內(nèi)能夠維持?jǐn)?shù)據(jù)梯度不彌散的情況。LSTM 最近在序列建模的各個(gè)領(lǐng)域都卓有成效，包括但不限于語音識(shí)別和機(jī)器翻譯。通過多層LSTM層疊加，得到與普通RNN相似的整體網(wǎng)絡(luò)。LSTM 的基本結(jié)構(gòu)如圖8 所示。然而，網(wǎng)絡(luò)單元的結(jié)構(gòu)差異很大，在LSTM 層中關(guān)鍵的單元包括：輸入門it、遺忘門ft、輸出門ot和內(nèi)部記憶單元ct。且每個(gè)邏輯門都擁有各自的參數(shù)(U,W,b)，從而在相應(yīng)的位置對(duì)信息進(jìn)行篩選，增強(qiáng)有用信息的權(quán)重，有效地濾除冗余信息[70]。

圖8 LSTM的基本結(jié)構(gòu)Fig.8 Basic structure of LSTM

（1）遺忘門ft：根據(jù)當(dāng)前輸入xt和上一時(shí)刻隱藏層輸出ht?1計(jì)算信息量，在最終的決策中起到重要作用。其表達(dá)公式如下：

其中Tanh(?)表示雙曲正切激活函數(shù)。與ft的作用類似，it的值決定了對(duì)c′t的保留程度。

（3）內(nèi)部記憶單元ct：計(jì)算當(dāng)前輸入xt和過去記憶信息的總量，實(shí)現(xiàn)ct?1到ct的狀態(tài)更新。其表達(dá)公式如下：

2.4.2 長(zhǎng)短期記憶網(wǎng)絡(luò)在CPIFD的應(yīng)用

由于LSTM神經(jīng)網(wǎng)絡(luò)通過門控單元來解決RNN的長(zhǎng)期依賴問題，因此非常適用于工業(yè)過程中與時(shí)間具有強(qiáng)相關(guān)性的變量數(shù)據(jù)。2018 年，Zhao 等[71]提出基于LSTM 網(wǎng)絡(luò)端到端的順序故障診斷方法（BN-LSTM），以解決大多數(shù)傳統(tǒng)故障診斷技術(shù)無法從原始數(shù)據(jù)中自適應(yīng)學(xué)習(xí)動(dòng)態(tài)信息的問題。文章采用批量歸一化方法減小LSTM 內(nèi)的協(xié)變量偏差，提高了LSTM 的收斂速度。實(shí)驗(yàn)結(jié)果表明，BN-LSTM 在故障診斷性能上優(yōu)于DPCA-SVM、DLDA-SVM 以及MLP 方法。Park 等[72]為了檢測(cè)和診斷工業(yè)過程罕見的故障，提出了CLSTM-AE的集成學(xué)習(xí)方法，旨在檢測(cè)與診斷工業(yè)過程中的罕見故障。該方法采用具有降維能力和非線性表示的自動(dòng)編碼器對(duì)罕見的故障進(jìn)行檢測(cè)，采用具有學(xué)習(xí)時(shí)間序列能力的LSTM對(duì)故障進(jìn)行分類。與DCNN方法相比，所提方法精度提高了16.9%。Shao等[73]提出基于LSTM-CNN的多通道故障診斷模型（MCLSTM-CNN）。該模型將故障數(shù)據(jù)輸入到LSTM得到隱含層的輸出，再利用多個(gè)并行卷積層同時(shí)提取隱含層的輸出特征。研究表明，將MCLSTM-CNN 應(yīng)用于TEP 化工過程的故障診斷準(zhǔn)確率高達(dá)92.06%。針對(duì)單一網(wǎng)絡(luò)結(jié)構(gòu)性能的限制和簡(jiǎn)單的堆疊串聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)不能充分集成多方面變量信息進(jìn)行故障診斷的問題，Wang 等[74]設(shè)計(jì)了LSTM-CNN 并行結(jié)構(gòu)提取特征方法，然后利用MLP對(duì)特征進(jìn)行融合、壓縮提取。該方法兼具對(duì)過程變量時(shí)間和空間特征的提取，從而提高了模型的診斷性能。Yuan等[75]提出基于多尺度CNN-LSTM特征學(xué)習(xí)的工業(yè)過程監(jiān)控與故障診斷方案，該方法首先利用離散小波變換將原始工業(yè)數(shù)據(jù)進(jìn)行多尺度表示，利用多尺度卷積神經(jīng)網(wǎng)絡(luò)提取各尺度的特征，然后通過LSTM 融合提取的多尺度特征，進(jìn)一步減少無用信息，保留有用信息，實(shí)現(xiàn)以層次的方式從多個(gè)尺度自動(dòng)提取高維工業(yè)故障特征。與傳統(tǒng)的方法和其他深度學(xué)習(xí)模型相比，基于LSTM的CPIFD在處理與時(shí)間強(qiáng)相關(guān)的過程變量方面有著其獨(dú)特的優(yōu)勢(shì)。

以上所有研究在CPIFD 中的應(yīng)用的詳細(xì)對(duì)比見表2（由于篇幅有限，若網(wǎng)絡(luò)的診斷對(duì)象有TEP和其他驗(yàn)證例子，表格僅以TEP為代表說明網(wǎng)絡(luò)的有效性）。

表2 深度學(xué)習(xí)在CPIFD應(yīng)用中的對(duì)比Table 2 Comparison of deep learning in CPIFD applications

2.5 新興深度學(xué)習(xí)網(wǎng)絡(luò)模型在CPIFD中的應(yīng)用

2.5.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)打破了傳統(tǒng)機(jī)器學(xué)習(xí)方法中訓(xùn)練集和測(cè)試集服從同分布的假設(shè)，實(shí)現(xiàn)在不同但又相關(guān)的領(lǐng)域中挖掘域不變特征，解決目標(biāo)域樣本不足的學(xué)習(xí)問題。遷移學(xué)習(xí)的域D表示學(xué)習(xí)的主體，由數(shù)據(jù)特征空間X和邊際概率分布P(x) 組成，其中x∈X。域分為源域Ds={Xs,P(xs)}和目標(biāo)域Dt={Xt,P(xt)}，其中源域代表已有知識(shí)的域，目標(biāo)域代表需要學(xué)習(xí)的域。當(dāng)源域和目標(biāo)域不同時(shí)，則它們的數(shù)據(jù)特征或邊際概率分布不同，即Xs≠Xt或P(xs)≠P(xt) 。任務(wù)T={Y,f(x)} 是學(xué)習(xí)的目標(biāo)，由標(biāo)簽空間Y和預(yù)測(cè)函數(shù)f(x)組成。遷移學(xué)習(xí)被定義為[76]：給定源域Ds和學(xué)習(xí)任務(wù)Ts、目標(biāo)域Dt和學(xué)習(xí)任務(wù)Tt，遷移學(xué)習(xí)的目標(biāo)就是獲得源域Ds和學(xué)習(xí)任務(wù)Ts中的知識(shí)以幫助提升目標(biāo)域Dt中預(yù)測(cè)函數(shù)ft(x)的學(xué)習(xí)，其中Ds≠Dt或者Ts≠Tt。 遷移學(xué)習(xí)過程如圖9 所示。根據(jù)現(xiàn)有的基于遷移學(xué)習(xí)的CPIFD 文獻(xiàn)，遷移學(xué)習(xí)可分為基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)和對(duì)抗式遷移學(xué)習(xí)3 種方法。每一種遷移方法分別對(duì)應(yīng)于知識(shí)的哪一部分被視為知識(shí)遷移的載體。具體來說，基于特征的遷移學(xué)習(xí)所遷移的知識(shí)對(duì)應(yīng)于源域和目標(biāo)域中特征所共享的子空間，即跨域的遷移知識(shí)可以被認(rèn)為是學(xué)習(xí)到的特征表示；基于模型的遷移學(xué)習(xí)遷移的知識(shí)嵌入源域模型的一部分中，且所遷移的知識(shí)指的是模型參數(shù)內(nèi)含的域不變結(jié)構(gòu)；對(duì)抗式遷移學(xué)習(xí)可以使用無監(jiān)督的生成模型來減少對(duì)有標(biāo)簽數(shù)據(jù)的依賴，并學(xué)習(xí)域不變特征。2020年，Wu等[77]提出了基于遷移學(xué)習(xí)的多模態(tài)化工過程故障檢測(cè)與診斷的方法，該方法利用基于模型的遷移學(xué)習(xí)解決了源域和目標(biāo)域都有標(biāo)簽的故障數(shù)據(jù)問題，利用基于特征的遷移學(xué)習(xí)解決了源域數(shù)據(jù)有標(biāo)簽，而目標(biāo)域故障數(shù)據(jù)沒有標(biāo)簽的故障診斷問題。Wang等[78]設(shè)計(jì)了基于線性判別分析的深度遷移學(xué)習(xí)算法用于化工過程故障分類，該算法利用線性判別分析，設(shè)計(jì)基于加權(quán)最大平均差異的損失函數(shù)來提取相似的潛在特征，減少了源數(shù)據(jù)和目標(biāo)數(shù)據(jù)分布的差異。Wang等[79]提出了一種新的雙層卷積遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，該方法引入微調(diào)和領(lǐng)域自適應(yīng)策略來訓(xùn)練網(wǎng)絡(luò)，解決域不變性。且在實(shí)際聚乙烯工藝聚合故障診斷中驗(yàn)證了方法的有效性。為促進(jìn)領(lǐng)域適應(yīng)適應(yīng)，Xiao等[80]提出新的自適應(yīng)流行判別分布對(duì)齊方法，使得同類故障在不同域之間差異最小化，不同故障類之間的差異最大化，所提方法在TEP化工過程中得到了驗(yàn)證。Li等[81]針對(duì)深度學(xué)習(xí)在過程故障診斷中存在著缺乏足夠的故障樣本問題，提出了采樣生成模型GAN（generative adversarial network）來提供模擬故障數(shù)據(jù)，并引入遷移學(xué)習(xí)來減少模擬與物理領(lǐng)域之間的不匹配，即該方法采用對(duì)抗式遷移學(xué)習(xí)對(duì)連續(xù)攪拌釜式反應(yīng)器和制漿廠進(jìn)行了過程故障診斷。

圖9 遷移學(xué)習(xí)過程Fig.9 Transfer learning process

遷移學(xué)習(xí)的價(jià)值和必要性體現(xiàn)在可以解決淺層機(jī)器學(xué)習(xí)和經(jīng)典的深度學(xué)習(xí)模型存在的痛點(diǎn)：（1）遷移所學(xué)知識(shí)，已有的大量工作不至于完全丟失；（2）無需花費(fèi)巨額代價(jià)重新采集和標(biāo)注大量新的數(shù)據(jù)集，甚至是根本無法獲取的數(shù)據(jù)；（3）對(duì)于新領(lǐng)域的數(shù)據(jù)，能夠快速遷移和應(yīng)用，體現(xiàn)故障診斷的時(shí)效性。但是，在某些情況下，源域和目標(biāo)域彼此不相關(guān)時(shí)，強(qiáng)制遷移可能會(huì)有損目標(biāo)域的學(xué)習(xí)性能，即出現(xiàn)負(fù)遷移的情況，如何避免CPIFD出現(xiàn)負(fù)遷移是今后研究的開放性問題。

2.5.2 注意力機(jī)制

注意力機(jī)制通過建立輸入和輸出之間的依賴關(guān)系，可以解釋深度學(xué)習(xí)模型的特征提取過程，從而提高數(shù)據(jù)驅(qū)動(dòng)方法的可靠性和有效性。此外，注意力機(jī)制根據(jù)任務(wù)的不同，對(duì)模型關(guān)注的部分分配不同的權(quán)值，實(shí)現(xiàn)自動(dòng)地增強(qiáng)關(guān)鍵故障信息，從而優(yōu)化模型做出更佳的判斷。注意力機(jī)制通常分為軟注意力機(jī)制和硬注意力機(jī)制，其中硬注意力機(jī)制是指選擇輸入信息某一位置上的特征，有著不可微的性質(zhì)；而軟注意機(jī)制選擇的信息是所有輸入信息的加權(quán)平均，其有著處處可微的性質(zhì)，即可通過反向傳播算法來學(xué)習(xí)得到注意力的權(quán)重，因此有著更加廣泛的應(yīng)用[82]。目前國(guó)內(nèi)外基于注意力機(jī)制的故障診斷研究主要集中在滾動(dòng)軸承、齒輪箱等單變量機(jī)械領(lǐng)域[83-84]，但在化工過程中的應(yīng)用卻為數(shù)不多。2021年，Mu 等[85]利用時(shí)間注意力機(jī)制來增強(qiáng)LSTM 隱藏狀態(tài)特征的可解釋性，關(guān)注局部時(shí)間信息，使得TEP 在故障分類任務(wù)中獲得了高準(zhǔn)確率。Li 等[86]提出設(shè)計(jì)了基于一維卷積和自注意力機(jī)制的非線性過程檢測(cè)方法，自適應(yīng)提取全局和局部變量間結(jié)構(gòu)的特征，并在TEP的故障檢測(cè)與分類中驗(yàn)證了方法的可行性。Bi 等[87]提出正交自注意力變分自編碼器模型并將其用于TEP 的過程故障監(jiān)控，該方法采用自注意力機(jī)制，綜合考慮化工過程所有時(shí)間步驟的信息不僅提高了故障檢測(cè)性能，還提供了可解釋的結(jié)果。劉興等[88]提出基于注意力卷積門控循環(huán)自編碼器網(wǎng)絡(luò)的過程故障檢測(cè)網(wǎng)絡(luò)，利用注意力機(jī)制有效選擇了多變量的化工數(shù)據(jù)的重要特征，實(shí)現(xiàn)良好的故障檢測(cè)效果。

將注意力機(jī)制與深度學(xué)習(xí)模型結(jié)合也會(huì)帶來一定的挑戰(zhàn)：（1）選擇注意力機(jī)制的種類；（2）加入注意力機(jī)制的順序位置；（3）在保證故障診斷時(shí)效性和準(zhǔn)確性的同時(shí)，盡可能的降低模型的復(fù)雜度。

2.5.3 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)（graph convolution network，GCN）是處理圖域或非歐幾里得空間數(shù)據(jù)的深度學(xué)習(xí)模型，可分為基于頻譜的圖卷積網(wǎng)絡(luò)和基于空間的圖卷積網(wǎng)絡(luò)[89]?；陬l譜的圖卷積網(wǎng)絡(luò)利用圖譜濾波器對(duì)圖節(jié)點(diǎn)的輸入信息進(jìn)行平滑處理，在頻譜圖中進(jìn)行卷積操作，從而實(shí)現(xiàn)圖數(shù)據(jù)的特征提?。欢诳臻g的圖卷積網(wǎng)絡(luò)是直接在圖上定義卷積操作，并從鄰域聚合節(jié)點(diǎn)信息，形成節(jié)點(diǎn)的高級(jí)特征表示。雖然基于經(jīng)典深度神經(jīng)網(wǎng)絡(luò)的方法可以有效的捕捉常規(guī)數(shù)據(jù)（如圖像和時(shí)間序列）的隱藏特征，但是大多數(shù)方法忽略了數(shù)據(jù)之間的相互依賴關(guān)系或多個(gè)傳感器的各種物理測(cè)量的相互作用。由于圖卷積網(wǎng)絡(luò)能夠?qū)?shù)據(jù)之間的相互依賴進(jìn)行建模，并能夠通過建模圖的邊傳播節(jié)點(diǎn)信息，學(xué)習(xí)重要的節(jié)點(diǎn)或圖的表示，其中建模圖的邊恰恰反映了樣本或多傳感器之間的關(guān)系。因此，圖卷積網(wǎng)絡(luò)廣泛應(yīng)用在推薦系統(tǒng)、軸承機(jī)械故障診斷、交通預(yù)測(cè)等領(lǐng)域[90]。然而，圖神經(jīng)網(wǎng)絡(luò)在化學(xué)過程中的應(yīng)用目前鮮有報(bào)道。2021年，Wu 等[91]設(shè)計(jì)了過程拓?fù)渚矸e網(wǎng)絡(luò)模型應(yīng)用于化工過程故障診斷，該模型利用過程拓?fù)湫畔ⅲ瑢⑦^程轉(zhuǎn)化為圖形，進(jìn)而利用圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多元變量之間的確切關(guān)系，提高了故障診斷的準(zhǔn)確率，此外，相比于其他數(shù)據(jù)驅(qū)動(dòng)的故障診斷模型，特征提取更加合理和易于理解。

如圖10 展現(xiàn)了基于經(jīng)典深度學(xué)習(xí)模型和基于圖卷積神經(jīng)網(wǎng)絡(luò)方法的故障診斷流程框架。圖卷積網(wǎng)絡(luò)相對(duì)于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)而言，存在著一些不足：對(duì)于化學(xué)工業(yè)過程或系統(tǒng)而言，通常采用多個(gè)傳感器采集多源物理量的信號(hào)。因此，在構(gòu)造圖時(shí)需要具備較強(qiáng)的先驗(yàn)知識(shí)，因?yàn)閳D中所包含的先驗(yàn)知識(shí)會(huì)影響最終的診斷結(jié)果。如何將先驗(yàn)知識(shí)更好地融合到圖形構(gòu)造過程中是化學(xué)流程工業(yè)故障診斷未來的研究方向。表3 展現(xiàn)了經(jīng)典深度學(xué)習(xí)模型與新興網(wǎng)絡(luò)模型的優(yōu)劣對(duì)比。

表3 不同深度學(xué)習(xí)模型在CPIFD應(yīng)用的對(duì)比Table 3 Comparison of different deep learning models in CPIFD application

圖10 經(jīng)典深度學(xué)習(xí)模型和GCN診斷流程的對(duì)比Fig.10 Comparison of classical deep learning model and GCN in diagnostic processes

3 深度學(xué)習(xí)在CPIFD中待解決的問題與展望

在本部分討論一些關(guān)鍵的問題和有價(jià)值的研究方向，并特別關(guān)注其挑戰(zhàn)和潛在的機(jī)遇。

3.1 數(shù)據(jù)質(zhì)量問題

高質(zhì)量的數(shù)據(jù)是深度學(xué)習(xí)在CPIFD 應(yīng)用高性能的保證。然而，目前的故障數(shù)據(jù)存在4個(gè)主要問題：

（1）數(shù)據(jù)標(biāo)注的人工成本高。到目前為止，大多數(shù)的診斷方法都是基于監(jiān)督學(xué)習(xí)，嚴(yán)重依賴人工標(biāo)注。如果故障數(shù)據(jù)量大，則需要專業(yè)技術(shù)人員花費(fèi)大量的時(shí)間貼標(biāo)簽。

（2）類不平衡。在實(shí)際生產(chǎn)過程中故障的發(fā)生是一種低概率的事件，因此在保持采樣平衡的情況下，很難得到故障數(shù)據(jù)，也就意味著在數(shù)據(jù)不足的類別上表現(xiàn)不佳甚至很難為深度學(xué)習(xí)方法提供足夠的數(shù)據(jù)。

（3）多模態(tài)數(shù)據(jù)。在本文中，只關(guān)注在CPIFD 中應(yīng)用廣泛的數(shù)據(jù)。還有一些其他的來源數(shù)據(jù)，如熱圖像，激光掃描儀數(shù)據(jù)和文本等。如何有效地利用這些多模態(tài)數(shù)據(jù)來完成CPIFD是一個(gè)具有挑戰(zhàn)的問題。

（4）仿真數(shù)據(jù)的非真實(shí)性。雖然故障數(shù)據(jù)可以從仿真平臺(tái)模擬獲得，但是仿真平臺(tái)很難模擬出真實(shí)的環(huán)境條件（如溫濕度，噪音等），因此故障數(shù)據(jù)并非都是真實(shí)的。

為了為上述挑戰(zhàn)提供現(xiàn)在的解決方案，提出了以下研究方向：

（1）弱監(jiān)督學(xué)習(xí)的故障診斷。弱監(jiān)督學(xué)習(xí)包括半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，利用少量標(biāo)記甚至是無標(biāo)記數(shù)據(jù)達(dá)到學(xué)習(xí)的目的，因此其在弱化人類對(duì)數(shù)據(jù)標(biāo)簽的參與方面起著至關(guān)重要的作用。目前為止，從綜述的文獻(xiàn)來看，將弱監(jiān)督學(xué)習(xí)應(yīng)用在CPIFD的研究并不多見。還要許多弱監(jiān)督學(xué)習(xí)的方法，如流行K近鄰半監(jiān)督學(xué)習(xí)、Few-shot學(xué)習(xí)等，值得在CPIFD中嘗試。

（2）數(shù)據(jù)自動(dòng)生成。為了解決類不平衡和仿真數(shù)據(jù)的非真實(shí)性問題，數(shù)據(jù)生成是一種很有前途的方法。生成式對(duì)抗網(wǎng)絡(luò)（GAN）可作為數(shù)據(jù)生成器合成具有時(shí)間序列特性的過程故障數(shù)據(jù)。有研究表明在數(shù)據(jù)缺失、少樣本等的情況下，由于SMOTE 數(shù)據(jù)過采樣的方法有分布邊緣化的問題，生成的故障樣本與原始樣本具有很強(qiáng)的線性關(guān)系，而GAN 方法有較好的泛化性能[92]。因此使用GAN方法為解決CPIFD故障數(shù)據(jù)稀缺的問題留下了很好的發(fā)展空間。在未來的研究中，我們?cè)陉P(guān)注如何獲得更多數(shù)量故障樣本的同時(shí)，更需考慮如何獲得更高質(zhì)量的樣本，為生成的樣本建立相對(duì)可靠、客觀的評(píng)價(jià)指標(biāo)體系對(duì)提高CPIFD的性能具有重要意義。

（3）多模態(tài)數(shù)據(jù)決策。利用多模態(tài)數(shù)據(jù)（圖像、數(shù)據(jù)、文本）描述故障的變化過程，增強(qiáng)決策的可信度，做到?jīng)Q策的一致性。融合圖像處理、信號(hào)處理等技術(shù)，構(gòu)建化工過程知識(shí)圖譜，更好地實(shí)現(xiàn)故障的早期檢測(cè)與維修。

3.2 嵌入式應(yīng)用

高性能計(jì)算、降低數(shù)據(jù)成本、實(shí)現(xiàn)高效檢測(cè)的需求日益增長(zhǎng)是現(xiàn)場(chǎng)完成故障診斷的必要條件。如何在計(jì)算時(shí)間短、內(nèi)存占用小的情況下，提高故障數(shù)據(jù)的分析診斷效率是實(shí)際工程中的重要方向。從數(shù)據(jù)預(yù)處理的角度來看，對(duì)多變量的工業(yè)過程數(shù)據(jù)進(jìn)行變量篩選、減少冗余變量是有效途徑。從網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方面來說，網(wǎng)絡(luò)量化、網(wǎng)絡(luò)分解、輕量級(jí)網(wǎng)絡(luò)的設(shè)計(jì)是值得研究的點(diǎn)。從分類器選擇方面來分析，有研究表明針對(duì)特征信息選擇合適的分類器可以提高深度學(xué)習(xí)網(wǎng)絡(luò)的分類性能[52]。

3.3 評(píng)價(jià)基準(zhǔn)

評(píng)價(jià)基準(zhǔn)是指標(biāo)準(zhǔn)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。目前，在化工過程故障檢測(cè)與診斷領(lǐng)域常用的數(shù)據(jù)集是田納西-伊士曼數(shù)據(jù)集，可從http：//depts.washington.edu/control/LARRY/TE/download 下載?，F(xiàn)有的化工公開數(shù)據(jù)集還不足以構(gòu)建全面的標(biāo)準(zhǔn)數(shù)據(jù)集來評(píng)價(jià)分析系統(tǒng)的性能，最新研究成果應(yīng)用尚處于偏離實(shí)際的情況，這離不開工業(yè)數(shù)據(jù)保密性高的現(xiàn)狀。但是當(dāng)工業(yè)數(shù)據(jù)研究開放時(shí)，期待深度學(xué)習(xí)在CPIFD 的實(shí)際應(yīng)用逐漸欣欣向榮。在CPIFD 研究中使用的評(píng)價(jià)指標(biāo)是多種多樣的，如準(zhǔn)確率、真陽率、假陽率、誤報(bào)率等，即使在相同的評(píng)價(jià)指標(biāo)中，定義有可能不同，尤其是準(zhǔn)確率。一個(gè)標(biāo)準(zhǔn)的評(píng)價(jià)基準(zhǔn)可以促進(jìn)CPIFD的研究和應(yīng)用。

3.4 故障預(yù)測(cè)

微小故障是過程變量偏離其正常狀態(tài)程度小的故障。若不對(duì)微小故障進(jìn)行處理，則會(huì)對(duì)整個(gè)系統(tǒng)的運(yùn)行帶來安全隱患。當(dāng)微小故障還沒有表現(xiàn)征兆時(shí)，就利用深度學(xué)習(xí)方法對(duì)監(jiān)控的數(shù)據(jù)進(jìn)行深入挖掘分析，提前預(yù)測(cè)生產(chǎn)過程中即將發(fā)生的故障種類或者時(shí)間，進(jìn)行壽命預(yù)測(cè)和容錯(cuò)控制，是未來值得關(guān)注的研究方向。

4 總結(jié)

化學(xué)流程工業(yè)故障診斷技術(shù)是提高生產(chǎn)過程可靠性與安全性的重要手段。在復(fù)雜的、大規(guī)模的和智能化的現(xiàn)代化學(xué)流程工業(yè)過程中，如何對(duì)智能制造的故障進(jìn)行有效的預(yù)測(cè)、檢測(cè)和診斷，對(duì)實(shí)現(xiàn)安全的和高質(zhì)量的生產(chǎn)具有十分重要的意義。近年來，通過建立深層神經(jīng)網(wǎng)絡(luò)模擬人腦有效處理信息的機(jī)制，深度學(xué)習(xí)擁有學(xué)習(xí)和分析輸入數(shù)據(jù)的能力，逐漸成為大數(shù)據(jù)處理的熱門工具。利用深度學(xué)習(xí)進(jìn)行智能化學(xué)流程工業(yè)故障診斷得到越來越多研究者的青睞。據(jù)此，本文做出了如下貢獻(xiàn)：

（1）比較和分析了化學(xué)流程工業(yè)故障診斷相關(guān)的綜述。

（2）介紹了4 種深度學(xué)習(xí)模型的發(fā)展和基本理論，旨在幫助讀者在理解深度學(xué)習(xí)模型的工作機(jī)制基礎(chǔ)上，更好地掌握基于深度學(xué)習(xí)的化學(xué)流程工業(yè)故障診斷。

（3）重點(diǎn)闡述了4 種經(jīng)典的深度學(xué)習(xí)模型和3 種新興的深度學(xué)習(xí)模型在化學(xué)流程工業(yè)過程故障診斷中的應(yīng)用。

（4）探討了深度學(xué)習(xí)在工業(yè)過程故障診斷中擬解決的問題與未來的發(fā)展方向。

與基于傳統(tǒng)的工業(yè)過程故障診斷算法相比，深度學(xué)習(xí)模型在CPIFD的表現(xiàn)更好，可以提取過程數(shù)據(jù)更深層次的特征信息，具有更高的識(shí)別精度和更好的性能。因此，深度學(xué)習(xí)在未來的智能流程工業(yè)故障診斷中具有廣闊的應(yīng)用前景和很大的研究?jī)r(jià)值。