陽(yáng)春華, 梁慧平, 黃科科*, 李勇剛, 桂衛(wèi)華

S chool of Automation, Central S outh University, Changsha 410083, China

1.引言

過程監(jiān)測(cè)對(duì)工業(yè)系統(tǒng)來說是必要的和有意義的，并吸引了工業(yè)界和學(xué)術(shù)界相當(dāng)多的關(guān)注[1-4]。一般來說，過程監(jiān)測(cè)方法分為三類：基于模型的方法、基于知識(shí)的方法和數(shù)據(jù)驅(qū)動(dòng)的方法[5-8]?；谀Ｐ偷姆椒ㄊ褂孟到y(tǒng)的數(shù)學(xué)表示，將對(duì)系統(tǒng)的物理理解納入監(jiān)測(cè)方案?；谥R(shí)的方法使用圖形模型，如Petri 網(wǎng)、多信號(hào)流圖和貝葉斯網(wǎng)絡(luò)（BN），用于系統(tǒng)監(jiān)測(cè)和故障排除。這種方法特別適合于耦合系統(tǒng)的預(yù)測(cè)[9]。數(shù)據(jù)驅(qū)動(dòng)的監(jiān)測(cè)方法不需要反應(yīng)機(jī)理或過程的機(jī)理知識(shí)。近年來，通過利用智能傳感器、數(shù)據(jù)分析和深度學(xué)習(xí)技術(shù)的快速進(jìn)步，數(shù)據(jù)驅(qū)動(dòng)方法已經(jīng)被開發(fā)出來，以提高診斷的有效性和性能[10]。該領(lǐng)域的進(jìn)展包括玻爾茲曼機(jī)、支持向量機(jī)（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等[11-13]。近年來，數(shù)據(jù)驅(qū)動(dòng)的方法已經(jīng)成為復(fù)雜工業(yè)過程監(jiān)測(cè)的主流。

然而，目前大多數(shù)數(shù)據(jù)驅(qū)動(dòng)的方法均假定歷史訓(xùn)練數(shù)據(jù)和在線監(jiān)測(cè)數(shù)據(jù)遵循相同的分布[14-16]。事實(shí)上，從實(shí)際工業(yè)過程中收集的數(shù)據(jù)總是受到許多因素的影響，如多變的操作環(huán)境、原材料的變化和生產(chǎn)指標(biāo)的修改[17]。當(dāng)基于訓(xùn)練數(shù)據(jù)學(xué)習(xí)的模型被應(yīng)用于實(shí)際在線監(jiān)測(cè)時(shí)，這些因素常常導(dǎo)致模型失配等問題。這樣的問題使其難以實(shí)現(xiàn)精確的過程監(jiān)測(cè)。為了解決歷史訓(xùn)練數(shù)據(jù)和在線測(cè)試數(shù)據(jù)遵循不同分布的問題，研究者已經(jīng)做了很多的工作。Hou等[18]提出了一個(gè)用于時(shí)變過程監(jiān)測(cè)的增量主成分分析（PCA）在線模型。在這個(gè)模型中，當(dāng)獲得一個(gè)新的樣本時(shí)，PCA 模型利用原來的PCA 模型和新的樣本進(jìn)行更新，預(yù)測(cè)誤差平方（SPE）和T2的控制限也被更新。Jiang等[19]提出了一種基于當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)的多模型判別部分最小二乘法（DPLS）來診斷數(shù)據(jù)。Zhang等[20]建立了一個(gè)深度信念網(wǎng)絡(luò)（DBN），該網(wǎng)絡(luò)具有很強(qiáng)的泛化能力，可以在線監(jiān)測(cè)焊接狀態(tài)。為了適應(yīng)新數(shù)據(jù)樣本的增加，Zeng 等[21]提出了增量局部保存投影（LPP）算法，該算法通過使用拉普拉斯矩陣和原始樣本的投影值來更新。然而，這些算法不能應(yīng)對(duì)兩個(gè)域之間的巨大差異，例如，被監(jiān)測(cè)的工業(yè)過程處于一個(gè)完全不同的操作環(huán)境。Ge和Song[22]提出了在線批處理獨(dú)立成分分析-主成分分析（ICA-PCA）方法，在該方法中，使用從模型庫(kù)中選擇合適的ICA-PCA 模型來監(jiān)測(cè)新數(shù)據(jù)。然而，這種方法需要構(gòu)建多個(gè)模型，而且數(shù)據(jù)的不平衡性會(huì)降低監(jiān)測(cè)性能。

字典學(xué)習(xí)通常學(xué)習(xí)一個(gè)過完備的字典，然后，原始數(shù)據(jù)可以通過字典和稀疏矩陣進(jìn)行重構(gòu)。真實(shí)的原始數(shù)據(jù)通常具有結(jié)構(gòu)冗余的特點(diǎn)。通過字典學(xué)習(xí)，原始數(shù)據(jù)被映射到一個(gè)較低的維度空間，從而消除了原始數(shù)據(jù)的結(jié)構(gòu)冗余，同時(shí)保留了最簡(jiǎn)潔的信息。Peng等[23]提出了一種通過LPP計(jì)算出一個(gè)映射字典的方法，以保留原始數(shù)據(jù)的幾何結(jié)構(gòu)。Chen等[24]提出了一種利用字典正則化從少量目標(biāo)域數(shù)據(jù)中學(xué)習(xí)字典的方法，同時(shí)保障這個(gè)字典與從源域數(shù)據(jù)中學(xué)習(xí)的字典相似。Zhang 等[25]提出了一種方法，在該方法中，為了實(shí)現(xiàn)跨域分類，學(xué)習(xí)了一個(gè)公共字典、一個(gè)源域字典和一個(gè)目標(biāo)域字典。在Jie等[26]提出的方法中，學(xué)習(xí)了源域字典和目標(biāo)域字典之間的若干個(gè)子空間字典。Long 等[27]提出了遷移稀疏代碼（TSC），該方法引入了圖的正則化并減少了分布距離，以實(shí)現(xiàn)知識(shí)遷移。這些字典學(xué)習(xí)方法在信號(hào)重建、信號(hào)降噪、圖像識(shí)別、圖像校正等方面取得了很大的成就，引起了學(xué)術(shù)界和工業(yè)界的高度重視。此外，最近的研究表明，字典學(xué)習(xí)在過程監(jiān)測(cè)中具有非凡的優(yōu)勢(shì)。Huang 等[28]提出了一種核字典學(xué)習(xí)方法用于實(shí)現(xiàn)非線性過程監(jiān)測(cè)，以及一種分布式字典學(xué)習(xí)方法用于實(shí)現(xiàn)高維過程監(jiān)測(cè)。

盡管上述方法在工業(yè)系統(tǒng)中表現(xiàn)出卓越的過程監(jiān)測(cè)性能，但它們沒有考慮歷史數(shù)據(jù)和在線監(jiān)測(cè)數(shù)據(jù)的分布差異。遷移學(xué)習(xí)是不同域間知識(shí)遷移的一般框架，近年來得到了廣泛的研究，特別是在人工智能、圖像識(shí)別和計(jì)算機(jī)視覺界。受字典學(xué)習(xí)強(qiáng)大的表示能力和遷移學(xué)習(xí)的跨域知識(shí)遷移能力的啟發(fā)，本文提出了一種魯棒遷移字典學(xué)習(xí)（RTDL）方法，用于處理現(xiàn)實(shí)工業(yè)過程監(jiān)測(cè)的數(shù)據(jù)分布畸變問題。本方法是聯(lián)合表示學(xué)習(xí)和域自適應(yīng)性遷移學(xué)習(xí)的一種協(xié)同方法。簡(jiǎn)而言之，歷史訓(xùn)練數(shù)據(jù)和在線測(cè)試數(shù)據(jù)被分別作為遷移學(xué)習(xí)問題的源域和目標(biāo)域。對(duì)于一個(gè)工業(yè)系統(tǒng)來說，雖然系統(tǒng)總是在不同的運(yùn)行環(huán)境中運(yùn)行，會(huì)不可避免地導(dǎo)致不同的數(shù)據(jù)分布，但其內(nèi)部的基本信息，如機(jī)理，往往是相同或相似的。換句話說，工業(yè)系統(tǒng)的高維觀測(cè)數(shù)據(jù)往往在不同域間有不變的子空間。因此，將源域和目標(biāo)域映射到一個(gè)公共的子空間是可行的，在該子空間中源域和目標(biāo)域之間的分布差異被消除。之后，在該子空間中進(jìn)行過程監(jiān)測(cè)。在實(shí)際應(yīng)用中，提出了一種判別性的字典學(xué)習(xí)方法，從多模態(tài)工業(yè)數(shù)據(jù)中提取特征。接下來，提出了最大平均差異（MMD）正則化[29]作為非參數(shù)距離度量來表達(dá)分布距離，減少了源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的分布畸變。此外，為了減少模內(nèi)數(shù)據(jù)的距離，引入了線性判別分析（LDA）正則化。因此，即使源域和目標(biāo)域受到不同操作環(huán)境的嚴(yán)重影響，本方法也能學(xué)習(xí)到一個(gè)魯棒的公共字典。因此，該方法能有效地提高過程監(jiān)測(cè)和模態(tài)識(shí)別的性能。

本文的主要貢獻(xiàn)如下。第一，提出了一種RTDL 方法，以減少工業(yè)系統(tǒng)多變的運(yùn)行環(huán)境所帶來的負(fù)面影響。通過減少域間差異，本方法可減少由多變的運(yùn)行環(huán)境引起的過程監(jiān)測(cè)和模態(tài)識(shí)別的性能下降。第二，給出了關(guān)于帶約束不可微分字典學(xué)習(xí)問題的詳細(xì)優(yōu)化步驟，可以有效實(shí)現(xiàn)RTDL 的求解。第三，通過大量的實(shí)驗(yàn)驗(yàn)證了本方法，包括數(shù)值仿真實(shí)驗(yàn)和實(shí)際工業(yè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法在精度上優(yōu)于一些先進(jìn)的方法。因此，該方法適用于工業(yè)系統(tǒng)的過程監(jiān)測(cè)任務(wù)。

本文的其余部分組織如下。第2節(jié)簡(jiǎn)要介紹了域自適應(yīng)遷移學(xué)習(xí)、字典學(xué)習(xí)和本文的動(dòng)機(jī)。第3 節(jié)提出了RT‐DL 模型并給出了其有效的優(yōu)化步驟。第4 節(jié)進(jìn)行了廣泛的實(shí)驗(yàn)，包括數(shù)值仿真、連續(xù)攪拌釜加熱器（CSTH）基準(zhǔn)和風(fēng)機(jī)系統(tǒng)實(shí)驗(yàn)，以驗(yàn)證RTDL方法的有效性。第5節(jié)為結(jié)論和總結(jié)意見。

2.相關(guān)知識(shí)

2.1.域自適應(yīng)遷移

假設(shè)有一個(gè)擁有大量數(shù)據(jù)的源域（Xs=[xs1,xs2,...,xns]，其中ns是源域數(shù)據(jù)Xs的數(shù)量）和一個(gè)擁有少量數(shù)據(jù)的目標(biāo)域（Xt=[xt1,xt2,...,xnt]，其中nt是目標(biāo)域數(shù)據(jù)Xt的數(shù)量）。這里，源域和目標(biāo)域是相關(guān)的，但不相同。以風(fēng)機(jī)系統(tǒng)為例，將風(fēng)機(jī)系統(tǒng)在冬季的過程數(shù)據(jù)設(shè)為源域，在夏季的過程數(shù)據(jù)設(shè)為目標(biāo)域。這兩個(gè)域是相關(guān)的，因?yàn)槊總€(gè)域的數(shù)據(jù)均是在相同的機(jī)理下從同一個(gè)風(fēng)機(jī)系統(tǒng)中采集的。然而，由于外部運(yùn)行環(huán)境的不同，兩個(gè)季節(jié)的觀測(cè)數(shù)據(jù)往往具有不同的分布。在數(shù)學(xué)上，各域的輸入特征空間是相同的，但各域的邊緣分布和條件分布是不同的，即Xs?χ、Xt?χ、Ps(x)≠Pt(x)、Ps(y|x)≠Pt(y|x)。其中Ps和Pt分別代表源域和目標(biāo)域的概率分布；χ代表數(shù)據(jù)空間；x代表數(shù)據(jù)樣本；y代表數(shù)據(jù)x的標(biāo)簽。

為了實(shí)現(xiàn)目標(biāo)域的過程監(jiān)測(cè)，需要消除源域和目標(biāo)域之間的分布差異，即條件分布差異和邊緣分布差異。當(dāng)源域和目標(biāo)域的分布畸變消除后，源域數(shù)據(jù)可以表現(xiàn)出與目標(biāo)域數(shù)據(jù)相同的過程信息，因此該方法可以利用豐富的源域數(shù)據(jù)輔助訓(xùn)練模型，從而達(dá)到積極的知識(shí)遷移效果。

2.2.字典學(xué)習(xí)

字典學(xué)習(xí)的思想是通過學(xué)習(xí)由一系列原子組成的字典和一個(gè)稀疏矩陣來最小化數(shù)據(jù)重構(gòu)誤差。假設(shè)XN=[x1,x2,...,xN]?Rm×N是一組原始樣本，其中xN表示維數(shù)為m的第N個(gè)樣本，R是向量空間，N表示數(shù)據(jù)量。DK=[d1,d2,...,dK]?Rm×K是由K個(gè)原子組成的字典，其中dK是第K個(gè)原子，K是原子數(shù)。SN?RK×N代表稀疏矩陣。字典學(xué)習(xí)的問題可以表示如下：

式中，α（α>0）是控制SN稀疏性的參數(shù)；‖ ‖?F表示矩陣XN的F范數(shù)；‖ ‖?0表示矩陣SN的L0范數(shù)。

2.3.本文動(dòng)機(jī)

如前所述，盡管一個(gè)工業(yè)系統(tǒng)在不同的運(yùn)行環(huán)境下（如不同的地點(diǎn)、時(shí)間、天氣和人工操作等外部干擾）運(yùn)行時(shí)，會(huì)不可避免地導(dǎo)致數(shù)據(jù)分布的畸變，但基本的內(nèi)部機(jī)理往往是相同或相似的。也就是說，不同域下的工業(yè)系統(tǒng)的高維觀測(cè)數(shù)據(jù)往往具有不變的子空間。因此，有必要提取不變的知識(shí)或子空間，以消除外在干擾，從而進(jìn)一步提高工業(yè)過程監(jiān)測(cè)的性能。為了生動(dòng)地展示源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間可遷移特征的效果，圖1顯示了僅受不同環(huán)境因素影響而導(dǎo)致不同分布的數(shù)據(jù)散點(diǎn)圖。源域和目標(biāo)域的邊緣分布和條件分布明顯不同。傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)方法有兩種常見的策略。如圖1（a）所示，第一種策略是忽略源域數(shù)據(jù)，只用目標(biāo)域數(shù)據(jù)作為輸入數(shù)據(jù)，這樣可以滿足訓(xùn)練數(shù)據(jù)的分布與測(cè)試數(shù)據(jù)的分布相同的假設(shè)。然而，由于目標(biāo)域的訓(xùn)練數(shù)據(jù)非常少，最終的模型很容易出現(xiàn)過擬合。如圖1（b）所示，第二種策略是忽略源域和目標(biāo)域的不同特征。這種策略直接使用大量的歷史數(shù)據(jù)和少量的新數(shù)據(jù)來進(jìn)行模型訓(xùn)練任務(wù)，因此，最終的模型會(huì)混淆域間差異信息和異常信息。此外，該模型很容易被擁有大量樣本的源域所支配。相比之下，圖1（c）是本文提出的RTDL模型。該方法試圖找到一個(gè)映射關(guān)系函數(shù)Φ(·)。通過這個(gè)映射關(guān)系，原始數(shù)據(jù)被映射到一個(gè)子空間。在這個(gè)子空間中，源域的邊緣分布和條件分布與目標(biāo)域的分布相同；也就是說Ps(Φ(x))=Pt(Φ(x))，Ps(y|Φ(x))=Pt(y|Φ(x))，其中Φ(x)是關(guān)于x的映射。我們認(rèn)為如果Φ(·)能克服外在環(huán)境的干擾，只保留最簡(jiǎn)明的內(nèi)部機(jī)理信息，就能將知識(shí)從源域遷移到目標(biāo)域。也就是說，通過在字典學(xué)習(xí)目標(biāo)函數(shù)中加入MMD 和LDA-like 的正則化，RTDL 方法可以利用豐富的源域數(shù)據(jù)來輔助訓(xùn)練模型，達(dá)到遷移的效果，以提高工業(yè)過程監(jiān)測(cè)的效果。

3.方法

在詳細(xì)討論該方法之前，這里先引入一個(gè)假設(shè)。這個(gè)假設(shè)是合理的，且通常情況下工業(yè)系統(tǒng)滿足這個(gè)假設(shè)。

假設(shè)：一個(gè)復(fù)雜的工業(yè)過程常常以不同的模態(tài)運(yùn)行，以滿足不同的現(xiàn)實(shí)需求。在不同的模態(tài)下，觀察到的變量的特征是不同的。為了清楚地描述不同的觀察結(jié)果，歷史訓(xùn)練數(shù)據(jù)和在線測(cè)試數(shù)據(jù)分別被看作是源域和目標(biāo)域。

一般來說，進(jìn)行多模態(tài)數(shù)據(jù)過程監(jiān)測(cè)有兩種方式。第一種方式是單獨(dú)處理多模態(tài)數(shù)據(jù)，然后單獨(dú)完成過程監(jiān)測(cè)任務(wù)。第二種方式是全局處理多模態(tài)數(shù)據(jù)，然后使用單一模型完成過程監(jiān)測(cè)任務(wù)。當(dāng)在每個(gè)單獨(dú)模態(tài)下收集的數(shù)據(jù)足夠時(shí)，第一種方式是更好的選擇。然而，對(duì)于實(shí)際的工業(yè)過程監(jiān)測(cè)任務(wù)來說，目標(biāo)域的數(shù)據(jù)總是嚴(yán)重不足，單獨(dú)的方法容易造成過擬合，因此，最好是全局處理多模態(tài)數(shù)據(jù)。此外，觀察到的變量不僅由工業(yè)過程的內(nèi)部機(jī)理決定，還受到外在環(huán)境（如人工操作、不確定性、參數(shù)測(cè)量的不連續(xù)性、噪聲等）的影響。在線測(cè)試數(shù)據(jù)的外在環(huán)境與歷史訓(xùn)練數(shù)據(jù)的外在環(huán)境不同，所以會(huì)出現(xiàn)域畸變。為了獲得準(zhǔn)確的過程監(jiān)測(cè)結(jié)果，一個(gè)明智的選擇是通過使用域自適應(yīng)遷移學(xué)習(xí)的方法來消除無關(guān)的外在干擾。

圖1.源域數(shù)據(jù)量大而目標(biāo)域數(shù)據(jù)量小的情況。（a）傳統(tǒng)策略1：忽略源域，僅利用目標(biāo)域數(shù)據(jù)進(jìn)行模型訓(xùn)練。（b）傳統(tǒng)策略2：忽略源域和目標(biāo)域的特征差異，直接利用所有數(shù)據(jù)進(jìn)行模型訓(xùn)練。（c）RTDL模型將源域和目標(biāo)域的數(shù)據(jù)進(jìn)行正則化約束，消除域間差異。該模型是三種模型中最合理的。PC1和PC2表示數(shù)據(jù)的兩個(gè)主要成分。

3.1.判別性字典

傳統(tǒng)的字典學(xué)習(xí)已經(jīng)被廣泛地引入過程監(jiān)測(cè)。此外，最近的研究表明，學(xué)習(xí)判別性字典可以使字典具備模態(tài)識(shí)別能力[30-33]。因此，對(duì)于過程監(jiān)測(cè)任務(wù)來說，迫切需要一種判別性的字典學(xué)習(xí)方法。這里，判別式字典被表示為D=[D1,D2,...,DC]?Rm×Ck，其中C代表模態(tài)的數(shù)量；k代表每個(gè)模態(tài)的原子數(shù)量；DC是一個(gè)由k個(gè)原子組成的子字典，用來代表第C個(gè)模態(tài)的特征。原始樣本矩陣（X）關(guān)于字典D的稀疏矩陣為S=[S1,S2,...,SC]?RCk×(ns+nt)，其中SC=[SsC,StC]；SsC代表第C個(gè)模態(tài)源域數(shù)據(jù)的稀疏編碼；StC代表第C個(gè)模態(tài)目標(biāo)域數(shù)據(jù)的稀疏編碼。為了簡(jiǎn)單起見，我們將Xi關(guān)于字典D的稀疏編碼記為Si=是Xi關(guān)于子字典DC的編碼系數(shù)；Xi是由第i個(gè)模態(tài)樣本組成的矩陣（i?{1,2,...,C}），是X的子矩陣。

為了提高多模態(tài)數(shù)據(jù)的表示能力，應(yīng)該在字典學(xué)習(xí)中加入先驗(yàn)約束。第一，數(shù)據(jù)應(yīng)該被字典和相應(yīng)的稀疏矩陣很好地重構(gòu)，即X≈DS。第二，數(shù)據(jù)應(yīng)該被它自己的子字典和子稀疏矩陣很好地表示出來； 即Xi≈第三，由于數(shù)據(jù)可以由它自己的子字典和子稀疏矩陣很好地表示，因此項(xiàng)應(yīng)該盡可能地接近于零，公式（1）可以轉(zhuǎn)化為以下形式[31]。

式中，db代表字典D中的第b個(gè)原子；Sin和Sout是關(guān)于S的表達(dá)式，如下所示。

式中，xa是X的第a個(gè)樣本。

3.2.正則化

由于工業(yè)系統(tǒng)的源域和目標(biāo)域受到不同環(huán)境因素的影響，所以數(shù)據(jù)分布是不同的。為了確保學(xué)習(xí)到的字典能夠捕捉到源域和目標(biāo)域中潛在的公共機(jī)理信息，而不是無關(guān)的外在干擾，一個(gè)直接的方法是通過最小化一些預(yù)定義的度量來減少分布差異。MMD正則化被認(rèn)為是一種表達(dá)域間分布差異的非參數(shù)指標(biāo)[27]，它可以使稀疏矩陣Ssi和Sti的中心接近。在數(shù)學(xué)上，MMD正則化表示如下。

式中，c1代表源域和目標(biāo)域之間的MMD正則化；nsi和nti分別代表源域和目標(biāo)域中第i個(gè)模態(tài)的樣本數(shù)；sj是稀疏矩陣S中的一個(gè)稀疏代碼；Mi代表MMD矩陣M的第i個(gè)模態(tài)部分，可以計(jì)算如下。

眾所周知，同一模態(tài)下的觀測(cè)數(shù)據(jù)的分布應(yīng)該是相同的。然而，由于工作環(huán)境的不確定性，同一模態(tài)下的數(shù)據(jù)也表現(xiàn)出一定的差異。為了消除不確定環(huán)境的干擾，無論數(shù)據(jù)來自哪個(gè)域，最好使同模態(tài)數(shù)據(jù)的稀疏碼彼此更加接近。也就是說，Si=[Ssi,Sti]?i?{1,2,...,C}的每一個(gè)列向量均應(yīng)該相互接近。因此，的值應(yīng)該盡可能小，其中是Si的中心。因此，應(yīng)該引入以下約束條件。

式中，c2是所有模態(tài)的模內(nèi)距離；I是單位矩陣。LDAlike矩陣H可以通過以下方式得到。

式中，1ni是一個(gè)長(zhǎng)度為ni及所有元素均等于1的向量；ni是第i個(gè)模態(tài)在源域和目標(biāo)域的總數(shù)據(jù)數(shù)。公式（7）的正則化形式上與LDA 正則化相似[34]，所以它被稱為L(zhǎng)DAlike正則化。

總之，MMD和LDA-like正則化可以被認(rèn)為是一種漸進(jìn)的關(guān)系。MMD正則化使每個(gè)模態(tài)的源域中心接近每個(gè)模態(tài)的目標(biāo)域中心。作為補(bǔ)充，LDA-like正則化使同一模態(tài)的數(shù)據(jù)相互靠近，以減少模態(tài)內(nèi)的距離?；谶@兩種正則化的協(xié)同作用，我們將公式（2）、（3）和（7）連接起來，形成了本文中所提出的方法，該方法的目標(biāo)函數(shù)可以表示如下。

式中，β1和β2（β1,β2>0）分別是MMD 正則化和LDAlike正則化的超參數(shù)，這些超參數(shù)可以平衡重建誤差和正則化約束之間的權(quán)重。由于本方法減少了源域和目標(biāo)域之間的分布畸變，因此可以達(dá)到消除外在環(huán)境干擾的效果。

3.3.優(yōu)化

上述目標(biāo)函數(shù)的優(yōu)化變量是D和S。由于優(yōu)化問題不是兩個(gè)變量的聯(lián)合凸問題，而是分別凸于D（保持S固定的情況下）和凸于S（保持D固定的情況下），因此引入迭代優(yōu)化方法來計(jì)算D和S的最優(yōu)值[35]。

3.3.1.更新D

當(dāng)通過固定S更新字典D時(shí)，目標(biāo)函數(shù)可以簡(jiǎn)化為如下形式：

構(gòu)建了一個(gè)新的數(shù)據(jù)矩陣Xnew=[X,X,O]和一個(gè)新的稀疏矩陣Snew=[S,Sin,Sout]，其中O是與矩陣X維度相同的零矩陣，目標(biāo)函數(shù)[公式（10）]變?yōu)槿缦滦问剑?/p>

該目標(biāo)函數(shù)可以通過使用拉格朗日對(duì)偶法[35]來有效解決。首先，考慮拉格朗日函數(shù)：

式中，L是拉格朗日函數(shù)；是引入的非負(fù)參數(shù)。

通過最小化拉格朗日函數(shù)[公式（12）]得到拉格朗日對(duì)偶問題，如下所示。

式中，B是拉格朗日對(duì)偶公式；Λ是由組成的對(duì)角矩陣，拉格朗日對(duì)偶問題[公式（13）]可以用牛頓法或共軛梯度法來優(yōu)化。在最大化B(λ→)后，我們得到最優(yōu)字典D如下。

3.3.2.更新S

矩陣S將被逐列進(jìn)行更新。當(dāng)更新其中一列sj時(shí)，目標(biāo)函數(shù)可以表示如下。

式中，Q、P和hj是目標(biāo)函數(shù)簡(jiǎn)化過程中的中間變量。Q=(β1Mjj'+β2(I-H)jj')sj'。Q是一個(gè)對(duì)角線矩陣，元素1只存在于sj所屬模態(tài)的相應(yīng)的k個(gè)位置上；xj是X中的第j個(gè)樣本；是sj中的第p個(gè)元素。我們通過特征符號(hào)搜索算法[27,35]來優(yōu)化公式（15）。定義g(sj)如下：

式中，g(sj)是公式（15）的可微分部分。為了實(shí)現(xiàn)公式（15）中的特征符號(hào)搜索算法，引入以下定理。

定理1：定義一個(gè)關(guān)于x的連續(xù)函數(shù)為F(x)=G(x)+的最優(yōu)必要條件為

式中，G(x)是關(guān)于向量x的連續(xù)可微函數(shù)[35-36]；xp是向量x的第p個(gè)元素；?pG(x)是G(x)關(guān)于xp的偏導(dǎo)。

證明：我們通過反證法來提供一個(gè)簡(jiǎn)短的證明。假設(shè)最優(yōu)解x中有一個(gè)元素xp不符合上述最優(yōu)必要條件。首先，對(duì)于|xp|≠0，?pG(x)+λsign(xp)≠0，則很明顯可知?pF(x)=?pG(x)+λsign(xp)≠0。因此，我們可以找到另一個(gè)值x*p來代替xp，使F(x*)值更小。這與x為最優(yōu)解的假設(shè)是矛盾的。其次，對(duì)于|xp|=0，?pG(x)>λ，由于G(x)是一個(gè)連續(xù)可微的函數(shù)，我們可以找到一個(gè)x*p<0來代替xp， 并 且 滿 足G(x*)-G(x)<λx*p。 因 此F(x*)=G(x*)+這也是與假設(shè)相矛盾的。對(duì)于|xp|=0，?pG(x)<-λ，可以用同樣的方法來證明該假設(shè)不成立。綜上所述，命題得證。

根據(jù)定理1，公式（15）中的必要條件可以描述如下。

當(dāng)?shù)谝粋€(gè)條件被違反時(shí)，因?yàn)槠浞?hào)是已知的，公式（15）中的目標(biāo)函數(shù)是可微的，它成為一個(gè)無約束的優(yōu)化問題（QP）。當(dāng)?shù)诙€(gè)條件被違反時(shí)，假設(shè)?(p)g(sj)>α，由于?(p)f(sj)一定大于零，為了最小化f(sj)的值，必須減少。由于從零開始，對(duì)其進(jìn)行的任何無限小的調(diào)整均會(huì)使其符號(hào)為負(fù)，因此，我們直接讓為?1。那么，f(sj)關(guān)于同樣是可微的，問題可以簡(jiǎn)單解決。如果?(p)g(sj)<-α，可以用同樣的方法更新。

據(jù)此，稀疏矩陣優(yōu)化算法的完整過程被總結(jié)為算法1。

3.4.在線過程監(jiān)測(cè)

在獲得通用字典D后，利用該字典可以進(jìn)行過程監(jiān)測(cè)和模態(tài)識(shí)別任務(wù)。

3.4.1.過程監(jiān)測(cè)

字典D和正交匹配追求（OMP）算法[37]被用來計(jì)算訓(xùn)練集中目標(biāo)域數(shù)據(jù)的稀疏表示，訓(xùn)練集中目標(biāo)域數(shù)據(jù)的重構(gòu)殘差（RES）可以根據(jù)公式（19）得到。

式中，‖ ‖?2代表向量的L2范數(shù)；r是樣本x的重建誤差。

接下來，用核密度估計(jì)法（KDE）[38]計(jì)算目標(biāo)域數(shù)據(jù)的殘差分布區(qū)間，以檢測(cè)新的測(cè)試數(shù)據(jù)是否正常。當(dāng)新的測(cè)試數(shù)據(jù)x來自目標(biāo)域時(shí)，使用同樣的OMP 算法得到稀疏代碼s；然后使用公式（19）可以得到測(cè)試數(shù)據(jù)的RES。當(dāng)RES 屬于上述分布區(qū)間時(shí)，它是正常數(shù)據(jù)，否則，就是故障數(shù)據(jù)。

3.4.2.模態(tài)識(shí)別

測(cè)試數(shù)據(jù)被檢測(cè)為正常數(shù)據(jù)后，進(jìn)行模態(tài)識(shí)別，通過公式（20）來識(shí)別數(shù)據(jù)x。

式中，si是s的子稀疏表示。

綜上所述，RTDL的完整流程總結(jié)于算法2。

4.驗(yàn)證實(shí)驗(yàn)

在本節(jié)中，我們?cè)跀?shù)值仿真、CSTH基準(zhǔn)和風(fēng)機(jī)系統(tǒng)上進(jìn)行了廣泛的實(shí)驗(yàn)，以證明RTDL方法的有效性和優(yōu)越性。為了性能的可視化和參數(shù)的敏感性分析，在數(shù)值仿真中分別引入MMD正則化和LDA-like正則化，以便能夠直觀地觀察樣本的分布。對(duì)于CSTH基準(zhǔn)和風(fēng)機(jī)系統(tǒng)，將提出的方法與一些最先進(jìn)的方法進(jìn)行了性能比較。

4.1.性能可視化和參數(shù)敏感性分析

4.1.1.數(shù)據(jù)集

本小節(jié)在數(shù)值仿真上進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證本文動(dòng)機(jī)并直觀地評(píng)價(jià)性能。數(shù)值仿真的數(shù)據(jù)生成模型如下。

表1 關(guān)于仿真數(shù)據(jù)的細(xì)節(jié)描述

?

對(duì)于訓(xùn)練數(shù)據(jù)，我們?cè)谠从虻拿總€(gè)模態(tài)收集了100條正常數(shù)據(jù)，在目標(biāo)域的每個(gè)模態(tài)收集了10 條正常數(shù)據(jù)。對(duì)于測(cè)試數(shù)據(jù)，我們?cè)诿總€(gè)模態(tài)收集50 條正常數(shù)據(jù)，在目標(biāo)域收集300條異常數(shù)據(jù)。

4.1.2.性能可視化實(shí)驗(yàn)

如前文所述，MMD正則化和LDA-like正則化可以從不同角度消除分布畸變。為了驗(yàn)證兩者均有消除分布畸變的能力，我們分別引入其中一個(gè)，設(shè)置另一個(gè)正則化參數(shù)為零，直觀地觀察樣本的分布。訓(xùn)練數(shù)據(jù)被利用來學(xué)習(xí)一個(gè)公共的字典。然后通過公共字典和OMP 算法得到源域數(shù)據(jù)、目標(biāo)域數(shù)據(jù)和異常數(shù)據(jù)的稀疏代碼。我們通過PCA將稀疏代碼可視化。圖2顯示了可視化的情況。

圖2（a）顯示了原始數(shù)據(jù)的分布。由于環(huán)境干擾，域間數(shù)據(jù)出現(xiàn)了分布畸變，且異常的信息是不明顯的。圖2（b）、（c）顯示，在單獨(dú)使用其中一個(gè)正則化后，分布畸變被部分消除，異常信息通過字典學(xué)習(xí)后開始顯示出來。圖2（d）顯示，源數(shù)據(jù)和目標(biāo)數(shù)據(jù)完全混合，通過使用兩種正則化的方法，異常信息很容易被識(shí)別。據(jù)此，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文的動(dòng)機(jī)（第2.3節(jié)）。

Algorithm 2.RTDL.Input:Source domain data matrix Xs=[xs1,xs2,...,xns],target domain data matrix Xt=[xt1,xt2,...,xnt],parameters α,β1,and β2 Begin RTDL algorithm Step 1.Initialization Structure data matrix X=[Xs1,Xt1,...,Xsc,Xtc,...,XsC,XtC],MMD matrix M by Eq.(4)and LDA-like matrix H by Eq.(8).D and S are initialized as random values,where Xsc and Xtcrepresent the data sets of Cth mode of the source domain and target domain,respectively Step 2.Off-line training Obtain D and S iteratively To fix S,update D using Eq.(14)To fix D,update S using Algorithm 1 Step 3.Online testing(i)Process monitoring Get the RES limit by D and the OMP and KDE algorithms Conduct process monitoring by comparing the RES statistic and RES limit(ii)Mode classification After the testing data is detected as normal data,conduct mode classification using Eq.(20)End RTDL algorithm

4.1.3.參數(shù)敏感性分析實(shí)驗(yàn)

參數(shù)α是字典學(xué)習(xí)中一個(gè)重要的調(diào)整參數(shù)，它控制著S的稀疏程度。一般來說，α可以通過觀察S的稀疏程度來選擇，S的稀疏程度表示矩陣中非零元素所占的比例。如圖3所示，當(dāng)稀疏率（SPR）為20%~50%時(shí)，可以得到滿意的過程監(jiān)測(cè)結(jié)果；據(jù)此，對(duì)SPR 的參數(shù)敏感性分析驗(yàn)證了所提方法的魯棒性。

接下來，對(duì)修改后的β1和β2參數(shù)的過程監(jiān)測(cè)性能進(jìn)行分析。令β1從101變化到105，而β2從10 變化到70。錯(cuò)誤報(bào)警率（FAR）和故障檢測(cè)率（FDR）被認(rèn)為是過程監(jiān)測(cè)的兩個(gè)評(píng)價(jià)指標(biāo)。結(jié)果顯示在圖4 和圖5 中?？梢钥闯?，當(dāng)β1和β2改變時(shí)，F(xiàn)AR總是低于3%，F(xiàn)DR總是大于80%。盡管β1和β2的變化范圍很大，但過程監(jiān)測(cè)的這種性能仍是滿意的。當(dāng)β1和β2的值過小時(shí)，學(xué)習(xí)的字典可以很好地重建訓(xùn)練數(shù)據(jù)。然而，訓(xùn)練數(shù)據(jù)中不相關(guān)的環(huán)境干擾也會(huì)被字典學(xué)習(xí)。當(dāng)β1和β2的值過大時(shí)，目標(biāo)函數(shù)只是減少域之間的分布差異，學(xué)習(xí)到的字典不能很好地重建過程數(shù)據(jù)，而且潛在的語(yǔ)義信息，如數(shù)據(jù)中的機(jī)理信息將被丟失。這兩種情況均會(huì)降低字典捕捉過程數(shù)據(jù)中常見的潛在信息的能力，導(dǎo)致過程監(jiān)測(cè)的性能不佳。為了給這些超參數(shù)選擇一個(gè)合適的值，可以選擇網(wǎng)格搜索這樣的優(yōu)化方法。

4.2.性能比較實(shí)驗(yàn)

4.2.1.數(shù)據(jù)集

由于RTDL在數(shù)值仿真中的性能是比較滿意的，我們現(xiàn)在考慮其在現(xiàn)實(shí)工業(yè)場(chǎng)景中的性能。本實(shí)驗(yàn)準(zhǔn)備了兩個(gè)數(shù)據(jù)集。

（1）CSTH。CSTH 過程是一個(gè)非線性的真實(shí)平臺(tái)，已被廣泛用作評(píng)估不同過程監(jiān)測(cè)方法的基準(zhǔn)[39]。CSTH的原理如圖6 所示。在CSTH 過程中，有兩個(gè)物理平衡：質(zhì)量平衡和熱平衡。冷水和熱水同時(shí)流入水槽進(jìn)行攪拌，同時(shí)被蒸汽加熱[40]。假設(shè)這個(gè)過程有兩種模態(tài)，其中模態(tài)狀態(tài)由液面設(shè)置、溫度設(shè)置和熱水閥位置設(shè)置決定。詳細(xì)情況見表2。為了模擬環(huán)境干擾，我們?cè)谒杏^測(cè)變量中加入一個(gè)指數(shù)分布變量，以形成源域，在所有觀測(cè)變量中加入一個(gè)F分布變量，以形成目標(biāo)域。在觀察到的流量變量上施加一個(gè)加性故障，以產(chǎn)生異常數(shù)據(jù)。我們?cè)谠从虻拿總€(gè)模態(tài)收集了100個(gè)數(shù)據(jù)，在目標(biāo)域的每個(gè)模態(tài)收集了30 個(gè)正常數(shù)據(jù)，以形成訓(xùn)練數(shù)據(jù)。測(cè)試數(shù)據(jù)包括每個(gè)模態(tài)的50個(gè)數(shù)據(jù)和目標(biāo)域的200個(gè)異常數(shù)據(jù)。

表2 CSTH的傳感器電流信號(hào)設(shè)置參數(shù)

圖2.樣本分布散點(diǎn)圖。（a）原始數(shù)據(jù)；（b）通過帶LDA-like正則化的字典學(xué)習(xí)得到的稀疏表示；（c）通過帶MMD正則化的字典學(xué)習(xí)得到的稀疏表示；（d）通過同時(shí)帶LDA-like正則化和MMD正則化的字典學(xué)習(xí)得到的稀疏表示。

圖3.參數(shù)α對(duì)指標(biāo)FAR和SPR的靈敏度分析。FAR：錯(cuò)誤報(bào)警率。

圖4.參數(shù)β1和β2對(duì)指標(biāo)FAR的靈敏度分析。

圖5.參數(shù)β1和β2對(duì)指標(biāo)FDR的靈敏度分析。

（2）風(fēng)機(jī)系統(tǒng)。風(fēng)機(jī)系統(tǒng)的數(shù)據(jù)來自于北京的一家風(fēng)力發(fā)電公司。從2011年1月1日至2011年11月11日，8臺(tái)風(fēng)機(jī)每分鐘采樣一次，表3所示的15維數(shù)據(jù)被用于過程監(jiān)測(cè)和模態(tài)識(shí)別。每臺(tái)風(fēng)機(jī)的數(shù)據(jù)中存在著不同的流形結(jié)構(gòu)，可以認(rèn)為是風(fēng)機(jī)系統(tǒng)的運(yùn)行模態(tài)。夏季的溫度和風(fēng)力與冬季不同，導(dǎo)致風(fēng)力發(fā)電機(jī)組的工作溫度和工作功率不同，從而導(dǎo)致數(shù)據(jù)分布畸變。風(fēng)力渦輪機(jī)系統(tǒng)在不同季節(jié)會(huì)受到不同的環(huán)境干擾。我們假設(shè)冬季為源域，而夏季為目標(biāo)域。詳細(xì)說明見表4。訓(xùn)練數(shù)據(jù)由源域中每種模態(tài)的350 個(gè)正常數(shù)據(jù)和目標(biāo)域中每種模態(tài)的50 個(gè)正常數(shù)據(jù)組成。每個(gè)模態(tài)的50個(gè)正常數(shù)據(jù)和目標(biāo)域的300個(gè)異常數(shù)據(jù)構(gòu)成測(cè)試數(shù)據(jù)。由于風(fēng)機(jī)系統(tǒng)數(shù)據(jù)的尺寸差異很大，所有的數(shù)據(jù)在實(shí)驗(yàn)前均進(jìn)行了標(biāo)準(zhǔn)化處理。

表3 風(fēng)機(jī)系統(tǒng)實(shí)驗(yàn)中使用的特征

表4 關(guān)于風(fēng)機(jī)系統(tǒng)數(shù)據(jù)的詳細(xì)描述

圖6.CSTH原理圖。TC：溫度控制器；FC：流量控制器；LC：液位控制器；TT：溫度傳感器；FT：流量傳感器；LT：液位傳感器；sp：設(shè)定值。摘自參考文獻(xiàn)[40]，經(jīng)Elsevier許可，?2008。

4.2.2.過程檢測(cè)的比較實(shí)驗(yàn)

為了定量評(píng)估RTDL方法，我們使用了另外兩種新穎的字典學(xué)習(xí)方法和一種自適應(yīng)監(jiān)測(cè)方法進(jìn)行比較實(shí)驗(yàn)。此外，第2.3 節(jié)中提到的兩種數(shù)據(jù)處理策略也被用于對(duì)比。比較方法包括：label consistent K-singular value decompo‐sition（LC-KSVD）（S+T）、LC-KSVD（T）、Fisher dis‐crimination dictionary learning （FDDL）（S+T）、FDDL（T）、moving window PCA（MWPCA）和RTDL。LC-KS‐VD[41]、FDDL[31]和MWPCA[42]方法是用于過程監(jiān)測(cè)的三種先進(jìn)的方法。LC-KSVD 和FDDL 同時(shí)具有模態(tài)識(shí)別的能力，而MWPCA是另一種用于過程監(jiān)測(cè)的自適應(yīng)方法。這里，LC-KSVD（S+T）和FDDL（S+T）分別指LC-KSVD 方法和FDDL 方法，其直接使用所有源域訓(xùn)練數(shù)據(jù)和目標(biāo)域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)，不考慮域之間的不同特征。LC-KSVD（T）和FDDL（T）分別指LC-KSVD方法和FDDL方法，其只使用目標(biāo)域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)。MWPCA方法直接使用所有源域訓(xùn)練數(shù)據(jù)和目標(biāo)域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)，不考慮域之間的不同特征。RTDL將源域的訓(xùn)練數(shù)據(jù)和目標(biāo)域的訓(xùn)練數(shù)據(jù)有區(qū)別地作為輸入數(shù)據(jù)。為了公平，字典的大小和其他參數(shù)被設(shè)定為相同。為了比較各模型的性能，我們參考了兩個(gè)指標(biāo)：FAR 和FDR。

結(jié)果顯示在圖7和圖8中。如圖所示，在這兩個(gè)實(shí)際數(shù)據(jù)集中，本方法在準(zhǔn)確性方面均優(yōu)于對(duì)比方法。有一些有趣的結(jié)果值得注意，在CSTH中，LC-KSVD（S+T）的FDR接近于LC-KSVD（T）的FDR，但是LC-KSVD（S+T）的FAR明顯大于LC-KSVD（T）的FAR。這一結(jié)果與我們的觀察相吻合，即如果忽略了域的分布畸變，模型可能更容易將域間差異信息與異常信息混淆，導(dǎo)致過程監(jiān)測(cè)結(jié)果更差。

4.2.3.模態(tài)識(shí)別比較實(shí)驗(yàn)

本方法可以處理多模態(tài)數(shù)據(jù)，當(dāng)檢測(cè)到數(shù)據(jù)為正常數(shù)據(jù)時(shí)，可以進(jìn)行模態(tài)識(shí)別。因此，在本節(jié)中，通過與對(duì)比方法的比較來評(píng)估模態(tài)識(shí)別的有效性。對(duì)比方法的參數(shù)設(shè)置與過程檢測(cè)比較實(shí)驗(yàn)一樣。值得注意的是，MWPCA方法不能完成模態(tài)識(shí)別任務(wù)，所以該方法不用于本實(shí)驗(yàn)。為了比較模型的性能，我們參考了兩個(gè)指標(biāo)：模態(tài)1準(zhǔn)確率和模態(tài)2準(zhǔn)確率。結(jié)果顯示在表5中?？梢钥闯?，本方法在模態(tài)識(shí)別中的表現(xiàn)優(yōu)于對(duì)比方法的表現(xiàn)，這進(jìn)一步驗(yàn)證了本方法的有效性。

表5 模態(tài)識(shí)別結(jié)果

圖7.本方法與對(duì)比方法在CSTH 上的監(jiān)測(cè)結(jié)果。（a）LC-KSVD(S+T)的統(tǒng)計(jì)量DRE；（b）LC-KSVD(T)的統(tǒng)計(jì)量DRE；（c）FDDL(S+T)的統(tǒng)計(jì)量DRE；（d）FDDL(T)的統(tǒng)計(jì)量DRE；（e）MWPCA的統(tǒng)計(jì)量T2；（f）RTDL的統(tǒng)計(jì)量DRE。DRE：字典重構(gòu)誤差。

圖8.本方法與對(duì)比方法在風(fēng)機(jī)系統(tǒng)上的監(jiān)測(cè)結(jié)果。（a）LC-KSVD(S+T)的統(tǒng)計(jì)量DRE；（b）LC-KSVD(T)的統(tǒng)計(jì)量DRE；（c）FDDL(S+T)的統(tǒng)計(jì)量DRE；（d）FDDL(T)的統(tǒng)計(jì)量DRE；（e）MWPCA的統(tǒng)計(jì)量T2；（f）RTDL的統(tǒng)計(jì)量DRE。

5.結(jié)論

由于工業(yè)過程經(jīng)常受到多變的操作環(huán)境的影響，在線監(jiān)測(cè)數(shù)據(jù)和歷史訓(xùn)練數(shù)據(jù)并不總是遵循相同的分布。因此，基于歷史訓(xùn)練數(shù)據(jù)的過程監(jiān)測(cè)模型不能準(zhǔn)確地執(zhí)行監(jiān)測(cè)在線流數(shù)據(jù)的任務(wù)。為此本文提出了一種RTDL 方法。該方法是一個(gè)表示學(xué)習(xí)和域自適應(yīng)遷移學(xué)習(xí)的協(xié)同框架。也就是說，首先使用字典學(xué)習(xí)方法，將原始數(shù)據(jù)投射到一個(gè)子空間，學(xué)習(xí)一個(gè)公共的字典來表示源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)。在減少子空間中的域間分布距離和模內(nèi)距離后，消除了環(huán)境干擾引起的分布畸變，從而提高了字典表示內(nèi)部語(yǔ)義信息的能力，如機(jī)理信息。通過大量的實(shí)驗(yàn)，包括數(shù)值仿真、CSTH基準(zhǔn)和真實(shí)的風(fēng)機(jī)系統(tǒng)，證明了所提方法在域遷移問題上的優(yōu)越性。因此，可以得出結(jié)論，本方法可以將知識(shí)從單一源域遷移到單一目標(biāo)域。由于工業(yè)過程通常會(huì)遇到多種操作環(huán)境，未來的工作將集中在實(shí)現(xiàn)從多個(gè)源域到多個(gè)目標(biāo)域的知識(shí)遷移。

致謝

本研究由國(guó)家自然科學(xué)基金（61988101）和國(guó)家重點(diǎn)研發(fā)計(jì)劃（2018YFB1701100）項(xiàng)目資助。

Compliance with ethics guidelines

Chunhua Yang, Huiping Liang, Keke Huang, Yong‐gang Li,and Weihua Gui declare that they have no conflict of interest or financial conflicts to disclose.