來(lái)顏博， 閻高偉， 程 蘭， 陳澤華

(太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院， 太原 030024)

符號(hào)說(shuō)明

A—獨(dú)立成分分析(ICA)中的混合矩陣

AICA—包含主要非高斯信息的混合矩陣

dDICA—源域與目標(biāo)域之間非高斯信息相似性度量值

dDPCA—源域與目標(biāo)域之間高斯信息相似性度量值

E—ICA中的殘差

Es—源域通過(guò)動(dòng)態(tài)ICA(DICA)提取非高斯信息后的殘差

Et—目標(biāo)域通過(guò)DICA提取非高斯信息后的殘差

fDICA—非高斯信息回歸模型

fDPCA—高斯信息回歸模型

G—格拉斯曼流形空間

l—?jiǎng)討B(tài)滯后時(shí)間

LDICA—非高斯信息映射矩陣

LDPCA—高斯信息映射矩陣

M—與輸入數(shù)據(jù)X相關(guān)的潛在獨(dú)立成分

wDICA—非高斯信息回歸模型的權(quán)值

wDPCA—高斯信息回歸模型的權(quán)值

W—ICA中的解混矩陣

WICA—包含主要非高斯信息的解混矩陣

Ws-DICA—源域非高斯信息的解混矩陣

Ws-DPCA—源域高斯信息的負(fù)載矩陣

Wt-DICA—目標(biāo)域非高斯信息的解混矩陣

Wt-DPCA—目標(biāo)域高斯信息的負(fù)載矩陣

X—ICA方法中的輸入數(shù)據(jù)

Xs—源域數(shù)據(jù)

Xt—目標(biāo)域數(shù)據(jù)

目前，軟測(cè)量技術(shù)[1-2]已被廣泛應(yīng)用于工業(yè)生產(chǎn)過(guò)程中關(guān)鍵參數(shù)的實(shí)時(shí)監(jiān)測(cè)，如精餾塔含水量預(yù)測(cè)[3]和石油分餾生產(chǎn)過(guò)程監(jiān)測(cè)[4].然而在實(shí)際工業(yè)過(guò)程中，由于運(yùn)行任務(wù)與設(shè)定值變化等情況，容易導(dǎo)致系統(tǒng)工況發(fā)生變化，造成實(shí)時(shí)數(shù)據(jù)和建模所用數(shù)據(jù)的分布不一致，致使傳統(tǒng)的軟測(cè)量模型性能惡化[5-6].

為解決多工況下軟測(cè)量模型失準(zhǔn)問(wèn)題，Zhao等[7]提出一種多模型建模方法，基于歷史數(shù)據(jù)建立不同工況下的子模型，然后將實(shí)時(shí)數(shù)據(jù)與子模型匹配識(shí)別，實(shí)現(xiàn)工業(yè)生產(chǎn)過(guò)程的監(jiān)測(cè).Jin等[8]借鑒多模型策略和集成學(xué)習(xí)思想，通過(guò)加權(quán)融合多個(gè)子模型的信息獲得集成回歸模型，實(shí)現(xiàn)對(duì)盤尼西林發(fā)酵過(guò)程監(jiān)測(cè).李元等[9]提出一種基于非高斯信息的即時(shí)學(xué)習(xí)軟測(cè)量模型，通過(guò)交互信息選擇與當(dāng)前樣本最相關(guān)的樣本集，建立相應(yīng)軟測(cè)量模型，實(shí)現(xiàn)對(duì)硫回收生產(chǎn)工藝過(guò)程監(jiān)測(cè).上述方法在一定程度解決了多工況下軟測(cè)量問(wèn)題，卻未實(shí)質(zhì)性消除多工況下數(shù)據(jù)分布差異對(duì)軟測(cè)量建模造成的影響.

遷移學(xué)習(xí)方法放寬了訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)須滿足獨(dú)立同分布的要求，通過(guò)遷移源域已有的知識(shí)來(lái)解決與源域相關(guān)的未知目標(biāo)域?qū)W習(xí)問(wèn)題[10-14].目前，遷移學(xué)習(xí)廣泛應(yīng)用于圖像識(shí)別[15]、文檔分類[16]和情緒分析[17]，近年來(lái)在工業(yè)過(guò)程中的應(yīng)用也逐漸增多[18-19].在遷移學(xué)習(xí)中，根據(jù)目標(biāo)域是否標(biāo)記，將其分為半監(jiān)督遷移學(xué)習(xí)和無(wú)監(jiān)督遷移學(xué)習(xí).實(shí)際工業(yè)過(guò)程中普遍存在目標(biāo)域無(wú)帶標(biāo)簽樣本問(wèn)題，因此本文主要研究基于無(wú)監(jiān)督遷移學(xué)習(xí)的軟測(cè)量建模方法.

針對(duì)目標(biāo)域缺乏帶標(biāo)簽樣本問(wèn)題，基于流形的無(wú)監(jiān)督遷移學(xué)習(xí)受到廣泛關(guān)注.它將不同域映射為潛在連續(xù)流形空間上的不同點(diǎn)，相較于歐式空間能更好地減小域間的數(shù)據(jù)分布差異[20].在基于流形的遷移理論基礎(chǔ)上，Gong等[21]提出一種測(cè)地線流式核(GFK)的方法，將目標(biāo)域與源域映射為格拉斯曼流形空間上的兩個(gè)點(diǎn)，引入核方法，選取從源域到目標(biāo)域之間的測(cè)地線上所有點(diǎn)，以實(shí)現(xiàn)連續(xù)遷移過(guò)程，并成功應(yīng)用于跨域圖像分類問(wèn)題.近年來(lái)，該方法也被拓展到應(yīng)對(duì)非線性[22]和克服噪聲干擾[23]等場(chǎng)景下.多種場(chǎng)景下的應(yīng)用結(jié)果表明相較于歐式空間，在流形空間下進(jìn)行域遷移更能減小域間的數(shù)據(jù)分布差異.

上述GFK方法均以主成分分析(PCA)特征提取為基礎(chǔ)，而PCA是建立在測(cè)量變量獨(dú)立且服從高斯分布的假設(shè)上.由于實(shí)際工業(yè)過(guò)程往往具有動(dòng)態(tài)特性且數(shù)據(jù)分布同時(shí)包含非高斯信息和高斯信息，在實(shí)際情況下并不能嚴(yán)格遵循該前提.Ku等[24]提出一種動(dòng)態(tài)主成分分析(DPCA)方法，在過(guò)程數(shù)據(jù)中增加延時(shí)測(cè)量值構(gòu)成增廣矩陣，以應(yīng)對(duì)過(guò)程的動(dòng)態(tài)特性情況.為克服實(shí)際工業(yè)中的非高斯信號(hào)和動(dòng)態(tài)影響，Lee等[25]提出動(dòng)態(tài)獨(dú)立成分分析(DICA)以提取原始變量的非高斯信息.Zhang等[26]提出將DICA與DPCA結(jié)合以提取數(shù)據(jù)中非高斯信息和高斯信息，兼顧過(guò)程的動(dòng)態(tài)特性，并應(yīng)用在工業(yè)過(guò)程故障監(jiān)測(cè)中.這些特征提取方法為解決GFK難以應(yīng)對(duì)工業(yè)過(guò)程中動(dòng)態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問(wèn)題提供了思路.

針對(duì)傳統(tǒng)軟測(cè)量模型難以適應(yīng)數(shù)據(jù)分布變化，本文將GFK引入到軟測(cè)量領(lǐng)域中.同時(shí)針對(duì)GFK難以解決工業(yè)過(guò)程中動(dòng)態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問(wèn)題，引入DICA和DPCA以提取源域與目標(biāo)域的非高斯信息和高斯信息.分別將提取的信息在格拉斯曼流形空間上遷移適配目標(biāo)域，結(jié)合集成學(xué)習(xí)機(jī)制，融合適配后的非高斯信息與高斯信息，形成最終的軟測(cè)量模型，實(shí)現(xiàn)多工況下參數(shù)建模.

1 理論算法

1.1 動(dòng)態(tài)獨(dú)立成分分析

ICA假設(shè)數(shù)據(jù)變量間相互獨(dú)立且非高斯分布，它可以提取出數(shù)據(jù)的非高斯信息.給定輸入數(shù)據(jù)X∈N×m，N為數(shù)據(jù)X的N維觀測(cè)量，m為數(shù)據(jù)X的樣本數(shù).在ICA算法中，X與潛在的獨(dú)立成分M∈d×m存在一種關(guān)系：

X=AM+E

(1)

式中：A∈N×d為混合矩陣；E∈N×m為殘差矩陣.變形得

M=WX

(2)

式中：W=A-1為解混矩陣.

選取多變量中主要的非高斯信息有助于解釋獨(dú)立成分的物理意義.參照文獻(xiàn)[27]方法計(jì)算解混矩陣W每一行的L2范數(shù)并進(jìn)行排序，選取出WICA和We.WICA為含有主要非高斯信息的解混矩陣；We為剩余的W；混合矩陣A劃分為相應(yīng)的AICA和Ae.

為解決過(guò)程中動(dòng)態(tài)特性提取的問(wèn)題，在當(dāng)前時(shí)刻k的輸入數(shù)據(jù)X下，增加前l(fā)時(shí)刻測(cè)量數(shù)據(jù)，可得增廣矩陣

(3)

1.2 測(cè)地線流式核方法

為解決GFK在工業(yè)過(guò)程中的動(dòng)態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問(wèn)題，我們通過(guò)DICA方法獲得源域Xs與目標(biāo)域Xt的非高斯信息解混矩陣Ws-DICA和Wt-DICA，通過(guò)DPCA方法獲取源域與目標(biāo)域的高斯信息負(fù)載矩陣Ws-DPCA和Wt-DPCA，Ws-DICA和Wt-DICA為D×d維矩陣，D=(l+1)N.由于非高斯信息遷移過(guò)程相同和高斯信息遷移相同，本節(jié)重點(diǎn)闡述如何利用GFK方法對(duì)源域與目標(biāo)域的非高斯信息進(jìn)行遷移.

GFK為一種流形空間下的遷移學(xué)習(xí)方法，通過(guò)將源域與目標(biāo)域投影到格拉斯曼流形空間，以尋找一條從源域到目標(biāo)域的測(cè)地線.用G(d,D)表示一個(gè)D維向量空間中所有d個(gè)向量構(gòu)成的格拉斯曼流形空間，方法原理如圖1所示.

將源域與目標(biāo)域數(shù)據(jù)投影到G(d,D)空間后，需要計(jì)算從源域變換到目標(biāo)域的測(cè)地線，這里用Φ(t) 作為格拉斯曼流形空間下的測(cè)地線映射函數(shù)，作用是將x映射到G(d,D)上，t∈[0,1].Xs和Xt的非高斯信息在G(d,D)中分別映射為：Φ(0)=Ws-DICA，Φ(1)=Wt-DICA.當(dāng)t∈(0,1)時(shí)，則

圖1 GFK原理圖[21]

(4)

(5)

U1∈d×d和U2∈(D-d)×d為正交矩陣；Γ(t)和Σ(t)為對(duì)應(yīng)的d×d對(duì)角矩陣；對(duì)角元素分別為 cosθi和sinθi(i=1,2,…,d)；θi為Ws-DICA和Wt-DICA的主角，0≤θi≤π/2.

(6)

式中：G∈D×D為半正定矩陣，其本質(zhì)上是一個(gè)核映射，

(7)

Λ1、Λ2和Λ3為對(duì)角陣，對(duì)角元素分別為

進(jìn)而可以獲得原始樣本沿測(cè)地線方向遷移后的樣本：

(8)

(9)

1.3 最大均值差異

最大均值差異(MMD)廣泛用于度量源域與目標(biāo)域分布差異[29]，在本文中被用來(lái)度量源域Xs與目標(biāo)域Xt的非高斯信息相似性以及高斯信息相似性，并為基于源域構(gòu)建的軟測(cè)量模型加權(quán)集成.令H為再生核希爾伯特空間(RKHS)，φ(·)表示原數(shù)據(jù)映射到H的映射函數(shù)，則源域與目標(biāo)域的MMD表述為

(10)

2 基于DICA-DPCA的GFK無(wú)監(jiān)督回歸模型

在多工況軟測(cè)量建模問(wèn)題上，本文考慮到在工業(yè)過(guò)程中數(shù)據(jù)往往具有動(dòng)態(tài)特性且數(shù)據(jù)分布同時(shí)包含非高斯信息和高斯信息，提出一種基于DICA-DPCA的GFK軟測(cè)量模型，使用DICA-DPCA-GFK表示，模型結(jié)構(gòu)圖2如所示.

結(jié)合圖2與相關(guān)理論算法描述，DICA-DPCA-GFK軟測(cè)量方法首先增加源域Xs和目標(biāo)域Xt的前l(fā)時(shí)刻測(cè)量數(shù)據(jù)，以解決工業(yè)過(guò)程中動(dòng)態(tài)特性提取的問(wèn)題.考慮到工業(yè)過(guò)程中數(shù)據(jù)不完全服從高斯分布問(wèn)題，通過(guò)ICA與PCA的結(jié)合提取源域和目標(biāo)域的非高斯信息與高斯信息，并在格拉斯曼流形空間上分別遷移源域非高斯信息與高斯信息適配目標(biāo)域，以降低域間分布差異，最后利用適配后的源域非高斯信息和高斯信息建立相應(yīng)的軟測(cè)量模型，借助MMD度量適配后度量源域與目標(biāo)域的非高斯信息相似性和高斯信息相似性，集成非高斯信息模型和高斯信息模型，實(shí)現(xiàn)目標(biāo)域的標(biāo)簽預(yù)測(cè)， DICA-DPCA-GFK算法流程如下所示：

圖2 DICA-DPCA-GFK模型結(jié)構(gòu)圖

給定源域數(shù)據(jù)Xs∈a×N；目標(biāo)域數(shù)據(jù)Xt∈b×N.

步驟2計(jì)算解混矩陣Ws和Wt每一行的L2范數(shù)并進(jìn)行排序，選取出含有主要非高斯信息的解混矩陣，轉(zhuǎn)置后分別標(biāo)記為Ws-DICA和Wt-DICA，并從兩個(gè)域的混合矩陣中相應(yīng)地選擇出As-DICA和At-DICA.

步驟3按照

(11)

計(jì)算源域的殘差矩陣Es，目標(biāo)域殘差矩陣Et的計(jì)算過(guò)程同式(11)，對(duì)殘差矩陣Es和Et執(zhí)行PCA過(guò)程，獲取負(fù)載矩陣Ws-DPCA和Wt-DPCA.

步驟4將源域與目標(biāo)域的Ws-DICA和Wt-DICA按照式(4)～(7)遷移，并計(jì)算非高斯信息的測(cè)地線映射矩陣LDICA，通過(guò)遷移源域與目標(biāo)域的Ws-DPCA和Wt-DPCA獲得LDPCA，其計(jì)算的過(guò)程與LDICA相同，源域和目標(biāo)域按照

(12)

(13)

度量源域與目標(biāo)域之間非高斯信息分布相似性度量值dDICA和高斯信息分布相似性度量值dDPCA，通過(guò)

(14)

3 實(shí)驗(yàn)與分析

田納西伊斯曼(TE)過(guò)程[30]是由伊斯曼化學(xué)公司創(chuàng)建的，可以模擬化工生產(chǎn)過(guò)程.它是一個(gè)典型的多模態(tài)過(guò)程，可以根據(jù)生產(chǎn)要求調(diào)整其操作點(diǎn)，使數(shù)據(jù)產(chǎn)生多工況特性.整個(gè)過(guò)程包含5個(gè)主要的操作單元：反應(yīng)器、汽提塔、冷凝器、氣液分離器和循環(huán)壓縮機(jī).反應(yīng)器壓力大小會(huì)對(duì)生產(chǎn)成本有較大影響[31].整個(gè)化學(xué)過(guò)程總用有8種物料成分，包括參加反應(yīng)的氣體A、C、D、E和惰性不可溶的B，以及液態(tài)生成物G，液態(tài)生成物H和副產(chǎn)物F.另外，整個(gè)TE過(guò)程涉及41個(gè)測(cè)量變量和12個(gè)控制變量，其中41個(gè)測(cè)量變量又分為22個(gè)過(guò)程變量和19個(gè)成分變量，詳細(xì)的生產(chǎn)工藝介紹參考文獻(xiàn)[30].

本文實(shí)驗(yàn)通過(guò)改變反應(yīng)器壓力設(shè)定值使系統(tǒng)產(chǎn)生多工況特性，反應(yīng)器壓力設(shè)定值分別取 2.8，2.7，2.6，2.5 和 2.4 MPa，對(duì)應(yīng)的工況編號(hào)設(shè)定為工況1～5，其余初始生產(chǎn)參數(shù)保持不變，使用TE仿真平臺(tái)模擬工業(yè)生產(chǎn)過(guò)程.所有工況的數(shù)據(jù)采樣間隔為3 min，工況1下模擬運(yùn)行50 h，收集 1 000 個(gè)樣本作為源域，其他工況模擬運(yùn)行5 h，收集100個(gè)樣本作為目標(biāo)域.由于12個(gè)控制變量中的攪拌速率屬于機(jī)械領(lǐng)域，不會(huì)對(duì)最終產(chǎn)品造成很大影響，所以，本文所有工況下的每個(gè)樣本選擇22個(gè)過(guò)程變量和11個(gè)控制變量作為輸入量.工況1為帶有標(biāo)簽的歷史數(shù)據(jù)，工況2、工況3、工況4和工況5為無(wú)標(biāo)簽的目標(biāo)域，任務(wù)為預(yù)測(cè)目標(biāo)域第6流股的物料A的物質(zhì)的量以及第9流股的物料C和物料H的物質(zhì)的量，這3種物料屬于較難預(yù)測(cè)的19個(gè)成分的變量.將滯后時(shí)間l設(shè)置為2，使用基于偏最小二乘回歸(PLSR)建立回歸模型，采用均方根誤差(RMSE)來(lái)評(píng)價(jià)所提方法的預(yù)測(cè)效果，RMSE值越小表示模型性能越好.

為說(shuō)明TE過(guò)程工況發(fā)生改變時(shí)引入遷移學(xué)習(xí)的必要性，使用PLSR方法利用工況1建模對(duì)工況2～5預(yù)測(cè)，并與經(jīng)過(guò)GFK和ICA-GFK適配目標(biāo)域數(shù)據(jù)分布后再用PLSR建模的兩種方法預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，ICA-GFK表示GFK中的特征提取方法采用ICA.實(shí)驗(yàn)結(jié)果如表1所示，工況1建模預(yù)測(cè)工況5中的物料A預(yù)測(cè)結(jié)果如圖3所示(xA為物料A的摩爾分?jǐn)?shù)).從表1和圖3得，當(dāng)工況發(fā)生變化時(shí)，會(huì)因?yàn)楣r間數(shù)據(jù)分布不一致而致使PLSR模型性能惡化，引入遷移學(xué)習(xí)后，模型性能會(huì)有所提高.

為了驗(yàn)證本文方法的有效性，基于對(duì)比實(shí)驗(yàn)的原則，本文使用GFK、DPCA-GFK、ICA-GFK、DICA-GFK以及本文的DICA-DPCA-GFK方法.DICA-GFK表示GFK中的特征提取方法采用DICA.

GFK、DPCA-GFK與本文方法的對(duì)比實(shí)驗(yàn)結(jié)果如表2所示，DPCA-GFK通過(guò)在GFK基礎(chǔ)上加入DPCA方法，有效地應(yīng)對(duì)了動(dòng)態(tài)特性的影響，降低了模型輸出誤差.相較于前兩種方法，DICA-DPCA-GFK在DPCA-GFK基礎(chǔ)上，分別提取了源域與目標(biāo)域之間的非高斯信息和高斯信息用以遷移建模，進(jìn)一步提升了軟測(cè)量模型性能.GFK、DPCA-GFK和DICA-DPCA-GFK的三種方法在工況5下預(yù)測(cè)物料A的結(jié)果如圖4所示，由圖4可以直觀看出，本文方法很好地預(yù)測(cè)了工況5下物料A的變化曲線.

ICA-GFK、DICA-GFK與本文方法的對(duì)比實(shí)驗(yàn)結(jié)果如表3所示.從表1和表3可得， ICA-GFK和DICA-GFK通過(guò)提取非高斯信息進(jìn)行遷移建模，有效降低了數(shù)據(jù)分布差異對(duì)軟測(cè)量建模的影響，但基于ICA-GFK和DICA-GFK的模型由于忽視了過(guò)程的高斯信息，導(dǎo)致建立的模型在實(shí)際工業(yè)過(guò)程中沒(méi)有取得更好的預(yù)測(cè)結(jié)果.ICA-GFK、DICA-GFK和DICA-DPCA-GFK在工況5下預(yù)測(cè)物料A的結(jié)果如圖5所示，根據(jù)圖5(a)、5(b)和5(c)的對(duì)比可直觀地看出，ICA-GFK和DICA-GFK方法僅提取工況1和工況5的非高斯信息獲得的預(yù)測(cè)結(jié)果與實(shí)際輸出存在較大偏差，模型性能不如DICA-DPCA-GFK方法.

圖3 PLSR、GFK和ICA-GFK對(duì)物料A的預(yù)測(cè)結(jié)果

表1 各工況下PLSR、GFK和ICA-GFK的RMSE

表2 各工況下GFK、DPCA-GFK和DICA-DPCA-GFK的RMSE

圖4 GFK、DPCA-GFK和DICA-DPCA-GFK對(duì)物料A的預(yù)測(cè)結(jié)果

表3 各工況下ICA-GFK、DICA-GFK和DICA-DPCA-GFK的RMSE

多工況下GFK、DPCA-GFK、ICA-GFK、DICA-GFK和DICA-DPCA-GFK的RMSE值對(duì)比如圖6所示，從圖6可得，DICA-DPCA-GFK方法預(yù)測(cè)不同工況下物料A、物料C和物料H的估計(jì)精度均優(yōu)于前4種方法.綜合上述對(duì)比實(shí)驗(yàn)結(jié)果可得，本文方法考慮了工業(yè)過(guò)程中的動(dòng)態(tài)特性，提取出數(shù)據(jù)中的非高斯信息和高斯信息分別遷移建模， 并借鑒集成學(xué)習(xí)機(jī)制，有效提升了模型性能.

圖5 ICA-GFK、DICA-GFK和DICA-DPCA-GFK對(duì)物料A的預(yù)測(cè)結(jié)果

圖6 5種方法的RMSE值對(duì)比

4 結(jié) 語(yǔ)

本文針對(duì)傳統(tǒng)軟測(cè)量模型難以適應(yīng)數(shù)據(jù)分布變化，引入GFK方法，并針對(duì)GFK難以解決工業(yè)過(guò)程的動(dòng)態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問(wèn)題，提出了將DICA與DPCA結(jié)合的GFK無(wú)監(jiān)督回歸模型.首先，構(gòu)建增廣矩陣以應(yīng)對(duì)工業(yè)過(guò)程的動(dòng)態(tài)特性情況，避免了動(dòng)態(tài)特性對(duì)建模的影響，然后通過(guò)ICA和PCA分別提取源域與目標(biāo)域的非高斯信息和高斯信息，并將源域非高斯信息和高斯信息分別適配目標(biāo)域，克服了單一提取非高斯信息或高斯信息進(jìn)行遷移建模的缺點(diǎn).最后使用最大均值差異度量適配后源域與目標(biāo)域的相似性，利用度量結(jié)果給模型加權(quán)而構(gòu)建集成模型，進(jìn)一步提高了模型性能.通過(guò)在田納西伊斯曼數(shù)據(jù)上的實(shí)驗(yàn)，證明了本文方法可以提高軟測(cè)量模型性能，并且可以有效應(yīng)對(duì)工業(yè)過(guò)程的動(dòng)態(tài)特性和數(shù)據(jù)不完全服從高斯分布的問(wèn)題.