杜宇浩，閻高偉，李榮，王芳

（太原理工大學(xué)電氣與動力工程學(xué)院，山西太原030024）

引 言

軟測量技術(shù)的基本思想是根據(jù)某種最優(yōu)準(zhǔn)則，利用已知歷史數(shù)據(jù)，選擇一組與主導(dǎo)變量有密切關(guān)系的輔助變量，構(gòu)造某種數(shù)學(xué)關(guān)系來估計主導(dǎo)變量。然而在實際生產(chǎn)過程中，由于工況容易發(fā)生變化，導(dǎo)致傳統(tǒng)的軟測量模型性能惡化、模型失準(zhǔn)等問題出現(xiàn)[1-2]。

針對多工況條件下軟測量模型失準(zhǔn)問題，文獻[3-4]基于即時學(xué)習(xí)的思想，依據(jù)相似度量準(zhǔn)則從帶標(biāo)簽的歷史數(shù)據(jù)中選擇與當(dāng)前樣本最相關(guān)的樣本集，利用機器學(xué)習(xí)方法建立回歸模型解決多工況軟測量問題。然而當(dāng)歷史數(shù)據(jù)集中缺乏當(dāng)前工況的數(shù)據(jù)時，所建立的模型無法與當(dāng)前工況數(shù)據(jù)適配，造成模型失準(zhǔn)。文獻[5]在此基礎(chǔ)上，將無標(biāo)簽數(shù)據(jù)與帶標(biāo)簽數(shù)據(jù)合并為歷史數(shù)據(jù)集，訓(xùn)練基于即時學(xué)習(xí)的半監(jiān)督極限學(xué)習(xí)機，增加了軟測量模型的魯棒性。文獻[6-7]對歷史數(shù)據(jù)建立多個子模型，評估每個子模型的軟測量結(jié)果，依據(jù)模型輸出置信度的高低對多個子模型進行加權(quán)融合，最終得到集成回歸模型。但各子模型的輸出置信度難以估計，存在較大的結(jié)構(gòu)風(fēng)險。文獻[8]從提取多工況數(shù)據(jù)的潛在信息角度出發(fā)，采用深度置信網(wǎng)絡(luò)對帶標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)進行深層提取，利用最小二乘支持向量機建立軟測量模型，并結(jié)合bagging 算法提高了模型的可靠性，實現(xiàn)對工業(yè)聚合過程中熔融指數(shù)的軟測量。從本質(zhì)上講，不同工況的數(shù)據(jù)具有不同的分布[9]，數(shù)據(jù)分布不同是導(dǎo)致多工況工業(yè)生產(chǎn)過程中原有軟測量模型失準(zhǔn)的原因。上述方法在一定程度解決了多工況的軟測量問題，但出現(xiàn)新的未知工況數(shù)據(jù)時易發(fā)生數(shù)據(jù)分布失配而模型失準(zhǔn)問題。

遷移學(xué)習(xí)[10-13]的提出為解決上述多工況軟測量問題提供了思路。遷移學(xué)習(xí)放寬了訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)須滿足獨立同分布的假設(shè)。遷移學(xué)習(xí)利用已知源領(lǐng)域的信息，解決與源領(lǐng)域相關(guān)但未知的目標(biāo)領(lǐng)域中僅有少量甚至無標(biāo)簽樣本的機器學(xué)習(xí)問題，在沒有足夠的帶標(biāo)簽訓(xùn)練數(shù)據(jù)時也能夠建立較好的機器學(xué)習(xí)模型。文獻[14]將半監(jiān)督的域適應(yīng)ELM 算法引入化工過程軟測量領(lǐng)域，利用源域和少量的目標(biāo)域帶標(biāo)簽樣本構(gòu)建數(shù)學(xué)模型，實現(xiàn)了多工況條件下工業(yè)聚乙烯過程中熔融指數(shù)的軟測量。文獻[15]在域適應(yīng)ELM 的基礎(chǔ)上引入流形正則項，保證了域適應(yīng)前后數(shù)據(jù)結(jié)構(gòu)的不變性，在多工況下濕式球磨機關(guān)鍵負荷參數(shù)軟測量上取得了較高的精度。上述半監(jiān)督學(xué)習(xí)方法要求在目標(biāo)域具有少量帶標(biāo)簽數(shù)據(jù)。但實際生產(chǎn)過程中，普遍存在目標(biāo)域無帶標(biāo)簽樣本問題，半監(jiān)督算法不再適用。

針對目標(biāo)域缺乏帶標(biāo)簽樣本問題，基于流形的無監(jiān)督遷移學(xué)習(xí)[16-18]成為遷移學(xué)習(xí)的研究熱點。流形學(xué)習(xí)將數(shù)據(jù)映射為可靠的嵌入投影，即尋找數(shù)據(jù)投射到低維的子空間表示[19]。流形學(xué)習(xí)可以將不同工況數(shù)據(jù)映射為潛在連續(xù)流形空間上的不同點，相較于歐式空間能更好地體現(xiàn)不同工況樣本數(shù)據(jù)間的內(nèi)在特性和規(guī)律。文獻[20]針對跨域圖像分類問題，提出一種基于測地線流的無監(jiān)督遷移學(xué)習(xí)方法，將目標(biāo)域與源域數(shù)據(jù)映射為格拉斯曼流形空間上的兩個點，并在這兩個點的測地線方向上選取若干個中間點依次連接，實現(xiàn)了從源域到目標(biāo)域經(jīng)測地線的逐步域遷移。文獻[21]在此基礎(chǔ)上引入核方法，模擬了測地線上經(jīng)所有點的連續(xù)遷移過程，避免了中間點個數(shù)選擇的問題，在跨域圖像分類問題上取得更高精度，結(jié)果進一步表明相較于歐式空間，在流形空間下進行域遷移更能尋找出不同域間數(shù)據(jù)的內(nèi)在規(guī)律。

在上述基于流形的無監(jiān)督遷移學(xué)習(xí)算法中，均采用對原始數(shù)據(jù)進行PCA 作為投影到流形空間的方法，PCA 處理得到的是數(shù)據(jù)對方差貢獻最顯著的特征，保持了兩個域各自的特征，其體現(xiàn)的是兩個域的分明性而忽略了域間存在的公共模式信息。從遷移學(xué)習(xí)的出發(fā)點來考慮，需要在不同域中尋找共有的模式進行遷移建模，將有助于提高所建立的模型在不同工況下對數(shù)據(jù)的適應(yīng)性。因此本文先抽取各工況數(shù)據(jù)的公共模式信息，然后將公共模式信息映射到格拉斯曼流形空間，利用GFK 框架進行數(shù)據(jù)遷移變換，最后利用偏最小二乘回歸(partial least squares regression, PLSR)方法對遷移后的數(shù)據(jù)建立回歸模型，實現(xiàn)多工況參數(shù)軟測量。

1 相關(guān)理論與算法

1.1 基于局部線性嵌入的公共模式信息提取

局部線性嵌入（locally linear embedding,LLE）算法對數(shù)據(jù)的局部結(jié)構(gòu)特征具有保留能力[22]，LLE 算法的原理如圖1 所示。文獻[23]利用局部線性嵌入研究了公共模式信息的提取方法，本文借鑒該方法實現(xiàn)多工況公共模式信息的提取。

圖1 LLE算法示意圖Fig.1 Locally linear embedding

選取經(jīng)過預(yù)處理之后的M 個工況的數(shù)據(jù)合并為一個整體的樣本集X，用局部線性嵌入來提取不同工況中的公共模式信息，各個工況的樣本數(shù)量可以不同，最終要提取到公共模式信息Z。

其 中X =[X1,X2,…,XM]，X ∈RL×N，N = N1+N2+ …+ NM。

對于整體樣本集X，每個樣本xi在全局X 中尋找的K 個最近鄰組成δi={xi1,…,xiK}，用xi的K-1 個鄰域?qū)Χ喙r數(shù)據(jù)進行線性重構(gòu)：

根據(jù)式(1)，可得最小化誤差：

將其矩陣化并利用拉格朗日乘子法求解W。

根據(jù)式(3)，可得最小化誤差：

寫成矩陣形式，并根據(jù)拉格朗日乘子法，則優(yōu)化函數(shù)式(4)等價為：

其中tr(·)表示矩陣的跡，S =(In- W)T(In-W)。因此，式(5)可以通過對SZT= λZT進行特征值分解求解。最后選取S 的最小的d 個非零特征值所對應(yīng)的特征向量Z =(z1,z2,…,zd)T∈Rd×N作為重構(gòu)后的數(shù)據(jù)。將Z按照原工況樣本對應(yīng)關(guān)系劃分可得最 終 的 公 共 模 式 信 息 集 合Z =[Z1,Z2,…,ZM]∈Rd×N。

1.2 測地線流式核（GFK）算法

假設(shè)已知工況數(shù)據(jù)即源域數(shù)據(jù)為Zs，未知工況數(shù)據(jù)即目標(biāo)域數(shù)據(jù)為Zt。

測地線流式核方法概括為三個步驟，構(gòu)建測地線；計算測地線流式核；建立預(yù)測模型[24]。

令PS∈RD×d與PT∈RD×d為源域數(shù)據(jù)Zs和目標(biāo)域數(shù)據(jù)Zt分別PCA 處理后的兩個正交矩陣，測地線函數(shù)定義為：

從源域移到目標(biāo)域，即代表式(6)從H(0)遷移到H(1)的過程，新的特征可以用v = g(x)= H(t)Tz表示[25]。定義測地線流核表達式為：

G ∈RD×D是 一 個 半 正 定 矩 陣，可 通 過 式(9)求解：

其中Λ為對角陣，其對角元素為：

進而可得將原始樣本特征z 沿測地線方向遷移后的樣本v：

即求出Zs映射后的樣本vs與Zt映射后的樣本vt，對源域已有標(biāo)簽樣本vs進行學(xué)習(xí)建模，以實現(xiàn)對樣本vt標(biāo)簽的預(yù)測。

2 基于局部線性嵌入的測地線流式核多工況軟測量建模方法

在多工況軟測量建模問題上，本文考慮到工況改變后的數(shù)據(jù)分布差異和不同工況之間潛在的關(guān)聯(lián)關(guān)系，有針對性地引入基于流形的遷移學(xué)習(xí)框架。利用LLE 算法對局部結(jié)構(gòu)特征保留的優(yōu)點，有效提取不同工況間的公共模式信息，利用GFK 框架在流形空間沿測地線連續(xù)遷移的特性，提出基于局部線性嵌入的測地線流式核(locally linear embedding-geodesic flow kernel, LLEGFK)多工況軟測量建模方法。

圖2為LLEGFK算法的示意圖。

鉬礦石標(biāo)準(zhǔn)樣品GBW07239(武漢綜合巖礦測試中心研制)：w(Re)=120ng/g；水系沉積物標(biāo)準(zhǔn)樣品GBW07449(地球物理地球化學(xué)勘查研究所研制)：w(Re)=2.10ng/g；水系沉積物標(biāo)準(zhǔn)樣品GBW07453(地球物理地球化學(xué)勘查研究所研制)：w(Re)=0.45ng/g；鎢礦石標(biāo)準(zhǔn)樣品GBW07241(地質(zhì)礦產(chǎn)部湖北地質(zhì)實驗研究所研制)：w(Re)=80.0ng/g。

圖2 LLEGFK算法示意圖Fig.2 Locally linear embedding-geodesic flow kernel

其中LLE(· )代表基于局部線性嵌入的公共模式信息提取算法。特別地，為了保證后續(xù)遷移軟測量模型的精度，需要保留盡可能多的公共模式信息，所以經(jīng)重構(gòu)之后各工況數(shù)據(jù)的特征維度仍保留為L。將Zs∈RL×Ns和Zt∈RL×Nt拆分至各自工況，即Zs為相對于源域Xs的公共模式信息，Zt為相對于目標(biāo)域Xt的公共模式信息。

隨后，利用PCA 將提取后的Zs和Zt映射到格拉斯曼流形空間，使得每個工況數(shù)據(jù)分別投影到流形空間的同時兼顧到不同工況間的公共模式信息，將其作為GFK 框架中的子空間PS、PT，結(jié)合式(6)構(gòu)建測地線方程，進而求得分布適配后的數(shù)據(jù)。

最后，利用適配后的源域樣本與源域標(biāo)簽建立軟測量模型，實現(xiàn)目標(biāo)域標(biāo)簽的預(yù)測。

算法1 LLEGFK算法流程

輸入：已知工況（源域）數(shù)據(jù)Xs和對應(yīng)標(biāo)簽Ys，未知工況（目標(biāo)域）數(shù)據(jù)Xt，最近鄰個數(shù)K。

輸出：目標(biāo)域標(biāo)簽Yt。

（1）數(shù)據(jù)預(yù)處理；

（2）合并Xs、Xt，根據(jù)式(11)求得公共模式信息Z，拆分到各自工況得Zs、Zt，并投影到流形空間得PS、PT；

（3）結(jié)合式(6)、式(7)構(gòu)建測地線，根據(jù)式(9)得G并結(jié)合式(10)求得遷移后的數(shù)據(jù)vs與vt；

（4）利用vs與源域標(biāo)簽Ys訓(xùn)練PLSR 軟測量回歸模型f；

（5）根據(jù)f與vt，求得目標(biāo)域標(biāo)簽Yt。

3 算法評估及應(yīng)用

3.1 TE過程實驗

為了驗證軟測量算法的有效性，實驗數(shù)據(jù)采集于TE 過程仿真平臺[26-27]。TE 過程是由Tennessee Eastman 化工公司提出的化工仿真平臺，現(xiàn)已被學(xué)者廣泛用于進行測試過程變量監(jiān)控，變工況故障診斷以及質(zhì)量預(yù)測等方面。整個化工過程主要有4個反應(yīng)過程，其中反應(yīng)物包括進料氣體A、C、D、E，以及進料液體B，生成的主產(chǎn)物為G 和H，以及反應(yīng)副產(chǎn)物F。TE過程根據(jù)主產(chǎn)物G/H比率的不同可以分為6種操作模式[28]。整體過程包含41個測量變量和12個操作變量。

本實驗通過改變TE過程的生產(chǎn)操作模式，在每個操作模式下的化工過程模擬運行5 h，保持相同采樣間隔，采集到3 種不同工況下的數(shù)據(jù)樣本各1000個，作為算法驗證數(shù)據(jù)集。當(dāng)工況選做源域時選用1000個樣本數(shù)，當(dāng)樣本用作目標(biāo)域時，選取其中400個樣本作為目標(biāo)域數(shù)據(jù)。其三種工況數(shù)據(jù)相對應(yīng)的產(chǎn)物G/H比例如表1所示。

表1 三種工況數(shù)據(jù)Table 1 Data of three working conditions

采集TE 仿真過程中的41 個測量變量用于測試，其中包含22 個連續(xù)的測量變量和19 個成分測量變量。實驗將易測的22 個測量變量歸一化預(yù)處理后作為模型輸入，分別對每一個工況下的19個成分變量中的成分A 變量、成分B 變量和成分C 變量遷移到其余工況進行軟測量。對某一工況作為源域進行遷移時，其余兩個工況作為目標(biāo)域，不含任何帶標(biāo)簽數(shù)據(jù)。

3.2 實驗結(jié)果分析

本文采用均方根誤差(root mean square error,RMSE)作為衡量模型準(zhǔn)確性能的評價指標(biāo)。

用PLSR算法、LLE加PLSR算法、GFK算法和本文的LLEGFK 算法分別對A、B、C 三種成分含量進行軟測量。實驗對比結(jié)果如表2所示。其中“1—2”表示從工況1遷移到工況2。

圖3、圖4、圖5、圖6分別給出了4種方法對不同工況下成分A含量的軟測量對比結(jié)果圖。其中各圖中的圖(a)表示對歷史數(shù)據(jù)用PLSR 建模，并直接對新工況數(shù)據(jù)進行測量的結(jié)果。圖(b)代表由LLE 提取不同工況間的公共模式信息之后,再用PLSR 進行建模后軟測量的結(jié)果圖，圖(c)代表GFK 算法軟測量結(jié)果圖，圖(d)為LLEGFK 算法的結(jié)果圖。可以看出在測試樣本中，LLEGFK 的精度相較于LLE 和GFK算法均有不同程度提高，驗證了該算法的有效性。

以圖3 為例，圖3(a)將原始數(shù)據(jù)經(jīng)預(yù)處理之后直接建模進行預(yù)測，可以看出當(dāng)工況發(fā)生改變時，由于工況變化前后數(shù)據(jù)分布產(chǎn)生差異，所以用歷史模型預(yù)測新工況數(shù)據(jù)時存在較大誤差，圖3(b)利用LLE 提取不同工況間的公共模式信息之后建立PLSR 回歸模型，在一定程度上降低了誤差，圖3(c)的GFK 方法，采用PCA 方法將不同工況的數(shù)據(jù)映射到子空間，在流形學(xué)習(xí)框架下映射到格拉斯曼空間解決域遷移問題，較明顯地改善了測量精度。圖3(d)在解決跨域軟測量問題時，先經(jīng)過LLE 提取源域和目標(biāo)域的公共模式信息，對這些具有公有信息的數(shù)據(jù)再進一步地采用GFK 遷移方法，可以明顯地看出LLEGFK算法提高了模型的精度。

為了直觀闡述LLEGFK 算法的有效性原因，圖7(a)為工況1、工況2 的原始數(shù)據(jù)經(jīng)PCA 投影后保留前三維特征的分布情況，圖7(b)為經(jīng)LLE 提取公共模式信息后再進行PCA 降維并保留前三維特征的分布情況，經(jīng)LLE 對不同工況數(shù)據(jù)進行處理之后有效地得到了不同工況之間的公共模式信息，一定程度上降低了不同工況的分布差異。圖7(c)為對原始數(shù)據(jù)經(jīng)過GFK 遷移之后，經(jīng)PCA 降維并選取前三維特征的分布情況，圖7(d)為經(jīng)過LLEGFK 算法之后再進行相同處理的分布圖，可以直觀地看出，遷移之后不同工況的數(shù)據(jù)分布更加趨于一致。本文算法區(qū)別于PCA 對不同工況數(shù)據(jù)的分別映射，由于考慮到不同域之間的公共模式信息，更進一步縮小了不同工況間數(shù)據(jù)的分布差異。因此，LLEGFK 較其他三種算法可以取得更高的精度。

表2 各工況下不同算法參數(shù)軟測量均方根誤差對比Table 2 Comparison of RMSE of soft sensor of different algorithm parameters under different working conditions

圖3 工況1遷移到工況2對成分A含量軟測量結(jié)果Fig.3 Predicted results of 1—2 component A

圖4 工況1遷移到工況3對成分A含量軟測量結(jié)果Fig.4 Predicted results of 1—3 component A

圖5 工況2遷移到工況1對成分A含量軟測量結(jié)果Fig.5 Predicted results of 2—1 component A

圖6 工況2遷移到工況3對成分A含量軟測量結(jié)果Fig.6 Predicted results of 2—3 component A

3.3 濕式球磨機實驗

為了驗證LLEGFK 算法的有效性，另一數(shù)據(jù)來自實驗采集的濕式球磨機數(shù)據(jù)。濕式球磨機是選礦、化工領(lǐng)域的高耗能設(shè)備，準(zhǔn)確檢測磨機負荷是實現(xiàn)選礦過程安全運行和節(jié)能降耗的關(guān)鍵[29]。實際工業(yè)過程中，球磨機介質(zhì)充填率通常在0.3～0.5之間變化，選用規(guī)格為φ602 mm × 715 mm 的小型實驗室球磨機作為實驗設(shè)備，并通過改變介質(zhì)填充率來模擬實際中存在的球磨機工況變化。

工業(yè)中常用的表征磨機負荷的關(guān)鍵磨機內(nèi)部負荷參數(shù)包括：充填率(charge volume ratio,CVR)、礦漿濃度(pulp density, PD)、料球比(material to ball volume ratio,MBVR)[30]。實驗通過設(shè)定5種不同的介質(zhì)充填率來模擬5 種實際的工況，各工況設(shè)置方法和實驗次數(shù)如表3所示。實驗中不同工況間球磨機滾筒內(nèi)的鋼球和水的質(zhì)量均相同，通過連續(xù)添加物料，相應(yīng)的球磨機負荷參數(shù)隨之改變，將CVR、PD、MBVR作為軟測量的標(biāo)簽。

圖7 不同工況提取公共模式信息前后分布Fig.7 Distribution of common feature before and after extraction under different working conditions

表3 各工況參數(shù)與實驗次數(shù)Table 3 MFR and number of experiments under different working conditions

數(shù)據(jù)預(yù)處理時，將每組振動信號平均分為28個樣本，每個樣本覆蓋長度大于濕式球磨機旋轉(zhuǎn)一周所用時間，然后將每個時域信號樣本通過快速傅里葉變換(fast Fourier transformation,FFT)轉(zhuǎn)化至頻域。

將數(shù)據(jù)集中的工況1 作為源域數(shù)據(jù)，分別遷移到其他4個工況來驗證算法。對于球磨機的三種負荷參數(shù)軟測量結(jié)果的均方根誤差對比如表4所示。

圖8、圖9、圖10分別展示了四種算法均以工況1為源域，遷移到工況2、3、4后對料球比的軟測量結(jié)果對比圖。

由上述結(jié)果可見，當(dāng)數(shù)據(jù)不滿足獨立同分布假設(shè)的前提條件時，PLSR 算法進行軟測量誤差顯著，LLE考慮到公共模式信息后可以在一定程度上降低誤差，最終LLEGFK 算法在考慮不同工況的公共模式信息的同時又在流形空間進行數(shù)據(jù)域適應(yīng)遷移，與其他三個算法相比顯著降低了測量誤差，較好地解決了多工況下球磨機關(guān)鍵參數(shù)的軟測量問題。上述實驗結(jié)果說明本文方法在多工況無監(jiān)督情況下的有效性。

表4 各算法軟測量均方根誤差對比Table 4 Comparison of RMSE of soft sensor of different algorithm parameters under different working conditions

圖8 工況1遷移到工況2料球比軟測量結(jié)果Fig.8 Predicted results of 1—2 MBVR

圖9 工況1遷移到工況3料球比軟測量結(jié)果Fig.9 Predicted results of 1—3 MBVR

圖10 工況1遷移到工況4料球比軟測量結(jié)果Fig.10 Predicted results of 1—4 MBVR

4 結(jié) 論

本文針對流程工業(yè)中由于工況改變導(dǎo)致原有模型失配而新工況中又缺乏帶標(biāo)簽樣本難以建立模型的問題，引入一種局部線性嵌入和測地線流式核相結(jié)合的無監(jiān)督軟測量建模方法。首先，用LLE 提取不同工況的公共模式信息；然后將其映射為格拉斯曼流形上的兩個點，嵌入GFK 框架計算新的測地線流式核，最終用PLSR 得到回歸模型。本算法在考慮到提取源域和目標(biāo)域公共模式信息的同時，將其投影到流形空間從而挖掘出隱藏在高維空間上的低維流形，有效地解決了由于多工況產(chǎn)生數(shù)據(jù)分布不一致而導(dǎo)致的軟測量模型失準(zhǔn)問題。在TE 過程和濕式球磨機下的實驗結(jié)果表明，LLEGFK 算法提高了多工況軟測量結(jié)果精度。

下一步工作將進一步研究遷移學(xué)習(xí)在軟測量領(lǐng)域的應(yīng)用，探究工業(yè)過程中多工況條件下不同工況間更深層的公共知識和基于遷移學(xué)習(xí)并利用多個歷史源域集成的在線軟測量方法，以提高軟測量模型的準(zhǔn)確率和魯棒性。

符 號 說 明

f——回歸模型

PS,PT——分別為提取公有信息之后的源域、目標(biāo)域數(shù)據(jù)在流形空間的投影

W——線性重構(gòu)權(quán)值矩陣

X——各工況數(shù)據(jù)合并后的樣本集

Xs——源域數(shù)據(jù)

Xt——目標(biāo)域數(shù)據(jù)

xi——X中的第i個樣本

Ys——源域數(shù)據(jù)標(biāo)簽

Z——公共模式信息

Zm——第m種工況中所提取的公共模式信息

δi——xi在X中搜索得到的鄰域集合