岳文琦

（甘肅蘭晶光電科技有限公司）

對(duì)化工過程中難以直接測(cè)量的重要變量進(jìn)行實(shí)時(shí)監(jiān)控，一直是企業(yè)提高生產(chǎn)效率和控制產(chǎn)品質(zhì)量的重要策略。 傳統(tǒng)的硬件傳感器，例如氣相色譜儀，不僅價(jià)格昂貴，維修保養(yǎng)不易，而且存在數(shù)據(jù)采集時(shí)間滯后等問題。 軟測(cè)量技術(shù)的提出［1～4］，給出了一種通過數(shù)據(jù)驅(qū)動(dòng)建模來估計(jì)重要變量的新思路［5～7］，即通過對(duì)工業(yè)過程中易測(cè)輔變量和難檢主變量進(jìn)行建模，得到輸入與輸出間的數(shù)學(xué)關(guān)系，來估算難以直接測(cè)量的主變量。

隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)和發(fā)展， 基于神經(jīng)網(wǎng)絡(luò)的軟測(cè)量建模方法在工業(yè)應(yīng)用中取得了很好的應(yīng)用效果［6～11］，尤其是具有動(dòng)態(tài)記憶能力和時(shí)間延遲特性的遞歸神經(jīng)網(wǎng)絡(luò)， 有效實(shí)現(xiàn)了動(dòng)態(tài)非線性映射，進(jìn)一步提升了軟測(cè)量建模的預(yù)測(cè)精度［12，13］。 回聲 狀 態(tài) 網(wǎng) 絡(luò)（Echo State Network，ESN）［14，15］的 提出， 使得蓄水池計(jì)算的概念成為熱門研究方向，這種計(jì)算方法簡(jiǎn)單有效，只需通過輸入輸出數(shù)據(jù)和網(wǎng)絡(luò)的內(nèi)部狀態(tài)來訓(xùn)練網(wǎng)絡(luò)輸出權(quán)值，不僅避免了因神經(jīng)網(wǎng)絡(luò)參數(shù)求導(dǎo)而造成的計(jì)算量增大的問題，也容易實(shí)現(xiàn)在線學(xué)習(xí)。 ESN 的最大特點(diǎn)是網(wǎng)絡(luò)隱層由一種狀態(tài)蓄水池（State Reservoir，SR）單元組成，SR 內(nèi)部則由稀疏連接的內(nèi)部神經(jīng)元組成， 神經(jīng)元的數(shù)量可根據(jù)實(shí)際情況擇優(yōu)選擇。SR 具有的回聲狀態(tài)特性（Echo State Property，ESP）［15］是保證ESN 穩(wěn)定性的充分條件。ESP 表征了有效的ESN 動(dòng)態(tài)特性，本質(zhì)上說，蓄水池內(nèi)部狀態(tài)必須呈現(xiàn)出阻尼特性，且僅取決于網(wǎng)絡(luò)的輸入信號(hào)，在受初始條件影響后，應(yīng)隨著時(shí)間逐漸消失，以保證網(wǎng)絡(luò)輸出的穩(wěn)定性。 此外，當(dāng)內(nèi)部神經(jīng)元選擇為泄漏積分型神經(jīng)元時(shí)，可以有效增強(qiáng)網(wǎng)絡(luò)的短期記憶能力。 深度回聲狀態(tài)網(wǎng)絡(luò)（DeepESN）是ESN 在深度學(xué)習(xí)領(lǐng)域的擴(kuò)展，即利用ESN 的高效蓄水池計(jì)算方法，通過增加串聯(lián)的SR 層數(shù)，開發(fā)和增強(qiáng)深層循環(huán)體系結(jié)構(gòu)中的動(dòng)態(tài)層次， 并從多個(gè)時(shí)間尺度豐富網(wǎng)絡(luò)內(nèi)部的動(dòng)力學(xué)特性，進(jìn)一步增加網(wǎng)絡(luò)的短期記憶容量、增強(qiáng)動(dòng)態(tài)特性的學(xué)習(xí)能力。 DeepESN 作為一種新型深度遞歸神經(jīng)網(wǎng)絡(luò)，已經(jīng)成功應(yīng)用到諸多領(lǐng)域［16～19］，現(xiàn)有文獻(xiàn)中只給出了DeepESN 嶺回歸離線學(xué)習(xí)算法，即通過Tikhonov 正則化方法求解網(wǎng)絡(luò)輸出權(quán)值，但是當(dāng)DeepESN 中各SR 具有成千上萬個(gè)神經(jīng)元且訓(xùn)練數(shù)據(jù)集較大時(shí)，嶺回歸離線學(xué)習(xí)無疑面臨較大的計(jì)算成本，無法滿足工業(yè)過程中軟測(cè)量建模對(duì)被估計(jì)變量的實(shí)時(shí)監(jiān)測(cè)要求。

由于DeepESN 具有多層串聯(lián)的蓄水池結(jié)構(gòu)，對(duì)強(qiáng)非線性特點(diǎn)的化工過程具有更好的學(xué)習(xí)能力，因此筆者提出遞推最小二乘（RLS）在線學(xué)習(xí)算法［20］，通過遞推方式在線求解DeepESN 的輸出權(quán)值矩陣， 既能適用于大數(shù)據(jù)集的在線處理，也能更好地滿足化工過程動(dòng)態(tài)建模的要求。 將基于RLS 在線學(xué)習(xí)算法的DeepESN 動(dòng)態(tài)軟測(cè)量建模方法應(yīng)用于煉油廠脫丁烷塔塔底丁烷（C4）含量的預(yù)測(cè)，在相同條件下，與文獻(xiàn)［21］基于ESN 和LiESN 的在線軟測(cè)量建模方法的預(yù)測(cè)效果進(jìn)行比較，以評(píng)價(jià)該方法的有效性和應(yīng)用潛力。

1 DeepESN 的基本原理及其結(jié)構(gòu)

Jaeger H 等提出的ESN 網(wǎng)絡(luò)具有學(xué)習(xí)算法簡(jiǎn)單、非線性動(dòng)態(tài)系統(tǒng)逼近能力強(qiáng)的特點(diǎn)［14，15］，它的SR 結(jié)構(gòu)和ESP 特性， 形成了蓄水池計(jì)算學(xué)習(xí)模式， 從一定程度上體現(xiàn)了大腦學(xué)習(xí)的特點(diǎn)，其基本結(jié)構(gòu)如圖1 所示。

圖1 回聲狀態(tài)網(wǎng)絡(luò)的基本結(jié)構(gòu)

在ESN 的基礎(chǔ)上，Gallicchio C 等提出DeepESN 結(jié)構(gòu)，給出了離線學(xué)習(xí)算法。 DeepESN的最大特點(diǎn)是由多層蓄水池結(jié)構(gòu)串聯(lián)組成的深度學(xué)習(xí)網(wǎng)絡(luò)，每個(gè)蓄水池中的神經(jīng)元選擇泄漏積分型神經(jīng)元，其泄漏積分特性能夠增強(qiáng)網(wǎng)絡(luò)對(duì)歷史信息的記憶能力，提高網(wǎng)絡(luò)的學(xué)習(xí)性能，因此對(duì)強(qiáng)非線性特點(diǎn)的化工過程具有更好的學(xué)習(xí)能力。 DeepESN 通過串連形式連接，只有第1 層SR的輸入為外部輸入信號(hào)， 從第2 層起SR 的輸入為均為前一層SR 的內(nèi)部狀態(tài)。 與標(biāo)準(zhǔn)ESN 不同，DeepESN 中各層之間的狀態(tài)信息傳輸不存在時(shí)間延遲。 DeepESN 通過收集各層SR 的內(nèi)部狀態(tài)矩陣，合并形成一個(gè)整體內(nèi)部狀態(tài)矩陣，由此可見DeepESN 將輸入歷史嵌入到豐富的狀態(tài)表示中，以深度時(shí)間方式處理每個(gè)時(shí)間步驟的時(shí)間信息，最后利用合并的內(nèi)部狀態(tài)矩陣來計(jì)算網(wǎng)絡(luò)的輸出權(quán)值。

DeepESN 的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，網(wǎng)絡(luò)分為輸入層、隱含層和輸出層，隱含層由NL個(gè)SR串連組成。 同ESN 一樣，每個(gè)SR 中由一定數(shù)量相互隨機(jī)連接的泄漏積分神經(jīng)元組成。 網(wǎng)絡(luò)初始化時(shí)，SR 中神經(jīng)元之間的連接權(quán)值和輸入輸出權(quán)值隨機(jī)產(chǎn)生，學(xué)習(xí)過程中僅需訓(xùn)練輸出權(quán)值即可完成學(xué)習(xí)過程。

圖2 深度回聲狀態(tài)網(wǎng)絡(luò)的基本結(jié)構(gòu)

其中Wout為輸出權(quán)值。

2 DeepESN 的RLS 在線學(xué)習(xí)算法

RLS 是一種快速收斂的遞歸學(xué)習(xí)算法，源于遞歸最小二乘濾波器，以各時(shí)刻誤差平方和最小為代價(jià)函數(shù)，通過給定的第n-1 次權(quán)值向量最小二乘估計(jì)，利用新數(shù)據(jù)迭代求解第n 次的權(quán)值向量，滿足代價(jià)函數(shù)［20］。 DeepESN 輸出權(quán)值的求解本質(zhì)上可以歸結(jié)為線性回歸問題，因此可以引入RLS 算法作為DeepESN 輸出權(quán)值的在線學(xué)習(xí)算法。 算法分3 個(gè)步驟。

第2 步，對(duì)每一個(gè)時(shí)刻n=1，2，…，t 迭代計(jì)算DeeESN 內(nèi)部狀態(tài)矩陣x（n），定義維數(shù)為（NU+NL×NR）的列向量q（n）：q（n）=［x（n-1）；u（n）］，計(jì)算n時(shí)刻網(wǎng)絡(luò)的輸出y（n）為：

計(jì)算矩陣：

計(jì)算n 時(shí)刻的網(wǎng)絡(luò)輸出權(quán)值Wout（n）：

第3 步，當(dāng)n=t+1 時(shí)，迭代計(jì)算完成，算法終止。

3 脫丁烷塔中丁烷含量的動(dòng)態(tài)軟測(cè)量建模

為了驗(yàn)證筆者方法的有效性，將該方法應(yīng)用于某精煉廠脫丁烷塔塔底丁烷含量的預(yù)測(cè)中。 為了確保所設(shè)計(jì)軟儀表具有動(dòng)態(tài)建模的特點(diǎn)，DeepESN 網(wǎng)絡(luò)的輸入采用具有非線性自回歸（NARX）模型的外部輸入，時(shí)間序列模型使得網(wǎng)絡(luò)輸入含有豐富的動(dòng)態(tài)歷史信息，因此，該軟測(cè)量建模方法結(jié)合了時(shí)間序列建模和DeepESN 在線學(xué)習(xí)算法，屬于動(dòng)態(tài)建模方法，能夠替代硬件傳感器，滿足企業(yè)生產(chǎn)對(duì)產(chǎn)品質(zhì)量實(shí)時(shí)監(jiān)測(cè)的要求。

模型性能的評(píng)價(jià)指標(biāo)均方誤差EMSE的計(jì)算式為：

其中，y（n）為不同時(shí)刻的估計(jì)值，T0為起始時(shí)刻，T 為終止時(shí)刻。

脫丁烷塔是精煉廠石腦油分餾過程中的重要設(shè)備，主要作用是將丙烷（C3）、丁烷（C4）和戊烷（C5）從石腦油中分離出來，具體操作流程如圖3 所示。

圖3 脫丁烷塔的操作流程

在分離過程中，大量的C3、C4 和少量C5 從塔頂排出，大量的C5 和少量C4 從塔底排出。脫丁烷塔的分餾過程需要滿足脫丁烷塔塔頂餾出物中C5含量最大化和脫丁烷塔塔底部餾出物中C4 含量最小化的要求，以確保C5 的產(chǎn)品質(zhì)量控制。 文獻(xiàn)［21，22］介紹了意大利某精煉廠脫丁烷塔傳感器的安裝情況和數(shù)據(jù)實(shí)測(cè)情況， 所測(cè)變量包括：TI040傳感器測(cè)量的塔頂溫度值u1，PRC011 傳感器測(cè)量的塔頂壓力值u2，PRC015 傳感器測(cè)量的塔頂回流量值u3，PRC018 傳感器測(cè)量的塔頂流量值u4，TRC004 傳感器測(cè)量的脫丁烷塔側(cè)面溫度值u5，TI036 傳感器測(cè)量的塔底一側(cè)的溫度值u6，TI037傳感器測(cè)量的塔底另一側(cè)溫度值u7。由于塔底C4的含量無法直接測(cè)量， 因此采用氣相色譜儀進(jìn)行了間接測(cè)量，得到了實(shí)際測(cè)量的C4 含量濃度值y。因采樣周期的滯后問題，所測(cè)量數(shù)據(jù)集的輔助變量采樣周期為12 min，主導(dǎo)變量采樣周期為45 min，形成有2 394 組數(shù)據(jù)的數(shù)據(jù)集，對(duì)該數(shù)據(jù)集進(jìn)行了歸一化處理。 鑒于硬件傳感器在變量采樣測(cè)量過程中的延遲問題，因此需考慮NARX 模型對(duì)網(wǎng)絡(luò)輸入數(shù)據(jù)進(jìn)行時(shí)間序列建模來實(shí)現(xiàn)動(dòng)態(tài)建模，達(dá)到對(duì)丁烷含量的在線實(shí)時(shí)預(yù)測(cè)。 根據(jù)文獻(xiàn)［21～23］的相關(guān)描述，NARX 模型如下：

其中，模型輸出y（k）表示k 時(shí)刻的C4 含量，f 為DeepESN 軟測(cè)量方法。 該模型共有16 維輸入，1 維輸出。

4 仿真驗(yàn)證

用文獻(xiàn)［21］的數(shù)據(jù)集對(duì)筆者方法進(jìn)行仿真驗(yàn)證，經(jīng)過NARX 建模，使得原數(shù)據(jù)集生成了2 389組數(shù)據(jù)，將全部輸入輸出數(shù)據(jù)作為網(wǎng)絡(luò)的輸入。

DeepESN 網(wǎng)絡(luò)初始化參數(shù)的設(shè)置如下：

SR 神經(jīng)元個(gè)數(shù) 50

SR 的層數(shù) 5

SR 的泄漏率α 0.5

SR 中神經(jīng)元連接稀疏度 5%

譜半徑ρ 0.9

SR 內(nèi)部矩陣W（NL）［-1，1］均勻分布

RLS 算法的參數(shù)選擇如下：

正則化參數(shù)δ 1×10-6

遺忘因子λ 0.999 995

筆者方法在2 389 組數(shù)據(jù)集上的預(yù)測(cè)值與實(shí)際值的比較如圖4 所示，均方誤差為4.6×10-6。2 389組測(cè)試數(shù)據(jù)均在線訓(xùn)練時(shí)，DeepESN 的歸一化均方誤差（NMSE）曲線如圖5 所示。 輸出權(quán)值的變化曲線如圖6 所示。 實(shí)驗(yàn)結(jié)果表明，隨著數(shù)據(jù)的更新，輸出權(quán)值最終趨于收斂，NMSE 趨向于不斷變小。

圖4 脫丁烷塔塔底丁烷含量的預(yù)測(cè)值與實(shí)際值對(duì)比

圖5 訓(xùn)練過程基于在線學(xué)習(xí)算法的NMSE 曲線

圖6 訓(xùn)練過程DeepESN 輸出權(quán)值的變化曲線

進(jìn)一步， 在同等條件下， 將筆者方法與文獻(xiàn)［21］ 的中ESN、LiESN 的RLS 在線軟測(cè)量建模方法進(jìn)行對(duì)比，文獻(xiàn)［21］選擇了與筆者方法一致的NARX 模型作為網(wǎng)絡(luò)的輸入， 其中基于ESN 的RLS 在線軟測(cè)量建模方法的均方誤差為1.07×10-4，基于LiESN 的RLS 在線軟測(cè)量建模方法的均方誤差值為6.0×10-5； 筆者方法的均方誤差值為4.6×10-6。 可見，筆者方法的建模效果和預(yù)測(cè)精度更高。

5 結(jié)束語

針對(duì)化工過程中重要變量的實(shí)時(shí)監(jiān)控問題，筆者提出了基于RLS 在線學(xué)習(xí)算法的DeepESN動(dòng)態(tài)軟測(cè)量建模方法，將該方法應(yīng)用于脫丁烷塔C4 含量的實(shí)時(shí)在線預(yù)測(cè)，RLS 算法通過迭代求解網(wǎng)絡(luò)輸出權(quán)值，DeepESN 能夠以深度學(xué)習(xí)的方式提取工業(yè)過程中的特征，時(shí)間序列建模豐富了網(wǎng)絡(luò)輸入的動(dòng)態(tài)特性，使得在線學(xué)習(xí)過程具有很好的快速收斂特性和數(shù)值穩(wěn)定性。 仿真結(jié)果顯示，筆者方法具有較好的建模效果，能夠有效替代硬件傳感器來實(shí)現(xiàn)生產(chǎn)過程中實(shí)時(shí)監(jiān)控產(chǎn)品質(zhì)量的實(shí)際生產(chǎn)需要，具有很好的建模有效性和實(shí)際應(yīng)用潛力。