唐 帥,潘多濤,袁德成

(1.沈陽(yáng)化工大學(xué) 遼寧省化工控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110142;2.沈陽(yáng)化工大學(xué) 信息工程學(xué)院, 遼寧 沈陽(yáng) 110142)

隨著深度學(xué)習(xí)方面的知識(shí)和運(yùn)用越來越廣泛和成熟，例如：自動(dòng)駕駛、人工智能、無人機(jī)等方面[1]；當(dāng)然，現(xiàn)在也用于其他工業(yè)方面，例如：化工過程控制方面。本文以聚合反應(yīng)為例，研究深度學(xué)習(xí)在聚合反應(yīng)過程中不確定參數(shù)估計(jì)方面的應(yīng)用。傳統(tǒng)測(cè)定熱力學(xué)參數(shù)的方法有直接量熱法、燃燒熱法和熱力學(xué)平衡法[2]。然而，由于聚合過程的復(fù)雜性、非線性、易變性和不確定性，難以估算聚合過程中不確定的參數(shù)[3]。有學(xué)者引入一種改進(jìn)的智能優(yōu)化算法,該方法以云模型理論為基礎(chǔ),采用了一套新型建模和采樣方法,與原算法相比能夠有效地提高收斂速度和搜索精度[4]；還有提出了一種基于遺傳算法(GA)技術(shù)的替代進(jìn)化算法方法，該方法可以有效地解決非線性參數(shù)估計(jì)問題，以高概率找到全局最優(yōu)，結(jié)果表明了所提出方法的有效性和魯棒性。Glass提出了一種估計(jì)參數(shù)的方法，該方法受制于必要和充分的熱力學(xué)穩(wěn)定性標(biāo)準(zhǔn)，這些方法都存在著復(fù)雜性和條件限制性，有一定的困難。鑒于此，本文提出使用深度學(xué)習(xí)的方法來測(cè)定不確定熱力學(xué)參數(shù)估計(jì)的問題。運(yùn)用模型預(yù)測(cè)控制方法將結(jié)果運(yùn)行出來，記錄運(yùn)行時(shí)間，將4個(gè)熱力學(xué)參數(shù)作為輸入，運(yùn)行時(shí)間作為輸出，由于是非線性的，使用深度學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)的方法訓(xùn)練它們，將訓(xùn)練的結(jié)果與代入目標(biāo)函數(shù)的值進(jìn)行比較，得到的結(jié)果大致一致。從而使聚合反應(yīng)過程中由于不確定的熱力學(xué)參數(shù)導(dǎo)致的測(cè)量不便變得更加便利。

1 深度學(xué)習(xí)的概念

深度學(xué)習(xí)概念來自于人工神經(jīng)網(wǎng)絡(luò)的(ANN)研究。多層感知器中設(shè)置有若干個(gè)隱藏層,即為深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)這一理念于2006年被引進(jìn),著重介紹了基于深度置信網(wǎng)絡(luò)的無監(jiān)督貪心逐層訓(xùn)練算法,并給深度結(jié)構(gòu)中相關(guān)優(yōu)化問題的解決帶來了希望。從而給出了一個(gè)多層的自編碼器深層架構(gòu)。此外,后來人們又發(fā)展了卷積神經(jīng)網(wǎng)絡(luò)[5]。而深度學(xué)習(xí)則把底層特性和高層特征相結(jié)合,建立了更為抽象的屬性類型和屬性,從而找到了訓(xùn)練數(shù)據(jù)中分布式的特征表征。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)研究中的新領(lǐng)域，它模擬了人類大腦對(duì)圖形、音頻、文字及其他數(shù)據(jù)進(jìn)行理解的機(jī)制。與機(jī)器學(xué)習(xí)方式相比,深度學(xué)習(xí)方式也有監(jiān)督與非監(jiān)督之分。深度學(xué)習(xí)的不確定估計(jì)也是一個(gè)熱門的話題，下面將介紹深度學(xué)習(xí)的不確定方向[6]。

2 深度學(xué)習(xí)的方法計(jì)算不確定的值

本文使用Python在深度學(xué)習(xí)上的應(yīng)用的方法來對(duì)模擬仿真結(jié)果進(jìn)行訓(xùn)練。通過Uncertainty Toolbox這個(gè)工具箱來實(shí)現(xiàn)訓(xùn)練的過程，那么將選擇機(jī)器學(xué)習(xí)什么樣的具體監(jiān)督方法呢？監(jiān)督有很多種方法，例如：決策樹、邏輯回歸、線性回歸、K臨近、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯等。上述的實(shí)驗(yàn)結(jié)果為連續(xù)型的，數(shù)據(jù)量也很小，對(duì)模型的準(zhǔn)確性和效率較高，綜合上面因素考慮，可選擇決策樹、線性回歸和隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等。在此，本文具體采用非線性回歸來實(shí)現(xiàn)該過程。

2.1 深度學(xué)習(xí)的不確定估計(jì)

不確定性下的推理方法是精確可靠的機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵組成部分，貝葉斯方法為量化不確定性提供了通用框架[7]。在不確定性下進(jìn)行推理和決策的方法是精確、可靠和可解釋的機(jī)器學(xué)習(xí)系統(tǒng)的重要組成部分。在許多應(yīng)用中，從供應(yīng)鏈規(guī)劃到醫(yī)療診斷再到自動(dòng)駕駛，精確地評(píng)估不確定性可能與獲得高精確度一樣重要。貝葉斯方法提供了一個(gè)處理不確定性的一般框架，貝葉斯方法對(duì)模型參數(shù)概率分布進(jìn)行界定，并通過對(duì)所有可能的模型權(quán)重的積分得出不確定性估計(jì)。變分推斷的最新進(jìn)展大大提高了這些方法的可擴(kuò)展性和實(shí)用性[8]。

2.2 不確定性的分類

在貝葉斯理論這個(gè)類型中,主要有2個(gè)不確定性問題:模型不確定性和數(shù)據(jù)不確定性問題[9]。模式不確定性(又稱為認(rèn)知不確定性):主要體現(xiàn)的是模型參數(shù)的不確定性,這種不確定性往往源自我們對(duì)為訓(xùn)練收集的數(shù)據(jù)的無知(Ignorance),因此,當(dāng)訓(xùn)練資料集沒有給定形式的信息時(shí),模式中與該情形相應(yīng)的參數(shù)的不確定性將會(huì)增大,所以,如果在測(cè)試階段給予了這樣的信息,模式的效果也會(huì)差。由于推理和預(yù)測(cè)的后驗(yàn)方法都非常復(fù)雜,使得一些更深層的網(wǎng)路并不能考慮模型的不確定性,因此變分推理就成為了現(xiàn)有統(tǒng)計(jì)樣本的一個(gè)主要使用方式,它通過驅(qū)動(dòng)的方法來擬合實(shí)際后測(cè)分布,利用這個(gè)模型擬合了指數(shù)變換的許多尚未知道的分布,，并且變得可計(jì)算。Gal等發(fā)表的論文表示，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程可以看作為基于伯努利分布為假設(shè)分布的變分分布擬合過程。(當(dāng)然，為了達(dá)到擬合的效果，必須調(diào)整損失函數(shù)和其他結(jié)構(gòu)，本文正是如此。)可以通過添加數(shù)據(jù)集來避免模型的不確定性[10]。模型的不確定性可以從模型的預(yù)測(cè)分布，特別是預(yù)測(cè)分布的方差得到。為了得到預(yù)測(cè)結(jié)果的后驗(yàn)分布，我們利用貝葉斯定理，可以發(fā)現(xiàn)：

(1)

數(shù)據(jù)不確定性(亦稱偶然性不確定性、任意不確定性)：其不確定性主要表現(xiàn)為觀測(cè)到的影響,例如對(duì)傳感器的工作影響。由于數(shù)據(jù)的不確定性在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用大于在理論預(yù)測(cè)中的應(yīng)用。人們一般通過研究產(chǎn)出的數(shù)量狀態(tài)來判斷這種不確定性。但信息不確定性無法克服。在神經(jīng)網(wǎng)絡(luò)中,對(duì)信息不確定性的預(yù)測(cè)比在現(xiàn)實(shí)模擬中更為普遍(例如Social LSTM的二維高斯分布假設(shè)),通過對(duì)這些數(shù)據(jù)的分析,得到了高斯分布的參數(shù)，然后考慮數(shù)據(jù)的不確定性[11]。與估計(jì)模型不確定性不同，我們將模型指向輸出數(shù)據(jù)的不確定性，而不是分析輸入相同的多個(gè)模型樣本輸出的統(tǒng)計(jì)特性[12]。本文的熱力學(xué)參數(shù)估計(jì)屬于模型不確定性，下面介紹熱力學(xué)參數(shù)的問題。

3 深度學(xué)習(xí)在聚合反應(yīng)中的應(yīng)用

在其他工作方面,如化學(xué)工程,熱力學(xué)也要根據(jù)某個(gè)體系或事件的物理或化學(xué)反應(yīng)機(jī)理、動(dòng)態(tài)變化規(guī)律和傳遞特征等構(gòu)建數(shù)學(xué)模型,便于模擬和實(shí)驗(yàn)研究。由于在數(shù)學(xué)模型的構(gòu)建過程中常常存在未知參數(shù),因此要通過使用合理、優(yōu)化過的實(shí)驗(yàn)設(shè)計(jì),獲取到了計(jì)算過程中的關(guān)鍵數(shù)據(jù)的真實(shí)信息,進(jìn)而采用優(yōu)化與計(jì)算的手段估算出未知參數(shù)。參數(shù)估計(jì)實(shí)質(zhì)上是一種優(yōu)化過程[13]，在這個(gè)問題中，基于實(shí)驗(yàn)或工藝數(shù)據(jù)搜索未知參數(shù)的最佳值，使模型的計(jì)算值盡可能接近實(shí)測(cè)值。

聚合是一個(gè)復(fù)雜的過程。為了優(yōu)化聚合物生產(chǎn)研究中的聚合工藝，目前還大多采用反復(fù)實(shí)驗(yàn)的方法，尋找控制反應(yīng)過程的最佳工藝參數(shù)，如反應(yīng)溫度、反應(yīng)時(shí)間、升溫速率等。在聚合反應(yīng)中，人們需要知道包括體系的物理性質(zhì)，如比熱容和密度的導(dǎo)熱系數(shù)、反應(yīng)熱，以及涉及反應(yīng)設(shè)備的一些參數(shù)在內(nèi)的幾十個(gè)參數(shù)的大小，以便進(jìn)行聚合物生產(chǎn)的放大和控制。但這些參數(shù)有很多屬于不確定的參數(shù)，一般的方法難以測(cè)量。它們對(duì)反應(yīng)控制條件有直接影響，但由于不容易測(cè)定其大小，也就無法由這些參數(shù)決定反應(yīng)中控制的工藝參數(shù)。反應(yīng)條件改變后，只能通過重復(fù)實(shí)驗(yàn)確定新的工藝條件。利用深度學(xué)習(xí)的知識(shí)可以方便的解決難以測(cè)定的熱力學(xué)參數(shù)問題。

3.1 聚合反應(yīng)的模型

聚合反應(yīng)，該系統(tǒng)由一個(gè)反應(yīng)器組成，單體被送入其中，單體通過非常放熱的化學(xué)反應(yīng)變成聚合物。反應(yīng)器配有夾套和外部熱交換器(EHE)，二者都可用于控制反應(yīng)器內(nèi)部的溫度。該模型包括水、單體和產(chǎn)品滯留物的質(zhì)量平衡以及反應(yīng)器、容器、夾套、外部熱交換器中的混合物和離開外部熱交換器的冷卻劑的能量平衡?？捎玫目刂戚斎胧沁M(jìn)料流量，夾套入口處的冷卻液溫度和外部熱交換器入口處的冷卻液溫度。

在建立的熱-化學(xué)模型中有很多未知參數(shù)，如聚合反應(yīng)體系的導(dǎo)熱系數(shù)、比熱等[14]。這些參數(shù)在聚合反應(yīng)過程中用現(xiàn)有的測(cè)試手段直接測(cè)定非常困難。這些參數(shù)性質(zhì)不同，不能同時(shí)測(cè)量。該方法的實(shí)質(zhì)是建立反應(yīng)聚合反應(yīng)真實(shí)過程的數(shù)學(xué)模型，將聚合反應(yīng)參數(shù)的不確定性轉(zhuǎn)化為聚合反應(yīng)溫度的測(cè)量。通過在計(jì)算中逐步減小理論空間-時(shí)間溫度數(shù)據(jù)和實(shí)測(cè)空間-時(shí)間-溫度數(shù)據(jù)的偏差，將偏差最小時(shí)的難測(cè)參數(shù)設(shè)定值作為測(cè)量結(jié)果。聚合是在平模中進(jìn)行的,用熱電偶在聚合反應(yīng)中在線測(cè)量溫度，得到實(shí)測(cè)的空間-時(shí)間-溫度曲線。模型中難測(cè)參數(shù)值是未知的,在計(jì)算機(jī)程序中可以為這些待定參數(shù)任意設(shè)定初值。初值設(shè)定越接近真實(shí)值，逼近難測(cè)參數(shù)真實(shí)值的速度越快。這樣由程序即可計(jì)算出反應(yīng)體系某點(diǎn)在反應(yīng)中某時(shí)刻的溫度，即理論空間-時(shí)間-溫度曲線。按一定的參數(shù)評(píng)價(jià)方法，修正待測(cè)參數(shù)的設(shè)定值，重新代入程序，算出理論值，求出新的水平偏差值；重復(fù)這個(gè)過程，直到偏差達(dá)到最小值，這時(shí)即可認(rèn)為難測(cè)參數(shù)的設(shè)定值代表了該參數(shù)的真實(shí)值。

3.2 不確定熱力學(xué)參數(shù)分析

熱力學(xué)在聚合物化學(xué)和工藝中的作用越來越明顯，它可以檢驗(yàn)聚合物的生產(chǎn)，聚合物加工和實(shí)際應(yīng)用物理化學(xué)條件的選擇。由于用于聚合的單體陣列不斷擴(kuò)大，因此常常有必要從原則上預(yù)測(cè)在給定的物理化學(xué)條件下將一種或另一種單體轉(zhuǎn)化為聚合物的可能性。確定各種因素對(duì)聚合-解聚平衡位置和聚合物熱力學(xué)性質(zhì)的影響仍然是最重要的問題。由于缺乏有關(guān)化合物性質(zhì)和相應(yīng)反應(yīng)的熱力學(xué)數(shù)據(jù)，往往無法對(duì)聚合反應(yīng)進(jìn)行熱力學(xué)分析。在實(shí)際系統(tǒng)中，通常無法準(zhǔn)確確定模型參數(shù)，這是不確定性的一個(gè)重要來源。在這項(xiàng)工作中，認(rèn)為模型的4個(gè)最關(guān)鍵參數(shù)并不精確已知，并且相對(duì)于其標(biāo)稱值而變化，給這4個(gè)不確定的熱力學(xué)參數(shù)上下50%取值，這樣就有10幾組實(shí)驗(yàn)。

3.3 模型預(yù)測(cè)仿真

這個(gè)實(shí)驗(yàn)中有4個(gè)不確定的熱力學(xué)參數(shù)，以這4個(gè)不確定的熱力學(xué)參數(shù)為例，開展實(shí)驗(yàn)過程。由于4個(gè)不確定的熱力學(xué)參數(shù)不確定，那么給這4個(gè)不確定的熱力學(xué)參數(shù)按照合理的實(shí)驗(yàn)要求上下各取50%的值，進(jìn)行10幾組實(shí)驗(yàn)，4個(gè)不確定熱力學(xué)參數(shù)的正交實(shí)驗(yàn)有14組，實(shí)驗(yàn)運(yùn)行結(jié)果如圖1所示。由于運(yùn)行結(jié)果圖片較多，這里就不一一展示。

圖1 預(yù)測(cè)的結(jié)果圖Fig.1 Prediction result graph

用機(jī)器學(xué)習(xí)之監(jiān)督的方法把它們進(jìn)行訓(xùn)練，從而能夠給定一個(gè)結(jié)果找到對(duì)應(yīng)的熱力學(xué)參數(shù)，求出不確定的參數(shù)。

3.4 將結(jié)果用深度學(xué)習(xí)進(jìn)行訓(xùn)練

由于這是根據(jù)不確定的熱力學(xué)參數(shù)來估計(jì)它的性能指標(biāo)，這里將運(yùn)行時(shí)間作為輸出，不確定的熱力學(xué)參數(shù)作為輸入，這是一個(gè)非線性的問題，使用非線性回歸不好擬合數(shù)據(jù)，為此將使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法。神經(jīng)網(wǎng)絡(luò)是由大量的節(jié)點(diǎn)(或“神經(jīng)元”)和節(jié)點(diǎn)組成的操作模型。每個(gè)節(jié)點(diǎn)表示一個(gè)稱為激活函數(shù)的特定輸出函數(shù)[15]。2個(gè)節(jié)點(diǎn)之間的每個(gè)連接表示通過連接的信號(hào)的一個(gè)加權(quán)值,稱為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶[16]。網(wǎng)絡(luò)的輸出隨著網(wǎng)絡(luò)的連通方式、權(quán)值和激勵(lì)函數(shù)變化而改變。網(wǎng)絡(luò)本身也往往是算法或函數(shù)的近似值,或是邏輯策略的表達(dá)式。

由于我們這里的輸入是4個(gè)不確定的熱力學(xué)參數(shù)，所以這是一個(gè)多元非線性回歸的問題[17]。面對(duì)多元化的非線性回歸問題，使用BP神經(jīng)網(wǎng)絡(luò)比較和處理，將4個(gè)熱力學(xué)參數(shù)作為輸入，運(yùn)行時(shí)間作為輸出。數(shù)據(jù)處理，將數(shù)據(jù)標(biāo)準(zhǔn)化； 標(biāo)準(zhǔn)化方程：

(2)

式中：x′表示標(biāo)準(zhǔn)化后的值；x表示原始值；xmean表示平均值；xmax表示最大值。

使用α=0.01的學(xué)習(xí)速率，將遍歷14個(gè)數(shù)據(jù)塊1 000次，每10次輸出一個(gè)成本函數(shù)的值，結(jié)果如圖2所示。

圖2 梯度下降圖Fig.2 Gradient descent diagram

從圖2可以看出，損失值正在下降，表明學(xué)習(xí)速度更好(幾次中更好)。

預(yù)測(cè)結(jié)果于實(shí)際結(jié)果對(duì)比，將14個(gè)數(shù)據(jù)樣本作為橫坐標(biāo)，運(yùn)行時(shí)間作為縱坐標(biāo)。數(shù)據(jù)樣本的實(shí)際結(jié)果是紅色散射，預(yù)測(cè)結(jié)果是藍(lán)色散射，散點(diǎn)圖如圖3所示。

圖3 散點(diǎn)圖Fig.3 Scatter plot

從圖3可以看出，預(yù)測(cè)結(jié)果與實(shí)際結(jié)果基本一致，表明模型近似正確。我們?cè)诔绦蛑须S機(jī)輸入一組數(shù)據(jù)，用來驗(yàn)證其準(zhǔn)確性，分別是950、5、25、3，輸出的值為0.373 6，對(duì)應(yīng)上面模型大致正確。原來的目標(biāo)函數(shù)：

(3)

將上述的數(shù)據(jù)代入目標(biāo)函數(shù)得出的結(jié)果與運(yùn)行的結(jié)果進(jìn)行比較，其結(jié)果大致相同。為了清楚的表示程序運(yùn)行的情況，將用一張表來表示輸出的結(jié)果以及預(yù)測(cè)值與真實(shí)值和計(jì)算值的比較，結(jié)果如表1所示。

表1 數(shù)據(jù)結(jié)果比較Tab.1 Comparison of data results

從表2可以看出，有幾組數(shù)據(jù)是非常不同的，這可能受到其他因素的影響所致。如噪聲等，這些數(shù)據(jù)可以去除，這些輸出的結(jié)果是根據(jù)前面的數(shù)據(jù)處理式(1)換算來的，所以它顯示0～1的數(shù)字。預(yù)測(cè)的結(jié)果雖然良好，但也有一些缺點(diǎn)，比如受其他因素的干擾，還有數(shù)據(jù)量不足導(dǎo)致的預(yù)測(cè)不準(zhǔn)確，這是今后需要改進(jìn)和完善的方面。

4 結(jié)語(yǔ)

通過聚合反應(yīng)過程中不確定熱力學(xué)參數(shù)的研究，不確定熱力學(xué)參數(shù)在反應(yīng)釜內(nèi)部難以測(cè)量，通過儀表數(shù)據(jù)的顯示，對(duì)4個(gè)不確定的熱力學(xué)參數(shù)進(jìn)行上下50%賦值，通過正交實(shí)驗(yàn)的方法得出10幾組實(shí)驗(yàn)，用模型預(yù)測(cè)工具箱進(jìn)行模擬仿真，得出每組的運(yùn)行時(shí)間。將4個(gè)不確定的熱力學(xué)參數(shù)作為輸入，運(yùn)行時(shí)間作為輸出，通過觀察發(fā)現(xiàn)這些數(shù)據(jù)呈非線性的關(guān)系，屬于多元非線性的回歸，當(dāng)使用深度學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)的方法對(duì)這些數(shù)據(jù)進(jìn)行預(yù)測(cè)處理，將實(shí)際結(jié)果和預(yù)測(cè)結(jié)果進(jìn)行比較，結(jié)果基本一致。這說明深度學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)對(duì)處理這類問題確實(shí)有效果，深度學(xué)習(xí)處理化工類的研究多；但對(duì)處理熱力學(xué)參數(shù)的問題較少。本文針對(duì)熱力學(xué)參數(shù)的問題用深度學(xué)習(xí)進(jìn)行預(yù)測(cè)；但還有不足的地方，數(shù)據(jù)量少，易受噪音等其他因素影響，這在今后還要改善。