唐 帥,潘多濤,袁德成

(1.沈陽化工大學 遼寧省化工控制技術(shù)重點實驗室，遼寧 沈陽 110142;2.沈陽化工大學 信息工程學院, 遼寧 沈陽 110142)

隨著深度學習方面的知識和運用越來越廣泛和成熟，例如：自動駕駛、人工智能、無人機等方面[1]；當然，現(xiàn)在也用于其他工業(yè)方面，例如：化工過程控制方面。本文以聚合反應為例，研究深度學習在聚合反應過程中不確定參數(shù)估計方面的應用。傳統(tǒng)測定熱力學參數(shù)的方法有直接量熱法、燃燒熱法和熱力學平衡法[2]。然而，由于聚合過程的復雜性、非線性、易變性和不確定性，難以估算聚合過程中不確定的參數(shù)[3]。有學者引入一種改進的智能優(yōu)化算法,該方法以云模型理論為基礎(chǔ),采用了一套新型建模和采樣方法,與原算法相比能夠有效地提高收斂速度和搜索精度[4]；還有提出了一種基于遺傳算法(GA)技術(shù)的替代進化算法方法，該方法可以有效地解決非線性參數(shù)估計問題，以高概率找到全局最優(yōu)，結(jié)果表明了所提出方法的有效性和魯棒性。Glass提出了一種估計參數(shù)的方法，該方法受制于必要和充分的熱力學穩(wěn)定性標準，這些方法都存在著復雜性和條件限制性，有一定的困難。鑒于此，本文提出使用深度學習的方法來測定不確定熱力學參數(shù)估計的問題。運用模型預測控制方法將結(jié)果運行出來，記錄運行時間，將4個熱力學參數(shù)作為輸入，運行時間作為輸出，由于是非線性的，使用深度學習BP神經(jīng)網(wǎng)絡(luò)的方法訓練它們，將訓練的結(jié)果與代入目標函數(shù)的值進行比較，得到的結(jié)果大致一致。從而使聚合反應過程中由于不確定的熱力學參數(shù)導致的測量不便變得更加便利。

1 深度學習的概念

深度學習概念來自于人工神經(jīng)網(wǎng)絡(luò)的(ANN)研究。多層感知器中設(shè)置有若干個隱藏層,即為深度學習結(jié)構(gòu)。深度學習這一理念于2006年被引進,著重介紹了基于深度置信網(wǎng)絡(luò)的無監(jiān)督貪心逐層訓練算法,并給深度結(jié)構(gòu)中相關(guān)優(yōu)化問題的解決帶來了希望。從而給出了一個多層的自編碼器深層架構(gòu)。此外,后來人們又發(fā)展了卷積神經(jīng)網(wǎng)絡(luò)[5]。而深度學習則把底層特性和高層特征相結(jié)合,建立了更為抽象的屬性類型和屬性,從而找到了訓練數(shù)據(jù)中分布式的特征表征。深度學習作為機器學習研究中的新領(lǐng)域，它模擬了人類大腦對圖形、音頻、文字及其他數(shù)據(jù)進行理解的機制。與機器學習方式相比,深度學習方式也有監(jiān)督與非監(jiān)督之分。深度學習的不確定估計也是一個熱門的話題，下面將介紹深度學習的不確定方向[6]。

2 深度學習的方法計算不確定的值

本文使用Python在深度學習上的應用的方法來對模擬仿真結(jié)果進行訓練。通過Uncertainty Toolbox這個工具箱來實現(xiàn)訓練的過程，那么將選擇機器學習什么樣的具體監(jiān)督方法呢？監(jiān)督有很多種方法，例如：決策樹、邏輯回歸、線性回歸、K臨近、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯等。上述的實驗結(jié)果為連續(xù)型的，數(shù)據(jù)量也很小，對模型的準確性和效率較高，綜合上面因素考慮，可選擇決策樹、線性回歸和隨機森林、神經(jīng)網(wǎng)絡(luò)等。在此，本文具體采用非線性回歸來實現(xiàn)該過程。

2.1 深度學習的不確定估計

不確定性下的推理方法是精確可靠的機器學習系統(tǒng)的關(guān)鍵組成部分，貝葉斯方法為量化不確定性提供了通用框架[7]。在不確定性下進行推理和決策的方法是精確、可靠和可解釋的機器學習系統(tǒng)的重要組成部分。在許多應用中，從供應鏈規(guī)劃到醫(yī)療診斷再到自動駕駛，精確地評估不確定性可能與獲得高精確度一樣重要。貝葉斯方法提供了一個處理不確定性的一般框架，貝葉斯方法對模型參數(shù)概率分布進行界定，并通過對所有可能的模型權(quán)重的積分得出不確定性估計。變分推斷的最新進展大大提高了這些方法的可擴展性和實用性[8]。

2.2 不確定性的分類

在貝葉斯理論這個類型中,主要有2個不確定性問題:模型不確定性和數(shù)據(jù)不確定性問題[9]。模式不確定性(又稱為認知不確定性):主要體現(xiàn)的是模型參數(shù)的不確定性,這種不確定性往往源自我們對為訓練收集的數(shù)據(jù)的無知(Ignorance),因此,當訓練資料集沒有給定形式的信息時,模式中與該情形相應的參數(shù)的不確定性將會增大,所以,如果在測試階段給予了這樣的信息,模式的效果也會差。由于推理和預測的后驗方法都非常復雜,使得一些更深層的網(wǎng)路并不能考慮模型的不確定性,因此變分推理就成為了現(xiàn)有統(tǒng)計樣本的一個主要使用方式,它通過驅(qū)動的方法來擬合實際后測分布,利用這個模型擬合了指數(shù)變換的許多尚未知道的分布,，并且變得可計算。Gal等發(fā)表的論文表示，神經(jīng)網(wǎng)絡(luò)訓練過程可以看作為基于伯努利分布為假設(shè)分布的變分分布擬合過程。(當然，為了達到擬合的效果，必須調(diào)整損失函數(shù)和其他結(jié)構(gòu)，本文正是如此。)可以通過添加數(shù)據(jù)集來避免模型的不確定性[10]。模型的不確定性可以從模型的預測分布，特別是預測分布的方差得到。為了得到預測結(jié)果的后驗分布，我們利用貝葉斯定理，可以發(fā)現(xiàn)：

(1)

數(shù)據(jù)不確定性(亦稱偶然性不確定性、任意不確定性)：其不確定性主要表現(xiàn)為觀測到的影響,例如對傳感器的工作影響。由于數(shù)據(jù)的不確定性在神經(jīng)網(wǎng)絡(luò)中的應用大于在理論預測中的應用。人們一般通過研究產(chǎn)出的數(shù)量狀態(tài)來判斷這種不確定性。但信息不確定性無法克服。在神經(jīng)網(wǎng)絡(luò)中,對信息不確定性的預測比在現(xiàn)實模擬中更為普遍(例如Social LSTM的二維高斯分布假設(shè)),通過對這些數(shù)據(jù)的分析,得到了高斯分布的參數(shù)，然后考慮數(shù)據(jù)的不確定性[11]。與估計模型不確定性不同，我們將模型指向輸出數(shù)據(jù)的不確定性，而不是分析輸入相同的多個模型樣本輸出的統(tǒng)計特性[12]。本文的熱力學參數(shù)估計屬于模型不確定性，下面介紹熱力學參數(shù)的問題。

3 深度學習在聚合反應中的應用

在其他工作方面,如化學工程,熱力學也要根據(jù)某個體系或事件的物理或化學反應機理、動態(tài)變化規(guī)律和傳遞特征等構(gòu)建數(shù)學模型,便于模擬和實驗研究。由于在數(shù)學模型的構(gòu)建過程中常常存在未知參數(shù),因此要通過使用合理、優(yōu)化過的實驗設(shè)計,獲取到了計算過程中的關(guān)鍵數(shù)據(jù)的真實信息,進而采用優(yōu)化與計算的手段估算出未知參數(shù)。參數(shù)估計實質(zhì)上是一種優(yōu)化過程[13]，在這個問題中，基于實驗或工藝數(shù)據(jù)搜索未知參數(shù)的最佳值，使模型的計算值盡可能接近實測值。

聚合是一個復雜的過程。為了優(yōu)化聚合物生產(chǎn)研究中的聚合工藝，目前還大多采用反復實驗的方法，尋找控制反應過程的最佳工藝參數(shù)，如反應溫度、反應時間、升溫速率等。在聚合反應中，人們需要知道包括體系的物理性質(zhì)，如比熱容和密度的導熱系數(shù)、反應熱，以及涉及反應設(shè)備的一些參數(shù)在內(nèi)的幾十個參數(shù)的大小，以便進行聚合物生產(chǎn)的放大和控制。但這些參數(shù)有很多屬于不確定的參數(shù)，一般的方法難以測量。它們對反應控制條件有直接影響，但由于不容易測定其大小，也就無法由這些參數(shù)決定反應中控制的工藝參數(shù)。反應條件改變后，只能通過重復實驗確定新的工藝條件。利用深度學習的知識可以方便的解決難以測定的熱力學參數(shù)問題。

3.1 聚合反應的模型

聚合反應，該系統(tǒng)由一個反應器組成，單體被送入其中，單體通過非常放熱的化學反應變成聚合物。反應器配有夾套和外部熱交換器(EHE)，二者都可用于控制反應器內(nèi)部的溫度。該模型包括水、單體和產(chǎn)品滯留物的質(zhì)量平衡以及反應器、容器、夾套、外部熱交換器中的混合物和離開外部熱交換器的冷卻劑的能量平衡?？捎玫目刂戚斎胧沁M料流量，夾套入口處的冷卻液溫度和外部熱交換器入口處的冷卻液溫度。

在建立的熱-化學模型中有很多未知參數(shù)，如聚合反應體系的導熱系數(shù)、比熱等[14]。這些參數(shù)在聚合反應過程中用現(xiàn)有的測試手段直接測定非常困難。這些參數(shù)性質(zhì)不同，不能同時測量。該方法的實質(zhì)是建立反應聚合反應真實過程的數(shù)學模型，將聚合反應參數(shù)的不確定性轉(zhuǎn)化為聚合反應溫度的測量。通過在計算中逐步減小理論空間-時間溫度數(shù)據(jù)和實測空間-時間-溫度數(shù)據(jù)的偏差，將偏差最小時的難測參數(shù)設(shè)定值作為測量結(jié)果。聚合是在平模中進行的,用熱電偶在聚合反應中在線測量溫度，得到實測的空間-時間-溫度曲線。模型中難測參數(shù)值是未知的,在計算機程序中可以為這些待定參數(shù)任意設(shè)定初值。初值設(shè)定越接近真實值，逼近難測參數(shù)真實值的速度越快。這樣由程序即可計算出反應體系某點在反應中某時刻的溫度，即理論空間-時間-溫度曲線。按一定的參數(shù)評價方法，修正待測參數(shù)的設(shè)定值，重新代入程序，算出理論值，求出新的水平偏差值；重復這個過程，直到偏差達到最小值，這時即可認為難測參數(shù)的設(shè)定值代表了該參數(shù)的真實值。

3.2 不確定熱力學參數(shù)分析

熱力學在聚合物化學和工藝中的作用越來越明顯，它可以檢驗聚合物的生產(chǎn)，聚合物加工和實際應用物理化學條件的選擇。由于用于聚合的單體陣列不斷擴大，因此常常有必要從原則上預測在給定的物理化學條件下將一種或另一種單體轉(zhuǎn)化為聚合物的可能性。確定各種因素對聚合-解聚平衡位置和聚合物熱力學性質(zhì)的影響仍然是最重要的問題。由于缺乏有關(guān)化合物性質(zhì)和相應反應的熱力學數(shù)據(jù)，往往無法對聚合反應進行熱力學分析。在實際系統(tǒng)中，通常無法準確確定模型參數(shù)，這是不確定性的一個重要來源。在這項工作中，認為模型的4個最關(guān)鍵參數(shù)并不精確已知，并且相對于其標稱值而變化，給這4個不確定的熱力學參數(shù)上下50%取值，這樣就有10幾組實驗。

3.3 模型預測仿真

這個實驗中有4個不確定的熱力學參數(shù)，以這4個不確定的熱力學參數(shù)為例，開展實驗過程。由于4個不確定的熱力學參數(shù)不確定，那么給這4個不確定的熱力學參數(shù)按照合理的實驗要求上下各取50%的值，進行10幾組實驗，4個不確定熱力學參數(shù)的正交實驗有14組，實驗運行結(jié)果如圖1所示。由于運行結(jié)果圖片較多，這里就不一一展示。

圖1 預測的結(jié)果圖Fig.1 Prediction result graph

用機器學習之監(jiān)督的方法把它們進行訓練，從而能夠給定一個結(jié)果找到對應的熱力學參數(shù)，求出不確定的參數(shù)。

3.4 將結(jié)果用深度學習進行訓練

由于這是根據(jù)不確定的熱力學參數(shù)來估計它的性能指標，這里將運行時間作為輸出，不確定的熱力學參數(shù)作為輸入，這是一個非線性的問題，使用非線性回歸不好擬合數(shù)據(jù)，為此將使用深度學習神經(jīng)網(wǎng)絡(luò)的方法。神經(jīng)網(wǎng)絡(luò)是由大量的節(jié)點(或“神經(jīng)元”)和節(jié)點組成的操作模型。每個節(jié)點表示一個稱為激活函數(shù)的特定輸出函數(shù)[15]。2個節(jié)點之間的每個連接表示通過連接的信號的一個加權(quán)值,稱為權(quán)重,這相當于人工神經(jīng)網(wǎng)絡(luò)的記憶[16]。網(wǎng)絡(luò)的輸出隨著網(wǎng)絡(luò)的連通方式、權(quán)值和激勵函數(shù)變化而改變。網(wǎng)絡(luò)本身也往往是算法或函數(shù)的近似值,或是邏輯策略的表達式。

由于我們這里的輸入是4個不確定的熱力學參數(shù)，所以這是一個多元非線性回歸的問題[17]。面對多元化的非線性回歸問題，使用BP神經(jīng)網(wǎng)絡(luò)比較和處理，將4個熱力學參數(shù)作為輸入，運行時間作為輸出。數(shù)據(jù)處理，將數(shù)據(jù)標準化； 標準化方程：

(2)

式中：x′表示標準化后的值；x表示原始值；xmean表示平均值；xmax表示最大值。

使用α=0.01的學習速率，將遍歷14個數(shù)據(jù)塊1 000次，每10次輸出一個成本函數(shù)的值，結(jié)果如圖2所示。

圖2 梯度下降圖Fig.2 Gradient descent diagram

從圖2可以看出，損失值正在下降，表明學習速度更好(幾次中更好)。

預測結(jié)果于實際結(jié)果對比，將14個數(shù)據(jù)樣本作為橫坐標，運行時間作為縱坐標。數(shù)據(jù)樣本的實際結(jié)果是紅色散射，預測結(jié)果是藍色散射，散點圖如圖3所示。

圖3 散點圖Fig.3 Scatter plot

從圖3可以看出，預測結(jié)果與實際結(jié)果基本一致，表明模型近似正確。我們在程序中隨機輸入一組數(shù)據(jù)，用來驗證其準確性，分別是950、5、25、3，輸出的值為0.373 6，對應上面模型大致正確。原來的目標函數(shù)：

(3)

將上述的數(shù)據(jù)代入目標函數(shù)得出的結(jié)果與運行的結(jié)果進行比較，其結(jié)果大致相同。為了清楚的表示程序運行的情況，將用一張表來表示輸出的結(jié)果以及預測值與真實值和計算值的比較，結(jié)果如表1所示。

表1 數(shù)據(jù)結(jié)果比較Tab.1 Comparison of data results

從表2可以看出，有幾組數(shù)據(jù)是非常不同的，這可能受到其他因素的影響所致。如噪聲等，這些數(shù)據(jù)可以去除，這些輸出的結(jié)果是根據(jù)前面的數(shù)據(jù)處理式(1)換算來的，所以它顯示0～1的數(shù)字。預測的結(jié)果雖然良好，但也有一些缺點，比如受其他因素的干擾，還有數(shù)據(jù)量不足導致的預測不準確，這是今后需要改進和完善的方面。

4 結(jié)語

通過聚合反應過程中不確定熱力學參數(shù)的研究，不確定熱力學參數(shù)在反應釜內(nèi)部難以測量，通過儀表數(shù)據(jù)的顯示，對4個不確定的熱力學參數(shù)進行上下50%賦值，通過正交實驗的方法得出10幾組實驗，用模型預測工具箱進行模擬仿真，得出每組的運行時間。將4個不確定的熱力學參數(shù)作為輸入，運行時間作為輸出，通過觀察發(fā)現(xiàn)這些數(shù)據(jù)呈非線性的關(guān)系，屬于多元非線性的回歸，當使用深度學習BP神經(jīng)網(wǎng)絡(luò)的方法對這些數(shù)據(jù)進行預測處理，將實際結(jié)果和預測結(jié)果進行比較，結(jié)果基本一致。這說明深度學習BP神經(jīng)網(wǎng)絡(luò)對處理這類問題確實有效果，深度學習處理化工類的研究多；但對處理熱力學參數(shù)的問題較少。本文針對熱力學參數(shù)的問題用深度學習進行預測；但還有不足的地方，數(shù)據(jù)量少，易受噪音等其他因素影響，這在今后還要改善。