田 旺， 秦 康， 李明豐， 胡元沖， 梁家林， 褚小立

(中國石化 石油化工科學研究院，北京 100083)

隨著原油逐漸重質(zhì)化和環(huán)保要求日趨嚴格，重油加氫改質(zhì)變得越來越重要[1]。蠟油加氫作為重要的加氫改質(zhì)工藝，可脫除硫、氮等雜質(zhì)，降低芳烴和烯烴含量，為催化裂化或加氫裂化提供適宜的原料[2]。蠟油加氫工藝的核心是脫硫、脫氮催化劑，所用催化劑不僅決定產(chǎn)品性質(zhì)，而且影響裝置的運行周期。

蠟油加氫催化劑的中試評價主要關(guān)注加氫后蠟油的硫、氮質(zhì)量分數(shù)，目前的中試評價模型多為機理模型。機理模型的解釋性強，過程較為清晰，但在同時預測加氫蠟油中硫、氮質(zhì)量分數(shù)時，機理模型需要考慮兩者之間的相互作用，數(shù)學表達較為復雜，動力學模型參數(shù)求解困難，實際使用并不方便。

神經(jīng)網(wǎng)絡模型不需要考慮復雜的機理就可以實現(xiàn)相應任務的預測，成為研究熱點。周軼峰等[3]利用3層神經(jīng)網(wǎng)絡，根據(jù)柴油餾分油性質(zhì)、工藝條件對加氫柴油中硫質(zhì)量分數(shù)進行預測，得出不同工藝條件對加氫脫硫(HDS)反應深度的影響大小。郭慶洲等[4]根據(jù)加氫處理潤滑油基礎油的幾種性質(zhì)，建立了預測其芳烴質(zhì)量分數(shù)的神經(jīng)網(wǎng)絡模型。相比主成分回歸模型，神經(jīng)網(wǎng)絡模型的預測精度更高。胡元沖等[5]基于神經(jīng)網(wǎng)絡框架Keras，針對柴油產(chǎn)物中硫、氮、單環(huán)芳烴、多環(huán)芳烴質(zhì)量分數(shù)分別建立了預測模型。李詔陽等[6]采用長短期記憶神經(jīng)網(wǎng)絡(Long short-term memory，LSTM)，以加氫裂化的操作參數(shù)為輸入變量，輕質(zhì)潤滑油的4個性質(zhì)為輸出變量，建立了預測模型；通過隨機森林(Random forest，RF)算法對輸入特征進行重要度排序，得到不同生產(chǎn)目標對應的優(yōu)化操作方案。田水苗等[7]利用BP神經(jīng)網(wǎng)絡建立數(shù)據(jù)驅(qū)動模型，來預測石腦油、液化氣、燃料氣、精制蠟油流量以及精制蠟油中硫、氮質(zhì)量分數(shù)；仿真結(jié)果表明BP神經(jīng)網(wǎng)絡模型具有較高的預測精度。

盡管神經(jīng)網(wǎng)絡可同時預測多任務，但是，多任務同時預測易出現(xiàn)各任務之間梯度不平衡、預測結(jié)果偏向某個任務的問題。為解決多任務同時優(yōu)化的平衡問題，Chen等[8]曾提出梯度歸一化算法，通過動態(tài)調(diào)整梯度大小，自動平衡深度學習模型的多任務優(yōu)化；但該方法只在特定的優(yōu)化器下才能表現(xiàn)出較好結(jié)果。Zhou等[9]針對多視圖分辨問題，考慮不同任務之間的方差不確定性，提出協(xié)同多目標量子粒子群優(yōu)化算法(Cooperative multi-objective quantum particle swarm optimization, CMOQPSO)，該算法即使在小樣本場景下也能得到較高的分類準確率。Guo等[10]引入動態(tài)任務優(yōu)先級概念，通過自適應調(diào)整各任務損失函數(shù)的混合權(quán)重，自動對難度較高的任務進行優(yōu)先級排序；分類模型利用該算法辨別人類游泳姿態(tài)的準確率甚至可以媲美單任務學習。Kendall等[11]考慮到視覺場景理解背景下的多任務學習，涉及到不同單位和尺度的各種回歸和分類任務，用各任務的同方差不確定性權(quán)衡多個損失函數(shù)；該方法能夠自動從數(shù)據(jù)中學習相對權(quán)重，且不受初始化權(quán)重的影響。Yu等[12]確定了3種任務同時優(yōu)化時各任務梯度相互干擾的客觀因素，開發(fā)了減輕任務梯度之間相互干擾的簡單通用方法。該方法將某個任務的梯度投影到所有與其具有干擾的任務梯度平面，對一系列具有挑戰(zhàn)性的多任務監(jiān)督學習和多任務強化學習問題，顯著提高了模型的性能和效率，也明顯提高了模型的訓練速度和預測效果。Ozan等[13]將多任務學習視為尋找Pareto最優(yōu)解的多目標優(yōu)化，在界定出一個多目標損失函數(shù)的上界并證明它可以有效地優(yōu)化之后，進一步證明該上界優(yōu)化后能得到Pareto最優(yōu)解；該方法在數(shù)字分類、聯(lián)合語義分割、實例分割、深度估計、多標簽分類等場景下能夠訓練出高效的分類模型。

多任務學習中，對各任務預測的平衡問題研究，目前主要集中在計算機視覺、圖像分類和識別、自然語言處理等領(lǐng)域；對算法研究，主要關(guān)注算法的改進和統(tǒng)計學的優(yōu)化；應用對象主要針對分類問題。但是，從影響梯度平衡的本質(zhì)——不同任務數(shù)據(jù)分布的固有差異出發(fā)，解決不同任務在優(yōu)化中出現(xiàn)梯度差異的回歸問題仍未得到充分的關(guān)注。

筆者以非線性多任務回歸問題為研究對象，根據(jù)加氫蠟油中硫、氮質(zhì)量分數(shù)數(shù)據(jù)的分布特點，提出了一種構(gòu)建損失函數(shù)的新方法，將其應用于蠟油加氫催化劑中試評價數(shù)據(jù)模型。針對4種不同的蠟油加氫催化劑，基于深度學習框架，通過硬參數(shù)共享，建立了適用于4種催化劑的中試評價數(shù)據(jù)驅(qū)動模型；同時通過全新的損失函數(shù)，解決了模型訓練過程中各任務梯度的平衡問題。

1 蠟油催化加氫催化劑中試評價實驗

1.1 蠟油催化加氫原料和催化劑

選用減壓蠟油和焦化蠟油的混合原料為研究對象，用以考察不同催化劑對原料的適用性。原料蠟油(記為樣品A、B、C、D)的主要性質(zhì)如表1所示。實驗所用催化劑為中國石化石油化工科學研究院研制的4種催化劑，即2種NiMo劑(RS-2100和RN-410)、CoMo劑(RVS-420)和NiMoW劑(RN-32V)。

表1 蠟油加氫實驗所用原料油主要性質(zhì)Table 1 Properties of raw oil for wax oil hydrogenation

1.2 蠟油催化加氫反應條件

蠟油加氫催化劑中試評價的工藝條件為：反應溫度355～390 ℃，反應壓力6.4～15 MPa，反應空速0.6～1.6 h-1，氫/油體積比600～1200。其工藝流程如圖1所示，其中，加氫反應器中裝填直徑2～3 mm 的待評價催化劑100～150 mL。原料蠟油經(jīng)加熱爐加熱并與H2混合后，進入加氫反應器，加氫反應產(chǎn)物通過熱高分罐進行分離，氣體產(chǎn)物經(jīng)洗滌后釋放，加氫蠟油進入產(chǎn)品罐，離線分析加氫蠟油的硫、氮含量。

圖1 蠟油加氫催化劑中試評價工藝流程圖Fig.1 Pilot-scale evaluation flow chart of wax oil hydrogenation catalyst

2 催化劑中試評價數(shù)據(jù)模型與新的損失函數(shù)

2.1 催化劑中試評價數(shù)據(jù)模型的建立

蠟油加氫催化劑由Co、Mo、Ni、W 4種元素中的2種或3種混合制備而成，不同催化劑的脫硫、脫氮能力有所差異。為此，模型基于深度學習框架Keras，對不同的催化劑使用獨熱編碼，完成不同催化劑中試評價數(shù)據(jù)的并行訓練，構(gòu)建適用于4種催化劑的數(shù)據(jù)模型。模型的輸入?yún)?shù)包括原料性質(zhì)、操作參數(shù)、催化劑牌號；輸出參數(shù)為加氫蠟油硫、氮質(zhì)量分數(shù)。建立的模型可以實現(xiàn)加氫蠟油硫、氮質(zhì)量分數(shù)的同時預測。

利用Python編寫代碼，調(diào)用開源的深度學習框架Keras，搭建如圖2所示的模型架構(gòu)。模型設置4層網(wǎng)絡結(jié)構(gòu)，分別為輸入層、第一隱含層、第二隱含層、輸出層。為避免出現(xiàn)過擬合現(xiàn)象，第一和第二隱含層的Dropout均設為0.1。隱含層傳遞函數(shù)分別為線性整流函數(shù)(Rectified linear unit，ReLU)和雙曲正切函數(shù)(Hyperbolic tangent，tanh)，輸出層傳遞函數(shù)為線性函數(shù)linear。損失函數(shù)為均方誤差(Mean square error，MSE)，采用Adam優(yōu)化器；模型評估指標為平均絕對誤差(Mean absolute error，MAE)。為減少模型的隨機性，將批量處理規(guī)模batch_size設置為5，為保證模型可以復現(xiàn)，固定初始化隨機種子。

調(diào)用機器學習庫Sklearn的數(shù)據(jù)集劃分包，按照70∶15∶15的比例將所有數(shù)據(jù)隨機劃分為訓練集(Train set)、驗證集(Validation set)和測試集(Test set)。為提高模型訓練速度，使用Standard Scaler函數(shù)對輸入數(shù)據(jù)進行標準化處理，對輸出數(shù)據(jù)取對數(shù)?；贙eras進行模型訓練的迭代過程如圖2所示。

圖2 基于Keras的深度學習框架模型Fig.2 Deep learning framework model based on Keras

圖3為蠟油加氫中試數(shù)據(jù)模型訓練集和驗證集的MSE和MAE變化。由圖3(a)可見，隨著迭代次數(shù)(Epoch)的增加，訓練集和驗證集的均方誤差MSE迅速減小，并逐步逼近穩(wěn)定值，減小的幅度呈良好一致性，說明模型訓練過程合理。將平均絕對誤差MAE作為模型訓練效果的評價指標，由圖3(b)可見，隨著Epoch的增加，訓練集和驗證集的MAE迅速減小，兩者之間的差值逐漸縮小并趨于相同。

MSE—Mean square error; MAE—Mean absolute error; Epoch—Iterative times圖3 蠟油加氫中試數(shù)據(jù)模型訓練集和驗證集的MSE和MAE變化Fig.3 MSE and MAE of training set and validation set in training process of pilot test data evaluation model for wax oil hydrogenation(a) MSE vs. Epoch; (b) MAE vs. Epoch

圖4為測試集樣本中加氫蠟油硫、氮質(zhì)量分數(shù)的實測值和預測值對比。由圖4可見:在0～1000 μg/g區(qū)間內(nèi)，模型對硫、氮質(zhì)量分數(shù)的預測值與實測值吻合良好；在高于1000 μg/g區(qū)間，硫質(zhì)量分數(shù)預測值與實測值的偏離明顯，而氮質(zhì)量分數(shù)無實測數(shù)據(jù)。

圖4 測試集樣本中加氫蠟油硫、氮質(zhì)量分數(shù)的實測值(wmea)和預測值(wpre)對比Fig.4 Comparison of the measured (wmea) andpredicted values (wpre) of sulfur and nitrogen massfractions of hydrogenated wax oil in the test set

2.2 新的損失函數(shù)

為了進一步定量測試集加氫蠟油中硫、氮質(zhì)量分數(shù)預測效果的差異，筆者對模型的預測效果進行了統(tǒng)計。表2為舊的損失函數(shù)模型對測試集中硫、氮質(zhì)量分數(shù)預測效果的評價指標。從表2可以看出，測試集加氫蠟油硫、氮質(zhì)量分數(shù)預測效果的評價指標差異較大。分析原因，主要是模型的損失函數(shù)對硫、氮質(zhì)量分數(shù)進行同時優(yōu)化時，硫、氮質(zhì)量分數(shù)差異大，導致兩者梯度更新時產(chǎn)生沖突。

表2 舊的損失函數(shù)模型對測試集輸出參數(shù)的預測效果Table 2 The prediction effect of the old loss function modelon the output parameters of the test set

模型訓練過程中，對2個任務進行優(yōu)化時，如果一個任務的梯度比另一個任務的梯度大得多，那么它將主導平均梯度。此研究中，模型的損失函數(shù)表達式為均方誤差(MSE)，即各任務預測值與實測值誤差的平方和再加和求平均，如式(1)所示。

(1)

上述模型數(shù)據(jù)集中，加氫蠟油的硫質(zhì)量分數(shù)分布在0～6000 μg/g之間，而加氫蠟油的氮質(zhì)量分數(shù)分布在0～1000 μg/g之間。模型在訓練時，會優(yōu)先滿足氮質(zhì)量分數(shù)的預測誤差，忽略硫質(zhì)量分數(shù)的預測誤差，從而出現(xiàn)硫、氮質(zhì)量分數(shù)預測效果差異大的情況。

為解決非線性多任務學習模型預測過程中各任務預測誤差不平衡的問題，筆者對所建模型的損失函數(shù)進行了重新設計，分別給硫、氮質(zhì)量分數(shù)的誤差平方和乘以不同的權(quán)重，該權(quán)重的作用是平衡模型訓練過程中各任務的梯度，使各任務的梯度保持一致，同時達到最優(yōu)訓練效果。假設第i個任務的損失函數(shù)(Li)由式(2)計算得到；多任務的損失函數(shù)(LMTL)由式(3)計算得到；式(4)中共享參數(shù)(Wsh，下標sh是share的縮寫)的優(yōu)化受到所有任務損失函數(shù)的影響，并且不同任務損失函數(shù)對于共享參數(shù)的影響可以使用權(quán)重WFi進行調(diào)節(jié)，其中，Wsh+1為共享參數(shù)Wsh的下一步迭代，γ為參數(shù)更新過程中的步長。

(2)

(3)

(4)

假設賦予加氫蠟油中氮質(zhì)量分數(shù)的權(quán)重為WF1，賦予加氫蠟油中硫質(zhì)量分數(shù)的權(quán)重為WF2, 訓練模型數(shù)據(jù)集加氫蠟油的硫質(zhì)量分數(shù)平均值為X，訓模模型數(shù)據(jù)集加氫蠟油氮質(zhì)量分數(shù)的平均值為Y，WF1和WF2與X和Y的關(guān)系如式(5)所示。

(5)

將式(5)代入式(3)，得到模型的損失函數(shù)如式(6)所示。

(6)

對模型損失函數(shù)的代碼進行重新編寫，模型訓練時，調(diào)用新的損失函數(shù),即式(6)，模型訓練完成后，對測試集加氫蠟油中硫、氮質(zhì)量分數(shù)進行同時預測。

3 結(jié)果與討論

舊、新?lián)p失函數(shù)模型對測試集加氫蠟油中硫、氮質(zhì)量分數(shù)的預測效果對比，如圖5所示。修改損失函數(shù)前，舊模型的預測值為Predicted1；修改損失函數(shù)后，新模型的預測值為Predicted2。從圖5可以看出：相比Predicted1，在硫質(zhì)量分數(shù)高于1000 μg/g區(qū)間，Predicted2與實測值的誤差明顯減小；在硫質(zhì)量分數(shù)低于1000 μg/g區(qū)間，Predicted2與實測值的誤差略微減小。對于加氫蠟油氮質(zhì)量分數(shù)的預測而言，Predicted2與實測值的誤差比Predicted1與實測值的誤差略微降低。這說明新模型的損失函數(shù)可同時縮小加氫蠟油硫、氮質(zhì)量分數(shù)的預測誤差，其中硫質(zhì)量分數(shù)的預測誤差縮小尤其顯著。

修改損失函數(shù)前、后，模型對測試集的預測評估指標，如表3所示。從表3可以看出，構(gòu)建新的損失函數(shù)用于模型訓練，加氫蠟油中硫質(zhì)量分數(shù)的平均絕對誤差(MAE)、平均相對誤差(MRE)明顯降低；而加氫蠟油中氮質(zhì)量分數(shù)的MAE、MRE略微降低。這說明新的損失函數(shù)可改善模型對不同任務的預測效果。其中，對硫任務的調(diào)節(jié)作用明顯，對比舊、新?lián)p失函數(shù)模型，加氫蠟油硫質(zhì)量分數(shù)的MAE從125.36 μg/g下降至49.89 μg/g，MRE從32.60%下降至9.98%，R2從0.98提升至0.99，說明為硫任務損失函數(shù)設置的權(quán)重，對其梯度更新，起到了較好的修飾作用，使得模型在尋優(yōu)的過程中，逐漸向硫任務的全局最優(yōu)解靠攏。而模型對氮任務的調(diào)節(jié)作用較弱，加氫蠟油氮質(zhì)量分數(shù)的MAE、MRE降低幅度較小，R2沒有變化，說明為氮任務損失函數(shù)設置的權(quán)重，對其梯度更新也能起到修飾作用，但這種作用較弱，更多的表現(xiàn)為削弱硫任務梯度更新對氮任務梯度更新的影響。

圖5 新、舊損失函數(shù)模型對測試集輸出參數(shù)預測效果比較Fig.5 Comparison between old and new loss function models in predicting output parameters of the test set(a) w(Sulfur); (b) w(Nitrogen)

表3 新、舊損失函數(shù)模型對測試集預測評估指標統(tǒng)計Table 3 New and old loss function models predict the evaluation index statistics of the test set

綜合來看，造成模型同時預測加氫蠟油硫、氮質(zhì)量分數(shù)預測誤差差異大的關(guān)鍵原因是硫、氮質(zhì)量分數(shù)分布的固有差異，這種差異導致模型在訓練過程中，硫、氮任務梯度更新不一致，進而出現(xiàn)氮任務逼近最優(yōu)解而硫任務未逼近最優(yōu)解的情況。因此，筆者基于加氫蠟油中硫、氮質(zhì)量分數(shù)的分布規(guī)律，分別為硫、氮任務損失函數(shù)構(gòu)造不同的權(quán)重，來平衡兩者之間的差異。使用全新的數(shù)據(jù)進行測試，結(jié)果表明新的損失函數(shù)基本解決了模型對2個任務同時預測時出現(xiàn)任務之間預測誤差不平衡的問題。

4 結(jié) 論

(1)基于深度學習框架Keras，利用硬參數(shù)共享，建立了適用于4種不同蠟油加氫催化劑中試評價的數(shù)據(jù)驅(qū)動模型，實現(xiàn)了加氫蠟油中硫、氮質(zhì)量分數(shù)的同時預測。

(2)根據(jù)加氫蠟油中硫、氮質(zhì)量分數(shù)分布的差異，構(gòu)建新的損失函數(shù)，解決了模型同時預測2個任務時，出現(xiàn)的預測誤差不平衡的問題。相比舊的損失函數(shù)，新的損失函數(shù)模型模擬結(jié)果表明，同時預測精制蠟油硫、氮質(zhì)量分數(shù)的平均絕對誤差分別從125.36和45.95 μg/g降低至49.89和38.62 μg/g，平均相對誤差分別從32.6%和13.4%降低至9.98%和9.59%，基本滿足實際應用的要求。

(3)蠟油加氫工藝中的脫硫和脫氮反應是一種相互抑制的反應，傳統(tǒng)的機理模型構(gòu)建時需要考慮兩者之間的相互作用，加入一定的假設，參數(shù)的求解過程較為復雜。筆者提出的非線性多任務同時預測的方法，為該問題的解決提供了另一種思路。