夏陸岳，劉 勇，潘海天

(1.浙江工業(yè)大學 化學工程學院，浙江 杭州 310014；2.浙江省生物燃料利用技術研究重點實驗室，浙江 杭州 310014)

基于AFSA-BPNN的MRVM模型非線性融合建模

夏陸岳1,2，劉 勇1,2，潘海天1,2

(1.浙江工業(yè)大學 化學工程學院，浙江 杭州 310014；2.浙江省生物燃料利用技術研究重點實驗室，浙江 杭州 310014)

針對化工過程強非線性和多工況的特性，提出了一種基于BP神經網絡(BPNN)有效非線性融合多關聯向量機(MRVM)的建模方法.首先選擇不同的核函數，采用樣本數據建立單一RVM子模型；然后利用BPNN的強非線性擬合能力，對各子模型的預測信息進行非線性融合，并采用人工魚群算法(AFSA)對BPNN的初始權重和閾值進行優(yōu)化；最終建立MRVM非線性融合模型.將該建模方法應用于甲醇制烯烴生產過程(MTO)乙烯收率預測研究中，研究結果表明：與單一RVM模型和最優(yōu)加權組合模型相比，基于MRVM的非線性融合模型具有更佳的預測精度.

MRVM；BPNN；AFSA；組合模型；非線性

軟測量技術通過建立易測或可測參數與待測目標參數之間的非線性關系，以解決工業(yè)生產中重要過程變量的在線檢測問題，該技術的研究核心是建模方法.目前，建模方法主要有機理建模、神經網絡以及支持向量機等方法[1-2].由于化工過程的復雜性，機器學習算法在軟測量中逐漸得到了廣泛應用，但仍存在一些不足.關聯向量機(Relevance vector machine，簡稱RVM)是一種基于統(tǒng)計學理論的新興機器學習方法.與支持向量機相比，RVM具有關聯向量個數少、待優(yōu)化參數少、核函數選擇不受限制、可完成概率式預測以及學習能力較強等優(yōu)點，在軟測量領域中具有廣泛的應用前景[3-4].

單一RVM模型一般難以滿足當前工藝繁雜、反應機理復雜的化工系統(tǒng)軟測量實際研究需要，存在著過程特性匹配不佳、預測精度和外推性較差等問題.通過有效融合多個模型，可充分提取樣本數據中的各種信息，以進一步增強預測模型的精度和魯棒性，在軟測量研究領域中得到了廣泛應用[5].目前，多模型融合方法大多采用線性組合形式，但其并不能準確描述實際對象的非線性特征，致使預測效果不盡理想.為了能更準確地描述復雜對象的特征，可將不同預測模型所取得的預測結果進行非線性融合，以得到預測精度更佳的預測結果.本研究采用BP神經網絡用于實現多個子模型的非線性融合，提出一種基于BP神經網絡融合多關聯向量機(MRVM)的建模方法，并將該建模方法應用于甲醇制烯烴生產過程乙烯收率軟測量研究中，以驗證該建模方法的有效性.

1 建模方法

1.1 設計思想

BP神經網絡是一種誤差反向傳播的多層前饋網絡.若隱含層神經元個數滿足要求，BP神經網絡可無限逼近任何非線性映射關系[6]，故可利用BP神經網絡作為非線性組合函數，用于實現多模型的輸出融合.本設計思想是通過BP神經網絡用來實現多個RVM模型的非線性融合，該組合模型的構架如圖1所示.該組合模型利用不同核函數的RVM模型，從各個維度提取樣本數據的多樣特征信息，再將各子模型輸出作為BP神經網絡的輸入，以實現各子模型預測信息的非線性融合.

圖1 MRVM非線性融合模型結構Fig.1 The structure of MRVM nonlinear combination model

在圖1中，yi為第i個子模型的輸出，m為子模型個數，Y為組合模型的最終輸出.該組合模型的數學表達式為

Y=g(y1,y2,…,ym)

(1)

式中g(·)為非線性組合函數，即BP神經網絡.

1.2RVM基本原理

Tipping基于貝葉斯概念首次提出了關聯向量機理論[7].RVM是一種有效的學習機器，具有良好的泛化能力和稀疏性.對于給定訓練集{ui,yi}i=1,2,…,n，其中yi為主導變量，ui為輔助變量.RVM回歸模型可表示為

(2)

式中：e為白噪聲，符合N(0,σ2)分布；K(u,ui)為核函數；wi為權系數.

假定y滿足獨立分布，則整個數據集的似然函數為

(3)

式中：y=[y1,y2,…,yn]T，ψ(u)=[φ(u1),φ(u2),…,φ(un)]T，φ(ui)=1,K(u1,ui),K(u2,ui),…,K(un,ui).

為求解參數w和σ2的最優(yōu)值，可用最大化似然函數直接進行估計.為保證模型的稀疏性，避免模型參數在訓練過程中出現過擬合，可給權值w定義明確的先驗概率分布，即

(4)

式中：α，w分別為相對應的超參數，且滿足Gamma分布.

RVM的一個重要特征就是給各權值限定先決條件，在經足夠次數更新，絕大多數超參數α將趨于無窮大，對應權值趨于0，與之對應的ui則稱為無關變量；反之，少數穩(wěn)定趨于有限值的超參數α對應的ui則稱為關聯向量.

結合貝葉斯公式和式(3，4)，可計算得到超參數的后驗分布，即

(5)

該后驗分布滿足高斯獨立分布，后驗協方差矩陣為

Σ=(σ-2ψT(u)ψ(u)+A)-1

(6)

式中：對角矩陣A=diag(α0，α1，…，αn)；后驗均值μ=σ-2ΣψT(u)y.

假定給定一個新樣本集unew，則相應的輸出變量概率分布服從高斯分布，相應的預測值ynew=μTψ(unew).

RVM模型的非線性問題處理能力絕大程度上由核函數決定，其直接影響到模型性能的優(yōu)劣.常見的核函數有Poly核、Gauss核和Spline核，其數學表達式分別為

(7)

(8)

KSpline(ui,uj)=1+uiuj+uiujmin(ui,uj)-

(9)

式中：d為多項式級數；δ為高斯核寬.

不同核函數各具不同特性，其中Poly核函數可用于捕捉非穩(wěn)態(tài)特性，能提取距待測點較遠的全局信息，外推性較強；Gauss核函能準確描述穩(wěn)態(tài)性質，可有效提取離測試點較近的信息，學習能力較強；Spline核作為一種可靈活分段的三次函數，能有效避免數據的過擬合[8].

1.3 魚群算法優(yōu)化BP神經網絡模型參數

BP神經網絡模型作為非線性組合函數，在訓練過程中易陷入局部最優(yōu)值，且收斂速度慢.魚群優(yōu)化算法是一種新型仿生集群智能優(yōu)化算法，其通過對魚群覓食、聚群及追尾等行為的模擬，由個體局部尋優(yōu)進而實現整體的全局優(yōu)化，具有較強的并行處理能力、尋優(yōu)速度快、對初始值不敏感、簡單易行和魯棒性強等優(yōu)點[9]，故BP神經網絡的優(yōu)化訓練可采用魚群優(yōu)化算法來實現.

人工魚群優(yōu)化算法是一種循環(huán)迭代算法，在BP神經網絡優(yōu)化訓練過程中以誤差最小化為目標，通過不斷更新初始權重和閾值，以達到最終優(yōu)化目的.實施流程如下：

1)網絡結構確定.BP神經網絡選擇3層網絡結構，確定輸入層神經元數R、輸出層神經元數S1以及隱含層各層神經元數S2.

2)人工魚參數設置.設定人工魚數目f、最大迭代次數m、人工魚感知范圍v、移動步長s、擁擠度因子Δ，權重w和閾值c取值范圍l.

3)確定食物濃度函數FC.以網絡預測平均絕對誤差的倒數作為食物濃度函數，公告牌記錄每次食物濃度最大值，同時將對應人工魚個體計入公告牌.

4)人工魚初始化.在待優(yōu)化參數上下限范圍l內隨機初始化人工魚，每條人工魚X為v維(v=RS1+S1S2+S1+S2，其中RS1為輸入層和隱含層神經元的連接權數目，S1S2為隱含層閾值數目，S1為隱含層和輸出層之間的連接權數目，S2為輸出層閾值數目)，整個魚群是v×f維矩陣，每次魚群行為都是f條人工魚并行尋優(yōu).

5)魚群行為模擬.分別模擬魚群追尾和聚群行為，選擇行動后食物濃度值FC較大的行為執(zhí)行，缺省行為為覓食行為.

(10)

式中：τ為(0，1)之間的隨機數；s為移動步長.

(11)

(12)

6)公告牌.每次魚群行為發(fā)生之后都要將當前狀態(tài)與公告牌狀態(tài)進行比較，若優(yōu)于公告牌狀態(tài)則取而代之.

7)終止條件判斷.判斷迭代次數g是否達到最大迭代次數，若滿足，則輸出最大食物濃度值及最優(yōu)代優(yōu)參數組合；否則g=g+1，返回步驟5)繼續(xù)依次執(zhí)行.

1.4 實施步驟

首先選擇不同核函數建個多個RVM子模型；然后利用BP網絡模擬非線性組合函數，以完成多個RVM模型的有效融合；同時，訓練過程采用魚群優(yōu)化算法分別對BP神經網絡的初始權重和閾值進行優(yōu)化訓練.該組合模型的具體步驟如圖2所示.

圖2 組合模型的建立流程圖Fig.2 Operating flow diagram of combination model

1)將樣本集劃分成訓練集和測試集，選擇各RVM子模型的核函數，利用訓練集建立各核函數的RVM子模型.

2)確定BP神經網絡的訓練樣本，以各子模型的預測信息作為BP神經網絡的輸入，對應實際值作為BP神經網絡的輸出.

3)確定BP神經網絡的拓撲結構，即網絡隱含層數和各隱含層的神經元個數，同時確定BP神經網絡所需的各傳遞函數類型.

4)利用魚群優(yōu)化算法優(yōu)化選取BP神經網絡的最優(yōu)初始權重和閾值.

5)將最優(yōu)初始權重和閾值代入BP神經網絡，并利用步驟2)中的訓練樣本，對神經網絡進行反復訓練找到一個擬合效果最佳的網絡結構，并保存該網絡.

6)采用測試集測試非線性組合模型的模型性能，以評價模型的預測效果.

2 實例仿真

2.1MTO反再部分工藝

甲醇制烯烴(MTO)生產過程反再部分的工藝流程簡圖如圖3所示.甲醇原料自外部進入緩沖罐，經進料泵升壓，再經一系列換熱器裝置換熱后進入反應器；在反應器內，甲醇和來自再生器的高溫再生催化劑接觸，并在催化劑表面快速反應；反應后積炭的待再生催化劑返回再生器，進行燒焦處理完成再生，重新進入反應器再次參與反應.

乙烯收率直接反映MTO生產工藝的效率高低，因此有必要對反應器出口處乙烯收率進行實時在線監(jiān)測.以下將基于AFSA-BPNN的MRVM模型非線性融合建模方法應用于乙烯收率軟測量研究中.

圖3 MTO反再部分工藝流程簡圖Fig.3 Process flow sketch of MTO reaction-regeneration system

2.2 輔助變量選擇與數據預處理

在認真分析MTO反應動力學和生產工藝流程的基礎上，選擇甲醇進料流量、甲醇進料溫度、反應器壓力、反應器密相段溫度、催化劑在反應器中密相段藏量、再生器主風流量和再生器總藏量等作為軟測量模型的輔助變量，反應器出口處乙烯收率則作為軟測量模型的主導變量.

對原始樣本數據集進行預處理，通過濾波方法消除樣本數據隨機誤差，利用3σ準則刪除異常數據，并進行歸一化處理.經預處理后，共得到72組樣本數據，選擇前36組作為訓練集，用于建立軟測量模型；后36組作為測試集，用于測試軟測量模型性能.

2.3 模型參數設置

選擇Gauss核、Spline核及Poly核分別建立三個關聯向量機子模型，其中高斯核寬δ=2.7，多項式級數d=3.根據研究對象的特點和組合模型的結構特點，神經網絡的參數設置為：拓撲結構定為3×8×1(其中隱含層神經元數由文獻[10]中的經驗公式決定，此處取為8)，網絡隱含層傳遞函數為tansig，輸出層傳遞函數為purelin；訓練函數為trainlm，學習函數為learngdm，表現函數為mse，訓練次數為10 000次，訓練目標為10-5.

魚群優(yōu)化算法的參數設置為：人工魚數f=50，最大迭代次數m=100，感知范圍v=0.1，移動步長s=0.05，覓食行為嘗試的最大次數t=50，擁擠度因子Δ=0.618.待優(yōu)化參數取值區(qū)間l=[0.000 1，1].

2.4 結果與討論

乙烯收率與各輔助變量之間存在強非線性關系，此時若只是建立線性組合模型，其預測精度較低.但為了驗證所提出建模方法的有效性，仍將線性組合模型作為對比模型.常見的線性組合方法有方差倒數法、算術平均法和最優(yōu)加權法，其中最優(yōu)加權組合以各子模型預測結果的組合誤差平方和最小為優(yōu)化準則，求解各子模型的最優(yōu)加權系數來建立最優(yōu)線性組合模型，所得模型預測精度較高[11].采用最優(yōu)加權方法建立MRVM的線性組合模型，該線性組合模型的數學表達式為

Y=0.072 8yG+0.147 5yP+0.779 7yS

(13)

式中：yG，yP，yS分別為Gauss核、Poly核和Spline核RVM子模型的輸出.

兩種組合模型(線性組合和非線性組合)與三種單一RVM模型(yG，yP和yS)的預測效果分別如圖4，5所示.

圖4 子模型乙烯收率預測效果Fig.4 Ethylene yield prediction performance of sub-models

圖5 組合模型乙烯收率預測效果Fig.5 Ethylene yield prediction performance of combination models

由圖4，5可知：各單一子模型和線性組合模型均能大致跟蹤實際生產過程中主導變量的變化趨勢，且線性組合模型的跟蹤效果要優(yōu)于各子模型.但相比而言，非線性組合模型則具有更佳的預測效果，能更準確地跟蹤實際生產過程中主導變量的變化趨勢.

為了定量比較各模型的預測性能，采用均方根誤差(RMSE)、平均相對誤差(MRE)和平均絕對誤差(MAE)作為模型的預測性能指標，各性能指標的具體計算公式為

(14)

(15)

(16)

兩種組合模型與三種單一RVM模型的性能指標如表1所示.由表1可知：線性組合模型的性能指標要優(yōu)于單一RVM模型，而非線性組合模型的性能指標又要優(yōu)于線性組合模型，其三項性能指標分別達到0.013 5，0.135 3和0.065 5，與其余四種模型的性能指標數值相比，至少下降了40%，由此表明非線性組合模型具有較佳的預測精度.

表1 誤差效果對比分析

具有不同核函數的RVM子模型可對樣本數據的不同特征信息進行區(qū)分，子模型的預測信息可視為不同信息片段.通過BP神經網絡集成分散單個模型特有的不確定性，使得各模型之間在性能上得到了互補，全面體現出樣本數據的各維特性，降低了總體的不確定性，從而提高了模型的預測精度.另外，BP神經網絡具有強非線性學習能力，采用BP神經網絡實現多模型融合，可使組合模型更好地滿足非線性對象的建模需求.因此，基于AFSA-BPNN的MRVM模型非線性融合建模方法能用于建立具有較佳預測精度的軟測量模型，非常適用于非線性化工對象的軟測量建模研究中.

3 結 論

在RVM軟測量模型的研究工作基礎上，針對實際工況的強非線性問題，提出了一種基于AFSA-BPNN的MRVM模型非線性融合建模方法，利用BP神經網絡實現了不同關聯向量機子模型輸出信息的有效非線性融合，并通過魚群優(yōu)化算法快速、高效地完成BP神經網絡初始權值和閾值的參數尋優(yōu)，成功克服了傳統(tǒng)BP神經網絡所存在的收斂較慢、易收斂于局部最優(yōu)等不足.由甲醇制烯烴生產過程乙烯收率軟測量的研究結果表明：采用基于AFSA-BPNN的MRVM非線性組合建模方法建立的軟測量模型，既實現了準確預測乙烯收率的目的，又為其他化工過程的軟測量應用研究提供了一種性能較好的建模方法.

[1] 王衛(wèi)紅,卓鵬宇.基于PCA-FOA-SVR的股票價格預測研究[J].浙江工業(yè)大學學報,2016,44(4):399-404.

[2] 孫明軒,余軒峰,孔穎.終態(tài)神經計算:有限時間收斂性與相關應用[J].浙江工業(yè)大學學報,2015,43(3):311-317.

[3] 曾甜玲,溫志渝,溫中泉.相關向量機在污水硝氮檢測中的應用[J].光譜學與光譜分析,2013,33(4):1048-1051.

[4] 李麗娜,馬俊,梁德骕,等.基于相關向量機及模擬退火的損耗模型訓練[J].計算機工程與設計,2016,37(1):139-145.

[5] CLEMENTS M P, HARVEY D I. Combining probability forecasts[J]. International journal of forecasting,2011,27(2):208-223.

[6] 孟凡麗,鄭棋,李燕,等.基于BP神經網絡的深基坑圍護變形預測[J].浙江工業(yè)大學學報,2014,42(4):367-372.

[7] TIPPING M E. Sparse bayesian learning and relevance vector machine[J]. Journal of machine learning research,2001,35(3):211-244.

[8] ALAMANIOTIS M, BARGIOTAS D, BOURBAKIS N G, et al. Genetic optimal regression of relevance vector machines for electricity pricing signal forecasting in smart grids[J]. IEEE transactions on smart grid,2015,51(12):2997-3005.

[9] 李曉磊.一種新型的智能優(yōu)化算法-人工魚群算法[D].杭州:浙江大學,2003.

[10] 丁碩,巫慶輝.基于改進BP神經網絡的函數逼近性能對比研究[J].計算機與現代化,2012(11):10-13.

[11] 趙玲,許宏科,程鴻亮.基于最優(yōu)加權組合模型的道路交通事故預測[J].計算機工程與應用,2013,49(24):11-15.

(責任編輯：劉 巖)

Nonlinear fusion modeling of MRVM model based on AFSA-BPNN

XIA Luyue1,2, LIU Yong1,2, PAN Haitian1,2

(1.College of Chemical Engineering, Zhejiang University of Technology, Hangzhou 310014, China; 2.Zhejiang Province Key Laboratory of Biofuel, Hangzhou 310014, China)

Aiming at the nonlinearity and multiple operating modes features of chemical process, a modeling method based on MRVM nonlinearly integrated by BPNN was proposed. Firstly, several RVM sub-models with the different kernel function were developed. Then predictive information of sub-models was combined by BPNN, and the initial weight and threshold were optimized by AFSA. Finally, the nonlinear fusion modeling of MRVM was developed. The modeling method was applied to develop a soft sensor of ethylene yield in the MTO production. The results indicated that the soft sensor based on the modeling method had better prediction precision than single RVM model and optimum weighted combination model.

MRVM; BPNN; AFSA; combined model; nonlinearity

2016-11-01

國家自然科學基金資助項目(21676251)

夏陸岳(1979—)，男，浙江永康人，講師，研究方向為化工過程建模與優(yōu)化，E-mail：lyxia@zjut.edu.cn.

TP391

A

1006-4303(2017)03-0294-06