吳朔楓, 顏學(xué)峰

(華東理工大學(xué)化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,上海 200237)

?

基于即時(shí)學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)及其干點(diǎn)預(yù)測(cè)

吳朔楓, 顏學(xué)峰

(華東理工大學(xué)化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,上海 200237)

針對(duì)單個(gè)神經(jīng)網(wǎng)絡(luò)泛化能力差、對(duì)不同樣本預(yù)測(cè)精度波動(dòng)大的問題,提出了一種基于即時(shí)學(xué)習(xí)集成神經(jīng)網(wǎng)絡(luò)方法。首先,基于訓(xùn)練樣本,建立多個(gè)不同的神經(jīng)網(wǎng)絡(luò)模型。其次,根據(jù)即時(shí)學(xué)習(xí)的思想,在對(duì)樣本進(jìn)行預(yù)測(cè)時(shí),在訓(xùn)練樣本中尋找與預(yù)測(cè)樣本最接近的若干鄰近樣本,根據(jù)各網(wǎng)絡(luò)對(duì)鄰近樣本的訓(xùn)練誤差,即時(shí)形成各神經(jīng)網(wǎng)絡(luò)的集成權(quán)重,實(shí)時(shí)構(gòu)造集成神經(jīng)網(wǎng)絡(luò)模型,對(duì)預(yù)測(cè)樣本進(jìn)行預(yù)測(cè)。最后,將該方法應(yīng)用于初頂石腦油干點(diǎn)的預(yù)測(cè),相比于文獻(xiàn)中提出的方法,得到了更好的預(yù)測(cè)結(jié)果。

神經(jīng)網(wǎng)絡(luò); 即時(shí)學(xué)習(xí); 集成; 干點(diǎn)

通常,化工過程輸入輸出變量較多,內(nèi)部關(guān)系復(fù)雜,難以建立可靠的機(jī)理模型,往往根據(jù)已知的輸入輸出樣本數(shù)據(jù)建立其所蘊(yùn)含的復(fù)雜關(guān)系的模型。神經(jīng)網(wǎng)絡(luò)模型能夠描述這類多輸入多輸出的非線性過程,在化工過程建模中廣泛使用。但單一神經(jīng)網(wǎng)絡(luò)模型存在最優(yōu)模型結(jié)構(gòu)難以確定、泛化能力差、對(duì)不同樣本預(yù)測(cè)波動(dòng)性大、模型穩(wěn)定性不足等缺點(diǎn)。

集成神經(jīng)網(wǎng)絡(luò)模型是由多個(gè)相似或相同目的建立的神經(jīng)網(wǎng)絡(luò)子模型組成的預(yù)測(cè)模型,其能有效提高模型的泛化能力和魯棒性。文獻(xiàn)[1]提出了一種基于多神經(jīng)網(wǎng)絡(luò)的水質(zhì)預(yù)測(cè)模型,通過聚類將輸入空間劃分為局部空間,在每個(gè)子空間上建立子模型,然后用主元遞歸解決子模型之間的相關(guān)性問題,進(jìn)而提高了模型的精度和魯棒性;文獻(xiàn)[2]提出了一種基于多神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)控制方法,采用廣義信息熵融合各個(gè)子模型,提高了模型的準(zhǔn)確性和可靠性;文獻(xiàn)[3]提出了一種多神經(jīng)網(wǎng)絡(luò)建立動(dòng)態(tài)軟測(cè)量模型的方法,在二元精餾塔的塔底產(chǎn)品成分估計(jì)上取得了較好的效果;文獻(xiàn)[4]采用RBF網(wǎng)絡(luò)和Elman網(wǎng)絡(luò)分別建立了穩(wěn)壓器的預(yù)測(cè)模型和診斷模型,然后用模糊邏輯對(duì)結(jié)果進(jìn)行融合。

即時(shí)學(xué)習(xí)是一種尋找與當(dāng)前數(shù)據(jù)最相似的歷史數(shù)據(jù)來(lái)進(jìn)行建模的方法。文獻(xiàn)[5]提出了一種改進(jìn)的即時(shí)模型辨識(shí)方法,然后與自校正極點(diǎn)配置算法相結(jié)合,設(shè)計(jì)出了一種多模型自適應(yīng)控制器,對(duì)非線性系統(tǒng)的動(dòng)態(tài)特性實(shí)現(xiàn)了較好的逼近,使系統(tǒng)的動(dòng)態(tài)響應(yīng)品質(zhì)得到了改善。文獻(xiàn)[6]將即時(shí)學(xué)習(xí)算法應(yīng)用于非線性系統(tǒng)的迭代控制中,運(yùn)用即時(shí)學(xué)習(xí)算法有效地估計(jì)了初始控制量,減小了初始輸出誤差,加快了算法收斂速度,使得經(jīng)過有限次迭代的系統(tǒng)輸出能準(zhǔn)確地跟蹤理想信號(hào)。文獻(xiàn)[7]將即時(shí)學(xué)習(xí)算法應(yīng)用在軟測(cè)量建模上,提出了一種矢量近鄰方法,提高了即時(shí)學(xué)習(xí)算法的預(yù)測(cè)能力,然后與最小二乘算法相結(jié)合,實(shí)現(xiàn)了較好的預(yù)測(cè)效果。

本文將即時(shí)學(xué)習(xí)和集成神經(jīng)網(wǎng)絡(luò)方法相結(jié)合,通過即時(shí)學(xué)習(xí)策略確定與預(yù)測(cè)樣本相近的鄰近樣本,然后分析各子模型對(duì)鄰近樣本的預(yù)測(cè)能力,實(shí)現(xiàn)加權(quán)集成,并應(yīng)用在初頂石腦油干點(diǎn)的預(yù)測(cè)上,取得了較好的效果。

1 基于即時(shí)學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)方法

1.1 概述

設(shè)一個(gè)多輸入單輸出的非線性系統(tǒng),其中輸入為x∈Rd,輸出為y∈R,采集的樣本數(shù)據(jù)集為{(xj,yj)}j=1,2,…,N(N代表樣本數(shù)據(jù)總量)。假定輸入輸出之間存在一種未知的非線性映射關(guān)系y=f(x),通過集成神經(jīng)網(wǎng)絡(luò)建模,基于樣本數(shù)據(jù)集,建立描述輸入輸出的非線性關(guān)系模型。

1.2 集成神經(jīng)網(wǎng)絡(luò)模型中單個(gè)神經(jīng)網(wǎng)絡(luò)模型的建立

采用包含輸入層、隱含層、輸出層的3層前饋神經(jīng)網(wǎng)絡(luò),其中輸入層和輸出層的神經(jīng)元個(gè)數(shù)由被建模對(duì)象的輸入輸出變量個(gè)數(shù)決定,隱單元數(shù)量則決定了網(wǎng)絡(luò)的表達(dá)能力。較少的隱單元數(shù)無(wú)法擬合復(fù)雜的非線性關(guān)系,較多的隱單元數(shù)會(huì)出現(xiàn)過擬合現(xiàn)象。本文選用不同隱單元數(shù)的神經(jīng)網(wǎng)絡(luò)作為各個(gè)子模型,建立n個(gè)神經(jīng)網(wǎng)絡(luò)子模型,其中每個(gè)神經(jīng)網(wǎng)絡(luò)子模型都采用歷史數(shù)據(jù)集{(xj,yj)}j=1,2,…,N進(jìn)行訓(xùn)練。

1.3 數(shù)據(jù)選擇方法

根據(jù)即時(shí)學(xué)習(xí)思想,從采集的大量歷史數(shù)據(jù)中,選擇出與當(dāng)前工作狀態(tài)最相近或最相似的歷史數(shù)據(jù),根據(jù)各個(gè)子模型在這些最相似歷史數(shù)據(jù)上的訓(xùn)練誤差,確定每個(gè)子模型預(yù)測(cè)輸出在最終輸出中所占的比重。影響數(shù)據(jù)選擇效果的因素如下:

(1)數(shù)據(jù)選擇條件。即評(píng)價(jià)歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)靠近程度的測(cè)算方法。因?yàn)橹挥胁捎靡粋€(gè)較為合理的測(cè)算準(zhǔn)則,才能選取出與當(dāng)前數(shù)據(jù)最為相關(guān)的歷史數(shù)據(jù),進(jìn)而獲得較好的局部預(yù)測(cè)模型。

(2)所選數(shù)據(jù)的多少。如果數(shù)據(jù)較多,就會(huì)無(wú)法反映系統(tǒng)的局部特性;如果數(shù)據(jù)較少,就會(huì)無(wú)法得到一個(gè)較好的預(yù)測(cè)模型。

本文采用如下方法作為相近程度的評(píng)價(jià)準(zhǔn)則[7]:

假設(shè)兩個(gè)向量xp,xq,其中xp表示歷史數(shù)據(jù)集中的一個(gè)輸入向量,xq表示當(dāng)前采集到的用來(lái)預(yù)測(cè)系統(tǒng)輸出的輸入向量;兩個(gè)向量的歐氏距離d與夾角θ定義為

(1)

(2)

(1) 當(dāng)cos[θ(xp,xq)]<0時(shí),認(rèn)為兩個(gè)向量偏離較大,在子模型訓(xùn)練時(shí),拋棄這個(gè)歷史數(shù)據(jù)。

(2) 當(dāng)cos[θ(xp,xq)]>0時(shí),采用式(3)作為兩個(gè)向量的靠近程度,其中0≤λ≤1。

(3)

(3) 定義一個(gè)閾值0≤ζ≤1,如果J(xp,xq)>ζ,將其作為需要考慮的鄰近樣本,否則就拋棄它,最后得到k個(gè)鄰近樣本。

1.4 網(wǎng)絡(luò)集成步驟

(1) 使用歷史數(shù)據(jù)集{(xj,yj)}j=1,2,…,N中的所有數(shù)據(jù)對(duì)1.2節(jié)中構(gòu)造的n個(gè)不同隱單元數(shù)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

(2) 對(duì)于測(cè)試集中的一個(gè)輸入向量xq,采用1.3節(jié)中的計(jì)算方法選擇出k個(gè)鄰近樣本。計(jì)算n個(gè)子模型在這k個(gè)鄰近樣本上各自的平均訓(xùn)練誤差ei,然后構(gòu)造1×n維的權(quán)值向量w,其中wi=1/ei,i∈[1,n]。

(3) 計(jì)算n個(gè)子模型對(duì)輸入數(shù)據(jù)xq的預(yù)測(cè)結(jié)果,得到1×n 維的輸出向量y。

(4) 計(jì)算最終的預(yù)測(cè)結(jié)果。

(4)

2 初頂石腦油干點(diǎn)預(yù)測(cè)模型

2.1 概述

圖1示出了初餾塔的工藝流程,為了確保精餾效果以及提高塔內(nèi)的處理量,控制氣液相的負(fù)荷,初餾塔設(shè)置了一個(gè)頂回流、兩個(gè)循環(huán)回流(First pump-around和 Second pump-around)。采用初頂石腦油干點(diǎn)的工業(yè)數(shù)據(jù)作為本文的樣本數(shù)據(jù)。在實(shí)際石化工業(yè)過程中,有非常多的環(huán)境因素共同決定著初頂石腦油的干點(diǎn)。

2.2 模型數(shù)據(jù)

采集的樣本一共包含了275組數(shù)據(jù)。每組數(shù)據(jù)由10個(gè)輸入量和1個(gè)輸出量組成,10個(gè)輸入量主要描述的是精餾塔的狀態(tài)量,輸出量是初頂石腦油干點(diǎn),如表1所示。

圖1 初餾塔流程圖Fig.1 Flow chart of primary distillation tower表1 模型輸入量和輸出量Table 1 Input and output variables of model

VariablesRangeReflashtowerhandingcapacityx1/(kg·h-1)333.2～450.7Towertoptemperaturex2/℃143.1～152.9Towertoppressurex3/MPa0.166～0.288Topbackflowtemperaturex4/℃5.64～15.21Backflowratiox5/%0.468～1.522Naphthaflowcapacityx6/(kg·h-1)20.03～67.04Firstpump-aroundtemperaturex7/℃0.802～5.709Secondpump-aroundtemperaturex8/℃2.35～5.67Feedtemperaturex9/℃226～251.5Previousnaphthadrypointx10/℃157～175.5Naphthadrypointy/℃157～175.5

圖2示出了模型輸入量與輸出量的關(guān)系。從圖2可以看出,各個(gè)輸入與輸出之間呈現(xiàn)出了非常明顯的非線性關(guān)系。

2.3 初頂石腦油干點(diǎn)預(yù)測(cè)模型的建立

2.3.1數(shù)據(jù)預(yù)處理 將275組數(shù)據(jù)隨機(jī)分為兩部分,185組作為訓(xùn)練數(shù)據(jù),90組作為測(cè)試數(shù)據(jù)。為了便于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,把所有數(shù)據(jù)歸一化到[-1,1]中。

(5)

2.3.2 子模型訓(xùn)練 根據(jù)文獻(xiàn)[8]可知,對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),網(wǎng)絡(luò)的訓(xùn)練誤差會(huì)因隱單元數(shù)不同而發(fā)生變化。本文分別采用2～9個(gè)隱單元的神經(jīng)網(wǎng)絡(luò)作為子模型,用訓(xùn)練集中的數(shù)據(jù)對(duì)各個(gè)子模型進(jìn)行10次訓(xùn)練,圖3示出了各子模型10次訓(xùn)練中的平均訓(xùn)練誤差。

從圖3可以看出,在185組訓(xùn)練數(shù)據(jù)上,隨著隱單元數(shù)的增加,網(wǎng)絡(luò)的平均訓(xùn)練誤差逐漸減小。

針對(duì)測(cè)試集中的90組數(shù)據(jù),計(jì)算各子模型在10次訓(xùn)練中的平均預(yù)測(cè)誤差,圖4示出了2～9個(gè)隱單元的子模型在90組數(shù)據(jù)上的平均預(yù)測(cè)誤差。

圖4 各子模型平均預(yù)測(cè)誤差Fig.4 Average test error of every sub-network

2.3.3 網(wǎng)絡(luò)集成 首先,采用1.3節(jié)中的方法選擇鄰近數(shù)據(jù),在選擇過程中,將ζ設(shè)置為0.7,λ設(shè)置為0.5,經(jīng)過計(jì)算可以得到90組測(cè)試數(shù)據(jù)各自的鄰近數(shù)據(jù)。采用類似概率分布的方式來(lái)展示90組測(cè)試數(shù)據(jù)的鄰近數(shù)據(jù)選擇結(jié)果,如圖5所示。圖中橫坐標(biāo)表示鄰近數(shù)據(jù)的組數(shù),縱坐標(biāo)表示測(cè)試數(shù)據(jù)的組數(shù),例如,柱狀圖最高的那一項(xiàng)表示:有16組測(cè)試數(shù)據(jù),它們鄰近數(shù)據(jù)的組數(shù)是15,即這16組測(cè)試數(shù)據(jù)各自都有15組鄰近數(shù)據(jù)。從圖中可以看出,各組測(cè)試數(shù)據(jù)上鄰近數(shù)據(jù)的組數(shù)在大尺度范圍上近似呈現(xiàn)正態(tài)分布的模式,但有些測(cè)試數(shù)據(jù)的鄰近數(shù)據(jù)較少,可能會(huì)影響本文方法在這類測(cè)試數(shù)據(jù)上的預(yù)測(cè)效果。

圖5 鄰近數(shù)據(jù)選擇結(jié)果Fig.5 Result of adjacent data selection

接下來(lái),確定在一個(gè)特定的測(cè)試數(shù)據(jù)上各子網(wǎng)絡(luò)模型的權(quán)值系數(shù)。例如,對(duì)于歸一化后的一組測(cè)試數(shù)據(jù)x,設(shè)它有k組鄰近數(shù)據(jù),然后計(jì)算已經(jīng)訓(xùn)練出的8個(gè)子網(wǎng)絡(luò)模型分別在這組測(cè)試數(shù)據(jù)上的預(yù)測(cè)值(y1,y2,…..,y8)以及k組鄰近數(shù)據(jù)上的平均訓(xùn)練誤差(e1,e2,…,e8),采用公式wi=1/ei,i∈[1,8]計(jì)算各子模型的權(quán)值,最后采用1.4節(jié)中的式(4)計(jì)算最終的預(yù)測(cè)值y。

針對(duì)90組測(cè)試數(shù)據(jù),計(jì)算每組數(shù)據(jù)的預(yù)測(cè)值,總體的預(yù)測(cè)效果見表2。表中RMSE為均方根誤差;APE為平均百分比誤差;r為預(yù)測(cè)輸出與實(shí)際輸出的相關(guān)系數(shù)。計(jì)算公式如下:

(6)

(7)

(8)

比較表2與圖4可以看出,集成后的預(yù)測(cè)誤差相比各個(gè)子模型的預(yù)測(cè)誤差都要小,因此可以說(shuō)集成方法成功地減小了預(yù)測(cè)誤差。

表2 集成神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果Table 2 Prediction result of intergraded neural network

圖6示出了集成方法的預(yù)測(cè)誤差分布情況,可以看出接近90%的預(yù)測(cè)誤差小于1.5(系統(tǒng)輸出實(shí)際值范圍是157～175.5 ℃,即90%的誤差小于取值范圍的10%)。

圖6 預(yù)測(cè)誤差分布圖Fig.6 Distribution of test error

2.3.4 結(jié)果分析 表3 示出了各子模型的權(quán)重總和。可以看出,各個(gè)子模型在組合過程中對(duì)于預(yù)測(cè)輸出的貢獻(xiàn)度(即在90組測(cè)試數(shù)據(jù)上的權(quán)值總和)基本相近,因此,在組合過程中,每個(gè)子模型的輸出結(jié)果總體來(lái)說(shuō)基本上是同等重要的。

表3 各子模型的權(quán)重總和Table 3 Sum of weights in every sub-network

同時(shí)也不難發(fā)現(xiàn),權(quán)值總和最大的子模型4(5)對(duì)應(yīng)的預(yù)測(cè)誤差最小,而權(quán)值總和最小的子模型1(2)對(duì)應(yīng)的預(yù)測(cè)誤差最大。因此,可以看出子模型預(yù)測(cè)輸出對(duì)總體的貢獻(xiàn)度與子模型本身的預(yù)測(cè)誤差有關(guān)系。

2.3.5 結(jié)果比較 圖7示出了本文方法在初頂石腦油干點(diǎn)預(yù)測(cè)上的實(shí)驗(yàn)結(jié)果,圖8示出了文獻(xiàn)[9]的實(shí)驗(yàn)結(jié)果,圖9示出了文獻(xiàn)[10]的實(shí)驗(yàn)結(jié)果。通過比較可以發(fā)現(xiàn),本文方法的實(shí)驗(yàn)結(jié)果更好。

圖7 本文方法實(shí)驗(yàn)結(jié)果Fig.7 Result of this paper

圖8 文獻(xiàn)[9]方法實(shí)驗(yàn)結(jié)果Fig.8 Result of literature[9]

圖9 文獻(xiàn)[10]方法實(shí)驗(yàn)結(jié)果Fig.9 Result of literature[10]

3 結(jié) 論

本文提出了一種基于即時(shí)學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)方法,主要思想是利用各神經(jīng)網(wǎng)絡(luò)子模型的局部預(yù)測(cè)精確度,通過子模型集成構(gòu)造一個(gè)更加精確的預(yù)測(cè)模型,然后將此方法應(yīng)用于初頂石腦油干點(diǎn)的預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明,本文提出的集成神經(jīng)網(wǎng)絡(luò)方法成功地減小了預(yù)測(cè)誤差,與文獻(xiàn)[9-10]提出的方法相比,本文方法有著更好的預(yù)測(cè)效果。同時(shí)不難看出,本文提出的集成方法不僅可以應(yīng)用于神經(jīng)網(wǎng)絡(luò),也可以應(yīng)用于其他的一些基于數(shù)據(jù)的擬合算法。

[1] 余偉,羅飛,楊紅,等.基于多神經(jīng)網(wǎng)絡(luò)的污水氨氮預(yù)測(cè)模型[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,38(12):79-83.

[2] 熊智華,王雄,徐用懋.基于廣義信息熵融合的多神經(jīng)網(wǎng)絡(luò)建模方法[J].信息與控制,1999,41(增刊):346-349.

[3] 羅健旭,邵惠鶴.應(yīng)用多神經(jīng)網(wǎng)絡(luò)建立動(dòng)態(tài)軟測(cè)量模型[J].化工學(xué)報(bào),2003,54(12):1770-1773.

[4] 韓龍,周月,孫旭升.基于集成神經(jīng)網(wǎng)絡(luò)與模糊邏輯融合的穩(wěn)壓器泄漏監(jiān)測(cè)方法[J].原子能科學(xué)技術(shù),2014,48(Z1):474-479.

[5] 孫維,王偉.基于即時(shí)學(xué)習(xí)算法非線性系統(tǒng)多模型自適應(yīng)控制[J].大連理工大學(xué)學(xué)報(bào),2002,42(5):611-615.

[6] 朱瑞軍.即時(shí)學(xué)習(xí)算法在非線性系統(tǒng)迭代學(xué)習(xí)控制中的應(yīng)用[J].控制與決策,2003,18(3):278-281.

[7] 王其紅,潘天紅,鄒云.基于即時(shí)學(xué)習(xí)算法的軟測(cè)量建模方法[J].南京理工大學(xué)學(xué)報(bào),2007,31(6):278-281.

[8] RICHARD O D,PETER E H,DAVID G S.模式分類[M].北京:機(jī)械工業(yè)出版社,2003.

[9] ZHOU Weihua,YAN Xuefeng,CHEN Chao,etal. Optimization of RBF neural networks using a rough K-means algorithm and application to naphtha dry point soft sensors[J].Journal of Chemical Engineering of Japan,2013,46(7):501-508.

[10] 顏學(xué)峰.基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的干點(diǎn)軟測(cè)量[J].高技術(shù)通訊,2007,17(1):44-48.

Integrated Neural Network Based on Just-in-Time Learning and Application on Dry Point Prediction

WU Shuo-feng, YAN Xue-feng

(Key Laboratory of Advanced Control and Optimization for Chemical Process,Ministry of Education,East China University of Science and Technology,Shanghai 200237,China)

Aiming at the poor generalization ability of single neural networks and large fluctuations of test accuracy for different samples,this paper presents an integrated neural network method based on the just-in-time learning.Firstly,several different neural network models are established based on the training samples.Secondly,several adjacent samples closest to the predicted samples are selected based on the just-in-time learning while predicting the samples.According to the training errors of the sub-networks on the adjacent samples,the integrated weights of the neural networks are generated immediately to establish the integrated neural network model in real time for predicting the test samples.Finally,the proposed method is applied to predict the naphtha dry point and a better prediction result is achieved,compared with the existing methods.

neural network; just-in-time learning; integration; dry point

1006-3080(2016)05-0696-07

10.14135/j.cnki.1006-3080.2016.05.017

2015-12-04

國(guó)家“973”計(jì)劃 (2013CB733605);國(guó)家自然科學(xué)基金 (21176073)

吳朔楓(1990-),男,山東人,碩士生,研究方向?yàn)榛み^程建模。E-mail:715122013@qq.com

顏學(xué)峰,E-mail:xfyan@ecust.edu.cn

TP183

A