汪 瑤 徐 亮 殷文志 胡慕伊 黃明智 劉鴻斌,2,*

(1.南京林業(yè)大學江蘇省制漿造紙科學與技術(shù)重點實驗室,江蘇南京,210037；2.華南理工大學制漿造紙工程國家重點實驗室,廣東廣州,510640；3.中山大學水資源與環(huán)境系,廣東廣州,510275)

基于ANN和LSSVR的造紙廢水處理過程軟測量建模

汪 瑤1徐 亮1殷文志1胡慕伊1黃明智3劉鴻斌1,2,*

(1.南京林業(yè)大學江蘇省制漿造紙科學與技術(shù)重點實驗室,江蘇南京,210037；2.華南理工大學制漿造紙工程國家重點實驗室,廣東廣州,510640；3.中山大學水資源與環(huán)境系,廣東廣州,510275)

針對造紙廢水處理系統(tǒng)的時變性、非線性和復(fù)雜性等特點,將人工神經(jīng)網(wǎng)絡(luò)(ANN)和最小二乘支持向量回歸(LSSVR)分別用于造紙廢水處理過程中的軟測量建模,實現(xiàn)造紙廢水處理過程中出水化學需氧量和出水懸浮固形物濃度的預(yù)測。ANN采用誤差反向傳播算法建模,LSSVR通過粒子群優(yōu)化算法進行模型參數(shù)優(yōu)化。結(jié)果表明,與ANN模型預(yù)測結(jié)果相比,LSSVR模型預(yù)測結(jié)果的均方根誤差降低了50%以上,相關(guān)系數(shù)提高了近10%,表明LSSVR模型在造紙廢水處理過程中的預(yù)測精度高于ANN模型。

人工神經(jīng)網(wǎng)絡(luò)；最小二乘支持向量回歸；造紙廢水處理；軟測量建模；粒子群優(yōu)化算法

通常采用物理法或生化法處理造紙廢水,該處理過程具有非線性、時變性、不確定性、復(fù)雜性和滯后性等特點[1]。因而,采用機理分析和數(shù)學推導的方法難以獲得精確的數(shù)學模型[2],特別是與出水水質(zhì)指標相關(guān)的關(guān)鍵參數(shù)無法實現(xiàn)在線測量,這直接影響廢水處理過程的實時控制和優(yōu)化操作。將軟測量技術(shù)應(yīng)用于造紙廢水處理過程,建立出水水質(zhì)關(guān)鍵參數(shù)的軟測量模型,可有效解決這一難題[3]。

目前,軟測量建模的主要方法有機理建模、回歸分析、模糊建模和神經(jīng)網(wǎng)絡(luò)建模等[4- 6]。其中,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)近年來已成功應(yīng)用在造紙廢水處理過程軟測量建模中。李迪等[7]采用ANN對造紙廢水處理過程進行動態(tài)建模；馬邕文等[8]提出了利用模糊神經(jīng)網(wǎng)絡(luò)模型對廢水處理過程的化學需氧量進行控制及預(yù)測；李偉獎等[9]針對誤差反向傳播算法收斂慢、易陷入局部極小等缺點,提出用遺傳算法進行全局尋優(yōu)。

支持向量機(Support Vector Machines,SVM)是一種基于統(tǒng)計學習理論的新型學習機。SVM利用結(jié)構(gòu)最小化原理較好地解決了小樣本、非線性、高維數(shù)、局部極小等實際問題,目前已成為污水處理過程建模領(lǐng)域的研究熱點[10-13]。最小二乘支持向量回歸(Least Square Support Vector Regression,LSSVR)是SVM的改進,其在SVM的基礎(chǔ)上降低了計算復(fù)雜度,有效提高了學習速度,更加適用于工業(yè)過程軟測量建模的研究[14]。張世峰等[15]提出一種基于LSSVR的出水水質(zhì)軟測量模型,并將其應(yīng)用于污水處理過程中溶解氧濃度的控制。

本課題應(yīng)用ANN和LSSVR這2種方法分別建立造紙廢水處理過程的軟測量模型,實現(xiàn)造紙廢水處理過程中出水化學需氧量(CODeff)和出水懸浮固形物(SSeff)濃度的預(yù)測。

1 ANN和LSSVR的原理

1.1 ANN原理

ANN算法多種多樣，其中應(yīng)用最為廣泛的是誤差反向傳播(BP)網(wǎng)絡(luò),其主要由輸入層、隱含層和輸出層構(gòu)成,如圖1所示。BP網(wǎng)絡(luò)的工作原理是輸入信號的正向傳播和誤差信號的反向傳播,通過權(quán)重修正使得式(1)中誤差函數(shù)E趨于最小。

(1)

式中,m為學習樣本數(shù),dk表示第k個節(jié)點的期望值,yk表示第k個節(jié)點的輸出值。

式(1)遞推學習算法如下：

(2)

圖1 BP網(wǎng)絡(luò)結(jié)構(gòu)

1.2 LSSVR原理

SVM的原理是把原始樣本空間通過核函數(shù)映射到高維特征空間,然后在此空間中運用結(jié)構(gòu)風險最小化思想求解凸優(yōu)化問題。SVM的數(shù)學模型是一個典型的二次規(guī)劃問題。由于標準的SVM模型需要求解二次規(guī)劃問題,所以在大樣本數(shù)據(jù)情況下,其運算量大,所需支持的向量個數(shù)也較多,導致模型較復(fù)雜,不易于模型的推廣使用。Suykens等[17]在SVM基礎(chǔ)上提出了LSSVR模型。相對于SVM,LSSVR模型中的約束是等式約束,在優(yōu)化目標函數(shù)中選取了誤差平方和的形式,將原來需要解決的二次規(guī)劃問題通過最優(yōu)性條件轉(zhuǎn)化為線性方程組求解問題,大大降低了計算復(fù)雜度。在非線性系統(tǒng)建模方面,LSSVR模型更具優(yōu)勢,其基本思想[14]如下。

s.t.y(x)=ωTφ(xi)+b+ξi

(3)

式中,ω是權(quán)系數(shù)向量,C是正規(guī)化參數(shù),φ(xi)是輸入空間到高維空間的非線性映射函數(shù),b為閾值,ξi為擬合誤差。引入αi(1,2,3,…,n),定義拉格朗日函數(shù)為：

(4)

又根據(jù)KKT(Karush-Khun-Tucker)條件得到：

(5)

通過消元法消去ω和ξi可以得到如下矩陣方程：

(6)

式中,P1×n是1×n的單位行向量；Pn×1是n×1的單位列向量；K(xi+xj)為滿足Mercer條件的核函數(shù),其中i、j=1,2,…,n；E為n×n單位陣；y=[y1,y2，…,yn]T；α=[α1,α2,…,αn]T,運用最小二乘法可以求得b和α的值,最終求得回歸函數(shù)如下：

(7)

其中,K(xi,xj)稱為核函數(shù)。核函數(shù)的種類很多,常用的有：多項式函數(shù),RBF函數(shù),線性函數(shù),Sigmoid函數(shù)等。筆者選用RBF函數(shù)K(xi,xj)=e-(-xi-xj)2/(2σ2),σ是RBF函數(shù)的核函數(shù)寬度。

1.3 粒子群優(yōu)化算法確定系統(tǒng)參數(shù)

由于建立回歸模型時選用RBF核函數(shù),其模型參數(shù)核函數(shù)寬度σ和正規(guī)化參數(shù)C組成對訓練時的平均誤差影響較大。因此,用合適的參數(shù)選取方法代替人工試湊法將大為縮短建模時間并給予參數(shù)選取以理論支持[18]。在此,采用粒子群優(yōu)化(Particle Swarm Optimization,PSO)算法確定這2個參數(shù)。

假設(shè),對由m個粒子組成的群體進行搜索,粒子i在群體中的位置為Xi=(x1,x2,…,xn),運動速度為Vi=(v1,v2,…,vn)。每個粒子都有一個目標函數(shù)決定的適應(yīng)度值(fitness value)。粒子群初始化為一群隨機粒子,通過迭代找到最優(yōu)解,在每一次的迭代中,粒子通過跟蹤2個“極值”來更新自己,一個為個體極值(pbest),是粒子本身找到的最優(yōu)解；另一個為全局極值(gbest),是整個群體目前找到的最優(yōu)解。粒子群更新公式如下：

Vi+1=Vi+c1·rand·(pbesti-xi)+c2·rand·(gbesti-xi)

(8)

Xi+1=xi+Vi

(9)

式中,rand是介于(0，1)間的隨機數(shù)；c1和c2是學習因子,通常取c1=c2=2。通過不斷更新粒子,直至滿足迭代結(jié)束條件之后,得到的粒子最優(yōu)位置,即為LSSVR模型對應(yīng)的最優(yōu)參數(shù)值σ和C。PSO算法流程圖如圖2所示。

圖2 PSO算法流程圖

圖3 造紙廢水處理過程數(shù)據(jù)

2 建模與結(jié)果分析

2.1 造紙廢水處理軟測量模型的建立

2.1.1 廢水數(shù)據(jù)分析

本實驗的建模數(shù)據(jù)來源于廣東某造紙廠的廢水處理車間,數(shù)據(jù)是該廠于2006年3月15日—12月21日期間在好氧段出水處得到的,共計170組數(shù)據(jù),如圖3所示。從圖3可看出,樣本中共含有8個變量,分別為進水化學需氧量(CODinf)、出水化學需氧量(CODeff)、進水懸浮固形物濃度(SSinf)、出水懸浮固形物濃度(SSeff)、流量Q、溫度T、溶解氧量(DO)和pH值,其中CODinf、SSinf、pH值、Q、T和DO作為系統(tǒng)的輸入量,分別預(yù)測CODeff和SSeff。

2.1.2 ANN預(yù)測模型的建立

從數(shù)據(jù)樣本中,隨機選取90組樣本進行訓練,剩下的80組作為檢驗樣本來做預(yù)測。根據(jù)經(jīng)驗,筆者采用(6,16,1)的網(wǎng)絡(luò)結(jié)構(gòu)。在BP網(wǎng)絡(luò)經(jīng)過訓練收斂后,利用訓練好的網(wǎng)絡(luò)模型對剩下的數(shù)據(jù)進行仿真,結(jié)果如圖4和圖5所示。

2.1.3 LSSVR預(yù)測模型的建立

與ANN選用相同的訓練集和預(yù)測集。在初始時刻選擇參數(shù)的優(yōu)化范圍0.1≤σ≤500,1≤C≤1000,以及選定粒子群規(guī)模為70和最大的迭代次數(shù)為200。通過對訓練數(shù)據(jù)的學習及PSO算法對LSSVR的參數(shù)優(yōu)化調(diào)整[19],得到預(yù)測CODeff和SSeff時的最優(yōu)參數(shù),分別為σ1=28.5,C1=3.9；σ2=56.5,C2=2.4。預(yù)測結(jié)果如圖6和圖7所示。

2.2 結(jié)果分析

為了比較ANN和LSSVR這2種模型的性能,采用相關(guān)系數(shù)(R)和均方根誤差(RMSE)作為評價指標來評價模型的預(yù)測效果。其中,R用來反映預(yù)測值與測量值之間相關(guān)的密切程度,見式(10)；RMSE用來衡量預(yù)測值與測量值之間的偏差,見式(11)。最終得到的R和RMSE的值如表1所示。

(10)

(11)

圖4 ANN模型的CODeff預(yù)測值與測量值對比

圖5 ANN模型的SSeff預(yù)測值與測量值對比

圖6 LSSVR模型的CODeff預(yù)測值與測量值對比

圖7 LSSVR模型的SSeff預(yù)測值與測量值對比

由圖4與圖6的對比和圖5與圖7的對比可以看出,LSSVR模型所得預(yù)測值更接近測量值。由表1所示的R和RMSE可知,與ANN模型相比,LSSVR模型預(yù)測CODeff時的RMSE降低了52%,在預(yù)測SSeff時的RMSE降低了56%,且LSSVR模型得到的相關(guān)系數(shù)R提高了近10%。以上說明,LSSVR模型預(yù)測結(jié)果的精度高于ANN模型預(yù)測結(jié)果。

表1 ANN和LSSVR模型預(yù)測結(jié)果的性能指標對比

雖然LSSVR模型預(yù)測的效果較好,但由表1也可以看出,這2種模型所得相關(guān)系數(shù)R均不高。索幸儀等[20]提出了一種基于模糊核聚類的多最小二乘支持向量的軟測量建模方法,用模糊核聚類算法對輸入數(shù)據(jù)進行分類,針對每個聚類子集用LSSVR建立子模型。這種多模型的建模方法把難以用一個模型表達的復(fù)雜系統(tǒng)轉(zhuǎn)換為用多個簡單模型逼近,可大大提高模型的精度。由此思考,將本研究中的6個輸入量進行分類,建立多個LSSVR子模型以提高模型精度,這可以作為將來的研究方向。

3 結(jié) 論

3.1 采用人工神經(jīng)網(wǎng)絡(luò)(ANN)和最小二乘支持向量回歸(LSSVR)2種方法分別對造紙廢水處理過程中的出水COD和SS進行預(yù)測。通過對比這2種方法的預(yù)測結(jié)果發(fā)現(xiàn),在相同的訓練集和預(yù)測集的情況下,LSSVR模型的預(yù)測結(jié)果比ANN模型更為精確。這說明,在小樣本的訓練中,LSSVR模型效果更好。

3.2 采用粒子群優(yōu)化(PSO)算法對LSSVR模型參數(shù)進行優(yōu)化,解決了LSSVR在參數(shù)選擇時用人工試湊法的盲目性,大大減少了參數(shù)選擇的時間,結(jié)果也更為精確。

3.3 ANN模型和LSSVR模型所得相關(guān)系數(shù)R均不高。如何利用其他方法,如多模型建模方法等,對模型進行優(yōu)化以提高模型的預(yù)測精度,是今后研究的方向。

[1] Zhang Q, Stanley S J. Real-time water treatment process control with artificial neural networks[J]. Journal of Environmental Engineering, 1999, 125(2): 153.

[2] 劉建勇, 周雪飛, 薛 罡, 等. 智能控制在污水處理中的應(yīng)用現(xiàn)狀及展望[J]. 中國給水排水, 2002, 18(11): 22.

[3] 趙 超, 戴坤成, 王貴評, 等. 基于AWLS-SVM的污水處理過程軟測量建模[J]. 儀器儀表學報,2015, 36(8): 1792.

[4] 徐文艷, 王 豪. 基于機理建模的聚醋酸乙烯濃度軟測量技術(shù)[J]. 化工自動化及儀表, 2010, 37(7): 70.

[5] 俞金壽. 軟測量技術(shù)及其應(yīng)用[J]. 自動化儀表, 2008, 29(1): 1.

[6] 于 濤, 王建林, 何 坤, 等. 基于MPCA-GP的發(fā)酵過程分階段軟測量建模方法[J]. 儀器儀表學報, 2013, 34(12): 2703

[7] 李 迪, 唐 輝, 萬金泉, 等. 基于ANN的廢紙造紙廢水處理過程的動態(tài)建模[J]. 華南理工大學學報： 自然科學版, 2005, 33(12): 42.

[8] 馬邕文, 黃明智, 萬金泉, 等. 模糊神經(jīng)模型對廢水處理過程COD的預(yù)測及控制[J]. 中國造紙學報, 2008, 23(4): 113.

[9] 李偉獎, 馬邕文. 基于遺傳算法和BP網(wǎng)絡(luò)的造紙廢水處理預(yù)測研究[J]. 中國造紙學報, 2010, 25(1): 67.

[10] 王啟超. 基于組合核函數(shù)支持向量機的軟測量技術(shù)及其應(yīng)用研究[D]. 南昌： 江西理工大學, 2011.

[11] 蘇書惠, 張紹德, 譚敬輝. 基于支持向量機的污水處理軟測量算法的研究[J]. 自動化與儀器儀表, 2009, 4(6): 6.

[12] 張 杰, 張建秋, 馮 輝, 等. 支持向量機和神經(jīng)網(wǎng)絡(luò)聯(lián)合軟測量SBR污水處理中COD的方法[J]. 傳感技術(shù)學報, 2009, 22(10): 1519.

[13] 劉成忠, 韓俊英. 基于鄰域粗糙集的支持向量機在污水處理故障診斷中的應(yīng)用[J]. 甘肅農(nóng)業(yè)大學學報, 2013, 48(3): 176

[14] 顧燕萍, 趙文杰, 吳占松. 最小二乘支持向量機的算法研究[J]. 清華大學學報： 自然科學版, 2010, 50(7): 1063.

[15] 張世峰, 楊 成, 李曉明. 基于LSSVM逆系統(tǒng)在污水處理系統(tǒng)DO控制中的研究[J]. 工業(yè)控制計算機, 2013, 26(4): 66.

[16] 韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、 設(shè)計及應(yīng)用[M].北京：化學工業(yè)出版社, 2007.

[17] Suykens J A K, Brabanter J D, Lukas L, et al. Weighted least squares support vector machines: robustness and sparse approximation[J]. Neurocomputing, 2002, 48(1/2/3/4): 85.

[18] 任洪娥, 霍滿冬. 基于PSO優(yōu)化的SVM預(yù)測應(yīng)用研究[J]. 計算機應(yīng)用研究, 2009, 26(3): 867.

[19] 徐方舟, 潘 豐. 基于PSO-LSSVM污水處理系統(tǒng)出水數(shù)據(jù)的軟測量[J]. 江南大學學報： 自然科學版, 2010, 9(3): 253.

[20] 索幸儀, 侍洪波. 基于多模型模糊核聚類方法的污水處理過程軟測量建模[J]. 華東理工大學學報： 自然科學版, 2010, 36(5): 732.

(責任編輯：陳麗卿)

Soft Sensor Modeling of Papermaking Wastewater Treatment Processes Based on ANN and LSSVR

WANG Yao1XU Liang1YIN Wen-zhi1HU Mu-yi1HUANG Ming-zhi3LIU Hong-bin1,2,*

(1.JiangsuProvincialKeyLaboratoryofPulpandPaperScienceandTechnology,NanjingForestryUniversity,Nanjing,JiangsuProvince, 210037； 2.StateKeyLaboratoryofPulpandPaperEngineering,SouthChinaUniversityofTechnology,Guangzhou,GuangdongProvince, 510640; 3.DepartmentofWaterResourcesandEnvironment,SunYat-SenUniversity,Guangzhou,GuangdongProvince, 510275)

(*E-mail: hbinjm@163.com)

Concerning the time-varying, nonlinear, and complex characteristics of papermaking wastewater treatment systems, soft sensor modeling methods based on artificial neural network (ANN) and least squares support vector regression (LSSVR) were used to predict effluent chemical oxygen demand and suspended solids in a papermaking wastewater treatment process. ANN model was established by using error back propagation algorithm. The particle warm optimization was used to optimize model parameters in the LSSVR model. The results showed that the root mean square error of LSSVR model reduced by more than 50% compared with that of ANN model, and the correlation coefficient of LSSVR model increased by about 10% compared with that of ANN model. These results indicated that the LSSVR model had better prediction performance and higher accuracy compared to the ANN model in papermaking wastewater treatment process．

artificial neural network; least squares support vector regression; papermaking wastewater treatment; soft sensor modeling; particle swarm optimization

2016- 01-25

制漿造紙工程國家重點實驗室開放基金資助項目(201610)；南京林業(yè)大學高層次人才科研啟動基金(163105996)；江蘇省制漿造紙科學與技術(shù)重點實驗室開放基金項目(201530)。

汪 瑤,女,1992年生；在讀碩士研究生；主要研究方向：制漿造紙過程與控制。

*通信聯(lián)系人：劉鴻斌,E-mail:hbinjm@163.com。

X793

A

1000- 6842(2017)01- 0050- 05