崔東文
(云南省文山州水務局,云南文山 663000)
氮、磷是引起水體富營養(yǎng)化和水華的主導性因子,也是湖庫營養(yǎng)狀態(tài)評價、污染物排放總量控制的重要性指標。湖庫氮(N)、磷(P)等營養(yǎng)物質的大量增加,總是伴隨著水體富營養(yǎng)化,甚至水華現(xiàn)象的發(fā)生[1]。因此準確預測湖庫中的N、P 濃度對預防水體富營養(yǎng)化具有重要現(xiàn)實意義。近年來,人工神經網(wǎng)絡(artifical neural network,ANN)廣泛運用于水質預測研究領域,如水體礦化度的預測[2]、河湖水華預測[3-5]、河流BOD-DO 模擬預測[6]、湖庫葉綠素預測[7]、水質指標預測[8]等,均取得了較好效果。然而傳統(tǒng)BP 人工神經網(wǎng)絡模型存在著學習收斂速度慢、易陷入局部極值以及網(wǎng)絡結構難以確定等缺點,為克服其算法的不足,學者們提出基于附加動量、自適應調整參數(shù)、彈性方法、擬牛頓法、共軛梯度法以及Levenberg-Marquardt 等的改進算法[9-10],但在實際應用中仍不夠完善,不能完全克服BP 算法固有的缺陷。針對傳統(tǒng)BP 算法固有的缺陷,目前普遍采用遺傳算法對BP 網(wǎng)絡結構、網(wǎng)絡權值和閾值進行優(yōu)化[9]。遺傳算法(genetic algorithm,GA)雖然具有良好的全局優(yōu)化性能,與BP 網(wǎng)絡相結合,能夠較好地對網(wǎng)絡的權值、閾值進行尋優(yōu),使網(wǎng)絡性能得到較大改善,避免局部極值等問題[11]。然而,GABP 算法同樣面臨著復雜的參數(shù)選取和編碼等問題。徑向基函數(shù)算法(radia basis function,RBF)雖然有著良好的非線性逼近能力和精度,但隱含層神經元中心的選取是制約其精度提高的主要因素。極限學習機(extreme learning machine,ELM)是文獻[12-18]提出的一種新型單隱層前向神經網(wǎng)絡(singlehidden layer feedforward neural network,SLFN),ELM算法隨機產生輸入層與隱含層間的連接權值及隱含層神經元閾值,且在訓練過程中無需調整,只需要設置隱含層神經元的個數(shù),便可以獲得唯一的最優(yōu)解。與傳統(tǒng)的訓練方法相比,該方法具有學習速度快、泛化性能好等優(yōu)點。
本文基于ELM 算法基本原理,以云南省某水庫為例,采用SPSS 軟件分析TP、TN 質量濃度與環(huán)境因子的相關性,選取NH3-N、NO-2-N、NO-3-N、CODMn質量濃度和水體透明度作為網(wǎng)絡輸入,TP、TN 質量濃度作為輸出,構建基于ELM 的湖庫TP、TN 質量濃度預測模型,并構建傳統(tǒng)BP、GA-BP、RBF 人工神經網(wǎng)絡模型作為對比預測模型進行比較,為湖庫TP、TN 質量濃度預測探尋新的方法和途徑。
給定一個輸入層含有n 個輸入變量、隱含層有l(wèi)個神經元、輸出層有m 個神經元的典型SLFN 網(wǎng)絡。不失一般性,設輸入層與隱含層間的連接權值為ω,隱含層與輸出層間的連接權值為β,隱含層神經元閾值為b,則ω、β 和b 分別為:
式中:ωij表示輸入層第i 個神經元與隱含層第j 個神經元間的連接權值;βjk表示隱含層第j 個神經元與輸出層第K 個神經元間的連接權值;b 為隱含層神經元閾值。
設該網(wǎng)絡具有Q 個樣本的訓練集輸入矩陣X和輸出矩陣Y 分別為:
給定隱含層神經元激勵函數(shù)g(x),則網(wǎng)絡輸出T 為:
式中:j=1,2,…,Q;ωi=[ωi1,ωi2,…,ωin],xj=[x1j,x2j,…,xnj]T。
式(3)可表示為
其中,T'為矩陣T 的轉置;H 稱為神經網(wǎng)絡的隱含層輸出矩陣,具體形式為式(5)所示:
Huang 等在前人研究的基礎上,提出并證明了以下兩個定理[12-18],為ELM 的應用提供了理論基礎。
定理1 給定任意Q 個不同樣本(xi,ti),其中xi=[xi1,xi2,…,xin]T∈Rn,ti=[ti1,ti2,…,tim]∈Rm,一個任意區(qū)間無限可微的激活函數(shù)g:R→R,則對于具有Q 個隱含層神經元的SLFN,在任意賦值ωi∈Rn和bi∈Rn的情況下,其隱含層輸出矩陣H 可逆且‖Hβ-T'‖=0。
定理2 給定任意Q 個不同樣本(xi,ti),其中xi=[xi1,xi2,…,xin]T∈Rn,ti=[ti1,ti2,…,tim]∈Rm,給定任意小誤差ε(ε >0)和一個任意區(qū)間無限可微的激活函數(shù)g:R→R,則總存在一個含有K(K≤Q)個隱含層神經元的SLFN,在任意賦值ωi∈Rn和bi∈Rn的情況下,有‖HN×MβM×m-T'‖≤ε。
由定理1 可知,若隱含層神經元個數(shù)與訓練集樣本個數(shù)相等,則對于任意ω 和b,都可以以零誤差逼近訓練樣本,即
其中,yi=[y1j,y2j,…,ymj]T, j=1,2,…,Q。
在實際應用中,當訓練樣本數(shù)Q 較大時,為減少計算量和保證網(wǎng)絡的泛化能力,通常隱含神經元數(shù)K 的取值要比Q 小。
由此可知,當激活函數(shù)g(x)無限可微時,ELM的參數(shù)網(wǎng)絡參數(shù)無需全部調整,ω 和b 在訓練前可以隨機選擇,且在訓練過程中保持不變。而隱含層與輸出層間的連接權值β 可以通過求解以下方程組的最小二乘解獲得:
其解為
式中:H+為隱含層輸出矩陣H 的Moore-Penrose 廣義逆。
ELM 學習算法主要有以下幾個步驟[19]:①確定隱含層神經元個數(shù),隨機設定輸入層與隱含層間的連接權值ω 和隱含層神經元的偏置b;②選擇一個無限可微的函數(shù)作為隱含層神經元的激活函數(shù),進而計算隱含層輸出矩陣H;③計算輸出層權值^β。
以云南省某水庫TP、TN 質量濃度預測為例進行實例分析。依據(jù)GB 3838—2002《地表水環(huán)境質量標準》,選取水位、庫容等14 項可能對TP、TN 質量濃度產生影響的評價因子,采用SPSS 軟件計算統(tǒng)計數(shù)據(jù)的相關系數(shù),分析TP、TN 濃度與環(huán)境因子的相關性,分析結果見表1。
從表1 可以看出,ρ(TP)與水溫、ρ(NH3-N)、ρ(CODMn)和水體透明度顯著相關,其中與水溫、ρ(NH3-N)、ρ(CODMn)呈顯著正相關,與水體透明度呈顯著負相關;與水位等無顯著相關。ρ(TN)與庫容、ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)和水體透明度顯著相關,其中與庫容、ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)呈顯著正相關,與透明度呈顯著負相關;與水位等無顯著相關。
本文選用2007—2011 年某水庫相關數(shù)據(jù)建模,選取ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)和水體透明度作為網(wǎng)絡輸入,ρ(TP)、ρ(TN)作為輸出。按月統(tǒng)計,共獲得60 組數(shù)據(jù),并以2007—2010 年48組數(shù)據(jù)作為網(wǎng)絡訓練樣本,以2011 年12 組數(shù)據(jù)作為網(wǎng)絡預測樣本。
2.2.1 數(shù)據(jù)處理
由于水質預測影響因子具有不同的物理意義和不同的量綱及數(shù)量級,因此,在網(wǎng)絡訓練前要先對于原始數(shù)據(jù)進行歸一化處理。表1 中,ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)與ρ(TP)、ρ(TN)呈顯著正相關,采用最大最小法進行數(shù)據(jù)歸一化處理,公式如下:
水體透明度與ρ(TP)、ρ(TN)呈顯著負相關,采用如下公式進行數(shù)據(jù)歸一化處理:
式中:^x 為經過標準化處理的數(shù)據(jù),x 為原始數(shù)據(jù),xmax和xmin分別為數(shù)據(jù)序列中的最大數(shù)和最小數(shù)。經過標準化處理后,數(shù)據(jù)處于0 ~1 范圍之內,有利于網(wǎng)絡訓練。
2.2.2 性能評價
選用決定系數(shù)R2和平均相對誤差絕對值MPE兩個評價指標對ELM 以及傳統(tǒng)BP、GA-BP、RBF 神經網(wǎng)絡模型進行評價,并選用最大相對誤差作為參考指標。決定系數(shù)R2范圍在[0,1]內,愈接近1,表明模型性能越好;平均相對誤差絕對值MPE 與最大相對誤差越小,表明模型的性能越好。
評價指標計算公式如下:
表1 ρ(TP)、ρ(TN)與環(huán)境因子的相關系數(shù)
2.2.3 網(wǎng)絡訓練
筆者基于MATLAB 環(huán)境,創(chuàng)建及訓練ELM 以及傳統(tǒng)BP、GA-BP 和RBF 神經網(wǎng)絡模型對湖庫TP、TN 進行預測。以NH3-N、NO-2-N、NO-3-N、CODMn質量濃度和水體透明度作為網(wǎng)絡輸入向量,即輸入層神經元數(shù)為5 個;以TP、TN 質量濃度作為輸出向量,即輸出層的神經元數(shù)為2 個,構建5 輸入2 輸出的預測模型。
圖1 隱含層神經元個數(shù)對ELM 性能的影響
傳統(tǒng)BP 神經網(wǎng)絡模型采用目前較為普遍的Kolmogorv 定理[9-11]確定隱含層神經元數(shù),利用逐步增長或逐步修剪法確定最終神經元數(shù)為7,預測模型結構為5-7-2,隱含層和輸出層傳遞函數(shù)分別采用logsig 和purelin,訓練函數(shù)采用traingdx,期望誤差為0.002 2,最大訓練輪回為8 000 次時網(wǎng)絡達到了較好的預測精度。GA-BP 網(wǎng)絡模型結構為5-20-2,隱含層和輸出層傳遞函數(shù)分別采用tansig 和purelin,訓練函數(shù)采用trainlm,期望誤差為0.001 5,最大訓練輪回為1 000 次,種群規(guī)模為50,進化次數(shù)為200 次,交叉概率為0.4,變異概率為0.09 時網(wǎng)絡達到了較好的預測精度。RBF 神經網(wǎng)絡人為調節(jié)的參數(shù)少,只有1 個閾值,程序采取循環(huán)訓練算法,最終確定RBF 神經網(wǎng)絡的SPREAD 和期望誤差分別為1 和0.0018 時,網(wǎng)絡達到較佳預測效果。
利用上述訓練好的ELM、傳統(tǒng)BP、GA-BP 和RBF 神經網(wǎng)絡預測模型對某水庫TP、TN 質量濃度進行預測。預測結果見表3、表4。
分析表3、表4 可以得出以下結論:①從決定系數(shù)R2上看,對于TP 質量濃度的模型預測精度(由高到低,下同)依次是:ELM、GA-BP、RBF 和傳統(tǒng)BP,其數(shù)值分別為0.9131,0.9119,0.9037,0.8898;對于TN質量濃度的預測精度依次是:GA-BP、ELM、RBF 和傳統(tǒng)BP,其數(shù)值分別為0.939 7,0.939 5,0.934 9,0.9020,從平均相對誤差MPE 上看,對于TP 質量濃度的預測精度依次是:ELM、RBF、傳統(tǒng)BP 和GA-BP,分別為19.608 6%,21.025 9%,22.090 1%,22.8598%;對于TN 質量濃度,預測精度依次是:ELM、GA-BP、RBF 和傳統(tǒng)BP,其數(shù)值分別為13.458 5%,14.910 0%,15.505 0%,17.818 8%。從最大相對誤差上看,對于TP 質量濃度的預測精度依次是:GABP、傳統(tǒng)BP、ELM 和RBF;對于TN 質量濃度的預測精度依次是:ELM、RBF、GA-BP 和傳統(tǒng)BP。綜合比較而言,ELM 模型預測精度高于傳統(tǒng)BP 和RBF 網(wǎng)絡模型,甚至略高于GA-BP 模型的預測精度。②從模型結構、參數(shù)選擇及訓練時間上比較,ELM 模型具有較大的優(yōu)勢,其參數(shù)選擇簡便,訓練速度快(運行時間與RBF 相當),不會陷入局部最優(yōu)值等優(yōu)點,較傳統(tǒng)BP 神經網(wǎng)絡的性能有著較大的提高。③從某湖庫TP、TN 質量濃度預測結果上看,ELM 模型預測精度高,泛化能力好,表明研究建立的ELM 湖庫TP、TN 質量濃度預測模型是合理可行和有效的,可為湖庫TP、TN 質量濃度預測預報提供新的途徑和方法。④由于TP 與NO-2-N 和NO-3-N質量濃度相關性并不顯著,這在一定程度上影響了TP 質量濃度的預測精度,從表3 與表4 可以看出,無論從決定系數(shù)R2還是從平均相對誤差MPE 上看,TP 的質量濃度預測效果均不如TN 的。
表2 隱含層神經元個數(shù)對ELM 性能的影響
表3 某水庫TP 質量濃度預測結果及其模型比較
表4 某水庫TN 質量濃度預測結果及其模型比較
相比傳統(tǒng)的SLFN 學習算法,ELM 在訓練過程中具有調節(jié)參數(shù)少、學習速度快、泛化能力強、預測精度高,且不存在局部極小值等優(yōu)點。本文構建了基于ELM、傳統(tǒng)BP、GA-BP、RBF 人工神經網(wǎng)絡模型的湖庫TP、TN 質量濃度預測模型,并對各預測模型進行比較分析,結果表明,ELM 網(wǎng)絡模型在多輸入、多輸出的水質預測中獲得了令人滿意的預測效果,其預測精度直逼GA-BP 模型,可以預見,ELM 神經網(wǎng)絡模型將愈來愈廣泛地應用于各行業(yè)、各領域中。
[1]舒金華.我國主要湖泊富營養(yǎng)化程度的評價[J].海洋與湖沼,1993,24 (6):616-620. (SHU Jinhua.Assessment of eutrophication in main lakes of China[J].Oceanologia Et Limnologia Sinica,1993,24(6):616-620.(in Chinese))
[2]金菊良,王文圣,洪天求,等.流域水安全智能評價方法的理論基礎探討[J].水利學報,2006,37(8):918-925.(JIN Juliang,WANG Wensheng,HONG Tianqiu,et al.Theoretical basis of intelligent evaluation methods of watershed water security [J]. Journal of Hydraulic Engineering,2006,37(8):918-925.(in Chinese))
[3]鄧大鵬,劉剛,李學德,等.基于神經網(wǎng)絡簡單集成的湖庫富營養(yǎng)化綜合評價模型[J]. 生態(tài)學報,2007,27(2):725-731. (DENG Dapeng,LIU Gang,LI Xuede,et al. A model based on simple ensemble of neural networks for comprehensive eutrophication assessment of lake and reservoir[J]. The Journal of Ecology,2007,27(2):725-731. (in Chinese))
[4]陳安,羅亞田.人工神經網(wǎng)絡方法在環(huán)境科學領域應用進展[J]重慶環(huán)境科學,2003,25(9):65-70. (CHEN An,LUO Yatian. Artificial neural network method in environmental science field application progress[J].Chongqing Environmental Science,2003,25(9):65-70.(in Chinese))
[5]任黎,董增川,李少華.人工神經網(wǎng)絡模型在太湖富營養(yǎng)化評價中的應用[J]. 河海大學學報:自然科學版,2004,32(2):147-150. (REN Li,DONG Zengchuan,LI Shaohua. Application of artificial neural network model to assessment of Taihu Lake eutrophication[J]. Journal of Hohai University:Natural Science,2004,32(2):147-150.(in Chinese))
[6]韓濤,李懷恩,彭文啟.基于MATLAB 的神經網(wǎng)絡在湖泊富營養(yǎng)化評價中的應用[J]水資源保護,2005,21(1):24-26. (HAN Tao,LI Huaien,PENG Wenqi.Application of neural network based on MATLAB toolbox to the evaluation of lake eutrophication[J]. Water Resources Protection,2005,21(1):24-26.(in Chinese))
[7]吳利斌,尚士友,岳海軍,等.利用模糊神經網(wǎng)絡對湖泊富營養(yǎng)化程度進行評價的研究[J].內蒙古農業(yè)大學學報,2004,25(4):67-70. (WU Libin,SHANG Shiyou,YUE Haijun,et al. Study on evluation of eutrophication of lakes based on fuzzy neural network[J]. Journal of Inner Mongolia Agricultural University,2004,25(4):67-70.(in Chinese))
[8]曾光明,盧宏瑋,金相燦,等.洞庭湖水體水質狀況及運用小波神經網(wǎng)絡對營養(yǎng)狀態(tài)的評價[J]. 湖南大學學報:自然科學版,2005,32 (1):91-94. (ZENG Guangming,LU Hongwei,JIN Xiangcan,et al.Assessment of the water quality and nutrition of the dongting lake with wavelet neural network[J]. Journal of Hunan University:Natural Science,2005,32(1):91-94(in Chinese))
[9]樓文高.湖庫富營養(yǎng)化人工神經網(wǎng)絡評價模型[J].水產學報,2001,25 (5):474-478. (LOU Wengao.Eutrophication assessment model using artificial neural networks for lakes and reservoirs[J]. Journal of Fisheries of China,2001,25(5):474-478.(in Chinese))
[10]VLADIMIR N. V. 統(tǒng)計學習理論的本質[M]. 張學工,譯.北京:清華大學出版社,2000.
[11]李正最,謝悅波.洞庭湖富營養(yǎng)化支持向量機評價模型研究[J]. 人民長江,2010,41 (10):75-78. (LI Zhengzui,XIE Yuebo. Study on eutrophication evaluation model of Dongting Lake based on SVM[J]. Yangtze River,2010,41(10):75-78.(in Chinese))
[12]王貴作,任立良,王斌,等.基于投影尋蹤的湖泊富營養(yǎng)化程度評價模型[J].水資源保護,2009,25(5):14-18.(WANG Guizuo,REN Liliang,WANG Bin,et al. Lake eutrophication evaluation model based on projection pursuit method[J].Water Resources Protection,2009,25(5):14-18.(in Chinese))
[13]崔東文.幾種神經網(wǎng)絡模型在湖庫富營養(yǎng)化程度評價中的應用[J]. 水資源保護,2012,25(5):12-18. (CUI Dongwen.Applications of several neural network models to eutrophication evaluation of lakes and reservoirs[J].Water Resources Protection,2012,25(5):12-18. (in Chinese))
[14]田景文,高美娟.人工神經網(wǎng)絡算法研究及應用[M].北京:北京理工大學出版社,2006.
[15]施彥,韓力群,廉小親.神經網(wǎng)絡設計方法與實例分析[M].北京:北京郵電大學出版社,2009.
[16]MATLAB 中文論壇.MATLAB 神經網(wǎng)絡30 個案例分析[M].北京:北京航空航天大學出版社,2010.
[17]史峰,王輝,郁磊,等.MATLAB 智能算法30 個案例分析[M].北京:北京航空航天大學出版社,2011.
[18]SL395—2007 地表水資源質量評價技術規(guī)程[S].
[19]雷德明,嚴新平.多目標智能優(yōu)化算法及其應用[M].北京:科學出版社,2009.