崔 東 文

(云南省文山州水務局，云南文山 663000)

提高徑流預測精度對于水文預測預報具有重要意義。由于河川徑流受多種因素的影響和制約，其預測常反映出復雜、隨機、多維等特點，目前徑流預測主要是將成因分析、統(tǒng)計分析、模糊分析以及灰色系統(tǒng)理論等方法及理論引入徑流中長期預測，在實際應用中取得了一定成效，但也存在不足，使其在應用中受到制約。譬如，難以分析其內(nèi)部物理機制(影響因子相互關系)以及與所表觀的水文現(xiàn)象(徑流)之間的關系等；徑流影響因子個數(shù)的選擇以及預測精度不高等，帶有明顯的主觀性，較適用于具有確定性趨勢的預測問題；對于其他變化趨勢，則擬合灰度較大，導致精度難以提高等[1]。人工神經(jīng)網(wǎng)絡(Artifical Neural Network，ANN) 是一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的數(shù)學模型。ANN依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的，其常見的BP網(wǎng)絡(Back-Propagation Network，BP)、Elman網(wǎng)絡、RBF網(wǎng)絡(Radial Basis Function Neural Network，RBF)和GRNN網(wǎng)絡(Generalized Regression Neural Network，GRNN)等均廣泛運用于徑流預測預報中[2-6]。然而，由于傳統(tǒng)ANN算法是基于漸近理論，僅在樣本容量趨向于無窮大時其經(jīng)驗風險才趨近于實際風險，但在實際應用中樣本容量離無窮大相去甚遠，導致ANN外推能力差、收斂速度慢以及存在局部極值等問題，且ANN還存在結(jié)構及參數(shù)選擇的困難[7-8]。支持向量機(Support Vector Machine，SVM)是20世紀90年代中后期發(fā)展起來的基于統(tǒng)計學習理論構建的典型神經(jīng)網(wǎng)絡，它由Vapnik首先提出，是一種通用的前饋神經(jīng)網(wǎng)絡，用于解決模式分類和非線性映射等問題[9-10]。SVM具有嚴謹?shù)臄?shù)學基礎，通過統(tǒng)計學習中的VC維(Vapnik-Chervonenkis Dimension)理論和尋求結(jié)構風險最小化原理來提高泛化能力，已成為繼ANN之后機器學習領域新的研究熱點，其具有的四大優(yōu)勢決定了它在機器學習領域有著舉足輕重的地位：一是SVM以最小結(jié)構風險代替?zhèn)鹘y(tǒng)ANN經(jīng)驗風險，求解的是一個二次尋優(yōu)問題，理論上得到全局最優(yōu)，解決了傳統(tǒng)ANN算法中難于克服的局部極值缺陷；二是SVM拓撲結(jié)構由支持向量決定，彌補了ANN結(jié)構難以確定的不足；三是SVM決策函數(shù)由少數(shù)的支持向量確定，計算的復雜程度取決于支持向量的數(shù)目，而不是樣本空間的維數(shù)，避免了“維數(shù)災”問題；四是SVM方法求解的是基于結(jié)構風險最小化原則，由經(jīng)驗風險和置信區(qū)間共同決定支持向量的實際風險，因此泛化能力要優(yōu)于傳統(tǒng)ANN。尤其在解決小樣本容量時，很大程度上解決了傳統(tǒng)BP等網(wǎng)絡在模型選擇、過學習、高維和局部極值等方面的問題，在模式識別和回歸預測中有著廣泛的應用[11-12]。神經(jīng)網(wǎng)絡集成(Neural Network Ensemble，NNE)是Hansen和Salamon于1990年提出的集成方法，利用有限個神經(jīng)網(wǎng)絡對同一問題進行學習，將個體神經(jīng)網(wǎng)絡的輸出以某種綜合方法進行集成，集成輸出的結(jié)果由各個體神經(jīng)網(wǎng)絡的輸出共同決定[7，13]。NNE的實現(xiàn)主要由“選擇模型中的個體網(wǎng)絡”和“集成輸出方法”兩部分組成，目前仍沒有較好方法或理論指導如何獲取具有較好性能的個體網(wǎng)絡，常用的集成方法主要有簡單平均(Simple Average，SA)和加權平均(Weighted Average，WA)等。

基于上述原因及回歸支持向量機(Support Vector Regression，SVR)特性，筆者以云南省盤龍河龍?zhí)墩灸陱搅黝A測為例，采用相關分析法確定預測因子與年徑流的相關系數(shù)，按照相關系數(shù)大小順序依次選取預測因子，構建2維輸入變量～10維輸入變量的9種SVR(SVR-2～SVR-10)年徑流預測模型對龍?zhí)墩竞?2年的年徑流進行預測，并基于NNE方法，采用SA和WA兩種集成方法對具有較好預測精度的若干SVR模型的預測結(jié)果進行綜合集成，集成結(jié)果表明SA-SVR和WA-SVR模型具有較好的預測精度和泛化能力。

1 回歸支持向量機(SVR)及集成預測模型

1.1 回歸支持向量機(SVR)

將SVM用于逼近函數(shù)的方法稱為SVR。SVR是基于VC維概念和結(jié)構風險最小化原則，根據(jù)有限的樣本信息在模型的復雜性(訓練樣本學習精度)和泛化能力之間尋求一種折中，以期獲得最好的推廣能力。在解決非線性回歸問題時，SVR是將樣本通過核函數(shù)將低維空間中非線性回歸問題映射到高維空間，并在高維空間中求解最優(yōu)回歸函數(shù)，這樣，在高維空間中的線性回歸就對應低維空間中的非線性回歸，即實現(xiàn)某一非線性變換后的線性回歸，在計算難度未增加的情況下利用線性空間的方法解決非線性問題。SVR實現(xiàn)回歸預測步驟歸納如下[8，11-12，14-15]。

步驟1：給定含有l(wèi)個訓練樣本的集合{(xi,yi),i=1,2,…,l}，其中，xi(xi∈Rd)是第i個訓練樣本的輸入列向量，xi=

，

y

i

∈

R

為對應輸出值。在高維特征中建立的線性回歸函數(shù)為：

(1)

式中：Φ(x)為非線性映射函數(shù)。

步驟2：定義ε線性不敏感損失函數(shù)為

(2)

式中：f(x)為回歸函數(shù)返回的預測值；y為對應的真實值。

(3)

式中：C為懲罰因子，C越大表示對訓練誤差大于ε的樣本懲罰越大，ε規(guī)定了回歸函數(shù)的誤差要求，ε越小表示回歸函數(shù)的誤差越小。求解式(3)時，引入Lagrange函數(shù)，并轉(zhuǎn)換成對偶形式：

(4)

式中：K(xi,xj)=Φ(xi)Φ(xj)為核函數(shù)。

(5)

(6)

式中：Nnsv為支持向量機個數(shù)。

步驟5：將w*，b*代入式(1)得到回歸函數(shù)為：

(7)

常用的核函數(shù)主要類型有線性核函數(shù)(K(x,xi)-xTxi)、多項式核函數(shù)(K(x,xi)=(γxTxi+r)p,γ>0)、徑向基核函數(shù)(K(x,xi)=exp(-γ||x-xi||2),γ>0)和兩層感知核函數(shù)(K(x,xi)=tanh(γxTxi+r))。

1.2 集成預測模型

基于上述SVR原理，SA-SVR和WA-SVR模型年徑流預測步驟可歸納如下：

步驟1：計算年徑流影響因子的相關系數(shù)。利用SPSS軟件計算龍?zhí)墩?—10月月均流量與年徑流相關系數(shù)，并按照相關系數(shù)大小進行排列。

步驟2：構建各SVR年徑流預測模型?；贛atlab軟件環(huán)境和libsvm工具箱，選取相關系數(shù)最大的前2列月均流量作為SVR模型的輸入變量，構建2維的SVR年徑流預測模型，表示為SVR-2；選取相關系數(shù)最大的前3列月均流量作為SVR模型的輸入變量，構建3維的SVR年徑流預測模型，表示為SVR-3；依次類推，構建10維的SVR年徑流預測模型，表示為SVR-10。

步驟3：訓練及調(diào)試SVR-2～SVR-10預測模型。確定訓練樣本及檢驗樣本，并對樣本進行歸一化處理，利用訓練樣本對SVR-2～SVR-10模型進行訓練及調(diào)試，率定各模型的相關參數(shù)，并利用檢驗樣本對SVR-2～SVR-10模型進行預測精度及泛化能力檢驗。

步驟4：SA-SVR集成。利用平均相對誤差和最大相對誤差對SVR-2～SVR-10模型的預測精度及泛化能力進行分析評價，并選取若干較優(yōu)模型的預測結(jié)果按下式進行SA集成：

(8)

步驟5：WA-SVR集成。WA集成是按照SVR模型的預測效果優(yōu)劣給出不同的權重，然后求加權平均值，以加權平均值作為集成模型的預測值。同步驟4，選取若干最優(yōu)模型的預測結(jié)果按下式進行WA集成：

(9)

(10)

式中：ei為第i個模型預測相對誤差的絕對值。

步驟6：對SA-SVR和WA-SVR模型預測結(jié)果進行分析。若SA-SVR和WA-SVR模型預測值達不到期望的精度和泛化能力要求，則返回步驟3對各SVR個體模型進行調(diào)試和檢驗，直至SA-SVR和WA-SVR模型的預測值滿足預期的精度要求。

2 實例應用

2.1 數(shù)據(jù)來源與分析

龍?zhí)墩恼疚挥诒P龍河上游，建于1951年4月，屬國家基本站，觀測項目有水位、流量、降水、蒸發(fā)、泥沙和水溫，系列均為1951年4月至2005年12月?？刂屏饔蛎娣e3 128 km2，流域多年平均流量24.6 m3/s，降水量956.8 mm。本文以龍?zhí)墩?952—2005年共54年的實測資料為例進行分析。利用SPSS軟件分析年均徑流與1—10月月均流量的相關性，可得年均徑流與1—10月月均流量的相關系數(shù)分別為0.455**，0.441**，0.333*，0.486**，0.497**，0.519**，0.616**，0.822**，0.782**和0.798**(“**”表示在0.01水平(雙側(cè))上顯著相關；“*”表示在0.05水平(雙側(cè))上顯著相關)。

可見，年均徑流與1—10月月均流量均呈顯著正相關。本文選取與年均徑流在0.05水平(雙側(cè))上顯著相關的1—10月月均流量作為影響因子預測年均徑流，并以1952—1993年42年的實測資料作為訓練樣本，1994—2005年12年的實測資料作為檢驗樣本。

2.2 年徑流預測的實現(xiàn)

2.2.1數(shù)據(jù)歸一化處理 利用下式對徑流序列進行歸一化處理：

(11)

2.2.2SVR模型的構建及網(wǎng)絡訓練 按照上述方法從1—10月月均流量中按相關系數(shù)大小順序選取不同維數(shù)的輸入向量，構建SVR-2～SVR-10年徑流預測模型，并基于Matlab環(huán)境和libsvm工具箱，創(chuàng)建SVR-2～SVR-10模型對龍?zhí)墩?4年的實測資料進行擬合和預測分析。

由于在核函數(shù)選定的條件下，SVR模型中的懲罰因子c和不敏感系數(shù)ε對模型的預測精度有著關鍵性影響。懲罰因子c決定著由訓練樣本產(chǎn)生的經(jīng)驗風險對模型性能的影響，即經(jīng)驗風險隨著c值的增加而增加，減小而減小，當c值無窮大時，SVR結(jié)構風險趨于經(jīng)驗風險；當c值趨于零時，由于SVR模型無法獲取訓練樣本信息，模型失去了解決具體問題的能力。不敏感系數(shù)ε用于控制支持向量的個數(shù)，平衡模型的復雜程度與模型對訓練樣本維數(shù)的依賴程度。在實際應用中，若ε值過小，可能導致模型“過擬合”，并且增加訓練時間； 值過大，則可能導致模型“欠擬合”。參考多個文獻[8，11-12，14-15]后選擇徑向基函數(shù)為SVR的核函數(shù)，設置懲罰因子c和核函數(shù)參數(shù)g的搜索空間為2-2～26，K取值2～5，g和c的步進大小均取0.1～0.5，不敏感系數(shù)ε均取0.001～0.1(其他參數(shù)采用默認值)，利用交叉驗證法(Cross Validation，CV)確定模型中的懲罰因子c和核函數(shù)參數(shù)g。經(jīng)過反復調(diào)試，在下述參數(shù)設置情況下，SVR-2～SVR-10模型具有較好的預測效果(除此之外的其他參數(shù)采用系統(tǒng)默認值)。

SVR-2～SVR-10模型的最佳參數(shù)設置見表1，擬合及預測效果見表2及圖1。由表2及圖1可以看出：①SVR模型的預測精度和泛化能力隨著輸入向量維數(shù)的增加具有明顯的提高趨勢，其中SVR-8～SVR-10模型對龍?zhí)墩竞?2年年徑流預測的平均相對誤差絕對值均小于3%，最大相對誤差絕對值均在10%以內(nèi)，具有較好的預測精度和泛化能力；②由于SVR-2、SVR-3模型輸入向量維數(shù)較低，訓練樣本中信息量不足，導致其擬合及預測效果不夠理想。

表1 SVR-2～SVR-10模型的最佳相關參數(shù)Tab.1 Optimal parameters of SVR-2 ～ SVR-10 models

表2 SVR-2～SVR-10模型對龍?zhí)墩灸陱搅鲾M合及預測相對誤差Tab.2 Annual runoff fittings of Longtan station given by SVR-2 ～ SVR-10 models and their relative forecast errors %

圖1 SVR-2～SVR-10模型對龍?zhí)墩灸陱搅鲾M合及預測相對誤差Fig.1 Annual runoff fittings of Longtan station given by SVR-2 ～ SVR-10 models and their relative errors of forecast values

本文基于預測精度及泛化能力考慮，選取具有較好預測效果的SVR-4～SVR-10模型作為SA-SVR和WA-SVR模型集成的個體模型。

2.3 WA-SVR模型權重的確定及預測結(jié)果分析

利用SVR-4～SVR-10模型對龍?zhí)墩竞?2年年徑流預測的平均相對誤差絕對值確定各自權重，結(jié)果分別為0.1068，0.1380，0.1323，0.1319，0.1605，0.1646和0.1659。

利用SA和WA兩種集成方法將上述具有較好預測效果的SVR-4～SVR-10模型進行綜合集成，構建SA-SVR和WA-SVR模型對龍?zhí)墩竞?2年年徑流進行預測，預測結(jié)果與SVR-8～SVR-10個體模型進行比較，結(jié)果見表3及圖2。

表3 龍?zhí)墩?994—2005年SA-SVR和WA-SVR模型徑流預測結(jié)果及比較Tab.3 Runoff forecast results given by SA-SVR and WA-SVR models from 1994 to 2005 and their comparison (m3·s-1)

(a) 年徑流擬合及預測值 (b) 年徑流擬合及預測比較圖2 集成模型與SVR-8～SVR-10模型年徑流擬合及預測比較Fig.2 Comparison between annual runoff fitting and forecast values given by integrated model and SVR-8～SVR-10 models

從表3及圖2可見：①SA-SVR和WA-SVR模型預測龍?zhí)墩竞?2年年徑流的平均相對誤差絕對值分別為1.73%和1.79%，最大相對誤差絕對值分別為6.34%和6.47%，預測精度和泛化能力均優(yōu)于各SVR個體模型，表明本文提出的集成模型和集成方法用于徑流預測是合理可行的。集成模型具有預測精度高、泛化能力強以及穩(wěn)健性能好等優(yōu)點。②普遍認為，加權平均集成模型通過給予預測誤差較小的個體模型更大的權重能夠得到比簡單平均集成模型更好的預測精度和泛化能力，但從本實例預測結(jié)果來看，由于采用多個(7個)個體模型進行集成，SA-SVR模型的預測效果要優(yōu)于WA-SVR模型。③在系列長達54年的年徑流擬合及預測中，相對誤差均在-10%～10%之間，表明SA-SVR、WA-SVR以及SVR-8～SR-10模型均具有較好的擬合及預測效果，其中SA-SVR和WA-SVR模型相對誤差均在-8%～8%之間，具有更高的預測精度、泛化能力及穩(wěn)健性能。

3 結(jié) 語

基于SVR原理和NNE基本思想，利用多元變量擇優(yōu)組合的方式構建具有不同維數(shù)的SVR年徑流預測模型，采用SA和WA兩種集成方法構建SA-SVR和WA-SVR模型對龍?zhí)墩竞?2年的年徑流進行預測。預測結(jié)果表明，SA-SVR和WA-SVR模型具有較高的預測精度和泛化能力。本文在以下兩方面可為相關預測研究提供參考：一是僅基于SVR原理及算法，提出利用不同的輸入維數(shù)構建由多個SVR個體網(wǎng)絡集成的年徑流預測模型和方法；二是在實際應用中，決定模型預測精度和泛化能力的關鍵因素是問題本身的復雜程度，對于不同的預測問題，很難片面地認為某一模型或算法的優(yōu)劣，只有嘗試不同模型或算法，反復進行調(diào)試，以期獲得理想的預測效果。

參 考 文 獻：

[1]楊旭， 欒繼虹， 馮國章. 中長期水文預報研究評述與展望[J]. 西北農(nóng)業(yè)大學學報， 2000， 28(6)： 203-207. (YANG Xu， LUAN Ji-hong， FENG Guo-zhang. Discussion and prospect on mid-to-long-term hydrological forecasting[J]. Acta Univ. Agric. Boreali-occidentalis， 2000， 28(6)： 203-207. (in Chinese))

[2]崔東文. 多隱層BP神經(jīng)網(wǎng)絡模型在徑流預測中的應用[J]. 水文， 2013， 33(1)： 68-73. (CUI Dong-wen. Multi-layers BP neural network model in runoff prediction[J]. Journal of China Hydrology， 2013， 33(1)： 68-73. (in Chinese))

[3]鄧霞， 董曉華， 薄會娟. 基于BP網(wǎng)絡的河道徑流預報方法與應用[J]. 人民長江， 2010， 41(2)： 56-59. (DENG Xia， DONG Xiao-hua， BO Hui-juan. River runoff forecasting methods based on BP network and its applications[J]. Yangtze River， 2010， 41(2)： 56-59. (in Chinese))

[4]楊新華， 馬建立， 蘇軍希， 等. 基于Elman網(wǎng)絡的黃河源區(qū)徑流評估模型[J]. 人民長江， 2007， 38(8)： 134-135， 174. (YANG Xin-hua， MA Jian-li， SU Jun-xi， et al. Runoff assessment model for the source area of the Yellow River based on Elman neural network[J]. Yangtze River， 2007， 38(8)： 134-135， 174. (in Chinese))

[5]劉荻， 周振民. RBF神經(jīng)網(wǎng)絡在徑流預報中的應用[J]. 華北水利水電學院學報， 2007， 28(2)： 12-14. (LIU Di， ZHOU Zhen-min. Application of RBF neural network in runoff prediction[J]. Journal of North China Institute of Water Conservancy and Hydroelectric Power， 2007， 28(2)： 12-14. (in Chinese))

[6]陳仁升， 康爾泗， 張濟世. 應用GRNN神經(jīng)網(wǎng)絡模型計算西北干旱區(qū)內(nèi)陸河流域出山徑流[J]. 水科學進展， 2002， 13(1)： 333-338. (CHEN Ren-sheng， KANG Er-si， ZHANG Ji-shi. Application of the generalized regression neural network to simulating runoff from the mountainous watersheds of inland river basins in the arid area of northwest China[J]. Advances in Water Science， 2002， 13(1)： 333-338. (in Chinese))

[7]田雨波. 混合神經(jīng)網(wǎng)絡技術[M]. 北京： 科學出版社， 2009. (TIAN Yu-bo. Hybrid neural network technology[M]. Beijing： Science Press， 2009. (in Chinese))

[8]王雷. 支持向量機在汽輪機狀態(tài)監(jiān)測中的應用[M]. 北京： 北京師范大學出版社， 2012. (WANG-Lei. Applications of support vector machine on turbine state monitoring[M]. Beijing： Beijing Normal University Press， 2012. (in Chinese))

[9]VAPNIK V N. 統(tǒng)計學習理論的本質(zhì)[M]. 張學工， 譯. 北京： 清華大學出版社， 2000. (VAPNIK V N. The nature of statistical learning theory[M]. Translated by ZHANG Xue-gong. Beijing： Tsinghua University Press， 2000. (in Chinese))

[10]田景文， 高美娟. 人工神經(jīng)網(wǎng)絡算法研究及應用[M]. 北京： 北京理工大學出版社， 2006. (TIAN Jing-wen， GAO Mei-juan. Research and application of artificial neural network algorithm[M]. Beijing： Beijing Institute of Technology Press， 2006. (in Chinese))

[11]崔東文. 支持向量機在湖庫營養(yǎng)狀態(tài)識別中的應用研究[J]. 水資源保護， 2013， 29(4)： 26-30. (CUI Dong-wen. Application of support vector machine to lake and reservoir trophic status recognition[J]. Water Resources Protection， 2013， 29(4)： 26-30. (in Chinese))

[12]崔東文. 支持向量機在水資源類綜合評價中的應用研究—以全國31個省級行政區(qū)水資源合理性配置為例[J]. 水資源保護， 2013， 29(5)： 61-68. (CUI Dong-wen. Application of support vector machines to comprehensive assessment of water resources class[J]. Water Resources Protection， 2013， 29(5)： 61-68. (in Chinese))

[13]張大斌， 張景廣， 彭森. 基因表達式編程在組合預測建模中的應用[J]. 系統(tǒng)工程理論與實踐， 2012， 32(3)： 568-573. (ZHANG Da-bin， ZHANG Jing-guang， PENG Sen. Application of gene expression programming on combination forecasting modeling[J]. Systems Engineering-Theory & Practice， 2012， 32(3)： 568-573. (in Chinese))

[14]史峰， 王輝， 郁磊， 等. MATLAB智能算法30個案例分析[M]. 北京： 北京航空航天大學出版社， 2011. (SHI Feng， WANG Hui， YU Lei， et al. 30 cases study on MATLAB intelligent algorithm[M]. Beijing： Beihang University Press， 2011. (in Chinese))

[15]MATLAB中文論壇. MATLAB神經(jīng)網(wǎng)絡30個案例分析[M]. 北京： 北京航空航天大學出版社， 2010. (MATLAB Chinese forum. MATLAB neural network analysis of 30 cases[M]. Beijing： Beihang University Press， 2010. (in Chinese))