王娟娟

(新疆金達(dá)鑫工程建設(shè)有限公司，新疆 庫爾勒 841000)

文章編號：1006—2610(2015)04—0001—05

基于改進(jìn)支持向量機模型的開都河年徑流量預(yù)測

王娟娟

(新疆金達(dá)鑫工程建設(shè)有限公司，新疆 庫爾勒 841000)

針對回歸支持向量機(SVR)懲罰因子C和核函數(shù)參數(shù)g的選取對模型性能有著關(guān)鍵性影響以及在實際應(yīng)用中存在參數(shù)選取等困難，提出基于啟發(fā)式算法的PSO-SVR和GA-SVR年徑流預(yù)測模型，以新疆開都河大山口水文站年徑流預(yù)測為例進(jìn)行實例研究。首先，利用DPS軟件選取年徑流影響因子，確定輸入向量；其次，基于粒子群算法(PSO)、遺傳算法(GA)基本原理，采用PSO、GA優(yōu)化SVR懲罰因子C和核函數(shù)參數(shù)g，構(gòu)建PSO-SVR和GA-SVR年徑流預(yù)測模型，并構(gòu)建基于網(wǎng)格劃分(GS)與交叉驗證(CV)算法相結(jié)合的GS-SVR模型作為對比模型。最后，利用所構(gòu)建的模型對實例進(jìn)行預(yù)測分析。結(jié)果表明：PSO-SVR和GA-SVR模型對開都河1996—2012年徑流預(yù)測的平均相對誤差絕對值分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預(yù)測精度和泛化能力均優(yōu)于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化，具有預(yù)測精度高、泛化能力強以及穩(wěn)健性能好的特點。相對而言，PSO-SVR模型性能略優(yōu)于GA-SVR模型。

粒子群算法；遺傳算法；支持向量機；徑流預(yù)測；開都河

0 前 言

提高徑流預(yù)測精度對于水文預(yù)測預(yù)報具有重要意義，由于河川徑流受多種因素的影響和制約，其預(yù)測常表現(xiàn)出復(fù)雜、隨機、多維等特性，探尋能夠有效提高徑流預(yù)測精度的模型和方法是水文預(yù)測預(yù)報工作中的熱點和難點。

目前，中長期徑流預(yù)測常用模型有時間序列分析模型、回歸分析模型、模糊分析模型、小波分析模型及灰色系統(tǒng)模型等。人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network，ANN)具有較強的非線性映射能力、魯棒性、容錯性和自適應(yīng)、自組織、自學(xué)習(xí)等許多特性，廣泛應(yīng)用于中長期徑流預(yù)測預(yù)報中[1-3]。但由于ANN算法是基于漸近理論，僅在樣本容量趨向于無窮大時其經(jīng)驗風(fēng)險才趨近于實際風(fēng)險，實際應(yīng)用中面臨泛化能力差、收斂速度慢及存在局部極值等問題[4,5]?；貧w支持向量機(Support Vector Regression，SVR)是20世紀(jì)90年代中后期發(fā)展起來的基于統(tǒng)計學(xué)習(xí)理論構(gòu)建的典型神經(jīng)網(wǎng)絡(luò)，在徑流預(yù)測預(yù)報中具有廣泛應(yīng)用[6-9]。SVR具有嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)基礎(chǔ)，通過統(tǒng)計學(xué)習(xí)中的VC維(Vapnik-Chervonenkis Dimension)理論和尋求結(jié)構(gòu)風(fēng)險最小化原理來提高泛化能力，已成為繼ANN之后機器學(xué)習(xí)領(lǐng)域新的研究熱點。然而，SVR用于回歸預(yù)測時，懲罰因子C和核函數(shù)參數(shù)g的選取對模型的預(yù)測精度有著關(guān)鍵性影響。由于目前懲罰因子C和核函數(shù)參數(shù)g的選取尚無理論上的指導(dǎo)原則或方法，最優(yōu)參數(shù)的選取多憑經(jīng)驗、實驗對比等進(jìn)行搜尋，極大地制約了SVR模型精度與泛化能力的提高[10]。目前，常采用基于交叉驗證(Cross Validation,CV)意義下的網(wǎng)格劃分(Grid Search,GS)方法來尋找最佳參數(shù)C和g。

粒子群算法(Particle Swarm Optimization,PSO)和遺傳算法(Genetic Algorithm,GA)等啟發(fā)式算法可以不必遍歷網(wǎng)格內(nèi)所有的參數(shù)點也能獲得更大范圍內(nèi)的最佳參數(shù)C和g，使得全局最優(yōu)?；诖耍P者基于PSO和GA算法原理，提出PSO-SVR、GA-SVR年徑流預(yù)測模型，以新疆開都河大山口水文站1956—2012年徑流預(yù)測為例進(jìn)行實例驗證，并構(gòu)建GS-SVR模型作為對比模型,結(jié)果表明PSO-SVR和GA-SVR模型具有較好的預(yù)測精度和泛化能力。

1 預(yù)測模型

1.1 回歸支持向量機(SVR)原理

SVR是基于VC維概念和結(jié)構(gòu)風(fēng)險最小化原則，通過同時控制模型的復(fù)雜度和逼近精度來獲得較好的推廣能力。在解決非線性回歸問題時，SVR是將樣本通過核函數(shù)將低維空間中非線性回歸問題映射到高維空間，并在高維空間中求解最優(yōu)回歸函數(shù)。

SVR實現(xiàn)回歸預(yù)測步驟歸納為5步。

Step1,設(shè)訓(xùn)練樣本為(x1,y1),…,(x1,y1)∈Rm×R,則在高維特征中建立的線性回歸函數(shù)為：

f(x)=wφ(x)+bw∈Rn,b∈R

(1)

式中：f(x)為回歸函數(shù)預(yù)測值，即擬合值；w為空間超平面；φ(x)為非線性映射函數(shù)；b為偏置量。

Step2,定義ε線性不敏感損失函數(shù)為：

(2)

式中：f(x)為回歸函數(shù)預(yù)測值；y為對應(yīng)的真實值；ε為不靈敏參數(shù)，反映對誤差的容忍度。

(3)

約束條件：

式中：C為懲罰因子，C越大表示對訓(xùn)練誤差大于ε的樣本懲罰越大；ε規(guī)定了回歸函數(shù)的誤差要求，ε越小表示回歸函數(shù)的誤差越小。

求解式(3)時，同時引入Lagrange函數(shù)，并轉(zhuǎn)換成對偶形式：

約束條件：

(4)

式中：K(xi,xj)=φ(xi)φ(yi)為核函數(shù)。

(5)

Step5，引入函數(shù)K(xi,x)，將w代入式(1)，得到f(x)表達(dá)式如下：

(6)

常用的核函數(shù)主要有線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)與兩層感知核函數(shù)等。核函數(shù)的合理選取有助于提高模型精度，故本文選擇徑向基核函數(shù)作為SVR核函數(shù)。

Vapnik[11]等人研究表明，SVR的性能主要受懲罰因子C、核函數(shù)參數(shù)g和不敏感系數(shù)ε的影響。懲罰因子C決定著由訓(xùn)練樣本產(chǎn)生的經(jīng)驗風(fēng)險對模型性能的影響，即經(jīng)驗風(fēng)險隨著C值的增加而增加、減小而減小，當(dāng)C值無窮大時，SVR結(jié)構(gòu)風(fēng)險趨于經(jīng)驗風(fēng)險；而當(dāng)C值趨于零時，則會導(dǎo)致模型失去解決問題的能力。核函數(shù)參數(shù)g的改變意味著改變映射函數(shù)，因此它主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度。不敏感系數(shù)ε用于控制支持向量的個數(shù)，平衡模型的復(fù)雜程度與模型對訓(xùn)練樣本維數(shù)的依賴程度，若ε值過小，則會導(dǎo)致模型“過擬合”，并且增加訓(xùn)練時間；反之，則會導(dǎo)致模型“欠擬合”。

因此，本文在給定不敏感系數(shù)ε的條件下，提出PSO、GA算法對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行尋優(yōu)，以期獲得更好的預(yù)測效果。

1.2 PSO-SVR預(yù)測模型

(1) 粒子群優(yōu)化算法

粒子群算法(ParticleSwarmOptimization,PSO)是近年來發(fā)展起來的一種新型啟發(fā)式進(jìn)化算法，最早由Kennedy和Eberhart[12]于1995年受鳥群覓食過程中遷徙和群聚行為而提出的群體智能全局隨機搜索算法，具有簡單、容易實現(xiàn)、收斂速度快和全局尋優(yōu)等特點，并被證明在大多數(shù)情況下比遺傳算法(GA)更有效。

(2) 基于PSO優(yōu)化的SVR預(yù)測模型

定義目標(biāo)函數(shù)：

(7)

本文選取式(7)作為PSO算法的目標(biāo)函數(shù)，利用PSO算法對SVR參數(shù)(C,g)進(jìn)行優(yōu)化。具體算法步驟分6步。

Step1：選取SVR模型的訓(xùn)練樣本和檢驗樣本，設(shè)定懲罰因子C和核函數(shù)參數(shù)g搜尋范圍。

Step2：確定目標(biāo)函數(shù)，初始化PSO算法中的種群W=(W1,W2,…,Wn)、最大迭代次數(shù)、慣性權(quán)重ω、加速因子c1和c2為等參數(shù)取值，隨機初始化待優(yōu)化參數(shù)C和g的可行解位置W=(wi1,wi2,…,wis)T和速度V=(Vi1,Vi2,…,Vis)T。

Step3：根據(jù)初始化參數(shù)C和g，由式(7)計算適應(yīng)值。若滿足PSO收斂停止準(zhǔn)則(達(dá)到訓(xùn)練誤差或迭代次數(shù))，則轉(zhuǎn)至步驟Step6，否則轉(zhuǎn)至步驟Step4。

Step4：更新粒子的位置、速度，計算PSO適應(yīng)度值，記憶個體與群體所對應(yīng)的最佳適應(yīng)度位置Pi=(Pi1,Pi2,…,Pis)T與Pg=(Pg1,Pg2,…,Pgs)T，若Pi和Pg優(yōu)于歷史最優(yōu)位置，則更新Pi和Pg。

Step5：重復(fù)Step4直到滿足PSO收斂停止準(zhǔn)則。

Step6：確定最佳懲罰因子C和核函數(shù)參數(shù)g，利用SVR模型對檢驗樣本進(jìn)行預(yù)測。

1.3 GA-SVR模型

(1) 遺傳優(yōu)化算法

遺傳算法(GeneticAlgorithm,GA)的基本思想是將問題的求解表示成“染色體”，并置于問題的“環(huán)境”中，根據(jù)適者生存原則，從中選擇出適應(yīng)環(huán)境的“染色體”進(jìn)行復(fù)制，即再生(reproduction)，并通過交叉(crossover)、變異(mutation)2種基因操作產(chǎn)生出新一代更適合環(huán)境的“染色體”群，這樣不斷重復(fù)，最后收斂到一個最適合環(huán)境的個體上，從而求得問題的最優(yōu)解或次優(yōu)解。GA具有隱含的并行性和強大的全局搜索能力，可以在短時間內(nèi)搜索到全局最優(yōu)點。因此，可利用GA對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化。

(2) 基于GA優(yōu)化的SVR預(yù)測模型

同樣選取式(7)作為GA算法的目標(biāo)函數(shù)，利用GA算法對參數(shù)(C,g)進(jìn)行優(yōu)化。具體算法步驟分6步。

Step1：選取SVR模型的訓(xùn)練樣本和檢驗樣本，設(shè)定懲罰因子C和核函數(shù)參數(shù)g的搜尋范圍，對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行染色體基因編碼，產(chǎn)生SVR參數(shù)初始種群。

Step2：確定式(7)為目標(biāo)優(yōu)化適應(yīng)度函數(shù)。

Step3：設(shè)定變異、交叉概率系數(shù)以及種群規(guī)模、進(jìn)化代數(shù)等。

Step4：進(jìn)行SVR訓(xùn)練，按式(7)計算GA適應(yīng)度函數(shù)值，若滿足GA訓(xùn)練停止準(zhǔn)則(達(dá)到訓(xùn)練誤差或迭代次數(shù))，則轉(zhuǎn)至步驟Step6，否則轉(zhuǎn)至步驟Step5。

Step5：根據(jù)計算GA適應(yīng)度值，對種群進(jìn)行遺傳、變異以及交叉操作，產(chǎn)生下一代SVR參數(shù)種群，利用得到的子代參數(shù)種群對SVR模型進(jìn)行訓(xùn)練，計算適應(yīng)度，若滿足GA訓(xùn)練停止準(zhǔn)則，則轉(zhuǎn)至步驟Step6，否則返回步驟Step4。

Step6：結(jié)束訓(xùn)練，得到最佳懲罰因子C和核函數(shù)參數(shù)g，利用SVR模型對檢驗樣本進(jìn)行預(yù)測。

2 模型應(yīng)用

2.1 數(shù)據(jù)來源與分析

新疆開都河大山口水文站1956—2012年57a的實測資料為例進(jìn)行實例研究。利用DPS軟件分析年徑流量與1—12月月均徑流量的相關(guān)性，分析結(jié)果如表1所示。

表1 開都河年徑流量與各月流量的相關(guān)系數(shù)表

從表1可以看出，無論是簡單相關(guān)系數(shù)還是偏相關(guān)系數(shù)，年徑流與1—12月的月均徑流量均呈正相關(guān)關(guān)系，相關(guān)系數(shù)在0.379～0.999之間，相關(guān)性十分顯著。

2.2 模型計算

將PSO-SVR、GA-SVR和GS-SVR模型應(yīng)用于開都河大山口水文站年徑流預(yù)測的步驟分為訓(xùn)練及預(yù)測樣本選取、數(shù)據(jù)歸一化、模型構(gòu)建、模型訓(xùn)練、預(yù)測結(jié)果分析5個步驟。

(1) 訓(xùn)練及預(yù)測樣本選取?；诒?，選取與年徑流在0.01水平(雙側(cè))上顯著相關(guān)的1—12月的月均徑流量作為年徑流量預(yù)測的影響因子，并以1956—1995年40a的實測資料作為訓(xùn)練樣本，1996—2012年17a的資料作為預(yù)測樣本。

(2) 數(shù)據(jù)歸一化處理。利用式(8)對各徑流序列進(jìn)行歸一化處理：

(8)

(3) 模型構(gòu)建。本文基于Matlab軟件環(huán)境和libsvm工具箱構(gòu)建各SVR模型，選取1—12月的月均徑流量作為模型輸入向量，年徑流作為輸出向量，創(chuàng)建12輸入1輸出的PSO-SVR、GA-SVR和GS-SVR年徑流預(yù)測模型。

(4) 模型的訓(xùn)練。利用選取的訓(xùn)練樣本對PSO-SVR、GA-SVR和GS-SVR年徑流預(yù)測模型進(jìn)行訓(xùn)練，并選取平均相對誤差絕對值VMRE為各模型性能的評價指標(biāo)，公式如下：

(9)

經(jīng)反復(fù)調(diào)試，在下述參數(shù)設(shè)置條件下，PSO-SVR、GA-SVR和GS-SVR預(yù)測模型具有較好的預(yù)測效果。

1)PSO-SVR模型。選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間分別設(shè)為0.1～100、0.01～1 000；局部和全局搜索學(xué)習(xí)因子c1、c2分別設(shè)為1.5、1.7；最大迭代次數(shù)設(shè)為200；種群規(guī)模設(shè)為30；慣性權(quán)重系數(shù)設(shè)為0.6；CV參數(shù)K值設(shè)為3；不敏感系數(shù)ε設(shè)為0.001(其他參數(shù)采用默認(rèn)值)。利用PSO優(yōu)化SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，優(yōu)化結(jié)果為：C=41.051 5；g=0.01。

2)GA-SVR模型?；谥x菲爾德(Sheffield)遺傳算法工具箱，選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間分別設(shè)為0～100、0～1 000；最大迭代次數(shù)設(shè)為200；種群規(guī)模設(shè)為50；變異系數(shù)設(shè)為0.9；CV參數(shù)K值設(shè)為5；不敏感系數(shù)ε設(shè)為0.001(其他參數(shù)采用默認(rèn)值)。利用GA優(yōu)化SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，優(yōu)化結(jié)果為：C=17.128 1；g=0.009 54。

3)GS-SVR模型。選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間均設(shè)為2-2～26；步進(jìn)大小均取0.1；CV參數(shù)K值設(shè)為5；不敏感系數(shù)ε設(shè)為0.001(其他參數(shù)采用默認(rèn)值)，利用交叉驗證法(CrossValidation,CV)確定SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，尋優(yōu)結(jié)果為：C=1.071 8；g=0.217 64。

PSO-SVR、GA-SVR與GS-SVR模型訓(xùn)練結(jié)果見表2和圖1。

表2 不同模型訓(xùn)練結(jié)果誤差分析表

圖1 不同模型訓(xùn)練結(jié)果與實測值對比圖

由表2可知，PSO-SVR模型訓(xùn)練精度最優(yōu)，平均相對誤差為2.83%。平均絕對誤差為0.934億m3；GA-SVR模型訓(xùn)練精度次之，其平均相對誤差為3.16%。平均絕對誤差為1.059億m3；GS-SVR模型訓(xùn)練精度最低，其平均相對誤差為4.68%。平均絕對誤差為1.518億m3。

表3 不同模型預(yù)測結(jié)果誤差分析表

(5) 預(yù)測結(jié)果分析。根據(jù)圖1與表3可以得出以下結(jié)論：PSO-SVR和GA-SVR模型對開都河大山口水文站1996—2012年17a徑流預(yù)測的VMRE分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預(yù)測精度和泛化能力均優(yōu)于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化；其次，從PSO-SVR和GA-SVR模型預(yù)測值來看，PSO-SVR和GA-SVR模型預(yù)測的相對誤差分別在0.20%～4.68%、0.13%～6.19%之間，表明PSO-SVR和GA-SVR模型算法具有較好的預(yù)測效果和穩(wěn)健性能。相對而言，PSO-SVR模型性能略優(yōu)于GA-SVR模型。

3 結(jié) 語

在給定不敏感系數(shù)ε和徑向基核函數(shù)條件下，提出SVR模型懲罰因子C和核函數(shù)參數(shù)g的PSO、GA優(yōu)化方法，以新疆開都河大山口水文站年徑流預(yù)測為例進(jìn)行分析，并與具有良好回歸性能的GS-SVR模型進(jìn)行比較，結(jié)果驗證了PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化。PSO-SVR和GA-SVR模型兼顧了啟發(fā)式優(yōu)化算法與結(jié)構(gòu)風(fēng)險最小化算法二者的優(yōu)點，具有預(yù)測精度高、泛化能力強以及穩(wěn)健性能好等優(yōu)點，模型及方法可為相關(guān)預(yù)測研究提供參考。

[1] 崔東文. 多隱層BP神經(jīng)網(wǎng)絡(luò)模型在徑流預(yù)測中的應(yīng)用[J].水文,2013,33(1)：68-73.

[2] 崔東文. 改進(jìn)Elman神經(jīng)網(wǎng)絡(luò)在徑流預(yù)測中的應(yīng)用[J].水利水運工程學(xué)報,2013,38(2)：71-77.

[3] 鄧霞,董曉華,薄會娟.基于BP網(wǎng)絡(luò)的河道徑流預(yù)報方法與應(yīng)用[J].人民長江,2010,41(2)：56-59.

[4] 田雨波.混合神經(jīng)網(wǎng)絡(luò)技術(shù)[M].北京：科學(xué)出版社,2009.

[5] 王雷.支持向量機在汽輪機狀態(tài)監(jiān)測中的應(yīng)用[M].北京：北京師范大學(xué)出版社,2012.

[6] 李彥彬,黃強,徐建新.河川徑流中長期預(yù)測的支持向量機模型[J].水力發(fā)電學(xué)報,2008,27(5)：28-32.

[7] 李彥彬,黃強,徐建新. 基于混沌支持向量機的河川徑流預(yù)測研究[J].水力發(fā)電學(xué)報,2008,27(6)：42-47.

[8] 衛(wèi)太祥,馬光文.基于懲罰加權(quán)支持向量機回歸的徑流預(yù)測模型[J].水力發(fā)電學(xué)報,2012,31(6)：35-38.

[9] 張俊,程春田.基于蟻群算法的支持向量機中長期水文預(yù)報模型[J].水力發(fā)電學(xué)報,2010,29(6)：34-40.

[10] 崔東文,郭榮.基于幾種參數(shù)優(yōu)化的支持向量機在徑流預(yù)報中的比較分析[J].水資源研究,2013,34(2)：34-38.

[11] 崔東文.支持向量機在湖庫營養(yǎng)狀態(tài)識別中的應(yīng)用研究[J].水資源保護(hù),2013,29(4):26-30.

[12] 史峰,王輝,郁磊,等.MATLAB智能算法30個案例分析[M].北京:北京航空航天大學(xué)出版社,2011.

Predication of Annual Runoff in Kaidu River Based on Modified Support Vector Machine

WANG Juan-juan

(Xinjiang Jindaxin Engineering Construction Co., Ltd., Kurle, Xinjiang 841000,China)

The annual runoff predication models of PSO-SVR and GA-SVR based on the heuristic calculation method are proposed aiming at the key impacts on the model performance by selection of the penalty factorCand the nuclear function parametergof SVR as well as the difficulty of parameter selection in actual application. The predication of the annual runoff at Dashankou gauge station on the Kaidu River in Xinjiang is studied. First, the impact factors of the annual runoff are selected by application of DPS software to finalize the input vectors; second, the predication models of the annual runoff of PSO-SVR and GA-SVR are built as well as the GS-SVR model based on the combination of GS and CV is constructed in accordance with the basic principle of PSO and GA and by application of the penalty factorCand the nuclear function parametergof SVR optimized by PSO and GA. Finally, the built models are applied for predication of practice. The analysis presents that the absolute values of the average relative errors of the annual runoff of the Kaidu River in 1996—2012 predicated by both PSO-SVR and GA-SVR are 2.65% and 3.22% prospectively. Their average absolute errors are 105.5 million m3and 129.1 million m3respectively. Their predication precision and generalization ability both are superior to those of GS-SVR model. This proves that both PSO and GA can effectively optimize the SVR penalty factorCand the nuclear function parameterg. They feature high prediction precision, strong generalization ability and good stability. Relatively, performances of PSO-SRV model are superior to those of GA-SVR model.Key words: swarm intelligence; genetic algorithm method; support vector machine; runoff predication; Kaidu River

2015-03-03

王娟娟(1981- )，女，新疆烏魯木齊市人，工程師，主要從事水利工程建設(shè)管理工作.

TV121.4

A

10.3969/j.issn.1006-2610.2015.04.001