劉寶成，張仲榮，盛秀梅，程麗娟

(蘭州交通大學(xué) 數(shù)理學(xué)院，甘肅 蘭州 730070)

基于Holt-Winters與最小二乘支持向量機的混合預(yù)測模型

劉寶成，張仲榮，盛秀梅，程麗娟

(蘭州交通大學(xué) 數(shù)理學(xué)院，甘肅 蘭州 730070)

為了提高地下水埋深時間序列的預(yù)測精度，本文應(yīng)用Holt-Winters三參數(shù)指數(shù)平滑法作為預(yù)測模型，使用最小二乘支持向量機對殘差序列進(jìn)行預(yù)測。由于核參數(shù)和懲罰因子在很大程度上直接影響了最小二乘支持向量機的預(yù)測性能，本文選用果蠅優(yōu)化算法對其參數(shù)進(jìn)行優(yōu)化選取，該方法不僅能夠建立最優(yōu)的混合預(yù)測模型，而且能夠很好地捕獲地下水埋深序列的非線性特征。選用甘肅民勤縣大壩鄉(xiāng)城西八社地下水監(jiān)測站點的數(shù)據(jù)來驗證所建模型的預(yù)測性能，實驗結(jié)果表明與傳統(tǒng)的單一預(yù)測方法相比，本文所建混合預(yù)測模型提高了預(yù)測精度。

Holt-Winters三參數(shù)指數(shù)平滑；最小二乘支持向量機；果蠅優(yōu)化算法；混合預(yù)測模型

地下水通常具有高質(zhì)量、不需要化學(xué)處理可以直接用于人類社會活動的特點[1]，作為自然界重要的優(yōu)質(zhì)水資源，特別在干旱或半干旱地區(qū)地下水已成為人們主要的甚至唯一的供水水源[2]。地下水埋深是指潛水面至地表面的距離，是衡量地下水水量重要的標(biāo)準(zhǔn)，準(zhǔn)確預(yù)測地下水埋深以減少有害影響并維持供需之間的差距對于水管理者和工程師來說是必要的[3]。目前時間序列預(yù)測方法，比如ARIMA、GM(1,1)、Holt-Winters指數(shù)平滑法以及回歸模型已被廣泛地應(yīng)用地下水埋深[4-6]；地下水埋深由于諸多自然因素以及人類活動的影響，呈現(xiàn)出復(fù)雜的非線性特征[7]。傳統(tǒng)的預(yù)測模型由于自身非線性逼近能力的不足，難以提高預(yù)測精度，基于神經(jīng)網(wǎng)絡(luò)(ANN)與機器學(xué)習(xí)有很強捕獲非線性特征的能力，許多研究者已將其應(yīng)用于地下水埋深預(yù)測，比如最小二乘支持向量機(LSSVM)[7]、GM(1,1)與ANN結(jié)合[8]、ANN與自適應(yīng)模糊系統(tǒng)(ANFIS)結(jié)合[9]等取得了很好的預(yù)測結(jié)果；為了降低序列噪聲的影響，小波降噪結(jié)合其他方法，比如小波-支持向量回歸(WSVR)、小波-神經(jīng)網(wǎng)絡(luò)(WANN)[10-11]等,但是這些方法不能很好地擬合序列的季節(jié)性[12]。

本文結(jié)合Holt-Winters三參數(shù)指數(shù)平滑、最小二乘支持向量機(Least Squares Support Vector Machines, LSSVM)和果蠅優(yōu)化算法(fruit fly optimization algorithm, FOA)建立混合預(yù)測模型Holt-Winters-FOA-LSSVM。首先，應(yīng)用Holt-Winters三參數(shù)指數(shù)平滑對原序列擬合并預(yù)測，獲得殘差序列以及預(yù)測值；其次，應(yīng)用LSSVM對殘差序列進(jìn)行預(yù)測，并使用FOA對LSSVM的兩個參數(shù)進(jìn)行優(yōu)化，建立最優(yōu)的混合預(yù)測模型；最后，通過實驗與傳統(tǒng)單一預(yù)測方法比較，來證明本文所建模型的有效性。

1 使用方法

1.1 Holt-Winters三參數(shù)指數(shù)平滑

(1)

，

(2)

(3)

如采用乘法模型，構(gòu)造如下：

(4)

(5)

(6)

1.2 最小二乘支持向量機

LSSVM是支持向量機的一種類型，是一種新型的人工智能技術(shù)[14]。最小二乘法支持向量機(LSSVM)模型被廣泛地用于科學(xué)工程，LSSVM模型的優(yōu)點，在有關(guān)的定量和定性方面，有很強的非線性擬合能力。

假設(shè){(xi,yi)}為訓(xùn)練樣本集，輸入變量的值是i=1,2,…,N,xi∈Rn、yi∈Rn是輸出變量，線性回歸函數(shù)可用表示為：

f(x)=ωTφ(x)+b。

(7)

其中：x是輸入向量，ω是權(quán)重矩陣，b是常數(shù)；根據(jù)結(jié)構(gòu)最小化原則，優(yōu)化問題就會轉(zhuǎn)化為尋找函數(shù)f(x)，使達(dá)到最?。?/p>

(8)

其中：γ是懲罰因子，ei是誤差；約束方程表示如下：

yi=ωTφ(xi)+b+ei,i=1,2,…,N。

(9)

引進(jìn)拉格朗日乘子ai，得到：

(10)

根據(jù)KKT條件，LSSVM對方程(10)兩邊求偏導(dǎo)數(shù)，得到方程：

(11)

(12)

其中：y=[y1,y2,…,yN]T，a=[a1,a2,…,aN]T，lv=[1,1,…,1]T，I是單位矩陣，K是鄰接矩陣，K(xi,xj)=φ(xi,xj)Tφ(xi)是滿足Mercer理論的核矩陣。徑向基函數(shù)具有廣泛的收斂性和較強的泛化能力，是一種理想的回歸核函數(shù)。公式(13)為徑向基函數(shù) 所示：

(13)

其中：σ是核的寬度參數(shù)，它決定了樣本數(shù)據(jù)分布的復(fù)雜性。它影響了LSSVM在特征空間中的超平面獲得最佳分類的概括能力。調(diào)節(jié)懲罰因子γ和核參數(shù)σ是兩個影響LSSVM基于徑向核函數(shù)模型回歸性能的超參數(shù)。a和b可通過最小二乘方法獲得，則LSSVM的線性回歸預(yù)測模型表達(dá)式：

(14)

調(diào)節(jié)懲罰因子γ和核參數(shù)σ的選取對LSSVM有很大的影響。為了獲取最優(yōu)參數(shù)得到最優(yōu)模型以及考慮到算法的復(fù)雜性，本文采用果蠅優(yōu)化算法(FOA)選取一組最優(yōu)參數(shù)。

1.3 果蠅優(yōu)化算法

臺灣潘文超教授基于果蠅覓食行為，提出了一種新的全局優(yōu)化的方法，稱之為果蠅優(yōu)化算法(FOA)，它的基本原理是粒子群優(yōu)化算法[15-16]。作為一種比較全新的全局優(yōu)化算法，果蠅優(yōu)化算法不僅在科學(xué)和工程領(lǐng)域得到了廣泛的應(yīng)用，而且通過與其他方法進(jìn)行混合運用到了數(shù)據(jù)挖掘中[17]。FOA算法的優(yōu)點在于運算速度快，算法簡單，并且對計算機的要求也比較低。根據(jù)上一節(jié)內(nèi)容懲罰因子γ和核參數(shù)σ的選取直接影響LSSVM的擬合性能，因此，本文選用了果蠅優(yōu)化算法優(yōu)化參數(shù)，來建立最佳的LSSVM擬合模型。

圖1 果蠅組迭代搜索食物示意圖

果蠅組迭代搜索食物示意圖如圖1所示。具體步驟如下：

(1) 果蠅群組的規(guī)模為Sizepop，迭代的最大數(shù)量為Maxgen，隨機初始化果蠅群體位置為X-axis、Y-axis；

(2) 果蠅群體位置更新由公式(15)計算，其中隨機值就是搜索到的距離：

(15)

(3) 計算果蠅與食物的距離Disti，然后再計算食物味道濃度判定值Si，Si值是距離的倒數(shù)。

(16)

(17)

味道濃度值Smelli如下：

Smelli=Function(Si)。

(18)

(4) 把味道濃度判定值Si代入味道濃度判定函數(shù)，計算出果蠅個體位置的味道濃度[15]；

(5) 找出此果蠅群體中味道濃度最佳的果蠅[16]：

[bestSmellbestindex]=min(Smelli)。

(19)

(6) 記錄并保留最佳味道濃度值與x,y坐標(biāo)[15-16]。此時果蠅群體利用視覺不斷向目標(biāo)位置靠近；

(20)

(7)重復(fù)執(zhí)行步驟(3)～步驟(6)迭代尋優(yōu)，當(dāng)味道濃度不再優(yōu)于先前迭代的味道濃度或迭代數(shù)量達(dá)到最大值時終止計算。

2 混合預(yù)測模型Holt-Winters-FOA-LSSVM建立

步驟1:根據(jù)原時間序列來確定Holt-Winters三參數(shù)指數(shù)平滑法的3個參數(shù)α、β、γ；建立Holt-Winters模擬預(yù)測模型，獲得擬合值與預(yù)測值；

步驟2:結(jié)合FOA與LSSVM應(yīng)用殘差序列建立最優(yōu)的殘差預(yù)測模型；

步驟3:設(shè)置FOA的最大迭代次數(shù)、種群個數(shù)、果蠅隨機位置及方向和LSSVM兩個參數(shù)取值范圍；

步驟4:使用真實值與LSSVM預(yù)測值的平均絕對百分比誤差(MAPE)作為適應(yīng)度函數(shù)，其中果蠅優(yōu)化算法搜索達(dá)到最大迭代次數(shù)，最小的MAPE所對應(yīng)的食物味道濃度判定值，及得到最優(yōu)的一組參數(shù)；

步驟5:帶入LSSVM建立最優(yōu)的混合預(yù)測模型Holt-Winters-FOA-LSSVM。

3 應(yīng)用實例

3.1 研究區(qū)及數(shù)據(jù)

本實驗數(shù)據(jù)是甘肅省民勤縣大壩鄉(xiāng)城西八社(東經(jīng)103°00′12″、北緯38°38′11″)從1999年1月至2013年12月(共180個數(shù)據(jù))地下水監(jiān)測站點數(shù)據(jù)，并由民勤縣水務(wù)局提供。民勤縣位于河西走廊東部石羊河下游，除西南一角與金昌、涼州區(qū)相接外，其余均被騰格里和巴丹吉林沙漠包圍，是一個半封閉的內(nèi)陸荒漠區(qū)，在阻礙兩大沙漠匯合中起著極其重要的作用，是我國典型的資源型缺水地區(qū)[18]。

圖2 Holt-Winters-FOA-LSSVM實驗流程圖

3.2 實驗過程

Holt-Winters-FOA-LSSVM實驗流程如圖2所示。

步驟1：將原序列1991年1月至2012年12月數(shù)據(jù)(前168個數(shù)據(jù))作為訓(xùn)練集，2013年12個月的數(shù)據(jù)(第169至180個數(shù)據(jù))作為驗證集。如圖3原觀測序列有明顯的趨勢與季節(jié)性，通過SAS模塊可直接建立Holt-Winters 3參數(shù)指數(shù)平滑預(yù)測模型，由于隨著時間的推移季節(jié)波動振幅隨著序列水平的變化而變化，故采用乘法模型[13]，其中α、β取SAS默認(rèn)的值0.106，通過多次試驗γ值取0.5時擬合優(yōu)度R2=0.971，所建立模型擬合效果如圖4所示。

步驟3：設(shè)置FOA的最大迭代次數(shù)Maxgen=100、種群規(guī)模Sizepop=10、果蠅隨機位置[-10,10]及方向[-1,1]和LSSVM兩個參數(shù)γ范圍設(shè)為[0,400]和σ初始范圍為[0,10]；以殘差序列ct(t=1,…,168)為訓(xùn)練集，經(jīng)由FOA的50次迭代動態(tài)調(diào)整LSSVM參數(shù)后MAPE收斂情形；圖5所示當(dāng)?shù)?6次時適應(yīng)度函數(shù)值MAPE達(dá)到最小，對應(yīng)最優(yōu)參數(shù)為γ=374.228和σ=1.358；

3.3 實驗結(jié)果

通過與Holt-Winters、LSSVM和SARIMA預(yù)測模型相比較，由表1表明，本文所建模型預(yù)測結(jié)果MAE=0.068，MAPE=0.077均小于其他幾種單一預(yù)測模型，即預(yù)測精度相對較好，2013年12個月預(yù)測值對比如圖6所示。

圖3 原觀測序列 圖4 觀測序列與擬合序列

圖5 迭代優(yōu)化LSSVM參數(shù)后的MAPE收斂趨勢圖 圖6 各模型預(yù)測結(jié)果對比圖

模型Holt-Winters-FOA-LSSVMHolt-WintersLSSVMSARIMAMAE0.0680.1180.1230.097MAPE0.0770.0840.0970.121

4 結(jié) 語

本文基于建立混合預(yù)測模型的思路來提高地下水埋深預(yù)測精度。根據(jù)原序列的自身季節(jié)和趨勢，用Holt-Winters三參數(shù)指數(shù)平滑法作為擬合預(yù)測模型來逼近其周期和趨勢；為了很好地捕獲序列的非線性特征，使用了LSSVM來擬合預(yù)測殘差序列；考慮到調(diào)節(jié)因子γ和核參數(shù)σ直接影響著LSSVM的預(yù)測性能，選取了果蠅優(yōu)化算法來搜索一組最優(yōu)參數(shù)，建立一種最優(yōu)的混合預(yù)測模型(Holt-Winters-FOA-LSSVM)。通過對甘肅民勤縣大壩鄉(xiāng)城西八社2013年地下水埋深數(shù)據(jù)預(yù)測結(jié)果表明，本文所建模型預(yù)測精度高于其他幾種單一預(yù)測模型。本文不足之處為Holt-Winters參數(shù)使用了SAS軟件默認(rèn)值，為了能夠獲得更準(zhǔn)確的預(yù)測需要進(jìn)行優(yōu)化選取。影響地下水埋深變化的因素有很多，為此，收集更多相關(guān)的數(shù)據(jù)，考慮影響地下水埋深多種因素，建立更精準(zhǔn)的地下水埋深預(yù)測模型是即將開展的工作。

[1] Chitsazan M,Rahmani G,Neyamadpour A.Forecasting groundwater level by artificial neural networks as an alternative approach to groundwater modeling[J].Journal of the Geological Society of India,2015,85(1):98-106.

[2] 陸垂裕,孫青言,李慧,等.基于水循環(huán)模擬的干旱半干旱地區(qū)地下水補給評價[J].水利學(xué)報,2014,6(45):701-711.

[3] 閆浩文,劉艷平,曹建君.民勤綠洲地下水埋深影響因素分析及其變化趨勢預(yù)測[J].中國水土保持科學(xué),2013,11(2):45-51.

[4] 張云云,高子云,朱家明,等.組合預(yù)測模型在山東省地下水資源量預(yù)測中的應(yīng)用[J].高師理科學(xué)刊,2016,36(6):24-28.

[5] 郝健,劉俊民.GM(1,1)模型改進(jìn)技術(shù)在咸陽市地下水動態(tài)預(yù)測中的應(yīng)用[J].水土保持研究,2011,18(3):252-256.

[6] 王美.Holt-Winters指數(shù)平滑法的地下水水位預(yù)測[J].青年時代,2016,4:161-162.

[7] 龍文,梁昔明,龍祖強,等.PSO-LSSVM灰色組合模型在地下水埋深預(yù)測中的應(yīng)用[J].系統(tǒng)工程理論與實踐,2013,33(1):243-248.

[8] Hadi E,Taher R.Simulation of groundwater level variations using wavelet combined with neural network,linear regression and support vector machine[J].Global and Planetary Change,2017(148):181-191.

[9] 楊婷,魏曉妹,胡國杰,等.灰色BP神經(jīng)網(wǎng)絡(luò)模型在民勤盆地地下水埋深動態(tài)預(yù)測中的應(yīng)用[J].干旱地區(qū)農(nóng)業(yè)研究,2011,29(3):204-208.

[10] Mamgholizadeh S,Moslemi K,Karami G.Prediction the Groundwater Level of Bastam Plain(Iran) by Artificial Neural Network(ANN) and Adaptive Neuro-Fuzzy Inference System (ANFIS)[J].Water Resources Management,2014,28(15):5433-5446.

[11] Suryanarayana C,Sudheer C,Mahammood V,et al.An integrated wavelet-support vector machine for groundwater level prediction in Visakhapatnam,India[J].Neurocomputing,2014,145(18):324-335.

[12] Guo Z H,Zhao J B,Zhang W Y,et al.A corrected hybrid approach for wind speed prediction in Hexi Corridor of China[J].Energy,2011,36:1668-1679.

[13] 王燕.應(yīng)用時間序列分析[M].北京:中國人民大學(xué)出版社,2015:196-198.

[14] Gu Y P,Zhao W J,Wu Z S.Least squares support vector machine algorithm[J].Qinghua Daxue Xuebao/journal of Tsinghua University,2010,50(7):1063-1057.

[15] Wu X W,Li Q.Research of optimizing performance of fruit fly optimization algorithm and five kinds of intelligent algorithm [J].Fire Control & Command Control,2013,38(4):17-22.

[16] Pan W T,Pan W T.A new fruit fly optimization algorithm:taking the financial distress model as an example.Knowledge Based Systems[J].Knowledge-Based System,2012,26(2):69-74.

[17] Han J,Liu C.Fruit fly optimization algorithm based on bacterial chemotaxis[J].Journal of Computer Applications,2013,33(4):964-938.

[17] 肖篤寧,李小玉,宋冬梅,等.民勤綠洲地下水開采時空動態(tài)模擬[J].地球科學(xué),2006,36(6):567-578.

Hybrid Prediction Model Based on Holt-Winters and Least Squares Support Vector Machine

LIU Baocheng, ZHANG Zhongrong, SHENG Xiumei, CHENG Lijuan

(Lanzhou Jiaotong University, Lanzhou 730070, China)

In order to improve the prediction accuracy of the time series of groundwater depth, Holt-Winters three-parameter exponential smoothing method was used as the prediction model. The least squares support vector machine was also used to predict the residual sequence. As the prediction performance of least squares support vector machine, to a large extent, is directly affected by the kernel parameters and penalty factors, in this paper, the fruit fly optimization algorithm is used to optimize the parameters, which can not only establish the optimal hybrid forecasting model, but also can capture the Non-Linear characteristics and the predicted model was verified by the data collected from the groundwater monitoring station in the Minqin County Daba in Gansu Province. The experimental results show that the hybrid prediction model proposed in this paper improves the prediction accuracy compared with the traditional single prediction method.

Holt-Winters three-parameters exponential smoothing; least squares support vector machine; fruit fly optimization algorithm; hybrid prediction model

10.3969/j.issn.1674-5403.2017.04.018

O273.4

A

1674-5403(2017)04-0079-06

2017-06-16

劉寶成(1991-)，男，甘肅隴南人，在讀碩士研究生，主要從事時空預(yù)測、機器學(xué)習(xí)、智能優(yōu)化等方面的研究.

國家自然科學(xué)基金項目(41371435).