遲恩楠， 李春祥

(上海大學(xué) 土木工程系，上?！?00072)

?

基于優(yōu)化組合核和Morlet小波核的LSSVM脈動風(fēng)速預(yù)測方法

遲恩楠， 李春祥

(上海大學(xué) 土木工程系，上海200072)

核函數(shù)是支持向量機(jī)的重要組成部分，直接影響預(yù)測模型的結(jié)果。根據(jù)Mercer定理，推導(dǎo)出了Morlet小波核函數(shù)，使其具有局部化、多層次、多分辨的優(yōu)點。選擇具有代表性的徑向基(RBF)核函數(shù)和多項式(Poly)核函數(shù)構(gòu)建出局部性和全局性相結(jié)合的線性組合核函數(shù)，使得預(yù)測模型保留RBF核函數(shù)所賦予的優(yōu)越學(xué)習(xí)能力以及Poly核函數(shù)所擁有的強(qiáng)泛化能力；進(jìn)一步，使用粒子群優(yōu)化(PSO)算法，對懲罰參數(shù)、核參數(shù)、權(quán)重、尺度因子進(jìn)行尋優(yōu)，分別建立了基于Morlet小波核和組合核的PSO-LSSVM模型;使用建立的預(yù)測模型，對脈動風(fēng)速進(jìn)行了預(yù)測。通過比較預(yù)測性能評價指標(biāo)，發(fā)現(xiàn)基于Morlet小波核和組合核PSO-LSSVM的預(yù)測精度優(yōu)于常用的單核PSO-LSSVM模型。

預(yù)測；脈動風(fēng)速；Morlet小波核；組合核；最小二乘支持向量機(jī)；粒子群優(yōu)化

風(fēng)荷載研究時，通常把風(fēng)速處理為：在一定時距內(nèi)不隨時間變化的平均風(fēng)速和隨時間隨機(jī)變化的脈動風(fēng)速兩部分，平均風(fēng)速產(chǎn)生結(jié)構(gòu)靜態(tài)響應(yīng)，而脈動風(fēng)速產(chǎn)生動態(tài)響應(yīng)[1]。脈動風(fēng)的頻繁作用也會使建筑物外墻面構(gòu)件和附屬物產(chǎn)生疲勞破壞。因此，掌握完整的脈動風(fēng)速時程對結(jié)構(gòu)設(shè)計、安全具有重要意義。

基于數(shù)據(jù)驅(qū)動的樣本學(xué)習(xí)訓(xùn)練為脈動風(fēng)速預(yù)測提供了可行的方法。目前，脈動風(fēng)速建模預(yù)測的方法主要有：時間序列分析法、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等方法[2-3]。然而，這些方法都存在著理論或應(yīng)用上的不足。例如：時間序列方法，高階模型參數(shù)估計難度大、低階模型預(yù)測精度低；人工神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)驅(qū)動算法，具有逼近任意非線性函數(shù)的能力，但算法運行時間長，容易陷入局部極小。雖然支持向量機(jī)(Support Vactor Machines,SVM)通過核函數(shù)定義的非線性變換將輸入空間變換到一個高維線性空間，解決了“維數(shù)災(zāi)難”問題，但核函數(shù)的選擇決定了模型的特性，局部核函數(shù)學(xué)習(xí)能力強(qiáng)、泛化性能弱，而全局核函數(shù)泛化性能強(qiáng)、學(xué)習(xí)能力弱。因此，在不同的應(yīng)用場合中，核函數(shù)的性能表現(xiàn)差別很大，特別是當(dāng)樣本特征含有異構(gòu)信息或樣本規(guī)模很大或數(shù)據(jù)在高維特征空間分布不平坦時，既有核函數(shù)對所有樣本進(jìn)行處理并不合理。因此，提出增強(qiáng)型核函數(shù)，并發(fā)展基于增強(qiáng)型核函數(shù)(Least Suppost SVM,LSSVM)具有重要的意義。

本文根據(jù)一維Morlet母小波函數(shù)，建立滿足Mercer條件的Morlet小波核；同時，對常用單核函數(shù)進(jìn)行提升，提出基于全局多項式核和局部徑向基核(高斯核)線性組合的增強(qiáng)型核函數(shù)模型；而且，采用粒子群優(yōu)化(Particle Swarm Optmization,PSO)算法對核函數(shù)參數(shù)、懲罰參數(shù)進(jìn)行智能優(yōu)化，以建立基于Morlet小波核和組合核的PSO-LSSVM模型。最后，使用ARMA模型生成脈動風(fēng)速作為訓(xùn)練、測試樣本，采用僅多項式核、僅徑向基核、Morlet小波核、組合核函數(shù)的PSO-LSSVM模型對脈動風(fēng)速進(jìn)行預(yù)測研究；通過評估預(yù)測性能指標(biāo)，以評價基于不同核函數(shù)PSO-LSSVM模型的預(yù)測性能。

1　PSO-LSSVM

1.1LSSVM基本原理

SVM是基于統(tǒng)計學(xué)習(xí)理論提出的一種小樣本學(xué)習(xí)方法，遵循結(jié)構(gòu)風(fēng)險最小化原理[4-5]。其基本原理是將輸入樣本從低維輸入空間通過非線性映射轉(zhuǎn)換到一個高維特征空間(H空間)，然后在這個高維空間中尋找輸入變量和輸出變量之間的一種線性關(guān)系。給定訓(xùn)練樣本集Q={(xi,yi)|xi∈Rn,yi∈R,i,j=1,2，…,l}，利用非線性映射ψ(x)將輸入樣本映射到高維特征空間中，考慮用下列函數(shù)f(x)對樣本數(shù)據(jù)進(jìn)行擬合，使得擬合值與實際值誤差最小。

f(x)=ω·ψ(x)+b

(1)

式中：ω為權(quán)向量；b為偏置項。

(2)

式中：C為懲罰參數(shù)；ε為不敏感系數(shù)，是特定損失函數(shù)的參數(shù)，含義是：當(dāng)x點處的輸出值y與擬合預(yù)測值f(x)之間的差值不超過ε時，認(rèn)為在該點處的預(yù)測值f(x)是無損失的，否則計算損失。

將不敏感損失函數(shù)被誤差的二次平方項代替作為損失函數(shù)，不等式約束條件轉(zhuǎn)變成等式約束條件[6-7]。因此，LSSVM將求解二次規(guī)劃問題轉(zhuǎn)化成求解線性方程組，則上式(標(biāo)準(zhǔn)SVM)轉(zhuǎn)化為：

s.t.[yi-(ω·ψ(xi)+b)=ei],i=1,2,3,…,l

(3)

式中：ei∈R為誤差。為解式(3)的優(yōu)化問題，構(gòu)造Lagrange函數(shù)而轉(zhuǎn)化為對偶問題：

(4)

式中：e∈Rl×l為誤差向量。對式(4)求偏導(dǎo)，并根據(jù)最優(yōu)化理論中的KKT(Karush-Kuhn-Tucher)條件，得到式(5)：

(5)

聯(lián)立求解式(5)，消去ω和ei。令：α=[α1,α2,…，αl]T，Q=[1,1,…，1]T，Y=[y1,y2,…，yl]T，I為單位矩陣，則式(5)的解為：

(6)

最后，得到LSSVM的回歸模型：

(7)

式中：K為核函數(shù)矩陣;k(x,xi)=ψ(x)·ψ(xi)。

1.2核函數(shù)

SVM使用了對稱、半正定核函數(shù)將輸入樣本映射到高維特征空間，從而使線性不可分問題轉(zhuǎn)化為線性可分問題。在數(shù)學(xué)上，核函數(shù)必須滿足Mercer條件[8]。當(dāng)前，常用的核函數(shù)有線性核函數(shù)、多項式核函數(shù)和高斯核函數(shù)。而小波函數(shù)具有稀疏變化和多尺度性質(zhì)，稀疏變化的核函數(shù)有助于提高模型精度和迭代的收斂速度；同時，如果對平滑函數(shù)缺乏先驗知識，尺度插值是最好的方法[9]。為構(gòu)造Morlet小波核，需要用到Mercer平移不變核定理。即，若h(x)為母小波函數(shù)，平移不變核函數(shù)k(x,xi)=k(x-xi)是一個允許支持向量機(jī)核函數(shù)的條件為：當(dāng)且僅當(dāng)k(x)的下列傅里葉變換結(jié)果非負(fù)。

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))k(x)dx

(8)

于是，由該函數(shù)生成的Mercer平移不變核函數(shù)為：

(9)

采用Morlet母小波生成Morlet核函數(shù)。取如下形式的Morlet母小波函數(shù)。

(10)

將式(10)代入式(8)得：

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))h(x)dx=

(11)

顯然，對于所有ω，均有F[k](ω)≥0。所以，Morlet小波核函數(shù)為支持向量機(jī)允許的核函數(shù)。

將式(10)代入式(9)可生成Mercer平移不變核的Morlet小波核函數(shù)：

(12)

式中：l∈R為伸縮因子。將式(12)代入式(7)得基于Morlet小波核函數(shù)構(gòu)造的支持向量機(jī)模型：

(13)

Poly核函數(shù)考慮所有輸入樣本數(shù)據(jù)在特征空間的點積作用。因此，它有著良好的全局性質(zhì)，泛化能力出眾。RBF核函數(shù)的二維圖形為鐘形特征，即當(dāng)輸入向量x和y相距較遠(yuǎn)時，對應(yīng)的核估計值將變得非常小甚至為零。因此，RBF核函數(shù)具有很好的局部學(xué)習(xí)能力，插值能力較強(qiáng)。根據(jù)Mercer核定義，任意核函數(shù)矩陣對稱且半正定，滿足一定的包閉性質(zhì)，即允許通過簡單運算來組合出新的核函數(shù)[10-11]。

設(shè)k1和k2是χ×χ(χ?Rn)上的核函數(shù)，則下面核函數(shù)的組合仍為核函數(shù)。

k(x,xi)=k1(x,xi)+k2(x,xi)

(14)

根據(jù)式(14)，考慮到RBF和Poly這兩個核函數(shù)的優(yōu)勢，通過線性組合構(gòu)造出下列組合核函數(shù)，使其同時具有局部核函數(shù)和全局核函數(shù)的特征，以此提高學(xué)習(xí)精度。

k(x,xi)=(1-a)·[(x·xi)+1]q+

(15)

式中：a∈[0,1]為核權(quán)重系數(shù)。組合核矩陣為對稱矩陣，且有以下性質(zhì)：

綜上所述，本文采用的各種核函數(shù)及核函數(shù)參數(shù)列于表1中；根據(jù)表1的核函數(shù)建立LSSVM模型。

表1　各種核函數(shù)及核函數(shù)參數(shù)

1.3PSO

粒子群優(yōu)化(PSO)算法是由Eberhart和Kennedy提出的一種模擬群體智能的優(yōu)化算法，并采用迭代遞推形式進(jìn)行尋優(yōu)。PSO基本思想：通過考察獨立粒子對環(huán)境適應(yīng)和學(xué)習(xí)能力，然后將粒子個體適應(yīng)度最優(yōu)的位置和粒子群適應(yīng)度最優(yōu)的位置相結(jié)合來調(diào)整粒子的自身位置和飛行速度[12]。

(17)

(18)

式中：d=1,2,…,D；c1和c2為學(xué)習(xí)因子；rand1和rand2為(0,1)的隨機(jī)數(shù)；w為慣性權(quán)重系數(shù)。較大的w具有較好的全局搜索能力，而較小的w擁有較強(qiáng)的局部搜索能力。本文取w隨迭代次數(shù)t的增加線性遞減，使其初期具有較強(qiáng)的全局收斂能力，后期具有較強(qiáng)的局部收斂能力，表達(dá)式為：

(19)

式中：wmax為初始慣性權(quán)重；wmin為迭代次數(shù)到達(dá)最大時的慣性權(quán)重;Z為最大迭代次數(shù)。本文取wmax=0.9，wmin=0.4。

1.4PSO-LSSVM

采用PSO算法對表1中的各種核函數(shù)參數(shù)進(jìn)行優(yōu)化，以建立PSO優(yōu)化核函數(shù)的LSSVM。由于當(dāng)多項式核函數(shù)參數(shù)q過大時，預(yù)測模型的計算量驟增，所以本文取q=3，可達(dá)到全局?jǐn)M合能力以及計算時間的折中。核函數(shù)參數(shù)的優(yōu)化過程如下：① 粒子種群初始化：設(shè)定種群規(guī)模M=30，最大迭代次數(shù)Z=200，初始速度矩陣V以及初始粒子個體最優(yōu)位置和全局最優(yōu)位置。② 確定每種核函數(shù)待優(yōu)化參數(shù)的取值范圍(見表2)。③ 計算粒子適應(yīng)度F(xi)，并將其與自身最優(yōu)適應(yīng)度F(Pbesti)和全局最優(yōu)適應(yīng)度F(Gbesti)進(jìn)行比較，調(diào)整粒子個體最優(yōu)位置Pi和全局最優(yōu)位置Pg。定義均方根誤差為適應(yīng)度函數(shù)：

(20)

表2　 不同核函數(shù)參數(shù)的范圍

2　預(yù)測模型(算法)數(shù)值驗證

采用ARMA(自回歸階數(shù)p=4，滑動回歸階數(shù)u=1)模型對200 m高超高層建筑每隔10 m作為模擬風(fēng)速點，獲得不同高度脈動風(fēng)速樣本，功率譜用Kaimal譜，只考慮高度方向相關(guān)性。Kaimal譜的表達(dá)式：

(21)

表3　數(shù)值模擬參數(shù)

圖1　30 m和80 m處的模擬脈動風(fēng)速時程Fig.1　Simulated fluctuation wind velocity history at 30 m and 80 m

圖2　基于不同核函數(shù)PSO-LSSVM的風(fēng)速預(yù)測流程圖Fig.2　Flowchart of wind velocity forecasting using the PSO-LSSVM with various kernel functions

圖3　在30 m和80 m處，預(yù)測風(fēng)速與模擬風(fēng)速幅值對比Fig.3　Amplitude comparisons of predicted and simulated wind velocity at 30 m and 80 m

通過比較四種脈動風(fēng)速預(yù)測算法的MAE、RMSE、R值，發(fā)現(xiàn)Poly核的預(yù)測精度在四種核函數(shù)中最差。主要原因：Poly核為全局核，雖然具有較強(qiáng)的泛化能力，但是對數(shù)據(jù)信號的局部分析能力較弱。特別，由圖3可知，在風(fēng)速信號起止和峰值部分的預(yù)測結(jié)果有很大震蕩。本文為使全局?jǐn)M合能力和計算時間達(dá)到折中效果，取q=3。實際上，隨著階數(shù)(q)的增加，計算量呈指數(shù)增加，而且預(yù)測結(jié)果起伏程度加劇。與Poly核相比，RBF核則表現(xiàn)出更好的預(yù)測性能，特別是在風(fēng)速起始和峰值部分的預(yù)測精度比Poly核有很大改善。以30 m處風(fēng)速預(yù)測為例，RBF核相對于Poly核的預(yù)測精度分別提高24%(MAE)、31%(RMSE)、15%(R)。此外，在訓(xùn)練時間方面，RBF核函數(shù)耗時也較短。因此，在常用單核函數(shù)中，RBF核函數(shù)是最佳的。但值得指出：基于表4中不同高度的RBF核預(yù)測結(jié)果，RBF核的穩(wěn)定性不是很理想。這主要取決于RBF核的局部性，學(xué)習(xí)能力很強(qiáng)但泛化能力較弱。與常用的單核函數(shù)相比，本文提出的RBF+Poly線性組合核的預(yù)測精度有很大提高，30 m和80 m處風(fēng)速預(yù)測精度提高的百分比見表5。這主要取決于組合核函數(shù)同時具備很強(qiáng)的學(xué)習(xí)能力(局部性)和泛化能力(全局性)，通過對風(fēng)速信號準(zhǔn)確學(xué)習(xí)后具有高精度外推能力。而且，該預(yù)測模型具有很強(qiáng)的穩(wěn)定性，通過優(yōu)化各核的權(quán)值可以獲得最優(yōu)參數(shù)，即使核函數(shù)的參數(shù)沒有達(dá)到最優(yōu)，也不會太多地影響學(xué)習(xí)效果。

圖4　在30 m和80 m處，預(yù)測風(fēng)速與模擬風(fēng)速的自相關(guān)函數(shù)對比Fig.4　Autocorrelation function comparisons of predicted and simulated wind velocity at 30 m and 80 m

與單核相比，Morlet小波核的預(yù)測精度同樣有很大的提高，達(dá)到RBF+Poly核水平，甚至在30 m處小波核的預(yù)測精度最高；由圖4可知，Morlet和Poly+RBF核的自相關(guān)函數(shù)與模擬風(fēng)速自相關(guān)函數(shù)皆吻合良好。由圖3可知，在風(fēng)速邊界處小波核比RBF核更優(yōu)，主要是因為小波函數(shù)具有稀疏變化和尺度分析性質(zhì)，稀疏變化的核函數(shù)有助于提高模型精度；同時，如果對平滑函數(shù)缺乏先驗知識，多尺度插值是最好的方法。不過，小波核的計算時間消耗是巨大的，幾乎是組合核的兩倍。

表4　預(yù)測性能指標(biāo)

表5　Poly+RBF核的預(yù)測精度提高百分比

3　結(jié)　論

提出了基于全局Poly核和局部RBF核線性組合的PSO-LSSVM模型。該預(yù)測模型保留了RBF核函數(shù)所賦予的優(yōu)越學(xué)習(xí)能力以及Poly核函數(shù)所擁有的強(qiáng)泛化能力。脈動風(fēng)速預(yù)測表明：組合核的預(yù)測結(jié)果較單核精度更高；經(jīng)PSO優(yōu)化的核權(quán)重，可進(jìn)一步保證核函數(shù)的穩(wěn)定性。根據(jù)Mercer平移不變核定理，構(gòu)造出了Morlet小波核函數(shù)，使得SVM核函數(shù)擁有小波稀疏變化和尺度分析特征。脈動風(fēng)速預(yù)測表明：該核函數(shù)的預(yù)測精度大大地提高，可作為機(jī)器學(xué)習(xí)的一種有效核函數(shù)。運用基于RBF+Poly和Morlet小波核的PSO-LSSVM模型，可根據(jù)有限的脈動風(fēng)速時程樣本預(yù)測后續(xù)時間的脈動風(fēng)速時程，為結(jié)構(gòu)抗風(fēng)設(shè)計提供所需的完整風(fēng)速時程，以節(jié)約現(xiàn)場實測所消耗的資源，為風(fēng)工程設(shè)計提供更便捷的荷載信息。

[1] 申建紅, 李春祥. 強(qiáng)風(fēng)作用下超高層建筑風(fēng)場特性的實測研究[J]. 振動與沖擊, 2010, 29(5): 62-68.

SHEN Jianhong, LI Chunxiang. Researches on measurements of wind field characteristics of high-rise buildings under strong wind [J]. Journal of Vibration and Shock, 2010,29(5):62-68.

[2] 張華, 曾杰. 基于支持向量機(jī)的風(fēng)速預(yù)測模型研究[J]. 太陽能學(xué)報，2010, 31(7): 928-931.

ZHANG Hua, ZENG Jie. Research on wind speed forecasting model based on support vector machine [J]. Journal of Solar Energy, 2010, 31(7): 928-931.

[3] 張廣明, 袁宇浩, 龔松建. 基于改進(jìn)最小二乘支持向量機(jī)方法的短期風(fēng)速預(yù)測[J]. 上海交通大學(xué)學(xué)報，2011,45(8):1125-1129.

ZHANG Guangming, YUAN Yuhao, GONG Songjian. Short term wind speed forecasting based on improved least square support vector machine method [J]. Journal of Shanghai Jiao Tong University, 2011, 45(8): 1125-1129.

[4] RAJASEKARAN S, GAYATHRI S, LEE T L. Support vector regression methodology for storm surge predictions [J]. Ocean Engineering，2008, 35: 1578-1587.

[5] CHEN W J, WANG J. Application of support vector machine in industrial process [J]. Computers and Applied Chemistry, 2005, 22: 195-200.

[6] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers [J]. Neural Processing Letters, 1999, 9: 293-300.

[7] CHEN T T, LEE S J. A weighted LS-SVM based learning system for time series forecasting [J]. Information Science，2015, 299: 99-116.

[8] 趙晨暉. 基于混合和函數(shù)支持向量機(jī)的基金投資決策研究[D]. 廣州：華南理工大學(xué)，2012.

[9] NOURISOLA H, AHMADI B. Robust adaptiveH∞controller based on GA-wavelet-SVM for nonlinear vehicle suspension with time delay actuator [J]. Journal of Vibration and Control，2015(10): 1-10.

[10] ZHANG Y, DAI M L, JU Z M. Preliminary discussion regarding SVM kernel function selection in the twofold rock slope prediction model [J]. Journal of Computing in Civil Engineering，2015, 04015031: 1-8.

[11] CHEN F F, TANG B P, SONG T, et al. Multi-fault diagnosis study on roller bearing based on multi-kernel support vector machine with chaotic particle swarm optimization [J]. Measurement, 2014, 47: 576-590.

[12] 谷文成, 柴寶任, 滕艷平. 基于粒子群優(yōu)化算法的支持向量機(jī)研究[J]. 北京理工大學(xué)學(xué)報，2014, 34(7): 706-709.

GU Wencheng, CHAI Baoren, TENG Yanping. Research on support vector machine based on particle swarm optimization [J]. Transactions of Beijing Institute of Technology, 2014, 34(7): 706-709.

Forecast of fluctuating wind velocity using LSSVM with optimized combination kernel and Morlet wavelet kernel

CHI Ennan, LI Chunxiang

(College of Civil Engineering, Shanghai University, Shanghai 200072, China)

Kernel functions, which are the important components of support vector machines (SVM), directly affect the results of prediction models. In accordance to the Mercer theorem, a Morlet wavelet kernel rendering the advantages of localization, multi-level and mufti-resolution was developed. The representative radial basis function (RBF) kernel and polynomial (Poly) kernel functions were taken into consideration to construct a linear combination kernel function with both local and global properties, so as to form prediction models with superior learning ability and perfect generalization capability given by the RBF kernel and Poly kernel functions respectively. Further, the particle swarm optimization (PSO) algorithm was used to optimize the penalty parameter, kernel parameters and the weight and scale factor. Then, a PSO-LSSVM model using the Morlet wavelet kernel and combination kernel was developed. By resorting to the proposed prediction models, the time histories of fluctuating wind velocity were forecasted. By comparing the predicting performance evaluation indices, it is found that the PSO-LSSVM model with the Morlet wavelet kernel and combination kernel functions renders more accurate results than the common single kernel (such as Poly and RBF) based PSO-LSSVM models.

forecasting; fluctuating wind velocity; morlet wavelet kernel; combination kernel; least square support vector machines (LSSVM); particle swarm optimization

國家自然科學(xué)基金(51378304)

2015-06-10修改稿收到日期：2015-09-08

遲恩楠 男，碩士生，1989年生

李春祥 男，博士，教授，博士生導(dǎo)師，1964年生

TU311

A DOI:10.13465/j.cnki.jvs.2016.14.009