程雙江 李世平 鄔肖敏 鄭 堂

(第二炮兵工程大學，西安 710025)

?

基于改進混合核SVM的非線性組合預測

程雙江 李世平 鄔肖敏 鄭 堂

(第二炮兵工程大學，西安 710025)

針對SVM在預測過程中核函數(shù)難以確定的問題，采用混合核函數(shù)并進行改進，提出基于預測有效度的混合核函數(shù)混合參數(shù)確定準則；結(jié)合多項式預測和ARIMA預測單一預測模型，實現(xiàn)了改進的SVM用于某電壓計量標準精度的非線性組合預測，結(jié)果表明改進后的SVM預測效果得到了很大程度的提高，具有很高的應用價值。

SVM；混合核函數(shù)；非線性組合預測；預測有效度

0 引言

預測是運用科學的判斷方法，對事物未來可能演變的情況，事先作出推測的一種技術(shù)。傳統(tǒng)的單一預測模型包括時間序列預測模型、回歸分析預測模型、隨機時間序列預測模型和灰色系統(tǒng)預測模型等[1-2]，然而單純的使用某一種單一預測模型往往達不到理想的預測精度，因此1969年Bates和Granger提出了組合預測[3]的概念。組合預測分為線性組合預測和非線性組合預測兩種，線性組合預測是不同預測方法的值之間的一種凸組合，對于—個復雜系統(tǒng)的預測對象，單單依靠各個子方法的簡單線性相加有時候會出現(xiàn)預測精度不高甚至無法預測的現(xiàn)象[4-5]，因此本文采用基于SVM的非線性組合預測。

本文將首先分別使用多項式模型和ARIMA模型對某電壓計量標準精度進行單一預測，而后將單一預測模型結(jié)果作為輸入，輸入到SVM進行組合?？紤]到SVM核函數(shù)[6]選擇的重要性，本文將采用多項式(poly)核和徑向基(RBF)核的混合核[7-8]進行SVM非線性組合預測，這樣即可以保證預測的擬合能力又能提高其外推性。但是考慮到截止到目前為止混合核函數(shù)的混合參數(shù)(各核函數(shù)所占百分比)的確定尚沒有統(tǒng)一的有效方法，因此本文將預測有效度[9-10]引入到混合參數(shù)的確定當中，提出了一種基于預測有效度的混合核SVM組合預測模型，將其應用到某電壓計量標準精度的預測當中進行分析。

1 單一預測模型

考慮到多項式模型對于趨勢項擬合效果較好，而ARIMA模型對于隨機序列效果較好，因此單一預測模型選擇兩者。

多項式模型是基于多項式的非線性擬合能力，對歷史數(shù)據(jù)進行擬合和預測，多項式擬合的性能跟多項式階數(shù)有很大的關(guān)系，多項式的階數(shù)越高，擬合的效果越好，但是階數(shù)過高，會導致外推性變差，因此采用多項式模型，階數(shù)必須要著重考慮。同時ARMA模型處理的是平穩(wěn)信號，而計量標準精度的變化展現(xiàn)出的是非平穩(wěn)特性，因此首先要去非平穩(wěn)化，即對信號進行差分處理，建立ARIMA模型，該模型對隨機信號能進行有效預測，尤其能處理周期性變化的序列，且建模時所需數(shù)據(jù)量少。因此將多項式模型與ARIMA模型相結(jié)合，能很好的相互補充。

2 SVM和SVM核函數(shù)

2.1 SVM簡介

SVM是根據(jù)Vapnik等人提出的統(tǒng)計學理論發(fā)展而來的。該學習機主要建立在兩個理論基礎(chǔ)之上：VC維理論和結(jié)構(gòu)風險最小化理論[11-12]。SVM根據(jù)有限的樣本信息，在學習能力和模型的復雜性之間尋找二者的平衡，使其具有更強的泛化能力。

SVM的最大特點在于它通過非線性變換將原問題映射到某個高維特征空間中的線性問題上進行求解。這個非線性變換通過SVM的核函數(shù)實現(xiàn)，這樣根據(jù)SRM準則，SVM回歸預測問題最終就可表示為一個二次規(guī)劃問題，不存在局部極小點。

2.2 SVM核函數(shù)

對于SVM而言，不同的核函數(shù)和核函數(shù)參數(shù)，對預測結(jié)果起著決定性的作用，而核函數(shù)的種類有很多，常見的有多項式(poly)核函數(shù)、徑向基(RBF)核函數(shù)和Sigmoid核函數(shù)等，因此選擇何種核函數(shù)是研究SVM的重點。鑒于這些核函數(shù)在類型上可分為局部核函數(shù)和全局核函數(shù)，全局核函數(shù)具有較強的外推能力，局部核函數(shù)具有較強的擬合能力，因此本文采用混合核函數(shù)進行研究。

poly核函數(shù)和RBF核函數(shù)分別作為全局核函數(shù)和局部核函數(shù)的代表被運用到本文的混合核函數(shù)當中，其計算公式分別表示如下

Kpoly(xi,xj)=[(xi·xj)+1]d

(1)

式中，d為poly核函數(shù)的階數(shù)；σ為RBF核函數(shù)的寬度。取xj=0.2，d分別為1、2、3，則poly核函數(shù)曲線圖如圖1所示，由圖中我們可以清楚地看到poly核函數(shù)的全局性。

圖1 poly核函數(shù)曲線

同樣取xj=0.2，寬度σ分別取0.1、0.3、0.5，RBF核函數(shù)曲線圖如圖2所示，從圖中我們可以發(fā)現(xiàn)RBF核函數(shù)值僅在測試點附近才較大，因此RBF核函數(shù)是局部核函數(shù)。

圖2 RBF核函數(shù)曲線

3 基于預測有效度的混合核函數(shù)SVM

混合核函數(shù)指的是將兩個不同的核函數(shù)混合起來使用，采用poly核和RBF核混合，混合后的核函數(shù)表述如下：

K=ρKpoly+(1-ρ)KRBF

(2)

式中，ρ為混合核函數(shù)混合參數(shù)，如何確定尚無定論。本文通過分析提出了一種基于預測有效度的方法。

預測有效度是基于對預測結(jié)果的評價，不同的指標序列具有不同的量綱導致無法直接進行比較而提出的。其定義如下：

則第i種方法的k階預測有效度可以表示為

(3)

其中H為某一k元連續(xù)函數(shù)。因此一階預測有效度就可以用預測有效度元來表示，那么第i種預測方法在區(qū)間[N+1,N+T]上的一階預測有效度就可表示為

(4)

那么基于一階預測有效度的混合核函數(shù)參數(shù)ρ就可以按照下面公式確定

(5)

按照擬合誤差“近大遠小”[13]的原理，即區(qū)別對待各時刻的擬合誤差，歷史中近期的發(fā)展規(guī)律應該得到更好的擬合，遠期歷史數(shù)據(jù)的擬合程度可以稍低，取

(6)

將式(6)帶入式(5)就可以求得混合參數(shù)ρ的大小。

4 基于預測有效度的混合核函數(shù)SVM組合預測實例分析

計量標準是保障儀器測量量值準確、統(tǒng)一的物質(zhì)基礎(chǔ)。對其進行精度預測是進行計量標準全壽命周期質(zhì)量控制、管理與檢測的主要手段，是科學合理的確定計量標準量值傳遞和溯源周期的重要依據(jù)，在確定儀器的有效使用時間和使用壽命方面具有重要的應用價值，這里將計量標準的精度預測轉(zhuǎn)換成誤差數(shù)據(jù)進行預測研究。

預測流程可以表示為如圖3所示。

圖3 預測流程圖

預測步驟可表述如下：

步驟1)：進行多項式模型和ARIMA模型的單一模型預測；

步驟2)：根據(jù)單一模型的預測結(jié)果，分別進行多項式核和RBF核SVM的非線性組合預測；

步驟3)：根據(jù)poly核和RBF核預測結(jié)果，計算混合核函數(shù)的混合參數(shù)；

步驟4)：利用混合核函數(shù)進行SVM非線性組合預測。

本設計是基于某計量站2004年至2011年10V電壓計量標準精度變化監(jiān)測數(shù)據(jù)為依據(jù)，進行實例分析。監(jiān)測數(shù)據(jù)如表1所示，共96個數(shù)據(jù)點，選取90個點作為樣本進行擬合訓練，剩余6個點進行預測分析。

表1 10V電壓計量標準精度變化監(jiān)測數(shù)據(jù) (單位：10-6V)

首先分別采用多項式模型和ARIMA模型進行單一模型預測，多項式模型階數(shù)設為4，ARIMA模型的參數(shù)(p，d，q)分別取值為(4，5，1)，預測結(jié)果如圖4所示：

圖4 多項式模型和ARIMA模型擬合

由圖(4)我們可以看到，就本實例來說多項式模型和ARIMA模型均反映出了誤差的變化趨勢，ARIMA模型預測相對效果較好，但仍有較大誤差。為了進一步的提高預測性能，我們進行SVM組合預測，為了提高預測精度，使用遺傳算法(GA)對SVM的參數(shù)進行優(yōu)化。首先分別使用poly核SVM和RBF核SVM進行非線性組合預測，而后根據(jù)兩者的預測結(jié)果計算混合核函數(shù)的混合參數(shù)，最后使用設計的基于預測有效度的混合核SVM進行預測，分析比較預測結(jié)果。采用poly核和RBF核SVM進行預測的擬合曲線和誤差曲線分別如圖(5)和圖(6)所示：

圖5 poly核和RBF核擬合曲線

圖6 poly核和RBF核擬合誤差曲線

由圖5和圖6可以看到，組合預測SVM模型相比于多項式和ARIMA單一預測模型，精度得到很大程度的提高，反映了組合預測的強大優(yōu)勢。根據(jù)兩者預測結(jié)果，經(jīng)計算得混合核參數(shù)ρ=0.347，然后進行混合核SVM組合預測，得到擬合曲線(圖7)和誤差曲線(圖8)如下所示。

圖7 混合核SVM擬合曲線

圖8 混合核SVM擬合誤差曲線

可以看到，基于預測有效度的混合核函數(shù)SVM預測相比單一核SVM預測性能又得到了進一步的提升。為了更加直觀的看到效果，將兩單一預測模型和三種不同形式核函數(shù)SVM分別用于后6個數(shù)據(jù)點的預測，6個數(shù)據(jù)點的實際值與預測值進行比較如表2所示。

表2 不同核函數(shù)實際值與預測值比較 (單位：10-6V)

對于預測結(jié)果的評價，采用誤差平方和作為準則，得到五種不同形式預測的評價結(jié)果如表3所示。

表3 預測結(jié)果評價 (單位：10-6V2)

可以發(fā)現(xiàn)，非線性的組合預測模型比單一預測模型預測精度得到很大程度的提高，經(jīng)過改進后的混合核函數(shù)SVM相對于多項式核和RBF核SVM預測精度也得到了進一步的提升，效果比較明顯。

5 結(jié)論

本文將預測理論引入到計量標準的預測當中，結(jié)合單一多項式模型和ARIMA模型，實現(xiàn)了基于SVM的10V電壓計量標準的非線性組合預測，鑒于核函數(shù)的重要性，采用了混合核函數(shù)，并對混合核函數(shù)的混合參數(shù)提出了一種新的計算方案，結(jié)果表明此方法有效地提高了預測精度，可以考慮作為短期計量標準預測的方案。

[1] 唐小我，等.現(xiàn)代組合預測和組合投資決策方法及應用[M].北京：科學技術(shù)出版社，2003

[2] 鄢小彬.組合預測技術(shù)及其應用[D].武漢：武漢理工大學，2007

[3] Bates J.M.，Granger C.W.J.，The combination of forecasts[J].Operational Research Quarterly,1969，20(4)：451—468

[4] 韓冬梅，等.線性與非線性組合預測方法研究[J].情報科學，2007，25(11)：1672-1678

[5] 甘旭升，等.基于ARIMA與SVM的飛行事故組合預測方法[J].中國安全科學學報，2011，21(7)：79-81

[6] 吳德會.基于最小二乘支持向量機的傳感器非線性動態(tài)系統(tǒng)辨識[J].計量學報，2008，29(3)

[7] 孫俊清.電學軍事計量標準精度預測技術(shù)研究[D].西安：第二炮兵工程學院，2008

[8] 鄭志成，等.基于混合核函數(shù)PSO-LSSVM的邊坡變形預測[J].巖石力學，2012，33(5)：1421-1425

[9] 馮新剛.支持向量機核函數(shù)的選擇方法探討[D].江西：江西理工大學，2012

[10] 陳華友.組合預測方法有效性理論及其應用[M].北京：科學出版社，2008

[11] 陳華友,侯定丕.基于預測有效度的組合預測模型研究[J].預測，2001，20(3)：72-73

[12] 張凱，沙鋒.基于非線性組合方法的石油期貨價格預測研究[J].計算機仿真，2012，29(7)：379-382

[13] 康重慶，等.電力系統(tǒng)負荷預測[M].北京：中國電力出版社，2008

10.3969/j.issn.1000-0771.2015.10.01