王盛慧， 趙二衛(wèi)

(長春工業(yè)大學(xué) 電氣與電子工程學(xué)院， 吉林 長春 130012)

PSO多元自適應(yīng)回歸樣條算法

王盛慧， 趙二衛(wèi)

(長春工業(yè)大學(xué) 電氣與電子工程學(xué)院， 吉林 長春 130012)

多元自適應(yīng)回歸樣條建模中，樣本數(shù)據(jù)最小步長和端點的設(shè)置會影響建模精度。提出了應(yīng)用粒子群算法優(yōu)化這兩個參數(shù)的方法，以預(yù)測樣本均方差為適應(yīng)度函數(shù)，通過優(yōu)化最小步長和端點位置調(diào)整采樣點選取。實例應(yīng)用表明,PSO-MARS方法能提高預(yù)測精度。

粒子群優(yōu)化； 最小步長； 端點； 交叉驗證

0 引 言

多元自適應(yīng)回歸樣條法(Multivariate Adaptive Regression Spline, MARS)是一種專門針對高維數(shù)據(jù)擬合的回歸方法[1-2]。因其建模速度快，可解釋性強(qiáng)得到廣泛的應(yīng)用[3]。該方法以樣條函數(shù)的張量積作為基函數(shù)，自動選擇插入基函數(shù)的節(jié)點，構(gòu)成基函數(shù)集合來逼近樣本數(shù)據(jù)。MARS算法自提出后，很多學(xué)者做了研究和改進(jìn)。由Friedman提出的Fast MARS算法能在略微降低模型精度的同時加快建模速度。Sergey Bakin[4-5]等提出的BMARS使用了并行算法，加快建模速度，同時使模型變得光滑。

但是當(dāng)樣本數(shù)據(jù)存在一定干擾時，MARS可能在干擾點處插入基函數(shù)，建立的模型會貼近干擾點，后向剪枝過程不能刪除這樣的基函數(shù)，導(dǎo)致模型在干擾點附近的預(yù)測能力下降。

3種劃分方法擬合曲線如圖1所示。

(a) Minspan=3, Endspan=7 (b) Minspan=2, Endspan=2 (c) Minspan=1, Endspan=1

圖中，虛線為正弦曲線，黑色點為正弦函數(shù)加上隨機(jī)擾動，實線為擬合曲線，點畫線標(biāo)識基函數(shù)插入點。對同一組數(shù)據(jù)，采用3種不同的節(jié)點劃分方法，節(jié)點設(shè)置參數(shù)與模型精度見表1。

表1 3種劃分方法擬合參數(shù)

建模過程中，MARS不會處理每個樣本點，為了降低局部方差，設(shè)置最小步長，用Minspan表示，同時，為了降低數(shù)據(jù)兩側(cè)的局部方差，靠近樣本數(shù)據(jù)兩端的點也不會被采用，設(shè)置兩側(cè)最小放置節(jié)點距離，文中用Endspan表示。圖1與表1很明顯可以看出，Minspan，Endspan過大，采樣的數(shù)據(jù)較少，MARS的擬合能力較差；而圖1(c)雖然使用了最多的節(jié)點和基函數(shù)，Minspan=1, Endspan=1，每一個樣本數(shù)據(jù)都被采樣，但是由于插入基函數(shù)的節(jié)點擾動較大，所以并不能很好地挖掘出正弦關(guān)系，從而模型此樣本點處的預(yù)測能力下降；圖1(b)的擬合程度說明，按照Minspan=2,Endspan=2的樣本劃分方法，MARS能較好地反映出系統(tǒng)的特征?？梢钥闯觯瑯颖镜膭澐址椒茉诤艽蟪潭扔绊懩Ｐ偷木群皖A(yù)測能力。針對MARS的這種問題，文中提出應(yīng)用粒子群算法(PSO)來優(yōu)化MARS樣本空間劃分方法。

1 MARS算法簡介

多元自適應(yīng)回歸樣條(MARS)是由Friedman引入的一種回歸分析形式,它是一種非參數(shù)回歸技術(shù)，可以看作模擬變量之間的非線性和相互作用的線性模型的擴(kuò)展。MARS模型的一般形式：

它的建模過程分為前向逐步和后向剪枝。前向過程是一個迭代過程，模型首先生成初始基函數(shù)(迭代次數(shù)I=0)，即

每次迭代(I>1)，MARS遍歷所有節(jié)點，成對地添加新的來減小訓(xùn)練誤差最多的鏡像基函數(shù)，直到基函數(shù)個數(shù)達(dá)到最大個數(shù)或者模型精度滿足要求:

式中：Bl(x)----在之前的迭代中生成的基函數(shù)，稱作父基函數(shù)。

這種迭代過程會產(chǎn)生大量的基函數(shù)，造成模型的過擬合，后向剪枝過程每次循環(huán)刪除一個對訓(xùn)練誤差減小量為最小的基函數(shù)，得到對應(yīng)子模型，直到模型只剩下截距項，引入廣義交叉驗證GCV準(zhǔn)則：

最終選取GCV值最小的子模型作為最優(yōu)模型，可以看出過多的基函數(shù)與扭結(jié)點會受到懲罰，從而減小模型的體積，避免過擬合。模型不會處理所有樣本點，引入最小步長L(a)，即Minspan:

節(jié)點的選取會直接影響模型的精度和復(fù)雜度，尤其對有干擾的樣本，在干擾點處添加基函數(shù)，可能會導(dǎo)致過擬合和預(yù)測能力下降，怎樣劃分樣本空間直接影響模型的精度和復(fù)雜度。

2 PSO-MARS算法

2.1 PSO算法

粒子群算法(PSO)是通過模擬鳥群覓食在解空間中通過迭代搜索出最優(yōu)解的方法[6-8]，算法首先隨機(jī)生成粒子群的位置和速度:

根據(jù)粒子的適應(yīng)度至獲取粒子最優(yōu)位置和全局最優(yōu)位置

在下一次迭代中粒子更新自己的位置和速度

從上式可以看出，粒子具有自我總結(jié)和向優(yōu)秀個體學(xué)習(xí)的能力，較之于遺傳算法，粒子群有記憶能力、操作簡單、收斂迅速的特點。

2.2 PSO-MARS算法

為了能夠增加模型的魯棒性，準(zhǔn)確反映系統(tǒng)特征，對樣本數(shù)據(jù)采用10折交叉驗證的建模方法。確保所有數(shù)據(jù)都有機(jī)會參與模型的訓(xùn)練和預(yù)測，算法流程如圖2所示。

圖2 算法流程

算法步驟如下：

1)初始化MARS參數(shù)，初始化PSO參數(shù)。

2)隨機(jī)生成粒子群XiMinspan，ViMinspan，XiEndspan，ViEndspan。

3)將隨機(jī)步驟2)生成的Minspan和Endspan傳遞給MARS，劃分樣本空間，建立MARS模型群。

4)以10折交叉驗證的預(yù)測樣本MSE平均值為適應(yīng)度函數(shù)，計算粒子群的適應(yīng)度值，平均MSE值最低的粒子Xi作為全局最優(yōu)位置，傳給Gbest,單個粒子在迭代過程中得到最低MSE值的Xi作為個體最優(yōu)位置傳給Pbest。

渦流發(fā)生器安裝位置影響其作用區(qū)域: 安裝位置離模型旋轉(zhuǎn)中心太近, 尾渦直徑小, 導(dǎo)致模型來流受渦流發(fā)生器干擾, 影響數(shù)據(jù)準(zhǔn)確性; 離旋心太遠(yuǎn), 尾渦作用區(qū)域?qū)p小, 無法覆蓋模型區(qū). 為確定合適的安裝位置, 計算了Ma=0.6, 常規(guī)實驗Reynolds數(shù)狀態(tài)下, 安裝位置距離模型旋心10δ, 20δ, 30δ, 40δ, 50δ的流場, 圖8和表4分別給出各狀態(tài)下附面層速度分布和對應(yīng)的附面層厚度. 圖中u/ul為當(dāng)?shù)厮俣扰c附面層外緣速度的比值， 代表附面層內(nèi)速度恢復(fù)情況.

5)根據(jù)式(13)和(14)，更新粒子群Xi,Vi,Pbest,Gbest，將Xi傳遞給MARS重新劃分樣本空間，開始新一輪的計算。

如果迭代次數(shù)達(dá)到設(shè)置的最大迭代次數(shù)或者模型精度滿足要求，即輸出最優(yōu)模型和Gbest。

3 實例應(yīng)用

測試數(shù)據(jù)來自UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫，該數(shù)據(jù)集來自聯(lián)合循環(huán)電廠，以溫度、環(huán)境壓力、相對濕度、排氣真空度來預(yù)測每小時凈電能輸出。選取數(shù)據(jù)集中的800個樣本作為訓(xùn)練樣本，80個樣本作為測試樣本。初始化MARS參數(shù)，最大基函數(shù)個數(shù)設(shè)置50，最大交互程度設(shè)置2；初始化PSO參數(shù)，隨機(jī)生成粒子群

XiMinspan=(Xi1Minspan,Xi2Minspan,…,XinMinspan)

ViMinspan=(Xi1Minspan,Xi2Minspan,…,XinMinspan)

XiEndspan=(Xi1Endspan,Xi2Endspan,…,XinEndspan)

ViEndspan=(Xi1Endspan,Xi2Endspan,…,XinEndspan)

其中，n為種群數(shù)，n取10，迭代次數(shù)設(shè)置為40次，Minspan和Endspan為兩個不同的粒子群，迭代時并行計算，為了加快搜索速度，初始最小步長在式(8)范圍內(nèi)隨機(jī)生成。

PSO優(yōu)化Minspan和Endspan過程如圖3所示。

圖3 優(yōu)化過程

從圖3可以看出，隨著迭代次數(shù)的增加，交叉驗證MSE和平均MSE都在下降，驗證間的初始MSE不同，但都有一定的下降空間。

同時,做了另外兩組仿真來對比，參數(shù)設(shè)置及仿真結(jié)果見表2。

表2 PSO-MARS結(jié)果對比

3組仿真的訓(xùn)練精度差別不大，Minspan=1,Endspan=1時，模型遍歷每個節(jié)點，但訓(xùn)練和預(yù)測精度并不是最高。使用PSO搜索的劃分方法Minspan為9，Endspan為2，訓(xùn)練精度與其它兩組基本一致，但預(yù)測精度和最大偏差有顯著提高，相對其他兩組,平均MSE分別降低了21.8%和20.6%。

選取其中一折預(yù)測擬合圖形，如圖4所示。

從圖4可以看出，3組預(yù)測效果都很好，PSO優(yōu)化的一組相對整體更加貼近樣本數(shù)據(jù)。

4 結(jié) 語

以帶擾動的正弦函數(shù)為例，設(shè)置3組不同的最小步長和端點，模型精度和預(yù)測能力差別很大,說明這兩個參數(shù)對多元自適應(yīng)回歸樣條算法有很大影響。

針對手動設(shè)置最小步長和端點往往不能取得最優(yōu)值的問題，文中提出用PSO來優(yōu)化這兩個參數(shù)的方法，優(yōu)化的適應(yīng)度函數(shù)為預(yù)測精度，同時采用交叉驗證的建模方法來增加模型的魯棒性，給出了詳細(xì)的結(jié)合算法步驟。

將PSO-MARS應(yīng)用與聯(lián)合循環(huán)電廠電能輸出建模中，從MSE收斂曲線可以看出，經(jīng)過PSO的優(yōu)化，預(yù)測MSE有一定幅度的減小，PSO-MARS可以在訓(xùn)練精度基本不變的情況下，提高預(yù)測精度，可以用于對建模速度要求不高的離線模型建立中，有一定的實際意義。

圖4 3種預(yù)測擬合圖形

[1] Friedman J H. Multivariate adaptive regression splines (with discussion) [J]. The Annals of Statistics,1991,19(1):123-141.

[2] Hastie T, Tibshirani R, Friedman J. The elements of statistical learning: data mining, inference and prediction[M]. 2nd edition. [S.l.]: Springer,2009.

[3] 宋陽,凌震華,戴禮榮.基于合成質(zhì)量預(yù)測的單元挑選語音合成優(yōu)化方法[J].清華大學(xué)學(xué)報:自然科學(xué)版,2013(6):762-766.

[4] Bakin S, Hegland M, Osborne M. Can MARS be improved with B-splines? [M]. New Jersey, USA: Computational Techniques and Applications Conference,1998:75-82.

[5] 初眾,吳義忠,陳立平,等.基于黃金分割法的加速MARS研究[J].系統(tǒng)仿真學(xué)報,2012(8):1561-1566.

[6] 馮非凡,武雪玲,牛瑞卿,等.粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的滑坡敏感性評價[J].測繪科學(xué),2017(10):1-9.

[7] 邱東,劉明碩,郭紅濤.基于粒子群算法的低碳鉻鐵磷含量預(yù)測研究[J].計算機(jī)技術(shù)與發(fā)展,2017(6):1-4.

[8] 金星,徐婷,冷淼.基于IPSO-SVR的水泥分解爐溫度預(yù)測模型研究[J].現(xiàn)代電子技術(shù),2017(9):148-151.

DivisionmethodofMARSsampleoptimizedbyPSO

WANG Shenghui, ZHAO Erwei

(School of Electrical & Electronic Engineering, Changchun University of Technology, Changchun 130012， China)

In the multi-adaptive regression spline modeling process, the setting of both sampling minimum step size and endpointmay influence the precision of modeling. To optimize the two parameters, Particle Swarm Optimization (PSO) method is applied to estimate the Mean Square Error (MSE). The MSE is taken as the fitness function to optimize the minimum step size and endpoint by adjusting the sampling position. Application results indicate that themethod can improve the modeling accuracy.

Particle Swarm Optimization (PSO); minimum step size; endpoind; cross-validation.

2017-06-15

吉林省科技發(fā)展計劃基金資助項目(20150203003SF)

王盛慧(1976-)，女，漢族，吉林長春人，長春工業(yè)大學(xué)副教授，碩士，主要從事數(shù)字傳動與電力節(jié)能技術(shù)方向研究,E-mail:wangshenghui@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2017.5.09

TP 391.9

A

1674-1374(2017)05-0459-05