周 慧 王 進(jìn) 顧 翔 徐巍巍

（1.南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南通 226019）（2.中天智能裝備有限公司 南通 226000）

1 引言

最小二乘支持向量機(jī)在支持向量機(jī)［1］的基礎(chǔ)上進(jìn)行優(yōu)化的一種機(jī)器學(xué)習(xí)算法，能夠加快學(xué)習(xí)和計(jì)算效率。采用最小二乘支持向量機(jī)（LSSVM）模型進(jìn)行回歸訓(xùn)練時(shí)，需要確定該模型中的兩個(gè)參數(shù)：懲罰參數(shù)γ和核參數(shù)σ。國內(nèi)外已有部分學(xué)者通過多種優(yōu)化方法對該兩個(gè)參數(shù)進(jìn)行優(yōu)化，如蟻群算法［2］、模擬退火算法［3］、果蠅優(yōu)化算法［4］、遺傳算法［5］、粒子群算法［6］等。

傳統(tǒng)的種群優(yōu)化算法無法避免陷入局部收斂和收斂速度慢［7～8］的問題，為了改進(jìn)這些缺陷，本文提出一種基于GC變異算子的量子粒子群算法對LSSVM的參數(shù)進(jìn)行優(yōu)化，利用高斯變異數(shù)的局部開發(fā)能力和柯西變異數(shù)的全局探索能力，來避免優(yōu)化算法的局部極值并提高收斂速度。

2 最小二乘支持向量機(jī)

SuyKens［9］提出的最小二乘支持向量機(jī)將標(biāo)準(zhǔn)支持向量機(jī)的不等式約束的二次規(guī)劃問題轉(zhuǎn)化為等式約束的線性方程組求解問題，從而提高了求解的收斂速度，更適合高維度大樣本訓(xùn)練。

利用LSSVM對函數(shù)f（x）要解決的優(yōu)化問題為

其中w為權(quán)向量，b為一個(gè)數(shù)，γ是懲罰參數(shù)，ξ是松弛因子；要求解決該問題，則構(gòu)造拉格朗日函數(shù)，并求解得到線性方程：

K(x，xi)為核函數(shù)，一般選擇泛化能力較強(qiáng)的徑向基核函數(shù)［10］，其公式為

最后得到非線性預(yù)測函數(shù)：

以上公式中，需要優(yōu)化的參數(shù)包括σ和γ，因此要解決LSSVM的參數(shù)優(yōu)化就是解決σ和γ的參數(shù)優(yōu)化問題［11］。

LSSVM參數(shù)優(yōu)化是LSSVM模型應(yīng)用的關(guān)鍵問題，楊福剛［12］將LSSVM模型參數(shù)作為抗體的基因設(shè)計(jì)抗體的編碼方案，利用人工免疫算法對LSSVM參數(shù)優(yōu)化搜索。提出一種基于人工免疫原理的參數(shù)尋優(yōu)算法，這種方法大大減少了運(yùn)算量，提高了尋找最優(yōu)參數(shù)的效率。陳帥等［13］將進(jìn)化類算法引入最小二乘支持向量機(jī)的參數(shù)優(yōu)化，能夠有效地進(jìn)行參數(shù)尋優(yōu)，使用遺傳算法和粒子群算法進(jìn)行的參數(shù)尋優(yōu)都取得了較好的仿真效果。張濤等［14］采用QPSO算法對LSSVM模型參數(shù)進(jìn)行優(yōu)化，算例表明，該算法避免了標(biāo)準(zhǔn)粒子群算法陷入局部極小值的缺陷，能在較短的迭代次數(shù)獲得優(yōu)于粒子群算法的最優(yōu)解。本文針對最小二乘支持向量機(jī)參數(shù)優(yōu)化問題，在QPSO優(yōu)化的基礎(chǔ)上，提出一種基于高斯-柯西變異算子的參數(shù)優(yōu)化方法，旨在避免種群優(yōu)化算法時(shí)極易出現(xiàn)的局部極值問題，并提高收斂效率。

3 基于高斯-柯西變異算子優(yōu)化量子粒子群算法

在量子粒子群（QPSO）優(yōu)化最小二乘支持向量機(jī)算法時(shí)，為了避免優(yōu)化過程中的局部收斂問題，有研究者用高斯變異數(shù)［15］操作和柯西變異數(shù)操作［16］代替隨機(jī)數(shù)變異操作來增加粒子的多樣性?？紤]到高斯變異數(shù)局部開發(fā)能力較強(qiáng)［17］，柯西變異數(shù)具有兩翼分布概率，更容易跳出局部區(qū)域，適合全局探索［18］。本文提出基于高斯-柯西變異算子的量子粒子群算法——GCQPSO算法。GCQPSO具體步驟如圖1所示。

圖1 高斯-柯西量子粒子優(yōu)化流程圖

GCQPSO算法中主要涉及的變量有pBest、gBest、Pi、mBest、GC，其中pBesti表示第i維粒子歷史最優(yōu)位置，gBest代表全局最優(yōu)位置，Pi代表第i維粒子的局部吸引點(diǎn)，mBest代表平均最優(yōu)位置，

步驟1：初始化粒子群，隨機(jī)產(chǎn)生每個(gè)粒子的位置，粒子狀態(tài)用波函數(shù)ψ(x)表示。

參數(shù)L的公式為

采用蒙特卡洛方程可以解得：

量子粒子群局部吸引點(diǎn)Pi位置表示為

步驟2：計(jì)算每個(gè)粒子的適應(yīng)度值f（Xi），如果小于個(gè)體最優(yōu)位置的適應(yīng)度值f（Pi），則更新個(gè)體最優(yōu)位置為Pi=Xi。

步驟3：更新全局最優(yōu)位置，若個(gè)體最優(yōu)位置適應(yīng)度值低于全局最優(yōu)位置，則更新gBest=pBest。

步驟4：計(jì)算平均最優(yōu)位置mBest。

步驟5：對gBest和mBest進(jìn)行高斯-柯西算子變異。

步驟6：更新每個(gè)粒子的位置。

步驟7：判斷是否滿足停止條件。

4 GCQPSO-LSSVM模型

本文實(shí)驗(yàn)數(shù)據(jù)使用江蘇省某光伏電站2016年7月到2017年6月的實(shí)際運(yùn)維數(shù)據(jù)，采集粒度為5min一次。實(shí)驗(yàn)使用的數(shù)據(jù)達(dá)到4萬多條，數(shù)據(jù)進(jìn)行清洗、缺失值補(bǔ)全、虛擬變量賦值，以及數(shù)據(jù)標(biāo)準(zhǔn)化之后可用于光伏發(fā)電量預(yù)測模型的訓(xùn)練。根據(jù)時(shí)點(diǎn)對所有的數(shù)據(jù)分類，從早晨6：00到晚上19：00，取間隔5min作為一個(gè)時(shí)點(diǎn)進(jìn)行分類，分別建立GCQPSO-LSSVM預(yù)測模型來討論某一時(shí)點(diǎn)在不同季節(jié)、不同天氣特征下的發(fā)電量。在訓(xùn)練模型過程中，將數(shù)據(jù)的50%作為訓(xùn)練集，再取余下數(shù)據(jù)的30%作為測試集，其余的數(shù)據(jù)作為驗(yàn)證集。為了保證訓(xùn)練模型的準(zhǔn)確性和泛化能力，對數(shù)據(jù)進(jìn)行三折交叉驗(yàn)證實(shí)驗(yàn)。GCQPSO-LSSVM模型訓(xùn)練步驟如圖2所示。

圖2 GCQPSO-LSSVM模型訓(xùn)練流程圖

5 實(shí)驗(yàn)分析

為了研究高斯-柯西變異算子對量子粒子群算法的優(yōu)化效果，設(shè)計(jì)實(shí)驗(yàn)比較高斯-柯西優(yōu)化量子粒子群算法（GCQPSO）和標(biāo)準(zhǔn)量子粒子群算法（QPSO）、高斯優(yōu)化量子粒子群算法（GQPSO）和柯西量子粒子群算法（CQPSO）對LSSVM模型的優(yōu)化過程和結(jié)果。實(shí)驗(yàn)以迭代次數(shù)和適應(yīng)度函數(shù)為評價(jià)指標(biāo)，進(jìn)行算法對比。一般認(rèn)為迭代次數(shù)越少，收斂效果越好，但仍需結(jié)合適應(yīng)度函數(shù)判斷，以避免局部極值干擾。

適應(yīng)度函數(shù)設(shè)為均方根誤差公式：

5.1 不同變異算子的優(yōu)化實(shí)驗(yàn)設(shè)計(jì)

分別利用不同方法訓(xùn)練LSSVM模型，得到QPSO-LSSVM、CQPSO-LSSVM、GQPSO-LSSVM、GCQPSO-LSSVM模型。QPSO-LSSVM代表標(biāo)準(zhǔn)量子粒子群優(yōu)化法優(yōu)化最小二乘支持向量機(jī)。GQPSO-LSSVM代表用高斯變異隨機(jī)數(shù)變異代替隨機(jī)數(shù)變異。CQPSO-LSSVM代表用柯西變異隨機(jī)數(shù)變異代替隨機(jī)數(shù)變異。GCQPSO-LSSVM代表用高斯-柯西變異隨機(jī)數(shù)變異代替隨機(jī)數(shù)變異。四種優(yōu)化方法的具體區(qū)別在于 P、gBest、mBest和 Xij的迭代，如表1、表2、表3和表4所示。

表1 GCQPSO迭代公式

表2 CQPSO迭代公式

表3 GQPSO迭代公式

表4 QPSO迭代公式

從表1、表2、表3和表4中可以明顯看到四種優(yōu)化方法的迭代方法的不同之處。QPSO的迭代方法最簡單，變異因子為滿足（0，1）分布的任意隨機(jī)數(shù)，GQPSO的變異因子為符合高斯分布的隨機(jī)數(shù)，CQPSO的變異因子為符合柯西分布的隨機(jī)數(shù)，GCQPSO的變異因子為符合高斯-柯西分布的隨機(jī)數(shù)。

各種變異因子的表達(dá)公式如下：

利用以上四種不同變異算子的量子粒子優(yōu)化方法對LSSVM模型進(jìn)行優(yōu)化的過程及結(jié)果將在下一節(jié)中具體分析。

5.2 不同變異算子的優(yōu)化過程分析

通過對迭代次數(shù)和適應(yīng)度值來分析不同變異算子優(yōu)化的量子粒子群算法。表5顯示的是不同變異算子對LSSVM預(yù)測模型優(yōu)化過程，其中參數(shù)包括迭代次數(shù)和適應(yīng)度函數(shù)值。本模型中以均方根誤差RMSE作為適應(yīng)度函數(shù)，適應(yīng)度函數(shù)值越小，優(yōu)化效果越好；達(dá)到最小適應(yīng)度值的迭代次數(shù)越少，收斂越迅速。實(shí)驗(yàn)迭代次數(shù)范圍設(shè)置為小于200。從表5中可以看出，CQPSO迭代次數(shù)最大，適應(yīng)度函數(shù)值較小，效果尚可，這是由于柯西分布變異數(shù)全局搜索能力較強(qiáng)，搜索空間較大。而GQPSO迭代次數(shù)較少，能較快收斂，適應(yīng)度函數(shù)值小于CQPSO，效果更好。QPSO方法迭代12次就陷入局部最優(yōu)，適應(yīng)度函數(shù)值較大，優(yōu)化效果不佳。GCQPSO迭代次數(shù)介于GQPSO和CQPSO之間，搜索空間較廣，收斂速度較快，且適應(yīng)度函數(shù)明顯小于以上三種方法，預(yù)測精度較高。

表5 不同優(yōu)化算法優(yōu)化過程及結(jié)果對比

從圖3可以很顯著看出，QPSO在迭代初期就陷入了局部收斂狀態(tài)，四種方法的迭代速度、搜索空間、適應(yīng)度值比較分別如下。

迭代次數(shù)比較：CQPSO＞GCQPSO＞GQPSO＞QPSO；

搜索空間比較：CQPSO＞GCQPSO＞GQPSO＞QPSO；

適應(yīng)度值比較：QPSO＞CQPSO＞GQPSO＞GCQPSO。

根據(jù)以上比較可以知道，量子粒子群算法的迭代次數(shù)最短，搜索空間最有限，適應(yīng)度值最大，達(dá)到12以上，優(yōu)化結(jié)果不理想。高斯量子粒子優(yōu)化（GQPSO）算法的搜索空間介于柯西量子粒子（CQPSO）算法和高斯-柯西量子粒子（GC-QPSO）算法之間，迭代次數(shù)少于其他三種算法，適應(yīng)度值介于CQPSO算法和GCQPSO算法之間。屬于迭代較快，也能達(dá)到較好優(yōu)化結(jié)果的算法?？挛髁孔恿Ｗ樱–QPSO）算法的搜索空間最大，迭代次數(shù)較多，適應(yīng)度值大于GQPSO算法，因此不是非常理想的優(yōu)化選擇。而GCQPSO算法的迭代次數(shù)介于GQPSO和CQPSO之間，搜索空間介于GQPSO和CQPSO之間，但是與迭代次數(shù)最少的GQPSO相差無幾，迭代次數(shù)未超過100，但是適應(yīng)度值最低，因此也是比較理想的優(yōu)化方法。比較GQPSO和GCQPSO算法，GCQPSO盡管迭代次數(shù)稍微高一些，但是達(dá)到的適應(yīng)度值卻非常接近0，完全可以彌補(bǔ)迭代次數(shù)帶來的損失，總體來說瑕不掩瑜，整體性能稍優(yōu)于GQPSO。

圖3 不同變異算法迭代圖

5.3 不同變異算子的優(yōu)化結(jié)果分析

使用江蘇省某光伏電站2016～2017年的實(shí)際運(yùn)維數(shù)據(jù)，以時(shí)點(diǎn)為分界將數(shù)據(jù)分成169組數(shù)據(jù)，分別進(jìn)行169組實(shí)驗(yàn)。分別采用GCQPSO、GQPSO、CQPSO、QPSO四種方法優(yōu)化后的LSSVM建模，每個(gè)方法分別建立模型169次。圖4箱線圖分析四種優(yōu)化方法分別進(jìn)行169次實(shí)驗(yàn)的適應(yīng)度值（即均方根誤差RMSE值）的分布情況；表6分析了169次優(yōu)化實(shí)驗(yàn)中，適應(yīng)度值為四種方法中最?。醋顑?yōu)解）出現(xiàn)的次數(shù)以及百分比分布情況。

圖4 各種優(yōu)化方法的適應(yīng)度值分布

依圖4所示，針對本文的169組數(shù)據(jù)，QPSO方法優(yōu)化的適應(yīng)度較大，分布于0～26之間，中位數(shù)約為11.57，而GCQPSO、GQPSO、CQPSO三種方法的適應(yīng)度值，分布范圍依次為0～1，0～2，0～25；中位數(shù)依次為0.1，0.2，2.69。各優(yōu)化方法的四分位距大小情況為GCQPSO＜GQPSO＜CQPSO＜QPSO。

根據(jù)以上分析，GCQPSO、GQPSO、CQPSO的優(yōu)化結(jié)果明顯優(yōu)于單獨(dú)的QPSO方法，而GCQPSO、GQPSO、CQPSO三種優(yōu)化方法中，GCQPSO優(yōu)化的適應(yīng)度值分布較其他方法更為優(yōu)秀。

表6反應(yīng)的是169次對比實(shí)驗(yàn)中，四種優(yōu)化方法得到的適應(yīng)度值最小的次數(shù)及百分比，即達(dá)到最優(yōu)秀的優(yōu)化效果的次數(shù)及次數(shù)百分比。

表6 各優(yōu)化方法最優(yōu)解分布情況

根據(jù)表6，顯然可以看到，QPSO算法最優(yōu)解為0次，即沒有一次實(shí)驗(yàn)?zāi)軌虮绕渌N算法優(yōu)秀。GQPSO算法和CQPSO算法得到最優(yōu)解的次數(shù)相等，都是28次，均占總實(shí)驗(yàn)次數(shù)（169）的16.57%。而GCQPSO方法得到最優(yōu)解的次數(shù)為113次，占總實(shí)驗(yàn)次數(shù)的66.86%，相對于其他三種方法，算法的優(yōu)化效果遠(yuǎn)遠(yuǎn)超過GQPSO和CQPSO方法。因此，四種算法相比，選擇GC變異算子優(yōu)化方法建立LSSVM模型更合理，能夠在合理的迭代次數(shù)內(nèi)找到最低的適應(yīng)度值。

6 結(jié)語

對于本文中的數(shù)據(jù)，首先，QPSO方法迭代幾次后便陷入局部最優(yōu)狀態(tài)，最后得到的適應(yīng)度值（即RMSE值）較大。其次，CQPSO方法經(jīng)過將近200次迭代才找到最優(yōu)解。搜尋空間大于其他方法，收斂速度較慢。GQPSO與GCQPSO都能較快跳出局部極值，但GQPSO雖然能更快地下降到較低的適應(yīng)度水平，最優(yōu)解卻大于GCQPSO方法尋得的最優(yōu)解；GCQPSO方法在搜尋過程中搜索空間大于GQPSO，搜索過程更充分，最優(yōu)值也優(yōu)于GQPSO最優(yōu)值。

通過上述分析，可以證實(shí)，GC變異算子優(yōu)化方法在粒子搜索過程中能夠?qū)で蟮剿阉骺臻g和局部極值之間一個(gè)較好的平衡點(diǎn)，能夠保證在解空間里充分搜索，并且具備更好的跳出局部極值的能力。