沈葛亮,顧斌杰,潘 豐

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點實驗室,江蘇 無錫 214122)

近年來,由Jayadeva等人提出的孿生支持向量機(Twin support vector machine,TSVM)在圖像處理、特征選擇、入侵檢測等領(lǐng)域得到了廣泛應(yīng)用[1-4]。TSVM將訓(xùn)練樣本分為兩類,相當(dāng)于求解優(yōu)化問題時樣本個數(shù)減半。與傳統(tǒng)的支持向量機[5]相比,TSVM的分類性能得到了提升,并且計算復(fù)雜度下降,訓(xùn)練時間僅為傳統(tǒng)支持向量機的1/4[6]。

實際中,參數(shù)選擇是TSVM的關(guān)鍵問題之一,不同的參數(shù)會嚴(yán)重影響分類和回歸的結(jié)果。針對孿生支持向量分類機的參數(shù)選擇問題,雖然傳統(tǒng)的網(wǎng)格尋優(yōu)方法能通過設(shè)定固定步長在一定范圍內(nèi)搜索得到最優(yōu)解,但是其計算復(fù)雜度高,運行效率低,在樣本數(shù)較大時性能欠佳。為此,Jayadeva等人提出了孿生支持向量分類機的核選擇方法,為分類問題中核參數(shù)的選擇提供了一種可行方法[7]。為了避免參數(shù)選擇的盲目性,人們開始嘗試?yán)萌褐悄芩惴▋?yōu)化參數(shù)。丁世飛等人提出了基于粒子群優(yōu)化算法的孿生支持向量分類,提高了分類精度[8]。之后,他們又提出了基于果蠅優(yōu)化算法的孿生支持向量分類,通過果蠅優(yōu)化算法尋找孿生支持向量機的懲罰參數(shù),分類結(jié)果和運行效率均優(yōu)于粒子群算法[9]。

針對孿生支持向量回歸機參數(shù)選擇問題的研究報道還不多見?；依莾?yōu)化算法(Grey wolf optimization,GWO)是一種模仿自然界狼群捕獵行為的新興智能算法,它利用領(lǐng)導(dǎo)機制和位置更新機制尋找最優(yōu)值[10]。在此基礎(chǔ)上,Mirjalili等人提出了多目標(biāo)灰狼優(yōu)化算法,可用于尋優(yōu)多個參數(shù)[11]?；依莾?yōu)化算法及其改進(jìn)算法已經(jīng)被證明具有更合理的全局最優(yōu)搜索機制,運行穩(wěn)定,收斂速度快,結(jié)構(gòu)簡單,通用性強,適用于各種參數(shù)尋優(yōu)[12-16]。

為此,本文研究利用GWO算法優(yōu)化孿生支持向量回歸機的懲罰參數(shù),提出了一種基于灰狼優(yōu)化算法的孿生支持向量回歸機(Twin support vector regressionbased on grey wolf optimization algorithm,GWOTSVR)。GWOTSVR將均方根誤差和平均絕對誤差作為GWO的適應(yīng)度函數(shù),利用灰狼優(yōu)化算法的位置更新機制在定義域內(nèi)尋找最優(yōu)的適應(yīng)度函數(shù)值,最終經(jīng)過有限次數(shù)迭代后得到最優(yōu)的懲罰參數(shù)。

1 孿生支持向量回歸機

孿生支持向量回歸機(Twin support vector regression,TSVR)的思想是將訓(xùn)練數(shù)據(jù)集分成兩部分,分別選擇合適的損失函數(shù),構(gòu)建出兩個不平行的決策函數(shù)[17]。

f1(x)=(w1,x)+b1

(1)

f2(x)=(w2,x)+b2

(2)

式中:x∈Rn,w1,w2是權(quán)重向量,b1,b2是偏置,(·,·)表示內(nèi)積。

為了使預(yù)測效果最好,需要找到最優(yōu)決策函數(shù),可通過求解如下原始問題得到

(3)

(4)

式中:‖·‖表示L2范數(shù),C1,C2是懲罰參數(shù),ε1,ε2>0是常數(shù),ξ,θ是松弛向量,e是m×1維單位列向量。

通過引入拉格朗日乘子δ,η,根據(jù)Karush-Kuhn-Tucker(KKT)條件得到如下對偶形式

(5)

(6)

式中:G=[Ae],h1=y-ε1e和h2=y+ε2e,式(5)和式(6)的最優(yōu)解分別為

(7)

(8)

當(dāng)解出f1(x)和f2(x)后,決策函數(shù)如下

(9)

在非線性情況下,可通過引入核函數(shù)映射到高維空間進(jìn)行求解。輸入矩陣A∈Rm×n變?yōu)镵(A,AT),式(1)和式(2)變?yōu)?/p>

f1(x)=K(xT,AT)w1+b1

(10)

f2(x)=K(xT,AT)w2+b2

(11)

相應(yīng)的決策函數(shù)與式(9)類似。

2 本文算法

2.1 灰狼優(yōu)化算法

灰狼優(yōu)化算法是一種基于模仿灰狼領(lǐng)導(dǎo)層次和狩獵機制提出的元啟發(fā)式優(yōu)化算法,適用于具有未知搜索空間的尋優(yōu)問題?；依亲迦悍譃?個等級,從高到低依次記為α,β,γ,τ,其中α,β,γ是領(lǐng)導(dǎo)階層,各個階層分工明確,互相協(xié)作?；依撬惴ǖ恼麄€優(yōu)化過程就是α,β,γ,τ的位置更新過程,分成如下3個階段:

第一階段:根據(jù)狼群包圍獵物機制,在建立數(shù)學(xué)模型時表示為

D=|E·Xp(t)-X(t)|

(12)

X(t+1)=Xp(t)-L·D

(13)

式中:Xp(t)表示更新后的α,β,γ狼三個等級的最優(yōu)位置,X(t)表示所有可能解,即當(dāng)前狼群的位置,L和E表示t時刻位置更新的系數(shù),計算方式如下

L=2a·r1-a

(14)

E=2·r2

(15)

式中:a的值根據(jù)迭代次數(shù)的增加從2線性減小到0,r1和r2是[0,1]之間的隨機數(shù)。

在包圍過程中,狼群的位置根據(jù)當(dāng)前更新的α,β,γ3個等級的位置不斷進(jìn)行調(diào)整,目的是尋找到最優(yōu)的獵物位置。

第二階段:在捕獵過程中,由α,β,γ3個等級主導(dǎo)尋找方向,向獵物位置靠近,其位置按照如下方式計算

Dα=|E1·Xα-X|X1=Xα-L1·Dα

Dβ=|E2·Xβ-X|X2=Xβ-L2·Dβ

(16)

Dγ=|E3·Xγ-X|X3=Xγ-L3·Dγ

(17)

根據(jù)以上公式得到α,β,γ的最優(yōu)位置后,其他狼就可以據(jù)此進(jìn)行位置更新,X(t+1)是更新后α,β,γ的位置。α,β,γ的位置更新過程如圖1所示。

第三階段:攻擊獵物,確定獵物位置,通過|L|的大小來確定是否找到獵物位置,而L的值在[-a,a]之間。當(dāng)|L|≤1,算法收斂,可以得到獵物位置。

2.2 GWOTSVR算法步驟

本文中灰狼優(yōu)化算法的適應(yīng)度函數(shù)fit依次設(shè)置為均方根誤差(Root mean square error,RMSE)和平均絕對誤差(Mean absolute error,MAE),另一方面也是作為評價算法預(yù)測性能的性能指標(biāo),RMSE和MAE分別按如下方法計算

(18)

(19)

利用GWO算法分別迭代搜索最小的均方根誤差和平均絕對誤差,從而確定孿生支持向量回歸機的最優(yōu)懲罰參數(shù)C1和C2。

基于灰狼優(yōu)化算法的孿生支持向量回歸機算法的具體步驟如下:

步驟1設(shè)置種群規(guī)模population,最大迭代次數(shù)M,參數(shù)取值上下界,需要優(yōu)化參數(shù)的個數(shù),初始迭代次數(shù)l=0;

步驟2將灰狼種群分成α,β,γ共3個等級,每個等級的狼群位置設(shè)置為(0,0),令每個等級的狼群適應(yīng)度函數(shù)值fitα,fitβ,fitγ均為無窮大,按照下式初始化懲罰參數(shù)C1,C2

c1=rand(population ,1)×(ub-lb)+lb

c2=rand(population ,1)×(ub-lb)+lb

(20)

步驟5判斷是否遍歷c1,c2,若沒有,轉(zhuǎn)到步驟3;否則,轉(zhuǎn)到步驟6;

步驟6根據(jù)式(16)計算灰狼群每個個體位置,由式(17)計算最優(yōu)的懲罰參數(shù)C1,C2;

步驟7判斷是否遍歷每個灰狼個體,若沒有,轉(zhuǎn)到步驟6,否則,轉(zhuǎn)到步驟8;

步驟8若l>M,則尋優(yōu)結(jié)束,輸出最優(yōu)懲罰參數(shù)C1,C2;否則l=l+1,轉(zhuǎn)步驟2。

3 仿真實驗

3.1 實驗設(shè)計與參數(shù)設(shè)置

仿真實驗分別在線性和非線性情況下驗證GWOTSVR算法的預(yù)測性能,并突出GWOTSVR算法在縮短尋優(yōu)時間上的優(yōu)勢。仿真軟件采用的是Matab2017a,所有的仿真實驗均在內(nèi)存為4GB的聯(lián)想G50筆記本上運行。實驗中采用UCI數(shù)據(jù)庫中的Container、Airfoil、Yacht、Residential_Building、Real_estate、Boston、Akbilgic、Enb2012和Concrete共9個基準(zhǔn)測試數(shù)據(jù)集,如表1所示。

表1 基準(zhǔn)測試數(shù)據(jù)集

實驗中將在每個基準(zhǔn)測試數(shù)據(jù)集中隨機不重復(fù)選取一半樣本用于訓(xùn)練,另一半樣本用于測試。設(shè)置GWOTSVR算法的種群大小為10,最大迭代次數(shù)為100,懲罰參數(shù)C1和C2的取值范圍為[0.01,100],孿生支持向量回歸機中的ε1=ε2=0.1。

實驗選取網(wǎng)格優(yōu)化的孿生支持向量回歸機(Grid twin support vector regression,GridTSVR)、基于粒子群算法的孿生支持向量回歸機(Twin support vector regression based on particle swarm optimization,PSOTSVR)[18]、基于布谷鳥搜索算法的孿生支持向量回歸機(Twin support vector regression based on Cuckoo search,CSTSVR)[19]、基于遺傳算法的孿生支持向量回歸機(Twin support vector regression based on genetic algorithm,GATSVR)[20-23]與GWOTSVR算法進(jìn)行比較。為了保證實驗的公平性,本文將GridTSVR算法的懲罰參數(shù)C1和C2的取值范圍設(shè)置為與GWOTSVR算法相同。設(shè)置遺傳算法種群大小為2,編碼長度為10,交叉概率0.6,變異概率0.001,最大迭代次數(shù)為100;設(shè)置粒子群算法兩個學(xué)習(xí)因子φ1=φ2=0.5,種群大小為10,最大迭代次數(shù)為100,懲罰參數(shù)C1和C2的取值范圍為[0.01,100];設(shè)置布谷鳥算法種群大小為10,最大迭代次數(shù)為100,切換概率為0.25,levy指數(shù)為1.5,步長縮放因子為0.01。

3.2 實驗結(jié)果與分析

3.2.1 線性結(jié)果

經(jīng)過20次實驗,得到的RMSE和MAE的平均值如表2所示。在線性情況下,GWOTSVR算法在基準(zhǔn)數(shù)據(jù)集上RMSE和MAE的結(jié)果共有11個最優(yōu),CSTSVR算法的RMSE和MAE結(jié)果共有3個最優(yōu),GATSVR算法的RMSE和MAE結(jié)果共有3個最優(yōu),GridTSVR算法僅有1個最優(yōu)結(jié)果。說明在線性情況下,GWOTSVR的綜合預(yù)測性能更佳。

表2 線性情況下的實驗結(jié)果

GridTSVR算法、PSOTSVR算法、CSTSVR算法、GATSVR算法和GWOTSVR算法的尋優(yōu)時間對比實驗結(jié)果如圖2所示。由圖2可以看出,GridTSVR算法的尋優(yōu)效率低,原因是GridTSVR是在搜索范圍內(nèi)按照固定步長依次搜索,尋優(yōu)過程機械重復(fù);而PSOTSVR算法、CSTSVR算法、GATSVR算法與GWOTSVR等群智能算法則根據(jù)適應(yīng)度函數(shù)自動更新尋優(yōu)方向,尋優(yōu)過程得到改進(jìn),尋優(yōu)時間顯著縮短。PSOTSVR算法需要設(shè)置的參數(shù)比GWOTSVR算法多,參數(shù)設(shè)置不準(zhǔn)確將直接降低算法的預(yù)測性能;GATSVR算法結(jié)構(gòu)較為復(fù)雜,需要經(jīng)過選擇,交叉,變異等過程,算法的尋優(yōu)過程較為復(fù)雜,因此尋優(yōu)時間相對較長;CSTSVR算法需要用levy飛行增強尋優(yōu)性能,因而增加了算法的運行時間。GWOTSVR算法與本文其他智能算法相比,所需要設(shè)置的參數(shù)較少,結(jié)構(gòu)相對簡單,且收斂速度快,易實現(xiàn),資源占用少,尋優(yōu)時間最短。

3.2.2 非線性結(jié)果

選取多項式K(x,y)=[1+(x,y)]2作為核函數(shù)。與線性情況一樣,選擇RMSE和MAE作為性能評價指標(biāo),經(jīng)過20次試驗,得到RMSE和MAE的平均值,結(jié)果如表3所示。

從表3可以看出,非線性情況下,GWOTSVR算法與GATSVR算法各有7個實驗結(jié)果最優(yōu),CSTSVR算法有3個實驗結(jié)果最優(yōu),GridTSVR僅有1個實驗結(jié)果最優(yōu);而GWOTSVR算法與GATSVR算法相比,GWOTSVR算法有10個實驗結(jié)果優(yōu)于GATSVR算法,1個相同,說明GWOTSVR算法的綜合預(yù)測性能優(yōu)于GATSVR算法。因此,在非線性情況下,GWOTSVR算法的綜合預(yù)測性能更佳,尋優(yōu)性能更好。

非線性情況下,GridTSVR,PSOTSVR,CSTSVR,GATSVR和GWOTSVR 5種算法在不同訓(xùn)練集下的尋優(yōu)時間如圖3所示。

從圖3可以看出,由于引入了核函數(shù),將數(shù)據(jù)映射到高維空間,相同數(shù)據(jù)集上的尋優(yōu)時間與線性情況相比均有所增加。但是,群智能算法的尋優(yōu)時間均比網(wǎng)格尋優(yōu)少,尤其當(dāng)訓(xùn)練樣本個數(shù)增加時,群智能算法尋優(yōu)時間優(yōu)勢顯著。而GWO算法由于結(jié)構(gòu)簡單,算法穩(wěn)定性強,收斂速度快,易實現(xiàn),所需的尋優(yōu)時間仍然比PSOTSVR,CSTSVR,GATSVR 3種智能算法少,可以在最短的時間內(nèi)尋找到最優(yōu)解。

綜上所述,本文研究的GWOTSVR算法無論在線性還是非線性情況下,均能夠找到合適的懲罰參數(shù),且預(yù)測性能優(yōu)于傳統(tǒng)的網(wǎng)格尋優(yōu)算法。與其他智能算法相比,GWOTSVR算法綜合預(yù)測性能較好。更為重要的是,GWOTSVR算法所需要的尋優(yōu)時間在線性和非線性情況下均小于其他算法。

4 結(jié)論

為了解決孿生支持向量回歸機的參數(shù)選取問題,本文提出了GWOTSVR算法。該算法將均方根誤差和絕對平均誤差作為灰狼優(yōu)化算法的適應(yīng)度函數(shù),通過有限次數(shù)迭代完成了對孿生支持向量回歸機懲罰參數(shù)C1和C2的尋優(yōu)。與現(xiàn)有算法相比,GWOTSVR算法具有更好的預(yù)測性能,能在最短的時間內(nèi)搜索到最優(yōu)參數(shù)。