許少榕

(福州職業(yè)技術(shù)學(xué)院文化創(chuàng)意系，福建 福州 350108)

混合核函數(shù)支持向量機(jī)的參數(shù)優(yōu)化算法研究*

許少榕

(福州職業(yè)技術(shù)學(xué)院文化創(chuàng)意系，福建 福州 350108)

本文研究支持向量機(jī)混合核函數(shù)參數(shù)優(yōu)選問題，提出將量子進(jìn)化算法和粒子群算法相結(jié)合，得到一種新型混合核函數(shù)支持向量機(jī)參數(shù)優(yōu)選算法.提出了兩種基于收斂因子的優(yōu)化策略改進(jìn)量子粒子群算法，改進(jìn)了量子粒子群算法存在發(fā)散和早熟收斂，無法準(zhǔn)確搜索全局最優(yōu)解的難題，避免了算法早熟收斂問題，確保量子粒子群算法能夠在全局準(zhǔn)確搜索到核函數(shù)最優(yōu)參數(shù)，最后通過仿真實(shí)驗(yàn)，證明該優(yōu)化算法可有效避免早熟收斂，提高了向量機(jī)預(yù)測(cè)精度.

支持向量機(jī)；混合核函數(shù)；參數(shù)優(yōu)選；量子粒子群算法

引言

自機(jī)器學(xué)習(xí)誕生之日起，人們就致力于模擬和提高計(jì)算機(jī)通過學(xué)習(xí)過往數(shù)據(jù)和經(jīng)驗(yàn)獲取認(rèn)知規(guī)律并進(jìn)行預(yù)測(cè)的學(xué)習(xí)能力，統(tǒng)計(jì)學(xué)的發(fā)展為解決上述基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題提供了重要的研究方法并且發(fā)揮了不可替代的作用[1].以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)旨在解決小樣本集、非線性、復(fù)雜高維數(shù)等機(jī)器學(xué)習(xí)實(shí)際問題的支持向量機(jī)(Support Vector Machine，SVM)，以其結(jié)構(gòu)簡(jiǎn)單、易推廣以及解決小樣本問題時(shí)突出優(yōu)勢(shì)的特點(diǎn)，受到了廣大學(xué)者廣泛關(guān)注和研究，并取得了豐碩的成果.

在研究采用支持向量機(jī)算法解決實(shí)際問題時(shí)，核函數(shù)是研究的重中之重，合理選擇核函數(shù)是解決小樣本學(xué)習(xí)問題的關(guān)鍵[2].這是因?yàn)檫x擇恰當(dāng)?shù)暮撕瘮?shù)可以同時(shí)提高算法的學(xué)習(xí)能力和泛化能力.目前被廣泛采用的單核函數(shù)主要有線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)和徑向基核函數(shù)等，基于單核函數(shù)自身性能的局限和應(yīng)用背景，其無法勝任全部的機(jī)器學(xué)習(xí)問題場(chǎng)合[3].因此，很多學(xué)者致力于研究將不同的單核函數(shù)結(jié)合，組成混合核函數(shù)支持向量機(jī)，應(yīng)用于復(fù)雜機(jī)器學(xué)習(xí)場(chǎng)合和同時(shí)對(duì)學(xué)習(xí)能力及泛化能力要求較高的場(chǎng)合，并且取得了極大成功，產(chǎn)生了很多研究成果.研究成果表明混合核函數(shù)的參數(shù)選擇對(duì)于支持向量機(jī)的性能具有至關(guān)重要的作用.然而諸多文獻(xiàn)都只指出支持向量機(jī)采取混合核函數(shù)時(shí)優(yōu)于單核函數(shù)，而沒有構(gòu)建出一套完整的參數(shù)優(yōu)選方法體系[4～7].

為了優(yōu)化支持向量機(jī)的性能，必須采用合理的智能算法對(duì)混合核函數(shù)的參數(shù)進(jìn)行優(yōu)選.針對(duì)傳統(tǒng)粒子群算法(PSO)在樣本空間進(jìn)行尋優(yōu)迭代時(shí)易發(fā)生早熟收斂，不能精準(zhǔn)搜索到全局最優(yōu)值的問題，本文提出將兼容性極強(qiáng)且易于和其它進(jìn)化計(jì)算方法結(jié)合的量子進(jìn)化算法與粒子群算法相結(jié)合，構(gòu)造出一種量子粒子群算法，將其應(yīng)用于混合核函數(shù)的參數(shù)優(yōu)化選擇，在小樣本空間進(jìn)行與傳統(tǒng)算法對(duì)比的仿真實(shí)驗(yàn)，結(jié)果表明，這種算法能夠更合理的優(yōu)化核函數(shù)的參數(shù)，提高支持向量機(jī)的性能.

本文所述量子粒子群算法暴露出的算法發(fā)散和早熟收斂問題，針對(duì)此，提出兩種基于收斂因子的優(yōu)化量子粒子群算法策略，克服算法的早熟收斂問題，確保量子粒子群算法能夠在核函數(shù)參數(shù)尋優(yōu)選擇過程中保持收斂，精確搜索到最優(yōu)解.將采用優(yōu)化量子粒子群算法優(yōu)選參數(shù)的核函數(shù)應(yīng)用于支持向量機(jī)，進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，采用本文提出的核函數(shù)參數(shù)優(yōu)化算法對(duì)參數(shù)進(jìn)行尋優(yōu)，可以有效避免傳統(tǒng)量子粒子群算法尋優(yōu)過程中早熟收斂問題，快速精確確定最優(yōu)核函數(shù)參數(shù)，采用該算法的支持向量機(jī)具有更好的性能.

1 支持向量機(jī)的混合核函數(shù)

1.1支持向量機(jī)算法原理

SVM基本原理是通過某種非線性變換函數(shù)φ(x)，將樣本空間中{(xi,yi)}(i=1,2,…m)輸入量xi∈Rn映射到某一高維特征空間Z，在Z空間中搜索支持向量，并用支持向量構(gòu)造最優(yōu)分類超平面[8].在高維空間構(gòu)造的分類決策最優(yōu)線性函數(shù)為：

f(x)=sign(ωT·φ(x)+b)

(1)

根據(jù)最小化結(jié)構(gòu)風(fēng)險(xiǎn)原則，參數(shù)ω,b可通過式(2)最小化得到最初問題為:

(2)

式中C是參數(shù)可調(diào)的懲罰因子，其取值越大表示對(duì)錯(cuò)誤分類懲罰越大.對(duì)式(2)的問題求解可以通過拉格朗日公式轉(zhuǎn)化成式(3)的對(duì)偶求解問題：

(3)

式中ai為非負(fù)拉格朗日因子，其中所應(yīng)用的非線性變換函數(shù)稱為核函數(shù)K，可定義為：

K(x,xk)=φ(xi)T·φ(xi)

(4)

通過選擇合適的核函數(shù)，聯(lián)立式(3)和(4)，對(duì)偶問題化為

(5)

再通過對(duì)偶問題(3)的求解，可得到

(6)

于是，最終可以得到最優(yōu)線性決策函數(shù)為：

(7)

1.2混合核函數(shù)

支持向量機(jī)的核心即是核函數(shù)的確定和選擇.通常把能夠滿足Mercer定理的對(duì)稱函數(shù)K(x,xi)定義為核函數(shù).

Mercer定理：要保證任意的對(duì)稱函數(shù)K(u,v)能以正的系數(shù)ak>0展開成：

(8)

(10)

多項(xiàng)式核函數(shù)(Poly)：

(11)

徑向基核函數(shù)(RBF)：

(12)

反正切核函數(shù)：

(13)

在實(shí)際應(yīng)用中，為了兼顧改善學(xué)習(xí)能力和泛化能力，常常選擇兩種單核函數(shù)按特定的權(quán)重構(gòu)建出混合核函數(shù)如式(14)所示：

Kmix=ρKpoly+(1-ρ)KRBF

(14)

2 基于量子粒子群優(yōu)化參數(shù)的支持向量機(jī)

2.1量子粒子群算法

為了優(yōu)化支持向量機(jī)的性能，必須采用合理的智能算法對(duì)混合核函數(shù)的參數(shù)進(jìn)行優(yōu)選[10].針對(duì)傳統(tǒng)粒子群算法(PSO)在樣本空間進(jìn)行尋優(yōu)迭代時(shí)易發(fā)生早熟收斂，不能精準(zhǔn)搜索到全局最優(yōu)值的問題，本文提出將兼容性極強(qiáng)且易于和其它進(jìn)化計(jì)算方法結(jié)合的量子進(jìn)化算法融合進(jìn)粒子群算法，構(gòu)造出量子粒子群算法(Quantum Particle Swarms Optimization, QPSO)應(yīng)用于混合核函數(shù)的參數(shù)優(yōu)化選擇，該算法特點(diǎn)是采用量子位編碼定義粒子的當(dāng)前位置，再由量子旋轉(zhuǎn)門搜索確定粒子最優(yōu)位置，其算法具體操作如下：

首先利用量子位概率幅Qi進(jìn)行粒子初始位置的編碼:

(15)

(16)

通過上述變換即實(shí)現(xiàn)了從粒子位置到問題最優(yōu)解的轉(zhuǎn)換，因此每一個(gè)量子位對(duì)應(yīng)優(yōu)化問題的兩個(gè)解.

設(shè)粒子qi當(dāng)前空間尋優(yōu)求解所經(jīng)歷的最優(yōu)位置為余弦位置，即：

Qil=(cos(θil1),cos(θil2),…,cos(θiln))

(17)

種群全部粒子所經(jīng)歷的最優(yōu)位置也記為余弦位置：

Qg=(cos(θg1),cos(θg2),…,cos(θgn))

(18)

由式(17)和(18)得到粒子Qi上量子幅角變化量如下式(19)所示：

Δθij(t+1)=ωΔθij(t)+c1(Δθl)+c2(Δθg)

(19)

由此推出量子旋轉(zhuǎn)門如下式為：

(20)

同理通過基于量子旋轉(zhuǎn)門幅角更新公式最終求得采用于量子粒子算法的粒子Qi的兩個(gè)更新位置分別為：

(21)

(22)

上述基本量子粒子群算法流程如圖1所示，分析可知，在QPSO中，一個(gè)量子粒子對(duì)應(yīng)于解空間中兩個(gè)解，即可同時(shí)實(shí)現(xiàn)解空間中兩個(gè)位置移動(dòng)，因此在支持向量機(jī)核函數(shù)參數(shù)優(yōu)選中采用量子粒子群算法能夠優(yōu)化種群粒子尋址空間搜索效率，提高算法優(yōu)化參數(shù)能力[11].

圖1 量子粒子群算法流程圖

2.2采用量子粒子群優(yōu)化核函數(shù)參數(shù)的支持向量機(jī)

為了發(fā)揮最佳的機(jī)器學(xué)習(xí)能力和達(dá)到更好的預(yù)測(cè)效果，本文采用基于混合核函數(shù)的支持向量機(jī)模型進(jìn)行分類預(yù)測(cè)仿真實(shí)驗(yàn)，并將量子粒子群算法應(yīng)用于核函數(shù)最佳參數(shù)尋優(yōu)，得到基于量子粒子群的混合核函數(shù)支持向量(GAPSO-CSVM)，通過紅酒分類識(shí)別實(shí)驗(yàn)來檢測(cè)采用GAPSO-CSVM的性能.為檢驗(yàn)本文提出的量子粒子群算法最優(yōu)核函數(shù)優(yōu)點(diǎn)和特性，分別對(duì)采用BP算法、傳統(tǒng)粒子群算法和量子粒子群算法核函數(shù)的三種支持向量機(jī)進(jìn)行紅酒分類問題仿真實(shí)驗(yàn)，實(shí)驗(yàn)的數(shù)據(jù)集中共有178個(gè)樣本，每個(gè)樣本中包含14個(gè)數(shù)據(jù)，其中輸入數(shù)據(jù)為13維，依次代表著紅酒的酒精濃度、蘋果酸含量、雜質(zhì)含量百分百等，而輸出數(shù)據(jù)只有一個(gè)，既紅酒種類的標(biāo)識(shí)碼.實(shí)驗(yàn)首先采取5個(gè)樣本作為訓(xùn)練集，然后將整個(gè)數(shù)據(jù)集的178個(gè)樣本全部作為測(cè)試集，設(shè)定種群含有20個(gè)粒子，每個(gè)粒子都為5維，其所包含的數(shù)據(jù)分別為：混合核函數(shù)權(quán)重系數(shù)ρ，RBF核函數(shù)的參數(shù)δ，PLOY函數(shù)的參數(shù)d、γ和ζ.分別采用上述三種不同算法對(duì)紅酒種類識(shí)別問題進(jìn)行20次仿真實(shí)驗(yàn)，實(shí)驗(yàn)過程中采取每做完5次實(shí)驗(yàn)就暫停1次，然后將訓(xùn)練樣本重新隨機(jī)選擇，保持訓(xùn)練集大小不變,最后得到采用三種參數(shù)優(yōu)化算法支持向量機(jī)的分類實(shí)驗(yàn)準(zhǔn)確率[12]，結(jié)果如圖2和表1所示.

圖2 BP、SVM、QPSO-SVM算法仿真結(jié)果圖

算 法最高準(zhǔn)確率最低準(zhǔn)確率平均準(zhǔn)確率迭代終止次數(shù)BP89.33%87.63%88.60%30PSO-SVM91.01%89.32%90.20%35QPSO-CSVM94.38%92.70%93.57%20

分析圖2和表1可以看出，基于QPSO參數(shù)優(yōu)選算法的支持向量機(jī)的最高、最低和平均分類準(zhǔn)確率都高于另外兩種算法，同時(shí)，由于量子算法的優(yōu)點(diǎn)和特性，采用該算法終止迭代次數(shù)明顯減少，其具有更好的學(xué)習(xí)能力和泛化能力.說明相較于另外兩種參數(shù)優(yōu)選算法，量子粒子群算法可以進(jìn)一步提高了參數(shù)優(yōu)化效率，得到預(yù)測(cè)精度和穩(wěn)定性更高的最優(yōu)核函數(shù).分析上述實(shí)驗(yàn)結(jié)果可以得知，量子粒子群參數(shù)優(yōu)選算法在小樣本數(shù)訓(xùn)練集具備高準(zhǔn)確率和更少迭代次數(shù)的優(yōu)點(diǎn)，而實(shí)際應(yīng)用中可能遇到大樣本空間參數(shù)優(yōu)化求解問題，針對(duì)尋址空間樣本數(shù)增加時(shí)，量子粒子群算法是否依然能夠延續(xù)優(yōu)異的性能，下面依次增加訓(xùn)練集樣本數(shù)，進(jìn)行仿真實(shí)驗(yàn).實(shí)驗(yàn)將訓(xùn)練集樣本數(shù)量依次定為99，135和178.利用QPSO-CSVM算法擬合出函數(shù)模型，進(jìn)行與前面完全一致的實(shí)驗(yàn)，結(jié)果如圖3所示.

圖3 增加訓(xùn)練集樣本數(shù)時(shí)，量子粒子群算法支持向量機(jī)的分類準(zhǔn)確率

分析對(duì)比圖2和圖3中采用量子粒子群算法核函數(shù)的支持向量機(jī)分類準(zhǔn)確率可知，隨著訓(xùn)練集樣本數(shù)由55依次增加大95、130和177過程中，最高分類準(zhǔn)確率與最低分類準(zhǔn)確率差值也逐漸由0.56%升高到1.12%，即隨訓(xùn)練集樣本數(shù)的加大，算法分類準(zhǔn)確率呈下降趨勢(shì)，這表明采用QPSO算法對(duì)核函數(shù)參數(shù)進(jìn)行優(yōu)選時(shí)，種群粒子陷入早熟收斂問題.

3 基于收斂因子改進(jìn)量子粒子群

為了消除QPSO早熟收斂，可將收斂因子應(yīng)用于QPSO，通過收斂因子優(yōu)化調(diào)整PSO中粒子狀態(tài)的更新，提高收斂速度和全局搜索能力[13].收斂因子表達(dá)式如下式(23)所示：

(23)

式中：κ∈[0,1]，φ=φ1+φ2，φ的取值對(duì)于算法的收斂具有至關(guān)重要的作用.通過收斂因子得到粒子速度、位置更新公式如下式(24)所示：

Vi(t+1)=χ(Vi(t)+φ1c1(Pi-Xi(t))+φ2c2(Pg-Xi(t)))
Xi(t+1)=Xi(t)+Vi(t+1)

(24)

式中，pi(t)-φ1c1(Pi-Xi(t))+φ2c2(Pg-Xi(t))為第i個(gè)粒子的局部吸引因子，粒子在全局尋優(yōu)搜索過程中，會(huì)持續(xù)快速的向著局部吸引子靠近.

3.1早熟收斂的評(píng)價(jià)準(zhǔn)則

引入收斂因子克服早熟收斂，可以提高量子粒子群算法優(yōu)化核函數(shù)參數(shù)的效率，因此要進(jìn)行參數(shù)優(yōu)化效果評(píng)價(jià)就必須先定義相應(yīng)的早熟收斂的評(píng)價(jià)準(zhǔn)則[14]：

在QPSO算法尋優(yōu)迭代過程中，當(dāng)?shù)螖?shù)為k次，仍沒有搜索到全局最優(yōu)值，且種尋址空間內(nèi)所有粒子位置和速度都滿足下式(25)：

(25)

式中，e1>0,e2>0i=1，2，…，m；j=1，2，…n.

就判定算法陷入了早熟收斂.

3.2基于收斂因子改進(jìn)量子粒子群算法

3.2.1 基于全新尋址搜索模式克服早熟收斂的優(yōu)化策略

利用QPSO算法進(jìn)行參數(shù)尋優(yōu)求解時(shí)，種群多樣性的減少是造成算法無法準(zhǔn)確搜索到全局最優(yōu)解的重要原因.因此可以采取在算法出現(xiàn)早熟收斂時(shí)，立即重新初始化粒子種群、Pil和Pg，對(duì)種群進(jìn)行重新搜索[15].針對(duì)QPSO算法中粒子速度和位置更新都在每一維進(jìn)行操作，將量子粒子的每一維的幅角都在[-2π,2π)]區(qū)間上進(jìn)行獨(dú)立且均勻分布的初始化操作，以m個(gè)邊長(zhǎng)為r的子空間組成初始化空間，

(26)

式中，j=1，2，…m，θmax=2π，θmin=0.01π.早熟收斂一旦出現(xiàn)，即對(duì)粒子在尋址空間搜索到的最優(yōu)位置重新初始化，使種群在尋優(yōu)空間重新搜索最優(yōu)解，直到滿足收斂條件，判定搜索到全局最優(yōu)解，迭代終止,此為改進(jìn)的量子粒子群算法QPSO1.

3.2.2 基于全干擾交叉模式克服早熟收斂策略

利用量子粒子優(yōu)化求解過程可以采用量子交叉門，根據(jù)每個(gè)量子粒子不同下標(biāo)，對(duì)種群進(jìn)行概率交叉操作，進(jìn)而對(duì)整個(gè)量子粒子種群進(jìn)行重新排列.設(shè)交叉概率為ρc，在迭代過程中，產(chǎn)生隨機(jī)數(shù)r，若r>ρc,則依照表2所示對(duì)種群粒子進(jìn)行交叉操作，否則不進(jìn)行交叉.

表2 量子全干擾交叉

分析表2可知，在進(jìn)行交叉操作時(shí)，整個(gè)粒子種群數(shù)量和數(shù)據(jù)保持不變，僅僅是量子粒子排列順序發(fā)生變化，其變化規(guī)律可歸納為下式(27)所示：

(27)

式中i′和j′分別表示新的量子種群中，粒子新的橫、縱坐標(biāo)，i和j分別表示原量子種群中，粒子的橫、縱坐標(biāo)，n表示染色體種群的縱坐標(biāo)最大值.具體操作為，一旦概率超過設(shè)定值時(shí)，就通過進(jìn)行交叉操作得到新的量子種群.由此得到新的尋優(yōu)算法定義為QPSO2.

3.2.3 兩種改進(jìn)量子粒子群算法的仿真實(shí)驗(yàn)

為了檢驗(yàn)本文所述基于克服早熟收斂策略所產(chǎn)生的核函數(shù)優(yōu)化算法的性能，分別利用QPSO算法和改進(jìn)的QPSO1、QPSO2算法對(duì)Griewank函數(shù)進(jìn)行定義域xi∈(-5.25,5.25)上的最小值點(diǎn)及其對(duì)應(yīng)的函數(shù)值的求解仿真實(shí)驗(yàn)，Griewank函數(shù)的表達(dá)式如下所示

(28)

Griewank函數(shù)在三維空間中的特征如圖4所示，該函數(shù)是一個(gè)多極值函數(shù)，在定義域xi∈(-5.25,5.25)中，具有多個(gè)極大值點(diǎn)和極小值點(diǎn).因此在作用域?qū)υ摵瘮?shù)求解，會(huì)有多個(gè)局部最優(yōu)解，而全局最優(yōu)解為一個(gè)“0”向量.基于此，該函數(shù)可作為檢驗(yàn)算法性能的指標(biāo).

分別采用QPSO算法、QPSO1和QPSO2對(duì)Griewank函數(shù)在10維空間中進(jìn)行50次求解，粒子種群都取20，優(yōu)化迭代上限次數(shù)為2 000次，設(shè)定當(dāng)f(x)≤0.01時(shí)，迭代終止，分析表3所示仿真結(jié)果可知，在50次的仿真過程中，QPSO1和QPSO2算法相較于QPSO算法可以更大概率地求解出最優(yōu)解.表明QPSO1算法和QPSO2算法具有較好的避免早熟收斂的能力，同時(shí)具有更好的搜索能力.進(jìn)一步分析比較算法QPSO1和QPSO2可以發(fā)現(xiàn)，QPSO1算法相對(duì)QPSO2算法有一定的概率可以更快的搜索到最優(yōu)值，而QPSO2算法則能夠搜索到更精準(zhǔn)全局最優(yōu)解，且所用的平均時(shí)間會(huì)相對(duì)較小.

圖4 Griewank函數(shù)三維空間特征

4 基于改進(jìn)QPSO優(yōu)化核函數(shù)參數(shù)的支持向量機(jī)仿真實(shí)驗(yàn)

將QPSO、QPSO1和QPSO2算法應(yīng)用到混合核函數(shù)支持向量機(jī)，分別采用這三種算法對(duì)混合核函數(shù)參數(shù)進(jìn)行尋優(yōu)，利用優(yōu)化參數(shù)的CSVM進(jìn)行和上文相同的紅酒分類實(shí)驗(yàn)，并以支持向量機(jī)最終分類準(zhǔn)確率作為核函數(shù)參數(shù)性能評(píng)價(jià)指標(biāo).

QPSO-CSVM、QPSO1-CSVM以及QPSO2-CSVM的仿真實(shí)驗(yàn)參數(shù)與前文相同，樣本數(shù)分別為55、95、130、178，采用三種不同算法共進(jìn)行20次迭代，得到面對(duì)不同訓(xùn)練集時(shí)的分類能力如圖5(a)、(b)、(c)、(d)所示.分析圖5所示算法分類準(zhǔn)確率可知，首先，當(dāng)增加訓(xùn)練集樣本數(shù)時(shí)，三種算法的分類準(zhǔn)確率都有所提高.而當(dāng)訓(xùn)練集樣本為整個(gè)數(shù)據(jù)集時(shí)，QPSO1-CSVM和QPSO2-CSVM的分類準(zhǔn)確率甚至達(dá)到了100%.其次，分析單獨(dú)一種訓(xùn)練集下三種算法的分類準(zhǔn)確率可知，基于QPSO的CSVM算法的分類準(zhǔn)確率最差的；QPSO2-CSVM算法的分類準(zhǔn)確率最好的，最后，對(duì)比分析基于QPSO1和QPSO2的CSVM分類準(zhǔn)確率結(jié)果可以發(fā)現(xiàn)，采用QPSO1算法的支持向量機(jī)總體具有較好的分類準(zhǔn)確率，但分析整個(gè)20次仿真實(shí)驗(yàn)數(shù)據(jù)，可發(fā)現(xiàn)其分類準(zhǔn)確率并不相同.

綜上分析可知，在對(duì)混合核函數(shù)參數(shù)進(jìn)行尋優(yōu)的過程中，兩種基于改進(jìn)的QPSO算法相較于傳統(tǒng)QPSO算法更容易收斂到全局最優(yōu)解，提高核函數(shù)參數(shù)優(yōu)選效率，優(yōu)化支持向量機(jī)學(xué)習(xí)能力和泛化能力.并且基于QPSO2支持向量機(jī)，相較于基于QPSO1支持向量機(jī)性能更好，說明QPSO2參數(shù)優(yōu)化算法比QPSO1算法參數(shù)尋優(yōu)搜索時(shí)間更短，求解到更優(yōu)核函數(shù).

表3 QPSO、QPSO1、QPSO2仿真結(jié)果

圖5 不同訓(xùn)練集，三種算法的性能對(duì)比

5 結(jié)語(yǔ)

本文提出一種將量子進(jìn)化算法和粒子群算法相結(jié)合的量子粒子群算法，并將其應(yīng)用到支持向量機(jī)參數(shù)優(yōu)化中，該算法發(fā)揮QPSO(量子粒子群算法)的函數(shù)優(yōu)化功能，對(duì)支持向量機(jī)核函數(shù)參數(shù)尋優(yōu)求解，快速準(zhǔn)確地搜尋并求解得到最優(yōu)核函數(shù)，使支持向量機(jī)在小樣本數(shù)集具有更好的性能.

由于傳統(tǒng)量子粒子群算法具有算法發(fā)散和早熟收斂的缺陷，在訓(xùn)練集樣本數(shù)增加時(shí)，核函數(shù)參數(shù)優(yōu)選不能準(zhǔn)確搜索到最優(yōu)解，本文又提出兩種基于收斂因子改進(jìn)量子粒子群算法QPSO1和QPSO2，并將兩種改進(jìn)量子粒子群算法應(yīng)用于的支持向量機(jī)核函數(shù)參數(shù)優(yōu)選，利用基于QPSO1和QPSO2的支持向量機(jī)對(duì)紅酒酒類識(shí)別進(jìn)行了仿真實(shí)驗(yàn)，并與傳統(tǒng)QPSO支持向量機(jī)進(jìn)行了對(duì)比，結(jié)果表明，兩種基于改進(jìn)的QPSO算法相較于傳統(tǒng)QPSO算法更容易收斂到全局最優(yōu)解，提高核函數(shù)參數(shù)優(yōu)選效率，優(yōu)化支持向量機(jī)學(xué)習(xí)能力和泛化能力.并且，基于QPSO2支持向量機(jī)相較于基于QPSO1支持向量機(jī)性能更好，說明QPSO2參數(shù)優(yōu)化算法比QPSO1算法參數(shù)尋優(yōu)搜索時(shí)間更短，求解到更優(yōu)核函數(shù).

[1]Rodger J A. A fuzzy nearest neighbor neural network statistical model for predicting demand for natural gas and energy cost savings in public bulidings[J].Expert Syst，2014,41(4)：1813-1829.

[2]Wang Q,Zhu H,Wu W,et al. Inshore ship detection using high-resoution synthetic aperture radar images based on maximally stable extremal region[J]. Journal of Applied Remote Sensing,2015,9(1):94-95.

[3]高艷云，龐敏.基于最小流形類內(nèi)離散度的支持向量機(jī)[J].計(jì)算機(jī)應(yīng)用研究，2015,32(9):2639-2642.

[4]Singh A K,Shukla V P,Tiwari S,et al. Wavelet based histogram feature descriptors for classification of partially occluded object[J]. International Journal of Intelligent Systems and Applications,2015,7(3):54-61.

[5]單黎黎，張宏軍，王杰，等.一種改進(jìn)粒子群算法的混合核ε -SVM 參數(shù)優(yōu)化及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究，2013,30(6)：1636-1639.

[6]Wang X,P ardalos P M. A survey of support vector machines with uncertainties[J].Annals of Data Science,2015,1(4):293-309.

[7]欒詠紅,劉全.Twin-SVM 和 Twin-KSVC標(biāo)志物檢測(cè)與分類方法[J].計(jì)算機(jī)工程與設(shè)計(jì), 2016,37(12): 3306-3310.

[8]Rani S,Syed D. Categorization of video using viola jones and fisher linear discriminant function[J].Biometrics and Bioinformatics ,2015,7(4):110-113.

[9]Yin S,Ouyang P,Liu L, et al. Fast traffic sign recognition with a rotation invariant binary pattern based feature[J].Sensors,2015,15(1):2161-2180.

[10]Shamshirband S,Petkovic D,Hashim R,et al. An appraisal of wind turbine wake models by adaptive neuro-fuzzy methodology[J].Int J Elect Power Energy Syst,2014,63(5):618-624.

[11]苗超維，秦品樂.基于多分類SVM和Hd的目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016,37(11):3118-3123.

[12]馬家辰，武冠群 ，馬立勇，等.基于細(xì)菌覓食算法和支持向量機(jī)的表情識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì), 2015,36(7): 1881-1885.

[13]蔡世清，周杰.基于支持向量機(jī)的多傳感器數(shù)據(jù)融合算法[J].計(jì)算機(jī)工程與設(shè)計(jì), 2016,37(5): 1352-1356.

[14]丁勝鋒，孫勁光.基于混合模糊隸屬度的模糊雙支持向量機(jī)研究[J].計(jì)算機(jī)應(yīng)用研究，2013,30(2):432-435.

[15]Nouaouria N，Boukadoum M． Improved global-best particle swarm optimization algorithm with mixed-attribute data classification capability[J].Applied Soft Computing，2014，21: 554-567．

ResearchonParameterOptimizationAlgorithmofHybridKernelFunctionSupportVectorMachines

XU Shao-rong

(Department of Cultural Creativity, Fuzhou Polytechnic, Fuzhou Fujian 350108, China)

This paper studies the parameter selection of hybrid kernel function of support vector machines. A new hybrid kernel function support vector machine parameter optimization algorithm is proposed by combining quantum evolutionary algorithm with particle swarm optimization. It puts forward two improved quantum particle swarm optimization algorithm based on convergence factor and avoids the problem of premature convergence to ensure that the quantum particle swarm algorithm can accurately search the global optimal kernel function parameters. Simulation test results show that the optimization algorithm can effectively avoid premature convergence and improve the prediction accuracy of vector machines.

support vector machine; hybrid kernel function; parameter optimization; quantum particle swarm algorithm

1673-2103(2017)05-0020-09

2017-04-06

許少榕(1982-)，女，福州閩侯人，碩士，實(shí)驗(yàn)師.研究方向：計(jì)算機(jī)技術(shù)及實(shí)驗(yàn)室管理.

TP18

A