郭克友,郭曉麗,王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048)

?

SVM參數(shù)優(yōu)化方法分析與決策

郭克友,郭曉麗,王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京 100048)

針對(duì)支持向量機(jī)應(yīng)用過(guò)程中的參數(shù)選擇問(wèn)題，從UCI數(shù)據(jù)庫(kù)選擇樣本集，分別采用傳統(tǒng)的網(wǎng)格法、智能優(yōu)化算法中的粒子群法及遺傳算法實(shí)現(xiàn)核函數(shù)參數(shù)尋優(yōu)過(guò)程，將所得最佳參數(shù)應(yīng)用到樣本測(cè)試中;在深入分析優(yōu)化過(guò)程中各參數(shù)關(guān)系、參數(shù)對(duì)支持向量機(jī)性能的影響以及傳統(tǒng)與智能優(yōu)化算法的優(yōu)劣后，得出了核函數(shù)優(yōu)化策略;即先使用智能優(yōu)化算法初步確定最優(yōu)解范圍，再結(jié)合網(wǎng)格法進(jìn)行高精度尋優(yōu);實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了參數(shù)優(yōu)化策略的有效性，為擴(kuò)大支持向量機(jī)泛化率、提高應(yīng)用性做了鋪墊。

支持向量機(jī)；核函數(shù)；傳統(tǒng)優(yōu)化算法; 智能優(yōu)化算法

0 引言

支持向量機(jī)(support vector machine, SVM)，可利用核函數(shù)在原空間直接計(jì)算，既能避免“維數(shù)災(zāi)難”，又能高效地解決非線性分類(lèi)問(wèn)題，成為淺層機(jī)器學(xué)習(xí)算法中的優(yōu)秀代表。人工神經(jīng)網(wǎng)絡(luò)和基于規(guī)則的分類(lèi)器是以貪心學(xué)習(xí)為策略對(duì)假設(shè)空間搜索最優(yōu)解，但容易陷入局部解，而且會(huì)出現(xiàn)“過(guò)擬合”[1]。SVM可以表示為凸優(yōu)化問(wèn)題，一般依靠小樣本進(jìn)行訓(xùn)練學(xué)習(xí)，將待分類(lèi)問(wèn)題轉(zhuǎn)化到高維線性可分空間，找到最大分類(lèi)間隔，得到目標(biāo)函數(shù)的全局最優(yōu)解。Vapnik等人[2-3]的研究成果表明，在解決實(shí)際問(wèn)題時(shí)，核函數(shù)的參數(shù)及懲罰因子對(duì)SVM性能影響很大，因此研究參數(shù)選取問(wèn)題具有很大的意義。

1 數(shù)據(jù)準(zhǔn)備

樣本來(lái)自加州大學(xué)歐文分校(University of CaliforniaIrvine)的UCI數(shù)據(jù)庫(kù)[4]。該數(shù)據(jù)庫(kù)中為樣本提供了特征向量，可避免使用者設(shè)計(jì)特征提取算法或因主觀因素而造成的特征選取不當(dāng)問(wèn)題。實(shí)驗(yàn)中將類(lèi)別標(biāo)簽命名為1、2等數(shù)字，樣本按8:2隨機(jī)劃分為訓(xùn)練和測(cè)試樣本。為充分利用給定數(shù)據(jù)集，降低VC維，訓(xùn)練過(guò)程采用交叉驗(yàn)證法的思想。選取的數(shù)據(jù)集信息如表1所示，基本分布如圖1。經(jīng)過(guò)多次試驗(yàn)測(cè)試，得到如下實(shí)驗(yàn)數(shù)據(jù)集選取原則：

表1 UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)部分?jǐn)?shù)據(jù)

1)數(shù)據(jù)集的實(shí)例個(gè)體數(shù)目分布多樣化；

2)實(shí)例的特征向量維數(shù)多樣化，因?yàn)榫S數(shù)對(duì)機(jī)器學(xué)習(xí)訓(xùn)練時(shí)間和模型影響較大；

3)應(yīng)包含二分類(lèi)和多分類(lèi)情況；

4)樣本類(lèi)別應(yīng)均衡分布，針對(duì)不均衡或欠采樣的數(shù)據(jù)，SVM需做其他處理，或難以確定分類(lèi)器性能[5-6]。

圖1 數(shù)據(jù)集樣本分布盒圖

圖1顯示了Abalone、Au和Wine數(shù)據(jù)集的特征向量維數(shù)較多，Abalone、blood-transfusion 和wine數(shù)據(jù)集個(gè)別向量在維度上的值跨度較大。Balance-scale數(shù)據(jù)集分布較為均衡。

2 數(shù)據(jù)預(yù)處理多參數(shù)全局車(chē)道線檢測(cè)模型

2.1 數(shù)據(jù)歸一化

特征向量屬性不同，在數(shù)值分布上的差別會(huì)導(dǎo)致奇異樣本數(shù)據(jù)，引起網(wǎng)絡(luò)不收斂，訓(xùn)練時(shí)間增長(zhǎng)等問(wèn)題，所以需要對(duì)特征進(jìn)行數(shù)量級(jí)統(tǒng)一，即歸一化。國(guó)內(nèi)外學(xué)者的研究表明，在代價(jià)函數(shù)中，奇異樣本數(shù)據(jù)中的大值特征分量對(duì)結(jié)果的影響大于小值特征分量，特征歸一化會(huì)使分類(lèi)器的識(shí)別率提高，加快訓(xùn)練速度[7]，歸一化公式如(1)所示：

(1)

其中：xi為樣本集，yi為歸一化后的值。

考慮每個(gè)維度的量綱不同，且數(shù)量級(jí)差別懸殊，為盡量減少樣本原始信息的丟失，應(yīng)對(duì)每個(gè)維度單獨(dú)歸一化。經(jīng)對(duì)圖1數(shù)據(jù)分布盒形圖分析，將數(shù)據(jù)集按照公式式(1)進(jìn)行歸一化到[-1,1]區(qū)間，歸一化前后數(shù)據(jù)集樣本分布如圖2所示。

圖2 歸一化后數(shù)據(jù)集樣本分布

2.2 PCA數(shù)據(jù)降維

統(tǒng)計(jì)學(xué)上，SVM的基礎(chǔ)是VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理。在保證分類(lèi)精度的同時(shí)，盡量降低機(jī)器學(xué)習(xí)的VC維，才能使模型在給定數(shù)據(jù)上的期望風(fēng)險(xiǎn)得到有效控制。降低VC維重要的手段就是對(duì)樣本的特征向量進(jìn)行降維處理。主成分分析法(principal component analysis, PCA)在最小均方意義下尋找最能代表原始數(shù)據(jù)的投影方向，能保存數(shù)據(jù)內(nèi)在結(jié)構(gòu)和原始信息，已成功運(yùn)用在人臉識(shí)別領(lǐng)域。本文所用實(shí)驗(yàn)數(shù)據(jù)維數(shù)范圍是4～45，根據(jù)一般降維原則，提取90%的主成分。6個(gè)數(shù)據(jù)集的成分占比如圖3所示。

圖3 數(shù)據(jù)集主樣本分布

3 SVM核函數(shù)參數(shù)選取

支持向量機(jī)通過(guò)引進(jìn)內(nèi)積核函數(shù)巧妙的解決了高維空間中的內(nèi)積運(yùn)算，而不同的核函數(shù)選擇也構(gòu)成了不同的支持向量機(jī)。常用的核函數(shù)有：線性核、多項(xiàng)式核、高斯核、二層神經(jīng)收集核，一般高斯核最為有效[8]。設(shè)定2分類(lèi)問(wèn)題，在SVM理論中，若將SVM分類(lèi)超平面記為l(i)，表示其相似度的高斯核函數(shù)記為f(i)，如式(2)。則高斯支持向量機(jī)的目標(biāo)函數(shù)(cost function)F可記為式(3)：

(2)

(3)

3.1 網(wǎng)格算法參數(shù)尋優(yōu)

網(wǎng)格算法屬傳統(tǒng)優(yōu)化算法的一種，其實(shí)質(zhì)是窮舉法，隨著排列組合情況增多，運(yùn)算量急劇增加。但在實(shí)現(xiàn)過(guò)程中，能較好的找到最優(yōu)參數(shù)的分布范圍，即參數(shù)組合的“好區(qū)”[9]，擺脫局部最優(yōu)解，得到一定精度下的全局最優(yōu)解。本文中C和g取值為[2^(-5),2^(-4),…,2^8,2^9 ]，共255個(gè)(C,σ2)組合。數(shù)據(jù)集經(jīng)預(yù)處理后進(jìn)行參數(shù)訓(xùn)練，圖4顯示了數(shù)據(jù)集1 以網(wǎng)格法進(jìn)行參數(shù)尋優(yōu)的過(guò)程，表2匯總了6個(gè)數(shù)據(jù)集的訓(xùn)練情況。

圖4 網(wǎng)格法參數(shù)組的尋優(yōu)過(guò)程

經(jīng)驗(yàn)風(fēng)險(xiǎn)指訓(xùn)練樣本的錯(cuò)誤率，置信風(fēng)險(xiǎn)指測(cè)試樣本的錯(cuò)誤率。結(jié)構(gòu)化風(fēng)險(xiǎn)為經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信風(fēng)險(xiǎn)之和。表2表明，網(wǎng)

表2 網(wǎng)格算法參數(shù)尋優(yōu)實(shí)驗(yàn)數(shù)據(jù)

格算法尋優(yōu)的計(jì)算耗時(shí)與樣本的個(gè)數(shù)、維數(shù)成正相關(guān)。數(shù)據(jù)集2有25 000個(gè)樣本，訓(xùn)練時(shí)間長(zhǎng)，且難以達(dá)到理想的效果。數(shù)據(jù)集2也說(shuō)明置信風(fēng)險(xiǎn)不一定高于經(jīng)驗(yàn)風(fēng)險(xiǎn)，即在訓(xùn)練過(guò)程中不能過(guò)度追求低經(jīng)驗(yàn)風(fēng)險(xiǎn)，以結(jié)構(gòu)化風(fēng)險(xiǎn)最小為原則，合理平衡經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信風(fēng)險(xiǎn)。綜合6組實(shí)驗(yàn)，經(jīng)驗(yàn)風(fēng)險(xiǎn)越低，獲得的置信風(fēng)險(xiǎn)越低。

3.2 粒子群算法參數(shù)尋優(yōu)

通過(guò)對(duì)生物系統(tǒng)和行為動(dòng)態(tài)特征的觀察與模擬，產(chǎn)生了較多的智能優(yōu)化算法或稱(chēng)為啟發(fā)式優(yōu)化算法，包括遺傳算法(genetic alogrithm, GA)、蟻群算法(ant colony opimization, ACO)、禁忌搜索算法(tabu search)、模擬退火算法(simulated annealing, SA)、粒子群算法(particle swarm optimization, PSO)等，其中遺傳算法和粒子群算法較適用于組合優(yōu)化問(wèn)題[10-11]。應(yīng)用粒子群算法進(jìn)行支持向量機(jī)參數(shù)尋優(yōu)，根據(jù)式(4)、(5)進(jìn)行粒子i的第d維速度、位置更新。

(4)

(5)

實(shí)驗(yàn)中粒子個(gè)體位置和速度都是二維向量，即(vi1,vi2)、(xi1,xi2)；速度慣性權(quán)重w=1；學(xué)習(xí)步長(zhǎng)加速度常數(shù)c1=c2=1；種群變化的極值cmax=100,cmin=0.1,gmax=1 000,gmin=0.01。將預(yù)處理后的樣本集進(jìn)行粒子群算法參數(shù)尋優(yōu)，尋優(yōu)過(guò)程中采用三折交叉驗(yàn)證。利用PSO算法優(yōu)化過(guò)程如圖5所示，優(yōu)化所得的結(jié)果如表3所示。

圖5 粒子群算法參數(shù)尋優(yōu)過(guò)程

序號(hào)最佳參數(shù)組(C,g)經(jīng)驗(yàn)風(fēng)險(xiǎn)/%置信風(fēng)險(xiǎn)/%結(jié)構(gòu)化風(fēng)險(xiǎn)/%訓(xùn)練耗時(shí)/s1(25.0763,49.6905)46.475548.712695.18813115.7431982(20.7043,652.1897)66.566.6167133.1167205381.0802143(51.5964,0.01)8.730213.627322.357552.5100174(69.9501,1.227)21.33321.571942.904947.0443235(0.1,1.9503)3.3337.510.8336.0304706(5.2359,0.01)04.96454.96458.745354

實(shí)驗(yàn)結(jié)果表明，在粒子群尋優(yōu)過(guò)程中，代數(shù)較小時(shí)，隨著代數(shù)增加，平均擬合度逐步提升，個(gè)體趨于自我的最優(yōu)狀態(tài)，整體表現(xiàn)出較好的適應(yīng)性。代數(shù)到達(dá)一定數(shù)值后，個(gè)體和群體的適應(yīng)度更新緩慢，種群最佳適應(yīng)度不再變化，個(gè)體最優(yōu)解一致。說(shuō)明粒子群算法在空間搜索時(shí)出現(xiàn)了停滯，容易陷入局部最優(yōu)解。6組實(shí)驗(yàn)數(shù)據(jù)表明，隨著樣本數(shù)量的增加，粒子群算法收斂速度緩慢，算法的時(shí)間復(fù)雜度為O(n2)，受樣本影響大。

3.3 遺傳算法參數(shù)尋優(yōu)

在尋優(yōu)過(guò)程中，最優(yōu)參數(shù)組具有不確定性，當(dāng)窮舉范圍較大時(shí)，計(jì)算量的劇增為尋優(yōu)帶來(lái)更多不確定因素。對(duì)這類(lèi)多項(xiàng)式復(fù)雜程度的非確定性問(wèn)題(non-deterministic polynomial, NP)搜索方法中較有名的就是遺傳算法(genetic algorithm, GA)[14]。此外該算法對(duì)適應(yīng)度函數(shù)無(wú)解析性質(zhì)要求，且可得到全局最優(yōu)解。按照Dariwin進(jìn)化論中生物進(jìn)化過(guò)程設(shè)定種群，并對(duì)個(gè)體進(jìn)行二進(jìn)制或格雷碼形式基因編碼。根據(jù)設(shè)定的尋優(yōu)目標(biāo)，得到個(gè)體適應(yīng)度，再經(jīng)過(guò)基因選定父代，通過(guò)父代的交叉或變異，產(chǎn)生新個(gè)體，最終達(dá)到尋優(yōu)的目的。該啟發(fā)式搜索算法采用輪盤(pán)賭法(roulette wheel selection)，個(gè)體被選中的概率正比于適應(yīng)度，逐步淘汰適應(yīng)度低者。在由M個(gè)個(gè)體組成的群體中，設(shè)個(gè)體的適應(yīng)度設(shè)為fi，對(duì)應(yīng)的遺傳給新一代的概率P(xi)如式(6)，累計(jì)概率qi如式(7)。

(6)

(7)

遺傳算法的參數(shù)設(shè)置一般依據(jù)經(jīng)驗(yàn)進(jìn)行，不同的參數(shù)組合對(duì)其性能影響較大，其中種群個(gè)數(shù)、遺傳代數(shù)、交叉率、變異率都會(huì)影響解空間搜索的深度和廣度。本文根據(jù)以往經(jīng)驗(yàn)設(shè)置種群規(guī)模pop=20，最大遺傳代數(shù)為200。為保證個(gè)體在有限的區(qū)域進(jìn)行最優(yōu)解搜索，設(shè)定參數(shù)c的變化范圍為[0,100]，參數(shù)g的變化范圍為[0,1 000]，交叉率為0.9，變異率為0.1，編碼長(zhǎng)度為20，將預(yù)處理后的樣本集進(jìn)行遺傳算法參數(shù)尋優(yōu)，尋優(yōu)過(guò)程中采用三折交叉驗(yàn)證。利用GA算法優(yōu)化過(guò)程如圖6所示，訓(xùn)練所得結(jié)果如表4。

圖6 遺傳算法參數(shù)尋優(yōu)過(guò)程

序號(hào)最佳參數(shù)組(C,g)經(jīng)驗(yàn)風(fēng)險(xiǎn)/%置信風(fēng)險(xiǎn)/%結(jié)構(gòu)化風(fēng)險(xiǎn)/%訓(xùn)練耗時(shí)/s1(11.5126,25.4269)41.696547.335389.03181964.5455452(*,*)****3(0.2944,2.1315)7.14298.617215.760137.3132134(2.5928,729.3432)21.333324.414745.74857.7599485(0.0052452,2.2049)07.57.52.3790516(6.288,0.15831)07.09227.09223.432706

由表4可看出在遺傳算法中，隨著代數(shù)的增加，遺傳算法過(guò)程能實(shí)現(xiàn)優(yōu)勝劣汰，收斂到全局最優(yōu)解。實(shí)驗(yàn)中，數(shù)據(jù)集2在經(jīng)歷97小時(shí)的訓(xùn)練后仍未得到理想模型。數(shù)據(jù)集3的經(jīng)驗(yàn)風(fēng)險(xiǎn)率低于置信風(fēng)險(xiǎn)率。大部分?jǐn)?shù)據(jù)集在迭代20次后達(dá)到最優(yōu)，但數(shù)據(jù)集5經(jīng)過(guò)了62次迭代，表明GA的尋優(yōu)能力受數(shù)據(jù)分布和規(guī)模影響。數(shù)據(jù)集2的尋優(yōu)過(guò)程異常緩慢，其原因是算法中的隨機(jī)變異和交叉率影響了個(gè)體的品質(zhì)，在有限的進(jìn)化代數(shù)中失去了尋優(yōu)能力。以數(shù)據(jù)集6為例，遺傳代數(shù)為3時(shí)達(dá)到了最優(yōu)解，但因交叉和變異過(guò)程的進(jìn)行，雖群體平均適應(yīng)度逐步提升，但函數(shù)失去了收斂能力，只能依賴(lài)代數(shù)增加，逐漸收斂。故應(yīng)適度的加入保護(hù)精英主義思想，保證當(dāng)前最優(yōu)解不參加變異，避免全局最優(yōu)解被破壞。

3.4 實(shí)驗(yàn)分析

3.4.1 優(yōu)化算法分析與應(yīng)用策略

對(duì)比三種算法的最優(yōu)解和尋優(yōu)過(guò)程可知傳統(tǒng)的迭代算法適用于小數(shù)據(jù)計(jì)算。數(shù)據(jù)量增大時(shí)，算法從設(shè)定的初始點(diǎn)開(kāi)始，難以實(shí)現(xiàn)并行、網(wǎng)絡(luò)計(jì)算，且因針對(duì)二維參數(shù)組尋優(yōu)，算法復(fù)雜度為O(n2)，窮舉過(guò)程時(shí)間頻度高，計(jì)算效率低。網(wǎng)格算法的優(yōu)點(diǎn)體現(xiàn)在對(duì)“壞數(shù)據(jù)”——數(shù)據(jù)集2的處理上，樣本分類(lèi)正確率比智能算法高30%。網(wǎng)格算法以時(shí)間和空間復(fù)雜度為代價(jià)，可以在規(guī)定的解空間內(nèi)搜索到全局最優(yōu)解，但精度嚴(yán)重依賴(lài)所設(shè)定的步長(zhǎng)，解空間的設(shè)置依賴(lài)初始值的選取，故需在時(shí)間、精度以及空間做出權(quán)衡。

在SVM參數(shù)尋優(yōu)過(guò)程中，PSO相較于GA，收斂時(shí)間較短但置信風(fēng)險(xiǎn)高，即快速收斂是以犧牲最優(yōu)解的精度為代價(jià)。PSO實(shí)現(xiàn)較為簡(jiǎn)單，GA算法中既要保證種群的多樣性，維持一定的交叉率和變異率，也要對(duì)適應(yīng)度高的個(gè)體進(jìn)行精英保護(hù)。本文所用的GA算法，對(duì)并行機(jī)制和網(wǎng)絡(luò)反饋信息利用不充分，導(dǎo)致數(shù)據(jù)集5的收斂速度較慢。終止進(jìn)化條件應(yīng)靈活設(shè)置，避免數(shù)據(jù)集6在經(jīng)驗(yàn)風(fēng)險(xiǎn)為0后，繼續(xù)進(jìn)化。

實(shí)驗(yàn)中，PSO和GA的算法復(fù)雜度分別為O(n^2)、O(log2n)。與傳統(tǒng)的網(wǎng)格法比較，這兩種智能算法表現(xiàn)出了極高的學(xué)習(xí)性能，有良好的全局搜索能力及并行性，可進(jìn)行快速分布式計(jì)算。給定的參數(shù)組范圍c=[0,100],g=[0,1 000]，計(jì)算次數(shù)遠(yuǎn)多于網(wǎng)格算法的225次，但耗時(shí)與網(wǎng)格算法相當(dāng)。智能算法的缺陷是過(guò)分依賴(lài)初始化種群的規(guī)模、迭代次數(shù)及變異率等參數(shù)，且無(wú)嚴(yán)格的參數(shù)設(shè)置原則，嚴(yán)重依賴(lài)于經(jīng)驗(yàn)。由于訓(xùn)練過(guò)程中的變異和選擇過(guò)程具有隨機(jī)性，實(shí)驗(yàn)結(jié)果難以重現(xiàn)。故在尋優(yōu)過(guò)程中，可以使用智能算法進(jìn)行最優(yōu)解范圍初步確定，以此確定解空間的初始值，再使用網(wǎng)格法進(jìn)行高精度運(yùn)算。

3.4.2 參數(shù)對(duì)SVM性能的影響

綜合訓(xùn)練結(jié)果，訓(xùn)練樣本對(duì)SVM的性能有較大的影響。數(shù)據(jù)集5、6分布均衡，個(gè)數(shù)適中，不同的優(yōu)化算法都能得到較穩(wěn)定的最優(yōu)參數(shù)組合，得到較高的泛化機(jī)器。數(shù)據(jù)集3、4的數(shù)據(jù)分布不均勻，效果稍差。三種方法對(duì)數(shù)據(jù)集2的處理，都沒(méi)有得到較理想的效果，且尋優(yōu)時(shí)間長(zhǎng)，過(guò)程緩慢，分析有以下三種原因：1)該數(shù)據(jù)的規(guī)模不適合選擇支持向量機(jī)，應(yīng)嘗試神經(jīng)網(wǎng)絡(luò)、弱分類(lèi)器級(jí)聯(lián)等方法；2)高斯核函數(shù)對(duì)該數(shù)據(jù)不適用，可選擇多項(xiàng)式核函數(shù)或二層神經(jīng)收集核函數(shù)；3)本文直接進(jìn)行了數(shù)學(xué)機(jī)械式歸一化與降維，忽略了物理意義，應(yīng)嘗試針對(duì)特征向量的物理意義，做不同的預(yù)處理，以期達(dá)到理想的訓(xùn)練模型。

目標(biāo)函數(shù)式(2)中訓(xùn)練樣本誤差項(xiàng)的懲罰系數(shù)C，控制著使分類(lèi)間隔最大且錯(cuò)誤率最小的折中，在確定的特征空間中調(diào)節(jié)學(xué)習(xí)機(jī)器的置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)的比例；而高斯函數(shù)的方差系數(shù)σ2，主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度。通過(guò)網(wǎng)格算法可以看出，隨著σ2的增大，分類(lèi)效果會(huì)變差。但為追求最高適應(yīng)度，使σ2不能減小超過(guò)臨界點(diǎn)(即最優(yōu)解)，否則帶來(lái)嚴(yán)重的過(guò)擬合問(wèn)題，使得經(jīng)驗(yàn)風(fēng)險(xiǎn)概率與置信風(fēng)險(xiǎn)概率差距懸殊。實(shí)驗(yàn)數(shù)據(jù)也說(shuō)明SVM有較高的獨(dú)立性，針對(duì)不同的數(shù)據(jù)集，最優(yōu)參數(shù)不同，不具有泛化性。

4 結(jié)語(yǔ)

本文利用傳統(tǒng)和智能優(yōu)化算法對(duì) SVM應(yīng)用過(guò)程中的核函數(shù)參數(shù)組(C,σ2)進(jìn)行優(yōu)化。在對(duì)原始數(shù)據(jù)進(jìn)行歸一化和降維后，分別采取了網(wǎng)格法、粒子群法和遺傳算法實(shí)現(xiàn)參數(shù)組尋優(yōu)過(guò)程，并分析了 (C,σ2)對(duì)SVM泛化性能的影響。在應(yīng)用SVM時(shí)，為加快收斂速度、提高最優(yōu)解精度，應(yīng)采取優(yōu)化算法混合的策略，利用智能算法進(jìn)行初步最優(yōu)解定位，然后采用網(wǎng)格算法進(jìn)行高精度最優(yōu)解的確定，可以得到性能較好的支持向量機(jī)模型。

[1] Vapnik V. The nature of statistical learning theory[M]. Springer Science & Business Media, 2013.

[2] Vapnik V N, Vapnik V. Statistical learning theory[M]. New York: Wiley, 1998.

[3] Chapelle O, Vapnik V, Bousquet O, et al. Choosing multiple parameters for support vector machines[J]. Machine learning, 2002, 46(1-3): 131-159.

[4] University of California-Irvine． UCI Machine Learning Repository.http://archive.ics.uci.edu/ml/datasets.html.2015-04-11.

[5] Eitrich T, Lang B. Parallel tuning of support vector machine learning parameters for large and unbalanced data sets[M].Springer Berlin Heidelberg, 2005: 253-264.

[6] He H, Garcia E A. Learning from imbalanced data[J]. Knowledge and Data Engineering, IEEE Transactions on, 2009, 21(9): 1263-1284.

[7] Zhang Z, Guo H. Research on Fault Diagnosis of Diesel Engine Based on PSO-SVM[A].Proceedings of the 6th International Asia Conference on Industrial Engineering and Management Innovation[C]. Atlantis Press, 2016: 509-517.

[8] Smits G F, Jordaan E M. Improved SVM regression using mixtures of kernels[A]. 2002. IJCNN'02.Proceedings of the 2002 International Joint Conference on IEEE[C]. 2002, 3: 2785-2790.

[9] Keerthi S S, Lin C J. Asymptotic behaviors of support vector machines with Gaussian kernel[J]. Neural computation, 2003, 15(7): 1667-1689.

[10] Duan S M, Mao J L, Li J L, et al. Design Implementation and Application of Swarm Intelligence Algorithm Optimization Function Simulation Platform[A].Software Engineering and Information Technology: Proceedings of the 2015 International Conference on Software Engineering and Information Technology (SEIT2015)[C]. 2016: 196-203.

[11] Yu S, Zhang J, Zheng S, et al. Provincial carbon intensity abatement potential estimation in China: a PSO-GA-optimized multi-factor environmental learning curve method[J]. Energy Policy, 2015, 77: 46-55.

[12] Shi Y, Eberhart R C. Empirical study of particle swarm optimization[A]. CEC 99.Proceedings of the 1999 Congress on Evolutionary Computation[C].IEEE, 1999, 3.

[13] Rao B J, Babu M S P. Ongole Breed Cattle Health Expert Advisory System Using Parallel Particle Swarm Optimization Algorithm[J]. 2014.

[14] Yang C, Xu X, Han J, et al. Energy efficiency-based device-to-device uplink resource allocation with multiple resource reusing[J]. Electronics Letters, 2015, 51(3): 293-294.

Analysis and Strategy for Parameter OptimizationMethodsof SVM

Guo Keyou, Guo Xiaoli, Wang Yiwei

(School of Material and Mechanical Engineering, Beijing Technology and Business University，Beijing 100048，China)

To selectparameters of support vector machine (SVM) during application, we choose sample sets from UCI database. TheparametersoptimizationofSVM with kernel function is achieved throughtraditional grid method, particle swarm optimization algorithmand genetic algorithm inintelligentoptimization algorithms. And the optimum parameters are applied to testingsamples. The kernel function optimization strategy is obtained after athorough analysis of the relationship between parameters, the influence of parameters on the performance of SVMand the pros and cons of both traditional and intelligent optimization algorithms. The users should use intelligent optimization algorithm preliminarily to make sure the scope ofparameters, and couple it with grid method to obtain a high degree of accuracy.Experimental datas verify the effectiveness of the strategy, which expandsthe generalization and application ofSVM.

support vector machine; kernel function; traditionaloptimization algorithms; intelligentoptimization algorithms

2016-03-24；

2016-04-21。

交通運(yùn)輸部信息化科技項(xiàng)目(2012-364-835-110)；北京工商大學(xué)科研能力計(jì)劃項(xiàng)目。

郭克友(1975-) ，男，黑龍江省齊齊哈爾市人，博士，副教授，主要從事數(shù)字圖像處理，模式識(shí)別，智能交通方向的研究。

1671-4598(2016)06-0255-05

10.16526/j.cnki.11-4762/tp.2016.06.070

TP391

A