魯淑霞,蔡蓮香,張羅幻

(河北大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院 河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室,河北 保定 071002)

0 概述

間隔理論[1]由VAPNIK等人于1995年提出,其基于最小間隔最大化的原理,能夠從理論上有效地解釋其他許多學(xué)習(xí)方法的泛化性。在間隔理論的基礎(chǔ)上,文獻(xiàn)[2]提出了一種類(lèi)似于boosting的算法Arc-gv,該算法同樣以最小間隔最大化的方式求解優(yōu)化問(wèn)題,但泛化性能較差。研究人員發(fā)現(xiàn)這種算法雖然充分利用了最小間隔的重要性,但是數(shù)據(jù)的間隔分布并不好。他們認(rèn)為相比于最小間隔,數(shù)據(jù)的間隔分布可能對(duì)泛化性的影響更大,文獻(xiàn)[3]對(duì)其進(jìn)行了理論證明。并且,文獻(xiàn)[4]還將該思想應(yīng)用到傳統(tǒng)支持向量機(jī)(Support Vector Machine,SVM)分類(lèi)中,獲得了更好的分類(lèi)精度和泛化性能,充分說(shuō)明相比傳統(tǒng)的最小間隔最大化的優(yōu)化方法,對(duì)間隔分布進(jìn)行優(yōu)化更加重要。

在現(xiàn)實(shí)的分類(lèi)問(wèn)題中,由于人為或其他因素的影響,數(shù)據(jù)往往會(huì)存在一定的噪聲。如何對(duì)帶有噪聲的數(shù)據(jù)進(jìn)行有效分類(lèi),是一個(gè)值得研究的問(wèn)題。然而,傳統(tǒng)的SVM對(duì)噪聲數(shù)據(jù)不具有很好的魯棒性,這是因?yàn)閭鹘y(tǒng)SVM使用無(wú)界的鉸鏈損失函數(shù),對(duì)于噪聲數(shù)據(jù)會(huì)產(chǎn)生較大的損失值,使SVM的分類(lèi)超平面嚴(yán)重偏離最優(yōu)超平面,影響最終的分類(lèi)效果。于是,許多研究從改進(jìn)損失函數(shù)角度出發(fā),提高SVM對(duì)噪聲數(shù)據(jù)的魯棒性。文獻(xiàn)[5]在鉸鏈損失的基礎(chǔ)上提出了一種截?cái)嗟你q鏈損失,通過(guò)引入一個(gè)小于0的截?cái)鄥?shù)s,使鉸鏈損失有一個(gè)確定的界限,解決了噪聲數(shù)據(jù)帶來(lái)較大損失的問(wèn)題。通過(guò)最大化2個(gè)類(lèi)之間的最小分位數(shù)距離,文獻(xiàn)[6]提出了彈球損失,彈球損失是最大化2個(gè)類(lèi)之間的分位數(shù)間距,而不是最小間距,由此提高了對(duì)屬性噪聲的識(shí)別性,改善了分類(lèi)性能。文獻(xiàn)[6]在此基礎(chǔ)上提出了一種截?cái)嗟膹椙驌p失(truncated pinball loss)。相比于最初的pinball損失,文獻(xiàn)[7]提出的損失函數(shù)增加了兩段水平部分,使得損失函數(shù)的值有一個(gè)固定的上界,降低了噪聲數(shù)據(jù)對(duì)算法性能的影響。

求解建立的SVM模型也是一個(gè)值得研究的問(wèn)題。隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)算法是一階優(yōu)化方法,廣泛應(yīng)用于各種優(yōu)化問(wèn)題中,并衍生出許多優(yōu)秀的算法,如文獻(xiàn)[8]提出的Pegasos算法,該算法在每次迭代中隨機(jī)選擇一個(gè)樣本計(jì)算梯度,并以此代替全梯度。由于通常假設(shè)樣本是獨(dú)立同分布的,從而隨機(jī)抽取單個(gè)樣本的目標(biāo)函數(shù)的梯度是整個(gè)目標(biāo)函數(shù)梯度的無(wú)偏估計(jì),進(jìn)而可用每次迭代僅處理單個(gè)或部分樣本的隨機(jī)優(yōu)化方法來(lái)代替批處理方法,但是該方法存在方差,隨著迭代次數(shù)的增加,方差也逐漸累加,收斂速率不可避免地受到影響。為降低方差的影響,文獻(xiàn)[9]提出了減小方差的隨機(jī)梯度(Stochastic Variance Reduction Gradient,SVRG)下降算法。該算法分為內(nèi)外兩層循環(huán),僅在外層循環(huán)計(jì)算全梯度,降低了計(jì)算量。在內(nèi)層循環(huán)中引入梯度修正項(xiàng),降低了方差對(duì)算法的影響,提高了算法的性能。文獻(xiàn)[10]在SVRG算法的基礎(chǔ)上依據(jù)Nesterov的動(dòng)量加速技巧,提出了快速減小方差的隨機(jī)梯度(Fast Stochastic Variance Reduced Gradient,FSVRG)下降[11]算法。FSVRG是SVRG的一個(gè)加速變種,在每次內(nèi)層迭代中引入了動(dòng)量加速技巧,不僅計(jì)算在當(dāng)前迭代中的梯度值,同時(shí)考慮了上一輪的梯度變化,與SVRG相比提高了算法的收斂速度。此外,在文獻(xiàn)[12]提出的結(jié)構(gòu)凸優(yōu)化問(wèn)題和文獻(xiàn)[13]提出的經(jīng)典的Katyusha算法以及文獻(xiàn)[14]提出的加速隨機(jī)鏡像下降算法中均引入了動(dòng)量加速技巧,且都獲得了較好的性能。

上述所提方法雖然可以有效地降低方差對(duì)算法的影響,但是在每次迭代中均需要計(jì)算梯度,求解梯度困難或者不能求解梯度的模型,會(huì)增加額外的開(kāi)銷(xiāo)。因此,文獻(xiàn)[15]把零階優(yōu)化方法和減小方差策略相結(jié)合,提出一種零階減小方差的隨機(jī)梯度(Zeroth Order-Stochastic Variance Reduced Gradient,ZO-SVRG)下降方法。ZO-SVRG不需要計(jì)算梯度的準(zhǔn)確數(shù)值,而是用函數(shù)值逼近梯度,有效地解決了復(fù)雜模型不能計(jì)算梯度的問(wèn)題,具有較高的實(shí)用性。文獻(xiàn)[16]基于零階優(yōu)化的思想,結(jié)合交替方向乘子法,提出一種在線的零階交替方向乘子算法(ZOO-ADMM)。該算法既避免了梯度的計(jì)算,又利用了交替乘子法能夠處理復(fù)雜結(jié)構(gòu)的優(yōu)勢(shì),經(jīng)過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證說(shuō)明了所提方法的有效性。

為解決傳統(tǒng)SVM對(duì)噪聲敏感的問(wèn)題,本文通過(guò)引入間隔分布和新形式的損失函數(shù),提出一種基于動(dòng)量加速零階減小方差的魯棒支持向量機(jī)(MA-ZOVR)。

1 相關(guān)工作

(1)

1.1 零階減小方差算法

(2)

其中,G(ωt)稱為梯度修正項(xiàng)。

零階梯度估計(jì)用函數(shù)值近似代替,坐標(biāo)梯度估計(jì)如下[15]:

(3)

其中,el表示一個(gè)標(biāo)準(zhǔn)基向量,在第l個(gè)坐標(biāo)處為1,其他坐標(biāo)處為0,μl>0表示光滑參數(shù)。

ZO-SVRG算法如下:

算法1ZO-SVRG算法

輸入外層迭代輪數(shù)S,內(nèi)層迭代次數(shù)T,學(xué)習(xí)率η,光滑參數(shù)μ

1.for s=1,2,…,S

5. for t=0,1,…,T-1

6. 隨機(jī)抽取一個(gè)樣本i,進(jìn)行梯度更新

8. end

10.end

1.2 動(dòng)量加速技巧

文獻(xiàn)[17]指出Nesterov[10]的動(dòng)量加速技巧可以加速隨機(jī)減小方差算法的收斂,能夠使強(qiáng)凸問(wèn)題和一般凸問(wèn)題的收斂速度達(dá)到較高的水平。隨機(jī)減小方差算法均分為內(nèi)外雙重循環(huán),引入動(dòng)量加速技巧后,每次內(nèi)層迭代的梯度由式(4)、式(5)2個(gè)更新規(guī)則構(gòu)成:

(4)

(5)

根據(jù)式(4)計(jì)算當(dāng)前迭代中的梯度變化情況,其中,vt+1為輔助變量,ηs為更新步長(zhǎng)。

式(5)表示,結(jié)合上一輪梯度的結(jié)果,得出本次內(nèi)層迭代最終的梯度更新規(guī)則。其中,ρs表示動(dòng)量權(quán)重系數(shù)。

引入動(dòng)量加速技巧后的梯度更新規(guī)則并不僅僅依賴于當(dāng)前迭代的梯度變化情況,并且考慮了上一輪的最終結(jié)果。所以,計(jì)算當(dāng)前迭代中的梯度時(shí),都會(huì)有一個(gè)之前梯度的作用。如果這次的梯度和上一輪的梯度方向相同,則會(huì)因?yàn)橹暗乃俣壤^續(xù)加速;如果這次的梯度和上一輪的梯度方向相反,則不增加或減少過(guò)多。因此,引入動(dòng)量加速技巧后,會(huì)使梯度在每次的下降過(guò)程中減少擺動(dòng)的幅度,加速算法的收斂。

2 動(dòng)量加速零階減小方差的魯棒SVM

基于文獻(xiàn)[4]的理論證明,在本文中用間隔分布均值代替?zhèn)鹘y(tǒng)的最小間隔,充分考慮每個(gè)樣本的分布情況。間隔分布均值為:

(6)

此外,傳統(tǒng)SVM的損失函數(shù)為鉸鏈損失。但由于鉸鏈函數(shù)無(wú)界性的特點(diǎn),對(duì)于噪聲數(shù)據(jù)會(huì)帶來(lái)較大的損失,使分類(lèi)性能下降。因此,為了降低噪聲數(shù)據(jù)的影響,結(jié)合指數(shù)函數(shù)的結(jié)構(gòu)特點(diǎn),引入一種新形式的損失函數(shù):

(7)

損失函數(shù)曲線如圖1所示。

圖1 損失函數(shù)曲線示意圖Fig.1 Schematic diagram of loss function curve

在圖1中,橫坐標(biāo)表示間隔,即yiωTxi,一般又將其稱為函數(shù)間隔。在SVM的分類(lèi)任務(wù)中,可以通過(guò)函數(shù)間隔的正負(fù)來(lái)判定或表示樣本分類(lèi)的正確性;縱坐標(biāo)表示對(duì)應(yīng)的損失函數(shù)值。下文對(duì)損失函數(shù)進(jìn)行具體的分析:

1)當(dāng)1-yiωTxi=0時(shí),yiωTxi=1>0,樣本正確分類(lèi),對(duì)應(yīng)的損失值為0。

2)當(dāng)1-yiωTxi<0時(shí),yiωTxi>1>0,樣本正確分類(lèi),對(duì)應(yīng)的損失值為0。

3)當(dāng)1-yiωTxi>0時(shí),yiωTxi<1,這時(shí)存在2種情況:

(1)當(dāng)0

(2)當(dāng)yiωTxi<0時(shí),樣本錯(cuò)誤分類(lèi)。

在3)中的2種情況表示的是噪聲數(shù)據(jù)的分類(lèi)狀態(tài)。可以明顯地看出噪聲數(shù)據(jù)的損失值限制在了[0,1]之間,避免了出現(xiàn)噪聲數(shù)據(jù)帶來(lái)過(guò)大損失的情況,從而降低了噪聲數(shù)據(jù)對(duì)分類(lèi)性能的影響。

2.1 線性MA-ZOVR算法

通過(guò)引入間隔分布均值以及新的損失函數(shù),在線性輸入空間建立新的優(yōu)化模型如下:

(8)

對(duì)于優(yōu)化模型的求解,基于零階優(yōu)化減小方差的思想,配合動(dòng)量加速技巧,提出一種基于動(dòng)量加速零階減小方差(MA-ZOVR)算法。

在線性MA-ZOVR算法中,首先對(duì)梯度進(jìn)行估計(jì),改變傳統(tǒng)的梯度計(jì)算方式,通過(guò)式(3)坐標(biāo)梯度估計(jì)法,計(jì)算出函數(shù)值并近似代替梯度。為降低方差對(duì)算法性能的影響,引入了式(2)的梯度修正項(xiàng)。最后結(jié)合動(dòng)量加速技巧,在內(nèi)層迭代中使用式(4)和式(5)進(jìn)行梯度的更新。

線性MA-ZOVR算法如算法2所示。

算法2線性MA-ZOVR算法

輸入外層迭代輪數(shù)S,內(nèi)層迭代次數(shù)T,光滑參數(shù)μ,正則化參數(shù)λ

1.for s=1,2,…,S

6. for t=0,1,…,T-1

7. 隨機(jī)抽取一個(gè)樣本i進(jìn)行梯度更新

10. end for

12. v0=vT

13.end for

2.2 非線性MA-ZOVR算法

在非線性輸入空間,定義如下的優(yōu)化問(wèn)題:

(9)

一般地,在非線性特征空間,優(yōu)化問(wèn)題中φ(xi)的維數(shù)很高,求解非常復(fù)雜。本文通過(guò)表示定理[8,20]對(duì)式(9)進(jìn)行變形:

(10)

其中,α=[α1,α2,…,αn]T,X=[φ(x1),φ(x2),…,φ(xn)]。根據(jù)式(10)可得:

yiωTφ(xi)=yi(Xα)Tφ(xi)=

yiαTXTφ(xi)=yiαTGi

其中,G=XTX表示核矩陣,Gi表示G的第i列,式(8)可以表示為:

(11)

對(duì)于變形后的優(yōu)化問(wèn)題式(11),不再將其轉(zhuǎn)換成對(duì)偶形式,而是使用提出的非線性MA-ZOVR算法直接求解。非線性MA-ZOVR算法和2.1節(jié)提到的線性算法有著相同的框架,不同是非線性MA-ZOVR算法優(yōu)化變量為α引入了核運(yùn)算。

非線性MA-ZOVR算法如算法3所示。

算法3非線性MA-ZOVR算法

輸入外層迭代輪數(shù)S,內(nèi)層迭代次數(shù)T,光滑參數(shù)μ,正則化參數(shù)λ

1.for s=1,2,…,S

6. for t=0,1,…,T-1

7. 隨機(jī)抽取一個(gè)樣本i,進(jìn)行梯度更新

10. end for

12. v0=vT

13.end for

2.3 MA-ZOVR算法的收斂性分析

在給出MA-ZOVR算法的收斂性結(jié)論前,對(duì)MA-ZOVR算法用到的相關(guān)知識(shí)進(jìn)行總結(jié)如下:

1)整體框架:使用零階減小方差優(yōu)化框架,降低了方差的影響,同時(shí)避免了重復(fù)的梯度計(jì)算。

2)梯度計(jì)算方法:使用坐標(biāo)梯度估計(jì)[12,15]。雖然多了O(d)次的函數(shù)查詢(計(jì)算函數(shù)值),但是可以獲得更精確的梯度估計(jì)。

3)梯度更新方法:在減小方差的基礎(chǔ)上結(jié)合動(dòng)量加速技巧[18,21-22],加速算法的收斂。

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)驗(yàn)證本文提出的動(dòng)量加速零階減小方差的魯棒SVM(MA-ZOVR)算法的性能,主要從以下5個(gè)方面進(jìn)行實(shí)驗(yàn):

1)抗噪性實(shí)驗(yàn):進(jìn)行線性MA-ZOVR算法和非線性MA-ZOVR算法的抗噪性實(shí)驗(yàn)。

2)模塊化實(shí)驗(yàn):分別驗(yàn)證新的求解方法和新的優(yōu)化模型的有效性。

3)方差分析實(shí)驗(yàn):針對(duì)非線性情況,對(duì)比本文提出的算法和標(biāo)準(zhǔn)隨機(jī)梯度下降算法(SGD),驗(yàn)證算法減小方差策略的有效性。

4)收斂速度分析實(shí)驗(yàn):針對(duì)非線性情況,對(duì)比本文的動(dòng)量加速零階減小方差算法和原始的零階減小方差(ZO-SVRG)算法,驗(yàn)證算法收斂速度的加速。

5)參數(shù)分析實(shí)驗(yàn):分析實(shí)驗(yàn)中的主要參數(shù)對(duì)算法精度的影響。

實(shí)驗(yàn)程序運(yùn)行環(huán)境為Matlab R2016a。實(shí)驗(yàn)數(shù)據(jù)來(lái)源于KEEL網(wǎng)站(訓(xùn)練集和測(cè)試集的比例均為4∶1),主要分為2個(gè)部分:第1部分為常規(guī)噪聲數(shù)據(jù)集,依次選取含有0%、5%、10%和15%屬性噪聲的數(shù)據(jù)進(jìn)行實(shí)驗(yàn);第2部分為相對(duì)較大規(guī)模的標(biāo)準(zhǔn)數(shù)據(jù)集,為了驗(yàn)證算法的抗噪性,依次對(duì)這幾個(gè)數(shù)據(jù)集加入0%、5%、10%和15%均值為0及方差為0.5的高斯噪聲。實(shí)驗(yàn)數(shù)據(jù)集如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental datasets

3.1 抗噪性實(shí)驗(yàn)

本節(jié)進(jìn)行線性MA-ZOVR算法和非線性MA-ZOVR算法的抗噪性實(shí)驗(yàn)。為了使實(shí)驗(yàn)效果更加明顯,下面給出本文提出的MA-ZOVR算法和傳統(tǒng)的SVM算法(文獻(xiàn)[8]中的Pegasos算法求解優(yōu)化問(wèn)題1以及原始零階減小方差算法,文獻(xiàn)[15]中的ZO-SVRG算法求解優(yōu)化問(wèn)題1)的測(cè)試分類(lèi)結(jié)果。下文所給結(jié)果均為五折交叉實(shí)驗(yàn)的平均值。線性算法的比較結(jié)果如表2所示。

表2 不同線性算法分類(lèi)準(zhǔn)確率比較Table 2 Comparison of classification accuracy of different linear algorithms %

從表2可以看出,在給定的9組不同噪聲比的數(shù)據(jù)集中,本文提出的線性MA-ZOVR算法與線性Pegasos算法以及線性ZO-SVRG算法相比,均具有較高的準(zhǔn)確率,這說(shuō)明了本文提出的算法有效地提高了SVM的抗噪性,具有較高的分類(lèi)精度。另外,從給出的結(jié)果還可以看出,隨著數(shù)據(jù)噪聲百分比的增大,分類(lèi)準(zhǔn)確率隨之降低。

由于非線性MA-ZOVR算法涉及到了核矩陣的運(yùn)算,因此在處理較大規(guī)模數(shù)據(jù)時(shí),運(yùn)行時(shí)間過(guò)長(zhǎng)。為了提高實(shí)驗(yàn)效率,在常規(guī)數(shù)據(jù)集上進(jìn)行非線性MA-ZOVR算法的抗噪性對(duì)比實(shí)驗(yàn)。非線性MA-ZOVR算法、非線性Pegasos算法以及非線性ZO-SVRG算法的實(shí)驗(yàn)結(jié)果如表3所示,其中均使用高斯核函數(shù)。

表3 不同非線性算法分類(lèi)準(zhǔn)確率比較Table 3 Comparison of classification accuracy of different nonlinear algorithms %

從表3可以看出,在給定的不同噪聲比的6組數(shù)據(jù)集中,本文提出的非線性MA-ZOVR算法與非線性Pegasos算法以及非線性ZO-SVRG算法相比,均具有較高的準(zhǔn)確率,這說(shuō)明非線性MA-ZOVR算法的抗噪性能好,能夠改善傳統(tǒng)SVM的不足,降低了噪聲數(shù)據(jù)對(duì)分類(lèi)效果的影響。

3.2 模塊化實(shí)驗(yàn)

本文提出的MA-ZOVR算法包括對(duì)優(yōu)化模型和求解方法2個(gè)方面的改進(jìn)。為更好地說(shuō)明問(wèn)題,下文進(jìn)行模塊化實(shí)驗(yàn)。模塊化實(shí)驗(yàn)1:對(duì)改進(jìn)后的優(yōu)化模型式(7)、式(10)分別使用傳統(tǒng)的隨機(jī)梯度下降的求解方法,記為MA+SGD;模塊化實(shí)驗(yàn)2:對(duì)傳統(tǒng)的SVM模型式(1)使用提出的MA-ZOVR優(yōu)化求解方法(包括線性和非線性),記為SVM+MA。線性算法模塊化實(shí)驗(yàn)結(jié)果如表4所示。

表4 不同線性算法模塊化實(shí)驗(yàn)結(jié)果比較Table 4 Comparison of modularization experimental results of different linear algorithms %

從表4可以看出,在給定的不同噪聲比的9組數(shù)據(jù)集中,本文提出的線性MA-ZOVR算法的精度優(yōu)于實(shí)驗(yàn)1的精度,這說(shuō)明了在線性情況下本文提出的求解方法的有效性。同樣,根據(jù)與實(shí)驗(yàn)2結(jié)果的對(duì)比也可以看出,在線性情況下本文提出的優(yōu)化模型的有效性。非線性MA-ZOVR算法的模塊化實(shí)驗(yàn)結(jié)果如表5所示。從表5可以看出,在給定的不同噪聲比的6組數(shù)據(jù)集中,本文提出的非線性MA-ZOVR算法分類(lèi)精度均高于實(shí)驗(yàn)1和實(shí)驗(yàn)2。按照上述的分析方法,分別驗(yàn)證了在非線性情況下本文提出的求解方法和優(yōu)化模型的有效性。

表5 不同非線性算法模塊化實(shí)驗(yàn)結(jié)果比較Table 5 Comparison of modularization experimental results of different nonlinear algorithms %

3.3 方差分析實(shí)驗(yàn)

本節(jié)進(jìn)行非線性MA-ZOVR算法和傳統(tǒng)隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)算法的方差分析實(shí)驗(yàn)。圖2和圖3為MA-ZOVR算法和傳統(tǒng)SGD算法對(duì)不同噪聲比的wdbc數(shù)據(jù)集進(jìn)行分類(lèi)的方差對(duì)比。

圖2 不同噪聲比(0%,5%)的方差對(duì)比結(jié)果Fig.2 Variance comparison results of different noise ratios(0%,5%)

圖3 不同噪聲比(10%,15%)的方差對(duì)比結(jié)果Fig.3 Variance comparison results of different noise ratios(10%,15%)

從圖2和圖3可以看出,在迭代過(guò)程中對(duì)于不同噪聲比的實(shí)驗(yàn)數(shù)據(jù),隨機(jī)梯度下降算法的方差一直維持一個(gè)比較大的值,下降幅度較小。對(duì)比結(jié)果可以看出,本文提出的MA-ZOVR算法的方差較小,且隨著迭代的進(jìn)行逐步降低,最后減小到一個(gè)接近于零的定值,表明本文算法可以有效地對(duì)方差進(jìn)行修正。

3.4 收斂速度分析實(shí)驗(yàn)

本節(jié)進(jìn)行非線性MA-ZOVR算法和非線性ZO-SVRG算法的收斂速度對(duì)比實(shí)驗(yàn)。圖4和圖5為2種方法對(duì)不同噪聲比的ionosphere數(shù)據(jù)進(jìn)行分類(lèi)的收斂速度對(duì)比。

圖4 不同噪聲比(0%,5%)的目標(biāo)函數(shù)值Fig.4 Objective function values of different noise ratios(0%,5%)

圖5 不同噪聲比(10%,15%)的目標(biāo)函數(shù)值Fig.5 Objective function values of different noise ratios(10%,15%)

從圖4和圖5可以看出,對(duì)于不同百分比的噪聲數(shù)據(jù),使用本文提出的MA-ZOVR算法進(jìn)行求解時(shí),前200次迭代過(guò)程中函數(shù)值逐步減小,在200次以后函數(shù)值逐漸趨近于一個(gè)定值;對(duì)比結(jié)果可以看出,原始的ZO-SVRG算法在前400次迭代中函數(shù)值一直處于減小狀態(tài),直到400次之后函數(shù)值才逐漸趨于穩(wěn)定,表明本文算法通過(guò)引入動(dòng)量加速技巧,有效地提高了算法的收斂速度。

3.5 參數(shù)分析實(shí)驗(yàn)

本節(jié)進(jìn)行線性MA-ZOVR算法和非線性MA-ZOVR算法的參數(shù)分析實(shí)驗(yàn)。對(duì)于線性MA-ZOVR算法主要分析正則化參數(shù)λ對(duì)分類(lèi)精度的影響;對(duì)于非線性MA-ZOVR算法分析正則化參數(shù)λ和高斯核函數(shù)的寬度sigma兩者共同對(duì)分類(lèi)精度的影響。表6、表7給出不同噪聲比的ionosphere數(shù)據(jù)分類(lèi)的準(zhǔn)確率。

表6 線性MA-ZOVR算法分類(lèi)準(zhǔn)確率Table 6 Classification accuracy of linearMA-ZOVR algorithm %

表7 非線性MA-ZOVR算法分類(lèi)準(zhǔn)確率Table 7 Classification accuracy of nonlinearalgorithm MA-ZOVR

對(duì)表6進(jìn)行橫向?qū)Ρ?在固定數(shù)據(jù)噪聲比的條件下,根據(jù)分類(lèi)精度可以看出,當(dāng)參數(shù)λ=0.001時(shí)的分類(lèi)效果較好。

首先對(duì)表7進(jìn)行橫向?qū)Ρ?在固定噪聲比和sigma的條件下,根據(jù)分類(lèi)精度可以看出,對(duì)于給定的不同λ值,分類(lèi)效果差異不大,當(dāng)λ=0.001時(shí)分類(lèi)效果稍好于其他的取值;其次對(duì)表7進(jìn)行縱向?qū)Ρ?在固定噪聲比和λ=0.001的條件下,根據(jù)結(jié)果可得,當(dāng)sigma=1時(shí)分類(lèi)效果較好。因此,當(dāng)參數(shù)sigma=1,λ=0.001時(shí)分類(lèi)性能最優(yōu)。

4 結(jié)束語(yǔ)

為提高SVM的抗噪性,本文提出一種基于動(dòng)量加速零階減小方差的魯棒SVM算法。通過(guò)引入間隔均值項(xiàng)和指數(shù)形式的損失函數(shù)建立新的優(yōu)化模型,并在零階減小方差的基礎(chǔ)上引入動(dòng)量加速技術(shù)求解優(yōu)化模型。實(shí)驗(yàn)結(jié)果表明,該方法能夠有效提高SVM的抗噪性,降低在迭代中累積的方差,同時(shí)加快算法的收斂速度。下一步將在本文研究的基礎(chǔ)上,結(jié)合L1正則化項(xiàng),設(shè)計(jì)新的算法對(duì)帶有噪聲數(shù)據(jù)分類(lèi)問(wèn)題的稀疏化進(jìn)行研究。