李亞微，高興寶

（陜西師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，陜西西安710119）

光滑支持向量機(jī)模型及算法比較

李亞微，高興寶＊

（陜西師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，陜西西安710119）

光滑支持向量機(jī)（SSVM）可以用牛頓法等快速算法求解，典型的光滑函數(shù)有sigmoid函數(shù)的積分函數(shù)、多項(xiàng)式函數(shù)、插值函數(shù)和樣條函數(shù)。本文從理論和數(shù)值實(shí)驗(yàn)兩個(gè)方面比較研究了這些光滑函數(shù)逼近正號函數(shù)的精度及SSVM模型的常用求解算法Newton－Armijo法、BFGS－Armijo法和Newton－PCG法的收斂速度。研究表明，光滑函數(shù)越逼近正號函數(shù)，解的精度越高，而訓(xùn)練時(shí)間也明顯增加；Newton－Armijo法的收斂速度慢于后兩種方法，而Newton－PCG法收斂速度最快。

光滑支持向量機(jī)；光滑函數(shù)；Newton－Armijo算法；BFGS－Armijo算法；Newton－PCG算法

支持向量機(jī)（Support Vector Machine，SVM）是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法［1－2］，具有全局最優(yōu)、適應(yīng)性強(qiáng)、推廣能力強(qiáng)以及解的稀疏性等優(yōu)點(diǎn)，能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等實(shí)際應(yīng)用中的難題，從而廣泛應(yīng)用于模式識別、回歸估計(jì)、函數(shù)逼近以及密度估計(jì)等領(lǐng)域［1－3］。根據(jù)適用范圍的不同，可將SVM分為線性SVM和非線性SVM。線性SVM是尋找一個(gè)能正確區(qū)分兩類樣本的線性判別函數(shù)，且使兩類樣本之間的間隔最大，它僅適用于線性可分的問題。當(dāng)問題非線性可分時(shí)，通過非線性變換將輸入空間的樣本變換到某個(gè)高維的特征空間（線性可分），再在特征空間中進(jìn)行線性處理。由于非線性變換未知且特征空間的維數(shù)很高（甚至無窮）［4］，文獻(xiàn)［5］利用核函數(shù)，繞過特征空間，直接在輸入空間上求解，但有時(shí)并不能將所有樣本都正確分類。文獻(xiàn)［6］提出軟間隔的概念，引入非負(fù)松弛變量，希望在錯(cuò)誤最小的情況下將樣本分離，并使分離間隔最大。求解模型時(shí)，根據(jù)對偶理論，目標(biāo)函數(shù)必須是凸函數(shù)。文獻(xiàn)［7］提出了廣義支持向量機(jī)（Generalized Support Vector Machine，GSVM），將模型（見下文（3）式）中的二次項(xiàng)看作函數(shù)f：Rl→R，只要f是分段線性或二次下有界函數(shù)，相應(yīng)的最優(yōu)化問題就有解。將目標(biāo)函數(shù)進(jìn)行了推廣，但模型仍然是約束優(yōu)化問題。文獻(xiàn)［8］提出了光滑支持向量機(jī)（Smoothing Support Vector Machine，SSVM），將模型從約束凸優(yōu)化問題改進(jìn)為無約束強(qiáng)凸優(yōu)化問題。雖然無約束優(yōu)化問題的求解比較快，但對于大、中規(guī)模問題求解所需時(shí)間也需要改進(jìn)，且判別函數(shù)需保存的信息太多。文獻(xiàn)［9］提出了RSVM（Reduced Support Vector Machine），從全部訓(xùn)練樣本中隨機(jī)選擇較小子集作為訓(xùn)練樣本，然后用GSVM中的方法求解優(yōu)化問題得到分類面。減少了判別函數(shù)所需信息，但問題求解時(shí)間仍需縮短。文獻(xiàn)［10］提出了PSVM（Proximal Support Vector Machine），用鄰近平面代替類空間，只求解線性等式系統(tǒng)，縮短了求解時(shí)間。

將不等式約束轉(zhuǎn)化為等式約束并引入到目標(biāo)函數(shù)中，從而將約束問題轉(zhuǎn)化為無約束強(qiáng)凸問題，但目標(biāo)函數(shù)非二次可微，不能采用大規(guī)模問題常用的牛頓法求解。為此，將目標(biāo)函數(shù)光滑化為SSVM。典型的光滑函數(shù)有sigmoid函數(shù)的積分函數(shù)［7］、多項(xiàng)式函數(shù)［11－12］、插值函數(shù)［13－14］和樣條函數(shù)［15－17］等。本文研究這些光滑函數(shù)逼近正號函數(shù)的精度，SSVM模型的常用求解算法Newton－Armijo法、BFGSArmijo法和Newton－PCG法的收斂速度，并通過數(shù)值實(shí)驗(yàn)進(jìn)行比較分析。

1 光滑支持向量機(jī)SSVM

設(shè)訓(xùn)練集T＝｛（x1，y1），…，（xl，yl）｝，xi∈Rn為樣本點(diǎn)，yi∈｛－1，1｝為對應(yīng)的類標(biāo)記，一般的SVM模型為優(yōu)化問題

其中C＞0稱為懲罰因子（表示對錯(cuò)誤的懲罰程度），φ（·）是非線性變換，ξ＝（ξ1，ξ2，…，ξl）T是非負(fù)松弛變量，w∈Rn，b∈R分別是線性判別函數(shù)的法向量和截距。由K－K－T條件知（αi為 Lagrange乘子），因此通過求解問題（1）的對偶問題

可獲得解，從而得到分類函數(shù)

其中α＊i為問題（2）的最優(yōu)解，核函數(shù)K（xi，x）＝（φ（xi），φ（x）），b＊＝φ（xi）））。當(dāng)K（xi，x）＝（xi，x）時(shí)，問題（1）為線性SVM，否則為非線性SVM。

令M＝（x1，x2，…，xl）T，xi＝（xi1，xi2，…，xin）（i＝1，2，…，l），e＝ones（l，1），D＝diag（y1，y2，…，yl），H＝DK（M，MT）D，則問題（1）可寫為

對任何核函數(shù)K，問題（3）都是凸二次規(guī)劃［7］。因此，可取H＝I，且也用b衡量分類間隔（2／‖（w，b）‖2），這樣在對偶問題中b＝－eTDα［18］，同時(shí)讓松弛變量ξTξ最小，則問題（3）轉(zhuǎn)化為

由約束條件知，ξ＝（e－D（K（M，MT）Dα+ eb））+（非光滑）。將其代入問題（4），得如下的強(qiáng)凸無約束優(yōu)化問題：

有唯一解。由于（5）式中的目標(biāo)函數(shù)非二次可微，不能用牛頓法求解，故將函數(shù)（e－D（K（M，MT）Dα+ eb））+光滑化，即將正號函數(shù)（·）+光滑化。

用光滑函數(shù)p（r，k）（k為光滑因子，p（r，k）＝（p（r1，k），p（r2，k），…，p（rn，k））T）近似r+，則得光滑支持向量機(jī)SSVM

用不同的光滑函數(shù)逼近正號函數(shù)（·）+可得不同的SSVM模型，典型的光滑函數(shù)有sigmoid函數(shù)的積分函數(shù)、多項(xiàng)式函數(shù)、插值函數(shù)和樣條函數(shù)等。

2 光滑函數(shù)

由于每一維的光滑情況一致，這里考慮一維的光滑。?x∈R，正號函數(shù)，僅在x＝0處不可微，因而只考慮x＝0附近，即｜x｜＜ρ（ρ＞0）時(shí)的近似。光滑函數(shù)p（x，k）越逼近正號函數(shù)x+，問題（7）的解ˉz就越逼近問題（6）的解z。

2.1 sigmoid函數(shù)的積分函數(shù)

2.2 多項(xiàng)式函數(shù)

文獻(xiàn)［11］提出用分段多項(xiàng)式函數(shù)

和

式中n為正整數(shù)。當(dāng)n＝1、2時(shí)，pn（x，k）分別為（8）、（9）式所示光滑函數(shù)。隨著n的增大，pn（x，k）越逼近x+。雖然pn（x，k）可以滿足任意階光滑且可以達(dá)到任意給定的逼近精度，但n愈大Hessian陣求解愈困難，實(shí)際中常取n＝2。

2.3 插值函數(shù)

文獻(xiàn)［13］用插值的方法給出了一類光滑函數(shù)的一個(gè)遞推公式，在一個(gè)包含x＝0的對稱區(qū)間），把和看成兩個(gè)插值節(jié)點(diǎn)，插值得d階光滑（d為任意正整數(shù)）的插值函數(shù)pd（x，k）近似x+。當(dāng)d＝1、2時(shí)，pd（x，k）分別為（8）、（9）式所示光滑函數(shù)，d＝3、4時(shí)，pd（x，k）分別為n＝3、4時(shí)的。這個(gè)遞推公式雖然理論上可行，但實(shí)際應(yīng)用中pd（x，k）的求解過程非常繁瑣。

在文獻(xiàn)［13］的基礎(chǔ)上，文獻(xiàn)［14］提出利用Newton－Hermite插值方法光滑化x+。在這個(gè)方法中，插值函數(shù)

的計(jì)算轉(zhuǎn)化為差商矩陣A第一行元素A1j的計(jì)算，而A1j可由差商矩陣A第一列元素及副對角線元素根據(jù)公式得到，第一列元素Ai1和副對角線上的元素分別為1，2，…，d+1；Aid+2－i＝0，i＝1，2，…，d。當(dāng)d＝1、2、3、4時(shí)，pd（x，k）分別為n＝1、2、3、4時(shí)的pn（x，k）。這個(gè)方法簡化了文獻(xiàn)［13］中pd（x，k）的求解過程。

2.4 樣條函數(shù)

文獻(xiàn)［15］構(gòu)造了一個(gè)滿足二階光滑條件的三次樣條函數(shù)

作為光滑函數(shù)，其逼近精度比p1（x，k）、p2（x，k）高，。文獻(xiàn)［16］通過廣義三彎矩法構(gòu)造新的樣條函數(shù)

和

文獻(xiàn)［17］給出兩個(gè)新的樣條函數(shù)

和

綜上可知，在x＝0附近各個(gè)光滑函數(shù)與正號函數(shù)的逼近程度按p0（x，k）、p1（x，k）、p2（x，k）、s1（x，k）、p3（x，k）、s2（x，k）、p4（x，k）、s3（x，k）、φ1（x，k）、φ2（x，k）的順序逐漸提高，如表1所示。光滑函數(shù)的逼近精度越高，光滑支持向量機(jī)越收斂于原來的模型，其分類性能越好。但是，隨著精度的提高，光滑函數(shù)復(fù)雜了。這使得用梯度類算法求解時(shí)，Hessian陣不容易求解。能不能找到逼近精度好且Hessian陣較容易得到的光滑函數(shù)？可以考慮

表1 光滑函數(shù)的逼近程度和最優(yōu)光滑因子Tab.1 The approximate accuracy of smooth function and the optimal smoothing factor

2.5 光滑因子

SSVM模型（7）的最優(yōu)解在光滑因子k→∞時(shí)收斂于原模型（6）的最優(yōu)解，但在實(shí)際求解時(shí)k的取值往往是有限的，那么k究竟取多大才能滿足要求？為此，引入最優(yōu)光滑因子的概念。

定義1 對任意給定的l個(gè)訓(xùn)練樣本，任意給定的SSVM模型（7）的最優(yōu)解與原模型（6）的最優(yōu)解z的逼近精度ε，稱使得成立的最小光滑因子為最優(yōu)光滑因子，記為kopt（l，ε）。

由定義1知，只要光滑因子k≥kopt（l，ε），則SSVM的解就滿足精度要求。若φ2（x，k）作為光滑函數(shù)，此時(shí)，要，只需，則。其余光滑函數(shù)的最優(yōu)光滑因子，如表1所示。

3 SSVM的求解算法

SSVM模型是具有光滑性和強(qiáng)凸性的無約束優(yōu)化問題，可用梯度類快速優(yōu)化算法求解，常用的算法有Newton－Armijo法、BFGS－Armijo法和Newton－PCG法。本節(jié)比較這三種算法的性能。先介紹符號：問題（6）的目標(biāo)函數(shù)梯度，將其光滑化為為k取定值時(shí)的p（r，k）），Hessian陣，其中）；問題（7）的目標(biāo)函數(shù)梯度CHTp（r）p′（r），Hessian陣CHTΛp（z）H，其中p（r1）p″（r1），…，（p′（rm））2+p（rm）p″（rm））。

3.1 Newton－Armijo算法

Newton－Armijo算法是Newton法的改進(jìn)，其搜索方向?yàn)镹ewton下降方向，搜索步長為Armijo步長。這里主要討論兩種情況：①一般Newton－Armijo算法：直接用Newton－Armijo算法求解問題（7）；②改進(jìn)的Newton－Armijo算法：將問題（6）的目標(biāo)函數(shù)梯度光滑化，令其等于零，然后用Newton－Armijo算法求解該方程。

3.1.1 一般Newton－Armijo算法 Newton下降方向dj由方程Gjdj＝－gj求得，此方法的優(yōu)點(diǎn)是收斂速度快，而且由于使用了Armijo一維搜索，不會(huì)出現(xiàn)經(jīng)典Newton法中目標(biāo)函數(shù)值增大的迭代［2021］，其具體步驟如下：

步驟2 計(jì)算gj。若‖gj‖≤ε，則停止；否則轉(zhuǎn)Step 3；

步驟3 計(jì)算Hessian陣Gj，根據(jù)方程Gjdj＝－gj求dj；

步驟4 （Armijo線搜索）選取λj＝max｛1，2－1，2－2，…｝使得

該算法每次迭代需先計(jì)算Hessian陣Gj，再確定搜索方向，工作量相當(dāng)大且Hessian的計(jì)算較復(fù)雜。

3.1.2 改進(jìn)Newton－Armijo算法 將問題（6）中目標(biāo)函數(shù)的梯度▽f（z）光滑為Gp（z），令Gp（z）＝0，然后求解該方程。由于 ▽Gp（z）中diag（p′（r1），p′（r2），…，p′（rm））比 ▽2fp（z）中（p′（rm））2+p（rm）p″（rm））簡單，因而這個(gè)方法的速度快［22］。具體的步驟如下：

步驟2 計(jì)算gj＝Gp（zj）。若‖gj‖≤ε，則停止；否則轉(zhuǎn)Step 3；步驟3 根據(jù)方程▽Gp（zj）dj＝－gj求dj；步驟4 （Armijo線搜索）選取λj＝max｛1，2－1，2－2，…｝使得

3.2 BFGS－Armijo法

BFGS算法是變尺度法的一種，避免了Newton－Armijo算法計(jì)算Hessian陣及其逆矩陣的缺點(diǎn)，在上一步所得矩陣的基礎(chǔ)上進(jìn)行部分更新［23］，從而得Hessian矩陣及其逆矩陣的近似矩陣。這里用更新Hessian矩陣逆矩陣的算法，具體步驟如下：

步驟2 計(jì)算gj。若‖gj‖≤ε，則停止；否則轉(zhuǎn)Step 3；

步驟3 根據(jù)方程dj＝－Hjgj求dj；

步驟4 （Armijo線搜索）選取λj＝max｛1，2－1，2－2，…｝使得

該算法需要存儲(chǔ)矩陣，當(dāng)問題的規(guī)模很大時(shí)，所需存儲(chǔ)量就相當(dāng)大。

3.3 Newton－PCG法

Newton－PCG算法克服了BFGS－Armijo算法的缺點(diǎn)，輪換地采用精確求解（CF求解）和非精確求解（PCG求解）兩種方法求解牛頓方程［21，24］Gjdj＝－gj：（1）CF求解，將Hessian陣進(jìn)行Cholesky分解，據(jù)此得牛頓方程的精確解；（2）PCG求解，用預(yù)條件共軛梯度法求得滿足‖Gjdj+gj‖≤‖gj‖2的非精確解dj。算法先執(zhí)行一個(gè)CF步，再執(zhí)行p個(gè)PCG步，參數(shù)p是優(yōu)化問題［25］的解（n為問題規(guī)模）。然后再執(zhí)行一個(gè)CF步，接著再執(zhí)行p個(gè)PCG步，如此重復(fù)進(jìn)行。p步PCG求解依次進(jìn)行l(wèi)1、l2、…、lp次的子迭代，參數(shù)l1、l2、…、lp的取值為

Newton－PCG算法具體步驟：

步驟1 初始化：j==d0，給定初始點(diǎn)z0，精度ε＞0，參數(shù)C；

步驟2 計(jì)算gj。若‖gj‖＜ε，則停止；否則轉(zhuǎn)步驟3；

步驟3 檢測內(nèi)循環(huán)：如果mod（j，p+1）＝＝0，則轉(zhuǎn)步驟4，否則轉(zhuǎn)步驟5；

步驟4 CF步：G?▽2fp（z）使用Cholesky分解Gj＝LjDjL求解方程Gjdj+gj＝0，得到dj，令m＝0，Bj＝LjDjL，轉(zhuǎn)步驟6；

步驟5 PCG步：令Bj＝Bj－1，m＝m+1，用PCG得到dj；

步驟5.1 初始化：i＝0，si＝0，ri＝－gj－Gjsi，lm＝2m；

步驟5.2 若‖ri‖≤‖gj‖2或i＝lm，則停，dj＝si；否則轉(zhuǎn)步驟5.3；

步驟5.3 zi＝（Bj）－1ri，ti＝ziTri；

步驟5.4 若i＝＝0，則pi＝zi，否則pi＝zi+βpi－1；

步驟5.6 i＝i+1，轉(zhuǎn)步驟5.2。

步驟6 令zj+1zj+dj，j＝j(luò)+1，轉(zhuǎn)步驟2。

問題規(guī)模越大，算法的優(yōu)越性越顯著（相對Newton法）。

4 數(shù)值實(shí)驗(yàn)

數(shù)值實(shí)驗(yàn)分為兩個(gè)部分，各個(gè)光滑函數(shù)逼近正號函數(shù)的實(shí)驗(yàn)和不同的光滑函數(shù)不同的算法求解SSVM模型，所有的實(shí)驗(yàn)都是在i5－4570、8G內(nèi)存、Matlab R2012的環(huán)境中進(jìn)行。

4.1 光滑函數(shù)

實(shí)驗(yàn)中精度ε＝10－3，k＝600，上p0（x，k）、p1（x，k）、p2（x，k）、p3（x，k）、p4（x，k）、s1（x，k）、s2（x，k）、s3（x，k），上φ1（x，k），上φ2（x，k）及max（x，0）的圖像如圖1所示。從圖中可以看出，p0（x，k）、p1（x，k）、p2（x，k）、s1（x，k）、p3（x，k）、s2（x，k）、p4（x，k）、s3（x，k）、φ1（x，k）、φ2（x，k）在x＝0附近越來越逼近正號函數(shù)，這與理論分析結(jié)果一致。

4.2 SSVM模型的求解

實(shí)驗(yàn)數(shù)據(jù)選自USPS，這是區(qū)分?jǐn)?shù)字0～9的十個(gè)類的數(shù)據(jù)集，而這里只是區(qū)分3和其余的數(shù)字，即USPS 3數(shù)據(jù)集.實(shí)驗(yàn)選取了7 291個(gè)訓(xùn)練樣本，2 007個(gè)測試樣本，每個(gè)樣本都有256個(gè)特征，參數(shù)C＝40，k＝600（根據(jù)問題規(guī)模及最優(yōu)光滑因子），μ＝1／600，精度要求ε＝10－3，最大迭代次數(shù)itermax＝100。采用不同的光滑函數(shù)不同的求解算法對數(shù)據(jù)USPS 3進(jìn)行分類，所需的迭代次數(shù)（iter）、時(shí)間（time）、訓(xùn)練錯(cuò)誤率和測試錯(cuò)誤率如表2所示。

圖1 各個(gè)光滑函數(shù)的逼近程度Fig.1 The approximate accuracy of different smooth function

表2 不同光滑函數(shù)不同求解算法的實(shí)驗(yàn)結(jié)果Tab.2 The experimental result of different smooth function and algorithm

4.3 分析和比較

對表2中的數(shù)據(jù)進(jìn)行分析和比較，可以得到采用不同光滑函數(shù)的SSVM使用Newton－Armijo法、BFGS－Armijo法和Newton－PCG法的相關(guān)結(jié)論：

（1）在一般Newton－Armijo法中，只有p1（x，k）和s（x，μ）作為光滑函數(shù)的實(shí)驗(yàn)結(jié)果是滿足精度要求的，其余的實(shí)驗(yàn)結(jié)果是在迭代次數(shù)達(dá)到最大時(shí)產(chǎn)生的；改進(jìn)的Newton－Armijo法中，只在p0（x，k）作為光滑函數(shù)時(shí)結(jié)果滿足精度要求，其余的都是迭代次數(shù)達(dá)到最大時(shí)的結(jié)果；其他方法的實(shí)驗(yàn)結(jié)果都是下降方向的模滿足精度要求時(shí)的數(shù)據(jù)。從這個(gè)角度來看，BFGS－Armijo法和Newton－PCG法優(yōu)于Newton－Armijo法，這與理論分析結(jié)果一致。從迭代次數(shù)、訓(xùn)練錯(cuò)誤率和測試錯(cuò)誤率來看，Newton－PCG法的收斂速度最快，Newton－Armijo法最慢。同時(shí)，改進(jìn)的Newton－Armijo法只適合光滑函數(shù)p0（x，k），一般Newton－Armijo法只適合p1（x，k）和s（x，μ）作為光滑函數(shù)，而s（x，μ）為光滑函數(shù)時(shí)，BFGS－Armijo法收斂最快。即，總的來說，Newton－PCG法的收斂速度最快，但針對不同光滑函數(shù)還需具體分析。

（2）同一算法中，隨著光滑函數(shù)的逐漸逼近，訓(xùn)練錯(cuò)誤率大致逐漸減小甚至為0，但測試錯(cuò)誤率并沒有隨之明顯減小，更值得注意的是所需時(shí)間明顯增加。而我們用SSVM來求解大規(guī)模問題時(shí)，不但需要滿足精度要求而且要求求解時(shí)間不能太長，這就需要平衡精度和求解時(shí)間。也就是說，并不是光滑函數(shù)越逼近，解的精度越高就越好，要選擇適合的光滑函數(shù)。

5 結(jié)語

綜上可知，求解SSVM的Newton－Armijo法、BFGS－Armijo法和Newton－PCG法中，后兩者的收斂速度優(yōu)于前者，而Newton－PCG法最優(yōu)；同一算法中，光滑函數(shù)越逼近正號函數(shù)，模型的解精度越高，訓(xùn)練的正確率就高，而訓(xùn)練時(shí)間也明顯增加。今后有待研究的問題有：大規(guī)模問題中訓(xùn)練時(shí)間和精度之間的平衡；算法相關(guān)參數(shù)的選擇；算法的改進(jìn)。

［1］Vapnik V N.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)［M］.2版.張學(xué)工，譯.北京：清華大學(xué)出版社，2000.

［2］Vapnik V N.The nature of statistical learning theory［M］.2nd ed.New York：Springer－Verlag，1999.

［3］Vapnik V N，Chervonenkis A.Theory of pattern recognition［M］.Moscow：Nauka，1979.

［4］Efron B，Hastie T，Johnstone I，et al.Least angel regression［J］.Annals of Statistics，2004，32（2）：407－499.

［5］Shawe J，Cristianini N.模式識別的核方法［M］.趙玲玲，翁蘇明，曾華軍，等譯.北京：機(jī)械工業(yè)出版社，2006.

［6］Cortes C，Vapnik V N.Support vector networks［J］. Machine Learning，1995，20：273－297.

［7］Mangasarian O L.Generalized support vector machine［C］∥Smola A J，Bartlett P，Sch?kopf B，et al.Advances in Large Margin Classifiers.Cambridge：MIT Press，2000：135－146.

［8］Lee Y J，Mangasarian O L.SSVM：A smooth support vector machine for classification［J］.Computational Optimization and Applications，2001，20（1）：5－22.

［9］Lee Y J，Mangasarian O L.RSVM：Reduced Support Vector Machines［C］∥SIAM.CD Proceedings of the SIAM International Conference on Data Mining，Chicago：SIAM，2001：1－17.

［10］Gelnn Fung O L，Mangasarian.Proximal supported vector machine classifiers［J］.Proceedings of Knowledge Discovery and Data Mining，2001：77－86.

［11］袁玉波，嚴(yán)杰，徐成賢.多項(xiàng)式光滑的支撐向量機(jī)［J］.計(jì)算機(jī)學(xué)報(bào)，2005，28（1）：9－17.

［12］劉葉青，劉三陽，谷明濤，等.光滑支持向量機(jī)多項(xiàng)式函數(shù)的研究［J］.系統(tǒng)工程與電子技術(shù)，2009，31（6）：1450－1453.

［13］熊金志，胡金蓮，袁華強(qiáng)，等.一類光滑支持向量機(jī)新函數(shù)的研究［J］.電子學(xué)報(bào)，2007，35（2）：366－370.

［14］劉群鋒，熊金志.Newton－Hermite插值與正號函數(shù)的光滑化［J］.東莞理工學(xué)院學(xué)報(bào)，2011，18（1）：22－28.

［15］Yuan Y，F(xiàn)an W，Pu D.Spline function smooth support vector machine for classification［J］.Journal of Industrial and Management Optimization，2007，3（3）：529.

［16］張曉丹，邵帥，劉欽圣.基于樣條函數(shù)的光滑支持向量機(jī)模型［J］.北京科技大學(xué)學(xué)報(bào)，2012，34（6）：718－725.

［17］吳青，趙雄.一類新樣條光滑支持向量機(jī)［J］.西安郵電大學(xué)學(xué)報(bào)，2013，18（6）：68－74.

［18］Mangasarian O L，Musicant D R.Successive overrelaxation for support vector machines［J］.IEEE Transactions on Neural Networks，1999，10（5）：1032－1037.

［19］Chen Xiaojun，Niu LingFwng，Yuan Yaxiang.Optimality conditions and a smoothing trust region newton method for nonlipschita optimization［J］.Society for Industrial and Applied Mathematics，2013，23（3）：1528－1552.

［20］Yuan Y，Byrd R.Non－quasi－Newton updates for unconstrained optimization［J］.Journal of Computing Mathematics，1995，13（2）：95－107.

［21］涂文根，熊金志，袁華強(qiáng)，等.三種訓(xùn)練光滑支持向量分類器方法的比較［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47（3）：190－195.

［22］Zhou Shuisheng，Cui Jiangtao，Ye Feng，et al.New smoothing SVM algorithm with tight error bound and efficient reduced techniques［J］.Computional Optimization and Applications，2013（56）：599－617.

［23］Yuan Y.A modified BFGS algorithm for unconstrained optimization［J］.IMA Journal of Numerical Analysis，1991，11（4）：325－332.

［24］Deng Naiyang，Zhang Jianzhong，Zhong Ping.A theoretical analysis on efficiency of some Newton－PCG methods［J］.Science in China Series A：Mathematics，2005，48（8）：1046－1064.

［25］趙立喬，雷紀(jì)剛.基于Newton－PCG算法的實(shí)現(xiàn)探討［J］.北京機(jī)械工業(yè)學(xué)院學(xué)報(bào)，2006，21（2）：36－40.

〔責(zé)任編輯 宋軼文〕

Comparison on the model and algorithm of smoothing support vector machine

LI Yawei，GAO Xingbao＊
（School of Mathematics and Information Science，Shaanxi Normal University，Xi'an 710119，Shaanxi，China）

Smoothing support vector machine（SSVM）can be solved by Newton algorithm and other fast algorithms.The classical smooth functions include the integral of sigmoid function，polynomial function，interpolation function，splines function and so on.From theoretic and numerical experiment，the paper compares and studies the accuracy of popular smooth functions approximating plus function and the convergence speed of the favorite algorithm for SSVM including Newton－Armijo algorithm，BFGS－Armijo algorithm and Newton－PCG algorithm.It is shown that the more the smooth function approximates plus function，the more accurate the solution is，while the train time is heavily increased.Newton－PCG algorithm is the fastest one，and Newton－Armijo algorithm is the slowest one.

smoothing support vector machine；smooth function；Newton－Armijo algorithm；BFGS－Armijo algorithm；Newton－PCG algorithm

68T05

TP181

：A

1672－4291（2015）06－0009－08

10.15983／j.cnki.jsnu.2015.06.162

2015－03－10

國家自然科學(xué)基金（61273311，61173094）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金（GK201302004，GK201402004）

李亞微，女，講師，博士研究生，主要研究方向?yàn)樽顑?yōu)化理論及算法。E－mail：liyawei＠snnu.edu.cn

＊通信作者：高興寶，男，教授，博士生導(dǎo)師。E－mail：xinbaog＠snnu.edu.cn