高潤鵬，傘 冶，朱 奕

（哈爾濱工業(yè)大學(xué)控制與仿真中心，黑龍江 哈爾濱 150001）

0 引言

支持向量機(jī)［1］（support vector machine，SVM）是Vapnik提出的一種基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)機(jī)器，與神經(jīng)網(wǎng)絡(luò)相比，它可以解決小樣本、“維數(shù)災(zāi)”和局部極值解等問題，具有較強(qiáng)的泛化能力，并在目標(biāo)聲識別［2］、爆破震動預(yù)測［3］等實(shí)際問題中得到廣泛應(yīng)用。它采用自上而下的學(xué)習(xí)方式，選取損失函數(shù)如ε不敏感損失函數(shù)、Laplacian損失函數(shù)、Huber損失函數(shù)或分段損失函數(shù)，得到具有一定魯棒性和稀疏性的模型。

最小二乘支持向量機(jī)［4］（least squares SV M，LSSV M）是SV M的擴(kuò)展算法，求解算法為解線性方程組，訓(xùn)練速度明顯加快。LSSV M的求解算法主要有共軛梯度法［4］、降階法［5］和序列最小優(yōu)化算法［6］等。但LSSV M采用誤差的平方和作為損失函數(shù)，當(dāng)數(shù)據(jù)混有非高斯分布長尾噪聲時(shí)，算法魯棒性變差。為此Suykens［7］提出加權(quán)LSSV M （weighted LSSV M，WLSSV M），它根據(jù)誤差信息賦予樣本權(quán)重，對異常樣本賦予極小的權(quán)重值以抑制它的影響。但當(dāng)異常樣本較多時(shí)，WLSSV M檢測和抑制異常樣本能力下降。采用迭代 WLSSV M［4］及改進(jìn)算法［8－9］可增強(qiáng)算法的魯棒性，但需要多次訓(xùn)練 WLSSV M且訓(xùn)練時(shí)間較長。De Brabanter［10］實(shí)驗(yàn)對比四種權(quán)值函數(shù)的迭代WLSSV M算法的魯棒性。張淑寧［11］采用魯棒學(xué)習(xí)提高LSSV M的魯棒性。溫雯［12］采用假設(shè)檢驗(yàn)方法檢測異常樣本，剔除它并使用減量學(xué)習(xí)更新模型，算法的魯棒性增強(qiáng)。采用以上算法LSSV M魯棒性在一定程度上得到增強(qiáng)，但LSSV M采用等式約束，導(dǎo)致算法缺乏稀疏性，過多的支持向量使得模型結(jié)構(gòu)復(fù)雜、預(yù)測時(shí)間長。因此有學(xué)者提出改進(jìn)算法提高稀疏性，如先學(xué)習(xí)訓(xùn)練樣本得到初始模型。1）按剪枝策略選擇部分支持向量，直接刪除它并重新訓(xùn)練LSSV M，重復(fù)該過程直到事先定義的性能指標(biāo)下降為止。剪枝策略主要有：最小支持向量譜［13］，模型引入誤差最?。?4］及其改進(jìn)算法［15］等。缺點(diǎn)是需要重復(fù)訓(xùn)練LSSV M，計(jì)算量較大。2）在高維特征空間采用向量相關(guān)分析約簡支持向量［16－17］，約簡模型性能不變，缺點(diǎn)是支持向量約簡率較低。學(xué)者提出改進(jìn)算法［18－20］以提高支持向量約簡率。Yang［21］提出自適應(yīng)剪枝算法得到模型稀疏解。Zhao［22］將使目標(biāo)函數(shù)值下降較多的樣本加入支持向量集。采用以上算法可提高LSSV M稀疏性，但當(dāng)數(shù)據(jù)混有異常樣本時(shí)，它卻將異常樣本當(dāng)作支持向量，算法魯棒性差。為克服前人單一提高魯棒性或稀疏性的缺點(diǎn)，本文提出魯棒稀疏最小二乘支持向量回歸機(jī)（least squares support vector regression machine，LSSVRM）算法。它從初始LSSVRM模型出發(fā)，自下而上的采用循環(huán)逐一刪除異常樣本或不重要樣本。為增強(qiáng)算法魯棒性，采用基于留一誤差的魯棒“3σ”準(zhǔn)則檢測并刪除異常樣本。為提高算法稀疏性，采用基于最小絕對留一誤差的剪枝策略刪除不重要樣本。為降低算法計(jì)算量，采用快速留一誤差和減量學(xué)習(xí)更新模型。

1 最小二乘支持向量回歸機(jī)

設(shè)訓(xùn)練數(shù)據(jù)集 ｛ （xi，yi），輸入xi∈Rz，輸出yi∈R，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，Suykens［4］將損失函數(shù)由誤差和轉(zhuǎn)變?yōu)檎`差的平方和，約束條件由不等式約束轉(zhuǎn)變?yōu)榈仁郊s束，LSSVRM可以表示為如式（1）所示優(yōu)化問題：

式（1）中，φ（·）是將輸入空間映射到高維特征空間的非線性函數(shù)；w表示模型的復(fù)雜度；e＝［e1，…，en］T表示經(jīng)驗(yàn)誤差；γ∈R＋是正則化參數(shù)。為解這個(gè)約束優(yōu)化問題，利用對偶優(yōu)化和Lagrange函數(shù)把約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題：

式（2）中，α＝ ［α1，…，αn］T為Lagrange乘子。由最優(yōu)化條件可得：

式（3）中，y ＝ ［y1，…，yn］T；α ＝ ［α1，…，αn］T；1＝［1，…，1］T；I是 單 位 矩 陣；Κij＝ φ （xi）Tφ（xj）＝k（xi，xj）；k（xi，xj）是核函數(shù)，常用的核函數(shù)有高斯核函數(shù)k（xi，xj）＝exp（－‖xi－xj‖2／ρ2）和多項(xiàng)式核函數(shù)k（xi，xj）＝／μ＋1）d。

求解式（3）線性方程組可以得到α和b?；貧w函數(shù)f（x）如式（4）所示：

2 魯棒稀疏LSSVRM算法

由于設(shè)備故障、電磁干擾和過失誤差等因素影響，實(shí)際數(shù)據(jù)不可避免地混入異常值，所以研究LSSVRM的魯棒稀疏算法具有較大的實(shí)用價(jià)值。因此本文提出魯棒稀疏LSSVRM算法，它采用自下而上的學(xué)習(xí)方式，首先學(xué)習(xí)訓(xùn)練樣本得到初始LSSVRM模型，獲得每個(gè)樣本的誤差信息作為先驗(yàn)知識。采用循環(huán)逐一刪除異常樣本方式，即每次循環(huán)只考察異常性最大的樣本，判斷它是否是異常樣本，是則刪除該異常樣本，學(xué)習(xí)剩余樣本更新模型，使回歸曲面能逐步得到糾正，提高下一次循環(huán)異常樣本的檢測率，以增強(qiáng)算法魯棒性。當(dāng)異常樣本刪除完畢，再逐一刪除模型中不重要樣本，并學(xué)習(xí)剩余樣本更新模型，直到模型泛化性能略有下降為止，以提高算法的稀疏性。

要實(shí)現(xiàn)上述算法主要解決以下三個(gè)問題：一是采用什么方法檢測異常樣本，二是如何選擇不重要樣本，三是如何快速更新模型，以降低計(jì)算量。因此本文采用基于快速留一誤差的魯棒 “3σ”準(zhǔn)則檢測異常樣本，選擇具有最小絕對留一誤差的樣本作為不重要樣本，采用減量學(xué)習(xí)快速更新模型。

2．1 快速留一誤差

留一誤差Δyi是用除第i個(gè)樣本外的其余樣本擬合回歸曲面，計(jì)算第i個(gè)樣本的預(yù)測值，則Δyi＝y(tǒng)i－。由于LSSVRM采用誤差的平方和作為損失函數(shù)，異常樣本將回歸曲面拉向自身，使異常樣本的誤差減小，正常樣本的誤差增大，而計(jì)算樣本的留一誤差過程中回歸曲面沒有該樣本，所以留一誤差較普通誤差更能如實(shí)反映樣本的異常性。因此本文采用留一誤差代替普通誤差。但計(jì)算訓(xùn)練樣本的留一誤差相當(dāng)于訓(xùn)練n次n－1個(gè)樣本的LSSVRM模型，其中n為模型中樣本個(gè)數(shù)。計(jì)算復(fù)雜度為O（n4），計(jì)算量非常大，不適合訓(xùn)練樣本較多的情況。但采用快速留一誤差［23］，在得到LSSVRM模型的基礎(chǔ)上，只進(jìn)行簡單運(yùn)算即可得到所有訓(xùn)練樣本的留一誤差，計(jì)算復(fù)雜度降為O（n），降低了計(jì)算量。第i個(gè)樣本的留一誤差Δyi如式（5）所示。

下面以計(jì)算第一個(gè)樣本的留一誤差為例，簡要推導(dǎo)快速留一誤差的計(jì)算公式，由式（3）可知，

式（6）中，c1＝ ［k（x2，x1），…，k（xn，x1），1］T；c11＝k（x1，x1）＋γ－1；C1由矩陣A去掉第一行和第一列得到。

刪除第一個(gè)樣本（x1，y1），學(xué)習(xí)剩余樣本得到模型參數(shù)α（－1），b（－1），如式（7）所示。

由式（3）和式（6）可得從第2到n＋1個(gè)等式方程。

由式（3）線性方程的第一個(gè)等式方程得：

結(jié)合式（10）和式（11）得：

由方塊矩陣求逆引理可得：

因?yàn)闃颖卷樞蚩梢匀我庹{(diào)換，所以推廣到所有訓(xùn)練樣本，第i個(gè)樣本的留一誤差Δyi為：

由于A－1已知，由式（15）可知，通過簡單計(jì)算即可快速得到所有訓(xùn)練樣本的留一誤差。

2．2 基于留一誤差的魯棒“3σ”準(zhǔn)則檢測異常樣本

由于訓(xùn)練數(shù)據(jù)含有異常樣本，樣本的留一誤差分布具有長尾性，不符合N（0，σ2）標(biāo)準(zhǔn)高斯分布，基于均值和方差的普通“3σ”準(zhǔn)則對異常誤差敏感，魯棒性差，所以采用它檢測異常樣本的能力急劇下降。因此本文采用魯棒“3σ”準(zhǔn)則［24］，按式（16）計(jì)算第i個(gè)樣本的標(biāo)準(zhǔn)留一誤差：

因此，異常樣本的判斷準(zhǔn)則為樣本的標(biāo)準(zhǔn)留一誤差SLOOi是否大于閾值c，大于c則為異常樣本，否則為正常樣本。

異常樣本檢測停止條件：樣本最大標(biāo)準(zhǔn)留一誤差不大于閾值c，即max（SLOOi）≤c。c值越大，檢測到異常樣本的數(shù)目相對越少，將異常樣本當(dāng)作正常樣本的機(jī)率越大。反之，c值越小，檢測到異常樣本的數(shù)目相對越多，將正常樣本當(dāng)作異常樣本的機(jī)率越大。對于異常樣本不太多的情況，取c＝3較合適，因?yàn)閷τ诜蠘?biāo)準(zhǔn)高斯分布誤差，SLOOi＞3的概率是0．26%。對于異常樣本較多的情況，取c＝2．5較合適。

2．3 基于最小絕對留一誤差的剪枝策略

由于LSSVRM模型缺乏稀疏性，為得到稀疏模型，采用剪枝策略刪除不重要樣本使得模型結(jié)構(gòu)簡單、預(yù)測時(shí)間短，但同時(shí)模型會損失部分信息，從而導(dǎo)致模型泛化性能下降。樣本剪枝策略主要有Suykens［13］提出的刪除較小的樣本，因?yàn)閑i＝αi／γ，相當(dāng)于構(gòu)造誤差不敏感域，但刪除該樣本后模型引入誤差不保證最小，因此按此剪枝策略得到的稀疏模型泛化性能不理想。De Kr uif［14］提出刪除模型引入誤差最小的樣本，如式（18）所示。但當(dāng)γ＝∞時(shí)，相當(dāng)于目標(biāo)函數(shù)沒有正則化項(xiàng)，矩陣B經(jīng)常奇異，而且計(jì)算矩陣B的逆矩陣計(jì)算量較大；當(dāng)γ＜∞時(shí)，需要進(jìn)行復(fù)雜矩陣運(yùn)算。

式（18）中，di＝［0，…，0，1，0，…，0］T，di中第i個(gè)元素為1K是核矩陣；Y ＝ ［y1，…，yn，0］T。Kuh［15］提出刪除具有最小的樣本，它是刪除樣本后模型引入誤差的另一種計(jì)算公式。本文采用刪除具有最小絕對留一誤差的樣本，因?yàn)橛煽芍?，刪除arg min（）樣本對模型的引入誤差最小，所以模型信息損失相對較小，模型泛化性能也相對要好。

剪枝停止條件是樣本最小絕對留一誤差大于閾值ζ，即min（）＞ζ。閾值ζ決定被刪除不重要樣本的個(gè)數(shù)，ζ值越大，則被刪除不重要樣本個(gè)數(shù)越多，模型泛化性能越差。反之，ζ值越小，則被刪除不重要樣本個(gè)數(shù)越少，模型泛化性能相對越好。閾值ζ的取值與具體數(shù)據(jù)集樣本的輸出有關(guān)，要在模型稀疏性和泛化性能取折衷，由實(shí)際應(yīng)用需求決定。

2．4 減量學(xué)習(xí)

假設(shè)當(dāng)前LSSVRM模型由N個(gè)樣本建立，刪除一個(gè)樣本后，需要訓(xùn)練剩余N－1個(gè)樣本以得到新模型，訓(xùn)練算法計(jì)算復(fù)雜度為O（（N－1）3），計(jì)算量較大。為減少計(jì)算量，降低計(jì)算復(fù)雜度，采用減量學(xué)習(xí)更新模型，計(jì)算復(fù)雜度降為O（（N－1）2）。

設(shè)當(dāng)前模型由N個(gè)樣本建立，即ANaN＝Y(jié)N，且

從模型中刪除樣本 （xk，yk），則新模型參數(shù)為

為避免矩陣AN－1求逆，A由式（20）得到［25］

則N－1個(gè)樣本對應(yīng)的LSSVRM模型參數(shù)aN－1＝ ［αb］T，可由式（19）得到。

2．5 算法復(fù)雜度分析

設(shè)當(dāng)前LSSVRM模型由N個(gè)樣本建立，不論是采用2．2節(jié)基于留一誤差魯棒“3σ”準(zhǔn)則檢測異常樣本或2．3節(jié)基于絕對最小留一誤差的剪枝策略，均采用2．1節(jié)快速留一誤差公式（5）計(jì)算所有樣本的留一誤差，計(jì)算復(fù)雜度為Ο（N）。然后通過減量學(xué)習(xí)刪除一個(gè)樣本后得到由（N－1）個(gè)樣本建立的模型，則執(zhí)行一次減量學(xué)習(xí)的計(jì)算復(fù)雜度為Ο（（N－1）2）。魯棒稀疏LSSVRM算法刪除所有異常樣本和不重要樣本的總計(jì)算復(fù)雜度為：

式（21）中，Noutlier是異常樣本的個(gè)數(shù)，m是被刪除不重要樣本的個(gè)數(shù)。但異常樣本和被刪除不重要樣本的總數(shù)小于訓(xùn)練樣本，總計(jì)算復(fù)雜度小于直接訓(xùn)練一次LSSVRM復(fù)雜度Ο（n3）。加上2．2節(jié)異常樣本檢測階段計(jì)算標(biāo)準(zhǔn)留一誤差過程中的中位數(shù)等計(jì)算，則魯棒稀疏LSSVRM算法總計(jì)算量與加權(quán)LSSVRM相當(dāng)，即相當(dāng)于訓(xùn)練兩次LSSVRM，所以算法訓(xùn)練時(shí)間和加權(quán)LSSVRM訓(xùn)練時(shí)間接近。

2．6 完整算法流程

魯棒稀疏LSSVRM算法步驟如下：

Step1：學(xué)習(xí)訓(xùn)練樣本得到初始LSSVRM模型。

Step2：按式（5）和式（16）計(jì)算訓(xùn)練樣本標(biāo)準(zhǔn)留一誤差，判斷樣本最大標(biāo)準(zhǔn)留一誤差是否大于閾值c，是則刪除該異常樣本，并采用減量學(xué)習(xí)更新模型，返回Step2；否則異常樣本檢測和刪除階段停止，轉(zhuǎn)向Step3。

Step3：按式（5）計(jì)算訓(xùn)練樣本的留一誤差，判斷樣本最小絕對留一誤差是否小于或等于閾值ζ，是則刪除該樣本，并采用減量學(xué)習(xí)更新模型，返回Step3；否則輸出魯棒稀疏LSSVRM模型。

魯棒稀疏LSSVRM算法流程圖如圖1所示。

圖1 魯棒稀疏LSSVRM算法流程圖Fig．1 The flowchart of r obust sparse LSSVRM algorith m

3 數(shù)值仿真

本文實(shí)驗(yàn)在2．7 GHz奔騰雙核處理器，2 GB內(nèi)存的臺式機(jī)進(jìn)行，程序由Matlab7．10實(shí)現(xiàn)。選用高斯核函數(shù)，LSSVRM模型參數(shù)為正則化參數(shù)γ和高斯核參數(shù)ρ2，最優(yōu)參數(shù)由留一交叉驗(yàn)證法［23］確定。噪聲環(huán)境下回歸模型的性能評價(jià)指標(biāo)：

1）測試絕對平均誤差，如式（22）所示：

式（22）中，Ntest是測試樣本的個(gè)數(shù)。

2）統(tǒng)計(jì)學(xué)家［25］提出如式（23）所示指標(biāo)：

合理模型R2的取值范圍是0≤R2≤1。R2＝1表示最佳擬合，當(dāng)R2＜0時(shí)，說明模型已到達(dá)“崩潰點(diǎn)”。

算法說明：本文算法魯棒稀疏LSSVRM（r obust sparse LSSVRM，RSLSSVRM），對比算法有LSSVRM、加權(quán)LSSVRM （weighted LSSVRM、WLSSVRM），魯棒 LSSVRM （r obust LSSVRM，RLSSVRM），它是本文算法只進(jìn)行異常樣本檢測和刪除階段得到的魯棒LSSVRM模型，用于考察本文算法的魯棒性。

3．1 仿真數(shù)據(jù)集

仿真數(shù)據(jù)集中訓(xùn)練樣本由采樣函數(shù)sinc（x）和噪聲函數(shù)Fε（e）疊加產(chǎn)生，sinc（x）在［－10，10］內(nèi)等間隔采樣產(chǎn)生，個(gè)數(shù)為200。采用式（24）生成噪聲：

式（24）中，F(xiàn)0（e）是符合 N（0，0．09）的高斯噪聲；H（e）是異常噪聲；ε是異常樣本占訓(xùn)練樣本的比例，0≤ε≤1。H（e）為產(chǎn)生異常樣本的噪聲，本文采用符合［－1，3］均勻分布噪聲。為全面考察算法的性能，異常樣本占訓(xùn)練樣本的比例ε從5%開始以5%的增幅增加至45%，異常樣本在定義域內(nèi)隨機(jī)產(chǎn)生，生成9個(gè)訓(xùn)練集。測試樣本由采樣函數(shù)sinc（x）在［－10，10］等間隔采樣產(chǎn)生，不含噪聲，個(gè)數(shù)為200。參數(shù)設(shè)置為：γ＝10，ρ2＝1，閾值c＝3，閾值ζ＝0．05。四種算法在9個(gè)訓(xùn)練集上的實(shí)驗(yàn)結(jié)果如表1所示，對比指標(biāo)有：MAE、R2和訓(xùn)練時(shí)間（training ti me，TT）。

首先考察算法的魯棒性，各算法初次到達(dá)“崩潰點(diǎn)”時(shí)R2數(shù)據(jù)已加下劃線，由表1可以看出，當(dāng)異常樣本占訓(xùn)練樣本比例較低時(shí)，如ε為5%、10% 時(shí)，RLSSVRM和WLSSVRM的魯棒性能都很好，但RLSSVRM的性能優(yōu)于 WLSSVRM。當(dāng)ε增加至15%和20%時(shí)，WLSSVRM性能下降，但還沒有到達(dá)“崩潰點(diǎn)”，而RLSSVRM魯棒性能依然很強(qiáng)。對于LSSVRM，當(dāng)ε＝10%時(shí)，R2已為負(fù)數(shù)，說明模型預(yù)測結(jié)果不合理，由此可見LSSVRM對異常樣本非常敏感。當(dāng)異常樣本比例為25% 時(shí)，WLSSVRM的R2＝－0．781 5，算法已到達(dá)“崩潰點(diǎn)”，此時(shí) MAE＝0．156 7，預(yù)測結(jié)果已不合理。而RLSSVRM魯棒性一直很好，直到異常樣本比例達(dá)到45% 時(shí)，R2＝－0．065 5，已到達(dá)算法的“崩潰點(diǎn)”，MAE ＝0．121 2。這是因?yàn)楫惓颖颈壤呀咏?0%，初始LSSVRM模型幾乎無法提供有價(jià)值信息，正常樣本和異常樣本的留一誤差相差不大，所以基于中位數(shù)和魯棒標(biāo)準(zhǔn)差的“3σ”準(zhǔn)則也很難辨別正常樣本和異常樣本。

從算法訓(xùn)練時(shí)間看，9個(gè)訓(xùn)練集上，RSLSSVRM和WLSSVRM訓(xùn)練時(shí)間接近，實(shí)驗(yàn)結(jié)果與2．4節(jié)算法復(fù)雜度分析結(jié)果吻合。

再考察算法的稀疏性，由表1實(shí)驗(yàn)結(jié)果可以看出，異常樣本比例ε是5%、20%、30%、35%和40%時(shí)，RSLSSVRM在得到RLSSVRM基礎(chǔ)上，通過不斷刪除絕對留一誤差最小的樣本使模型稀疏，因此損失部分模型信息，所以RSLSSVRM模型的MAE和R2比RLSSVRM模型性能略差。而異常樣本比例ε是10%、15%和25%時(shí)，RSLSSVRM模型的MAE和R2優(yōu)于RLSSVRM模型，這是因?yàn)橄∈枘Ｐ徒Y(jié)構(gòu)簡單，泛化性能可能更好，有時(shí)對誤差較小樣本的過分?jǐn)M合，可降低模型的泛化性能。

為分析閾值c對RSLSSVRM算法魯棒性的影響，固定閾值ζ＝0．05，c值分別取2．5、3和3．5，在9個(gè)訓(xùn)練集進(jìn)行實(shí)驗(yàn)，對比指標(biāo)為：異常樣本個(gè)數(shù)（nu mber of outliers，NO）、MAE和R2，實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，RSLSSVRM算法在c＝［2．5，3．5］取得了較好的魯棒性。隨著c值的減小，檢測的異常樣本數(shù)目增多，如c＝2．5時(shí)，當(dāng)異常樣本數(shù)目較少時(shí)，由于很多正常樣本被當(dāng)作異常樣本被刪除，導(dǎo)致模型MAE和R2相對較差。隨著c值的增大，檢測的異常樣本數(shù)目減少，如c＝3．5時(shí)，當(dāng)異常樣本較多時(shí)，由于很多異常樣本被當(dāng)作正常樣本而被保留，也導(dǎo)致模型MAE和R2相對較差。所以對于異常樣本不太多時(shí)取c＝3較合適；異常樣本較多時(shí)，取c＝2．5；實(shí)驗(yàn)結(jié)果也驗(yàn)證了2．2節(jié)理論分析。

為分析閾值ζ對RSLSSVRM算法稀疏性的影響，固定閾值c＝3，ζ值分別取0．02、0．05和0．08，在9個(gè)訓(xùn)練集進(jìn)行實(shí)驗(yàn)，對比指標(biāo)：被刪除不重要樣本個(gè)數(shù)（number of eli minated uni mportant samples，NEUS）、MAE和R2，實(shí)驗(yàn)結(jié)果如表3所示。由表3可以看出，隨著ζ值增大，被刪除的不重要樣本明顯增多，RSLSSVRM模型信息損失越多，模型MAE和R2性能越差。隨著ζ值減小，被刪除的不重要樣本越少，RSLSSVRM模型信息損失越少，模型的MAE和R2性能相對要好。考慮到模型的稀疏性和泛化性能的折衷，實(shí)際應(yīng)用中根據(jù)需求確定閾值ζ，對于仿真數(shù)據(jù)集取ζ＝0．05較合適，實(shí)驗(yàn)結(jié)果也驗(yàn)證了2．3節(jié)理論分析。

表1 4種算法在仿真數(shù)據(jù)集上的測試結(jié)果Tab．1 Testing results of four algorith ms on si mulation datasets

表2 閾值c對RSLSSVRM算法魯棒性的影響Tab．2 Threshold c effects on the robustness of RSLSSVRM algorith m

表3 閾值ζ對RSLSSVRM算法稀疏性的影響Tab．3 Thresholdζeffects on the sparseness of RSLSSVRM algorith m

3．2 標(biāo)準(zhǔn)數(shù)據(jù)集

為進(jìn)一步測試算法的有效性，采用5個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集［26］：Triazines、Bodyfat、Mpg、Housing和 Mg，輸入數(shù)據(jù)歸一化為［0 1］，輸出數(shù)據(jù)不變，數(shù)據(jù)集描述和參數(shù)設(shè)置如表4所示。4種算法在5個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果如表5所示。對比指標(biāo)有：異常樣本個(gè)數(shù)NO、被刪除不重要樣本個(gè)數(shù)NEUS、R2和訓(xùn)練時(shí)間TT。由表5可以看出，與WLSSVRM相比，在魯棒性方面RLSSVRM均取得較好的擬合性能。在稀疏性方面，在數(shù)據(jù)集Bodyfat、Mpg和Mg，RSLSSVRM在大幅減少支持向量的同時(shí)，擬合性能略差于RLSSVRM，但在數(shù)據(jù)集Triazines和Housing，RSLSSVRM擬合性能優(yōu)于RLSSVRM。總體上，標(biāo)準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明RSLSSVRM性能優(yōu)于WLSSVRM和LSSVRM。在訓(xùn)練時(shí)間方面，RSLSSVRM所需時(shí)間與WLSSVRM相當(dāng)。

表4 數(shù)據(jù)集描述與參數(shù)設(shè)置Tab．4 Dataset descriptions and parameter setting

4 結(jié)論

為解決LSSVRM在噪聲環(huán)境下魯棒性不強(qiáng)和缺乏稀疏性問題，在得到初始LSSVRM模型基礎(chǔ)上，提出采用自下而上的學(xué)習(xí)方式和基于減量學(xué)習(xí)逐一刪除異常樣本或不重要樣本的魯棒稀疏LSSVRM算法。并采用基于快速留一誤差的魯棒“3σ”準(zhǔn)則檢測異常樣本和基于最小絕對留一誤差的剪枝策略刪除不重要樣本。理論分析和數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明：采用基于留一誤差的魯棒“3σ”準(zhǔn)則檢測并刪除異常樣本后，新算法魯棒性明顯增強(qiáng)；采用基于最小絕對留一誤差的剪枝策略刪除不重要樣本后，在模型泛化性能略有下降的情況下，支持向量數(shù)目大幅減少，新算法稀疏性明顯提高；采用快速留一誤差和減量學(xué)習(xí)更新模型后，降低了計(jì)算量，新算法訓(xùn)練時(shí)間與WLSSVRM訓(xùn)練時(shí)間相當(dāng)。

［1］Vapnik V N．The nature of statistical lear ning theory［M］．New Yor k：Springer－Verlag，1995．

［2］李京華，張聰穎，倪寧．基于參數(shù)優(yōu)化的支持向量機(jī)戰(zhàn)場多目標(biāo)聲識別［J］．探測與控制學(xué)報(bào)，2010，32（1）：1－5．LI Jinghua，ZHANG Chongying，NI Ning．Multi－target acoustic identification in battlefield based on SV M of parameter opti mization［J］．Jour nal of Detection ＆Control，2010，32（1）：1－5．

［3］丁凱，方向，陸凡東，等．基于支持向量機(jī)的振動加速度峰值預(yù)測模型［J］．探測與控制學(xué)報(bào)，2010，32（4）：38－41．DING Kai，F(xiàn)ANG Xiang，LU Fandong，et al．Forecasting model of blasting vibration acceleration peak－value based on SV M［J］．Jour nal of Detection ＆ Contr ol，2010，32（4）：38－41．

［4］Suykens J A K，Van Gestel T，De Brabanter J，et al．Least squares support vector machines［M］．Singapore：World Scientific，2002．

［5］Chu W，Ong C J，Keerthi S S．An i mproved conjugate gradient scheme to t he solution of least squares SV M［J］．IEEE Trans on Neural Net works，2005，16（2）：498－501．

［6］Keerthi S S，Shevade S K．SMO algorith m for leastsquares SV M for mulations［J］．Neural Co mputation，2003，15（2）：487－507．

［7］Suykens J A K，De Brabanter J，Lukas L，et al．Weighted least squares support vector machines：robustness and sparse approxi mation［J］．Neurocomputing，2002，48：85－105．

［8］呂劍峰，戴連奎．加權(quán)最小二乘支持向量機(jī)改進(jìn)算法及其在光譜定量分析中的應(yīng)用［J］．分析化學(xué)，2007，35（3）：340－344．LU Jianfeng，DAI Liankui．Improved weighted least squares support vector machines algorith m and its applications in spectroscopic quantitative analysis［J］．Chinese Jour nal of Analytical Chemistr y，2007，35（3）：340－344．

［9］包鑫，戴連奎．加權(quán)最小二乘支持向量機(jī)穩(wěn)健化迭代算法及其在光譜分析中的應(yīng)用［J］．化學(xué)學(xué)報(bào)，2009，67（10）：1 081－1 086．BAO Xin，DAI Liankui．Robust iterative algorit h m of weighted least squares support vector machine and its application in spectral analysis［J］．Acta Chi mica Sinica，2009，67（10）：1 081－1 086．

［10］De Brabanter K，Pelck mans K，De Brabanter J，et al．Robustness of ker nel based regression：a co mparison of iterative weighting schemes［C］／／Berlin，Ger many：Springer－Verlag，2009．

［11］張淑寧，王福利，尤富強(qiáng)，等．基于魯棒學(xué)習(xí)的最小二乘支持向量機(jī)及其應(yīng)用［J］．控制與決策，2010，25（8）：1 169－1 172．ZHANG Shuning，WANG Fuli，YOU Fuqiang，et al．Robust least squares support vector machine based on robust learning algorith m and its application［J］．Control and Decision，2010，25（8）：1 169－1 172．

［12］溫雯，郝志峰，楊曉偉，等．基于假設(shè)檢驗(yàn)及異常點(diǎn)剔除的穩(wěn)健LS－SV M 回歸［J］．模式識別與人工智能，2010，23（2）：241－249．WEN Wen，HAO Zhifeng，YANG Xiaowei，et al．Robust least squares support vector machine regression based on hypothesis testing and outlier－eli mination［J］．Patter n Recognition and Artificial Intelligence，2010，23（2）：241－249．

［13］Suykens J A K，Lukas L，Vandewalle J．Sparse approximation using least squares support vector machines［C］／／Geneva，Switzerland：IEEE Press，F(xiàn)lorida，2000．

［14］De Kr uif B J，De Vries T J A．Pr uning err or mini mization in least squares support vector machines［J］．IEEE Trans on Neural Net wor ks，2003，14（3）：696－702．

［15］Kuh A，De Wilde P．Comments on"Pruning error minimization in least squares support vector machines"［J］．IEEE Trans on Neural Net wor ks，2007，18（2）：606－609．

［16］甘良志，孫宗海，孫優(yōu)賢．稀疏最小二乘支持向量機(jī)［J］．浙江大學(xué)學(xué)報(bào)（工學(xué)版），2007，41（2）：245－248．GAN Liangzhi，SUN Zonghai，SUN Youxian．Sparse least squares support vector machine［J］．Jour nal of Zhejiang University （Engineering Science），2007，41（2）：245－248．

［17］Liang X，Chen R C，Guo X Y．Pruning support vector machines without altering perfor mances［J］．IEEE Trans on Neural Net works，2008，19（10）：1 792－1 803．

［18］陳愛軍，宋執(zhí)環(huán)，李平．基于矢量基學(xué)習(xí)的最小二乘支持向量機(jī)建模［J］．控制理論與應(yīng)用，2007，24（1）：1－5．CHEN Aijun，SONG Zhihuan，LI Ping．Modeling method of least squares support vector regression based on vector base learning［J］．Control Theory ＆ Applications，2007，24（1）：1－5．

［19］Liang X．An effective method of pr uning support vector machine classifiers［J］．IEEE Trans on Neural Net works，2010，21（1）：26－38．

［20］Li Q，Jiao L C，Hao Y J．Adaptive si mplification of solution for support vector machine［J］．Patter n Recognition，2007，40（3）：972－980．

［21］Yang X W，Lu J，Zhang G Q．Adaptive pr uning algorit h m f or least squares support vector machine classifier［J］．Soft Co mputing，2010，14（7）：667－680．

［22］Zhao Y P，Sun J G．Recursive reduced least squares support vector regression［J］．Patter n Recognition，2009，42（5）：837－842．

［23］Cawley G C，Talbot N L C．Preventing over－fitting during model selection via bayesian regularisation of the hyper－parameters［J］．Jour nal of Machine Lear ning Research，2007，8（4）：841－861．

［24］Maronna R A，Martin R D，Yohai V J．Robust statistics：t heor y and methods［M］．England：John Wiley ＆Sons，2006．

［25］Cau wenberghs G，Poggio T．Incremental and decremental support vector machine learning［C］／／Cambridge，MA：MIT Press，2001．

［26］Chang C C，Lin C J．LIBSV M：a library f or support vector machines［EB／OL］．［2011－06－15］htt p：／／www．csie．ntu．edu．t w／～cjlin／libsv mtools／datasets／regression．