劉玉琳 ，陳文亮 ，鮑益東 ，丁力平

1.安徽工業(yè)大學(xué) 數(shù)理學(xué)院，安徽 馬鞍山 243032

2.南京航空航天大學(xué) 機(jī)電學(xué)院，南京 210016

1 引言

“代理模型”即通過(guò)建立輸入?yún)?shù)和輸出響應(yīng)的函數(shù)關(guān)系，將未知的物理黑箱問(wèn)題轉(zhuǎn)化為顯示的數(shù)學(xué)描述。代理模型技術(shù)可以通過(guò)少量的計(jì)算，構(gòu)建能夠反映系統(tǒng)物理實(shí)質(zhì)的數(shù)學(xué)模型，解決了傳統(tǒng)的優(yōu)化算法和啟發(fā)式優(yōu)化算法的技術(shù)瓶頸。基于代理模型的優(yōu)化方法是求解大規(guī)模非線(xiàn)性問(wèn)題最有希望的方法之一[1]，鑒于其高效性，廣泛應(yīng)用于工程優(yōu)化領(lǐng)域。如果能夠高效建立穩(wěn)健的代理模型，很多大規(guī)模工程問(wèn)題便可以迎刃而解。

主流的代理模型技術(shù)，如多項(xiàng)式響應(yīng)面、Kringing插值、神經(jīng)網(wǎng)絡(luò)、徑向基插值等[2-5]，多數(shù)建立在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則之上，導(dǎo)致喪失了推廣能力，難以反映研究目標(biāo)的實(shí)質(zhì)和特性。支持向量機(jī)（Support Vector Machine，SVM）是由Vapnik[6]提出的一種基于小樣本統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化的建模方法，具有堅(jiān)實(shí)的理論基礎(chǔ)，較好的泛化能力及強(qiáng)大的非線(xiàn)性和高維處理能力。Suykens等[7]提出最小二乘支持向量機(jī)（Least Squares Support Vector Machine，LS-SVM），選擇誤差平方和作為損失函數(shù)，用等式約束代替不等式約束，將求解過(guò)程轉(zhuǎn)變成一組等式方程，避免了求解耗時(shí)的二次規(guī)劃（Quadratic Programming，QP）問(wèn)題，使求解速度加快。LS-SVM在工程領(lǐng)域得到了廣泛的應(yīng)用[8-10]，但LS-SVM在簡(jiǎn)化計(jì)算的同時(shí)，也喪失了解的稀疏性和穩(wěn)健性等優(yōu)點(diǎn)。

在實(shí)際工程中，樣本采集是一個(gè)容易受環(huán)境條件和人為操作等不確定因素影響的過(guò)程。因此，訓(xùn)練樣本中難免會(huì)混入少量和大多數(shù)正常樣本差異顯著的異常樣本。LS-SVM對(duì)異常樣本的存在十分敏感，通常存在一個(gè)或幾個(gè)異常樣本就會(huì)很大程度地破壞模型的特性。為了增強(qiáng)LS-SVM的穩(wěn)健性，Suykens等人提出了加權(quán)LS-SVM（Weighted Least Squares Support Vector Machine，WLS-SVM）算法來(lái)減少異常樣本對(duì)回歸機(jī)的負(fù)面影響[11]；包鑫對(duì)Suykens等人提出了加權(quán)算法進(jìn)行了改進(jìn)[12]；Zhang和Guo提出重加權(quán)算法，通過(guò)對(duì)樣本進(jìn)行重加權(quán)，逐步減少異常樣本的影響，修正回歸機(jī)的估計(jì)值[13]；趙永平等提出了基于滾動(dòng)窗思想的最小二乘支持向量機(jī)穩(wěn)健模型構(gòu)建方法[14]；張淑寧等人提出了魯棒最小二乘支持向量回歸機(jī)算法，通過(guò)引入魯棒學(xué)習(xí)來(lái)獲得魯棒估計(jì)[15]；Shim等人采用模糊聚類(lèi)來(lái)實(shí)現(xiàn)最小二乘支持向量機(jī)穩(wěn)健回歸[16]。上述加權(quán)方法僅根據(jù)回歸誤差確定權(quán)值，采用“誤差大相應(yīng)的權(quán)值小，誤差小相應(yīng)的權(quán)值大”原則，沒(méi)有考慮到用于建模的樣本的分布不均勻性。但由于采用自適應(yīng)的建模方法，建模數(shù)據(jù)信息會(huì)重復(fù)出現(xiàn)在某些局部區(qū)域，用于建模的樣本具有冗余的特性。因此，模型會(huì)對(duì)某些特殊點(diǎn)（如“拐點(diǎn)”等）的表達(dá)不明顯，削弱了某些特殊點(diǎn)對(duì)回歸模型的貢獻(xiàn)，回歸模型易產(chǎn)生過(guò)擬合現(xiàn)象。并且上述加權(quán)方法本質(zhì)均假設(shè)回歸誤差ek服從均值為0的正態(tài)分布。如果樣本點(diǎn)集合中沒(méi)有異常樣本存在，該假設(shè)是正確的。然而，由于異常樣本分布的影響，特別是異常樣本點(diǎn)數(shù)量較多時(shí)，假設(shè)樣本誤差ek均值為0是不穩(wěn)健的。

針對(duì)WLS-SVM傳統(tǒng)加權(quán)方法易產(chǎn)生過(guò)度擬合及未考慮到回歸誤差分布特性問(wèn)題，本文提出基于數(shù)學(xué)期望為med{ei}的正態(tài)分布概率密度函數(shù)確定權(quán)值方法。在此基礎(chǔ)上，提出了迭代加權(quán)最小二乘支持向量機(jī)快速遞推算法，利用矩陣關(guān)系進(jìn)行迭代遞推計(jì)算，減少計(jì)算量，節(jié)約迭代最小二乘支持向量機(jī)訓(xùn)練時(shí)間。

2 改進(jìn)加權(quán)最小二乘支持向量機(jī)

2.1 加權(quán)最小二乘支持向量機(jī)

為了增強(qiáng)LS-SVM的穩(wěn)健性，給定一個(gè)由l個(gè)樣本數(shù)據(jù)組成的訓(xùn)練集{xi，yi}，xi∈Rn，yi∈R，i=1，2，…，l。在LS-SVM算法的基礎(chǔ)上對(duì)誤差變量ei進(jìn)行加權(quán)，得到最優(yōu)化問(wèn)題：

其中w∈是權(quán)值向量，非線(xiàn)性映射Ф(x)：Rn→是將輸入數(shù)據(jù)映射到高維特征空間的函數(shù)，誤差變量ei∈R，偏置值b∈R，γ＞0為懲罰系數(shù)，vi∈R為加權(quán)系數(shù)，用于調(diào)節(jié)各樣本點(diǎn)在模型中所起的作用。式（1）的最優(yōu)化問(wèn)題可變換到對(duì)偶空間加以解決，得到Lagrange函數(shù)：

其中Lagrange乘子αi∈R。對(duì)各變量求偏導(dǎo)，并令它們等于0。

消去變量w和e，可得線(xiàn)性方程組：

其中α、b為線(xiàn)性方程組（4）的解。

2.2 基于正態(tài)分布概率密度函數(shù)確定權(quán)值

根據(jù)穩(wěn)健統(tǒng)計(jì)理論，采用基于中位數(shù)的統(tǒng)計(jì)量比基于均值的統(tǒng)計(jì)量具有更好的穩(wěn)健性。為了使權(quán)值更能反映樣本回歸誤差的分布特性，增強(qiáng)回歸模型的穩(wěn)健性，假設(shè)回歸誤差ei服從均值為med{ei}的正態(tài)分布，采用的權(quán)函數(shù)為：

其中med代表中位數(shù)。

正態(tài)分布概率密度函數(shù)中σ參數(shù)決定了正態(tài)曲線(xiàn)的形狀：σ越小，分布越集中，曲線(xiàn)越陡峭；σ越大，分布越分散，曲線(xiàn)越扁平?？紤]回歸誤差的統(tǒng)計(jì)特征，應(yīng)遵循如下取值規(guī)則：如回歸誤差的分布較分散，則各樣本點(diǎn)應(yīng)賦予離散程度較大的權(quán)值，σ取值應(yīng)偏??；如回歸誤差的分布較緊密，則各樣本點(diǎn)應(yīng)賦予離散程度較小的權(quán)值，σ的取值應(yīng)偏大。

與已有加權(quán)方法相比，基于正態(tài)分布概率密度函數(shù)的加權(quán)方法削弱了樣本冗余數(shù)據(jù)造成的“過(guò)度擬合”。在權(quán)值計(jì)算方面，兩種方法的不同如圖1所示。已有方法是回歸誤差絕對(duì)值越小，其權(quán)值越大。本文提出的加權(quán)方法對(duì)回歸誤差位于中間的樣本賦予最大的權(quán)值，而誤差遠(yuǎn)離誤差中位數(shù)的樣本賦予小權(quán)值。本文提出的加權(quán)法更側(cè)重于自適應(yīng)建模方法中訓(xùn)練樣本的非均勻分布實(shí)際特性，并且采用回歸誤差的中值作為計(jì)算加權(quán)值的衡量標(biāo)準(zhǔn)，增強(qiáng)了算法的穩(wěn)健性。

圖1 兩種加權(quán)方法對(duì)比示意圖

2.3 迭代加權(quán)最小二乘支持向量機(jī)快速遞推算法

迭代加權(quán)最小二乘支持向量機(jī)的每次迭代過(guò)程都需要重新訓(xùn)練一次，即重新求解線(xiàn)性方程組（4），因此將耗費(fèi)較多的運(yùn)算時(shí)間。針對(duì)該問(wèn)題，從數(shù)值計(jì)算的角度給出一種迭代加權(quán)最小二乘支持向量機(jī)的快速遞推算法。為了方便推導(dǎo)，將加權(quán)最小二乘支持向量機(jī)的對(duì)偶問(wèn)題改寫(xiě)成如下形式：

定義1（Sherman-Morrison-Woodbury公式）給定一個(gè)可逆矩陣 A，列向量u1和u2，假設(shè)，則有以下公式成立：

基于上述推導(dǎo)，迭代加權(quán)最小二乘支持向量機(jī)快速遞推算法過(guò)程如圖2所示。

圖2 迭代加權(quán)最小二乘支持向量機(jī)快速遞推算法流程圖

3 數(shù)值實(shí)例仿真實(shí)驗(yàn)

為了驗(yàn)證上述算法的可行性、有效性，采用一維非線(xiàn)性函數(shù)f(x)作為數(shù)值例子進(jìn)行仿真實(shí)驗(yàn)。

訓(xùn)練樣本由兩部分組成，一部分是正常樣本，由f(x)函數(shù)附加服從正態(tài)分布的隨機(jī)噪聲ξ～N(0，0.08)產(chǎn)生，另一部分是異常樣本，由人為添加一些異常樣本點(diǎn)構(gòu)成，共66個(gè)訓(xùn)練樣本點(diǎn)，其中異常樣本點(diǎn)5個(gè)。為了模擬自適應(yīng)建模方法中的建模數(shù)據(jù)信息會(huì)在某些局部區(qū)域具有冗余的特性，假定采樣樣本點(diǎn)在區(qū)間x∈[0.3，0.6]較密集，而在區(qū)間x∈[0，0.3]和x∈[0.6，1]較稀疏。

仿真實(shí)驗(yàn)中，支持向量機(jī)核函數(shù)取為徑向基核函數(shù)。LS-SVM得到的回歸結(jié)果，基于Suykens加權(quán)方法的傳統(tǒng)WLS-SVM得到的回歸結(jié)果，基于正態(tài)分布概率密度函數(shù)加權(quán)方法(σ=0.5)的改進(jìn)WLS-SVM得到的回歸結(jié)果分別如圖3、圖4、圖5所示。

可看出，在訓(xùn)練樣本存在異常樣本點(diǎn)干擾的情況下，WLS-SVM的確比LS-SVM具有更好的擬合效果；并且在數(shù)據(jù)點(diǎn)密集處，基于Suykens加權(quán)方法的傳統(tǒng)WLS-SVM和基于正態(tài)分布概率密度函數(shù)加權(quán)方法的改進(jìn)WLS-SVM都取得了較好的擬合效果；而在數(shù)據(jù)點(diǎn)稀疏區(qū)域，本文提出的改進(jìn)WLS-SVM則具有更好的擬合效果。

測(cè)試樣本由不加噪聲擾動(dòng)的函數(shù)f(x)產(chǎn)生，并且設(shè)置與訓(xùn)練樣本不同的采樣間隔，確保測(cè)試樣本與訓(xùn)練樣本的獨(dú)立性。表1為3種方法建模的預(yù)測(cè)誤差分析結(jié)果。

表1 預(yù)測(cè)誤差統(tǒng)計(jì)分析結(jié)果

從數(shù)值仿真實(shí)驗(yàn)結(jié)果來(lái)看，針對(duì)自適應(yīng)代理模型建模過(guò)程中樣本點(diǎn)冗余、分布不均現(xiàn)象，傳統(tǒng)加權(quán)方法側(cè)重密集區(qū)域樣本點(diǎn)而忽略其他樣本時(shí)，會(huì)產(chǎn)生過(guò)度擬合。而本文提出的改進(jìn)加權(quán)方法可有效地解決這類(lèi)問(wèn)題，進(jìn)一步提高代理模型的回歸精度，增強(qiáng)代理模型的穩(wěn)健性。

為了考察快速遞推算法的有效性，根據(jù)提出的基于正態(tài)分布概率密度函數(shù)加權(quán)方法，在Matlab 7.0環(huán)境下編寫(xiě)和運(yùn)行了未加速的迭代加權(quán)最小二乘支持向量機(jī)算法及其快速遞推算法。針對(duì)3個(gè)訓(xùn)練樣本集，樣本點(diǎn)總數(shù)分別為66、100、132，異常樣本點(diǎn)數(shù)量分別為5、15、33，即3個(gè)訓(xùn)練樣本集中異常樣本的比例分別為7.5%、15%、25%，均在 Pentium?Dual-Core CPU 2.80 GHz，2.00 GB內(nèi)存電腦配置下進(jìn)行實(shí)驗(yàn)，訓(xùn)練時(shí)間的相關(guān)結(jié)果如表2所示。

圖3 LS-SVM方法回歸結(jié)果

圖4 傳統(tǒng)WLS-SVM方法回歸結(jié)果

圖5 改進(jìn)WLS-SVM方法回歸結(jié)果

表2 仿真樣本點(diǎn)集訓(xùn)練時(shí)間對(duì)比

從訓(xùn)練時(shí)間來(lái)看，加速迭代加權(quán)最小二乘支持向量機(jī)算法遠(yuǎn)遠(yuǎn)少于未加速算法，可以節(jié)省大量的訓(xùn)練時(shí)間，這使得基于迭代加權(quán)的支持向量機(jī)穩(wěn)健模型構(gòu)建具備了時(shí)間效率上的可行性：不需要增加過(guò)多的訓(xùn)練時(shí)間就可以大幅提高代理模型對(duì)異常樣本點(diǎn)的容忍度，獲得更加穩(wěn)健的預(yù)測(cè)結(jié)果。

4 結(jié)論

（1）正態(tài)分布概率密度函數(shù)加權(quán)法更側(cè)重于自適應(yīng)建模方法中訓(xùn)練樣本的非均勻分布實(shí)際特性，削弱了樣本冗余數(shù)據(jù)造成的“過(guò)度擬合”，并且采用回歸誤差的中值作為計(jì)算加權(quán)值的衡量標(biāo)準(zhǔn)，增強(qiáng)了算法的穩(wěn)健性。

（2）迭代加權(quán)最小二乘支持向量機(jī)快速遞推算法，根據(jù)Sherman-Morrison-Woodbury公式，利用矩陣關(guān)系進(jìn)行前后兩迭代步的矩陣求逆遞推計(jì)算，避免了重新求解線(xiàn)性方程組，減少了計(jì)算量，節(jié)約了迭代加權(quán)最小二乘支持向量機(jī)訓(xùn)練時(shí)間。

（3）通過(guò)非線(xiàn)性函數(shù)數(shù)值算例的仿真實(shí)驗(yàn)，驗(yàn)證了本文提出的方法的可行性和有效性，提高了代理模型的預(yù)測(cè)精度，增強(qiáng)了代理模型的穩(wěn)健性，縮短了穩(wěn)健代理模型的建模時(shí)間。

[1]李光耀.板料沖壓成形工藝與模具設(shè)計(jì)制造中的若干前沿技術(shù)[J].機(jī)械工程學(xué)報(bào)，2010，46（10）：31-35.

[2]Naceur H，Ben-Elechi S.Response surface methodology for the rapid design of aluminum sheet metal forming parameters[J].Materials and Design，2008，29：781-790.

[3]Jakumeit J，Herdy M，Nitsche M.Parameter optimization of the sheet metal forming process using an iterative parallel Kringing algorithm[J].Structural and Multidisciplinary Optimization，2005，29（6）：498-507.

[4]Zhang Yanqin.Research on method of sheet blank design based on ANN[J].Forming&Stamping Technology，2009，34（6）：62-64.

[5]Fang H，Horstemeyer M F.Global response approximation with radial basis functions[J].Journal of Engineering Optimization，2006，38（4）：407-424.

[6]Vapnik V N.Statistical learning theory[M].New York：John Wiley，1998.

[7]Suykens J A K，Vandewalle J.Least squares support vector machine classifiers[J].Neural Processing Letters，1999，9（3）：293-300.

[8]Suykens J A K，Vandewalle J.Optimal control by least squares support vector machines[J].Neural Networks，2001（14）：23-35.

[9]陳愛(ài)軍.最小二乘支持向量機(jī)及其在工業(yè)過(guò)程建模中的應(yīng)用[D].杭州：浙江大學(xué)，2006.

[10]王久崇，樊曉光，盛晟，等.改進(jìn)的蜂群LS-SVM故障預(yù)測(cè)[J].空軍工程大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，14（1）：16-20.

[11]Suykens J A K，Brabanter J D，Lukas L，et al.Weighted least squares support vector machines：robustness and sparse approximation[J].Neurocomputing，2002，48（1）：85-105.

[12]包鑫，戴連奎.加權(quán)最小二乘支持向量機(jī)穩(wěn)健化迭代算法及其在光譜分析中的應(yīng)用[J].化學(xué)學(xué)報(bào)，2009，67（10）：1081-1086.

[13]Zhang J S，Guo G.Reweighted robust support vector regression method[J].Chinese Journal of Computers，2005，28（7）：1171-1178.

[14]趙永平，孫建國(guó).基于滾動(dòng)窗法最小二乘支持向量機(jī)的穩(wěn)健預(yù)測(cè)模型[J].模式識(shí)別與人工智能，2008，21（1）：1-5

[15]張淑寧.基于魯棒學(xué)習(xí)的最小二乘支持向量機(jī)及其應(yīng)用[J].控制與決策，2010，25（8）：1169-1175.

[16]Shim J，Hwang C，Nau S.Robust LS-SVM regression using fuzzyC-means clustering[J].Advances in Natural Computer Science，2006，42（21）：157-166.