張 娜，張永平

(1.宿遷高等師范學(xué)校 計算機系，江蘇 宿遷223800;2.中國礦業(yè)大學(xué) 計算機學(xué)院，江蘇 徐州221116)

0 引言

支持向量機［1－3］(Support Vector Machines，SVM )最初于20世紀(jì)90年代由Vapnik 提出，是一種新的通用機器學(xué)習(xí)方法，和傳統(tǒng)的學(xué)習(xí)方法和人工神經(jīng)網(wǎng)絡(luò)比較，因其訓(xùn)練算法的快捷、數(shù)學(xué)原理的簡要和泛化能力的優(yōu)良而備受研究者關(guān)注，能成功地應(yīng)用在分類識別、預(yù)測推算和綜合評估等領(lǐng)域，是借助最優(yōu)化方法來解決機器學(xué)習(xí)問題的新工具。

當(dāng)前，支持向量機在很多方面都得到了普遍應(yīng)用，如解決分類、回歸、異常值檢測以及時間序列預(yù)測等，在這些方面支持向量機可以表現(xiàn)出較好的優(yōu)勢和十分廣闊的應(yīng)用前景［4－5］。但是當(dāng)遇到樣本容量比較大時，它的速度將會明顯變慢，不利于在線應(yīng)用。

1 最小二乘支持向量機的概述

支持向量機算法雖然有很多優(yōu)點，但是由于它的復(fù)雜度與樣本數(shù)據(jù)相關(guān)，在樣本數(shù)據(jù)的個數(shù)很大時，用此方法求解規(guī)劃問題將會特別復(fù)雜，求解的速度也會變慢，為了解決復(fù)雜度問題J.A.K.Suykens 等人提出了最小二乘支持向量機(LS－SVM)，它是在標(biāo)準(zhǔn)的支持向量機算法上的一種改進(jìn)，具有算法簡單、易于實現(xiàn)、計算速度快等優(yōu)點，近些年來得到了較廣泛的研究和應(yīng)用。

2 最小二乘支持向量機的數(shù)學(xué)原理

對于n 維樣本向量中某范圍的樣本(x1，y1)，...，(xi，yi)∈Rn，如果想把它映射到特征空間φ(x1)中，需要使用非線性映射變量Ψ()并利用Ψ()完成該樣本從原空間到特征空間的映射。在此特征空間中的最優(yōu)函數(shù)可表示為:

以式(1)實現(xiàn)了函數(shù)在特征空間上的映射。其最小化可表示為:

其中用‖ω‖2，c，Remp 分別來表示運算中的繁雜度、誤差懲罰函數(shù)和誤差范圍函數(shù)。ξi為松弛因子用ξi的二次項值來表示LS－ SVM 在優(yōu)化目標(biāo)函數(shù)中的誤差，故優(yōu)化問題為:

用Lagrange 方法求解這個優(yōu)化問題:

其中ai(i=1，2，…，n)是Lagrange 乘子。

根據(jù)優(yōu)化條件:

此式中ai=c·ξi(φ(xi)·ω+b+ξi－ yi)=0

把核函數(shù)K(xi，xj)=φ(xi)φ(xj)定義為是滿足條件的對稱函數(shù)，那么優(yōu)化問題可以轉(zhuǎn)換為求解線性方程:

最后用最小最優(yōu)化二乘求解方法得出a 和b 的值，同時得到此預(yù)測函數(shù)為:

上式中K(xi，x)=φ(xi)·φ(x)。

3 最小二乘支持向量機的研究與應(yīng)用

LS－SVM 是在SVM 算法的基礎(chǔ)上發(fā)展與完善的，與人工智能網(wǎng)絡(luò)方法所使用的最小化經(jīng)驗風(fēng)險不同，它是利用最小化的結(jié)構(gòu)風(fēng)險法來解決問題。目前的研究中針對最小二乘支持向量機的應(yīng)用領(lǐng)域較多，對LS－SVM 的理論知識學(xué)習(xí)的較為廣泛，而對LS－ SVM 的應(yīng)用研究方面有很多有待加強與提高。常用的LS－ SVM 工具是基于Matlab 的LS－ SVM lab 工具箱［5］，它主要包括分類、回歸、時間序列預(yù)測和無監(jiān)督學(xué)習(xí)。用C 語言實現(xiàn)工具箱中代碼的編寫。在計算機系統(tǒng)中可以用linux 和windows 實現(xiàn)工具箱的使用，絕大部分的函數(shù)都能計算兩萬多個數(shù)據(jù)。

最小二乘支持向量機的工具箱有3 個版本形式，分別是:基礎(chǔ)版本，高級高級版本、在C 語言環(huán)境下運行的版本。針對算法的不同，每個版本中包含的函數(shù)也各有差異。楊奎河、單甘霖、趙玲玲等［7］為了更好地提高機械設(shè)備中故障診斷的精確度，將小波包分析與最小二乘支持向量機進(jìn)行了有機結(jié)合，提出一種故障診斷的模型，并且將此類基于最小二乘支持向量機的模型與以往的支持向量機診斷模型相比較，通過仿真實驗，最終表明新模型的性能較強，抗干擾能力優(yōu)越。劉京禮、石勇針對最小二乘支持向量機模型丟失稀疏性和魯棒性的原因，提出了使用核主成分法對樣本數(shù)據(jù)中存在的噪聲特征進(jìn)行剔除，通過與先前的增強最小二乘支持向量機模型稀疏性的方法相比較，壓縮特征對象，最終得出一個雙層L 范數(shù)最小二乘支持向量機模型(KPCA－L1－LS－SVM)，在數(shù)據(jù)集合的仿真測試中對此模型進(jìn)行測試結(jié)果表明了模型的可行性。譚玉玲［8］等通過最小二乘支持向量機的優(yōu)化指標(biāo)采用法，從而取代一般支持向量機的不等式約束，為了減少計算的繁瑣和復(fù)雜，是速度有更高提升，將二次規(guī)劃問題轉(zhuǎn)化為線性方程組求解，最終用于柴油機故障診斷，并取得成功。駱嘉偉，蘇涵沐，陳濤［9］在LS－SVM 密度的基礎(chǔ)上提出新的隸屬度設(shè)計方法，使樣本之間的距離計算發(fā)生改變，對于每個樣本而言，都可以生成一個閾值與之相對應(yīng)，這樣既增加了分類速度同時也提高了樣本的抗噪聲能力。張艦、彭啟琮等［10］主要研究了LS－SVM 在處理非線性均衡性能時的有效性問題。通過與通信中的非線性均衡問題相比較，研究了使用LS－SVM 事先均衡性的問題，并且結(jié)合了信息的非線性與噪聲干擾性，通過同最優(yōu)貝葉斯均衡器性能的比較，顯示了LS－SVM 處理非線性均衡問題更有效更快捷。由于LS－ SVM 算法使用誤差和平方損失函數(shù)和等式約束，將優(yōu)化問題轉(zhuǎn)化為求解一組線性方程，因而加快了訓(xùn)練過程，使其能夠很好地應(yīng)用到實際通信系統(tǒng)中。姜斌、王宏強、付耀等［11］利用LS－SVM 對海雜波混沌序列進(jìn)行預(yù)測。最后進(jìn)行了計算機實驗，仿真結(jié)果證明了該方法具有較高的預(yù)測精度。

另外，最小二乘支持向量機可以應(yīng)用于短期電力負(fù)荷的研究中。針對短期電力負(fù)荷中的研究對象不確定性和多變量復(fù)雜性［12］，利用LS－SVM 方法可以提高短期電力負(fù)荷的預(yù)測性和泛化性，所以對于電力系統(tǒng)的預(yù)測來說LS－SVM 算法是種較為有效的方法。

4 結(jié) 語

最小二乘支持向量機用最小二乘線性系統(tǒng)作為損失函數(shù)取代支持向量機中的二次規(guī)劃方法，將不等式約束條件變?yōu)榈仁郊s束，從而將二次規(guī)劃問題轉(zhuǎn)變?yōu)榫€性方程組的求解，提高了求解問題的速度和收斂精度。本文通過數(shù)學(xué)理論和研究應(yīng)用方面對最小二乘支持向量機進(jìn)行具體的闡述，結(jié)果表明最小二乘支持向量機擁有更好的泛化能力，更為簡化計算過程，更加精確的計算結(jié)果，更少量的內(nèi)存空間。和標(biāo)準(zhǔn)支持向量機相比較，最小二乘支持向量機是個很有前途的研究領(lǐng)域，未來將被應(yīng)用的更多的科學(xué)領(lǐng)域。

［1］Vapnik V.Statistical Learning Theory［M］.New York:John Wiley＆Sons，1998.

［2］Vapnik V.統(tǒng)計學(xué)習(xí)理論的本質(zhì)［M］.北京:清華大學(xué)出版社，2000.

［3］J Cortes C，Vapnik.Suplm rt－ vector networks［J］.Machine Learning，1995，20 (3):273－297.

［4］J Burges C J C.Atutorial on support vector machines for pattern recognition［J］.Know ledge D iscoveR and Data M ining，1998，2(2):121－167.

［5］PontilM，Verri A.Support Vector Machines for 3－Dob－ject Recognition［J］.IEEE Trans on Pattern AnalM achineIntell1，1998，20(2):637－646.

［6］閻威武，邵惠鶴.支持向量機和最小二乘支持向量機的比較及應(yīng)用研究［J］.控制與決策，2003，18 (3):358－360.

［7］楊奎河，單甘霖，趙玲玲.最小二乘支持向量機在故障診斷中的應(yīng)用［J］.計算機科學(xué)，2007，34 (1):289－291.

［8］譚玉玲.最小二乘支持向量機方法在農(nóng)用柴油機故障診斷中的應(yīng)用研究［J］.安徽農(nóng)業(yè)科學(xué)，2009，37(22):10698－10699.

［9］駱嘉偉，蘇涵沐，陳濤.基于最小二乘模糊支持向量機的基因分類研究［J］.計算機應(yīng)用研究，2010，27(2).

［10］張艦，彭啟琮，邵甜鴿.基于最小二乘支持向量機的非線性均衡［J］.計算機工程與用，2007，43 (13):92－95.

［11］姜斌，王宏強，付耀，等.基于LS－ SVM 的海雜波混沌預(yù)測［J］.自然科學(xué)進(jìn)展，2007，17 (3):415－420.

［12］楊延西，劉丁.基于小波變換和最小二乘支持向量機的短期電力負(fù)荷預(yù)測［J］.電網(wǎng)技術(shù)，2005，29(13):60－64