陳 博， 鄭凱東， 王家華

(西安石油大學(xué) 計算機學(xué)院， 西安 710065)

0 引 言

支撐向量機(SVM)是一種實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化和VC理論的學(xué)習(xí)方法,于1995年首次引入(Cortes and Vapnik，1995)。由于支撐向量機在文本分類中顯示出了卓越的性能(Joachims，1998)，很快就成為了機器學(xué)習(xí)的主流技術(shù)。支持向量機有2個主要類別：支持向量分類(SVC)和支持向量回歸(SVR)[1]。SVM是一種使用高維特征空間的學(xué)習(xí)方法,其在支撐向量的子集上擴展預(yù)測函數(shù)。SVM可以通過很少的支持向量推廣復(fù)雜的灰度級結(jié)構(gòu)，從而為圖像壓縮提供了一種新的機制[2]。1997年，Vapnik、Steven Golowich和Alex Smola 提出了一種SVM用于回歸的版本。該方法稱為支持向量回歸(SVR)。是支撐向量機最常見的應(yīng)用形式。

傳統(tǒng)的統(tǒng)計回歸過程通常是得到一個函數(shù)f(x)的過程,這個函數(shù)對于所有實驗樣本預(yù)測和實驗觀察到的數(shù)據(jù)之間具有最小誤差。支撐向量回歸(SVR)的一個主要特點是,其不是用來最小化觀察到的訓(xùn)練誤差,而是嘗試最小化泛化誤差邊界,從而實現(xiàn)泛化性能。

1 支撐向量回歸

1.1 線性支撐向量回歸

一般的回歸估計可以表述為如下問題,給定輸入樣本 {(x1,y1),(x2,y2),...,(xl,yl)},x∈R,其中,x代表輸入空間,y代表對應(yīng)目標數(shù)據(jù),回歸估計的目標是去尋找一個函數(shù)y=f(x),使得函數(shù)對于所有輸入數(shù)據(jù)x與實際獲得的目標y數(shù)據(jù)具有最小的誤差,并且盡可能平滑。其中f(x)可以表達為如下形式：

f(x)=ωx+bx∈Rb∈R

(1)

與傳統(tǒng)回歸方法不同的是，支撐向量回歸是假設(shè)可以容忍f(x)與y之間最多有ε的偏差，即僅當(dāng)f(x)與y之間差別的絕對值大于ε時才計算損失。如圖1所示，以f(x)為中心，構(gòu)建一個寬度為2ε的間隔帶，若訓(xùn)練樣本落入次間隔帶，則認為是被預(yù)測正確的。要使公式(1)更加平滑,則意味著要最小化ω。為此,需要最小化歐幾里得范數(shù),即‖ω‖2,所以該問題可以轉(zhuǎn)化為凸優(yōu)化問題,表達如下：

s.t.yi-ωx-b≤ε

ωx+b-yi≤ε

(2)

在一些情況下,誤差是允許存在的,不可能對所有訓(xùn)練數(shù)據(jù)都有極高的精度,為此,可以引入松弛向量ξ處理那些不符合要求的樣本,公式可以轉(zhuǎn)換為：

s.t.yi-ωx-b≤ε+ξi

(3)

其中,C為正則化參數(shù),用來平衡模型的復(fù)雜度與訓(xùn)練誤差,SVR一般使用ε不敏感損失函數(shù)。如圖2所示,其定義為：

(4)

引入拉格朗日乘子,得到該問題的對偶形式:

(5)

(6)

1.2 非線性支撐向量回歸

實際應(yīng)用中,大多數(shù)的訓(xùn)練樣本都為高維向量,是線性不可分的。求解公式(6)中涉及到計算輸入向量x在特征空間的內(nèi)積。由于特征空間維數(shù)可能很高，甚至可能是無窮維。因此直接計算內(nèi)積是非常困難的。為了避開這個問題，可以設(shè)想如下函數(shù)：

K(xi,xj)=〈φ(xi),φ(xj)〉=(xi·xj)

(7)

圖1 支撐向量回歸示意圖

圖2 ε-不敏感損失函數(shù)

即xi與xj在特征空間的內(nèi)積等于它們在原始樣本空間中通過函數(shù)k()計算的結(jié)果。有了這樣的函數(shù)，就不必直接去計算高維甚至無窮特征空間中的內(nèi)積。這樣的函數(shù)稱為核函數(shù)。于是，引入核函數(shù)，將原優(yōu)化問題轉(zhuǎn)換為：

(8)

對偶問題轉(zhuǎn)化為：

(9)

支撐向量回歸模型為

(10)

2 多核支撐向量回歸學(xué)習(xí)

2.1 介紹

由于近些年來支撐向量機和支撐向量回歸方法的發(fā)展。極大地提高了核函數(shù)領(lǐng)域的研究。核函數(shù)的使用,使得支撐向量算法可以由線性不可分問題轉(zhuǎn)換為線性可分問題,使其快速應(yīng)用到諸多領(lǐng)域。2008年，黎銘等人提出了基于多核集成的在線半監(jiān)督學(xué)習(xí)方法。之后，牟少敏等人提出了一種基于協(xié)同聚類的多核學(xué)習(xí)方法。2010年，韓彥軍等人提出了一種基于多核學(xué)習(xí)的雙稀疏關(guān)系學(xué)習(xí)算法，隨著理論研究的逐漸深入，核方法的使用有效地改進了許多學(xué)習(xí)算法的性能，極大地擴展了這些算法在文本分類、儲層建模、疾病診斷、圖像劃分、計算機視覺、目標檢測以及醫(yī)療成像分析等領(lǐng)域的應(yīng)用[3]。傳統(tǒng)的支撐向量回歸方法,往往使用單個核函數(shù)。核函數(shù)的選擇直接決定了支撐向量回歸的最終性能。由于不同的核函數(shù)具有不同的特性,所以,在使用單個核函數(shù)時,往往模型的性能會各不相同。如常見的核函數(shù)有高斯核函數(shù)、線性核函數(shù)、多項式核等[4]。

此外,當(dāng)樣本特征含有異構(gòu)信息、樣本規(guī)模很大,多維數(shù)據(jù)的不規(guī)則、或者數(shù)據(jù)在高維特征空間分布不平坦、模型采用單個核函數(shù)進行數(shù)據(jù)映射并不合理。所以,近些年來,人們嘗試使用不同的核函數(shù)組合來對應(yīng)不同的相似性概念或者多個來源的信息,即多核學(xué)習(xí)方法。

2.2 核方法

由公式(9)可看出，給定一個回歸模型,其中,x代表輸入向量,y代表輸出向量，若不考慮偏移項b，在線性不可分的情況下，學(xué)得的模型總可以表示成核函數(shù)K(xi,xj)的線性組合。則輸入向量x可以通過一個非線性映射將數(shù)據(jù)映射到高維特征空間。然后,在高維特征空間中,將原有的線性不可分問題轉(zhuǎn)換為線性可分問題進行求解。非線性映射表達如下：

x→φ(x)

(11)

將輸入數(shù)據(jù)映射到一個新的特征空間后, 原有的模型學(xué)習(xí)轉(zhuǎn)變?yōu)椋?/p>

(φ(x1),y1), (φ(x2),y2),…,(φ(xl),yl)

(12)

由于超平面可以表示為所有訓(xùn)練樣本在高維特征空間中與測試樣本內(nèi)積的線性組合, 而核函數(shù)可以把非線性映射和內(nèi)積計算2個過程結(jié)合起來。從而降低了在高維空間中計算內(nèi)積的復(fù)雜度,避免了維數(shù)災(zāi)難。常用的核函數(shù)如下：

線性核：

(13)

多項式核：

(14)

高斯核：

(15)

2.3 多核學(xué)習(xí)

有些情況下,樣本規(guī)模很大或者數(shù)據(jù)含有異構(gòu)信息,即數(shù)據(jù)來自于不同的數(shù)據(jù)源,例如在儲層建模領(lǐng)域，Demyanov已經(jīng)證明了半監(jiān)督支撐向量回歸(支撐向量機的擴展)方法有能力，在流體環(huán)境中將巖石物性轉(zhuǎn)換為模型分布，但在高維空間里計算線性回歸，對數(shù)據(jù)映射使用單一的核，會使復(fù)制多尺度、不穩(wěn)定結(jié)構(gòu)變得復(fù)雜，不能精確反映出數(shù)據(jù)的相關(guān)性。盡管這種復(fù)雜性在一定程度上是可以使用未跟蹤數(shù)據(jù)的半監(jiān)督學(xué)習(xí)來解決的,但是卻不能在多重尺度的精確反映出相關(guān)性。所以，多核學(xué)習(xí)逐漸成為當(dāng)下研究的熱點。

2004年,Lanckriet提出使用多個核函數(shù)的最優(yōu)線性凸組合來替代單核,即多核學(xué)習(xí)。多核學(xué)習(xí)(MKL)現(xiàn)在已經(jīng)作為一個特征選擇技術(shù)使用到不同的應(yīng)用中。例如，Tuia et.al使用MKL從衛(wèi)星圖中選擇相關(guān)特征。Takashima et.al使用MKL從聲源定位中尋找聲音轉(zhuǎn)移函數(shù)的相關(guān)光譜維度。隨后，Dileep et.al更詳細的解釋了MKL特征選擇理論，并把其應(yīng)用到圖像分類當(dāng)中，且多核SVR已經(jīng)被應(yīng)用到放射性映射和模擬風(fēng)場當(dāng)中。多核學(xué)習(xí)可表示為如下形式：

(16)

其中，θm代表單核的各個內(nèi)部參數(shù);dm代表每個核權(quán)重;M為核函數(shù)的個數(shù)。多重核方程可以靈活地代替曾使用的輸入特征、核的超參數(shù)和數(shù)量。每個核函數(shù)可能使用不同的特征來描述來自不同數(shù)據(jù)源的特征,所以與單核學(xué)習(xí)不同的是,原有的模型優(yōu)化問題轉(zhuǎn)化為核權(quán)重d的選擇問題,因此,需要在單核中同時學(xué)習(xí)系數(shù)θ和權(quán)重d。圖3所示就是多核支撐向量回歸學(xué)習(xí)過程圖。

圖3 多核支撐向量回歸過程

3 總結(jié)與展望

如前文所述，文章針對支撐向量回歸，多核學(xué)習(xí)的概念、算法以及應(yīng)用做出了研究綜述。多核支撐向量回歸方法，在模式識別等諸多領(lǐng)域都有大量的理論分析和成功應(yīng)用。由于單核支撐向量回歸所存在的模型精度不高的弊端，多核支撐向量回歸方法已經(jīng)成為當(dāng)下機器學(xué)習(xí)的研究熱點。在解決一些復(fù)雜問題時，如數(shù)據(jù)異構(gòu)、輸入數(shù)據(jù)維度較高，多核支撐向量回歸模型會具有更高的精度?？梢灶A(yù)見，多核學(xué)習(xí)必將在支撐向量機、支撐向量回歸等方面得到不斷推廣。

基于支撐向量回歸的多核學(xué)習(xí)現(xiàn)如今已經(jīng)得到了各個領(lǐng)域的普遍認可，必將成為一種有效的回歸分析工具。但當(dāng)前的學(xué)習(xí)方法，仍然存在一些未解決的問題。阻礙了多核支撐向量回歸學(xué)習(xí)的進一步發(fā)展。

(1)當(dāng)產(chǎn)生新的核函數(shù)時，其滿足Mercer條件，該如何與之前所使用的核函數(shù)進行融合。

(2)如何處理和多個核函數(shù)的之間的關(guān)系，也就是當(dāng)使用多核支撐向量回歸模型時，確定模型系數(shù)的主要步驟是反復(fù)學(xué)習(xí)支撐向量回歸模型，這極大地降低了學(xué)習(xí)效率。

(3)多核支撐向量回歸模型擁有諸多參數(shù)，如超參數(shù)C、敏感損失函數(shù)ε、核帶寬參數(shù)σ，良好的參數(shù)可以很大程度上減少模型的訓(xùn)練時間，所以，尋找模型參數(shù)的最優(yōu)組合也是一大研究熱點。

這些問題的存在，使得多核支撐向量回歸學(xué)習(xí)研究的道路依然任重而道遠。