王定成，趙友志，陳北京，陸一祎

(南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，南京 210044) (*通信作者電子郵箱dcwang2005@126.com)

多輸出數(shù)據(jù)依賴核支持向量回歸快速學(xué)習(xí)算法

王定成*，趙友志，陳北京，陸一祎

(南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，南京 210044) (*通信作者電子郵箱dcwang2005@126.com)

針對(duì)基于遞推下降法的多輸出支持向量回歸算法在模型參數(shù)擬合過(guò)程中收斂速度慢、預(yù)測(cè)精度低的情況，使用一種基于秩2校正規(guī)則且具有二階收斂速度的修正擬牛頓算法(BFGS)進(jìn)行多輸出支持向量回歸算法的模型參數(shù)擬合，同時(shí)為了保證模型迭代過(guò)程中的下降量和全局收斂性，應(yīng)用非精確線性搜索技術(shù)確定步長(zhǎng)因子。通過(guò)分析支持向量機(jī)(SVM)中核函數(shù)的幾何結(jié)構(gòu)，構(gòu)造數(shù)據(jù)依賴核函數(shù)替代傳統(tǒng)核函數(shù)，生成多輸出數(shù)據(jù)依賴核支持向量回歸模型。將模型與基于梯度下降法、修正牛頓法擬合的多輸出支持向量回歸模型進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，在200個(gè)樣本下該算法的迭代時(shí)間為72.98 s，修正牛頓法的迭代時(shí)間為116.34 s，遞推下降法的迭代時(shí)間為2 065.22 s。所提算法能夠減少模型迭代時(shí)間，具有更快的收斂速度。

數(shù)據(jù)依賴核；多輸出支持向量回歸；最優(yōu)化算法；擬牛頓算法

支持向量回歸是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法[1]，近年來(lái)由于機(jī)器學(xué)習(xí)的熱潮，得到了廣泛應(yīng)用。傳統(tǒng)支持向量回歸算法在處理具有多輸出問(wèn)題時(shí)通常采用針對(duì)單輸出構(gòu)造回歸模型，未考慮到輸出變量之間相關(guān)性，影響預(yù)測(cè)精度和收斂速度，因此，構(gòu)建具有多輸出支持向量回歸算法具有重要的意義。文獻(xiàn)[2-4]介紹了多輸出支持向量回歸算法在解決實(shí)際問(wèn)題中的表現(xiàn)。

支持向量回歸求解的問(wèn)題最終都將轉(zhuǎn)化成最優(yōu)化問(wèn)題，而最優(yōu)化問(wèn)題中無(wú)約束優(yōu)化問(wèn)題[5-6]涉及的數(shù)學(xué)模型更多、更容易求解、解法可以應(yīng)用于有約束最優(yōu)化問(wèn)題，因而得到更廣泛的研究與應(yīng)用。無(wú)約束最優(yōu)化問(wèn)題的求解方法有很多種，主要有遞推下降法、牛頓法、修正牛頓法、共軛梯度法和擬牛頓法[7]。遞推下降法結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小，但具有一階收斂速度且依賴于初始值及步長(zhǎng)的選取，靠近極值點(diǎn)時(shí)容易產(chǎn)生局部震蕩；牛頓法及其改進(jìn)牛頓法雖然具有二階收斂速度，但在迭代過(guò)程中每一次構(gòu)造搜索方向時(shí)需要先計(jì)算目標(biāo)函數(shù)的Hessian矩陣，再去求解線性方程組，計(jì)算量大且在Hessian矩陣不正定時(shí)不能產(chǎn)生正確的下降方向作為算法的迭代方向；共軛梯度法雖然計(jì)算簡(jiǎn)單，收斂速度也比遞推下降法提高了很多，但是全局收斂性無(wú)法得到保證；因此使用近似Hessian矩陣計(jì)算迭代方向的擬牛頓算法[8]自提出以來(lái)就被廣泛的研究，是目前求解無(wú)約束最優(yōu)化問(wèn)題最成熟有效的解法之一，因此，本文研究修正的擬牛頓法結(jié)合非精確線搜索技術(shù)解決多輸出數(shù)據(jù)依賴核支持向量回歸算法。

1 多輸出數(shù)據(jù)依賴核SVR算法

1.1 多輸出支持向量回歸算法

多輸出支持向量回歸(Multidimensional Support Vector Regression, MSVR)[9]是將單輸出推廣到多輸出。假設(shè)給定樣本數(shù)據(jù):

T={(xi,yi)|xi∈Rn,yi∈Rm,i=1,2,…,l}

(1)

建立輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的回歸函數(shù):

f(xi)=W·φ(xi)+B

(2)

其中：φ(xi)中表示非線性映射函數(shù)，W是由權(quán)向量構(gòu)成的行列式，W=[w1T,w2T,…，wnT]T∈Rm×n，B是由實(shí)數(shù)構(gòu)成的向量，B=[b1,b2,…，bn]T∈Rn。

由最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和輸出誤差原則，將MSVR問(wèn)題直接轉(zhuǎn)化為二次規(guī)劃問(wèn)題:

s.t.‖yi-W·φ(xi)-B‖≤ε+ξi;ξi≥0

(3)

其中：ξi是xi的松弛變量，C為懲罰因子。由于式(3)中的不等式約束條件不是仿射函數(shù)，引入定義在超球面上的ε二次不敏感損失函數(shù):

(4)

將式(4)代入式(3)可將MSVR轉(zhuǎn)化為無(wú)約束最優(yōu)化問(wèn)題：

(5)

1.2 數(shù)據(jù)依賴核函數(shù)

針對(duì)MSVR問(wèn)題引入數(shù)據(jù)依賴核方法[10]優(yōu)化模型參數(shù)，相對(duì)于傳統(tǒng)核優(yōu)化算法，數(shù)據(jù)依賴核方法能夠改變?cè)紨?shù)據(jù)在映射空間的幾何結(jié)構(gòu)，因此具有更好的表現(xiàn)。

通常人們根據(jù)問(wèn)題和樣本數(shù)據(jù)的不同，多靠經(jīng)驗(yàn)選擇不同的核函數(shù)。常用的核函數(shù)有多項(xiàng)式核、高斯核和線性核等，但這些核函數(shù)對(duì)于不同的樣本數(shù)據(jù)都是固定的，并未考慮到實(shí)際數(shù)據(jù)中的噪聲等干擾，因此根據(jù)具體數(shù)據(jù)構(gòu)造相應(yīng)的核函數(shù)在參數(shù)優(yōu)化過(guò)程中能夠有更好的表現(xiàn)。

由Amari等[11]提出的數(shù)據(jù)依賴核通過(guò)修改空間幾何結(jié)構(gòu)中的內(nèi)核方法來(lái)提高核函數(shù)效果，同時(shí)提出共形變換c(x)，對(duì)傳統(tǒng)核函數(shù)進(jìn)行保角變換，確保數(shù)據(jù)間的角度在映射空間不會(huì)發(fā)生變化，得到如下公式：

(6)

1.3 基于數(shù)據(jù)依賴核的MSVR模型

由1.1節(jié)推導(dǎo)可知，MSVR算法的求解主要在于解決模型中W和B參數(shù)。通過(guò)對(duì)式(5)求偏導(dǎo)并令其導(dǎo)數(shù)為0可得函數(shù)：

(7)

其中βaug為簡(jiǎn)化函數(shù)的自定義變量，定義：

(8)

由式(8)可得：

(9)

求解過(guò)程轉(zhuǎn)化為對(duì)β的求解，為了得到等式(7)的最小值，采用牛頓迭代法進(jìn)行遞歸求解β。由牛頓法的迭代公式:

(10)

其中：H為函數(shù)關(guān)于β的一階導(dǎo)數(shù)，G為函數(shù)關(guān)于β的二階導(dǎo)數(shù)，α為函數(shù)迭代過(guò)程中的步長(zhǎng)因子。最后將式(6)代表的數(shù)據(jù)依賴核函數(shù)代入式(7),可得最終的模型：

(11)

對(duì)式(11)求解，滿足‖yi-KiTβaug‖>ε的點(diǎn)即為支持向量點(diǎn)。最后通過(guò)求解的βi來(lái)計(jì)算原始模參數(shù)W和B，得到最終的回歸模型。

2 快速學(xué)習(xí)算法

2.1 基于數(shù)據(jù)依賴核的MSVR最優(yōu)化算法

2.2Armijo準(zhǔn)則確定步長(zhǎng)

線搜索技術(shù)分為精確線搜索和非精確線搜索，主要區(qū)別在于步長(zhǎng)的確定方式。對(duì)于非精確線搜索，只需要保證步長(zhǎng)αk使得目標(biāo)函數(shù)得到可接受的下降量，即:

Δfk=f(xk)-f(xk+αkdk)>0

(12)

就能使最終的迭代序列收斂，其中Armijo準(zhǔn)則是一種不需要計(jì)算較多函數(shù)值和梯度值的非精確線搜索算法。

Armijo準(zhǔn)則 已知當(dāng)前迭代點(diǎn)xk和迭代的方向dk，給定β∈(0,0.5)，σ∈(ρ,1)。令步長(zhǎng)因子αk=βmk，其中mk為滿足式(13)的最小非負(fù)整數(shù)。

f(xk+βmdk)≤f(xk)+δβmgkTdk

(13)

由式(13)可確定下一個(gè)迭代點(diǎn)xk+1=xk+αdk。

2.3 擬牛頓法選擇迭代方向

2.3.1 經(jīng)典牛頓法

牛頓法利用目標(biāo)函數(shù)的二階導(dǎo)數(shù)信息，用二次曲面擬合局部曲面，具有二階收斂速度。其基本思想是用迭代點(diǎn)xk處的一階導(dǎo)數(shù)gk和二階導(dǎo)數(shù)Gk對(duì)目標(biāo)函數(shù)進(jìn)行二次近似，然后把二次模型的極小點(diǎn)作為新的迭代點(diǎn)，其推導(dǎo)過(guò)程如式(14)～(16)。

將目標(biāo)函數(shù)f(x)在xk處進(jìn)行二次Taylor展開:

(14)

對(duì)x求導(dǎo)，令其導(dǎo)數(shù)為0求其穩(wěn)定:點(diǎn)

▽T=gk+Gk(x-xk)=0

(15)

當(dāng)Hessian矩陣Gk非奇異時(shí),式(15)可求解，其解為式(16)所示:

(16)

式(16)即為牛頓法的迭代公式。

由上述推導(dǎo)過(guò)程可以看出牛頓法在求解過(guò)程中需要存儲(chǔ)二階導(dǎo)數(shù)信息和計(jì)算目標(biāo)函數(shù)的Hessian矩陣，且無(wú)法保證Hessian矩陣在迭代的過(guò)程中始終處于正定狀態(tài)，所產(chǎn)生的方向就不一定是目標(biāo)函數(shù)在xk處的下降方向。

2.3.2 修正的BFGS算法

牛頓法計(jì)算Hessian矩陣工作量大，并且目標(biāo)函數(shù)的Hessian矩陣不一定存在，因此利用目標(biāo)函數(shù)f和其一階導(dǎo)數(shù)信息構(gòu)造目標(biāo)函數(shù)的曲率近似的擬牛頓法[12]在解決實(shí)際問(wèn)題中收斂速度更快。近似牛頓法的基本思想是用Hessian矩陣Gk的某個(gè)近似矩陣Bk取代Gk，使算法產(chǎn)生的方向近似于牛頓方向。

對(duì)式(14)求導(dǎo)，得g(x)≈gk+1+Gk+1(x-xk+1)，令x=xk,sk=xk+1-xk,yk=gk+1-gk，則有:

Gk+1sk≈yk

(17)

用近似矩陣Bk代替Hessian矩陣可得擬牛頓方程Bk+1sk=yk，因此搜索方向可由dk=-Hkgk確定(H為矩陣B的逆)，Bk被稱為校正規(guī)則。

擬牛頓法的關(guān)鍵在于選擇合適的校正規(guī)則。實(shí)驗(yàn)發(fā)現(xiàn)，基于秩2校正規(guī)則的修正BFGS算法在MSVR模型參數(shù)擬合過(guò)程中具有更好的表現(xiàn)。對(duì)于Armijo搜索準(zhǔn)則來(lái)說(shuō)，不能滿足當(dāng)skTyk>0時(shí)，Bk正定，則Bk+1也正定。修正的更新公式為：

(18)

結(jié)合Armijo準(zhǔn)則，算法迭代過(guò)程如下：

步驟1 給定參數(shù)δ∈(0,1),σ∈(0,0.5)，初始點(diǎn)x0∈R，終止誤差0≤ε<1。初始對(duì)稱正定矩陣H0(通常取G(x0)-1或單位陣In)。令k←0；

步驟2 計(jì)算gk=▽f(xk)。若‖gk‖≤ε，停止迭代，輸出x*≈xk；

步驟3 計(jì)算搜索方向dk=-Hkgk；

步驟4 記mk是滿足式(13)的最小非負(fù)整數(shù)m；

步驟5 由上式校正公式確定Hk+1；

步驟6k←k+1，轉(zhuǎn)步驟2。

2.4 算法在MSVR-DDK模型中的應(yīng)用

將修正的BFGS算法應(yīng)用到MSVR，結(jié)合Armijo準(zhǔn)則確定搜索步長(zhǎng)，多輸出數(shù)據(jù)依賴核支持向量回歸模型參數(shù)擬合過(guò)程如下：

步驟1 初始化β、δ、σ和H0，根據(jù)輸入樣本與數(shù)據(jù)依賴核函數(shù)計(jì)算K；

步驟2 計(jì)算‖yi-KiTβaug‖>ε的點(diǎn)，找出支持向量；

步驟3 將訓(xùn)練集重新排序，所有支持向量點(diǎn)前置；

步驟4 計(jì)算一階偏導(dǎo)gk，若‖gk‖≤ε，停止迭代，輸出βk；

步驟5 計(jì)算步長(zhǎng)和搜索方向dk=-Hkgk；

步驟6 計(jì)算βk+1，βk+1=βk-αH-1G。

步驟7 由校正公式更新Hk+1，返回步驟2。

3 仿真實(shí)驗(yàn)

考慮到多輸出數(shù)據(jù)依賴核模型的輸入數(shù)據(jù)之間的關(guān)聯(lián)性，采用相互關(guān)聯(lián)模型式(19)構(gòu)造樣本數(shù)據(jù)：

(19)

其中:x為樣本的輸入，y1、y2為相互關(guān)聯(lián)的二維輸出。以0.01為間隔，根據(jù)式(19)從-1到1共產(chǎn)生200個(gè)樣本點(diǎn)。其中前150個(gè)點(diǎn)作為訓(xùn)練數(shù)據(jù)，后50個(gè)點(diǎn)作為測(cè)試數(shù)據(jù)，選取C為10，ε為0.1。樣本數(shù)據(jù)的分布如圖1所示。

圖1 MSVR-DDK的樣本數(shù)據(jù)分布

利用MSVR算法針對(duì)樣本數(shù)據(jù)建立模型，分別選取不同的初始核函數(shù)優(yōu)化數(shù)據(jù)依賴核函數(shù)生成基于數(shù)據(jù)依賴核的多輸出支持向量回歸(Multi-outputSupportVectorRegressionwithData-DependentKernel,MSVR-DDK)模型。最后分別使用遞推下降法、牛頓法、修正的擬牛頓法進(jìn)行模型參數(shù)的擬合，并比較算法的迭代時(shí)間。比較結(jié)果如圖2、3所示。

經(jīng)典牛頓法并不能保證在迭代過(guò)程中目標(biāo)函數(shù)的Hessian矩陣都是正定的，因此確定的優(yōu)化方向并不一定是下降方向，且在Hessian矩陣奇異時(shí)算法無(wú)法進(jìn)行下去。為了保證實(shí)驗(yàn)結(jié)果具有可對(duì)比性，迭代過(guò)程中對(duì)牛頓法進(jìn)行了修正，修正思想為：在Hessian矩陣正定時(shí)，采用牛頓法計(jì)算優(yōu)化方向，否則采用負(fù)梯度方向作為優(yōu)化方向，保證了牛頓法在迭代過(guò)程中最終能夠收斂。由圖2和圖3可知，在選用多項(xiàng)式核作為數(shù)據(jù)依賴核的初始核函數(shù)進(jìn)行樣本訓(xùn)練時(shí)，梯度下降法的迭代時(shí)間是修正牛頓法和修正BFGS算法的數(shù)十倍，修正的BFGS算法與修正牛頓法在樣本數(shù)目較少的情況下迭代時(shí)間相差不大，但是隨著樣本數(shù)據(jù)增多時(shí)間差距被逐漸放大。圖4給出三個(gè)算法的對(duì)比結(jié)果。

圖2 修正BFGS算法與梯度下降法迭代時(shí)間比較

圖3 修正BFGS算法與修正牛頓法迭代時(shí)間比較

圖4 梯度下降法、修正BFGS算法與修正牛頓法對(duì)比

由圖4可知，修正的BFGS算法在多輸出數(shù)據(jù)依賴核支持向量回歸算法的迭代過(guò)程中具有最短的迭代時(shí)間。

為進(jìn)一步提升算法的效率，分別采用多項(xiàng)式核、線性核、RBF核作為數(shù)據(jù)依賴核函數(shù)的初始核函數(shù)，比較BFGS算法的實(shí)驗(yàn)結(jié)果，如圖5所示。

由圖5可以看出，選取多項(xiàng)式核作為初始核函數(shù)可使算法獲得更少的迭代時(shí)間。

為了定量評(píng)價(jià)實(shí)驗(yàn)結(jié)果，定義樣本迭代速率SIR:

SIR=N/t

(20)

其中，t為算法的迭代時(shí)間；N為迭代時(shí)樣本的數(shù)目。三種方法的迭代時(shí)間如表1所示。

從表1的迭代時(shí)間可以看出，在200個(gè)樣本時(shí)，修正的BFGS算法迭代時(shí)間只有72.98s，明顯少于梯度下降法的2 065.22s和修正牛頓法的116.34s，具有較好的表現(xiàn)。

表1的迭代速率為使用式(20)定義的公式對(duì)比三種算法在不同樣本數(shù)目時(shí)的迭代速率。

從表1的迭代速率可以看出，在200個(gè)樣本時(shí)，修正的BFGS算法收斂速率明顯大于梯度下降法與牛頓法，因此證明了算法在模型中的有效性。

圖5 修正BFGS算法在不同核函數(shù)下的迭代時(shí)間

樣本數(shù)迭代時(shí)間/s梯度下降法修正牛頓法修正BFGS算法迭代速率/s-1梯度下降法修正牛頓法修正BFGS算法2037．510．740．600．5327．0233．3350120．352．931．740．4117．0628．7380259．2310．936．260．307．3112．77110593．6138．7113．570．182．848．10140776．2466．9427．540．182．095．08170931．9685．7545．100．181．983．762002065．22116．3472．980．091．712．74

4 結(jié)語(yǔ)

多輸出數(shù)據(jù)依賴核支持向量回歸結(jié)合非精確線搜索技術(shù)(Armijo準(zhǔn)則)將秩2校正公式的修正BFGS迭代算法應(yīng)用于模型參數(shù)擬合，同時(shí)將模型與基于遞推下降法、修正牛頓法擬合的MSVR模型預(yù)測(cè)結(jié)果進(jìn)行實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果表明，修正的BFGS迭代算法在模型參數(shù)擬合過(guò)程中具有更快的收斂速度。

)

[1]VAPNIKVN.TheNatureofStatisticalLearningTheory[M].NewYork:Springer, 1995: 280-292.

[2] 王定成,倪郁佳,陳北京,等.基于數(shù)據(jù)依賴核支持向量機(jī)回歸的風(fēng)速預(yù)測(cè)模型[J].南京師大學(xué)報(bào)(自然科學(xué)版),2014,37(3):15-20.(WANGDC,NIYJ,CHENBJ,etal.Awindspeedforecastingmodelbasedonsupportvectorregressionwithdatadependentkernel[J].JournalofNanjingNormalUniversity(NaturalScienceEdition), 2014, 37(3): 15-20.)

[3]YANGY,CHEND,DONGZ.Novelmulti-outputsupportvectorregressionmodelviadoubleregularization[C]//Proceedingsofthe2015IEEEInternationalConferenceonSystems,Man,andCybernetics.Piscataway,NJ:IEEE, 2015: 2697-2701.

[4] GAO F, TANG Y, LUO L. Nonlinear correction for thermocouple vacuum sensor based on multiple support vector regressions [C]// Proceedings of the 2010 International Conference on Measuring Technology and Mechatronics Automation. Washington, DC: IEEE Computer Society, 2010, 2: 781-784.

[5] 李兵.支持向量機(jī)的迭代學(xué)習(xí)算法及其應(yīng)用[D].北京：清華大學(xué)，2014.(LI B. Iterative training algorithms of support vector machines and applications [D]. Beijing: Tsinghua University, 2014.)

[6] 屈曉軍.非凸無(wú)約束優(yōu)化問(wèn)題的修正擬牛頓算法[D].長(zhǎng)沙：湖南大學(xué),2014.(QU X J. The modified quasi-Newton method for nonconvex unconstrained optimization problems [D]. Changsha: Hunan University, 2014.)

[7] 賴炎連.優(yōu)化問(wèn)題的擬牛頓算法[J].咸寧師專學(xué)報(bào),2001,21(6):1-7.(LAI Y L. Quasi-Newton methods for the optimization problem [J]. Journal of Xianning Teachers College, 2001, 21(6): 1-7.)

[8] 白華.一類新擬牛頓算法及其收斂性[D].南京:南京理工大學(xué),2006.(BAI H. A new Quasi-Newton method and its convergence [D]. Nanjing: Nanjing University of Science and Technology, 2006.)

[9] WANG D, NI Y, CHEN B, et al. Wind speed and direction predictions based on multidimensional support vector regression with data-dependent kernel [M]// Cloud Computing and Security, LNCS 9483. Berlin: Springer, 2015: 427-436.

[10] 李君寶,高會(huì)軍.基于數(shù)據(jù)依賴核函數(shù)的核優(yōu)化算法[J].模式識(shí)別與人工智能,2010,23(3):300-306.(LI J B. Data-dependent kernel function based kernel optimization algorithm [J]. Pattern Recognition and Artificial Intelligence, 2010, 23(3): 300-306.)

[11] AMARI S, WU S. Improving support vector machine classifiers by modifying kernel functions . Neural Networks, 1999, 12(6): 783-789.

[12] MOKHTARI A, RIBEIRO A. Regularized stochastic BFGS algorithm [J]. IEEE Transactions on Signal Processing, 2014, 62(23): 6089-6104.

This work is partially supported by the National Natural Science Foundation of China (61572258, 61375030), the Natural Science Foundation of Jiangsu Province (BK2012858, BK20151530).

WANG Dingcheng,born in 1967, Ph. D., professor. His research interests include intelligent computing.

ZHAO Youzhi, born in 1992. His research interests include intelligent computing.

CHEN Beijing, born in 1981, Ph. D., associate professor. His research interests include image processing.

LU Yiyi, born in 1993. Her research interests include intelligent computing.

Fast learning algorithm of multi-output support vector regression with data-dependent kernel

WANG Dingcheng*, ZHAO Youzhi, CHEN Beijing, LU Yiyi

(SchoolofComputerandSoftware,NanjingUniversityofInformationScienceandTechnology,NanjingJiangsu210044,China)

For the Multi-output Support Vector Regression (MSVR) algorithm based on gradient descent method in the process of model parameter fitting, the convergence rate is slow and the prediction accuracy is low. A modified version of the Quasi-Newton algorithm (BFGS) with second-order convergence rate based on the rank-2 correction rule was used to fit the model parameters of MSVR algorithm. At the same time, to ensure the decrease of the iterative process and the global convergence, the step size factor was determined by the non-exact linear search technique. Based on the analysis of the geometry structure of kernel function in Support Vector Machine (SVM), a data-dependent kernel function was substituted for the traditional kernel function, and the multi-output data-dependent kernel support vector regression model was generated. The model was compared with the multi-output support vector regression model based on gradient descent method and modified Newton method. The experimental results show that in the case of 200 samples, the iterative time of the proposed algorithm is 72.98 s, the iterative time of modified Newton’s algorithm is 116.34 s and the iterative time of gradient descent method is 2 065.22 s. The proposed algorithm can reduce the model iteration time and has faster convergence speed.

data-dependent kernel;multi-output support vector regression;optimization algorithm; Quasi-Newton algorithm

2016- 08- 18;

2016- 08- 23。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61572258, 61375030)；江蘇省自然科學(xué)基金資助項(xiàng)目(BK2012858, BK20151530)。

王定成(1967—)，男，安徽霍山人，研究員，博士，主要研究方向：智能計(jì)算； 趙友志(1990—)，男，江蘇宿遷人，主要研究方向：智能計(jì)算； 陳北京(1981—)，男，江西石城人，副教授，博士，主要研究方向：圖像處理； 陸一祎(1993—)，女，江蘇南通人，主要研究方向：智能計(jì)算。

1001- 9081(2017)03- 0746- 04

10.11772/j.issn.1001- 9081.2017.03.746

TP181

A