王琴　沈遠(yuǎn)彤

基于壓縮感知的多尺度最小二乘支持向量機(jī)

王琴1沈遠(yuǎn)彤2

提出一種基于壓縮感知（Compressive sensing，CS）和多分辨分析（Multi-resolution analysis，MRA）的多尺度最小二乘支持向量機(jī)（Least squares support vector machine，LS-SVM）.首先將多尺度小波函數(shù)作為支持向量核，推導(dǎo)出多尺度最小二乘支持向量機(jī)模型，然后基于壓縮感知理論，利用最小二乘匹配追蹤（Least squares orthogonal matching pursuit，LS-OMP）算法對(duì)多尺度最小二乘支持向量機(jī)的支持向量進(jìn)行稀疏化，最后用稀疏的支持向量實(shí)現(xiàn)函數(shù)回歸.實(shí)驗(yàn)結(jié)果表明，本文方法利用不同尺度小波核逼近信號(hào)的不同細(xì)節(jié)，而且以比較少的支持向量能達(dá)到很好的泛化性能，大大降低了運(yùn)算成本，相比普通最小二乘支持向量機(jī)，具有更優(yōu)越的表現(xiàn)力.

最小二乘支持向量機(jī)，壓縮感知，多尺度小波核，稀疏化，函數(shù)回歸

引用格式王琴，沈遠(yuǎn)彤.基于壓縮感知的多尺度最小二乘支持向量機(jī).自動(dòng)化學(xué)報(bào)，2016，42（4）:631?640

支持向量機(jī)（Support vector machine，SVM）［1］是在統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展起來(lái)的一種實(shí)用方法，是專(zhuān)門(mén)針對(duì)小樣本情況下機(jī)器學(xué)習(xí)問(wèn)題而建立起來(lái)的一套新的理論體系，基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域占有非常重要的地位.最小二乘支持向量機(jī)（Least squares support vector machine，LS-SVM）［2］采用誤差平方和作為訓(xùn)練集的經(jīng)驗(yàn)損失，將SVM的二次規(guī)劃問(wèn)題轉(zhuǎn)換為求解線(xiàn)性方程組的問(wèn)題.LS-SVM不僅比標(biāo)準(zhǔn)SVM需要調(diào)整的參數(shù)少，而且計(jì)算更簡(jiǎn)單.如今LS-SVM已經(jīng)廣泛地應(yīng)用于隧道的可靠性分析［3］、天然氣密度的確定［4］等領(lǐng)域.然而LS-SVM沒(méi)有體現(xiàn)支持向量的稀疏性，這樣會(huì)降低標(biāo)準(zhǔn)SVM的泛化能力.最近，Yang等［5］提出一種新穎的LS-SVM算法，把壓縮感知（Compressive sensing，CS）理論與LS-SVM中的線(xiàn)性方程結(jié)合起來(lái)，將核矩陣作為字典，在訓(xùn)練的過(guò)程中，對(duì)支持向量進(jìn)行稀疏處理，取得較好的效果.

支持向量機(jī)的非線(xiàn)性處理能力是通過(guò)“核映射”的方法將輸入空間的數(shù)據(jù)映射到高維空間來(lái)實(shí)現(xiàn)的.核技巧是支持向量機(jī)的重要組成部分，目前已有許多核函數(shù)得到普遍使用，并且也表現(xiàn)出良好性能，例如高斯核函數(shù).2004年，Zhang等［6］研究了由Morlet母小波構(gòu)造的小波核，由于小波基具有良好的時(shí)頻局部特性，且通過(guò)平移伸縮即能生成L2（Rd）上的一組完備基，因此將小波基作為核函數(shù)可以使分類(lèi)支持向量機(jī)逼近任意分類(lèi)面，回歸支持向量機(jī)逼近任意的目標(biāo)函數(shù).然而目前的LS-SVM僅僅在單尺度小波空間上對(duì)信號(hào)進(jìn)行逼近，沒(méi)有充分利用小波多分辨的特性，而實(shí)際應(yīng)用中往往碰到的是多尺度信號(hào)，因此使用多尺度小波基作為核函數(shù)更能體現(xiàn)信號(hào)的不同細(xì)節(jié).

本文提出了一種基于 CS［7］和多分辨分析（Multi-resolution analysis，MRA）［8］的多尺度LSSVM.首先將小波分解得到的多尺度小波基作為支持向量核函數(shù)，得到多尺度LS-SVM模型，然后基于壓縮感知理論，在不降低多尺度LS-SVM表現(xiàn)能力的前提下，對(duì)輸出函數(shù)和多尺度小波核矩陣之間形成的關(guān)系方程，利用最小二乘正交匹配追蹤算法（Least squares orthogonal matching pursuit，LSOMP）對(duì)多尺度LS-SVM的支持向量進(jìn)行稀疏化，最后用稀疏的支持向量對(duì)函數(shù)進(jìn)行回歸.此方法的特點(diǎn)如下：1）將小波基作為支持向量核函數(shù)，能根據(jù)曲線(xiàn)不同變化部分調(diào)整核尺度參數(shù)，體現(xiàn)出小波的稀疏性和多尺度特點(diǎn)，可以比較好地抵御噪聲干擾，體現(xiàn)信號(hào)的不同細(xì)節(jié)；2）把小波多分辨分析引入LS-SVM，將不同尺度的小波核函數(shù)融合在一起，構(gòu)成多尺度LS-SVM，具有了很好的理論背景，方法更加靈活；3）多尺度LS-SVM僅通過(guò)一次步驟就可以將支持向量稀疏化，大大減少迭代計(jì)算成本；4）稀疏化后的多尺度LS-SVM，由于壓縮感知的作用，可以將有用信息很好地保留下來(lái)；5）在稀疏化的過(guò)程中，沒(méi)有任何參數(shù)的調(diào)整，降低了運(yùn)算復(fù)雜度.

1　壓縮感知理論

CS是一種在保證信息不損失的前提下，信號(hào)采集和壓縮同時(shí)進(jìn)行的方法，它將信號(hào)投影到觀(guān)測(cè)矩陣上，利用這些投影得到的遠(yuǎn)小于采集信號(hào)數(shù)據(jù)量的觀(guān)測(cè)值重建原始信號(hào)，是一種較好的信息獲取方法.本文假設(shè)是在稀疏字典下的可壓縮信號(hào)壓縮感知使用觀(guān)測(cè)值恢復(fù)出原始信號(hào)如果矩陣滿(mǎn)足受限等距性（Restricted isometry property， RIP），就能從觀(guān)測(cè)值準(zhǔn)確地恢復(fù)信號(hào)從而變成了求解如下最優(yōu)化問(wèn)題：

2　多尺度小波理論

假設(shè)?（x）∈L2（R），定義如下函數(shù)：

令｛?j，m（x）|m∈Z｝是Vj的基函數(shù)，j，m分別稱(chēng)為尺度因子與平移因子.由｛?j，m（x）|m∈Z｝張成的子空間Vj導(dǎo)出L2（R）空間的一個(gè)多分辨分析，即如下嵌套式子空間逼近序列｛Vj｝j∈Z：

Wj是Vj在Vj+1中的正交補(bǔ)子空間，可表示如下：

所以，給定J∈Z，在MRA框架下，正交小波分解關(guān)系具體表示如下：

其中，函數(shù)ψ（x）是小波母函數(shù).所以，?f（x）∈L2（R）可以分解成如下形式［11］：

3　基于壓縮感知的多尺度LS-SVM模型

3.1多尺度LS-SVM回歸模型

其中，fr∈Wr，r=1，···，L.然后用如下表達(dá)式逼近fr，r=1，···，L.

其中，αri，r=1，···，L，i=1，···，n是拉格朗日算子，kr（·，·）是子空間Wr里的小波核函數(shù).為了簡(jiǎn)單起見(jiàn)，令多尺度LS-SVM的結(jié)構(gòu)模型如圖1所示.

圖1　多尺度LS-SVM模型Fig.1　Multi-scale LS-SVM model

在這個(gè)模型中，f的每個(gè)子空間fr由不同的小波核函數(shù)表示，可以通過(guò)多尺度的核函數(shù)來(lái)表現(xiàn)信號(hào)中不同細(xì)節(jié)的變化.如果僅使用固定尺度，則在逼近目標(biāo)函數(shù)的某些細(xì)節(jié)的時(shí)候，其他部分可能會(huì)出現(xiàn)過(guò)擬合的風(fēng)險(xiǎn).一般情況下，比較小的L就能處理常見(jiàn)的問(wèn)題，為方便起見(jiàn)，本文取L=2，對(duì)于更多尺度的LS-SVM模型可以用類(lèi)似的方法推導(dǎo)，在兩尺度下可表示為

其中，f1和f2分別用數(shù)據(jù)和來(lái)估計(jì)，基于LS-SVM算法，上述問(wèn)題轉(zhuǎn)化為求如下優(yōu)化問(wèn)題：

約束條件為

為了在對(duì)偶空間上求解上述優(yōu)化問(wèn)題，定義如下的Lagrange泛函：

其中，ai1，ai2為拉格朗日算子.從上式中消去，就能得到如下線(xiàn)性方程組：

3.2基于壓縮感知的稀疏兩尺度LS-SVM模型

其中，

從式（18）可以看出，將兩尺度LS-SVM的支持向量稀疏化相當(dāng)于使ω 中相應(yīng)的元素為0.所以，在一定精度范圍內(nèi)，尋找稀疏最小二乘模型可轉(zhuǎn)化為最小化‖ω ‖0，可通過(guò)下式計(jì)算：

可以很明顯看出，式（19）和式（1）一致，就是從觀(guān)測(cè)值重構(gòu)信號(hào).

其中，nsv是支持向量的個(gè)數(shù)，n是訓(xùn)練樣本的個(gè)數(shù).

基于壓縮感知的稀疏兩尺度LS-SVM算法如下：

步驟4.輸出稀疏兩尺度LS-SVM模型.

4　實(shí)驗(yàn)與分析

本節(jié)實(shí)驗(yàn)分別采用混合函數(shù)、帶噪的一維信號(hào)、二維信號(hào)、非平穩(wěn)序列信號(hào)以及真實(shí)機(jī)械臂數(shù)據(jù).核函數(shù)為徑向基（Radial basis function，RBF）小波核.每一個(gè)實(shí)驗(yàn)重復(fù)10次，最終取平均結(jié)果.在實(shí)驗(yàn)中，本文采用歸一化均方誤差（Normalized mean square error，NMSE）［13］來(lái)評(píng)估訓(xùn)練誤差

其中，~y（t）為估計(jì)值，y（t）為實(shí)際值，NMSE一般為負(fù)值，而且負(fù)數(shù)絕對(duì)值越大，表明逼近效果越好.

4.1混合函數(shù)的擬合

本實(shí)驗(yàn)選取混合函數(shù)［14］如下：

輸入數(shù)據(jù)xi∈［0，10］區(qū)間均勻采樣生成200個(gè)樣本，從中隨機(jī)選取一半作為訓(xùn)練樣本，并加入高斯噪聲ni～N（0，0.052），測(cè)試樣本不加噪聲.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［20，30，···，200］中選取，小波核參數(shù)從［0.2，0.5，···，5］中選取，通過(guò)5折交叉驗(yàn)證方法獲得最優(yōu)參數(shù)：，圖2為兩尺度徑向基小波核LS-SVM的一次實(shí)驗(yàn)結(jié)果.

圖2　兩尺度徑向基小波核LS-SVM的實(shí)驗(yàn)結(jié)果Fig.2　Experimental results of two-scale RBF wavelet kernel LS-SVM

表1為RBF小波核與Morlet小波核、Mexican hat小波核的兩尺度LS-SVM比較，表2為RBF小波核函數(shù)與RBF核函數(shù)、Sinc核函數(shù)的兩尺度LS-SVM結(jié)果比較，表3為RBF小波多尺度核方法與組合RBF核、組合線(xiàn)性核與RBF核方法的比較.從圖2可以看出，RBF小波核根據(jù)曲線(xiàn)不同變化部分調(diào)整核尺度參數(shù)，體現(xiàn)出小波的稀疏性和多尺度特點(diǎn)，可以比較好地抵御噪聲干擾，體現(xiàn)信號(hào)的不同細(xì)節(jié)；從表2可看出，相比其他非小波核函數(shù)，具有更優(yōu)越的表現(xiàn)力；另外，把小波多分辨分析引入LS-SVM，將不同尺度的小波核函數(shù)融合在一起，構(gòu)成多尺度LS-SVM，具有了很好的理論背景，方法更加靈活，能比合成核方法［14?16］提供更完備的尺度選擇；從表3可以看出，本文方法相比其他合成核方法，具有相當(dāng)或更強(qiáng)的表現(xiàn)力.

表1　不同小波核函數(shù)的兩尺度LS-SVM NMSE比較Table 1　NMSE comparison of two-scale LS-SVM with different wavelet kernel functions

表2　不同核函數(shù)的兩尺度LS-SVM NMSE比較Table 2　NMSE comparison of two-scale LS-SVM with different kernel functions

表3　不同多核學(xué)習(xí)方法NMSE比較Table 3　NMSE comparison of different multi-kernel learning methods

4.2帶噪聲數(shù)據(jù)點(diǎn)的回歸

本實(shí)驗(yàn)中，在式（23）加上高斯噪聲 ni～N（0，0.12），從中獲取400個(gè)樣本，隨機(jī)選取其中的一半作為訓(xùn)練樣本，其余作為測(cè)試樣本.圖3為四種算法的誤差比較，兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［40，60，···，700］中選取，小波核參數(shù)從［0.1，0.15，···，1.5］中選取，通過(guò)5折交叉驗(yàn)證方法獲得最優(yōu)參數(shù)：γ1=460，γ2=200，，標(biāo)準(zhǔn)LS-SVM的最優(yōu)參數(shù)γ=250， σ2=0.1也由交叉驗(yàn)證方法獲得.從圖3中看出兩尺度LS-SVM比標(biāo)準(zhǔn)LS-SVM對(duì)帶噪聲信號(hào)的恢復(fù)能力要強(qiáng)，稀疏兩尺度LS-SVM在有噪聲的情況下的回歸性能優(yōu)于稀疏標(biāo)準(zhǔn)LS-SVM的回歸性能，稀疏標(biāo)準(zhǔn)LS-SVM在稀疏度大于50%以后的回歸能力逐漸下降，而稀疏兩尺度LS-SVM在稀疏度大于85%以后回歸能力才略有下降.這表明，跟稀疏標(biāo)準(zhǔn)LS-SVM相比，稀疏兩尺度LS-SVM不僅可以更好地把信號(hào)的有用部分都保留下來(lái)，用較少的支持向量來(lái)對(duì)信號(hào)進(jìn)行回歸，而且還可以對(duì)信號(hào)的不同細(xì)節(jié)進(jìn)行比較完整的詮釋?zhuān)貏e是在稀疏的過(guò)程中，不需要對(duì)支持向量中的參數(shù)進(jìn)行再次調(diào)整，這也大大降低了兩尺度LS-SVM的復(fù)雜度.

圖3　標(biāo)準(zhǔn)LS-SVM、稀疏LS-SVM、兩尺度LS-SVM、稀疏兩尺度LS-SVM四算法在不同稀疏度下NMSE比較Fig.3　NMSE comparison of standard LS-SVM，sparse LS-SVM，two-scale LS-SVM，sparse two-scale LS-SVM algorithms under different sparse degrees

為了更直觀(guān)研究?jī)沙叨认∈鐻S-SVM性能，取一次實(shí)驗(yàn)的結(jié)果，將原始數(shù)據(jù)，加噪聲數(shù)據(jù)，以及標(biāo)準(zhǔn)LS-SVM和兩尺度LS-SVM的輸出數(shù)據(jù)進(jìn)行詳細(xì)比較，如圖4所示.

圖4　標(biāo)準(zhǔn)LS-SVM和兩尺度LS-SVM的回歸結(jié)果比較Fig.4　Regression results comparison of standard LS-SVM and two-scale LS-SVM

從圖4可以看出，對(duì)于帶噪聲信號(hào)，稀疏兩尺度LS-SVM在僅用10%的支持向量的時(shí)候，就表現(xiàn)出非常穩(wěn)定的回歸性能，而稀疏標(biāo)準(zhǔn)LS-SVM的回歸性能與標(biāo)準(zhǔn)LS-SVM相比下降明顯，在支持向量為20%的時(shí)候，稀疏標(biāo)準(zhǔn)LS-SVM實(shí)踐效果有所回升，但是相比稀疏兩尺度LS-SVM，表現(xiàn)效果過(guò)于粗糙，這也就進(jìn)一步說(shuō)明，稀疏兩尺度LS-SVM具有的多尺度性能可以比較完整的恢復(fù)帶噪聲信號(hào)的原始模樣，具有較強(qiáng)的抗噪能力，而且需要很少的支持向量就可以達(dá)到很好的逼近效果，這樣為計(jì)算節(jié)約了很多成本，大大提高了LS-SVM的泛化性能.

4.3二維函數(shù)逼近

二元函數(shù)

其中，?10≤x1≤10，?10≤x2≤10，隨機(jī)選取324個(gè)數(shù)據(jù)點(diǎn)為訓(xùn)練樣本，1600個(gè)數(shù)據(jù)點(diǎn)作為測(cè)試樣本.圖5為測(cè)試樣本曲線(xiàn)圖.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［500，1000，···，70000］中選取，小波核參數(shù)從［0.2，0.4，···，8］中選取，通過(guò)5折交叉驗(yàn)證方法獲得最優(yōu)參數(shù)：γ1=2000，，標(biāo)準(zhǔn)LS-SVM最優(yōu)參數(shù)γ=3200，σ2=3.05也由交叉驗(yàn)證方法獲得.圖6為90%稀疏度兩尺度LS-SVM對(duì)測(cè)試樣本的逼近效果.圖7為90%稀疏度標(biāo)準(zhǔn)LS-SVM對(duì)測(cè)試樣本的逼近效果.表4給出了稀疏兩尺度LS-SVM和稀疏標(biāo)準(zhǔn)LS-SVM在不同稀疏度下NMSE比較的結(jié)果.這也說(shuō)明，稀疏兩尺度LS-SVM可以用10%的支持向量就能很好地逼近原測(cè)試樣本，相比稀疏標(biāo)準(zhǔn)LS-SVM，能用更多的小波尺度，所以能表現(xiàn)出信號(hào)的不同細(xì)節(jié)，即便用較少的支持向量，也完全不降低其表現(xiàn)效果，所以具有更好的泛化性能.

圖5　測(cè)試樣本曲線(xiàn)圖Fig.5　Test sample curve

圖6　90%稀疏度兩尺度LS-SVM逼近效果Fig.6　Approximation result of 90%sparse degree two-scale LS-SVM

圖7　90%稀疏度標(biāo)準(zhǔn)LS-SVM逼近效果Fig.7　Approximation result of 90%sparse degree standard LS-SVM

4.4非平穩(wěn)序列數(shù)據(jù)的擬合

本實(shí)驗(yàn)選取Garchdata 400個(gè)非平穩(wěn)數(shù)據(jù)點(diǎn)進(jìn)行擬合，在訓(xùn)練之前，首先對(duì)數(shù)據(jù)進(jìn)行歸一化，在不同稀疏度下比較稀疏兩尺度LS-SVM和稀疏標(biāo)準(zhǔn)LS-SVM的回歸性能，隨機(jī)選取200個(gè)作為訓(xùn)練樣本，其余作為測(cè)試樣本.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［80，110，···，890］中選取，小波核參數(shù)從［0.1，0.2，···，3］中選取，通過(guò)5折交叉驗(yàn)證方法獲得最優(yōu)參數(shù)：，標(biāo)準(zhǔn)LS-SVM最優(yōu)參數(shù)γ=200， σ2=0.2也由交叉驗(yàn)證方法獲得.圖8（a）和圖8（b）分別表示50%稀疏度兩尺度LS-SVM和標(biāo)準(zhǔn)LS-SVM的逼近結(jié)果.

從圖8中看出，稀疏度兩尺度LS-SVM僅用50%的支持向量可以達(dá)到很好的實(shí)驗(yàn)效果，而稀疏標(biāo)準(zhǔn)LS-SVM的結(jié)果的輸出數(shù)據(jù)與原始曲線(xiàn)出現(xiàn)了比較大的偏離.圖9給出了兩尺度LS-SVM和標(biāo)準(zhǔn)LS-SVM在稀疏度為50%，55%，60%下的NMSE比較，兩種方法的NMSE均隨著稀疏度的升高而升高，但是在同樣的稀疏度下，兩尺度LS-SVM總是表現(xiàn)的更好一些.這是因?yàn)閮沙叨萀S-SVM更能抓住數(shù)據(jù)的不同細(xì)節(jié)，即使去掉一些支持向量，也絲毫不影響它的良好性能，所以稀疏兩尺度LS-SVM比稀疏標(biāo)準(zhǔn)LS-SVM具有更好的泛化性能.

4.5真實(shí)機(jī)械臂數(shù)據(jù)的估計(jì)

本實(shí)驗(yàn)對(duì)柔性機(jī)械臂的逆動(dòng)力進(jìn)行辨識(shí)［17］，在訓(xùn)練之前，首先對(duì)所有的原始數(shù)據(jù)進(jìn)行歸一化如下：

式中，xij為輸入矩陣A的第（i，j）個(gè)元素，是 xij的歸一化值和分別表示矩陣A第j列的最小值和最大值.

表4　稀疏兩尺度LS-SVM和稀疏標(biāo)準(zhǔn)LS-SVM在不同稀疏度下NMSE比較Table 4　NMSE comparison of sparse two-scale LS-SVM and sparse standard LS-SVM algorithms under different sparse degrees

圖8　標(biāo)準(zhǔn)LS-SVM和兩尺度LS-SVM在50%稀疏度下擬合結(jié)果比較Fig.8　Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50%sparse degree

圖9　標(biāo)準(zhǔn)LS-SVM和兩尺度LS-SVM在不同稀疏度下NMSE比較Fig.9　NMSE comparison of standard LS-SVM and two-scale LS-SVM under different sparse degrees

此機(jī)械臂安裝在一個(gè)電子發(fā)動(dòng)機(jī)上，該系統(tǒng)的輸入u（t）為結(jié)構(gòu)的反作用扭矩，相應(yīng)地輸出d（t）為柔性臂的加速度.此數(shù)據(jù)包含1024對(duì)輸入-輸出樣本，如圖10所示.

圖10　機(jī)械臂數(shù)據(jù)Fig.10　Robot arm data

此逆模型辨識(shí)可通過(guò)x（t）=（u（t?1），···，u（t?5），d（t?1），···，d（t?4））t和xout（t）=u（t）來(lái)學(xué)習(xí).該數(shù)據(jù)集共有1019個(gè)形如（x（t），xout（t））的樣本點(diǎn).從樣本點(diǎn)中隨機(jī)選取510個(gè)樣本點(diǎn)作為訓(xùn)練樣本，其余作為測(cè)試樣本.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［202，402，···，6002］中選取，小波核參數(shù)中選取，通過(guò)5折交叉驗(yàn)證方法獲得最優(yōu)參數(shù)：標(biāo)準(zhǔn)LS-SVM最優(yōu)參數(shù)γ=2500，σ2=0.3也由交叉驗(yàn)證方法獲得.圖11為四種算法的誤差比較，圖12（a）和圖12（b）分別表示50%稀疏度兩尺度LS-SVM和標(biāo)準(zhǔn)LS-SVM對(duì)反作用扭矩的辨識(shí)結(jié)果.

圖11　標(biāo)準(zhǔn)LS-SVM、稀疏LS-SVM、兩尺度LS-SVM、稀疏兩尺度LS-SVM四算法在不同稀疏度下NMSE比較Fig.11　NMSE comparison of standard LS-SVM，sparse LS-SVM，two-scale LS-SVM，sparse two-scale LS-SVM algorithms under different sparse degrees

圖12　標(biāo)準(zhǔn)LS-SVM和兩尺度LS-SVM在50%稀疏度下的擬合結(jié)果比較Fig.12　Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50%sparse degree

從圖12中看出，兩尺度LS-SVM在去掉一半支持向量以后絲毫不影響它的逼近效果，而標(biāo)準(zhǔn)LS-SVM在稀疏度大于15%的時(shí)候NMSE誤差曲線(xiàn)就開(kāi)始出現(xiàn)明顯偏離.在同樣的稀疏度下，標(biāo)準(zhǔn)LS-SVM逼近效果明顯要次于兩尺度LS-SVM.相比標(biāo)準(zhǔn)LS-SVM，兩尺度LS-SVM能用更多的小波尺度，既能抓住數(shù)據(jù)的不同細(xì)節(jié)，又能在稀疏以后以較少的支持向量達(dá)到很好的辨識(shí)效果，所以稀疏兩尺度LS-SVM比稀疏標(biāo)準(zhǔn)LS-SVM具有更好的泛化性能.

5　總結(jié)

本文提出了基于CS和MRA的多尺度LSSVM，首先根據(jù)MRA的特性，將多尺度小波基作為L(zhǎng)S-SVM的核函數(shù)，得到多尺度LS-SVM模型，然后根據(jù)CS通過(guò)稀疏信號(hào)重構(gòu)原始信號(hào)的原理，在多尺度LS-SVM模型的基礎(chǔ)上運(yùn)用LS-OMP貪婪算法，對(duì)信號(hào)的有用信息進(jìn)行保留，將支持向量稀疏化，最后得到稀疏多尺度LS-SVM模型.相比普通LS-SVM，本文方法不僅可以用較少的支持向量達(dá)到很好的效果，而且可以很好地體現(xiàn)多尺度性能，更全面地提取信號(hào)的細(xì)節(jié)，計(jì)算也很簡(jiǎn)便，更具有現(xiàn)實(shí)意義.通過(guò)實(shí)驗(yàn)也能很好地說(shuō)明本文方法的優(yōu)越學(xué)習(xí)性能.對(duì)于多尺度LS-SVM，尺度越多，對(duì)信號(hào)的逼近細(xì)節(jié)的能力就越強(qiáng)，然而會(huì)有更多參數(shù)的調(diào)整，比較費(fèi)時(shí)，如何運(yùn)用比較快速的參數(shù)優(yōu)化算法是繼續(xù)研究的重點(diǎn).

References

1 Vapnik V N.The Nature of Statistical Learning Theory. New York:Springer-Verlag，1995.69?83

2 Suykens J A K，Vandewalle J.Least squares support vector machine classifiers.Neural Processing Letters，1999，9（3）: 293?300

3 Zhao H B，Ru Z L，Chang X，Yin S D，Li S J.Reliability analysis of tunnel using least square support vector machine. Tunnelling and Underground Space Technology，2014，41: 14?23

4 Esfahani S，Baselizadeh S，Hemmati-Sarapardeh A.On determination of natural gas density:least square support vector machine modeling approach.Journal of Natural Gas Science and Engineering，2015，22:348?358

5 Yang J，Bouzerdoum A，Phung S L.A training algorithm for sparse LS-SVM using compressive sampling.In:Proceedings of the 2010 IEEE International Conference on Acoustics Speech and Signal Processing.Dallas，TX，USA:IEEE，2010.2054?2057

6 Zhang L，Zhou W D，Jiao L C.Wavelet support vector machine.IEEE Transactions on Systems，Man，and Cybernetics—Part B:Cybernetics，2004，34（1）:34?39

7 Shen Yan-Fei，Li Jin-Tao，Zhu Zhen-Min，Zhang Yong-Dong，Dai Feng.Image reconstruction algorithm of compressed sensing based on nonlocal similarity model.Acta Automatica Sinica，2015，41（2）:261?272（沈燕飛，李錦濤，朱珍民，張勇東，代鋒.基于非局部相似模型的壓縮感知圖像恢復(fù)算法.自動(dòng)化學(xué)報(bào)，2015，41（2）:261?272）

8 Mallat S G.A Wavelet Tour of Signal Processing.Sam Diego:Academic Press，1998.

9 Zhao J X，Song R F，Zhao J，Zhu W P.New conditions for uniformly recovering sparse signals via orthogonal matching pursuit.Signal Processing，2015，106:106?113

10 Elad M.Sparse and Redundant Representations:From Theory to Applications in Signal and Image Processing.New York:Springer-Verlag，2010.

11 Yang L，Han J Q，Chen D K.Identification of nonlinear systems using multi-scale wavelet support vectors machines.In: Proceedings of the 2007 IEEE International Conference on Control and Automation.Guangzhou，China:IEEE，2007. 1779?1784

12 Yang L X，Yang S Y，Zhang R，Jin H H.Sparse least square support vector machine via coupled compressive pruning. Neurocomputing，2014，131:77?86

13 Schniter P，Potter L C，Ziniel J.Fast Bayesian matching pursuit.In:Proceedings of the 2008 Information Theory and Applications Workshop.San Diego，CA，USA:IEEE，2008.326?333

14 Zhang Y P，Sun J G.Multikernel semiparametric linear programming support vector regression.Expert Systems with Applications，2011，38（3）:1611?1618

15 Zhao Yong-Ping，Sun Jian-Guo.A non-flat function robust regression algorithm using multi-kernel LS-SVM.Information and Control，2008，37（2）:160?165（趙永平，孫建國(guó).一類(lèi)非平坦函數(shù)的多核最小二乘支持向量機(jī)的魯棒回歸算法.信息與控制，2008，37（2）:160?165）

16 Cai Y N，Wang H Q，Ye X M，F(xiàn)an Q G.A multiple-kernel LSSVR method for separable nonlinear system identification.Journal of Control Theory and Applications，2013，11（4）:651?655

17 Balasundaram S，Gupta D，Kapil.Lagrangian support vector regression via unconstrained convex minimization.Neural Networks，2014，51:67?79

王 琴海南醫(yī)學(xué)院信息技術(shù)部講師.主要研究方向?yàn)樾〔ǚ治?，人工智能，機(jī)器學(xué)習(xí).本文通信作者.E-mail:wq-1018@163.com

（WANG QinLecturer in the Department of Information Technology，Hainan Medical University.Her research interest covers wavelet analysis， artificial intelligence，and machine learning.Corresponding author of this paper.）

沈遠(yuǎn)彤中國(guó)地質(zhì)大學(xué)（武漢）數(shù)學(xué)與物理學(xué)院教授.主要研究方向?yàn)樾盘?hào)處理，數(shù)據(jù)挖掘，小波分析.E-mail:whsyt@163.com

（SHEN Yuan-TongProfessor at the School of Mathematics and Physics，China University of Geosciences.His research interest covers signal processing，data mining，and wavelet analysis.）

Multi-scale Least Squares Support Vector Machine Using Compressive Sensing

WANG Qin1SHEN Yuan-Tong2

A multi-scale least squares support vector machine（LS-SVM）based on compressive sensing（CS）and multiresolution analysis（MRA）is proposed.First，a multi-scale LS-SVM model is conducted，in which a support vector kernel with the multi-resolution wavelet function is employed；then inspired by CS theory，sparse support vectors of multi-scale LS-SVM are constructed via least squares orthogonal matching pursuit（LS-OMP）；finally，sparse support vectors are applied to function approximation.Simulation experiments demonstrate that the proposed method can estimate diverse details of signal by means of wavelet kernel with different scales.What is more，it can achieve good generalization performance with fewer support vectors，reducing the operation cost greatly，performing more superiorly compared to ordinary LS-SVM.

Least squares support vector machine（LS-SVM），compressive sensing（CS），multi-resolution wavelet kernel，sparse，function approximation

Manuscript May 15，2015；accepted December 28，2015

10.16383/j.aas.2016.c150296

Wang Qin，Shen Yuan-Tong.Multi-scale least squares support vector machine using compressive sensing. Acta Automatica Sinica，2016，42（4）:631?640

2015-05-15錄用日期2015-12-28

國(guó)家自然科學(xué)基金（11301120）資助

Supported by National Natural Science Foundation of China（11301120）

本文責(zé)任編委周志華

Recommended by Associate Editor ZHOU Zhi-Hua

1.海南醫(yī)學(xué)院信息技術(shù)部海口5711012.中國(guó)地質(zhì)大學(xué)（武漢）數(shù)學(xué)與物理學(xué)院武漢430074

1.Department of Information Technology，Hainan Medical University，Haikou 5711012.School of Mathematics and Physics，China University of Geosciences，Wuhan 430074