謝世勛

摘? 要：模式識別算法往往對訓(xùn)練集樣本的數(shù)量和質(zhì)量有較高的要求，噪聲的產(chǎn)生會影響數(shù)據(jù)集的分布特征，從而對算法的學(xué)習(xí)過程產(chǎn)生一定干擾。因此，研究模式識別算法在小樣本訓(xùn)練集的不同點位產(chǎn)生噪聲后的分類性能和判界是否會發(fā)生改變具有重大的理論意義。該文比較了SVM和RVM在3種典型點位的噪聲下，研究其分類性能指標的優(yōu)劣以及決策邊界的變化，發(fā)現(xiàn)RVM的抗噪聲能力優(yōu)于SVM。

關(guān)鍵詞：關(guān)聯(lián)向量機? 支持向量機? 小樣本分類? 噪聲數(shù)據(jù)

中圖分類號：TP391.41?????????????????????? 文獻標識碼：A?????????????????? 文章編號：1672-3791（2021）01（a）-0020-03

Study on the Effect of Different Point Noise on the Classification Performance of SVM and RVM

XIE Shixun*

（School of Economics and Management， Xi'an Technological University， Xi'an， Shaanxi Province， 710000 China）

Abstract：Pattern recognition algorithms tend to have high demands on the quantity and quality of the training set samples， and noise generation can affect the distribution characteristics of the data set and thus causes some interference to the learning process of the algorithm. Therefore， it is investigated whether the classification performance and adjudication boundaries of the pattern recognition algorithm change after generating noise at different points of the small sample training set of great theoretical significance. This paper compares SVM and RVM under the noise of three typical points to investigate the merits of their classification performance metrics and the decision boundaries of the variation， RVM was found to be more resistant to noise than SVM.

Key Words：Relevance vector machine（RVM）; Support vector machine（SVM）; Small sample classification; Noise data

模式識別算法在社會各領(lǐng)域中得到了廣泛應(yīng)用，但傳統(tǒng)模式識別算法對訓(xùn)練集樣本的數(shù)量和質(zhì)量有較高的要求。然而現(xiàn)實世界中的很多分類問題，實際上不一定具備充足且高質(zhì)量的訓(xùn)練樣本，比如小規(guī)模訓(xùn)練樣本中出現(xiàn)了一個新的噪聲樣本點，模式識別算法對具有噪聲的訓(xùn)練樣本進行學(xué)習(xí)很容易被其干擾，使得無法獲得充分的學(xué)習(xí)，導(dǎo)致分類效果不佳。因此，研究模式識別算法在小樣本訓(xùn)練集的不同點位產(chǎn)生噪聲后對分類性能和邊界的影響具有重大的意義。

1? 國內(nèi)外研究現(xiàn)狀

關(guān)聯(lián)向量機（Relevance Vector Machine，RVM）和支持向量機（Support Vector Machine，SVM）都是當前流行模式識別算法，大量的研究表明它們已經(jīng)成為機器學(xué)習(xí)領(lǐng)域的熱門話題。

2017年，袁海滿利用粒子群優(yōu)化算法對關(guān)聯(lián)向量機基函數(shù)參數(shù)進行優(yōu)化，從而提高變壓器的故障診斷精度。實例對比分析表明，與SVM、RVM方法相比，粒子群關(guān)聯(lián)向量機方法具有更高的診斷精度[1]。

劉志青等人在2017年將SVM和RVM應(yīng)用到點云數(shù)據(jù)分類任務(wù)，比較了分類正確率、訓(xùn)練速度和測試速度等性能指標，總結(jié)出RVM在此任務(wù)中更具有應(yīng)用潛力[2]。

王薇蓉等人2018年通過對基于SVM模型、RVM模型的EEG情感識別進行仿真、比較，結(jié)果表明RVM可以有效地彌補SVM的不足之處[3]。

Reza等人于2018年證明RVM對地震變化數(shù)據(jù)進行分類的有效性，將RVM技術(shù)與其他傳統(tǒng)方法（SVM和概率神經(jīng)網(wǎng)絡(luò)（PNN））進行比較，發(fā)掘了RVM在識別異常地震反射信號中的潛力[4]。

陳龍舟在2019年將SVM和RVM方法用于航空瞬變電磁信號去噪實驗和處理，取得了良好的效果，證明了將其用于去噪的可行性和有效性[5]。

劉鴻斌等人在2019年提出一種基于RVM的軟測量模型，PLS-RVM模型的預(yù)測效果較PLS-LSSVM模型有顯著提升[6]。