支持向量機核函數(shù)選擇研究與仿真*

梁禮明，鐘震，陳召陽

(江西理工大學電氣工程與自動化學院，江西 贛州 341000)

摘要：支持向量機是一種基于核的學習方法，核函數(shù)選取對支持向量機性能有著重要的影響，如何有效地進行核函數(shù)選擇是支持向量機研究領域的一個重要問題。目前大多數(shù)核選擇方法不考慮數(shù)據(jù)的分布特征，沒有充分利用隱含在數(shù)據(jù)中的先驗信息。為此，引入能量熵概念，借助超球體描述和核函數(shù)蘊藏的度量特征，提出一種基于樣本分布能量熵的支持向量機核函數(shù)選擇方法，以提高SVM學習能力和泛化能力。數(shù)值實例仿真驗證表明了該方法的可行性和有效性。

關鍵詞：支持向量機；核函數(shù)；樣本分布；先驗信息；能量熵

中圖分類號：TP181 文獻標志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.015

收稿日期：*2014-05-18;修回日期：2014-09-18

基金項目：國家自然科學基金資助項目(5136501)；江西省自然科學基金資助項目(20132BAB203020)；江西省教育廳科學技術研究項目(GJJ13430)

作者簡介:

通信地址：341000 江西省贛州市紅旗大道86號江西理工大學電氣工程與自動化學院

Address:School of Electrical Engineering and Automation,Jiangxi University of Science and Technology，86 Hongqi Avenue,Ganzhou 341000,Jiangxi,P.R.China

Research and simulation of kernel function selection for support vector machine

LIANG Li-ming，ZHONG Zhen，CHEN Zhao-yang

(School of Electrical Engineering and Automation,Jiangxi University of Science and Technology,Ganzhou 341000,China)

Abstract:Support vector machine (SVM)is a kind of learning method based on kernel. Kernel function selection has significant influence on the performance of SVM, so how to effectively select the kernel function is an important problem in the field of SVM research. At present most of the kernel function selection methods neither consider the characteristics of data distribution, nor make full use of the implicit prior information in the data. We introduce a concept of energy entropy; along with the super sphere description and measurement features of kernel function, we put forth a method of kernel function selection based on the energy entropy of sample distribution so as to improve the learning ability and generalization ability of SVM. Simulations on numerical examples show that the method is feasible and effective.

Key words:SVM;kernel function；sample distribution；prior information；energy entropy

1引言

支持向量機SVM(Support Vector Machine)以統(tǒng)計學習理論為基礎，具有完備的理論基礎和嚴格的理論體系，能夠解決有限樣本的學習問題[1]。由于這一方法具有許多優(yōu)良特性，如較強的模型泛化能力、不會陷入局部極小點以及很強的非線性處理能力等，因而成為近年來受到廣泛關注的一類學習機器方法，在諸多領域如模式識別、回歸估計、數(shù)據(jù)挖掘、生物信息等均取得了成功的應用。SVM建立在結(jié)構(gòu)風險最小化原則基礎之上，其核心思想之一是引入核函數(shù)技術，巧妙地解決了在高維特征空間中計算的“維數(shù)災難”等問題。由于核函數(shù)決定了SVM的非線性處理能力，因此核函數(shù)及其參數(shù)的選擇在SVM中占據(jù)著舉足輕重的地位，也是SVM研究熱點方向之一[2]。然而，不同的核函數(shù)所呈現(xiàn)出的特性各異，選擇不同的核函數(shù)會導致SVM的推廣性能有所不同。針對具體問題如何有效地選擇(或構(gòu)造)合適的核函數(shù)，是支持向量機研究領域的一個重要問題。目前，SVM核函數(shù)的選擇大多是靠人工估計，根據(jù)經(jīng)驗進行選擇，缺乏相應的理論指導，顯然存在很大的隨意性和局限性。因此，構(gòu)建出一種能結(jié)合給定具體問題的樣本數(shù)據(jù)先驗信息的SVM核函數(shù)選擇機制，對于SVM技術的發(fā)展和核方法的完善有著積極的指導意義。文獻[3，4]基于樣本數(shù)據(jù)分布特征給出了SVM訓練集呈圓形、環(huán)形、球狀、柱狀分布的核函數(shù)測試選擇方法，但實際問題中數(shù)據(jù)集的分布特征是多種多樣的，需進一步改進其算法，使之具有通用性，是一個值得繼續(xù)研究的內(nèi)容。為此，本文引入能量熵的概念，借助超球體描述和核函數(shù)蘊藏的度量特征，提出了一種基于具體問題的樣本數(shù)據(jù)分布能量熵的SVM核函數(shù)選擇方法。該方法能根據(jù)樣本先驗信息指導選擇SVM核函數(shù)，避免人為指定核函數(shù)類型，并具有直觀性強、操作簡便等特點，對于SVM核函數(shù)選擇方法的完善以及SVM學習能力和泛化能力的提高有著積極的實用價值。

2理論基礎

定理1樣本數(shù)據(jù)隱含目標問題預先未知的分布特征信息。

顯然，在實際的樣本數(shù)據(jù)中，通常都隱含著目標問題預先未知的信息[3,4]，但大多數(shù)核選擇方法都不考慮數(shù)據(jù)的分布特征，沒有充分利用隱含在數(shù)據(jù)中的先驗信息。

定理2不同的核函數(shù)蘊藏的幾何度量特征各異，選擇不同的核函數(shù)導致SVM泛化能力存在差異[5～7]。

定義1如果存在著從Rn到Hilbert空間H的變換:

(1)

使得:

其中(·)表示空間H中的內(nèi)積，稱定義在Rn×Rn上的函數(shù)K(x1,x2)是Rn×Rn的核函數(shù)。

下面以常用的具有局部特性的高斯徑向基核函數(shù)KGauss和具有全局特性多項式核函數(shù)KPoly為例進行分析。

定義2以σ為參數(shù)的高斯徑向基核函數(shù):

(2)

是核函數(shù)。

定義3設d為正整數(shù)，則d階齊次多項式函數(shù)

(3)

和d 階非齊次多項式函數(shù)

(4)

都是核函數(shù)。

核函數(shù)K(x1,x2)的幾何性質(zhì)，由核函數(shù)的幾何度量決定。如:

(1)黎曼度量：

(5)

(2)距離度量:

(6)

(3)角度度量:

cosF(x1,x2)=

(7)

則對于：

(1)高斯徑向基核函數(shù)KGauss：

黎曼度量為:

(8)

距離度量為:

(9)

角度度量為:

(10)

KGauss性質(zhì)表現(xiàn)為：

①KGauss呈現(xiàn)局部特性，即相互之間距離較近的數(shù)據(jù)點對核函數(shù)的值產(chǎn)生影響。

②所有樣本數(shù)據(jù)點上的黎曼度量都是相等的。

③黎曼度量和距離度量是一致的。

④特征空間中的黎曼度量、距離度量和角度度量不會隨著輸入空間的正交變換和平移變換而改變。

⑤如果保持了輸入空間的距離相似性，則對于輸入空間中的單位向量也保持了角度的相似性。

(2)多項式核函數(shù)KPoly:

黎曼度量為：

當i=j時，

(11)

當i≠j時，

(12)

距離度量為:

(13)

角度度量為:

cosF(x1,x2)=cosd(x1,x2)

(14)

KPoly性質(zhì)表現(xiàn)為：

①KPoly呈現(xiàn)全局特性，對測試點附近以及離測試點較遠的整個數(shù)據(jù)點都有作用，即對單位球內(nèi)的點起到減少模的作用，對單位球外的點起到擴大模的作用。

②KPoly將輸入空間的原點映成特征空間的原點，且是特征空間原點的唯一原象。

③KPoly將輸入空間中過原點的直線映射成特征空間中過原點的直線。當d是偶數(shù)時，映射成過原點的射線。

④特征空間的黎曼度量、距離度量和角度度量不會隨著輸入空間的正交變換而改變，但輸入空間的平移會影響特征空間的黎曼度量、距離度量和角度度量，也就是說，特征空間的幾何度量依賴輸入空間的原點。

通過對KGauss和KPoly各自所蘊含的黎曼度量、距離度量和角度度量分析得知，不同的核函數(shù)會促使SVM學習能力不同，也為SVM核選擇提供指導，如當需要保持輸入空間的距離相似性時，選擇高斯徑向基核函數(shù)；當需要保持輸入空間的角度相似性時，選擇多項式核函數(shù)。

定理3表明了特征空間中的兩個數(shù)據(jù)點之間的Euclidean距離僅是相應輸入空間Euclidean距離的單調(diào)增加函數(shù)，這就意味著不能期望在特征空間中任意改變樣本數(shù)據(jù)點之間的相互位置關系。

定理4支持向量機在L1-范數(shù)或L2-范數(shù)下平分最近點原理和最大間隔原理是等價的。

BennettKP[9]證明了上述兩個原理的等價性，即它們能得到相同的最優(yōu)分類超平面，并指出平分最近點原理具有更直觀的幾何意義，也為支持向量機的對偶問題給出了很好的幾何解釋。

定理5輸入空間內(nèi)的樣本數(shù)據(jù)可視為受整個數(shù)據(jù)集的信息力作用的物理微粒，每一個微粒上的作用力是相同類或者不同類之間微粒對的作用力總和[10]。

基于距離的度量在機器學習與模式分類的諸多技術中起著重要的作用。在線性代數(shù)中，度量是定義在集合的元素之間的距離的函數(shù)。在微分幾何中，度量用來定義在向量空間上的一種結(jié)構(gòu)。定義合適的度量，不僅能處理歐氏距離，而且能在流形存在的情況下獲得較好的效果[11]。

3算法框架

基于以上理論基礎，本文提出了一種基于樣本分布能量熵的支持向量機核函數(shù)選擇方法。主要包括：樣本數(shù)據(jù)預處理、樣本數(shù)據(jù)的超球體描述、樣本數(shù)據(jù)分布特征描述和分布特征判別結(jié)果四部分。

3.1樣本數(shù)據(jù)預處理

3.2樣本數(shù)據(jù)的超球體描述

樣本數(shù)據(jù)的超球體描述的基本思想是，用以半徑盡可能小的球體把樣本數(shù)據(jù)全部包含起來，并以最小超球的邊界作為界限對數(shù)據(jù)進行分類和描述[12～17]。

超球體描述的目標函數(shù)為:

(15)

(16)

式(15)、(16)的優(yōu)化問題的解可由下面的拉格朗日函數(shù)的鞍點給出：

(17)

式(17)可轉(zhuǎn)化成對偶問題:

(18)

式(18)可變成求其Wolf對偶問題的最大值：

(19)

其中，K(xi,xi)=〈φ(xi)·φ(xi)〉，K(xi,xj)=〈φ(xi)·φ(xj)〉。

式(19)為二次規(guī)劃問題，通過QP優(yōu)化方法得到Lagrange乘子，可確定球心和半徑。

3.3樣本數(shù)據(jù)分布特征描述與判別

根據(jù)設計好的超球體，接下來可以對樣本數(shù)據(jù)的分布進行判別。

(20)

其中，l為樣本總個數(shù)，M為能量熵Sj小于R2/4的樣本數(shù)。

設定一閾值k*，當k≤k*時，則判別為樣本數(shù)據(jù)呈現(xiàn)全局分布特性；當k>k*時，則可判別為樣本數(shù)據(jù)呈現(xiàn)局部分布特性。對于k*的取值，本文在仿真測試的時候進行過k*取不同值的實驗。k*取值偏高，會使得一些本身更傾向局部分布特征的樣本數(shù)據(jù)被判為全局分布特征；k*取值偏低，會使得一些本身更傾向全局分布特征的樣本數(shù)據(jù)被判為局部分布特征，從而不能正確地選擇核函數(shù)。綜合考慮，選擇k*的值為0.5，這樣能較準確地進行樣本分布特征的判別。經(jīng)過仿真驗證，實驗結(jié)果與判別結(jié)果是一致的。

3.4SVM核函數(shù)選擇機制

根據(jù)樣本分布特征判別函數(shù)所得樣本分布特性，結(jié)合核函數(shù)所蘊藏的度量特性選擇SVM核函數(shù)類型。由此可以建立一個核函數(shù)選擇機制：當k>k*時，則選取高斯徑向基核函數(shù)KGauss；當k≤k*時，則選取多項式核函數(shù)KPoly。

4實例仿真與分析

本文算法流程如圖1所示。實驗仿真所用的數(shù)據(jù)均來自UCI數(shù)據(jù)庫，且為帶標簽的數(shù)據(jù)。SVM分類采用的是臺灣大學林智仁(Lin Chih-Jen)教授等開發(fā)設計的LIBSVM工具箱。本次仿真的實驗環(huán)境為運用軟件Matlab R2009a，運行于Intel Pentium/2.79 GHz、2 GB內(nèi)存的PC。本實驗中取閾值k*=0.5，并隨機選取每組樣本數(shù)據(jù)的80%作為訓練集，其余20%用作測試集。

Figure 1　Flow chart of SVM kernel function choice method 圖1　支持向量機核函數(shù)選擇方法流程圖

4.1實驗仿真

4.1.1樣本數(shù)據(jù)分布特征判別

本文從UCI數(shù)據(jù)庫中隨機選取六組數(shù)據(jù)進行實驗仿真。首先對樣本進行預處理，使其范數(shù)小于1，防止維數(shù)災難；然后對其進行超球體描述，根據(jù)式(19)計算其球心及半徑；最后樣本數(shù)據(jù)分布特征判別，根據(jù)構(gòu)建的樣本分布判別函數(shù)式(20)計算k，再根據(jù)已設定的閾值k*判別各樣本數(shù)據(jù)分布特征。各數(shù)據(jù)集的規(guī)模、球心坐標、半徑及分布判別結(jié)果如表1所示。

Table 1　Sample data distribution

4.1.2樣本數(shù)據(jù)仿真測試

運用具有全局特性的多項式核函數(shù)和局部特性的RBF徑向基核函數(shù)，對以上六組樣本數(shù)據(jù)分布特征判別結(jié)果進行測試驗證。六組實例中，每組隨機進行三次訓練集、測試集的選取，測其分類效果，計算每組數(shù)據(jù)各核函數(shù)分類效果平均值。實例中SVM模型參數(shù)優(yōu)化均采取粒子群算法進行尋優(yōu)，各樣本數(shù)據(jù)分類測試結(jié)果以及實驗時間如表2所示。

從表1、表2中可以得出結(jié)論：

(1)采用建議優(yōu)先選擇的核函數(shù)類型所得的分類正確率要優(yōu)于不建議采用的核函數(shù)類型，其差異程度甚至高達10%之多。究其原因有三：一是每組樣本數(shù)據(jù)都隱含著不盡相同的統(tǒng)計分布特征；二是不同的核函數(shù)幾何度量特征表現(xiàn)各異；三是SVM分類效果的好壞取決于特征空間中的樣本之間的Euclidean距離，而樣本點在特征空間中的Euclidean距離與其相應輸入空間Euclidean距離緊密相關。因此，在實際應用中需充分挖掘隱含在樣本數(shù)據(jù)中的先驗信息，然后結(jié)合核函數(shù)各自的度量特征選擇(或構(gòu)造)合適的核函數(shù)，以促進SVM泛化能力最大化。

Table 2　Sample data simulation tests

(2)從上述仿真實例結(jié)果來看，本文提出的基于樣本與超球體球心歐氏距離度量的能量熵分布判別函數(shù)能較好地表征樣本統(tǒng)計分布特征，為后續(xù)的SVM核函數(shù)選擇奠定基礎。

(3)具有全局特性的多項式核函數(shù)和局部特性的徑向基核函數(shù)的SVM預測算法運行時間相當且耗時少，實時性較好，多項式核函數(shù)運行時間略長于徑向基核函數(shù)。

(4)對于一個具有l(wèi)個樣本的訓練集，求解SVM的QP問題的時間復雜度為O(l3)、空間復雜度為O(l2)。本文所提出的基于樣本分布能量熵的信息判別需要進行l(wèi)(l+1)/2次比較，因此，基于樣本分布能量熵的SVM核函數(shù)選擇算法時間復雜度為O(l3+(l+1)/2)，仍為多項式級。從算法復雜度角度考慮，本文提出的算法是合理的。

4.2樣本數(shù)據(jù)對比分析

本文隨機選取其他文獻[12,18]中所用的數(shù)據(jù)進行仿真測試對比，數(shù)據(jù)集有Australian Credit Approval Data Set、Breast Cancer Wisconsin (Original) Data Set、Statlog (Heart) Data Set、Car Evaluation Database四組。經(jīng)過樣本數(shù)據(jù)分布的判別，三組樣本數(shù)據(jù)均呈局部分布特性。分類測試結(jié)果平均值與文獻[12,18]的對比如表3所示。

Table 3　Classification Comparison of the same set of

注：表中“1”為其他文獻結(jié)果，“2”為本文結(jié)果。

通過四組實例仿真與對比可以看出，前三組其他文獻在相同數(shù)據(jù)的分類結(jié)果要低于應用本文方法的分類測試結(jié)果。數(shù)據(jù)集Breast Cancer Wisconsin(Original)Data Set中，本文實驗的兩種核函數(shù)分類結(jié)果差值要優(yōu)于其他文獻。數(shù)據(jù)Australian Credit Approval Data Set和Statlog (Heart) Data Set數(shù)據(jù)呈局部分布，但其他文獻的分類結(jié)果RBF核函數(shù)要低于多項式核函數(shù)，而在本文實驗中，RBF核函數(shù)要優(yōu)于多項式核函數(shù)。其他文獻的RBF核函數(shù)可以達到一個更好的分類結(jié)果。

第四組數(shù)據(jù)集Car Evaluation Database中數(shù)據(jù)呈全局分布。文獻[18]中多項式核函數(shù)的分類結(jié)果卻明顯低于RBF核函數(shù)的分類結(jié)果，本文所做的相同數(shù)據(jù)分類測試多項式優(yōu)于其RBF分類結(jié)果，所以其并沒有充分發(fā)揮多項式核函數(shù)的性能，沒有選擇針對該數(shù)據(jù)性能更加優(yōu)的核函數(shù)。

5結(jié)束語

以上介紹SVM核函數(shù)選擇方法運用樣本數(shù)據(jù)蘊含的先驗信息，結(jié)合核函數(shù)的度量特征，引入能量熵概念，借助超球體描述提出一種基于樣本數(shù)據(jù)分布特征核函數(shù)選擇方法。這種基于樣本數(shù)據(jù)分布特征核函數(shù)選擇方法，是一種有指導性的SVM核函數(shù)選擇實用方法，克服了傳統(tǒng)的SVM模型選擇方法中人為指定核函數(shù)類型而導致模型不能達到最優(yōu)性能的缺點，并具有運算速度快、非常適合實時在線SVM模型預測控制場所等特點。通過相應的實例仿真驗證，表明了該方法的可行性和有效性，豐富了核函數(shù)選擇方法，有助于SVM學習能力和泛化能力的提高，具有一定的推廣價值。此外，在實際工程問題中，數(shù)據(jù)集的分布是極其豐富的，有時用單一核函數(shù)難以準確刻畫其分布特征，如在本文的基礎上增加或改進核函數(shù)選擇形式，如組合核函數(shù)，使之描述更加全面，將是本文下一步研究的延伸方向。

參考文獻:

[1]Deng Nai-yang,Tian Ying-jie.Support vector machine theory,algorithm and expand[M].Beijing:Science Press,2009.(in Chinese)

[2]Ding Shi-fei,Qi Bing-juan,Tan Hong-yan.An overview on theory and algorithm of support vector machines[J].Journal of University of Electronic Science and Technology of China,2011,40(1):2-10.(in Chinese)

[3]Tao Jian-wen,Wang Shi-tong.Local learning based support vector machine[J].Control and Decision,2012,27(10):1510-1515.(in Chinese)

[4]Liang Li-ming,Feng Xin-gang,Chen Yun-nen,et al.Method of selection kernel function based on distribution characteristics of samples[J].Computer Simulation,2013,30(1):323-328.(in Chinese)

[5]Luo Lin-kai,Ye Ling-jun,Zhou Qi-feng.Geometric measures and properties of commonly used kernel functions[J].Journal of Xiamen University,2009,48(6):804-807.(in Chinese)

[6]Thierman J S,Hallaj I M. Apparatus and method for geometric measurement:U.S. Patent Application 12/784,694[P]. 2010-05-21.

[7]Sohelf A,Karmakar G C,Dooleyls S,et al.Geometric distortion measurement for shape coding:A contemporary review[J].ACM Computing Surveys(CSUR),2011,43(4):29.

[8]Wang Ting-hua.Research on model selection for support vector machine[D].Beijing:Beijing JiaoTong University,2009.(in Chinese)

[9]Bennett K P,Bredensteiner J.Duality and geometry in SVM classifiers[C]//Proc of the 17th International Conference on Machine Learning,2000:5764.

[10]Kevi N,Zhou S,Chellappa R.From sample similarity:Probabilistic distance measure in reproducing kernel hilbert space[J].IEEE Transactions on Pattern and Machine Analysis Intelligence,2006,28(6):917-929.

[11]Liu Song-hua.Low-rank decomposition of kernel matrix and informative energy metric in kernel space[D].Xi’an:Xidian University,2011.(in Chinese)

[12]Luo Lin-kai.Research on kernel selection of support vector machine[D].Xiamen:Xiamen University,2007.(in Chinese)

[13]Zhao Feng,Zhang,Jun-ying,Liu Jing.An optimizing kernel algorithm for improving the performance of spport vector domain description[J].Acta Automatica Sinica,2008,34(9):1122-1127.(in Chinese)

[14]Xu Tu,Luo Yu,He Da-ke.SMO trainning algorithm for hypersphere one-class SVM[J].Computer Science,2008,35(6):178-180.(in Chinese)

[15]Li Yu,Zheng Min-juan,Cheng Guo-jian.Research on classification method based on support vector data description[J].Computer Engineering,2009，35(1)：235-236.(in Chinese)

[16]Zhang Hui-min,Chai Yi.Non-equidistant margin hypersphere SVM[J].Computer Engineering and Application,2011，47(11)： 19-22.(in Chinese)

[17]Wen Chuan-jun,Zhan Yong-zhao,Chen Chang-jun.Maximal-margin minimal-volume hypersphere suppot vector machine[J].Control and Decision,2010,25(1):79-83.(in Chinese)

[18]Song Hui,Xue Yun,Zhang Liang-jun.Research on kernel function selection simulation based on SVM[J].Computer and Modernization,2011(8):133-136.(in Chinese)

參考文獻：附中文

[1]鄧乃揚,田英杰. 支持向量機—理論、算法與拓展[M]. 北京:科學出版社,2009.

[2]丁世飛,齊丙娟,譚紅艷. 支持向量機理論與算法研究綜述[J]. 電子科技大學學報，2011,40(1):2-10.

[3]陶劍文,王士同. 局部學習支持向量機[J]. 控制與決策,2012,27(10):1510-1515.

[4]梁禮明,馮新剛,陳云嫩,等. 基于樣本分布特征的核函數(shù)選擇方法研究[J]. 計算機仿真,2013,30(1):323-328.

[5]羅林開,葉凌君,周綺鳳. 常用核函數(shù)的幾何度量與幾何性質(zhì)[J]. 廈門大學學報,2009，48(6):804-807.

[8]汪廷華. 支持向量機模型選擇研究[D]. 北京：北京交通大學,2009.

[11]劉松華. 核矩陣低秩分解與核空間信息能度研究及應用[D]. 西安：西安電子科技大學,2011.

[12]羅林開.支持向量機的核選擇[D].廈門：廈門大學，2007.

[13]趙峰,張軍英,劉敬. 一種改善支撐向量域描述性能的核優(yōu)化算法[J]. 自動化學報,2008,34(9):1122-1127.

[14]徐圖,羅瑜,何大可. 超球體單類支持向量機的SMO訓練算法[J]. 計算機科學,2008,35(6):178-180.

[15]李瑜,鄭敏娟,程國建. 基于支持向量數(shù)據(jù)描述的分類方法研究[J]. 計算機工程,2009，35(1)：235-236.

[16]張慧敏，柴毅. 不等距超球體支持向量機[J]. 計算機工程與應用,2011,47(11)：19-22.

[17]文傳軍，詹永照，陳長軍. 最大間隔最小體積球形支持向量機[J]. 控制與決策,2010,25(1):79-83.

[18]宋暉,薛云,張良均. 基于 SVM 分類問題的核函數(shù)選擇仿真研究[J]. 計算機與現(xiàn)代化,2011 (8):133-136.

梁禮明(1967-),男,江西贛州人，碩士，教授，研究方向為機器學習和模式識別。E-mail:lianglm67@163.com

LIANG Li-ming,born in 1967,MS,professor,his research interests include machine learning,and pattern recognition.

鐘震(1990-),男,江西撫州人，碩士生，研究方向為機器學習和支持向量機。E-mail:495433658@qq.com

ZHONG Zhen,born in 1990,MS candidate,his research interests include machine learning,and SVM.

陳召陽(1988-),男,河南平頂山人，碩士生，研究方向為機器學習和模式識別。E-mail:bemy1004@126.com

CHEN Zhao-yang,born in 1988,MS candidate,his research interests include machine learning,and pattern recognition.