汪洪橋，蔡艷寧，付光遠，王仕成

1.第二炮兵工程大學信息工程系，西安7100252.第二炮兵工程大學理學院，西安7100253.第二炮兵工程大學控制工程系，西安710025

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0589-11

?

非平坦函數(shù)概率密度估計*

汪洪橋1+，蔡艷寧2，付光遠1，王仕成3

1.第二炮兵工程大學信息工程系，西安710025
2.第二炮兵工程大學理學院，西安710025
3.第二炮兵工程大學控制工程系，西安710025

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0589-11

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation for Young Scientists of China under Grant Nos. 61202332, 61403397 (國家自然科學青年基金); the Postdoctoral Science Foundation of China under Grant No. 2012M521905 (中國博士后科學基金); the Natural Science Foundation of Shaanxi Province under Grant No. 2015JM6313 (陜西省自然科學基礎研究計劃項目).

Received 2015-04,Accepted 2015-06.

CNKI網(wǎng)絡優(yōu)先出版: 2015-06-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150610.1708.003.html

Key words: probability density estimation; support vector machine (SVM); multiple kernel learning; non-flat function

摘要：針對非平坦函數(shù)的概率密度估計問題，通過改進支持向量機（support vector machine，SVM）概率密度估計模型約束條件的形式，并引入多尺度核方法，構建了一種單松弛因子多尺度核支持向量機概率密度估計模型。該模型采用合并的單個松弛因子來控制支持向量機的學習誤差，減小了模型的計算復雜度；同時引入了多尺度核方法，使得模型既能適應函數(shù)劇烈變化的區(qū)域，也能適應平緩變化的區(qū)域。基于幾種典型非平坦函數(shù)進行概率密度估計實驗，結果證明，單松弛因子概率密度估計模型比常規(guī)支持向量機概率密度估計模型具有更快的學習速度；且相比于單核方法，多尺度核支持向量機概率密度估計模型具有更優(yōu)的估計精度。

關鍵詞：概率密度估計；支持向量機（SVM）；多核學習；非平坦函數(shù)

1　引言

概率密度具有廣泛的應用，比如可用于數(shù)據(jù)挖掘中的聚類分析以及電子器件壽命估計和排隊論。在一些情況下人們可以知道密度服從的分布，如電子器件壽命服從指數(shù)分布以及排隊理論服從泊松分布，它們的密度可以通過樣本矩估計或極大似然估計等參數(shù)估計方法得到概率密度。但在實際應用中很多時候人們并不知道概率密度服從的分布，這時可根據(jù)樣本進行回歸估計得到實際概率密度的一個近似估計。

概率密度估計方法可分為參數(shù)估計和非參數(shù)估計兩大類。參數(shù)估計的代表方法為極大似然法，該方法有一定的局限性，比如無法估計幾個正態(tài)分布混合而成的概率密度函數(shù)[1-2]。相比之下，非參數(shù)概率密度估計具有更廣泛的應用范圍，最具有代表性的方法為Parzen窗密度估計器[3]，它是一類經(jīng)典的核密度估計器。該方法的缺點為不具備稀疏性，當要預測新樣本的概率密度值時，需要涉及樣本集中的所有樣本，計算量大。因此，長期以來人們希望尋求一種方法，只使用訓練樣本中的某一些對概率密度估計影響較大的樣本，而不是全部訓練樣本來估計概率密度，即尋求一種稀疏解[4]，以減少計算量，縮短運算時間，增強實用性。

支持向量機（support vector machine，SVM）的解只與訓練樣本中的支持向量有關，因此它提供了一種良好的得到稀疏解的方法[5]。該方法的思路很簡單：首先從經(jīng)驗累積的分布函數(shù)值估計一個近似的分布函數(shù)，然后對它微分，即可得到密度函數(shù)。其中用到了SVM求解線性算子方程的方法，通過該方法可以得到形式類似于Parzen窗的稀疏概率密度估計[6-7]?；诤唵魏撕瘮?shù)的支持向量估計在眾多的應用領域有效并且實用，但都是基于單個特征空間的單核方法。由于不同的核函數(shù)具有的特性并不相同，從而使得在不同的應用場合，核函數(shù)的性能表現(xiàn)差別很大，且核函數(shù)的構造或選擇至今沒有完善的理論依據(jù)。此外，當樣本特征分布含有異構特性或數(shù)據(jù)在特征空間分布不平坦[8-9]時，采用單個簡單核進行映射的方式對樣本特征統(tǒng)一進行處理并不合理。對于密度估計問題也是一樣，比如概率密度函數(shù)往往可能由多個函數(shù)混合而成，其結果是函數(shù)自身同時包含了快速變化和平緩變化，這樣的函數(shù)稱為非平坦函數(shù)（non-flat function）。因此，要解決非平坦函數(shù)的概率密度估計問題，簡單的單核函數(shù)支持向量機模型可能并不能獲得最優(yōu)的結果。

為有效解決非平坦函數(shù)的概率密度估計問題，本文采用改進支持向量機概率密度估計模型約束條件形式的方法，構建了一種單松弛因子支持向量機概率密度估計模型。在此基礎上，通過引入多尺度核方法，提出了單松弛因子多尺度核支持向量機模型，并將其用于非平坦函數(shù)的概率密度估計。仿真實驗證明，單松弛因子概率密度估計模型比常規(guī)支持向量機概率密度估計模型具有更快的學習速度。同時，相比于單核方法，多尺度核支持向量機概率密度估計模型具有更優(yōu)的估計精度。

本文組織結構如下：第2章對支持向量機概率密度估計的原理進行簡要介紹；第3章詳述了單松弛因子支持向量機和單松弛因子多尺度核支持向量機概率密度估計模型，并分析了算法復雜度；第4章構建了幾組非平坦概率密度函數(shù)仿真實例，利用新建模型進行了實驗；最后對全文進行了總結。

2　支持向量機概率密度估計

其中，θ(u)的取值為：

Kolmogorov-Smirnov分布解釋了真實分布F(x)與經(jīng)驗分布Fl(x)間的關系[10]。

設樣本集D={x1,x2,…,xl}中樣本的概率密度為p(x)，令xi={xi,1,xi,2,…,xi,m}?Rm,i=1,2,…,l，滿足獨立同分布。支持向量機概率密度估計問題的目標為以核密度的形式估計未知的概率密度p(x)，其形式為：

約束條件為：

其分布函數(shù)的估計形式為：

其中，k(x,xi)和K(x,xi)滿足關系：

在支持向量機概率密度估計方法中，欲尋求p(x)的一種稀疏表示，即大部分的βi為0，βi不為0的樣本xi決定了概率密度函數(shù)p(x)的形式。該函數(shù)所滿足的條件為：

約束條件為：

借鑒采用ε不敏感損失函數(shù)支持向量回歸機的思想，概率密度估計問題轉化為以下二次規(guī)劃問題[13]：

核函數(shù)k(x,xi)和K(x,xi)常用的形式為：

當k(×,×)取式（12）的形式時，K(×,×)應滿足式（13）：

其中，Q(x)滿足：

當k(×,×)取式（15）的形式時，相應的K(×,×)如式（16）所示：

3　單松弛因子多尺度核支持向量機概率密度估計

3.1單松弛因子支持向量機概率密度估計模型

文獻[14]針對支持向量機的分類和回歸的二次規(guī)劃和線性規(guī)劃問題對松弛因子進行了合并。借鑒這種思想，本文對支持向量機概率密度估計模型進行了簡化，提出了單松弛因子概率密度估計模型。支持向量機概率密度估計模型的對偶形式并不能提高優(yōu)化問題的結構，因此采用的是對原模型直接進行優(yōu)化的方式，松弛因子也在解的尋優(yōu)范圍內。因此如能在不影響概率密度形式的前提下將兩類松弛因子進行合并，那么模型的計算復雜度將會減小。在支持向量機概率密度估計問題（11）中引入兩個松弛因子ξ和ξ*來控制誤差的大小。在單松弛因子概率密度估計模型中采用單個松弛因子ξ來控制誤差，給出單松弛因子概率密度估計模型如式（17）所示。

定理1支持向量機概率密度估計模型（11）與單松弛因子支持向量機概率密度估計模型（17）等價，且關于β=(β1,β2,…,βl)的最優(yōu)解相同。

證明當優(yōu)化問題（11）取最優(yōu)解時，有下式成立：

式（11）的目標函數(shù)可寫成：

該式等價于：

當單松弛因子支持向量機概率密度估計模型取最優(yōu)解時，有下式成立：

因此單松弛因子支持向量機概率密度估計模型與原模型的目標函數(shù)等價。

因此兩個問題的約束條件也等價。

其中，(ξ1')i=(|d1i|-εi,0)+，(ξ2')i=(-d2i-εi)+，(ξ*2')i= (d2i-εi)+。

因為(β1,ξ1,ξ*1)為優(yōu)化問題（11）的最優(yōu)解，所以有：

將式（25）和（26）聯(lián)立，可以得出：

因為(β2,ξ2)為優(yōu)化問題（17）的最優(yōu)解，所以有下式成立：

聯(lián)合式（27）和式（28）可以得出W2(β2,ξ2)=W2(β1,ξ1')。因為優(yōu)化問題（17）解唯一，所以有β1=β2成立。□

將單松弛因子支持向量機概率密度估計模型寫成矩陣的形式為：

其中c、A、s、F的形式分別為：

式（30）中，β=(β1,β2,…,βl)，ξ=(ξ1,ξ2,…,ξl)，1表示l′1的全1向量，I表示l′l的單位矩陣，ε=(ε1, ε2,…,εl)T，F(xiàn)l=(Fl(x1),Fl(x2),…,Fl(xl))T，ki,j=k(xi,xj)，Ki,j=K(xi,xj)，i,j=1,2,…,l。

3.2單松弛因子多尺度核支持向量機概率密度估計模型

基于多核學習方法[15-16]構建的多核模型，是一類靈活性更強的基于核的學習模型。近來的理論和應用已經(jīng)證明利用多核代替單核能增強決策函數(shù)的解釋能力（interpretability），并提高性能。構造多核模型，最簡單也最常用的一種方法就是考慮多個基本核函數(shù)的凸組合，形如：

這里Kj是基本核函數(shù)；m是基本核的總個數(shù)；βj是權系數(shù)。因此，在多核框架下，樣本在特征空間中的表示問題轉化成為基本核與權系數(shù)的選擇問題。

多核學習方法的一種特殊化情形就是將多個尺度的核進行融合[17-18]。這種方法更具靈活性，并且能比合成核方法提供更完備的尺度選擇。此外，隨著多尺度分析理論的不斷成熟與完善，多尺度核方法通過引入尺度空間，使其具有很好的理論背景，對基于核方法的機器學習又是一次大的擴展。多尺度核方法的基礎就是要找到一組具有多尺度表示能力的核函數(shù)。在被廣泛使用的核函數(shù)中，高斯徑向基核是最受歡迎的，因為它具有通用普遍的近似能力，同時也是一種典型的可多尺度化核。

對于概率密度估計問題中的合成概率密度，對應的，可以構建多尺度核支持向量機概率密度估計模型，其概率密度的形式為：

其中kr(×,×)為具有多尺度表示能力的核函數(shù)。令與kr(×,×)相對應的核寬度為ρr，則求取p(x)需要求解的線性規(guī)劃的形式為：

定理2多尺度核支持向量機概率密度估計模型（33）可以簡化為：

定理2的證明思路與定理1類似，不再贅述?！?/p>

式（34）即為單松弛因子多尺度核概率密度估計模型，將其寫成矩陣的形式為：

其中c、A、s、F的形式為：

式（36）中，βr=(β1,r,β2,r,…,βl,r)，ξ=(ξ1,ξ2,…,ξl)，1表示l′1的全1向量，I表示l′l的單位矩陣，ε= (ε1,ε2,…,εl)T，F(xiàn)l=(Fl(x1),Fl(x2),…,Fl(xl))T，(Kr)i,j= Kr(xi,xj)，i,j=1,2,…,l，r=1,2,…,n。

3.3算法復雜度分析

單松弛因子支持向量機概率密度估計模型（17）的本質為二次規(guī)劃問題。令訓練集中樣本的個數(shù)為l，則該問題含有2l個變量。求解該問題的空間復雜度主要體現(xiàn)在對式（29）中k和A的存儲上，存儲k的空間復雜度為O(l2)，存儲A的空間復雜度為O(4l2)，時間復雜度為O(8l3)。該模型需優(yōu)化的變量的個數(shù)只為原模型（11）的2/3。單松弛因子多尺度核支持向量機概率密度估計模型的本質為線性規(guī)劃問題。令模型中含有n個核函數(shù)，則需要優(yōu)化的變量個數(shù)為(n+1)l個，而原優(yōu)化問題（35）需要優(yōu)化的變量的個數(shù)為(n+2)l。因此選取的核函數(shù)越少，前者的優(yōu)勢越明顯。非耦合數(shù)據(jù)合成概率密度估計方法的本質為利用數(shù)據(jù)樣本集合的先驗知識，將合成概率密度估計問題轉化成一系列子問題進行求解，從而簡化了優(yōu)化問題的規(guī)模。

4　仿真實驗及結果分析

下面通過3種典型的非平坦函數(shù)，對單松弛因子多尺度核支持向量機概率密度估計模型進行仿真實驗。

4.1非平坦高斯分布函數(shù)仿真實例

由分布密度（37）構建非平坦高斯分布函數(shù)，并產(chǎn)生100個隨機樣本。

取μ1=0，σ1=1，μ2=6，σ2=3。SVM模型訓練時，多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=2，ρ2=1，訓練支持向量機模型時懲罰系數(shù)C=30，觀察式（37）可知，x以先驗概率0.2和0.8所屬于兩類。首先按照先驗概率和類分布情況已知的情形對p(x)進行估計，采用單松弛因子多尺度核概率密度估計結果如圖1所示。假定由概率密度（37）生成的樣本集合的子類分布及先驗概率未知，選取兩個具有不同尺度的核函數(shù)（12），采用單松弛因子多尺度核概率密度估計方法（34）所得的估計結果如圖2所示。

常規(guī)SVM概率密度估計模型、單松弛因子SVM概率密度估計模型和單松弛因子多尺度核概率密度估計模型各運行20次，3種模型的運行時間如圖3所示。通過取平均值，常規(guī)SVM算法的平均運行時間為1.99 s，單松弛因子模型為1.31 s，單松弛因子多尺度核模型為1.33 s，可見改進后的單松弛因子模型提高了運算效率。雖然多尺度核模型增加了一個核函數(shù)，但SVM的運算量絕大部分都在其優(yōu)化過程，多核方法帶來的時間變化不大，損失可忽略不計。

Fig.1 Probability distribution and probability density estimation results with known classification圖1　分類已知條件下概率分布和密度估計結果

Fig.2 Probability distribution and probability density estimation results with unknown classification圖2　分類未知條件下概率分布和密度估計結果

Fig.3 Time comparison of three models圖3　各模型運行時間對比

4.2非平坦瑞利分布函數(shù)仿真實例

由分布密度（38）構建非平坦瑞利分布函數(shù)，產(chǎn)生300個隨機樣本進行實驗，其中100個樣本進行訓練，200個樣本進行測試。

實驗中，參數(shù)σ1=10，σ2=2；多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=3，ρ2=1，訓練支持向量機模型時懲罰系數(shù)C=20。在實際情況中，往往并不知道混合密度中兩類函數(shù)的比例，因此實驗中假定子類分布及先驗概率未知。通過訓練，采用單個尺度核函數(shù)ρ=1時，單松弛因子模型的概率分布和密度估計結果如圖4所示，采用單松弛因子兩尺度核概率密度估計模型對測試樣本的概率分布和密度估計結果如圖5所示。

Fig.4 Results of non-flat Rayleigh distribution using single kernel model圖4　單核模型的非平坦瑞利分布估計結果

Fig.5 Results of non-flat Rayleigh distribution using multi-scale kernel model圖5　多尺度核模型的非平坦瑞利分布估計結果

采用如下指標來表征兩種算法的估計精度：

Table 1 Estimation precision of probability distribution and probability density on non-flat Rayleigh distribution表1　非平坦瑞利分布概率分布和密度估計精度

4.3非平坦對數(shù)正態(tài)分布函數(shù)仿真實例

由分布密度（39）構建非平坦對數(shù)正態(tài)分布函數(shù)，采用同4.2節(jié)中類似的方法進行實驗。

實驗中，參數(shù)μ1=0，μ2=2，σ1=0.2，σ2=0.4；多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=0.8，ρ2=1.2，訓練支持向量機模型時懲罰系數(shù)C=20；假定子類分布及先驗概率未知。通過訓練，采用單個尺度核函數(shù)ρ=0.8時，單松弛因子模型的概率分布和密度估計結果如圖6所示，采用單松弛因子兩尺度核概率密度估計模型對測試樣本的概率分布和密度估計結果如圖7所示。從估計曲線和表2中數(shù)據(jù)可以看出，多尺度核模型的精度相對單核模型要高。但由于對數(shù)正態(tài)分布函數(shù)變量取較小值時，其概率密度的變化非常劇烈，跳躍明顯，不適合采用連續(xù)函數(shù)模型擬合，從而誤差較大；隨著變量增大，正態(tài)分布函數(shù)的概率密度變化趨于平緩，因此估計精度有所提升。

Table 2 Estimation precision of probability distribution and probability density on non-flat lognormal distribution表2　非平坦對數(shù)正態(tài)分布概率分布和密度估計精度

5　結束語

Fig.6 Results of non-flat lognormal distribution using single kernel model圖6　單核模型的非平坦對數(shù)正態(tài)分布估計結果

非平坦函數(shù)是混合概率密度估計的一種典型情形。為了解決這類問題，通過對支持向量機概率密度估計模型進行改進，提出了單松弛因子多尺度核支持向量機概率密度估計模型，并證明了本文模型與原模型的等價性。仿真實驗也證明本文模型減小了計算復雜度，具有更高的效率，同時估計精度也較高。本文模型還可應用于復雜系統(tǒng)故障預測和可靠性評估領域，解決在沒有任何故障先驗數(shù)據(jù)和故障先驗知識情況下的系統(tǒng)異常程度衡量問題。

Fig.7 Results of non-flat lognormal distribution function using multi-scale kernel model圖7　多尺度核模型的非平坦對數(shù)正態(tài)分布估計結果

References:

[1] Kim H E, Tan AC C, Mathew J, et al. Bearing fault prognosis based on health state probability estimation[J]. Expert Systems with Applications, 2012, 39(5): 5200-5213.

[2] He Yulin, Wang Ran, Kwong S, et al. Bayesian classifiers based on probability density estimation and their applications to simultaneous fault diagnosis[J]. Information Sciences, 2014, 259: 252-268.

[3] Parzen E. On estimation of a probability density and mode[J]. Annals of Mathematical Statistics，1962，33(3): 1065-1076.

[4] Motoki S, Voot T, Masashi S. Direct conditional probability density estimation with sparse feature selection[J]. Machine Learning, 2015, 100(2): 161-182.

[5] Wang Shitong, Wang Jun, Chung Fulai. Kernel density estimation, kernel methods, and fast learning in large data sets[J]. IEEE Transactions on Cybernetics, 2014, 44(1): 1-20.

[6] Mohamed R M, El-Baz A, Farag A A. Probability density estimation using advanced support vector machines and the EM algorithm[J]. International Journal of Computer, Electrical, Automation, Control and Information Engineering, 2007, 1(2): 441-444.

[7] Girolami M, He Chao. Probability density estimation from optimally condensed data samples[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1253-1264.

[8] Zheng Danian, Wang Jiaxin, Zhao Yannan. Non-flat function estimation with a multi-scale support vector regession[J]. Neurocomputing, 2006, 70(1/3): 420-429.

[9] JooSeuk K, Clayton D S. Robust kernel density estimation[J]. The Journal of Machine Learning Research, 2012, 13(1): 2529-2565.

[10] Paramasamy S. On multivariate Kolmogoro-Smirnov distribution[J]. Statistics & Probability Letter, 1992, 15: 140-155.

[11] Nischenko I, Jordaan E M. Confidence of SVM predictions using a strangeness measure[C]//Proceedings of the 2006 International Joint Conference on Neural Networks, Vancouver, Canada, 2006: 1239-1246.

[12] Paolo M, Gabriele M, Sebastiano B S. Partially supervised classification of remote sensing images through SVM based probability density estimation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3): 559-570.

[13] Weston J, Gammerman A, Stitson M O, et al. Support vector density estimation[M]//Advances in Kernel Methods. Cambridge, USA: MIT Press, 1999.

[14] Sun Deshan. Research on support vector machine classification and regression methods[D]. Guangzhou: Sun Yat-sen University, 2004.

[15] G?nen M, Alpaydin E. Multiple kernel learning algorithms[J]. The Journal of Machine Learning Research, 2011, 12: 2211-2268.

[16] Bach F R. Consistency of the group Lasso and multiple kernel learning[J]. The Journal of Machine Learning Research, 2008, 9(6): 1179-1225.

[17] Kingsbury N, Tay D B H, Palaniswami M. Multi-scale kernel methods for classification[C]//Proceedings of the 2005 IEEE Workshop on Machine Learning for Signal Processing, Mystic, USA, Sep 2005. Piscataway, USA: IEEE, 2005: 43-48.

[18] Wang Hongqiao, Sun Fuchun, Cai Yanning, et al. On multiple kernel learning methods[J]. Acta Automatica Sinica, 2010, 36(8): 1037-1050.

附中文參考文獻：

[14]孫德山.支持向量機分類與回歸方法研究[D].廣州:中山大學, 2004.

[18]汪洪橋,孫富春,蔡艷寧,等.多核學習方法[J].自動化學報, 2010, 36(8): 1037-1050.

WANG Honqiao was born in 1979. He received the Ph.D. degree in computer application technologies from the Second Artillery Engineering University in 2010. Now he is a lecturer at the Second Artillery Engineering University. His research interests include machine learning, pattern recognition and intelligent information processing, etc.

汪洪橋（1979—），男，湖北云夢人，2010年于第二炮兵工程大學計算機應用專業(yè)獲得博士學位，現(xiàn)為第二炮兵工程大學講師，主要研究領域為機器學習，模式識別，智能信息處理等。發(fā)表學術論文20余篇，其中SCI檢索5篇，EI檢索12篇，先后承擔和參與國家、軍隊重點項目10余項，獲得軍隊科技進步二等獎兩項。

CAI Yanning was born in 1980. She received the Ph.D. degree in computer application technologies from the Second Artillery Engineering University in 2009. Now she is a lecturer at the Second Artillery Engineering University. Her research interests include machine learning and support vector machine, etc.

蔡艷寧（1980—），女，遼寧瓦房店人，2009年于第二炮兵工程大學計算機應用專業(yè)獲得博士學位，現(xiàn)為第二炮兵工程大學講師，主要研究領域為機器學習，支持向量機等。發(fā)表學術論文20余篇，先后承擔和參與國家、軍隊重點項目10余項，獲得軍隊科技進步二等獎1項。

FU Guangyuan was born in 1966. He received the Ph.D. degree in navigation guidance and control from the Second Artillery Engineering University in 2004. Now he is a professor and Ph.D. supervisor at the Second Artillery Engineering University. His research interests include artificial intelligence and intelligent information processing, etc.

付光遠（1966—），男，四川成都人，2004年于第二炮兵工程大學獲得博士學位，現(xiàn)為第二炮兵工程大學教授、博士生導師，主要研究領域為人工智能，智能信息處理等。發(fā)表學術論文50余篇，先后主持完成國家、軍隊重點課題20余項，獲軍隊科技進步二等獎5項。

WANG Shicheng was born in 1962. He received the Ph.D. degree in navigation guidance and control from the Second Artillery Engineering University in 1998. Now he is a professor and Ph.D. supervisor at the Second Artillery Engineering University. His research interests include precise guidance technologies and intelligent information processing, etc.

王仕成（1962—），男，山東單縣人，1998年于第二炮兵工程大學獲得博士學位，現(xiàn)為第二炮兵工程大學教授、博士生導師，主要研究領域為精確制導技術，智能信息處理等。發(fā)表學術論文140余篇，先后獲國家科技進步二等獎3項，軍隊科技進步一等獎4項，軍隊科技進步二等獎4項。

Probability Density Estimation for Non-flat Functions?

WANG Hongqiao1+, CAI Yanning2, FU Guangyuan1, WANG Shicheng3
1. Department of Information Engineering, the Second Artillery Engineering University, Xi’an 710025, China
2. College of Science, the Second Artillery Engineering University, Xi’an 710025, China
3. Department of Control Engineering, the Second Artillery Engineering University, Xi’an 710025, China

+ Corresponding author: E-mail: ep.hqwang@gmail.com

WANG Hongqiao, CAI Yanning, FU Guangyuan, et al. Probability density estimation for non-flat functions. Journal of Frontiers of Computer Science and Technology, 2016, 10(4)：589-599.

Abstract:Aiming at the probability density estimation problem for non-flat functions, this paper constructs a single slack factor multi-scale kernel support vector machine (SVM) probability density estimation model, by improving the form of constraint condition of the traditional SVM model and introducing the multi-scale kernel method. In the model, a single slack factor instead of two types of slack factors is used to control the learning error of SVM, which reduces the computational complexity of model. At the same time, by introducing the multi-scale kernel method, the model can well fit the functions with both the fiercely changed region and the flatly changed region. Through several probability density estimation experiments with typical non-flat functions, the results show that the single slack probability density estimation model has faster learning speed than the common SVM model. And compared with the single kernel method, the multi-scale kernel SVM probability density estimation model has better estimation precision.

文獻標志碼：A

中圖分類號：TP301

doi:10.3778/j.issn.1673-9418.1505046