黨帥濤， 柯 堅， 吳文海， 王 奇

(西南交通大學 機械工程學院,四川 成都 610031)

0 引 言

針對故障診斷、異常檢測等實際問題，由于種種客觀條件的限制，模式空間中往往只含有正常類樣本，異常類樣本的規(guī)模相對較少或嚴重不足，將會致使傳統(tǒng)的二分類方法得到的分類超平面產生偏移，泛化能力下降，很難滿足實際應用的需求。而單分類的學習方法只針對正常樣本進行學習建立分類超平面，并形成診斷策略，對于異常檢測可取得很好的效果。

支持向量數據描述(support vector data description,SVDD)作為一種經典的單分類方法，其以支持向量機和統(tǒng)計學習理論為基礎，繼承了支持向量機的優(yōu)點，具有堅實的理論基礎和學習能力[1]。但經典的SVDD對一些離群點及異常點較為敏感，在訓練過程中容易產生過學習的問題；且SVDD構造的數據描述邊界間隔為零，造成學習器魯棒性相對不高。針對此類問題，近些年許多學者做出了有益的貢獻，文獻[2]考慮到數據集本身的分布信息，構造了基于樣本本身分布信息的模糊數據描述輪廓，在一定程度上改善了經典SVDD的數據敏感問題；Chen G等人[3]利用有限的負類樣本并引入不敏感損失函數的概念，構造了一個間隔，在一定程度上解決了分類間隔為零的問題；Nguyen P等人[4]受單分類支持向量機和SVDD啟發(fā)提出Distant SVDD，在SVDD的最小包圍球的基礎上最大化球心與原點之間的距離，文獻[6]改進了Nguyen P[4]的方法，推廣構建了此方法的最小二乘形式，提高了SVDD的泛化能力。

上述方法多針對SVDD的某一缺陷進行改進，沒有進行綜合考慮，且對于典型樣本不足的問題研究較少，結果不太理想，因此,本文設計一種雙超球數據域描述(double surround hypersphere datadomain description,DSHDD)模型，受Nguyen P[4]方法啟發(fā)，在SVDD最小化包圍球的基礎之上優(yōu)化一個最大超球使其包含更多的樣本，并將絕大部分異常樣本排除在大超球之外。

1 SVDD

對于n個訓練樣本x，SVDD的目的是尋找一個最小超球R使絕大部分樣本都位于這個超球體之內，極少部分異常樣本被排除在超球體之外[1]，可表達為

(1)

式中a為超球中心，ε為松弛變量，C為正則化參數。為改善數據描述性能通常引入核函數把原始數據映射到高維特征空間，并在高維特征空間中最小化包圍球。

2 DSHDD

考慮到在某些特殊應用的場合，對漏警率(或虛警率)的要求十分嚴苛(如入侵檢測等)，傳統(tǒng)的SVDD及其改進算法只能通過調整正則化參數來減小(或增大)超球半徑，減小(或增大)超球半徑必然帶來更多的樣本位于超球體之外(或內)，增加了虛警率(或漏警率)，經典SVDD通過最小化包圍球的思想來最大限度地提高決策的確信度，但位于決策邊界處的樣本的決策信息與分割閾值十分接近，處理起來十分困難，造成SVDD精度下降。

(2)

上述優(yōu)化問題的解通過式(3)Lagrange函數給出

(3)

Lagrange乘子α≥0，β≥0，λ≥0，η≥0，進一步的得到

(4)

將式(4)代入式(3)化簡并引入核函數k(x,y)映射到高維特征空間求解，進而將上述優(yōu)化問題的對偶問題轉換為二次規(guī)劃(QP)問題，即

(5)

求解這個QP問題可以得到Lagrange乘子αi，而且分析可知DSHDD把樣本集分隔成正常區(qū)域、異常區(qū)域、拒絕區(qū)域。根據KKT條件，可以得到下述結論：

1)αi=0對應的數據點位于小超球邊界內；

2)0<αi

3)αi=C對應的數據點位于小超球邊界外且位于大超球邊界內，即拒絕區(qū)域；

4)C<αi<δC對應的數據點位于大超球邊界上，為大超球支持向量SVB；

5)αi=δC對應的數據點位于大超球邊界外。

(6)

(7)

3 實驗驗證

實驗中選取表1中6個數據集作為本文的實驗數據集，實驗中把樣本點最多的幾類合并作為目標樣本點及把剩下的一類樣本點作為離群點。

表1 實驗使用的UCI數據集

使用10次10折交叉驗證的網格搜索算法來搜索優(yōu)化SVDD與本文DSHDD方法的參數，由于時間等諸多因素限制，高斯核函數σ的搜索范圍僅設置為[1～300]，搜索間隔為1；懲罰參數C的搜索范圍僅設置為[0.01～0.8]，搜索間隔為0.01；懲罰參數放大因子δ搜索范圍為[1.5～15]，搜索間隔為0.5，大超球控制參數k的搜索范圍僅設置為[-1～1)，搜索間隔為0.1。對參數網格內的任一組參數，使用10次10折交叉驗證方法得到的分類精度的平均值作為此組參數下的精度ACC。在同一個數據集上，不同模型間核函數寬度基本相同，因此，DSHDD使用SVDD搜索到的核函數寬度參數以減少時間的消耗，并統(tǒng)計最優(yōu)參數時位于拒絕區(qū)域的樣本所占比例的平均值p作為檢測率。

搜索到的結果如表2所示(計算DSHDD的檢測精度時假設位于拒絕或粗糙區(qū)域的樣本已經過分類后處理，是分類正確的)，從表2的分類精度ACC可以明顯看出在6個數據集上，與經典的SVDD方法相比本文提出DSHDD方法通過拒絕做出決策使得分類性能具有有明顯的提高，但是同時可以看出，該方法卻意外地使檢測率下降，而檢測率明顯下降意味著模型能給出明確判斷的樣本數目的減少，同時也意味著后期對這些沒有明確分類的樣本進一步的檢測而做出的工作量的增加。

表2 數據描述模型的參數及檢測精度

為了進一步說明所提方法的有效性并實現可視化分析，采用二維人造數據集分別訓練SVDD和本文提出的DSHDD方法，比較SVDD與DSHDD性能的差異。結果分別如圖1所示。

圖1 SVDD與DSHDD性能比較

由圖1(a)看出，SVDD通過最小包圍球數據描述邊界把數據分割成兩個部分，對于任一樣本只有異?；蛘煞N可能，且輪廓內有許多空白區(qū)域，很可能把異常樣本包含在內，使得漏警率較高，性能較差，通過調整正則化參數C可減小數據描述的輪廓半徑，可減小輪廓半徑又可能使得部分正常樣本被排除在描述輪廓之外，造成虛警率較高。

由圖1(b)看出，DSHDD通過最小包圍球和最大包圍球，把樣本數據分割成正常區(qū)域、異常區(qū)域和拒絕區(qū)域，而不是SVDD確定的“非黑即白”的數據分割模式，邊界輪廓更加緊湊，對位于拒絕區(qū)域的樣本其可能是正常數據也可能是異常數據。導致虛警和漏警， DSHDD通過雙包圍球引入拒絕區(qū)域，在這個區(qū)域內，樣本與超球中心之間的距離和超球半徑相差較小，根據不同的應用場合，著重關注兩類錯誤中的一類，可以把過渡區(qū)域的樣本看成相應的類別。

相比于把過渡區(qū)域的所有樣本看成某一類，更推薦“拒絕做出決策”的策略。避免做出決策不是放棄決策，而是在模型決策之后，對那些位于過渡區(qū)域的所有樣本利用其他測試手段進行處理。同時也可以看出致使DSHDD方法性能明顯提高的最主要原因是該方法提供了一個拒絕區(qū)域，模型對拒絕區(qū)域內的樣本拒絕做出決策，并通過專家及其他后續(xù)處理手段對模型拒絕做出決策的樣本進行處理，如果一味的追求正確率必然帶來檢測率的下降及后處理工作量的增加，因此,進一步地對于某些特定的實際問題可以通過調整參數k在檢測率和正確率之間取得折中。

4 結束語

針對訓練樣本異常數據相對較多及SVDD方法魯棒性不強易產生過學習等缺陷，提出一種DSHDD模型，結果表明能很好地解決SVDD的上述缺陷。

由于算法求解二次規(guī)劃問題的時間復雜性，DSHDD運行時占據了大量的存儲空間并消耗大量的時間，進一步應借鑒SVM及SVDD方法研究DSHDD快速求解的問題。