陳君， 彭小奇， 唐秀明， 宋彥坡， 劉征

(1.中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙410083;2.湖南第一師范學(xué)院信息科學(xué)與工程系，湖南長沙，410205;3.湖南科技大學(xué)信息與電氣工程學(xué)院，湖南湘潭411201)

0 引言

支持向量數(shù)據(jù)描述方法(support vector data description，SVDD)是一種源于統(tǒng)計(jì)學(xué)習(xí)理論和基于支持邊界對(duì)數(shù)據(jù)分布進(jìn)行描述的方法［1－2］，它通過構(gòu)建圍繞目標(biāo)數(shù)據(jù)的最小超球體邊界將目標(biāo)數(shù)據(jù)包絡(luò)為一個(gè)封閉的超球體，而使非目標(biāo)數(shù)據(jù)盡可能遠(yuǎn)離超球體。SVDD在數(shù)據(jù)預(yù)處理、分類、異常樣本檢測和數(shù)據(jù)建模等領(lǐng)域有重要應(yīng)用，是機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一［3－4］。Tax D M J，Juszczak P［5］提出使用核化的主元分析方法(核白化)作為SVDD的數(shù)據(jù)預(yù)處理方法，確保在所有維度上有統(tǒng)一的數(shù)據(jù)分布方差，以得到緊致的數(shù)據(jù)描述;Bo Liu，Yanshan Xiao 等［6］通過給每個(gè)正常樣本引入一個(gè)置信度來表征樣本屬于正常類的可能性，從而產(chǎn)生集成置信度的偽訓(xùn)練集，再通過偽訓(xùn)練集來訓(xùn)練SVDD;文獻(xiàn)［7］引入密度權(quán)重概念，通過集成密度權(quán)重的新SVDD方法，使高密度區(qū)域的數(shù)據(jù)得到重視，以更好地描述不同區(qū)域的數(shù)據(jù)分布;Rehman Z，Li T等用邊界更靈活的超橢球［8］及最小體積閉包橢球［9］替代SVDD中的最小超球。這些方法都假定整體數(shù)據(jù)具有單一分布特性，故都使用全局相同的折衷參數(shù)，不適用于處理具有多模態(tài)性和局部分布非同一性的數(shù)據(jù)，即樣本數(shù)據(jù)具有不同分布特征時(shí)。文獻(xiàn)［10］提出了一種新穎的位置正則化的支持向量域描述，通過計(jì)算特征空間中每個(gè)數(shù)據(jù)點(diǎn)與其他數(shù)據(jù)點(diǎn)的距離分配給每個(gè)數(shù)據(jù)點(diǎn)不同的權(quán)重，但對(duì)折衷參數(shù)的調(diào)整只考慮了數(shù)據(jù)整體分布，忽略了決策邊界與局部數(shù)據(jù)分布密切相關(guān)的特點(diǎn)。文獻(xiàn)［11］提出了 LSVR(localized support vector regression)方法，將反映訓(xùn)練樣本間變化趨勢的信息包含于其目標(biāo)函數(shù)及約束條件中，以此自適應(yīng)調(diào)整ε－不敏感帶的寬度，使超平面更為合理并提高模型的性能。

本文針對(duì)傳統(tǒng)的SVDD方法不適用于處理具有多模態(tài)性和局部分布非同一性數(shù)據(jù)的問題，借鑒論文［10－11］如何得到更平滑和緊致邊界的基本思路，提出一種局部優(yōu)化邊界的SVDD方法(support vector data description with local optimization boundary，LOB－SVDD)，通過求取局部數(shù)據(jù)樣本的分散程度獲取支持向量機(jī)算法中折衷參數(shù)的局部調(diào)整系數(shù)，以此優(yōu)化求解決策邊界函數(shù)，達(dá)到對(duì)具有多模態(tài)性和局部分布非同一性數(shù)據(jù)的更有效的描述。

1 SVDD邊界特征分析

1.1 SVDD簡述

式中:ξi為松弛變量;C為折衷參數(shù)，超球體Ω的邊界直接依賴于C的取值。

式(1)的優(yōu)化問題的解可通過求解式(2)所示的拉格朗日泛函的鞍點(diǎn)給出:

其中，Lagrange 乘子 μi≥0，αi≥0，i=1，…，n。

令L對(duì)r，a和ξi的偏導(dǎo)數(shù)分別為0，可得

由式(5)可得 αi=C － μi，結(jié)合 μi≥0 可得

將式(3)、式(4)、式(5)、式(6)代入式(2)，并將F中某數(shù)據(jù)點(diǎn)的范數(shù)φ(xi=〈φ(xi)，φ(xi)〉代以核函數(shù)，即 K(xi，xi)=〈φ(xi)，φ(xi)〉，可得式(2)的對(duì)偶問題:

根據(jù)文獻(xiàn)［12］給出的離群點(diǎn)定義，圖1中，局部樣本分散程度低的區(qū)域γ中的樣本點(diǎn)應(yīng)被更緊密的邊界函數(shù)包裹，而其外圍的樣本點(diǎn)?(xsus1)為離群點(diǎn)，但若認(rèn)為區(qū)域γ與樣本分散程度高的區(qū)域β具有相同的樣本分布特征，則樣本點(diǎn)?(xsus1)將被誤認(rèn)為正常樣本點(diǎn)，即產(chǎn)生異常樣本被劃為正確類(false positive，F(xiàn)P)的現(xiàn)象。對(duì)區(qū)域β，其邊界函數(shù)的緊密程度應(yīng)被放松，因樣本點(diǎn)?(xsus2)與區(qū)域β內(nèi)的樣本具有相同的分布特性，故其應(yīng)為正常樣本，若邊界函數(shù)取值不當(dāng)，則樣本點(diǎn)?(xsus2)可能被劃為離群點(diǎn)，即產(chǎn)生正確樣本被劃為異常類(False negative，F(xiàn)N)的現(xiàn)象。顯然，F(xiàn)P和FN現(xiàn)象的出現(xiàn)是因?yàn)閭鹘y(tǒng)的SVDD認(rèn)為樣本集具有單一分布特性，忽略了不同樣本子集可能具有不同分布特性所造成的。

圖1 特征空間SVDD邊界數(shù)據(jù)分布特性Fig.1 Distribution features of SVDD boundary data in feature space

1.2 SVDD決策邊界特性分析

SVDD的特征空間邊界特性如圖1所示。

(1)若映射到特征空間F的樣本點(diǎn)φ(xi)在超球體Ω=(a，r)的內(nèi)部，則ξi=0，由原始優(yōu)化問題式(1)的約束條件可得‖φ(xi)－a‖2＜r2，據(jù)Karush－Kuhn－Tucker(KKT)最優(yōu)化條件可得

則ai必等于0，再由式(5)推出μi=C。

(2)若映射到特征空間F的樣本點(diǎn)φ(xi)在超球體Ω=(a，r)的表面，則 ξi=0，由原始優(yōu)化問題(1)的約束條件可得‖φ(xi)－a‖2=r2，據(jù)KKT最優(yōu)化定理，拉格朗日參數(shù)不為零的必要條件是對(duì)應(yīng)的不等式約束在解中都是等式形式?，F(xiàn)原始優(yōu)化問題(1)的約束條件以等式出現(xiàn)，所以參數(shù)αi，μi不為0;在保證式(5)成立的條件下可得

(3)若映射到特征空間F的樣本點(diǎn)φ(xi)在超球體Ω=(a，r)的表面外，則ξi＞0。由原始優(yōu)化問題(1)的約束條件可知‖φ(xi)－a‖2＞r2，由式(2)，據(jù)KKT最優(yōu)化條件可得

結(jié)合條件 ξi＞0，得 μi=0，再由式(5)可得αi=C。

(4)據(jù)邊界函數(shù)的條件式(11)，以及KKT最優(yōu)化條件式(3)，折衷參數(shù)應(yīng)滿足C＞。

由以上分析可知，由SVDD的邊界函數(shù)式(9)所確定的SVDD的最小超球體對(duì)折衷參數(shù)C的選擇很敏感［9］:當(dāng)C增大時(shí)，式(9)的取值增大，離群點(diǎn)數(shù)目減少;C減小時(shí)，式(9)的取值減小，離群點(diǎn)數(shù)目增加。由于C的設(shè)置與數(shù)據(jù)的分布密切相關(guān)，故為獲得更緊致和平滑的邊界函數(shù)，有必要對(duì)折衷參數(shù)C予以優(yōu)化。

2 LOB－SVDD方法

由1.2節(jié)分析知，SVDD在特征空間的決策邊界函數(shù)直接受控于折衷參數(shù)C，傳統(tǒng)的SVDD［1］的邊界能較好包絡(luò)目標(biāo)數(shù)據(jù)，但當(dāng)樣本數(shù)據(jù)體現(xiàn)出多模態(tài)特性，即樣本數(shù)據(jù)具有不同分布特征時(shí)，若仍用唯一的折衷參數(shù)C去求取決策邊界函數(shù)，則所求結(jié)果將是次優(yōu)化的決策邊界，以其為基礎(chǔ)建立的數(shù)學(xué)模型難以正確反映建模對(duì)象在空間不同區(qū)域的局部變化規(guī)律。顯然，對(duì)不同模態(tài)的數(shù)據(jù)樣本，折衷參數(shù)C應(yīng)取不同值才能獲得全局最優(yōu)決策邊界。為此，提出如下的LOB－SVDD方法。

對(duì)映射到高維特征空間F的數(shù)據(jù)點(diǎn)φ(xi)，運(yùn)用K近鄰方法找到其K個(gè)近鄰數(shù)據(jù)φ(xiN)∈F，N=1，…，k，構(gòu)成局部數(shù)據(jù)集 NNK(xi)={φ(xi)，φ(xiN)，N=1，…，k}，其局部期望中心為

局部數(shù)據(jù)的分散程度可表示為

其中，

核函數(shù) K(x，x)選用高斯徑向基核函數(shù)，因K(x，x)=〈φ(x)，φ(x)〉=1，故

由式(14)有

式中，M為近鄰數(shù)目，M=1，…，k。把式(18)代入式(17)得

同理得

把式(19)、式(20)代入式(15)得局部數(shù)據(jù)的分散程度:

定義折衷參數(shù)局部調(diào)整系數(shù)w(xi)為

考慮數(shù)據(jù)樣本局部分布的支持向量邊界函數(shù)優(yōu)化問題可表示為

采用與求解優(yōu)化問題(1)類似的方法，引入Lagrange 乘子 μi≥0，ai≥0，i=1，…，n。式(23)的對(duì)偶形式為

同樣，通過利用KKT條件可以得到問題(23)關(guān)于a和r的最優(yōu)解:

從式(24)的約束條件可見，決定邊界函數(shù)的支持向量的上邊界不再是唯一值C，而是受到局部調(diào)整系數(shù)w(xi)的控制。若邊界內(nèi)的K近鄰數(shù)據(jù)點(diǎn)分散度小，則w(xi)的存在將減小局部決策邊界區(qū)域，否則將擴(kuò)大局部決策邊界區(qū)域，從而使決策邊界函數(shù)最優(yōu)化。

3 實(shí)驗(yàn)測試與結(jié)果分析

3.1 數(shù)據(jù)描述

為驗(yàn)證本方法，從常用機(jī)器學(xué)習(xí)數(shù)據(jù)庫UCI(http://archive.ics.uci.edu/ml/datasets.html)中選取 4種有代表性的用于測試分類算法性能的數(shù)據(jù)集，取其中一類為目標(biāo)數(shù)據(jù)集，其余類為異常類數(shù)據(jù)集。數(shù)據(jù)取值全部歸一化到［－1，1］之間，其具體描述見表1。同時(shí)，為了使實(shí)驗(yàn)具有直觀性，人工構(gòu)造具有不同分布特性的數(shù)據(jù)集Data來進(jìn)行訓(xùn)練和測試。人工訓(xùn)練集由均值 u1=［5;7］，協(xié)方差矩陣為∑1=和均值為u=［8;12］，協(xié)方差矩陣為的120個(gè)兩維正態(tài)隨機(jī)數(shù)構(gòu)成;測試集由同樣均值u1，u2和協(xié)方差矩陣∑1，∑2的120個(gè)兩維正態(tài)隨機(jī)數(shù)以及其邊緣外側(cè)分布的20個(gè)離群點(diǎn)構(gòu)成。核函數(shù)選用高斯徑向基核函數(shù)k(xi，xj)=

表1 標(biāo)準(zhǔn)數(shù)據(jù)集的構(gòu)成特點(diǎn)Table 1 Details of training and testing datasets

3.2 結(jié)果分析

考慮單分類問題，其可能的分類結(jié)果如表2所示，離群點(diǎn)檢測評(píng)價(jià)指標(biāo)［6］主要通過假正率(false positives rate，F(xiàn)PR)和假負(fù)率(false negatives rate，F(xiàn)NR)最小化來衡量。

FPR，F(xiàn)NR分別定義如下:

為實(shí)現(xiàn)SVDD單分類器假正率和假負(fù)率的最小化，通過交叉驗(yàn)證法進(jìn)行參數(shù)優(yōu)化;近鄰值K的選取，在很大程度上與數(shù)據(jù)樣本的局部分散程度的具體情況相關(guān)，目前還沒有即定的準(zhǔn)則來指導(dǎo)K的選取，本文方法在實(shí)驗(yàn)過程中將K的取值設(shè)在樣本數(shù)目10到30之間，在不同的K值下找到一個(gè)較優(yōu)的K值。在最優(yōu)化參數(shù)條件下，本文LOB－SVDD方法與傳統(tǒng)的SVDD對(duì)測試樣本的FPR和FNR性能比較如表3所示。

為更直觀比較LOB－SVDD方法與傳統(tǒng)的SVDD方法對(duì)具有不同分布特性數(shù)據(jù)的決策性能，對(duì)人工數(shù)據(jù)集沒有進(jìn)行歸一化處理，其決策邊界結(jié)果如圖2所示?？梢?，在數(shù)據(jù)分散程度小的區(qū)域，LOB－SVDD方法所確定的決策邊界被緊縮，從而能減少FP現(xiàn)象，提高對(duì)正常樣本的識(shí)別率;在數(shù)據(jù)分布的過渡區(qū)域，LOB－SVDD方法所確定的決策邊界能依據(jù)數(shù)據(jù)分布特點(diǎn)更平滑地包裹正常樣本集;在數(shù)據(jù)分散度較大的區(qū)域，LOB－SVDD方法所確定的決策邊界被適當(dāng)擴(kuò)大，從而能減少FN現(xiàn)象。因此，與傳統(tǒng)的SVDD方法相比，本文LOB－SVDD方法能得到更加優(yōu)化的決策邊界。

表3 LOB－SVDD與傳統(tǒng)SVDD的性能比較Table 3 Performance comparisons between LOB－SVDD and SVDD

圖2 在人工數(shù)據(jù)傳統(tǒng)SVDD與LOB－SVDD的決策邊界Fig.2 Decision boundary of SVDD and SVDD in simulated dataset

4 工業(yè)應(yīng)用

銅锍吹煉是硫化銅精礦火法冶煉工藝流程中的最后工序，是一個(gè)典型的復(fù)雜工業(yè)過程，主要由S1和S2兩個(gè)造渣期和B1和B2兩個(gè)造銅期分階段組成［13－14］。在S1期加入適量的銅锍和熔劑鼓風(fēng)吹煉，銅锍中的FeS優(yōu)先氧化，生成FeO并與加入的石英熔劑反應(yīng)生成爐渣。當(dāng)銅锍中的FeS氧化殆盡時(shí)，S1期結(jié)束，倒出爐渣，根據(jù)出渣量和轉(zhuǎn)爐的容量再次加入銅锍，開始第二個(gè)造渣期—S2期的吹煉。在造銅期B1和B2期，Cu2S氧化生成Cu2O并進(jìn)而與未被氧化的Cu2S發(fā)生交互反應(yīng)，產(chǎn)出金屬銅。未通過造渣脫除的Fe及造銅期加入的冷料中所含F(xiàn)e被氧化生成Fe3O4，F(xiàn)e3O4與Cu2O等形成底渣，由于底渣含銅高，故吹煉結(jié)束后，該爐次的底渣并不排除，而是留待下一爐次繼續(xù)吹煉。吹煉過程發(fā)生的硫化物氧化反應(yīng)和FeO與熔劑的造渣反應(yīng)，全部是放熱反應(yīng)，對(duì)耐火磚爐襯不斷的侵襲，引起生產(chǎn)過程狀態(tài)的變化，在熱量富余的情況下需要投入冷料以避免熔體溫度過高。

因有色冶金過程數(shù)據(jù)受采集環(huán)境和采集手段的影響，一般都需要經(jīng)過數(shù)據(jù)預(yù)處理才能用于基于數(shù)據(jù)驅(qū)動(dòng)的過程優(yōu)化與決策控制。深入分析轉(zhuǎn)爐吹煉過程機(jī)理，可知其是典型的多模態(tài)、間歇式工業(yè)過程，給其數(shù)據(jù)的噪聲和離群值處理帶來很大困難，為此，應(yīng)用LOB－SVDD方法對(duì)來自實(shí)際生產(chǎn)過程的數(shù)據(jù)進(jìn)行數(shù)據(jù)離群點(diǎn)處理。

取某銅冶煉廠1#爐一個(gè)爐齡周期中217爐次的銅锍吹煉原始數(shù)據(jù)，每個(gè)爐次的數(shù)據(jù)中均包括兩個(gè)造渣期S1和S2、兩個(gè)造銅期B1和B2共42個(gè)屬性數(shù)據(jù);根據(jù)銅锍吹煉工藝機(jī)理和分析目的對(duì)有關(guān)屬性進(jìn)行選擇和合并，剔除有缺失數(shù)據(jù)的樣本，構(gòu)成由每一爐次10個(gè)屬性數(shù)據(jù)構(gòu)成的1#爐一個(gè)爐齡周期的原始樣本集，數(shù)據(jù)取值全部歸一化到［－1，1］之間，其具體特征見表4。根據(jù)吹煉機(jī)理，渣含Cu≤5%為正常數(shù)據(jù)集，所以在渣含Cu≤5%的129個(gè)原始樣本中隨機(jī)抽取100個(gè)構(gòu)成正常數(shù)據(jù)樣本集，用于訓(xùn)練決策邊界函數(shù)，再從中隨機(jī)抽取70個(gè)樣本和渣含Cu＞5%的85個(gè)樣本構(gòu)成測試集。

表4 銅锍吹煉數(shù)據(jù)特征表Table 4 Details of Copper-Matte Converting datasets

在訓(xùn)練階段，以正常命中率FNR最小為目標(biāo)，采用交叉驗(yàn)證法進(jìn)行參數(shù)優(yōu)化，其中核參數(shù)為0.25，折衷參數(shù)為0.02。分別使用傳統(tǒng)SVDD和本文LOBSVDD方法，通過樣本點(diǎn)到球心之距離比較，如圖3所示，兩種方法的偽命中率FP均為0，即都能對(duì)渣含Cu＞5%樣本進(jìn)行正確識(shí)別，但在渣含Cu≤5%的樣本中，由于銅锍吹煉過程的多模態(tài)性以及硫化物氧化反應(yīng)和FeO與熔劑的造渣反應(yīng)放出大量熱，爐襯耐火材料因過度受熱而加快損壞，引起吹煉工藝過程外在環(huán)境的變化，數(shù)據(jù)的分布特性因而發(fā)生改變，傳統(tǒng)SVDD的FNR(正確樣本被劃分異常類)達(dá)到0.285 7，而本文LOB－SVDD方法的FNR為0.171 4。

圖3 傳統(tǒng)SVDD與LOB－SVDD方法在銅轉(zhuǎn)爐吹煉樣本離群點(diǎn)檢測性能對(duì)比Fig.3 Performance comparisons between LOB－SVDD and SVDD at detecting outliers in copper converter samples

5 結(jié)論

1)本文提出了一種基于局部優(yōu)化邊界的全局支持向量數(shù)據(jù)描述(LOB－SVDD)方法。首先求取局部數(shù)據(jù)樣本的分散程度，然后基于數(shù)據(jù)樣本的局部分散程度確定支持向量機(jī)算法中折衷參數(shù)的局部調(diào)整系數(shù)，最后通過求解支持向量機(jī)獲得優(yōu)化決策邊界函數(shù)。利用所求取的優(yōu)化決策邊界函數(shù)可實(shí)現(xiàn)數(shù)據(jù)分類、離群點(diǎn)檢測和數(shù)據(jù)建模等。

2)利用UCI數(shù)據(jù)集、人工雙模態(tài)數(shù)據(jù)集及實(shí)際生產(chǎn)運(yùn)行數(shù)據(jù)集進(jìn)行的驗(yàn)證結(jié)果表明，與傳統(tǒng)方法相比，LOB－SVDD方法可獲得更優(yōu)的決策邊界，作為分類器有更低的假正率和假負(fù)率，能有效檢測離群點(diǎn)，剔除異常樣本，實(shí)現(xiàn)數(shù)據(jù)潔凈化，適用于數(shù)據(jù)分布具有多模態(tài)性和局部分布具有非同一性的數(shù)據(jù)描述。

［1］TAX D M J，DUIN R P W.Support vector domain description［J］.Pattern Recognition Letters，1999，20(11):1191－1199.

［2］TAX D M J，DUIN R P W.Support vector data description［J］.Machine Learning，2004，54(1):45－66.

［3］方景龍，王萬良，王興起，等.求解多示例問題的支持向量數(shù)據(jù)描述方法［J］.電子學(xué)報(bào)，2013，41(4):763－767.FANG Jinglong，WANG Wanliang，WANG Xingqi，et al.Support vector data description method for solving multiple instance problems［J］.Acta Electronica Sinica，2013，41(4):763 －767.

［4］曲建嶺，孫文柱，邸亞洲，等.面向新異檢測的啟發(fā)式約減支持向量數(shù)據(jù)描述［J］.控制與決策，2014，29(10):1783－1787.QU Jianling，SUN Wenzhu，DI Yazhou，et al.Heuristic reduction support vector data description for novelty detection［J］.Control and Decision，2014，29(10):1783－1787.

［5］TAX D M J，JUSZCZAK P.Kernel whitening for one-class classification［J］.International Journal of Pattern Recognition and Artificial Intelligence，2003，17(03):333－347.

［6］LIU B，XIAO Y，CAO L，et al.SVDD-based outlier detection on uncertain data［J］.Knowledge and Information Systems，2013，34(3):597－618.

［7］CHA M，KIM J S，BAEK J G.Density weighted support vector data description［J］.Expert Systems with Applications，2014，41(7):3343－3350.

［8］REHMAN Z，LI T，YANG Y，et al.Hyper-ellipsoidal clustering techniquefor evolving data stream［J］. Knowledge-Based Systems，2013.

［9］MIZUTANI T.Ellipsoidal rounding for nonnegative matrix factorization under noisy separability［J］.Journal of Machine Learning Research，2014，15:1011－1039.111.

［10］WANG C D，LAI J H.Position regularized support vector domain description［J］.Pattern Recognition，2013，46(3):875 －884.

［11］YANG H，HUANG K，KING I，et al.Localized support vector regression for time series prediction［J］.Neurocomputing，2009，72(10):2659 －2669.

［12］CHANDOLA V，BANERJEE A，Kumar V.Anomaly detection:A survey［J］.ACM Computing Surveys(CSUR)，2009，41(3):15.

［13］SONG Y，PENG X，DONG W，et al.Data driven optimal decision making modelling for copper-matte converting process［J］.Journal of Computational Information Systems，2011，7(3):754 －761.

［14］KING，MATTHEW J.，KATHRYN C.Sole，and William GI Davenport.Extractive metallurgy of copper.Elsevier，2011.