趙振沖, 王曉丹

(空軍工程大學防空反導學院, 710051, 西安)

彈道目標識別問題中,把彈頭誤判為誘餌比把誘餌誤判為彈頭所付出的代價要大得多。代價敏感方法就是為解決此類誤分類代價不平衡問題而提出的。傳統(tǒng)的分類方法進行了代價敏感拓展,例如代價敏感支持向量機[1-2],代價敏感貝葉斯[3-4],代價敏感神經(jīng)網(wǎng)絡[5],代價敏感決策樹[6-7],代價敏感集成[8-9]等。Chatelain利用多目標優(yōu)化算法構建受試者工作特征(ROC)前沿,然后依據(jù)最小貝葉斯風險確定給定代價矩陣下最優(yōu)分類器[10];Bernard利用兩兩分解算法將Chatelain的方法推廣到多類問題[11];Tapkana用代價矩陣修改近鄰搜索方法和適應度函數(shù),提出了代價敏感蜂群算法[12];Ju在粗糙集中引入測試代價和誤分類代價,提出了一個通用的代價敏感粗糙集模型[13]。

彈道目標識別是一個時間上連續(xù)的過程,因此可以對當前類別屬性不明確的目標進行拒識,在下一階段再對其進行連續(xù)跟蹤識別,以提高識別正確率并降低誤判風險。構造可拒識分類器的關鍵在于拒識閾值的確定。劉傳武等采用遍歷的方法來確定使總體分類代價最小的拒識閾值[14-15];Giorgi通過對不同樣本設置不同拒識閾值的方法來提高各類的識別正確率[16-17];鄭恩輝等在風險最小的前提下采用最優(yōu)化的方法來確定各類別的拒識閾值[18];Francesco在構建了最小化風險函數(shù)后借助于ROC曲線來確定兩類目標的拒識閾值[19]。盡管以上方法均取得了不錯的效果,但同樣存在一些不足。前2種方法未考慮不同誤分類代價的差異性,后2種方法的結果由于受訓練樣本的影響而出現(xiàn)較大隨機性,即使在同一訓練數(shù)據(jù)上,計算的結果也會出現(xiàn)較大差異。

基于以上分析,本文提出了一種新的引入拒識的最小風險彈道目標識別(ORC)方法,分析了ROC曲線及其特性,從類先驗概率的角度推導其切線的斜率方程,構造了包含拒識代價的損失代價函數(shù),推導了最小化代價風險時2類閾值所需滿足的條件,并使其與ROC曲線切線的斜率相結合,確定了最小化損失代價的兩類拒識閾值。

1　ROC曲線及分析

彈道目標識別可簡化成只包含彈頭和誘餌的兩類分類問題,因此本文主要研究的是兩類分類模型,而ROC曲線是一種用來評定兩類分類器性能好壞的有效方法。

設I={(xi,yi)|xi∈Rd,i=1,2,…,N}為樣本集合,yi為樣本類別,yi={ω1,ω2}為樣本類別。稱第1類ω1為彈頭(正類,陽性);第2類ω2為誘餌(負類,陰性)。令rtp為正類被正確分類的概率,即真陽性率(檢測率);rtn為負類被正確分類的概率,即真陰性率;rfp為負類被錯誤分類的概率,即假陽性率(虛警率),rfn為正類被錯分的概率,即假陰性率(漏警率)。ROC曲線是一個以rfp為橫坐標,以rtp為縱坐標的二維圖形,如圖1所示,描述了兩類分類器的檢測率rtp和虛警率rfp之間的相互關系。曲線上每一個點表示在特定識別閾值下分類器的性能。越靠近左上角的點準確率越高,分類器性能越好。圖1中虛線部分描繪了基于ROC曲線擬合得到的ROC凸包,它是對分類器在特定識別閾值時可能達到的最好性能的一種估計,可以用來對分類器進行局部尋優(yōu)。

圖1　檢測率隨虛警率變化的ROC曲線

設任意目標?xi∈I,屬于彈頭和誘餌的后驗概率分別為p(ω1|xi),p(ω2|xi),且p(ω1|xi)+p(ω2|xi)=1。設t∈[0,1]為對應于ω1的決策閾值,則最小錯誤率決策規(guī)則可表示為

(1)

假設p(ω1|xi)是xi的單調(diào)增函數(shù),xi的維度為1,兩類問題的后驗概率如圖2所示。對?t∈[0,1],?xt,使得對?xi≥xt,p(ω1|xi)≥p(ω1|xt)=t。由此可知xt是決策閾值t的函數(shù),設為

xt=g(t)

(2)

圖2　兩類問題的后驗概率示意圖

圖3　一維情況下類條件概率密度示意圖

圖3為一維情況下兩類目標的條件概率密度函數(shù)p(xi|ω1)和p(xi|ω2),其正類的檢測率和虛警率可表示為

(3)

由式(3)可知,ROC曲線由rtp(xt)、rfp(xt)確定,則rtp對rfp求導可得

(4)

式中:K(xt)為ROC曲線上任一點的切線的斜率方程。綜合式(1)、(4)可知,K是t的函數(shù),設K=K(g(t))。

2　最優(yōu)化拒識分類器

彈道目標識別是典型的非對稱識別問題,利用代價敏感分類方法能夠降低識別的整體風險。對應于式(1)的決策規(guī)則的代價矩陣可定義為

(5)

其中:Cij為將第i類識別為第j類的代價,由于把彈頭誤識為誘餌要比把誘餌誤識為彈頭的代價大得多,因此令C12>C21>C11=C22≥0。由式(3)可得

(6)

由式(3)、(6)可得,正、負類正確分類的概率分別為rtp(xt)p(ω1)和rtn(xt)p(ω2),正、負類錯誤分類的概率分別為rfn(xt)p(ω1)和rfp(xt)p(ω2)。根據(jù)式(5)任一決策閾值t下基于式(1)的決策規(guī)則的平均損失代價函數(shù)可表示為

Fcost(xt)=p(ω1)(C11rtp(xt)+C12rfn(xt))+

p(ω2)(C21rfp(xt)+C22rtn(xt))

(7)

式中:p(ω1)、p(ω2)分別是彈頭和誘餌的類先驗概率,且p(ω1)+p(ω2)=1。將式(2)帶入式(7)得

Fcost=Fcost(g(t))

(8)

代價敏感分類可以形象地表示為把分類邊界向誤分類代價小的誘餌一類移動。由此帶來的問題是對于誘餌會出現(xiàn)較高的誤識率,考慮到彈道防御資源的有限性,這同樣是不合適的。由于彈道目標識別是一個時間上連續(xù)的過程,需要在助推段、中段和再入段對其進行連續(xù)跟蹤識別,因此在現(xiàn)階段對風險大容易產(chǎn)生誤分類的目標拒識,留給下一個時間點再對其進行跟蹤識別更具實際意義。

設(t1,t2)為決策閾值對,且t1

(9)

圖4　引入拒識的決策規(guī)則

此時式(3)和式(6)可變換為如下形式

(10)

(11)

式中:xt1=g(t1),xt2=g(t2)。令rrn(xt1,xt2)為誘餌被拒識的概率,rrp(xt1,xt2)為彈頭被拒識的概率,其表達式如下

(12)

對于拒識的樣本,引入拒識代價Cr,此時式(5)中代價矩陣變換為如下形式

(13)

在彈道目標識別中,當前時刻拒識類別不確定的目標是為了利用下個或多個識別間隔的綜合信息進行更為準確的識別,因此拒識的風險比每一種誤分類代價都小才有意義,即C12>C21>Cr>C11=C22≥0。依據(jù)式(10)～(12),在閾值(t1,t2)下,正、負類正確分類的概率分別為rtp(xt2)P(ω1)和rtn(xt1)P(ω2),錯誤分類的概率分別為rfn(xt1)P(ω1)和rfp(xt1)P(ω2),正、負類拒分類的概率分別為rrp(xt1,xt2)P(ω1)和rrn(xt1,xt2)P(ω2),則根據(jù)式(13),此時的平均損失代價函數(shù)可表示為

Fcost(xt1,xt2)=p(ω1)(C11rtp(xt2)+C12rfn(xt1)+
Crrrp(xt1,xt2))+p(ω2)(C21rfp(xt2)+
C22rtn(xt1)+Crrrn(xt1,xt2))

(14)

將式(6)、(12)代入式(14)可得

Fcost(xt1,xt2)=p(ω1)(C11-Cr)rtp(xt2)+
p(ω2)(C21-Cr)rfp(xt2)+p(ω1)(C12-Cr)rfn(xt1)+
p(ω2)(C22-Cr)rtn(xt1)+Cr=
p(ω1)(C11-Cr)rtp(xt2)+p(ω2)(C21-Cr)rfp(xt2)+
Δ-[p(ω1)(C12-Cr)rtp(xt1)+
p(ω2)(C22-Cr)rfp(xt1)]

(15)

式中:Δ=p(ω1)C12+p(ω2)C22?？紤]式(4),將式(15)分別對rfp(xt1)和rfp(xt2)求偏導可得

(16)

令式(16)等于0,可得

(17)

要取得損失代價函數(shù)Fcost(xt1,xt2)的最小值,應使決策閾值對(t1,t2)對應ROC曲線上2點的切線的斜率滿足式(17)。

設任一決策閾值p(ω1|xt)=t,則有

(18)

式中:p(xt)為目標概率密度函數(shù)。式(18)變換后得

(19)

考慮式(4)可知,ROC曲線上任一點的切線的斜率是決策閾值t的函數(shù),即

(20)

將式(17)與式(19)聯(lián)立,可得到2個最優(yōu)拒識閾值

(21)

由式(21)可以得出,最小風險決策閾值對能夠由代價矩陣(13)唯一確定。

根據(jù)代價矩陣的含義,設正確分類的代價為0,即C11=C22=0,則式(21)可以化簡為

(22)

根據(jù)最小風險決策閾值(t1,t2)的含義有t1<0.5,t2>0.5,則Cr<0.5C12,Cr<0.5C21,即

Cr<0.5min(C12,C21)

(23)

拒識代價應小于任一種誤分類代價的一半,拒識才有意義。

3　算法的實驗驗證與性能分析

本節(jié)利用兩類目標的HRRP仿真數(shù)據(jù)驗證所提方法的有效性。

3.1　實驗數(shù)據(jù)

實驗數(shù)據(jù)來源于利用仿真軟件計算得到的2類目標的動態(tài)一維距離像(HRRP)數(shù)據(jù)。2類目標分別為平底錐柱(彈頭)和平底錐(誘餌),進動周期均為2 s,進動角為10°,雷達發(fā)射頻率為8.75～10.75 GHz,采用步進雷達體制,頻率步長為15.748 MHz,極化方式為水平極化,雷達采樣頻率為10 Hz。提取HRRP的能量聚集區(qū)長度特征、功率譜特征、幅度譜差分特征和頻譜特征,4類特征組合構成維數(shù)為384的特征向量。

3.2　實驗設計

分類器采用支持向量機(SVM),核函數(shù)為徑向基核函數(shù)。對于SVM輸出利用Sigmoid函數(shù)轉換成后驗概率。用主分量分析法(PCA)對特征維數(shù)進行約減,并采用累積貢獻率(Acr)的方法來確定約減后保留的主分量的維數(shù),Acr變化區(qū)間為70%～94%,步長為0.02。采用10輪5倍交叉驗證來計算各類的分類錯誤率和決策損失代價函數(shù)的大小。除本文方法外,利用循環(huán)搜索的方法來提取每一次實驗中實際達到的最小分類代價(RLC)及其對應的決策閾值對,并以Francesco的方法[19]作為對比實驗。RLC在搜索最優(yōu)化拒識閾值時搜索步長設為0.1。Francesco用到的類先驗概率采用樣本比率進行近似估計。代價矩陣各參數(shù)設為

(24)

3.3　實驗結果及分析

3.3.1不同分類方法代價Fcost的對比不同累積貢獻率下3種方法的識別代價Fcost如圖5所示。為了進一步對比3種方法的穩(wěn)定性,圖6給出了3種方法在未經(jīng)約減的數(shù)據(jù)上采用10輪5倍交叉驗證重復實驗20次得到的分類代價。

圖5　不同累積貢獻率下3種方法的識別代價對比

圖6　3種方法在20次獨立重復實驗中的分類代價

由圖5可以看出,不同累積貢獻率下,ORC方法的識別代價與RLC方法保持了高度的一致性,而RLC方法是可能達到的最好結果,說明ORC方法能夠獲得一個近似最優(yōu)的結果,而Francesco方法產(chǎn)生的分類代價比ORC方法和RLC方法要大得多。由圖6可以看出,不同的獨立實驗中ORC方法與RLC方法的識別代價相對穩(wěn)定,Francesco方法的識別代價則波動較大,出現(xiàn)了較大的不穩(wěn)定性。

3.3.2不同方法拒識閾值對的比較為了分析3種方法計算得出的閾值對之間的變化關系,圖7給出了圖6中每個點對應的決策閾值對。

圖7　3種方法的決策閾值對變化趨勢

由圖7可以看出,Francesco方法的決策代價和決策閾值對出現(xiàn)無規(guī)律的波動,且有時在其確定的決策閾值對下分類器是無意義的。利用RLC方法可以確定最低的決策損失,但是其對應的決策閾值對同樣出現(xiàn)無規(guī)律的變化。圖7所示Francesco和RLC方法的閾值對的方差分別為0.08、0.21和0.0013、0.007 5。ORC方法不僅使分類造成的損失代價近似等于全局最小值,而且其決策閾值對由式(21)唯一確定,使得其具有很高的穩(wěn)定性。

3.3.3不同方法識別率、漏警率和可靠性比較設正確分類樣本數(shù)為ts,正類被正確識別的個數(shù)為tp,錯誤分類樣本數(shù)為fs,正類識別為負類的個數(shù)為fn,總樣本數(shù)為N。定義識別率為acc、可靠性為re、漏警率為rfn,其表達式如下

(25)

圖8　3種方法的識別率對比結果

圖9　3種方法的可靠性對比結果

圖10　3種方法的漏警率對比結果

圖8～10為3種方法在未經(jīng)約減的數(shù)據(jù)上分別采用10輪5倍交叉驗證重復實驗20次得到的結果。由圖8～10可以看出,ORC方法的性能接近于RLC方法的性能,在所有的實驗次數(shù)中,識別結果沒有出現(xiàn)大幅度的波動,說明ORC方法具有較好的識別性能和穩(wěn)定性,證明了本文方法的有效性。Francesco方法識別結果的識別率、漏警率和可靠性均有明顯的震蕩,這是由于Francesco方法在訓練過程中根據(jù)訓練樣本的不同以及得到ROC曲線的不完整性在確定閾值時有較大隨機性導致的。

綜上可知,ORC方法不僅能使分類風險接近于實際能達到的最小值,而且其決策閾值由代價矩陣決定,比較穩(wěn)定,表現(xiàn)出了較好的性能。

4　結　語

本文提出了一種引入拒識代價的最小風險彈道目標識別方法。從類條件概率密度的角度推導了真陽性率、虛警率與決策閾值之間的關系,并進一步推導了ROC曲線上任意一點的斜率與決策閾值之間的關系;分析了代價敏感分類器及引入拒識代價的分類器,確定了代價損失函數(shù),推導了代價最小化所需滿足的條件,并將其與ROC曲線任意一點的切線斜率相結合,推導了最優(yōu)化拒識閾值的確定方法。仿真實驗表明,本文所提方法能夠在保證代價最小的同時準確確定拒識閾值對,與傳統(tǒng)方法相比,提高了穩(wěn)定性和可靠性。

參考文獻:

[1]胡小生, 鐘勇. 基于加權聚類質心的SVM不平衡分類方法 [J]. 智能系統(tǒng)學報, 2013, 8(3): 261-265.

HU Xiaosheng, ZHONG Yong. Support vector machine imbalanced data classification based on weighted clustering centroid [J]. CAAI Transactions on Intelligent Systems, 2013, 8(3): 261-265.

[2]DATTA S, DAS S. Near-Bayesian support vector machines for imbalanced data classification with equal or unequal misclassification costs [J]. Neural Networks, 2015, 70(12): 39-52.

[3]JIANG L, LI C, WANG S S. Cost-sensitive Bayesian network classifiers [J]. Pattern Recognition Letters, 2014, 45(2): 211-216.

[4]IBANEZ A, BIELZA C, LARRANAGA P. Cost-sensitive selective na?ve Bayes classifiers for predicting the increase of the h-index for scientific journals [J]. Neurocomputing, 2014, 135(4): 42-52.

[5]呂淑靜. 基于代價敏感學習的手寫郵編和地址識別 [D]. 上海: 華東師范大學, 2014: 23-45.

[6]LI X, ZHAO H, ZHU W. A cost sensitive decision tree algorithm with two adaptive mechanisms [J]. Knowledge-Based Systems, 2015, 88(4): 24-33.

[7]熊冰妍, 王國胤, 鄧維斌. 分級式代價敏感決策樹及其在手機換機預測中的應用 [J]. 山東大學學報, 2015, 45(5): 36-42.

XIONG Bingyan, WANG Guoyin, DENG Weibin. Hierarchical cost sensitive decision tree and its application in the prediction of the mobile phone replacement [J]. Journal of Shandong University, 2015, 45(5): 36-42.

[8]SUN Y M, KARNEL M S, WONG A, et al. Cost-sensitive boosting for classification of imbalanced data [J]. Pattern Recognition, 2007, 40(12): 3358-3378.

[9]薛一哲, 王拓. 基于代價敏感Adaboost目標跟蹤 [J]. 中國圖像圖形學報, 2016, 21(5): 544-555.

XUE Yizhe, WANG Tuo. Object-tracking method based on improved cost-sensitive Adaboost [J]. Journal of Image and Graphics, 2016, 21(5): 544-555.

[10] CHATELAIN C, ADAM S. A multi-model selection framework for unknown and/or evolutive misclassification cost problems [J]. Pattern Recognition, 2010, 43(3): 815-823.

[11] BERNARD S, CHATELAIN C. The multiclass ROC front method for cost-sensitive classification [J]. Pattern Recognition, 2016, 52(4): 46-60.

[12] TAPKANA P, ?ZBAKIRA L, KULLUKA S, et al. A cost-sensitive classification algorithm: BEE-Miner [J]. Knowledge-Based Systems, 2016, 95(2): 99-113.

[13] JU H, YANG X, YU H, et al. Cost-sensitive rough set approach [J]. Information Sciences, 2016, 355/356(4): 282-298.

[14] 劉傳武, 張智軍, 畢篤彥. 雷達目標自動識別系統(tǒng)的拒識新算法 [J]. 系統(tǒng)工程與電子技術, 2009, 31(8): 1846-1850.

LIU Chuanwu, ZHANG Zhijun, BI Duyan. Novel refuse-recognition algorithm of radar automatic target recognition system [J]. Systems Engineering and Electronics, 2009, 31(8): 1846-1850.

[15] 黃垚, 劉思頌, 孔瑞. 基于支持向量機的嵌入拒識代價的手寫字符識別研究 [J]. 電子質量, 2011(4): 5-7.

HUANG Yao, LIU Sisong, KONG Rui. SVM-based

hand-written character recognition with reject option [J]. Electronics Quality, 2011(4): 5-7.

[16] FUMERA G, ROLI F, GIACINTO G. Multiple reject thresholds for improving classification reliability [C]∥Proceedings of the Joint International Workshops on Advances in Pattern Recognition. Berlin, Germany: Springer-Verlag, 2000: 863-871.

[17] FUMERA G, ROLI F, GIACINTO G. Reject option with multiple thresholds [J]. Pattern Recognition, 2000, 33(12): 2099-2101.

[18] 鄭恩輝, 徐歡. 嵌入非對稱拒識代價的二元分類算法 [J]. 控制與決策, 2013, 28(6): 855-860.

ZHENG Enhui, XU Huan. Binary classification algorithm with class-dependent reject cost [J]. Control and Decision, 2013, 28(6): 855-860.

[19] TORTORELLA F. An optimal reject rule for binary classifiers [C]∥ Proceedings of the Joint International Workshops on Advances in Pattern Recognition. Berlin, Germany: Springer-Verlag, 2000: 611-620.