張 冰，劉 林，王淑琴，田秀偉

（天津師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院，天津300387）

數(shù)據(jù)樣本分類是機(jī)器學(xué)習(xí)的主要任務(wù)之一，當(dāng)分類器的評(píng)價(jià)結(jié)果達(dá)到一定的設(shè)定條件時(shí)，該分類器才會(huì)被采用，因此，如何評(píng)價(jià)分類器的優(yōu)劣是機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的一個(gè)關(guān)鍵問(wèn)題[1].目前，已出現(xiàn)了很多分類器評(píng)價(jià)指標(biāo)，主要包括ACC（accuracy）[2]、FMeasure[3]、MAP（mean average precision）[4]、MCC（Matthews correlation coefficient）[5-6]、AUC（area under curve）[7-9]、ROC（receiver operating characteristic）曲 線[10-11]、MPR（mean probability ratio）[12]、RCI（relative classification information）[13]和CEN（confusion entropy）[14-15]等，那么，如何在眾多分類器評(píng)價(jià)指標(biāo)中選擇一個(gè)合適的指標(biāo)考察分類器的性能就顯得格外重要[16].

大多數(shù)分類器評(píng)價(jià)指標(biāo)都是針對(duì)二類問(wèn)題定義的，只有很少的幾種是直接面向多類問(wèn)題定義的，關(guān)于分類器對(duì)類別區(qū)分能力的評(píng)價(jià)，多類問(wèn)題比二類問(wèn)題要復(fù)雜很多.ACC、MCC 和CEN 這3 種分類器評(píng)價(jià)指標(biāo)在多類問(wèn)題上具有廣泛應(yīng)用，而且CEN 和MCC的關(guān)系是全局單調(diào)，局部幾乎線性的[6]，因此本文通過(guò)實(shí)驗(yàn)對(duì)MCC、CEN 和ACC 這3 種指標(biāo)對(duì)分類器性能的評(píng)價(jià)能力進(jìn)行比較分析.對(duì)機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)UCI 中的8個(gè)多類問(wèn)題數(shù)據(jù)集和4個(gè)二類問(wèn)題數(shù)據(jù)集分別使用4 種和2 種常見的分類器進(jìn)行處理，在進(jìn)行第2 到10重交叉驗(yàn)證時(shí)，詳細(xì)分析了3 種指標(biāo)值變化趨勢(shì)的關(guān)系，另外，從一致性和判別性角度對(duì)3 種指標(biāo)進(jìn)行了比較，結(jié)果表明CEN 的評(píng)價(jià)能力優(yōu)于ACC 和MCC.

1 相關(guān)概念

給定測(cè)試集S，S 中樣本個(gè)數(shù)為M，類別個(gè)數(shù)為N，s 為S 中任意一個(gè)樣本.Ci表示第i 類，屬于Ci而被分到Cj的樣本個(gè)數(shù)記為NCi，j.測(cè)試集被分類模型分類完成的混淆矩陣記為MN×N，混淆矩陣的第i 行第j 列元素記為Mij.記F（i，j）為真實(shí)屬于Ci的樣本屬于Cj的概率，顯然，當(dāng)i=j 時(shí)，F(xiàn)（i，j）=1，當(dāng)i≠j 時(shí)，F(xiàn)（i，j）=0. 記P（i，j）為本來(lái)屬于Ci的樣本被分到Cj的概率，設(shè)置一個(gè)閾值r，若P（i，j）＞r，則認(rèn)為屬于Ci的樣本被分到Cj，此時(shí)定義PC（i，j）=1，否則令PC（i，j）=0.

1.1 ACC 評(píng)價(jià)指標(biāo)

ACC 由于具有公式簡(jiǎn)單、易于擴(kuò)展的特點(diǎn)而廣泛應(yīng)用于二類和多類問(wèn)題的分類評(píng)價(jià)上.但在一些不平衡數(shù)據(jù)集上，ACC 沒(méi)有考慮錯(cuò)誤分類的代價(jià)，因此作為評(píng)價(jià)指標(biāo)存在弊端[17-18]. ACC 根據(jù)分類器預(yù)測(cè)類別的準(zhǔn)確程度來(lái)定義，即被分類器分類正確的樣本數(shù)與總樣本數(shù)的比例[2]，其計(jì)算公式為

ACC 的取值范圍是[0，1]，其值越大，表明分類器的性能越好.

1.2 MCC 評(píng)價(jià)指標(biāo)

MCC 廣泛應(yīng)用于生物信息領(lǐng)域[19-22].MCC 是基于混淆矩陣設(shè)計(jì)的分類器性能評(píng)價(jià)的測(cè)量指標(biāo)[5]，它將混淆矩陣歸為單一的值.定義2個(gè)M×N 維矩陣X 和Y，其元素分別為Xsi和Ysi，s=1，…，M，i=1，…，N.如果樣本s 被預(yù)測(cè)到Ci，則令Xsi=1，否則令Xsi=0；如果樣本s 屬于Ci，則令Ysi=1，否則令Ysi=0.定義

當(dāng)k≠l 時(shí)，定義

Ckl=|{s∈S│Xsk=1 且Ysl=1}|

則樣本總數(shù)M 可以表示為

X、Y 的協(xié)方差函數(shù)為

MCC 可改寫為

MCC 的取值范圍是[-1，1]，其值越大，表明分類器的性能越好.MCC=1 表明分類器分類的結(jié)果完全正確，MCC=-1 表明分類結(jié)果達(dá)到了一個(gè)極端的情況，此時(shí)混淆矩陣中除了關(guān)于對(duì)角線對(duì)稱的2 項(xiàng)元素外，其他元素均為0.當(dāng)MCC=0 時(shí)，有2 種情況：一種是混淆矩陣中除了一列元素外，其他元素全部為0，即所有樣本均被分到了一個(gè)類；另一種是混淆矩陣中所有元素均相等.

1.3 CEN 評(píng)價(jià)指標(biāo)

CEN 是近年提出的直接定義于多類問(wèn)題的分類器評(píng)價(jià)指標(biāo)，它是基于熵函數(shù)的評(píng)價(jià)指標(biāo).CEN 也是利用混淆矩陣設(shè)計(jì)的測(cè)量指標(biāo)，它直接定義于N +1類問(wèn)題上.與其他評(píng)價(jià)指標(biāo)相比，CEN 充分考慮了樣本的錯(cuò)誤分類信息[14]，對(duì)分類結(jié)果的細(xì)微差異也能做出反映.

若屬于Ci的樣本被分到了Cj，則相對(duì)于Cj的錯(cuò)誤分類概率Pji，j為

相對(duì)于Ci的錯(cuò)誤分類概率Pii，j為

進(jìn)而，Cj的混淆熵定義為

對(duì)于一個(gè)給定的混淆矩陣，其總的混淆熵為

其中Pj為Cj的混淆概率，

評(píng)價(jià)多類問(wèn)題時(shí)，CEN 的取值范圍是[0，1]，評(píng)價(jià)二類問(wèn)題時(shí)，CEN 的值可能大于1.CEN 計(jì)算的是錯(cuò)誤分類樣本所包含錯(cuò)誤信息的熵的加權(quán)和，因此，CEN 的值越大表明分類器的性能越差. 在混淆矩陣中，當(dāng)錯(cuò)誤分類的樣本均勻分布于各類別時(shí)，CEN=1，當(dāng)分類器分類的結(jié)果完全正確時(shí)，CEN=0.

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)所用數(shù)據(jù)集均下載自機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)UCI，包括8個(gè)多類問(wèn)題數(shù)據(jù)集和4個(gè)二類問(wèn)題數(shù)據(jù)集，數(shù)據(jù)集具體描述見表1.

表1 實(shí)驗(yàn)數(shù)據(jù)集Tab.1 Experiment datasets

對(duì)8個(gè)多類問(wèn)題數(shù)據(jù)集使用4 種分類器，包括K 近鄰（K-nearest neighbor，KNN）、決策樹（decision tree，DT）、樸素貝葉斯（naive Bayes，NB）和隨機(jī)森林（random forest，RF）；對(duì)4個(gè)二類問(wèn)題數(shù)據(jù)集使用2 種分類器，為支持向量機(jī)（support vector machine，SVM）和邏輯回歸（logistic regression，LR）. 采用10 重交叉驗(yàn)證.

給定數(shù)據(jù)集和分類器，在第2，3，…，10 重交叉驗(yàn)證時(shí)，得到相應(yīng)的ACC、MCC 和CEN 的值.為比較3 種指標(biāo)值隨交叉驗(yàn)證重?cái)?shù)的變化趨勢(shì)，在同一圖中繪制3 種指標(biāo)值的折線圖，圖中橫坐標(biāo)為交叉驗(yàn)證重?cái)?shù)，左側(cè)縱坐標(biāo)為ACC 和MCC 值，右側(cè)縱坐標(biāo)為CEN值.當(dāng)數(shù)據(jù)集和分類器不同時(shí)，共得到8×4+4×2=40個(gè)折線圖，通過(guò)分析比較，關(guān)于3 種指標(biāo)值的變化趨勢(shì)，可分為以下5 種類型.

類型1當(dāng)CEN 值呈下降趨勢(shì)的時(shí)候，MCC 和ACC 值總是對(duì)應(yīng)著呈上升的趨勢(shì).以RF 分類器處理Hayes 數(shù)據(jù)集（圖1）、NB 處理Wifi_localization（圖2）、SVM 處理Z-Alizideh（圖3）和RF 處理Wifi_localization（圖4）為例，由圖1～圖4 可見，當(dāng)CEN 值下降時(shí)，對(duì)應(yīng)的MCC 和ACC 值上升.由于ACC 和MCC 值越大（?。┍砻鞣诸愋Ч胶茫ú睿?，而CEN 值越小（大）表明分類效果越好（差），因此這種類型說(shuō)明3 種指標(biāo)在評(píng)價(jià)分類結(jié)果時(shí)得到了基本相同的結(jié)論.

圖1 Hayes 上使用RF 分類器的3 種指標(biāo)值Fig.13 indexes of RF on Hayes

圖2 Wifi_localization 上使用NB 分類器的3 種指標(biāo)值Fig.23 indexes of NB on Wifi_localization

圖3 Z-Alizideh 上使用SVM 分類器的3 種指標(biāo)值Fig.33 indexes of SVM on Z-Alizideh

圖4 Wifi_localization 上使用RF 分類器的3 種指標(biāo)值Fig.43 indexes of RF on Wifi_localization

類型2MCC 或ACC 值變化平緩，甚至幾乎不變，而CEN 值發(fā)生明顯變化. 以NB 處理Shuttle（圖5）、DT 處理Vehicle（圖6）和SVM 處理Transfusion（圖7）為例.由圖5 可見，進(jìn)行第2 到4 重交叉驗(yàn)證時(shí)，ACC值變化平緩，而CEN 值變化明顯.由圖6 可見，進(jìn)行第4 到6 重交叉驗(yàn)證時(shí)，MCC 值變化平緩，而CEN值變化明顯.這種情況表明在評(píng)價(jià)分類結(jié)果時(shí)，CEN比MCC 和ACC 更具辨別力.對(duì)于圖7 的二類不平衡數(shù)據(jù)集Transfusion，進(jìn)行第5 到8 重交叉驗(yàn)證時(shí)，MCC 值為負(fù)數(shù)，反映出較差的分類結(jié)果，同時(shí)CEN值也在變化，而ACC 值幾乎不變，這說(shuō)明ACC 在不平衡數(shù)據(jù)集上評(píng)價(jià)分類器性能是存在缺陷的.

圖5 Shuttle 上使用NB 分類器的3 種指標(biāo)值Fig.53 indexes of NB on Shuttle

圖6 Vehicle 上使用DT 分類器的3 種指標(biāo)值Fig.63 indexes of DT on Vehicle

圖7 Transfusion 上使用SVM 分類器的3 種指標(biāo)值Fig.73 indexes of SVM on Transfusion

類型3CEN 值變化平緩，甚至幾乎不變，而MCC 或ACC 值發(fā)生明顯變化. 以DT 處理Wiki4HE（圖8）和RF 處理Seeds（圖9）為例，圖8 的第2 到4重交叉驗(yàn)證和圖9 的第4 到6 重交叉驗(yàn)證對(duì)應(yīng)的3種指標(biāo)值即是這種類型.這表明在某些情況下，MCC和ACC 比CEN 更具辨別力，因此CEN 有時(shí)候也存在問(wèn)題.

圖8 Wiki4HE 上使用DT 分類器的3 種指標(biāo)值Fig.83 indexes of DT on Wiki4HE

圖9 Seeds 上使用RF 分類器的3 種指標(biāo)值Fig.93 indexes of RF on Seeds

類型4MCC、ACC 和CEN 值都不發(fā)生變化. 以DT 處理Forest（圖10）為例，由圖10 可見，進(jìn)行第7到10 重交叉驗(yàn)證時(shí)，3 種指標(biāo)值均沒(méi)有變化.這種情況表明在評(píng)價(jià)分類結(jié)果時(shí)，MCC、ACC 和CEN 結(jié)論完全一致.

圖10 Forest 上使用DT 分類器的3 種指標(biāo)值Fig.103 indexes of DT on Forest

類型5MCC 和CEN 值同時(shí)上升（下降），或ACC和CEN 值同時(shí)上升（下降）.以KNN 處理Wiki4HE（圖11）為例，由圖11 可見，進(jìn)行第2 到3 重和第5 到6重交叉驗(yàn)證時(shí)，3 種指標(biāo)值均下降. 這種情況表明MCC 和CEN（或ACC 和CEN）結(jié)論相反.

圖11 Wiki4HE 上使用KNN 分類器的3 種指標(biāo)值Fig.113 indexes of KNN on Wiki4HE

2.2 一致性和判別性檢驗(yàn)

為了更好地比較3 種評(píng)價(jià)指標(biāo)，本文嘗試從一致性和判別性[23]角度對(duì)CEN、MCC 和ACC 進(jìn)行兩兩統(tǒng)計(jì)比較.對(duì)于2個(gè)測(cè)試方法f 和g，其定義域?yàn)棣?，?/p>

根據(jù)一致性和判別性的定義，將以上分析中類型1、類型2、類型3 和類型5 出現(xiàn)的次數(shù)分別記為R、P、Q 和S.在8個(gè)多類數(shù)據(jù)集上采用4 種分類器，在4個(gè)二類數(shù)據(jù)集上采用2 種分類器，重?cái)?shù)取值為2 到10，比較CEN 和ACC，共得到640個(gè)結(jié)果，其中R=242，P=6，Q=1，S=52，則C=242/（242+52）＞0.5，D=6/1 ＞1，表明作為分類器評(píng)價(jià)指標(biāo)，CEN 優(yōu)于ACC.同理，比較CEN 和MCC，也得到640個(gè)結(jié)果，其中R=233，P=14，Q=2，S=52，則C=233/（233+52）＞0.5，D=14/2 ＞1，這表明CEN 也優(yōu)于MCC.因此，從一致性和判別性的角度，分類器評(píng)價(jià)指標(biāo)CEN 優(yōu)于ACC 和MCC.

另外，以Breast-Cancer 數(shù)據(jù)集上使用LR 分類器為例，進(jìn)行第4 到5 重交叉驗(yàn)證時(shí)，ACC 和CEN 值都呈上升趨勢(shì)，說(shuō)明ACC 認(rèn)為此分類結(jié)果更好，而CEN 認(rèn)為此分類結(jié)果更壞.事實(shí)上，將更多的惡性樣本判定為良性樣本，雖然ACC 值在增加，但惡性樣本沒(méi)有被分離出來(lái)，對(duì)于醫(yī)療診斷而言，此分類器沒(méi)有起到作用，顯然這種情況下使用ACC 評(píng)價(jià)并不合理，使用CEN 評(píng)價(jià)更合理.

3 結(jié)語(yǔ)

利用實(shí)驗(yàn)對(duì)分類器評(píng)價(jià)指標(biāo)ACC、MCC 和CEN進(jìn)行比較，結(jié)果表明CEN 性能更優(yōu).CEN 主要從樣本錯(cuò)誤分布程度的方面進(jìn)行考慮而設(shè)計(jì)，因此能辨別出不同類別的樣本是如何彼此分離的，更能分辨出分類器分類結(jié)果的差異.