于營，楊婷婷，楊博雄

（1.三亞學(xué)院信息與智能工程學(xué)院，三亞572011；2.三亞學(xué)院陳國良院士創(chuàng)新中心，三亞572011）

0 引言

在計(jì)算機(jī)視覺中，對象檢測即在圖像中定位一個或多個目標(biāo)。除了傳統(tǒng)的對象檢測技術(shù)外，R-CNN和YOLO（You Only Look Once，一種先進(jìn)的實(shí)時目標(biāo)檢測系統(tǒng)）等先進(jìn)的深度學(xué)習(xí)模型，可以對不同類型的目標(biāo)實(shí)現(xiàn)較為精準(zhǔn)的檢測。在這些模型中輸入圖像，將會返回每個檢測到的對象周圍的邊界框的坐標(biāo)。

1 混淆矩陣

1.1 二元分類的混淆矩陣

二元分類（Binary classification），又稱“二向分類”。在包含兩類事項(xiàng)的比較研究中，按兩個標(biāo)識所作的分類，標(biāo)識常記作1和0，或正和負(fù)，或惡性與良性（如問題與癌癥分類有關(guān)），或成功與失?。ㄈ鐚W(xué)生考試成績的分類）。

假設(shè)存在一個帶有正負(fù)兩類的二元分類問題。用于訓(xùn)練模型的7個樣本的標(biāo)簽記作：[positive，negative，positive，negative，positive，positive，negative]。當(dāng)將這些樣本提供給模型時，模型不一定返回類標(biāo)簽，而是返回分?jǐn)?shù)。例如，當(dāng)將這7個樣本提供給模型時，它們的類別得分可能為：[0.6，0.2，0.55，0.7，0.4，0.9，0.5]。用戶可以針對這些得分設(shè)置閾值，從而使每個樣本賦予類標(biāo)簽。閾值即模型的超參數(shù)，設(shè)本例中閾值是0.6，然后任何高于或等于0.6的樣本都會被賦予正標(biāo)簽，否則賦予負(fù)標(biāo)簽。則可以得到樣本的預(yù)測標(biāo)簽為：[positive（0.6），negative（0.2），negative（0.55），positive（0.9），negative（0.4），positive（0.8），negative（0.5）]。

為提取模型性能的更多信息，可以使用混淆矩陣。混淆矩陣有助于我們在區(qū)分兩個類別時鑒別模型是否“混淆”。圖1是一個2×2矩陣，兩行和兩列的標(biāo)簽分別為正向和負(fù)向。行標(biāo)簽代表真實(shí)值標(biāo)簽，而列標(biāo)簽代表預(yù)測值標(biāo)簽。

圖1 二元分類混淆矩陣

矩陣的4個元素（紅色和綠色項(xiàng)目）表示計(jì)算模型正確和不正確預(yù)測數(shù)的4個指標(biāo)。紅色項(xiàng)目代表預(yù)測正確，即預(yù)測標(biāo)簽和真實(shí)標(biāo)簽匹配；綠色項(xiàng)目代表預(yù)測不正確，即預(yù)測標(biāo)簽和真實(shí)標(biāo)簽不匹配。目標(biāo)是最大限度地利用“真”值（真正例和真負(fù)例）來衡量指標(biāo)，并最大限度地減少其他兩個指標(biāo)（假正例和假負(fù)例）。因此，混淆矩陣中的四個指標(biāo)是：

●左上（真正例）：模型將真樣本正確地分類為Positive的次數(shù)是多少？

●右上（假負(fù)例）：模型將真樣本錯誤地分類為Negative的次數(shù)是多少？

●左下（假正例）：模型將假樣本錯誤地分類為Positive的次數(shù)是多少？

●右下（真負(fù)例）：模型將假樣本正確地分類為Negative的次數(shù)是多少？

為前面的7個樣本計(jì)算這4個指標(biāo)，得到混淆矩陣如圖2所示。

圖2 分類結(jié)果

這就是針對二元分類問題計(jì)算混淆矩陣的方法。

1.2 多類別分類的混淆矩陣

假設(shè)有9個樣本，每個樣本屬于3個類別之一：白色、黑色或紅色。以下是9個樣本的真實(shí)數(shù)據(jù)：Red，Black，Red，White，Black，Red，Black，Red，White。當(dāng)樣品被輸入模型時，得到預(yù)測的標(biāo)簽為：White，Black，Red，White，Red，Black，White，Red，Red。

為了便于比較，并列記錄如表1所示。

表1

在計(jì)算混淆矩陣之前，必須指定目標(biāo)類。假設(shè)將紅色類設(shè)定為目標(biāo)。此類標(biāo)記為“正”，所有其他類標(biāo)記為“負(fù)”。則表1被標(biāo)記為表2。

表2

問題再次被轉(zhuǎn)化為正負(fù)兩個類，可以按照二元分類來計(jì)算混淆矩陣。

同理，可得目標(biāo)為白色類和黑色類的混淆矩陣，如圖4、圖5所示。

圖4 白色類的混淆矩陣

圖5 黑色類的混淆矩陣

2 用Scikit-learn學(xué)習(xí)計(jì)算混淆矩陣

Scikit-learn庫中的模塊metrics可用于計(jì)算混淆矩陣中的指標(biāo)。

對于二元分類問題，使用confusion_matrix（）函數(shù)及其以下兩個參數(shù)：

圖3 紅色類的混淆矩陣

●y_true：真實(shí)標(biāo)簽。

●y_pred：預(yù)測的標(biāo)簽。

以下代碼計(jì)算了1.1小節(jié)的二元分類示例的混淆矩陣。

要計(jì)算多類分類問題的混淆矩陣，使用multilabel_confusion_matrix（）函數(shù)，除y_true和y_pred參數(shù)外，使用labels參數(shù)接受類標(biāo)簽的列表。

Multilabel_confusion_matrix（）函數(shù)為每個類計(jì)算混淆矩陣，并返回所有矩陣。矩陣的順序與labels參數(shù)中的標(biāo)簽順序匹配，可以使用numpy.flip（）函數(shù)調(diào)整矩陣中元素的順序。

3 準(zhǔn)確性、精確度和召回率

3.1 準(zhǔn)確性

準(zhǔn)確性通常描述模型在所有類別上的表現(xiàn)，用于當(dāng)所有類別都同等重要的情況，表示正確預(yù)測數(shù)與預(yù)測總數(shù)之間的比率。

基于先前計(jì)算的混淆矩陣，使用Scikit-learn計(jì)算準(zhǔn)確性的方法。變量acc為真正值和假負(fù)值之和除以矩陣中所有值之和的結(jié)果。結(jié)果為0.5714，這意味著該模型進(jìn)行正確的預(yù)測時準(zhǔn)確性為57.14%。

需要注意的是，準(zhǔn)確性可能具有欺騙性。例如，數(shù)據(jù)不平衡時，假設(shè)總共有600個樣本，其中550個屬于“正”類別，而只有50個屬于“負(fù)”類別。由于大多數(shù)樣本屬于一個類別，因此該類別的準(zhǔn)確性將高于另一個類別。

3.2 精確度

精確度是正確分類為正樣本的數(shù)量與分類為正樣本（正確或不正確）的樣本總數(shù)之間的比率。精確度衡量模型將樣品分類為陽性的準(zhǔn)確性。

當(dāng)模型做出許多錯誤的正分類，即“假正例”比較多時，代表分母增大，使得精確度變小。在以下情況下，模型得精確度比較高：

●該模型使許多正確的正分類（最大化真正的正）

●該模型使不正確的正分類更少（盡量減少誤報(bào)）精確度反映了模型將樣品分類為陽性樣本時有多可靠。在Scikit-learn中，sklearn.metrics模塊具有一個名為precision_score（）的函數(shù)，該函數(shù)接受樣本信息和預(yù)測的標(biāo)簽并返回精度。pos_label參數(shù)接受positive類的標(biāo)簽，默認(rèn)值為1。

表示模型的精確度為66.67%。

3.3 召回率

召回率衡量模型檢測陽性樣品的能力，計(jì)算方法是正確分類為True的正樣本數(shù)與正樣本總數(shù)之間的比率。召回率越高，檢測到的陽性樣本越多。

召回率僅關(guān)注陽性樣本的分類方式，與陰性樣品的分類方式無關(guān)。當(dāng)模型將所有正樣本歸為正樣本時，即使所有負(fù)樣本均被錯誤分類為正樣本，召回率也將為100%。

類似于precision_score（）函數(shù)，sklearn.metrics模塊中的callback_score（）函數(shù)計(jì)算召回率。代碼如下：

表示模型的召回率為50%。

4 結(jié)語

本文討論了混淆矩陣以及如何在二元和多類分類問題中計(jì)算“真正例”、“真負(fù)例”、“假正例”和“假負(fù)例”4個指標(biāo)，使用Scikit-learn中的metrics模塊實(shí)現(xiàn)了在Python中計(jì)算混淆矩陣的方法。進(jìn)一步，使用sklearn.metrics模塊分別進(jìn)行計(jì)算模型的準(zhǔn)確性、準(zhǔn)確度和召回率。